快速发展的生态系统中移动设备的人工智能基准

机器学习和人工智能是此时此刻几乎所有科技领域的热门话题。这项技术正在许多行业获得吸引力，从分析海量数据的大规模社交网络到最微小的物联网智能家居和移动设备。即使在我们HotHardware的日常工作流程中，我们目前也利用一些关键的支持人工智能的应用程序来增强我们的内容。此外，如果你曾经为了语音转文本消息或谷歌助手推荐而与智能手机交谈，人工智能也会影响你的互联体验。对于那些可能不熟悉机器学习和人工智能技术如何工作的人，我们可能应该奠定一些基础。为了简洁起见，这有点过于简单化了，但不管怎样，这应该是有用的背景知识。这一切都始于神经网络(NN)的概念。神经网络是最大似然学习和人工智能的有机组成部分，其训练和推理过程也是如此。神经网络，或受人脑活动启发的算法模型，最初要经过训练阶段，然后才能从数据中得出结论，或从特定的数据集中推断出任何新的东西。他们通常接受大量数据的训练，这些数据通过多个层进行过滤，以确定数据的具体内容，无论是特定的颜色还是形状-比如人脸、猫或狗的图像。在处理数据集时，神经网络中的数学函数(称为神经元)将权重分配给新条目，以确定特定数据是否满足特定标准。类似于你的大脑在很小的时候就学习狗的脸的形状，然后让你有能力确定，“是的，那是一只狗，而不是一只猫。”在这个简单的例子中，它归结为一个由大脑决定的最终结果的二进制yes/no函数。同样，一旦人工智能模型的神经网络训练过程完成，就会将权重分配给整个数据集，并相应地对其进行分类和分割。然后，神经网络可以从这些数据中智能地推断事情，由此产生的人工智能可以提供智能结果。这就是所谓的推理。因此，可以说，首先你必须喂食这头野兽，并在人工智能能够“推断”或向你，即最终用户提供有意义的、准确的信息之前，对它进行“训练”。在边缘或最终用户级别，正在进行的大部分人工智能处理都是推理。虽然一些数据被收集、传输到云并从那里学习以增强网络，但大部分人工智能培训是在数据中心完成的。因此，一般来说，对于你的智能手机的AI引擎来说，推理是它的主要工作量，尽管也会进行一些基本的培训来为个人用户量身定做体验。机器学习和人工智能应用程序开发正在以惊人的速度发展。相关的框架、硬件和在其上运行的训练有素的神经网络不断进步，这使得大多数人很难确定哪些解决方案最适合他们的特定用例或应用程序。训练和推理过程具有非常不同的计算要求，特定应用程序充分执行所需的精确度级别可能需要特定的数学类型或精确度级别。已经开发了许多与ML/AI相关的基准，试图帮助用户导航并做出更明智的决定，特别是对于AI具有无数潜在使用案例的移动设备，从有趣的图像过滤器和覆盖到关键的医疗和企业应用。我们联系了MLPerf推理联席主席David Kanter，以获取关于ML/AI相关移动基准的一些第三方观点、意见和意见，以及AI/ML对于现在和未来普通消费者智能手机体验的重要性。Kanter提供了一些有趣的见解，他指出：“今天，我在智能手机中看到了ML的许多应用-自动补全、语音到文本、语音激活、翻译，以及许多计算机视觉，如分割或对象检测。我倾向于相信我们正处于ML的早期，并期望看到应用程序随着时间的推移而增加，特别是在ML功能在智能手机中变得越来越普遍的情况下。“。也就是说，目前可用的人工智能相关基准往往表现得非常不同。正如你可能想象的那样，人工智能是一个相对较新的前沿，因此将会有一些尚未探索的领域，以及许多新的东西需要学习。你的设备使用了哪些神经网络，以及它们是如何处理的，这是由应用程序开发人员决定的，例如，无论是谷歌的Assistant还是亚马逊的Alexa。当今许多基准中使用的常见神经网络包括用于图像分类的ResNet-34和Inception-V3，用于单镜头目标检测和移动视觉的Mobilenet-SSD，以及