太多的人工智能研究人员认为现实世界的问题无关紧要

任何专注于将机器学习应用于现实世界问题的研究人员都可能收到这样的回应：“作者为一个原创的、极具激励作用的问题提供了一个解决方案，但它是一个应用程序，对机器学习社区的意义似乎有限。”

这些话直接来自于我向NeurIPS(神经信息处理系统)会议提交的一篇论文的评论，NeurIPS(神经信息处理系统)会议是机器学习研究的顶级场所。我在论文评论中一次又一次地看到这种重复，我和我的合著者提出了一种基于应用程序的方法，我也从无数其他人那里听到了类似的故事。

这让我不禁要问：如果社区觉得用机器学习来解决高影响力的现实问题意义有限，那么我们到底想要达到什么目的呢？

人工智能(Pdf)的目标是推动机器智能的前沿。在机器学习领域，一个新的发展通常意味着一个新的算法或过程，或者-在深度学习的情况下-一个新的网络结构。正如其他人指出的那样，这种对新方法的过度关注导致了大量的论文，这些论文报告了基准数据集的边际或增量改进，并在研究人员争先恐后地登上榜首之际展示了有缺陷的学术研究(Pdf)。

同时，许多描述新应用的论文提出了新的概念和影响很大的结果。但是，即使是“申请”这个词的暗示，似乎也会破坏评论家们的论文。因此，这类研究在大型会议上被边缘化。他们的作者唯一真正的希望是他们的论文在研讨会上被接受，而研讨会很少得到社区的同样关注。

这是一个问题，因为机器学习在促进健康、农业、科学发现等方面大有可为。第一张黑洞图像是使用机器学习生成的。对蛋白质结构的最准确预测是使用机器学习进行的，这是药物发现的重要一步。如果该领域的其他人已经优先考虑现实世界的应用程序，那么到目前为止，我们还会有哪些其他突破性的发现呢？

这并不是什么新发现。引用美国国家航空航天局(NASA)计算机科学家基里·瓦格斯塔夫(Kiri Wagstaf)发表的一篇名为“重要的机器学习”(Machine Learning That Matters，pdf)的经典论文的话说：“当前的许多机器学习研究已经失去了与更广泛的科学和社会世界的重要问题的联系。”就在瓦格斯塔夫发表论文的同一年，一种名为AlexNet的卷积神经网络赢得了一场以流行的ImageNet数据集为中心的高调图像识别比赛，导致了人们对深度学习的兴趣激增。不幸的是，自那以后，她所描述的脱节似乎变得更加严重。

将应用研究边缘化会带来真正的后果。基准数据集，如ImageNet或CoCo，一直是推进机器学习的关键。它们使算法能够在相同的数据上进行训练和比较。然而，这些数据集包含可以构建到结果模型中的偏差。

例如，ImageNet(Pdf)中超过一半的图片来自美国和英国。这种不平衡导致系统在不同地理位置(Pdf)的类别中对图像进行不准确的分类。美国电话电报公司(AT&；T)脸部数据库等流行的脸部数据集主要包含浅色皮肤的男性受试者，这导致系统很难识别深色皮肤和女性面孔。

当机器学习在现实世界中的应用研究被排除在主流之外时，研究人员很难看到他们有偏见的模型的影响，这使得他们努力解决这些问题的可能性要小得多。

应用研究被最小化的一个原因可能是机器学习中的其他人认为这项工作只是简单地应用已经存在的方法。然而，在现实中，使机器学习工具适应特定的现实世界问题需要大量的算法和工程工作。没有意识到这一点并期望工具“现成”工作的机器学习研究人员最终往往会创建无效的模型。要么他们使用不能转化为真实世界影响的指标来评估模型的性能，要么他们选择了完全错误的目标。

例如，大多数将深度学习应用于超声心动图分析的研究都试图超越医生预测疾病的能力。但是，预测正常的心功能(Pdf)实际上会通过识别不需要他们专业知识的患者来节省心脏病学家更多的时间。加州惠特克拉夫特酒厂的德雷克·惠特克拉夫特说，许多将机器学习应用于葡萄栽培的研究旨在优化葡萄产量(Pdf)，但酿酒商“想要适当水平的糖和酸，而不仅仅是大量的大浆果”。

应用研究对主流机器学习至关重要的另一个原因是，该领域的基准数据集与现实严重脱节。

新的机器学习模型是根据大型的、精选的数据集来衡量的，这些数据集没有噪音，并且有定义明确的、明确标记的类别(猫、狗、鸟)。深度学习很好地解决了这些问题，因为它假设了一个基本稳定的世界(Pdf)。

但在现实世界中，这些类别会随着时间的推移或根据地理和文化背景而不断变化。不幸的是，人们的反应并不是开发新的方法来解决现实世界数据的困难；相反，人们一直在推动应用程序研究人员创建他们自己的基准数据集。

这些努力的目标基本上是将现实世界的问题挤入其他机器学习研究人员用来衡量性能的范例中。但是，特定于领域的数据集在表示真实世界场景方面可能不会比现有版本更好。结果可能弊大于利。那些可能从这些研究人员的工作中获得帮助的人将会对那些在最重要的时候表现不佳的技术感到幻灭。

由于该领域被误导的优先事项，那些试图解决世界上最大挑战的人并没有从人工智能非常真实的承诺中尽可能多地受益。当研究人员试图在人为的基准上相互超越时，世界上每九个人中就有一个在挨饿。地球正在变暖，海平面正以惊人的速度上升。

正如神经学家和人工智能思想领袖加里·马库斯曾经写道：“人工智能对社会的最大贡献…。最终可以也应该出现在自动化科学发现等领域，其中包括导致比目前可能的医学版本复杂得多的医学。但要做到这一点，我们需要确保整个领域不会首先陷入局部最低水平。“。

要让世界从机器学习中受益，社区必须再次问自己，就像瓦格斯塔夫曾经说过的那样：“该领域的目标函数是什么？”如果答案是要在世界上产生积极的影响，我们必须改变我们对申请的思考方式。

汉娜·科纳(Hannah Kerner)是马里兰大学学院公园分校的助理研究教授。作为NASA收获计划的一部分，她研究用于农业监测和食品安全的遥感应用的机器学习方法。