神经网络学习何时不应该信任它

越来越多地，被称为深度学习神经网络的人工智能系统用于告知对人类健康和安全至关重要的决策，例如在自动驾驶或医疗诊断中。这些网络擅长识别大型复杂数据集中的模式以帮助决策。但是我们怎么知道它们是正确的？亚历山大·阿米尼（Alexander Amini）和他在麻省理工学院和哈佛大学的同事希望找出答案。

他们为神经网络开发了一种处理数据的快速方法，不仅可以输出预测，还可以基于可用数据的质量输出模型的置信度。这种进步可能会挽救生命，因为当今的现实世界已经部署了深度学习。网络的确定性程度可以是自动驾驶汽车确定“很明显可以通过十字路口”和“很可能已经明确，所以以防万一”之间的区别。

用于神经网络的不确定性估计的当前方法在计算上趋于昂贵，并且对于瞬间决策而言相对较慢。但是，阿米尼（Amini）的方法被称为“深度证据回归”，可以加快这一过程，并可能导致更安全的结果。麻省理工学院计算机科学与人工智能实验室（CSAIL）Daniela Rus教授小组的博士生Amini说：“我们不仅需要拥有高性能模型的能力，而且还需要了解何时无法信任那些模型。 。

“这个想法很重要，并且广泛适用。它可用于评估依赖于学习模型的产品。通过估算学习模型的不确定性，我们还可以了解模型会带来多少误差，以及哪些缺失数据可以改善模型。” Rus说。

阿米尼（Amini）将在下个月的NeurIPS会议上介绍这项研究，罗斯（Rus）是安德鲁和厄纳·维特比（Andrew and Erna Viterbi）电机工程和计算机科学教授，CSAIL的负责人，也是麻省理工学院斯蒂芬·施瓦茨曼计算机学院的副院长。麻省理工学院的研究生Wilko Schwarting以及麻省理工学院和哈佛大学的Ava Soleimany。

在经历了起伏的历史之后，深度学习在各种任务上表现出了卓越的性能，在某些情况下甚至超过了人类的准确性。如今，深度学习似乎随计算机而去。它为搜索引擎结果，社交媒体供稿和面部识别提供了动力。 “我们在使用深度学习方面取得了巨大的成功，”阿米尼说。 “神经网络真的擅长于99％的时间知道正确的答案。”但是有99％的人无法挽救生命。

“使研究人员难以理解的是，这些模型能够知道并告诉我们何时可能出错，”阿米尼说。 “我们真的很在意这1％的时间，以及我们如何可靠，高效地检测到这些情况。”

神经网络可能非常庞大，有时会充满数十亿个参数。因此，仅仅为了获得答案可能是繁重的计算工作，更不用说置信度了。神经网络中的不确定性分析并不新鲜。但是，以前的方法基于贝叶斯深度学习，已经多次依赖于运行或采样神经网络来了解其信心。该过程需要时间和内存，这在高速流量中可能并不存在。

为了进行测试，研究人员开始了具有挑战性的计算机视觉任务。他们训练了他们的神经网络以分析单眼彩色图像并估计每个像素的深度值（即距相机镜头的距离）。自动驾驶汽车可能会使用类似的计算来估计其与行人或另一辆汽车的接近度，这并非简单的任务。

他们的网络性能与以前的最新模型相当，但它也具有估算自身不确定性的能力。正如研究人员所希望的那样，该网络预测了预测错误深度的像素的不确定性很高。阿米尼说：“它已经针对网络所产生的错误进行了校准，我们认为这是判断新不确定性估算器质量的最重要的事情之一。”

为了对校准进行压力测试，该团队还表明，网络对“分布外”数据预测了更高的不确定性-训练期间从未遇到过的全新图像类型。在室内家庭场景上训练网络后，他们为网络提供了一批室外驾驶场景。该网络一直警告说，它对新颖的户外场景的反应尚不确定。该测试强调了网络在用户不应该完全信任其决策时进行标记的能力。在这些情况下，“如果这是医疗保健应用程序，也许我们不信任该模型所给出的诊断，而是寻求第二意见，” Amini说。

网络甚至知道何时对照片进行篡改，从而有可能避开数据操纵攻击。在另一项试验中，研究人员在输入网络的一批图像中提高了对抗噪声水平。效果是微妙的-人眼几乎察觉不到-但网络嗅出了这些图像，并以高度不确定性标记了其输出。这种在虚假数据上发出警报的能力可以帮助检测和阻止对抗性攻击，这是深造时代中日益受到关注的问题。

DeepMind的人工智能研究人员Raia Hadsell表示，深度证据回归是“一种简单而优雅的方法，它提高了不确定性估计的领域，这对机器人技术和其他现实世界的控制系统非常重要”。 “这是以一种新颖的方式来完成的，它避免了其他方法的一些凌乱方面-例如采样或合奏-不仅使它优雅，而且在计算上更加高效-一种成功的组合。”

深入的证据回归可以增强AI辅助决策的安全性。阿米尼说：“我们开始看到更多这些[神经网络]模型从研究实验室流到现实世界，进入正在触及人类的情况，从而可能危及生命。” “使用该方法的任何人，无论是医生还是坐在汽车乘客座位上的人，都需要意识到与该决定相关的任何风险或不确定性。”他设想该系统不仅可以快速标记不确定性，还可以使用它在诸如自动驾驶汽车驶近十字路口等危险场景中做出更为保守的决策。

他说：“任何具有可部署机器学习的领域最终都需要具有可靠的不确定性意识。”

这项工作部分得到了美国国家科学基金会和丰田研究所通过丰田-CSAIL联合研究中心的支持。