微软的凯特克劳福德：'AI既不是人造也不是聪明的'

AI研究人员如何自然资源和人工劳动力驱动机器学习以及烘焙到其算法中的回归刻板印象

凯特克劳福德研究人工智能的社会和政治影响。她是南加州大学和微软研究高级首席研究员的通信和科技研究教授。她的新书，AI的阿特拉斯，看起来让AI和它重塑世界的股份所需的东西。

你已经写了一本批评AI批评，但你为一家在部署中的领导者中工作。你如何广场圈出来？我在微软的研究翼工作，这是一个独特的组织，与产品开发分开。在其30年的历史上异常，它已经聘请了社会科学家，以批判性地看待技术。在里面，我们往往能够在系统被广泛部署之前看到缺点。我的书没有经过任何预​​先出版物审查 - 微软研究不要求 - 即使答案涉及对当前技术实践的关键评估，我的实验室领导人也支持难题。

这本书的目的是什么？我们通常呈现出这种摘要和无关紧要的AI的愿景。我想展示AI在更广泛的感觉中如何 - 其自然资源成本，其劳动力流程及其分类逻辑。要观察到，我去了地点，包括矿山，以了解地壳和亚马逊履行中心所需的提取，以便在算法管理系统下观察有关工人的身体和心理造约。我的希望是，通过展示AI系统如何工作 - 通过露出生产的结构和物质现实 - 我们将有更准确的影响，它将邀请更多人进入谈话。这些系统在没有强大的监管，同意或民主辩论的情况下在众多领域推出。

人们应该知道如何制作AI产品？我们不习惯在环境成本方面思考这些系统。但是说：“嘿，亚历克萨，命令我一些厕所卷，”调用这一提取链，这是全球各地的......我们有很长的路要走在这是绿色技术之前。此外，系统似乎是自动化的，但是当我们拉开窗帘时，我们看到大量的低薪劳动力，从人群工作的一切都将数据分类到亚马逊亚马逊盒的永无止境的Xein。 ai既不是人造也不是聪明的。它是由自然资源制成的，是正在执行任务的人，使系统出现自主。

偏见问题在AI技术中齐全。更多的数据可以解决这个问题吗？偏见是我们谈论的各种问题的术语。时间又一次，我们看到这些系统产生错误 - 妇女通过信用价值算法提供的信贷较少，黑色面孔误标有 - 而且回复已经是：“我们只需要更多的数据。”但我试图看看这些更深层次的分类逻辑，并且您开始看到歧视形式，而不仅仅是在应用系统时，而且在它们是如何建造和培训的，以便看到世界。用于机器学习软件的培训数据集随意将人们视为两个性别之一;将肤色标记为五种种族类别中的一种，并根据人们看的，分配道德或道德角色的五个种族类别。您可以基于外观进行这些确定的想法具有黑暗的过去，不幸的是，分类的政治已被烘焙到AI的基板中。

您可以单一的ImageNet，用于对象识别的大型公开培训数据集......由超过20,000个类别的大约14米图像组成，Imagenet是机器学习历史上最重要的培训数据集之一。它用于测试物体识别算法的效率。它于2009年由一组斯坦福研究人员推出，这些研究人员从网络上刮了大量图像，并根据来自Wordnet的名词标记了人群，这是一个在20世纪80年代创建的词汇数据库。

从2017年开始，我用艺术家特雷弗Paglen进行了一个项目来看看人们是如何被标记的。我们发现了令人厌恶的分类术语，这是极端的厌恶女性，种族主义，能力和判断力。人们的照片与克利曼斯，酗酒，坏人，壁橱女王，叫女女孩，荡妇，吸毒成瘾者等言语相匹配，叫药物，吸毒成瘾者，我不能在这里说。 Imagenet现在已经删除了许多明显的问题的人类类别 - 当然是一个改进 - 但是，问题仍然存在，因为这些训练集仍然在Torrent网站上流传[哪些文件在对等体之间共享文件]。

我们只能在公开上学习想象因。科技公司举办了巨大的培训数据集，这是完全秘密的。他们有掠夺图像，我们已上传到照片共享服务和社交媒体平台，并将它们转换为私人系统。

您揭示了使用AI进行情感认可，但您为一家销售AI情感识别技术的公司工作。 AI应该用于情绪检测吗？你可以从某人的脸上看到他们感受的想法深受缺陷。我不这么认为是可能的。我认为这是最迫切需要的监管领域之一。今天的大多数情感识别系统都是基于20世纪70年代在20世纪70年代发展的心理学思维 - 最有意义的是保罗·埃克曼 - 这表明我们都有六种普遍情绪，我们都在我们的脸上展示了可以使用合适的技术阅读的脸部。但从开始时，回力和最近的工作表明，表情之间没有可靠的相关性以及我们实际上的感受。然而，我们有科技公司，可以简单地通过查看人们的面孔视频来提取情绪。我们甚至看到它内置于汽车软件系统中。

当你说我们需要减少AI和更多的力量方面，我们需要减少什么？道德是必要的，但不够。更有用的是诸如诸如谁的福利和谁受到这个AI系统的伤害？它在已经强大的手中掌握了权力吗？我们看到时间又一次，从面部认识到在工作场所跟踪和监视，这些系统是赋予的已经强大的机构 - 公司，军队和警察。

需要更好的事情需要什么？更强大的监管制度和更大的严谨性和责任围绕训练数据集是如何构建的。我们还需要在这些辩论中需要不同的声音 - 包括与这些系统的落下的人看到和生活的人。我们需要一个拒绝的重新政治，这挑战了叙述，只要可以部署它的技术。

任何乐观？事情正在放弃给我希望。今年4月，欧盟为AI制作了第一次OMNIBUS规定。澳大利亚还刚刚发布了用于调节AI的新准则。有需要修补的洞 - 但我们现在开始意识到这些工具需要更强大的护栏。并给予我作为监管进展的乐观表是激动人物激动变革的工作。

在高管批评她的研究后，AI伦理研究员Timnit Gebru被迫离开谷歌。行业主导的批判的未来是什么？谷歌对Timnit的待遇已经通过行业和学术界发送了冲击波。好消息是我们还没有看到沉默;相反，Timnit和其他强大的声音继续发表讲话并推动更多的方法来设计和部署技术系统。一个关键因素是确保行业内的研究人员可以在没有企业干扰的情况下发布，并培养大学寻求提供的同样的学术自由。

Kate Crawford的AI阿特拉斯由耶鲁大学出版社出版（20英镑）。 支持守护者在GuardianBookshop.com上订购您的副本。 交货费用可能适用