谁确保A.I. 机器不是种族主义者？

数百人聚集在一起的第一次讲座，以后成为世界上最重要的人工智能大会 - 脸上的行。有些是东亚，少数是印度人，少数女性。但绝大多数是白人。五年前在西班牙巴塞罗那参加了5,500多名会议。

Timnit Gebru，然后是斯坦福大学的研究生，记得只有六名黑人以外的六名黑人，所有她所知道的，所有人都是男人。

均匀的人群为她的一个耀眼的问题而结晶。 Tech的大思想家说A.I.是未来。它将支持从搜索引擎和电子邮件到推动我们汽车的软件的一切，指导我们的街道警务并帮助创建我们的疫苗。

但它正在建立一种复制几乎完全男性的偏差，主要是白色的劳动力制造。

在我对人工智能写的近10年来，两件事仍然是一个常数：这种技术无情地改善了适合和突然的跳跃。并且偏见是一个巧妙地编织的线程，以这种工作，以这种方式是技术公司不愿意承认。

在她的第一个晚上在Menlo Park，加利福尼亚州的第一个晚上回家。，在巴塞罗那会议之后，用她的笔记本电脑坐在沙发上坐在沙发上，Gebru博士描述了A.I.工作部队在Facebook帖子中康明。

“我并不担心机器接管世界。我担心A.I中的集团，绝对和傲慢。社区 - 特别是当前对该领域人民的炒作和需求，“她写道。 “创建技术的人是系统的重要组成部分。如果许多人被积极地排除在其创造之外，这项技术将受益一些，同时伤害很多。“

A.I.社区对迷你宣言嗡嗡作响。之后，Gebru博士帮助创建一个新的组织，在A.I中创建一个新的组织。完成她的博士后，她被谷歌聘用了。

她与玛格丽特米切尔合作，他在谷歌内部建立了一个小组，致力于“道德A.I”。米切尔博士此前曾在微软的研究实验室工作过。当她在2016年在2016年讲布鲁姆伯格新闻时，她抓住了注意力。遭受了“帅哥海”问题。她估计，她在过去五年和大约10名女性中曾在数百名男子上工作过。

他们的工作被誉为突破性。 nascent a.i.行业，它已经清晰，需要不同的观点的思维和人。

大约六年前，A.I.在Google Online照片服务中有组织的黑人照片进入一个名为“Gorillas”的文件夹。四年前，纽约的一名研究员初创公司注意到了A.I.她正在努力的系统是对黑人偏见的偏见。不久之后，波士顿的黑色研究员发现了一个A.I.系统无法识别她的脸 - 直到她穿上白色面具。

2018年，当我告诉谷歌的公共关系人员时，我正在努力一本关于人工智能的书，它安排了米切尔博士讨论她的工作。正如她描述了她如何建造公司的道德A.I.团队 - 并将Gebru博士进入折叠 - 从那些密切关注偏见问题的人听到的人令人耳目一新。

但近三年后，Gebru博士没有明确解释就被推出了公司。她说她在批评谷歌对少数民族招聘方面的方法后被解雇了，并在研究论文中突出了A.I的有害偏见。支持谷歌搜索引擎和其他服务的系统。

“当你开始倡导尊重的人时，你的生活开始变得更糟，”Gebru博士在她发射前在一封电子邮件中说。 “你开始让其他领导者心烦意乱。”

正如米切尔博士捍卫Gebru博士，该公司也删除了她。她已经搜索了自己的谷歌电子邮件帐户，以获得支持他们的职位和转发电子邮件的材料，以某种方式让她陷入困境。谷歌拒绝评论这篇文章。

他们的出发成为A.I的争论点。研究人员和其他技术人员。有些人看到一家巨大的公司不再愿意倾听，太渴望得到了技术，而不考虑其含义。我看到了一个旧的问题 - 部分技术和部分社会学 - 终于进入了开放。

2015年6月，一位朋友发给JackyAlciné，这是一个居住在布鲁克林的22岁的软件工程师，这是一个互联网链接，用于朋友发布到新的Google照片服务。 Google照片可以分析快照，并根据图片的内容自动对数字文件夹进行排序。一个文件夹可能是“狗，”另一个“生日聚会”。

当Alciné先生点击了该链接时，他注意到其中一份文件夹被标记为“大猩猩”。对他没有意义，所以他打开了这个文件夹。在附近的展望公园的音乐会期间，他发现了超过80张朋友近一年的朋友。那个朋友很黑。

如果谷歌错误地标记了一张照片，他可能会放手。但是80？他在Twitter上发布了一个屏幕截图。 “谷歌照片，y'all，”他搞砸了，他写道，使用太多的口语。 “我的朋友不是大猩猩。”

喜欢面部识别服务，谈论数字助理和会话“聊天”，谷歌照片依靠A.I.通过分析大量数字数据来学习其技能的系统。

这个数学系统可以学习工程师永远无法自行编码的任务，从而呼叫“神经网络”。通过分析大猩猩的数千张照片，可以学会识别大猩猩。它也有能力的错误。 ONU在培训这些数学系统时选择合适的数据。 （在这种情况下，最简单的修复是消除“大猩猩”作为照片类别。）

作为软件工程师，Alciné先生了解了这个问题。他比较了让烤宽面条。 “如果你早期搞砸了烤宽面条成分，整件事都被毁了，”他说。 “它与a是一样的。你必须非常有意地了解你的东西。否则，很难撤消。“

2017年，来自渥太华的21岁的黑人女子，德国·拉吉坐在纽约克拉迪瓦纽约办公室里的一张桌子上，这是她正在工作的初创公司。该公司建立了可以自动识别数字图像中对象的技术，并计划将其销售给企业，警察部门和政府机构。

她盯着充满了面孔的屏幕 - 用来训练其面部识别软件的公司。

当她在这些面孔的页面后滚动页面时，她意识到最多 - 超过80％ - 是白人。超过70％的白人是男性。当Clarifai培训了它的系统上的系统时，它可能会做出识别白人的体面，raji女士思想，但它与颜色人物悲惨地失败，也可能是女性。

Clarifai还建立了一个“内容审核系统”，一个可以自动识别和删除从发布到社交网络的图像中的色情内容的工具。该公司在两套数据上培训了这个系统：来自在线色情网站的数千张照片，以及从库存照片服务购买的数千个G级图像。

该系统应该学习色情和肛门之间的差异。问题是，G级图像由白人主导，色情内容不是。该系统正在学习将黑人识别为色情。

“我们用来训练这些系统的数据很重要，”Raji女士说。 “我们不能只是盲目地选择我们的来源。”

这对她来说很明显，但到了公司的其余部分并非如此。因为选择培训数据的人大多是白人，所以他们没有意识到他们的数据被偏见。

“面部识别技术的偏见问题是一个不断发展和重要的话题，”克拉迪瓦的首席执行官Matt Zeiler在一份声明中表示。他说，衡量偏见，“是一个重要的一步。

在加入谷歌之前，Gebru博士在与年轻电脑科学家的一项研究中合作，欢乐Buolamwini。 Massachusetts理工学院的研究生Buolamwini女士来自黑人，来自一家学者。她的祖父专业从事药用化学，她的父亲也是如此。

她渴望面部识别技术。其他研究人员认为它正在达到成熟，但当她用它时，她知道这不是。

2016年10月，一位朋友邀请她在波士顿的夜晚与其他几个女性。 “我们会做面具，”朋友说。她的朋友在水疗中心意味着皮肤护理面具，但Buolamwini女士假设万圣节面具。所以她早上带着一件白色的塑料万圣节面具给她的办公室。

几天后，她仍然坐在她的桌子上，因为她努力为她的一个班级完成一个项目。她试图获得一个检测系统来跟踪她的脸。无论她做了什么，她都无法努力工作。

在她的沮丧中，她从桌子上拿起白色面具，把它拉过她的头部。在这一路一路之前，系统识别她的面部 - 或者至少，它识别出掩码。

“黑色皮肤，白面具，”她在接受采访时表示，向1952年的历史种族主义点头，从精神科医生Frantz Fanon。 “隐喻成为真相。你必须适应常态，那个规范不是你。“

Buolamwini女士开始探索旨在分析面孔的商业服务，并确定年龄和性等特征，包括来自微软和IBM的工具。

她发现，当服务读取较轻皮肤的男性照片时，他们的性别误解了1％的时间。但是照片中的皮肤越深，错误率越大。它特别高，用黑皮肤的妇女图像升高。微软的错误率约为21％。 IBM是35岁。

该研究在2018年冬季发表了反对面部识别技术的反对，特别是在执法方面使用。微软的首席法律官表示，当有担心这项技术有不合理地侵犯人民的权利时，该公司已经向执法人员拒绝了销售人员，他召开了政府监管的公开电话。

十二个月后，微软在华盛顿州支持了一项法案，要求通知在使用面部认可的公共场所发布，并确保在寻找具体人员时获得法院命令。截至今年晚些时候，账单通过了。该公司没有回复对本文评论的请求，并没有退回其他立法，该立法将提供更强有力的保护。

Buolamwini女士开始与Raji女士合作，搬到M.I.T.他们开始从第三届美国科技巨头测试面部识别技术：亚马逊。该公司在亚马逊重新识别的名称下开始向警方部门和政府机构推出技术。

Buolamwini女士和Raji女士发表了一项研究表明，亚马逊面部服务也难以识别女性和较暗的面孔的性别。根据该研究的说法，将误认为男性的服务误认为是31％的人为男性的时间19％和较暗皮肤的女性。对于较轻的雄性，错误率为零。

亚马逊呼吁政府监管面部识别。它还攻击了私人电子邮件和公共博客帖子的研究人员。

“对新技术令人焦虑的答案不是与服务如何使用的”测试“不一致，并通过新闻媒体放大测试的虚假和误导性结论，”亚马逊行政，亚光木，写在一个博客帖子，争论研究和纽约时报文章描述了它。

在一个公开的信中，米切尔博士和Gebru博士拒绝了亚马逊的论点，并要求停止销售执法。这封信由谷歌，微软和学术界的25名人工智能研究人员签字。

去年6月，亚马逊退缩了。它宣布不会让警察使用其技术至少一年，称其希望提供国会时间来创造伦理使用规则。国会尚未接受该问题。亚马逊拒绝评论这篇文章。

Gebru博士和米切尔博士在其本公司内部的变革较少成功。谷歌的企业门卫将他们与律师甚至通信人员审查论文的新审查制度一起离开。

她说，Gebru博士的解雇源于该公司的待遇，她与六名其他研究人员一起写作，包括Mitchell博士和谷歌的三个。本文讨论了一种新型语言技术的方法，包括由谷歌建造的系统建造的系统，可以向妇女和颜色人民表达偏见。

德布鲁博士表示，在向学术会议提交到学术会议之后，谷歌经理要求她撤回纸纸或删除谷歌员工的姓名。她说，如果公司无法讲述为什么它希望她撤回纸张并回答其他问题，她会辞职。

回应：她立即接受了辞职，谷歌撤销了她对公司电子邮件和其他服务的访问。一个月后，它在她通过自己的电子邮件中搜索了米切尔博士的访问，以努力捍卫Gebru博士。

在上个月的谷歌员工会议上，刚刚在谷歌A.I的负责人发射Mitchell博士之后。 Lab jeff Dean表示，该公司将创造严格的规则，以限制对敏感性研究论文的审查。他还捍卫了评论。他拒绝讨论米切尔解雇博士的细节，但表示她违反了公司的行为准则和安全政策。

院长曾先生的新副职位，邹斌，Ghahramani表示，该公司必须愿意解决难题。负责a.i有“不舒服的事情。将不可避免地提起，“他说。 “我们需要对这种不适感到舒服。”

但谷歌很难重新获得信任 - 在公司内部和外面。

“他们认为他们可以逃避这些人，最后不会伤害他们，但他们绝对在脚下射击自己，”谷歌的10人道德A.I的长期部分是一个长期的一部分。团队。 “他们所做的是令人难以置信的近视。”

Cade Metz是“天才制造商的时代和作者：带来的小牛克利克斯的技术记者。到谷歌，Facebook和世界“，”这篇文章自适应。