AWS面部识别平台错误地将100多名政客识别为罪犯

比较技术公司的保罗·比肖夫(Paul Bischoff)发现，亚马逊的面部识别平台错误识别了数量惊人的人，而且存在种族偏见。

面部识别技术仍然在以惊人的速度误认人们-即使它被警察部门用来逮捕。事实上，比较技术公司的消费者隐私专家保罗·比肖夫发现，亚马逊的面部识别平台错误地将100多张美国和英国议员的照片误认为罪犯。

Rekognition是亚马逊于2016年首次推出的基于云的面部识别平台，已经被包括ICE和佛罗里达州奥兰多警方在内的多个美国政府机构以及私人实体出售和使用。比肖夫在将总共1,959名美国和英国议员与逮捕数据库中的受试者的照片进行比较后发现，Rekognition平均误认了32名国会议员。这比美国公民自由联盟(ACA)进行的类似实验多了4名。

这些发现具有令人不安的现实含义。上周，美国公民工会揭露了底特律公民罗伯特·朱利安-博尔恰克·威廉姆斯(Robert Julian-Borchak Williams)，他是在面部识别系统将自己的照片与商店扒手的安全录像虚假匹配后被捕的。

这一事件促使立法者上周提出立法，无限期禁止全国执法部门使用面部识别技术。尽管亚马逊之前曾将其技术出售给警方，但这家科技巨头最近暂停了面部识别技术的执法(微软和IBM也是这样做的)。但比肖夫表示，社会在解决如何以符合隐私、同意和数据安全的方式正确利用面部识别方面还有很长的路要走。

Lindsey O‘Donnell-Welch：欢迎回到Threatpost播客。今天请到了你们的主持人，林赛·奥唐纳·韦尔奇(Lindsey O‘Donnell Welch)。保罗·比肖夫(Paul Bischoff)也加入了我的行列，他是比较技术公司的消费者隐私专家。保罗，非常感谢你参加今天的节目。

罗：是的，所以今天我们要讨论面部识别。这是一项在过去几个月里真正成为新闻的技术，但上周，立法者实际上提出了一项立法，将无限期禁止全国执法部门使用面部识别技术。保罗，我知道你对那里的技术和隐私挑战看了很多。你能先说一下，你对这项新提出的法案有什么看法吗？我是说，这很有趣。

PB：嗯，我认为至少需要暂停警方使用面部识别。目前，几乎没有监管，以及各个警察部门如何购买人脸识别技术，并随心所欲地使用这些技术。你知道，真的应该有更多的规定来规定他们如何使用它，他们可以与谁共享数据，何时可以使用它，在什么情况下使用，诸如此类的事情。美国数百个可能的警察部门已经买入了人脸识别，只是在没有任何形式的监管或限制的情况下使用它。所以我认为这是一个很好的起点。让我们首先摆脱它，然后我们将开始制定规则，规定什么应该允许，什么不应该允许。

罗：是的。我完全同意，我们需要退后一步，看看什么是可行的，什么是侵犯隐私的。从政府和执法的角度来看，这样做是非常重要的。你知道，当就连微软、亚马逊和IBM都在后退一步，禁止向警察部门出售他们自己的面部识别技术，并推动联邦执法部门进行监管时，即使连科技公司也相信这一点，这也是一件严重的事情，你知道吗？

PB：是的，我认为这其中的一部分是，你知道，整个黑人生活也是一场运动，暴露了人脸识别存在种族偏见之类的问题。因此，对于那些大公司来说，现在向警察兜售可以用来识别示威者的人脸识别系统是很糟糕的做法。因此，我认为这绝对是其中的一部分，只是这对他们来说是一个好的公关，但我很高兴他们肯定已经停止销售这款产品了。

罗：是的。是的，根据你的观点，在过去的几周里，新闻中有大量关于面部识别的故事，其中很多都与正在进行的黑人生命也是如此的抗议活动有关，还有种族偏见，甚至是监控，以及这些抗议活动和政府监控方面的影响，这是有道理的。我也很好奇，最近，有一个关于底特律公民的可怕故事浮出水面，他的真名是罗伯特·朱利安-博尔恰克·威廉姆斯(Robert Julian-Borchak Williams)，他是一名非裔美国人，在面部识别系统将他的照片与商店扒手的安全录像虚假匹配后被捕。你知道，美国公民自由联盟站出来提出申诉，称这是第一起因面部识别技术缺陷而导致的错误逮捕事件。所以这有点疯狂，这是一个相当可怕的现实生活实例，看看这实际上是在哪里影响着某人的生活，因为技术上的错误。我知道Compitech实际上在几周前做了一项研究，我相信你在那里测试了亚马逊识别平台的准确性。你能告诉我们更多关于这项研究的情况吗，以及它对目前正在进行的一切有何影响？

PB：当然可以。因此，我们的研究实际上是美国公民自由联盟在2018年所做的重新创造。美国公民自由联盟(ACLU)拍摄了一批其他国会议员的头像，然后将他们与警方逮捕的面部照片数据库进行了比对。所以这些都是嫌疑犯，他们只是检查他们会得到什么样的不正确的匹配。后来亚马逊对美国公民自由联盟的这项研究提出异议，认为他们只使用了所谓的80%的置信阈值。他们说这个价格太低了。稍微往回看，人脸识别技术不会简单地说，“哦，这两张照片是不是同一个人的。”这不是一个是或不是的答案，他们通常会给你一个百分比的答案。所以我们百分之八十确定这两个人是同一个人，这两张照片是同一个人。亚马逊表示，应该将这一比例设置为95%或99%，供警方使用。但是再说一次，没有规定警察必须使用这些门槛。所以我们做的是，我们运行了同样的研究，我们运行并测试了结果，在80%的置信阈值和95%的置信阈值下，95%的置信阈值没有不正确的匹配。但是我们有80%的人看到了一些不正确的比赛，即使在90%的情况下，我们也看到了一些不正确的比赛。亚马逊识别技术总共认错了32名国会议员，并将他们与我们逮捕数据库中的人进行了匹配。我们做了四次实验，有四组不同的逮捕照片，但所有国会议员的照片每次都是一样的。然后我们把结果加在一起求平均。

因此，平均而言，它将32名国会议员错误地识别为逮捕照片中的人。这比美国公民自由联盟两年前的测试多了4个。所以看起来这项技术并没有真正改进太多。我们发现的另一件事是，这项技术肯定存在一些种族偏见--不匹配的人中，大约有一半是有色人种，尽管国会中只有10%左右的人是有色人种。

罗：哦，哇。好吧。是啊，而且那也是最近的事，对吧。我是说，你提到美国公民自由联盟两年前就这么做了。这表明这项技术没有任何变化，正在变得更好。

PB：根据我们的发现，文章的大部分部分也解释了准确性是如何衡量的，以及准确性是如何工作的。所以我们并不是真的在测试精确度，但我们可以通过重复美国公民自由联盟的实验来测试精确度是否提高了。而在美国公民自由联盟测试的80%的置信阈值下，这项技术似乎并没有得到任何改善。

PB：嗯，我的意思是，亚马逊的代码不像开源或任何东西，但我怀疑发生的是，每当他们训练算法时，他们只是有更多白人的照片来训练它。所以它非常擅长在白人的脸上训练算法，但对于黑人、其他有色人种、妇女或老年人来说，他们可以训练算法的照片更少了。所以我认为这种偏见的原因并不是因为工程师们在制造偏见。我认为这是因为他们有一个较小的训练集-一组较小的照片来训练他们的算法，其中包括有色人种和女性。

罗：还有另一点，在现实生活中，会有某些因素，他们可能需要考虑天气因素，可能是主体离面部识别技术很远，通过摄像头或其他什么。他们可能面对着不同的方向，或者正在跑步，或者骑着自行车。正如你提到的，所有这些因素和更多因素都会影响面部识别、准确性和性能。所以，即使是最先进的面部识别软件也很难发现这一点。

PB：是的。这暴露了整个问题，在底特律被捕的这名男子是他们用来匹配他的图像来自视频，一些安全视频或其他什么东西。视频是很自然的，视频中的静止图像会比普通相机拍摄的静止图像要粗糙得多。因此，你输入的匹配照片的质量对人脸识别的准确性有很大的影响。所以我认为这是我们在监管的时候需要考虑的一件事，那就是，你允许在这里放入什么类型的图像并尝试匹配，因为如果你只是放入颗粒状的照片，你会得到很多不匹配的信息。

LO：有趣的是，所有这些都在某种程度上走到了紧要关头，部分原因是黑人生命也是如此运动和抗议活动，因为我觉得面部识别已经使用了一段时间，在现实生活中也是如此，对吧？我的意思是，我知道，运输安全管理局用它来实施某些运输安全管理局全球入境计划之类的事情。

PB：是的，我第一次报道面部识别是在2013年或2014年。因此，它已经被私营和公共实体非常迅速和广泛地采用。它已经被执法部门采用，就像你说的，被运输安全管理局、移民和海关执法部门采用。所以所有这些人都跳上了船。是的，确实有点吓人。

罗：是的，当然。我的意思是，有趣的是，在很大程度上，我看到了一些例子，人们在社交媒体上抱怨、担心或询问，你知道，它是如何被使用的，但我并没有真正地，在大多数情况下，看到人们对它感到舒服，或者比我想象的更舒服。这是一个有趣的问题，但是，我认为最近提出的法案回避了一个重要的问题，那就是面部识别的未来是什么？我的意思是，这种情况会持续下去吗？这是不是不管执法，也许法规会在更高的层面上继续下去？

PB：是的。因此，从广义上讲，面部识别基本上有两个主要问题。一个是，如果它不够好怎么办？你知道，然后我们有一个系统，它对有色人种、女性和诸如此类的东西产生了不成比例的影响。然后另一个问题是，如果它工作得太好了怎么办？那么这又给了政府什么样的能力呢。

但我认为就你的问题而言，面部识别的未来是什么，我认为至少会有警察的一些用途，警察会在某种程度上使用它，我认为它真的可以用于处理人口贩运案件和绑架之类的事情，我认为这些都是面部识别的很好的用途，警方可以参与其中。但可能会有更多限制，不能在公共街道上安装摄像头，以识别每一个路过的人，诸如此类的事情。但我认为面部识别不会完全消失。我认为私营公司在这方面投入了大量资金。就像我说的，这并不难做到。因此，我们可能会看到一些东西开始开源，任何想要获取面部识别并将其放到他们的应用程序中的开发者都可以免费获得。所以我认为我们需要为每个人的手机都有面部识别的世界做好准备，当他们在街上经过你的时候，他们可以把它指向你，并试图识别你，诸如此类的事情。这很可怕，但在当今技术如此免费的情况下，这在某种程度上是不可避免的。

罗：是的，这是一种令人兴奋的想法。这也带来了关于同意的问题，你知道，如果有人只是用手机指着你，或者即使街上只有一个使用面部识别技术的摄像头，你能同意你的脸成为软件的一部分吗？(如果你的脸是软件的一部分，如果有人只是用手机指着你，或者即使街上只有一个使用面部识别技术的摄像头)，你能同意吗？所以这是一个完全不同的对话。

但我知道，至少在美国，城市和政府似乎正在采取一些措施来规范或禁止政府使用面部识别。即使在上周提出的联邦法案之外，我的家乡波士顿也宣布将禁止这项技术。因此，我认为这至少是许多地方政府以及科技公司和学术界的最高意识水平。我想也是在上周，来自麻省理工学院、微软、哈佛等组织的1000名技术专家都签署了这封公开信，谴责即将发表的一篇论文，这篇论文基本上描述了只能根据一个人的脸来预测犯罪的人工智能算法，他们也在呼吁在那里宣扬种族偏见。所以我确实认为这是人们非常热衷的事情，并试图确保这件事不会到不受监管的地步，而且可能会对公民造成实际危险。

PB：是的。我认为，当你考虑监管时，你会考虑如何制定面部识别的隐私政策？所以隐私政策通常规定一些事情，我们需要弄清楚谁被允许使用它，不仅警察可以使用，警察部门的谁被允许授权它-它可以用来做什么，你与谁共享你收集的任何数据，允许与谁共享数据-当地警察部门是否允许与国税局或联邦调查局共享数据，诸如此类的事情。

所以你有，你和谁分享它，允许与什么人分享，在什么情况下，需要什么样的调查，需要搜查令，或者任何形式的法院命令，才能使用面部识别，可以与谁分享。很明显，这也是经过同意的。那么，你是否需要警告那些即将走在摄像机前的人，他们的脸正在接受扫描，并被用于面部识别，是否需要标牌。因此，这些都是我们在试图规范人脸识别时需要提出和解决的问题。

罗：好的。是的，我认为这些绝对是重要的几点。保罗，关于面部识别技术和它未来的发展方向，以及隐私问题是否会继续存在，或者会变得更好，有没有其他重要的想法？

PB：我认为这会持续下去。我认为，我们已经在像中国这样的地方看到了某种最糟糕的情况，在那里，人脸识别被用来限制行动自由和集会自由，诸如此类的事情。因此，如果你想举一个例子，看看中国会有多糟糕，特别是中国西部地区，它被用来严格限制人们可以去的地方和他们可以做的事情。所以我只是想成为隐私的倡导者，避免那样的未来。所以我希望有更多的人加入进来。

罗：当然可以。嗯，我相信考虑到过去几周发生的事情，我们至少会提高人们对这个问题的认识。所以，保罗，再次感谢你今天和我一起做客Threatpost播客。

罗：还有我们所有的听众。今天我们再一次请到林赛·奥唐奈·韦尔奇和比较技术公司的保罗·保罗·比肖夫。下周在Threatpost播客上关注我们，如果您对面部识别技术和隐私问题有任何想法或评论，请务必在Twitter@Threatpost上关注我们，并在评论中向我们发表评论或想法。