NIST的一项研究发现,面具击败了大多数面部识别算法

2020-07-28 02:39:09

美国国家科学与技术研究所(NIST)是一家物理科学实验室,也是美国商务部的非监管机构,在今天发布的一份报告中,研究人员试图评估面部识别算法在部分戴着防护面罩的面部上的性能。他们报告说,他们测试的来自松下、佳能、腾讯和其他公司的89种商用面部识别算法,在将数字应用的面具与同一人不戴面具的照片进行匹配时,错误率在5%到50%之间。

该报告的共同作者、NIST计算机科学家梅颜在一份声明中表示:“随着疫情的到来,我们需要了解人脸识别技术是如何处理蒙面面孔的。”“我们已经开始关注在大流行之前开发的一种算法可能会如何受到戴口罩的受试者的影响。今年夏天晚些时候,我们计划测试有意开发的算法的准确性,这些算法是在考虑到蒙面人脸的情况下开发的。“。

这项研究是NIST的人脸识别供应商测试(FRVT)项目的一部分,该项目与国土安全部的科学和技术局、生物识别身份管理办公室以及海关和边境保护局合作进行了一系列研究。研究探索了每种算法执行“一对一”匹配的能力有多好,即将一张照片与同一人的不同照片进行比较。这项研究是NIST的人脸识别供应商测试(FRVT)项目的一部分,该项目与国土安全部的科学和技术局、生物识别身份管理办公室以及海关和边境保护局合作进行了一系列研究。(NIST指出,这种技术经常用于智能手机解锁和护照身份验证系统。)。该团队将算法应用于之前FRVT研究中使用的一组约600万张照片,但他们没有测试“一对多”匹配,这种匹配用于确定照片中的一个人是否与已知图像数据库中的任何一个匹配。

由于现实世界中的口罩不同,研究人员提出了9种口罩变体进行测试,其中包括形状、颜色和鼻子覆盖率的差异。数字口罩是黑色或浅蓝色,与蓝色外科口罩的颜色大致相同,而形状从覆盖鼻子和嘴巴的圆形口罩到与佩戴者的脸一样宽的类型不等。较宽的口罩有高、中、低三种不同的变种,不同程度地覆盖了鼻子。

根据研究人员的说法,蒙面面孔的算法准确率全面“大幅”下降。使用未屏蔽的图像,最准确的算法大约有0.3%的时间无法验证一个人,而屏蔽的图像甚至将这些顶级算法的失败率提高到了5%左右,而许多“本来可以胜任的”算法失败的时间在20%到50%之间。

此外,蒙版图像更频繁地导致算法无法处理人脸,这意味着它们不能很好地提取特征来进行有效的比较。面罩覆盖的鼻子越多,算法的精度就越低;鼻子覆盖率越大,精度就越低。与此同时,与外科蓝色口罩相比,圆形口罩和黑色口罩的错误率通常较低。在假阴性增加的同时,假阳性保持稳定或略有下降。(假阴性表示算法无法匹配同一人的两张照片,而假阳性表示它错误地识别了两个不同人的照片之间的匹配。)。

Ngan继续说:“关于口罩的准确性,我们预计这项技术将继续提高。”“但是,我们到目前为止获得的数据强调了以前FRVT测试的一个共同想法:各个算法的表现不同。用户应该彻底了解他们正在使用的算法,并在自己的工作环境中测试其性能。“。

这项研究的结果与VentureBeat今年早些时候的一篇文章一致,该文章发现谷歌和苹果使用的面部识别算法难以识别戴面具的用户。但至关重要的是,NIST没有考虑到专门为识别口罩佩戴者而设计的系统,比如中国汉王公司和武汉大学附属研究人员的系统。在4月份的一篇评论文章中,东北大学教授伍德罗·哈佐格(Woodrow Hartzog)将面具描述为临时的技术减速带,不会阻碍新冠肺炎时代面部识别使用量的增加。像Clearview AI这样的公司已经在试图向国家机构出售面部识别,目的是追踪感染新冠肺炎的人。

也许是认识到了这一点,今年夏天,NIST计划测试考虑到口罩的算法,并进行一对多搜索和其他变体的测试。