Proctorio正在使用种族主义算法来检测面孔

颜色的学生长期抱怨，面部检测算法Proctorio和其他考试监控公司使用无法识别他们的脸，使得难以采取高赌注测试。

现在，一名软件研究员也恰好成为一所使用Proctorio的学校的大学生，说他可以证明Proctorio软件正在使用面部检测模型，该模型未能识别超过50％的时间超过50％的时间。

“我决定调查它，因为[Proctorio]声称已经听到了”少于五个“实例，在研究人员的Akash Satheesan告诉主板。 “我知道从轶事不太可能......所以我开始找到更多的结论性证据，我想我相当肯定。”

SAHEESAN最近在一系列博客帖子中发表了他的调查结果。在他们中，他描述了如何分析Chrome Web浏览器的Proctorio的扩展后的代码，并发现与工具的面部检测功能关联的文件名与OpenCV发布的文件名，一个开源计算机视觉软件库。

SAHEESAN展示了主板，即在PRECTOIO的工具中嵌入的面部检测算法与在同一组面上测试时的OpenCV型号相同。主板还咨询了一名安全研究员，验证了SAHEESAN的调查结果，并能够重新创建他的分析。

在其网站上，Proctorio声称它使用“专有面部检测”技术。它还表示它使用OpenCV产品，虽然没有哪种产品或者是什么。当主板询问公司是否使用OpenCV的面部识别模型，Meredith Shadle，Proctorio的发言人没有直接回答。相反，她发送了一个链接到Proctorio的许可证页面，其中包括OpenCV的许可证。

“虽然公开报告不准确地捕获我们的技术如何完整，但我们感谢分析确认Proctorio使用面部检测（而不是面部识别），”Shadle在电子邮件中写信给主板。

Proctorio也没有回答有关该技术的几个问题，包括公司是否已经精细调整了OpenCV模型，以便在其软件中使用。

计算机视觉系统无法检测和正确识别较暗皮肤的面孔是一个记录良好的问题，并且Proctorio对OpenCV的模型的使用对学生强迫使用它的严重影响。以前发现已经偏离OpenCV的面部识别和检测软件被偏见。

SAHEESAN测试了对FAICFACES数据集的近11,000个面孔的图像测试模型，该图书馆策划，包含标记的图像代表多个种族和比赛。

模型未能检测标记为包括黑色面的图像中的面孔57％的时间。一些故障揭示：算法检测到白色面，但不是在相同的图像中以近似相同的位置构成的黑色面部。

其他群体的通过率更好，但仍然远非最先进的。 Satheesan的模型未能检测到含有中东面孔的41％的图像中的面孔，其中40％的含有白色面孔，含有东亚面的37％，含有东南亚或印度面的35％，含有33％的含有拉丁士面孔。

黑人学生描述了令人沮丧和焦虑诱导的Proctorioi的糟糕的面部检测系统。有些人说，每当他们参加测试时，软件都无法识别它们。其他人担心他们的测试将突然关闭并锁定出完美的照明。

“没有理由我应该收集所有的光上帝所提供的，只是为了Proctorio假装我的脸仍然无法察觉，”一名学生在推特上写道。

SAHEESAN表示，他的发现有助于展示PROCTORATION软件的根本缺陷：这是为了教育目的而建立的工具，实际上破坏了教育 - 特别是对于已经弱势的学生。 “他们使用偏见的算法，它们增加了压力的过程......在压力的时间内，他们对学生进行了辩护，”他说。