随着公司开始使用人工智能软件来检测种族或民族,通常是作为市场研究的一部分,研究人员担心这会助长偏见和歧视

2020-08-16 10:25:23

人工智能十多家公司提供人工智能程序,承诺识别一个人的种族,但研究人员甚至一些供应商都担心这会助长歧视。

当露华浓想知道不同种族、不同国家的女性涂什么口红时,这家化妆品巨头不需要发出调查。它聘请了总部位于迈阿密的Kairos Inc.,后者使用面部分析算法扫描Instagram照片。

当时,在2015年,扫描一个人的脸并识别他或她的种族的能力还处于初级阶段。根据对网站、营销文献和采访的回顾,今天,有十几家公司提供某种形式的种族或民族检测。

在过去的几年里,公司已经开始使用这样的种族检测软件来了解某些客户如何使用他们的产品,谁看了他们的广告,或者不同种族的人喜欢什么。其他人使用该工具在库存照片收藏中寻找不同的种族特征,通常是为了广告,或者是在安全方面,以帮助缩小在数据库中搜索某人的范围。在人脸跟踪普遍存在的中国,监控摄像头已经配备了种族扫描软件来跟踪少数民族。

该领域仍在发展中,公司、政府和个人未来将如何利用这项技术是一个悬而未决的问题。该软件的使用令人担忧,因为研究人员和公司已经开始认识到它可能会引发歧视,这对广泛采用该软件构成了挑战。

露华浓的一位女发言人表示无法置评,因为Instagram扫描发生在几年前。Kairos没有回应多次的置评请求。

种族检测软件是面部分析的一个子集,面部分析是一种人工智能,它扫描面部的一系列特征-从眉弓到颧骨的形状-并使用这些信息得出关于性别、年龄、种族、情绪,甚至吸引力的结论。这与面部识别不同,面部识别也依赖于一种名为机器学习的人工智能技术,但用于识别特定的人脸,例如解锁智能手机或在人群中发现麻烦制造者。

面部分析“对营销人员很有用,因为人们是成群结队地购买,行为也是成群结队的,”Kairos创始人布莱恩·布拉基恩(Brian Brackeen)说。他于2018年离开,现在通过Lightship Capital投资初创企业。

对于零售商和其他企业来说,对摄像头镜头的面部分析有望在实体环境中更多地了解客户,就像他们长期以来使用cookie(即跟踪人们互联网活动的小数据文件)来定向在线广告一样。法国面部识别公司Idemia SAS负责企业发展的高级副总裁阿贾伊·安拉尼(Ajay Amlani)表示:“现实世界是一个巨大的数据真空,因为那里什么都没有。”现在,相机开始扮演类似于饼干的角色。

总部位于纽约的Haystack AI Inc.。该公司表示,其客户使用其种族分类功能进行广告定向、市场研究,并帮助验证人们的身份。德国Cognitec Systems GmbH的销售和营销总监尤尔根·潘帕斯(Jeurgen Pampus)表示,该公司为零售商和其他公司提供种族检测服务,以收集游客的统计数据。他说,还没有客户购买种族分类的许可证,尽管他们已经购买了年龄和性别分类的软件。

保加利亚初创公司Spectrico以1000欧元(约合1170美元)的价格出售其种族分类工具的永久、无限制许可。该公司表示,交友网站使用它来检查个人资料是否准确,而广告商使用它来跟踪观看智能广告牌的人的人口统计数据。创始人马丁·普雷涅夫(Martin Prenev)表示,一些客户购买了种族分类工具,更多的客户购买了与性别和年龄分类工具相结合的工具。

根据市场情报公司PitchBook的数据,中国的Face+是世界上最大的面部识别和面部分析公司之一,2019年5月的估值为40亿美元。该公司在其网站上表示,其种族检测功能可用于消费者行为分析和广告定向。

面部分析在很大程度上没有引起人们的注意,尽管面部识别受到了抨击,因为训练不善的系统错误地识别了有色人种。波士顿、旧金山、华盛顿州和加利福尼亚州等地已经限制了面部识别在执法中的使用。IBM Alphabet和微软(Microsoft Corp.)限制了他们的面部识别业务,特别是在向警察部门销售方面。

对面部分析的研究仍在继续。一些科学家说,被训练来识别一个人的种族的算法可能会令人震惊地准确。今年5月,德国波鸿鲁尔大学的两名科学家在科学期刊“机器学习”上发表了一篇论文,显示他们的算法可以99%的准确率估计一张脸是白人、黑人、亚洲人、西班牙人还是“其他人”。据该研究的作者之一劳伦茨·维斯科特(Laurenz Wiskott)博士说,研究人员在监狱嫌犯照片数据库上训练了他们的算法,其中包括每个人的种族标签。

一些研究人员甚至供应商表示,基于种族的面部分析不应该存在。几十年来,政府一直禁止医生、银行和雇主使用有关种族的信息来决定治疗哪些患者,哪些借款人发放抵押贷款,以及雇用哪些求职者。据该领域的研究人员称,种族检测软件提出了一种令人不安的可能性,即机构可能-无论是有意还是无意-根据一个人的种族背景做出决定,方式更难检测,因为它们是以复杂或不透明的算法出现的。

普林斯顿大学(Princeton University)计算机科学教授阿尔温德·纳拉亚南(Arvind Narayanan)表示,使用人工智能识别种族“似乎更有可能弊大于利”,他研究了如何使用匿名数据来识别人的身份。

伦敦艾达·洛夫莱斯研究所(Ada Lovelace Institute)主任卡莉·金德(Carly Kind)表示,混血儿可能不同意算法对他们进行分类的方式。艾达·洛夫莱斯研究所是一家专注于人工智能应用的研究机构。“技术系统有能力把事情变成数据,变成事实,以及看似客观的结论,”她说。

金德说,让雇主在面试过程中扫描求职者微表情的软件,如果开始考虑种族因素,可能会在不经意间造成歧视。她说,使用面部分析软件对种族进行分类的警察有加剧种族定性的风险。

数字权利组织争取未来(Fight For The Future)副主任埃文·格里尔(Evan Greer)表示,如果公司利用种族认同推动边缘化人群购买特定产品或提供歧视性定价,种族认同也可能是有害的。

脸部扫描技术在中国的使用一直存在争议,最明显的是在中国西北部的新疆,当局曾利用该技术监视其维吾尔族穆斯林少数民族。据安全行业出版物IPVM称,去年,中国监控摄像头制造商杭州海视数码科技(Hikvision Digital Technology)在其网站上宣传了一款可以自动识别维吾尔族人的摄像头。

身为黑人的布拉金支持凯洛斯的种族识别系统,因为它可以帮助企业为少数族裔量身定做营销。现在,布拉基恩认为种族检测软件有可能助长歧视。

他对企业使用它感到满意,但表示政府不应该使用它,并对消费者也使用它持谨慎态度。Kairos在2017年发布了一款免费应用程序,该应用程序估计了种族,显示了黑人、白人、亚洲人或西班牙裔人上传自拍的情况。“我希望人们能看到10%的黑人得分,看到其他人身上的人性,”布拉金说。

超过1000万人向这款应用提交了自拍,以查看结果。布拉金说,这款应用的许多用户,特别是在巴西的用户,在社交媒体上抱怨他们的分数不够白。该应用程序已关闭。

在北欧,一家家具连锁店使用荷兰面部识别公司Sightcorp B.V.的面部分析软件对进入其门店的顾客进行筛查,得知其中许多人比预期的要年轻。Sightcorp首席执行官乔伊斯·卡拉多纳(Joyce Caradona)表示,该公司随后聘请了更多20多岁和30多岁的人担任楼层工作人员。她的公司在2017年停止销售自己的种族分类功能,因为担心这可能会违反欧洲的数据隐私法。

英国面部识别公司Facewatch Ltd.今年早些时候取消了跟踪购物者种族、性别或年龄的选项,因为“这些信息无关紧要”,该公司的一位发言人说,该公司的软件通过将疑似窃贼从监视名单中筛选出来,在他们进入商店时发现了他们。

网络安全公司Scorecard的首席研究官亚历克斯·海德(Alex Heid)表示,收集种族数据存在安全风险,这些数据可能是故意的,也可能是无意的,与人们的身份有关。他的公司最近发现,大约有六家网站的数据库中保存着人们的面部数据,这些网站的数据库存在安全漏洞,其中包括一家面部识别公司和一家美国工程学院,后者要求学生展示自己的脸才能登录。

提供面部分析服务的公司说,他们的系统收集的人口统计数据与个人身份无关。但海德说,从理论上讲,数据经纪人可以将在线买卖的营销数据库结合在一起,创建更详细的用户照片,将这些数据与身份联系起来。

与执法部门合作的英国面部识别公司Digital Balls PLC的首席执行官扎克·多夫曼(Zak Doffman)说,几年前,销售面部分析的公司对扫描人口特征的能力更加开放。他补充说,当大型科技公司开始因其面部识别系统而受到抨击时,“每个人都不再谈论它了。”“现在没有人谈论种族认同。不是公开的。“。

收拾一个自动驾驶行李箱,通过拱门通过安检,登上一架无人驾驶飞机:这是一个遥远的未来愿景,但科技公司正在努力使其成为现实。

是什么让植物在炎热中茁壮成长?在亚利桑那州的沙漠中,“田野分析仪”正在收集数据以了解答案--并有望改善生物燃料和食品的耕作。

人工智能被训练成在嘈杂的水域中探测虎鲸的声音,这有助于保护鲸鱼免受船只交通的影响。