当AI看到一个人时，它会认为是“官方的”。一个女人？ “微笑”

当美国和欧洲的研究人员向Google的云图像识别服务提供国会议员的照片时，该服务对女性照片的外观标注所使用的注释是对男人的三倍。男性使用的最高标签是“官方”和“商人”；对于女人来说，她们是“微笑”和“下巴”。

“这导致女性获得低调的刻板印象：女性在那里看起来漂亮，男性是商业领袖，”德国科恩的GESIS莱布尼兹社会科学研究所博士后研究员Carsten Schwemmer说。他参与了上周发表的这项研究，研究人员来自纽约大学，美国大学，都柏林大学学院，密歇根大学和非营利组织加州YIMBY。

研究人员对谷歌的人工智能图像服务以及竞争对手亚马逊和微软的机器视觉测试进行了机器视觉测试。支付给群众工作者以查看这些服务应用于议员官方照片的注释和议员发布的推文图像。

人工智能服务通常看到人类评论者也可以在照片中看到的东西。但是他们倾向于注意到关于男人和女人的不同事情，而女人更容易以其外表为特征。女议员通常被贴上“女孩”和“美女”的标签。这些服务有一种倾向，就是根本不去看女人，比不去看男人要更频繁地发现她们。

这项研究增加了证据，即算法并不能从数学上看待世界，而是倾向于复制甚至放大历史文化偏见。这部分是受到2018年名为Gender Shades的项目的启发，该项目表明微软和IBM的AI云服务在识别白人男性方面非常准确，而在识别黑人女性性别方面却非常不准确。

这项新研究于上周发布，但研究人员已从2018年的AI服务中收集了数据。WIRED进行的实验使用了加利福尼亚州参议院10名男性和10名女性的官方照片，表明该研究的结果仍然成立。

所有20名议员在官方照片中都面带微笑。 Google的最高建议标签指出，只有一个男人微笑，但其中有七个女人微笑。该公司的AI视觉服务将所有10名男性标记为“商人”，通常还带有“官方”或“白领”。只有五位女参议员获得了其中一个或多个条件。妇女还收到与外观有关的标签，例如“皮肤”，“发型”和“脖子”，这些标签不适用于男人。

亚马逊和微软的服务似乎没有表现出明显的偏见，尽管亚马逊报告称，在10名女参议员中有99％的人肯定是“女孩”还是“孩子”。这并不意味着十个人中有未成年人。微软的服务确定了所有男性的性别，但只有八名女性，称一个男人为男人，而没有为另一个标记性别。

Google今年早些时候关闭了AI视觉服务的性别检测功能，称无法从一个人的外貌推断出性别。 Google云部门负责AI的董事总经理Tracy Frey表示，该公司继续致力于减少偏见，并欢迎外界的参与。她说：“我们一直在努力变得更好，并继续与外部利益相关者（例如学术研究人员）合作，以进一步推动我们在这一领域的工作。”亚马逊和微软拒绝置评。两家公司的服务都只将性别视为二进制。

这项美国欧洲研究的部分原因是，当研究人员向Google的视觉服务提供了一张引人注目的获奖德克萨斯州图像时，发生了什么事，该图像显示洪都拉斯蹒跚学步的美国边境巡逻警官拘留了她的母亲。 Google的AI建议包括“有趣”在内的标签，得分为77％，高于为其分配“孩子”标签的52％得分。在周三将图片上传到Google的服务后，《连线》杂志也提出了同样的建议。

Schwemmer和他的同事开始使用Google的服务，希望它可以帮助他们衡量人们使用图像在网上谈论政治的方式。随后，他帮助揭示了影像服务中的性别偏见，这使他确信，这项技术尚未准备好供研究人员使用，并且使用此类服务​​的公司可能会遭受惨重的后果。他说：“您可能会获得完全错误的现实形象。”一家使用歪斜的AI服务来组织大型照片集的公司可能会无意间使女商人蒙上阴影，而以她们的笑容将她们编入索引。

先前的研究发现，用于训练视觉算法的标记照片的重要数据集显示出明显的性别偏见，例如显示女性做饭和男性射击。这种歪斜似乎部分是由于研究人员在线收集了他们的图像，其中可用的照片反映了社会偏见，例如，通过提供比商人更多的商人例子。发现在这些数据集上受过训练的机器学习软件可以放大底层照片集中的偏差。

Schwemmer认为训练数据有偏颇可能解释了这项新研究在科技巨头的AI服务中发现的偏颇，但是如果没有对他们系统的完全访问权限就无法知道。

诊断和修复AI系统中的缺陷和偏差已成为近年来的热门研究话题。当AI软件将注意力集中在像素模式上时，人们可以立即吸收图像中细微背景的方式会产生很大的误解的可能性。随着算法在处理图像方面变得更好，这个问题变得更加紧迫。普林斯顿大学助理教授奥尔加·鲁萨科夫斯基（Olga Russakovsky）说：“现在，它们正在各地部署。” “因此，我们最好确保他们在世界上做正确的事情，并且不会有意外的下游后果。”

解决该问题的一种方法是致力于改进训练数据，这可能是机器学习系统存在偏差的根本原因。 Russakovsky是普林斯顿大学项目的一部分，该项目致力于开发一种名为REVISE的工具，该工具可以自动标记出烘焙到图像集中的某些偏见，包括沿着地理和性别界限。

当研究人员将该工具应用于由Google维护的900万张照片的“开放图像”收藏中时，他们发现，在户外场景和运动场所中，男性比女性更容易被标记。标记有“运动服”的男人大多在户外打棒球等运动，而女人则在室内打篮球或泳衣。普林斯顿大学的研究小组建议增加更多展示女性户外活动的图像，包括参加体育运动。

Google及其在AI领域的竞争对手本身就是研究AI公平性和偏见的主要贡献者。这包括致力于创建标准化方法以将AI软件和数据集的局限性和内容传达给开发人员的想法，就像AI营养标签一样。

Google开发了一种称为“模型卡”的格式，并为其云视觉服务的面部和物体检测组件发布了卡。有人声称Google的面部识别器在不同性别上的工作原理大致相同，但并未提及AI性别偏见可能采取的其他可能形式。