Facebook开放消息来源随意对话，与提供年龄和性别的付费人的数据集，帮助研究人员评估AI模型的公平性

加入GamesBeat Summit 2021 4月28日至29日。今天注册免费或VIP通过。

Facebook今天开放的数据集，设计用于计算机视觉和音频机器学习模型的表面时代，性别和肤色偏见。该公司声称，语料库 - 随意的谈话 - 是它的第一个特色，它是明确提供年龄和性别的付费人，而不是将第三方标记这些信息或使用模型估算它。

偏差可以进入用于培训AI系统的数据，放大刻板印象并导致有害后果。研究表明，在想象中培训的最先进的图像分类AI模型，一个流行的数据集包含从互联网刮下的照片，自动学习关于种族，性别，体重等的人类偏见。无数研究表明面部识别易受偏见的影响。甚至表明，偏见可以将用于创造艺术的AI工具蔓延，可能导致过去的社会，文化和政治方面的虚假看法以及对重要历史事件的认识。

随意谈话，其中包含超过4,100个参与者的视频，其中一些来自DeepFake检测挑战，旨在通过包括“明显”肤色的标签来打击这一偏差。 Facebook表示，使用FitzPatrick规模估计音调，由美国皮肤科医生Thomas B. Fitzpatrick由1975年开发的肤色分类模式。 Fitzpatrick Scale是将皮肤类型响应的方式，从I型（苍白的皮肤，永远燃烧的苍白皮肤）到vi型（绝对着色的皮肤，从未烧伤的深色皮肤）。

Facebook表示，它招募了受过培训的注释器，以便随意对话来确定每个参与者的皮肤类型。注释器还标记了具有环境照明条件的视频，这有助于测量模型在低光条件下用不同的肤色患者的人们对待。

Facebook发言人通过电子邮件告诉VidtureBeat，美国供应商被聘用，从“一系列背景，种族和家庭”中选择项目的注释器。来自亚特兰大，休斯顿，迈阿密，新奥尔良和里士满的参与者。

“作为一个领域，行业和学术专家仍然在理解公平和偏见的早期，当谈到AI ...... AI研究社区可以使用随意的谈话作为标准化亚组测量和公平研究的一个重要踏脚石，”Facebook在博客帖子中写道。 “随着随意的谈话，我们希望在这一重要的新兴领域中促进进一步研究。”

为了支持Facebook的观点，有一种证据表明计算机视觉模型尤其易于有害，普遍存在的偏见。博尔德研究人员最后一篇秋季的秋季，博尔德研究人员展示了来自亚马逊，克拉迪瓦，微软和其他人的AI，对Cisgender男女的准确性率高于95％，而是妇女的跨越男子为38％的时间。性别色调项目和国家标准和技术研究所（NIST）的主要供应商系统的独立基准已经证明，面部识别技术展示了种族和性别偏见，并提出目前的面部识别计划可以疯狂地不准确，向上误解人民96％的时间。

除了面部识别之外，ZOOM的虚拟背景和Twitter的自动照片裁剪工具等功能历史上有着较深的皮肤的人。返回2015年，软件工程师指出Google照片中的图像识别算法将他的黑人朋友标记为“大猩猩”。和非营利性算法术语显示谷歌的云视觉API一次，一次自动标记为深色皮肤人握住的温度计，作为“枪”，同时将被轻型皮肤人员握住的温度计作为“电子设备”。

专家将许多错误归因于用于培训模型的数据集中的缺陷。最近对流行的机器学习数据集的一个MIT LED审计发现了平均的3.4％的注释错误，包括奇瓦瓦哈的图片被标记为“羽毛蟒”。想象一下，用于训练世界各地的AI系统的数据集，发现包含裸体儿童，色情女演员，大学派对和更多的照片 - 所有人都没有那些个人同意的人刮掉。另一台计算机视觉语料库，8000万微小的图像，有一系列种族主义，性别歧视和其他令人反感的注释，例如用n字标记的近2,000张图片，以及“强奸嫌疑人”和“儿童泥工”等标签。 “

但随意的谈话远非完美的基准。 Facebook表示，它没有收集有关参与者最初的信息。并在提出他们的性别时，公司只提供了“男性”，“女性”和“其他”的选择 - 遗漏了像非中华的人那样的性别。

发言人还澄清说，尚未在内部的Facebook团队无法随意谈话，并且将不需要员工 - 但将鼓励 - 将其用于评估目的。

关于Facebook的公平方法的曝光尚未在AI社区中获得信任。纽约大学在7月2020年发布的一项研究估计，Facebook的机器学习系统每天达到约300,000个内容审核错误，并且有问题的帖子继续通过Facebook的过滤器滑动。在上11月创建的一个Facebook小组中，迅速增长到近40万人，成员呼吁全国于2020年的美国总统选举召开了关于所谓的选举欺诈和国家投票每隔几秒钟的指责。

对于Facebook的部分，公司表示，虽然它考虑了随意对话的“好，大胆”的第一步，它将继续推动开发在明年左右捕获更大多样性的技术。 “在明年左右，我们希望探索扩大这一数据集的途径，以更为容易的意见，这些代表包括更多地理位置，活动和更广泛的性别身份和年龄的代表。 “对未来的利益相关者参与评论很快，但我们肯定会与技术产业，学术界，研究人员和其他人的利益攸关方发言。”

VidtureBeat＆＃39; S使命是成为技术决策者的数字城市广场，以获得有关转型技术和Transact的知识。您网站提供有关数据技术和策略的基本信息，以指导您的领导您的组织。 我们邀请您成为社区的成员，访问：门控思想领导者内容和对我们奖化事件的折扣访问，如转换2021：了解更多 成为会员