算法的审计可以帮助解决偏见，但需要有行业标准/规定持有审计师或使用它们来账户的公司

跳过导航十多年来，记者和研究人员一直在写有关依靠算法做出重大决策的危险：谁被锁定，谁得到工作，谁获得贷款，甚至谁优先使用COVID-19疫苗。

而不是消除偏差，一个接一个的算法已经将其编纂并永久存在，因为公司同时继续或多或少地保护其算法不受公众审查。

此后的一个大问题：我们如何解决这个问题？立法者和研究人员倡导进行算法审计，该审计将对算法进行剖析和压力测试，以查看算法如何工作以及它们是否在执行既定目标或产生偏见。越来越多的私人审计公司声称这样做。公司越来越多地求助于这些公司来审查其算法，尤其是当他们面对因偏向结果而受到批评的时候，但目前尚不清楚此类审计是否实际上使算法的偏向性降低了，或者它们是否仅仅是良好的公关手段。

没有您，我们无法做到这一点。我们的小型团队正在为它提供一切，以让数万亿美元的科技集团承担责任。我们需要像您这样的读者。

今天支持标记

最近，当沃尔玛（Walmart）和高盛（Goldman Sachs）等公司使用的受欢迎的招聘软件公司HireVue面临批评时，算法审计引起了广泛关注，该公司通过视频采访评估候选人的算法存在偏见。

HireVue要求审计公司提供帮助，并在一月份在新闻稿中大肆宣传了审计结果。

审计发现该软件的预测“在公平性和偏见问题上做的广告工作”，HireVue在新闻稿中说，引用了该公司聘请的审计公司O’Neil Risk Consulting＆amp;算法审核（ORCAA）。

但是，尽管对其流程进行了更改（包括从面试中删除视频），但HireVue被广泛指责为使用PR特技进行审计（狭义地针对早期职业候选人的招聘测试，而不是整个HireVue的候选人评估过程）。

Fast Company，VentureBeat和MIT Technology Review中的文章称该公司误以为审计的特征。

HireVue表示，通过公开发布该报告可以使审计透明，并补充说新闻稿规定该审计仅针对特定情况。

“尽管HireVue可以接受任何类型的审计，包括涉及对我们整个流程的审计，但ORCAA要求只关注一个用例，以便就该系统进行具体讨论，” HireVue首席数据科学家Lindsey Zuloaga在接受采访时说。一封电邮。 “我们与ORCAA合作，选择了一个具有代表性的用例，该用例与大多数HireVue候选人所进行的评估有很大的重叠。”

但是算法审计师也对HireVue关于审计的公开声明不满意。

人工智能解释性和偏差监控初创企业Arthur的共同创始人利兹·奥沙利文（Liz O’Sullivan）说：“在[ORCAA]对营销抵押品进行非常周到的分析时，它们破坏了整个领域的合法性。”

这是算法审计问题作为消除偏差的工具：公司可能会用它们来实现真正的改进，但它们可能不会。并且没有任何行业标准或法规，遵守审计师或使用它们来占据账户的公司。

好的问题 - 这是一个漂亮的未定义的领域。一般来说，审计进行了几种不同的方式：通过从其结果看算法的代码和数据，或通过使用员工的访谈和研讨会查看算法的潜在效果。

访问算法代码的审核允许审阅者评估算法的训练数据是否有偏置并创建假设方案以测试对不同群体的效果的假设方案。

提供算法评论，Rumman Chowdhury，Twitter的机器学习伦理总监和算法审计公司平价的创始人的算法评论，只有大约10到20件知识公司。公司也可能拥有自己的内部审计团队，在他们向公众发布之前看出算法。

独立的新闻isn＆＃39; t只是第一个粗略的历史草稿，它是一个更美好的未来的蓝图。

现在给予

2016年，奥巴马政府关于算法系统和民权的报告鼓励算法审计业的发展。然而，雇用审计员仍然不是普通的做法，因为公司没有义务这样做，并且根据多个审计师，公司不希望审查或潜在的法律问题，即审查可能会筹集，特别是他们市场的产品。

“律师告诉我，'如果我们雇用您，发现有一个我们无法解决的问题，那么我们就失去了合理的可否认性，我们不想成为下一个卷烟公司，'” ORCAA的创始人Cathy O'尼尔说。 “这是我找不到工作的最常见原因。”

对于那些聘请审计师的人，“审计”应包含什么没有标准。即使是拟议的纽约市法律也要求对聘用算法进行年度审核，也无法说明应如何进行审核。一位审核员的批准印章比另一位审核员的审核意味深远。

而且由于审计报告也几乎总是受保密协议约束，因此两家公司无法相互比较工作。

乔杜里说：“最大的问题是，随着该领域利润的增加，我们将发现，我们确实需要什么是审计标准。” “外面有很多人愿意对某事进行审计，建立一个美观的网站并每天称其为日，并在没有标准的情况下赚钱。”

一些审计师说，即使聘用了审计师，科技公司也并不总是能如愿以偿。

Arthur的O’Sullivan表示：“在这种情况下，商业秘密已足够使这些算法能够在晦暗黑暗的环境中运行，而我们不能拥有这种秘密。”

算法正义联盟的审计师和研究合作者Inioluwa Deborah Raji说，审计师处于无法访问该软件代码的情况，因此有违反计算机访问法律的风险。乔杜里说，当公司要求她允许他们在公开发布之前对其进行审查时，她拒绝了审计。

Zuloaga说，对于HireVue的审计，ORCAA采访了利益相关者，包括HireVue员工，客户，应聘者和算法公平专家，并确定了公司需要解决的问题。

ORCAA的评估并未考虑HireVue算法的技术细节，例如算法所训练的数据或其代码，尽管Zuloaga表示，该公司不以任何方式限制审计师的访问权限。

Zuloaga说：“ ORCAA要求提供有关这些分析的详细信息，但他们的方法重点在于解决涉众如何受到算法影响的问题。”

许多审核是在产品发布之前进行的，但这并不是说它们不会出现问题，因为算法不是凭空存在的。例如，当微软建立一个聊天机器人时，一旦暴露给Twitter用户，该聊天机器人便迅速变成种族主义者。

奥沙利文说：“一旦将其投入现实世界，即使有最好的意图，也有可能出错一百万人。” “我们希望采用的框架还不够完善。总有办法使事情更加公平。”

因此，尽管并不常见，但一些预发行审核也将提供连续的监视。 O’Sullivan说，这种做法在银行和医疗保健公司中越来越流行。

奥沙利文（O’Sullivan）的监控公司安装了一个仪表板，该仪表板可实时查找算法中的异常情况。例如，如果公司的算法拒绝更多的女性贷款申请，它将在启动后几个月提醒公司。

最后，还有一个越来越多的对手审计，主要由研究人员和一些记者进行，其中没有公司同意的审查算法。例如，亚马逊的Rekognition工具的算法司法联盟的创始人Raji和Joy Buolamwini，其工作突出了软件在没有公司参与的情况下如何具有种族和性别偏见。

“您可以拥有质量审计，仍然没有得到公司的问责制，”Raji说。 “它需要大量的精力来弥合获得审计结果之间的差距，然后将其翻译成问责制之间。”

公共压力有时可以推送公司在技术公司的避难所并由非歧视协议上涵盖的技术 - 或审计中的算法偏差。

Raji表示，在商业面部识别工具中发现性别和种族偏见的性别色调研究，名为IBM和微软等公司，以激发它周围的公开对话。

虽然面部识别的偏见是可复杂的 - 人们可以看到照片和错误率，了解技术中种族和性别偏见的后果 - 这可能更难涉及偏差像兴趣算法等偏差。

“我们依赖公众哗然有点令人遗憾，”Raji说。 “如果公众不理解，没有罚款，没有法律反应。它使它变得非常令人沮丧。“

2019年，一群民主法律制造商介绍了联邦算法问责法，该法案将要求公司审核其算法并解决任何偏见问题，审计在他们投入使用之前透露。

AI For the People的创始人Mutale Nkonde是技术人员团队的成员，该团队帮助起草了该法案，并表示将为政府创建公司强制性命令，以进行审计和后续审计。

她说：“就像药物测试一样，必须有某种类型的机构，例如食品和药物管理局来研究算法。” “如果我们看到了完全不同的影响，那么该算法将不会投放市场。”

来自俄勒冈州的民主党参议员罗恩·怀登（Ron Wyden）表示，他计划与参议员科里·布克（D-NJ）和众议员伊维特·克拉克（D-NY）重新介绍该法案，并更新2019年版本。目前尚不清楚该法案是否将为审计制定标准，但这将要求公司根据其结果采取行动。

Wyden在一份声明中说：“我同意研究人员，行业和政府需要努力建立公认的AI审计基准，以确保审计尽可能具有影响力。” “但是，在国会开始采取行动以防止偏见污染自动化系统之前，风险太大，无法等待学术界达成共识。我认为我们需要在两个方面都努力。”

随着技术将其影响范围扩展到文化的各个角落，黑匣子算法以前所未有的方式重塑了我们的生活，The Markup正在努力将其全部聚焦。

我们是一家非营利性新闻编辑室，将技术专长带入技术报道。我们追求以数据为导向的艰苦分析，并要求强大的机构负责。

独立新闻对健康的社会至关重要，而您的支持对独立新闻至关重要。

立即支持标记 我们很乐意免费提供此故事，并根据Attribution-NonCommercial-NoDerivatives Creative Commons许可免费重新发布该故事。 这使您可以重新发布文章，但不包括信用图像以外的图像或图形。 您必须相信标记。 如果标记信用图片与您的CMS不兼容，请删除该标签，让我们知道。 要重新发布，只需复制我们提供的HTML并将其原样发布在您的网站上。 提供的HTML代码段包括所有段落样式和超链接，作者署名和对The Markup的感谢。 如果您已将故事重新发布到[email protected]，请给我们留言。