应该允许受人工智能决策影响最大的人在塑造关于算法治理和监管的对话中发挥核心作用

塔吉特(Target)旗下杂货配送平台Shipt的工人抗议该公司最近实施的一项新算法，该算法规定了工人的时间表和工资。目前尚不清楚算法是如何做出这些决定的：Shipt向其20多万名员工提供的细节很少，该公司拒绝与公众分享任何东西，声称该系统是“专有的”。但是，即使没有接触到算法的内部工作原理，工人们也能感受到它的影响。自从9月份系统投入使用以来，他们声称自己的工资下降了，日程安排变得更加复杂和不可预测，将他们的生活推入了早熟和财务不确定之中。正如船工威利·索利斯(Willy Solis)所说：“这是我的事，我需要能够对我的时间做出明智的决定。”

即使有越来越多的证据表明人工智能的危害和好处分布不均，什么时候允许算法做出重要决策的问题仍然存在。通常，被问到这个问题的人都是像我这样的人：那些在技术方面有专长，并在工业界和学术界担任特权职位的人。另一个根本的问题是：谁应该回答这个问题，又有什么依据？这是另一个没有被问到和没有回答的问题。像威利这样的人，他们的生活和机会都是由这些系统塑造的，几乎从来没有被包括在内。

这在所有方面都是正确的。在关于算法治理和监管的对话中，那些受制于这些系统的人通常会被忽略。当他们被包括在内时，通常是作为一种象征或刻板印象，而不是作为一个被理解为人工智能决策核心的人。

从某种意义上说，这并不令人惊讶。这些系统主要由私人公司生产，并出售给其他公司、政府和机构。他们受制于创建者的激励，无论他们还能做什么，最终都是为了提高使用者的利润、效率和增长。换句话说，这些都是强者的工具，通常是那些有权势的人用来对付那些没有权势的人。Shipt自己的首席公关官莫莉·斯奈德(Molly Snyder)自己也说过：“我们相信我们推出的模式是适合公司的。”在这里，我们看到了一种默许，即公司的目标与员工的目标是分开的。而且只有一方有权选择如何以及是否使用算法。

Shipt只是算法危害的一个例子。今年早些时候，英国政府部署了一种新的评分算法，但在可预见的种族和阶级界限上失败了。为了补偿考试中与COVID相关的中断，该算法基于教师估计和给定学校的历史表现等因素，猜测了它假设的学生在正常情况下会获得的分数。在这样做的过程中，它降低了贫困学生、黑人学生和棕色学生的分数，而给精英学校和富裕地区的学生打了更高的分。伦敦律师事务所Foxglove的律师科里·克里德(Cori Crider)表示：“人们拒绝就这些系统是如何运作的，以及我们是否想要它们进行实际辩论。”他的案件赢得了推翻不合格成绩的诉讼。

英国的评分算法符合人们熟悉的模式。这些算法的细节很少对公众透明，甚至对所谓的专家也是如此。这些系统通常受到公司保密主张以及政府和机构限制访问和透明度的决定的审查。人们对他们的了解往往是营销部门和公关代表撰写的，在没有证据或核实的情况下呈现给公众。在英国，政府官员表示，评级算法“是为了让系统更公平”，这句话可以做好公关，但却没有给我们任何关于系统是否适合其任务的信息，甚至连他们可能依赖的“公平”的定义也没有。这种政府和企业保护主义以及缺乏准入意味着公众很难在知情的情况下决定何时以及是否适合使用人工智能。

那些拥有关于这些系统内部运作的严密保密信息的人，在做出这类决策时往往也处于不利地位。科技行业异常集中。在美国，这意味着硅谷的少数公司处于人工智能开发的核心，包括构建它们授权给第三方的算法模型，或者为建造自己的人工智能初创企业租赁基础设施。而那些开发这项技术的人是一个同质的群体：主要是白人和男性，来自精英大学，拥有罕见的技术培训。

他们代表着有权势的人和精英，虽然他们可能知道如何

那么，当承担算法系统风险的人决定是否以及如何使用这些系统时，会是什么样子呢？它看起来不像一个整洁的流程图，也不像一套人工智能治理原则，也不像一屋子专家和学者对假想的仁慈的人工智能未来发表意见。看起来，那些将受制于这些系统的人将获得他们所需的信息，以便做出明智的选择。看起来，这些社区分享他们的经验，并做工作，以设想一个他们想要生活的世界。这可能包括也可能不包括这些技术或使用它们的机构。

看起来像是塔瓦娜·佩蒂(Tawana Petty)在底特律禁止面部识别；英国学生抗议政府的评分算法；Shipt工人罢工；纽约洛克波特学区的家长和教师反对该学区采购这些系统。看起来像是社会运动和公民参与。归根结底，那些不得不生活在这些制度下的人，看起来是在要求决定塑造他们生活和生计的力量的权利，以及拒绝接受以牺牲他们为代价服务于强国利益的技术的统治的权利。

在受影响最大的人有能力回答这个问题之前，我们不会知道什么时候使用算法是合适的。像我这样的专家不能替他们回答这个问题。

梅雷迪思·惠特克(Meredith Whittaker)是AI Now Institute的联合创始人，也是纽约大学(New York University)Minderoo研究教授。