为什么“抛弃算法”是政治抗议的未来

2020-08-30 23:58:26

过去跟踪学生的一个不太可能的噩梦是撕开一个信封,发现里面有别人的考试成绩。8月13日,对于数以万计的英国A-level学生来说,这成为了现实。资质监管机构Ofqual开发的预测算法忽略了许多年轻人在将权重归因于学校和大学过去表现的过程中的辛勤工作。正如一名青少年描述被降级的经历一样:“我早上8点登录,然后就开始抽泣。”

三天后,A级考试的惨败在英国城市引发抗议,年轻人举着标语牌,上面写着“算法偷走了我的未来”和“去他妈的算法”。抗议活动标志着政治和预测模型的不同寻常的融合。政府随后对其决定进行了180度大转弯,允许学生恢复到中心评估年级(CAG),这可能被视为一个转折点,因为算法不公正的影响被所有人清楚地聚焦在一起。

预测模型的不公已经伴随我们一段时间了。为人们的未来潜力建模的效果--这些学生如此清楚地认识到并提出了挑战--也体现在预测哪些儿童可能面临虐待风险、哪些签证申请应该被拒绝,或者谁最有可能犯罪的算法中。我们的生活机会-如果我们获得签证,我们的福利申领是否被标记为欺诈性的,或者我们是否被指定为有再次犯罪的风险-正变得与算法输出密切相关。A-level丑闻会成为我们如何看待算法的转折点吗?如果是这样,它可能引发哪些持久的变化?

对算法的抵制往往集中在数据保护和隐私等问题上。抗议Ofqual算法的年轻人正在挑战一些不同的东西。他们关注的不是他们的数据在未来可能会如何使用,而是数据如何被积极地使用来改变他们的未来。根据一个间接的预测,向年轻人开放的潜在途径减少了,限制了他们的生活机会。

Ofqual算法是一个深刻的政治理念的技术体现:一个人只有在他们的环境决定的情况下才是优秀的。该指标没有考虑到一所学校的努力程度,而它的上诉系统试图否认个人的补偿,只有学生的“排名”保留在中心的投入中。在未来,挑战算法不公将意味着关注人们在教育、医疗、刑事司法、移民和其他领域的选择是如何被一种无视我们个人人格的计算所削弱的。

A-Level丑闻使算法成为直接抵制的对象,并暴露了许多人已经知道的情况:这种类型的决策涉及的远不止一系列计算步骤。在他们的设计和假设中,算法塑造了他们使用的世界。决定是否包括或排除数据输入,或者将一个特征置于另一个特征之上不仅仅是技术问题-它们也是关于一个社会可以和应该是什么样子的政治命题。在这种情况下,Ofqual的模型认为,良好的教学、努力工作和灵感不可能对年轻人的生活和他们的成绩产生影响。

算法的政治思想是所有人都能看到的。许多决定--从什么是“小”的受试者进入,到队列先前的成就是否应该向下推低分布曲线--都对现实生活产生了深远而武断的影响。学生A参加了一个小型的独立六年级,学习古代历史、拉丁语和哲学-每个条目都不到五个-她会收到没有经过算法调整的结果。与此同时,在一所大型学院读六年级的B学生,正在学习数学、化学和生物,她的成绩可能会被标准化模型降级,并错过了她的大学录取成绩。

算法输出与负责任的决策是不同的。当全国各地的教师为他们的每个学生收集证据,为排名而苦恼,与同事讨论模拟成绩或课程作业的边际差异时,存在着深刻而不可避免的不确定性-特别是当你考虑到教育不平等的时候。皇家统计学会(Royal Statistics Society)表达了与预期成绩这样复杂的事情相关的困难和不确定性,尽管它提出向Ofqual提供专业知识的提议遭到拒绝。

公开和透明地解决难题,如如何实现公平,正是一个社会中道德决策的特征。取而代之的是,Ofqual以保密协议回应,在测试竞争车型时,没有向公众提供任何关于它在做什么的洞察力。它的做法是专有的、秘密的和不透明的。有意义的公众问责的机会被错失了。

算法为政府提供了最终解决方案的诱惑力,并承诺将棘手的决策减少为简化的输出。这种逻辑与民主政治背道而驰,民主政治表现的是世界的偶然性和集体决策的审议性。算法解决方案将这种偶然性转换为可以调整的清晰参数和可以调整的权重,以便即使是主要的错误和不准确也可以进行微调或调整。这种算法世界观是一种捍卫不透明系统及其输出的“健壮性”、“有效性”和“最优化”的世界观,为对民主至关重要的公共挑战关闭了空间。

本周,一代年轻人揭露了算法的政治色彩。这本身可能是一个重要的转折点。

·路易丝·阿摩尔(Louise Amoore)是达勒姆大学(Durham University)政治地理学教授,著有“云伦理:算法与我们和他人的属性”

·英国夏令时8月24日(星期一)下午6点30分,卫报记者将在现场直播的活动中讨论A级考试结果惨败的后果。这对大学会有什么影响?不平等会受到怎样的影响?在这里订票