世界可以从英国A级评级惨败中学到什么

2020-09-03 08:48:58

该算法查看一所学校的历史成绩分布,然后根据学生的排名决定他们的成绩。例如,如果一个学生在排行榜上排名靠后一半,那么她的分数将大致等于同一排名的人在前几年获得的分数。这种方法的目的是校正CAG(Pdf)中观察到的分数膨胀,这解释了为什么算法的分数低于学生预期的分数。然而,在算法中使用历史数据也是潜在算法偏差的一个关键组成部分。

许多其他算法的效果没有那么明显,可能只有一小部分人才能感受到,他们不太可能在媒体上找到支持。这是一个关键的问责挑战,阻碍了我们负责任地使用算法,这是我们需要解决的挑战。

几个人从英国政府发布的一份技术报告中发现了Ofqual算法的问题。在其他方面,专家们批评了算法的低准确性,以及结果分数缺乏不确定性界限。与此同时,公众的抗议集中在该算法的不公平结果上。例如,如果你的学校在过去三年中没有人获得最高分,那么今年你学校的任何人都极不可能-如果不是不可能-达到这个分数。

此外,如果特定学校的特定科目的学生少于15人,该算法会将更多的权重放在CAG上。这意味着规模较小的学校的学生比规模较大的学校的学生更有可能从成绩上涨中受益。这种做法加剧了现有的不平等,因为一项分析显示,“独立(付费)学校获得A*和AS的比例上升了4.7个百分点--是公立综合学校的两倍多。”

任何开发过算法的人都会牢记乔治·博克斯的警句:“所有的模型都是错误的。”没有一个算法是完美的,因此Ofqual应该预见到对一些学生不公平或不公正结果的可能性。然而,当有关A-level成绩的消息传出时,并没有明确的上诉程序。相反,程序非常复杂,学生必须付费才能对自己的成绩提出上诉。就像模型本身一样,上诉程序中的缺陷可能会不成比例地影响来自较低社会经济背景的学生。由于增长率上限,大学无法招收更多学生,情况进一步恶化。即使大学想要更灵活地招生,他们也承担不起。

我们所知的许多算法流氓案例本可以通过早期的批判性反思来制止。然而,这样的反思不太可能是自省的。尽管他们尽了最大努力,那些开发算法的人仍容易产生偏见和知识锁定。

我将自己的研究重点放在公共部门的算法决策和责任上,并亲眼目睹了开发、测试和实现算法所付出的努力。数据专业人士不遗余力地确保其模型的有效性和健壮性。开发新的工具来解释甚至是最深的神经巢穴的工作正在进行中,其中之一就是开发新的工具。

然而,关于A-level考试评分的惨败,让我印象深刻的是公众的大规模抗议和抗议。媒体、教育工作者、学生和他们的家长向英国政府施加了巨大的压力,要求他们重新考虑自动确定的分数。他们组成了“关键的听众”,共同仔细审查算法、基础数据和想要补救的程序。

这并不是反对让算法更容易解释或为更复杂的模型开发质量保证流程的努力。我在这里的论点是,如果这些工具、解释和过程没有从它们的分期付款中产生关键的约定,那么它们就有可能仍然是空洞的符号。在A-level评分算法的情况下,出现了这样的关键参与,因为该算法的影响直接被数千名学生感受到。

关键的参与出现在A-level评分算法的案例中,因为该算法的影响被成千上万的学生直接感受到。

并不是政府使用的所有算法都有问题,但很少有算法像Ofqual的评分算法那样明显。许多其他算法的效果没有那么明显,可能只有一小部分人才能感受到,他们不太可能在媒体上找到支持。这是一个关键的问责挑战,阻碍了我们负责任地使用算法,这是我们需要解决的挑战。

是的,当然值得仔细检查自动化系统背后的数据和方法。是的,可解释算法的工具是我们工具包的一个受欢迎的补充。是的,我们需要考虑算法的公平性、问责性和透明度。我们的努力不应仅止于此。我们需要仔细考虑如何才能为影响我们日常生活的数百万算法创造关键受众。

如果没有反对算法并指出其缺点的批判性受众,我们将不断听到偶尔发生的自动决策事件,但永远不会知道大多数算法是一塌糊涂的,永远不会看到曙光。

我们所知道的许多算法流氓的案例,本可以在这个过程的早期通过批判性的反思来阻止。然而,这样的反思不太可能是自省的。尽管他们尽了最大努力,那些开发算法的人仍容易产生偏见和知识锁定。正因为如此,质量保证指导方针不起作用;我们不能给自己的工作打分,也不能给我们非常熟悉的人的工作打分。

如果没有反对算法并指出其缺点的批判性受众,我们将不断听到偶尔发生的自动决策事件,但永远不会知道大多数算法是一塌糊涂的,永远不会看到曙光。培养这样的批判性受众也有其自身的问题。我们是否设置了算法调节器?它将如何处理适当的系统,高昂的审查成本,如何找出算法在哪里使用?

这些都是我们需要讨论的难题。对A-Level算法的胜利并不是一个幸福的结局。由于这一上限,英国大学可能会在日益激烈的竞争中苦苦挣扎。如果各地的政府官员不开始更认真地考虑培养算法的批判性受众,我担心我们会听到,“去他妈的算法!”在未来会更加频繁。

注:本文仅代表作者的观点,并不代表LSE Impact博客的立场,也不代表伦敦政治经济学院(LSE School Of Economics)的立场。如果您对发布下面的评论有任何疑问,请查看我们的评论政策。

想一想,想一想,我们一起狂欢吧,放飞自我,一起讨论吧!巴西的农业经营没有setor de agronigócios aqui no Brasil,Tanto Profsionalmente Como em Pesquisas acadêmicas deâmbito financeiro e Organacional,Percebo,o Viés da IA pode Também afetar outros dispos Campos,como USO de intigencia Artially e robótica dentro da agicencia Artially e robótica dentro da Agrtura de prisão.atéque Pontoão。问题是,这是一个重要的问题,也就是说,如果没有过程,就没有过程,没有过程,没有问题,没有重要的问题,没有过程,也没有过程。嗯,阿布拉索的强项!

Roberto Rodrigues Doutorando em Controladoria e Finanças Empresariais University Presbiteriana Mackenzie-Sao Paulo-Brasil(55 34991465976)[email protected]

自7月5日以来,国际文凭学生是第一批受到今年评分制度影响的学生。然而他们已经完全被遗忘了…。对于世界上数以千计的IB学生来说,这是一个毁灭性的情况…。

谢谢安琪,我想了解更多有关国际文凭的情况。你有什么推荐的读物吗?

似乎没有人注意到不同中心的CAG之间的不公平?虽然很多中心都得益于“掉头”,但也有一些中心真的因为遵循指引而降低了学生的等级。

安妮,如果我理解正确的话,那么有些学校对CAG有更严格的指导方针吗?