废除TechToPrisonPipeline

2020-06-24 05:15:33

我们写信给您,您是各种技术、科学和人文领域(包括统计学、机器学习和人工智能、法律、社会学、历史、传播学和人类学)的专家研究人员和从业人员。我们共同对即将出版的名为“使用图像处理预测犯罪的深度神经网络模型”的出版物深表关切。根据最近的一份新闻稿,这篇文章将发表在您的丛书“Springer Nature-Research Book Series:关于计算科学和计算智能的汇刊”中。

我们敦促:·审查委员会公开撤销发表这项具体研究的提议,并解释用于评估该研究的标准。·斯普林格发表声明,谴责使用刑事司法统计数据来预测犯罪行为,并承认它们过去在激励这种有害的学术研究方面所起的作用。·所有出版商不要在未来发表类似的研究。

这本即将出版的出版物理应得到集体回应,因为它象征着更多的计算研究,这些研究声称使用生物测定和/或刑事法律数据来识别或预测“犯罪行为”。[1]这种说法建立在不合理的科学前提、研究和方法的基础上,多年来,跨越我们各自学科的许多研究已经揭穿了这些不可信的说法。[2]然而,这些不可信的说法继续浮出水面,往往披着新的、据称是中性的统计方法的外衣,如所讨论的出版物的主要方法,如机器学习(Machine Learning),这是正在讨论的出版物的主要方法。[2]然而,这些不可信的说法继续浮出水面,往往披着新的和据称是中性的统计方法的外衣,例如正在讨论的出版物的主要方法机器学习。政府官员拥护机器学习和人工智能(AI),将其作为国家暴力去政治化和重申监禁国家合法性的一种手段,通常是在重大的社会动荡中。[4]社区组织者和黑人学者一直站在抵制执法部门使用人工智能技术的最前线,尤其是面部识别。[5]然而,这些声音继续被边缘化,尽管工业界和学院投入了大量资源,为机器学习和人工智能建立“公平、负责和透明”的实践。[4]社区组织者和黑人学者一直站在反对执法部门使用人工智能技术的最前线。[5]然而,这些声音继续被边缘化,尽管工业界和学院投入了大量资源,为机器学习和人工智能建立“公平、负责和透明”的实践。

机器学习的部分吸引力在于它具有高度的可延展性--对预测或检测有用的关联可以用任何数量合理的因果机制来合理化。然而,这些研究最终被呈现和解释的方式深刻地受到数据科学的政治经济学[7]及其使用环境的影响。[8]机器学习程序并不是中立的;研究议程和它们使用的数据集通常继承了关于世界的主导文化信仰。这些研究议程反映了那些处于开发机器学习模型特权地位的人的动机和观点,以及他们所依赖的数据。对默认假设的不加批判的接受不可避免地导致算法系统中的歧视性设计,复制使社会等级正常化并使针对边缘群体的暴力合法化的想法。

这类研究不需要研究人员故意恶意或种族偏见。[10]相反,它是几乎完全基于“预测性能”来评估其研究质量的任何领域的预期副产品。[11]在接下来的部分中,我们概述犯罪预测技术复制、归化和放大歧视性结果的具体方式,以及为什么仅用技术标准来评估其风险是不够的。

刑事司法系统产生的数据不能用来“识别罪犯”或预测犯罪行为。永远不会。

在哈里斯堡大学(Harrisburg University)最初发布的新闻稿中,研究人员声称“仅根据某人的面孔照片就能预测他是否为罪犯”,“准确率为80%,没有种族偏见”。让我们明确一下:没有办法开发一种系统来预测或识别没有种族偏见的“犯罪行为”--因为“犯罪行为”的类别本身就是种族偏见的。

这种性质的研究--以及随之而来的准确性主张--都是基于这样的假设,即关于刑事逮捕和定罪的数据可以作为潜在犯罪活动的可靠、中立的指标。然而,这些记录远不是中性的。正如许多学者所证明的那样,法庭和逮捕的历史数据反映了刑事司法系统的政策和做法。这些数据反映了警察选择逮捕谁,法官如何选择裁决,以及哪些人被判的刑期更长或更轻。[13]无数的研究表明,在法律制度的每个阶段,有色人种都比处境相似的白人受到更严厉的对待,这导致数据严重失真。[14]因此,任何使用

这些基本的数据有效性问题不能通过更好的数据清理或更多的数据收集来解决。[15]相反,任何识别“犯罪面孔”的努力都是将机器学习应用到它不适合调查的问题领域,在这个领域,上下文和因果关系是必不可少的,也是从根本上被误解的。在机器学习取得巨大进展的其他问题领域,例如常见的对象分类或面部验证,有一个“基本事实”可以验证学习到的模型。[16]不同的人如何感知图像内容背后的因果关系仍然很重要,但对于许多任务来说,证明人脸有效性的能力就足够了。[17]正如Narayanan(2019年)指出的那样,“(这些领域)取得进展的根本原因是这些任务没有不确定性或模糊性--给定两张人脸图像,是否存在基本事实。面部特征和犯罪行为不存在这样的模式,因为拥有一张长相特定的脸并不会导致个人犯罪-本质上根本没有“身体特征与犯罪行为”的功能。[19]用来描述机器学习系统的语言默认地暗示了因果关系。算法的所谓“预测”通常不是在样本外设置中实际演示或调查的(在训练、验证和测试真实数据的固有有限子集的上下文之外),因此被更准确地描述为“相关性的强度,回溯评估”[20],其中真实世界的性能几乎总是低于宣传的测试性能,原因多种多样[21]。

由于执法和刑事司法中的种族歧视做法,“犯罪性”作为种族的代理,这种性质的研究造成了危险的反馈循环。[22]基于发现面部特征和犯罪性之间的相关性的“预测”被认为是有效的,被解释为智能和“客观”技术评估的产物。[23]在现实中,这些“预测”实质上将不公正地过度管控的共同社会环境与犯罪混为一谈。基于这种算法建议的警务产生更多的数据,然后反馈到系统中,复制有偏见的结果。[24]归根结底,任何基于这些对刑事司法数据的普遍错误描述的预测算法都证明了通过构建“有风险的”或“不正常的”概况来排斥和压制边缘人群是正当的。

ii.“公平”的技术措施分散了人们对有关算法有效性的基本问题的注意力。

如上所述的研究反映了困扰该领域数十年的人工智能和机器学习研究中日益严重的有效性危机。[26]这场危机源于这样一个事实,即机器学习学者很少接受必要的关键方法、框架和语言的培训,以审问其模型背后的文化逻辑和隐含的假设。考虑到推动许多机器学习研究和开发的行业激励,也没有足够的激励来进行这样的审讯。[27]到目前为止,许多处理算法系统伦理风险的努力都集中在公平的数学定义上,这些定义建立在对偏见和准确性的狭隘概念上。[28]这些努力给人以严谨的外表,同时分散了对更根本的认知问题的注意力。

算法系统的设计者需要接受一种有历史基础的、过程驱动的算法正义方法,这种方法明确地认识到数据科学家(以及他们所在的机构)在从数据中构建意义方面发挥的积极而关键的作用。[29]计算机科学家可以从正在进行的方法论辩论和从人类学、社会学、媒体和传播学以及科学和技术研究等领域收集的见解中获益良多,在这些学科中,学者们几十年来一直致力于开发更强大的框架,以将他们的工作理解为情景实践,[29]计算机科学家可以从正在进行的方法论辩论和从人类学、社会学、媒体和传播学以及科学和技术研究等领域收集的见解中获益良多。嵌入到无数的社会和文化背景中。[31]虽然许多团体已经努力将这些见解转化到计算机科学领域,但这些关键的方法是否会被计算界广泛采用还有待观察[32]。[32][31]虽然许多团体已经努力将这些见解转化为计算机科学领域的见解,但这些关键的方法是否会被计算界广泛采用还有待观察[32]。

机器学习实践者必须超越计算机科学的主导认识论,在这种认识论中,模型中最重要的细节被认为是那些在抽象中幸存下来的“纯”技术问题,将社会问题降级为“实现细节”。[33]这种看待世界的方式将研究成果偏向于狭隘的技术进步视野:准确性、精确度和召回率或敏感度和特异度、F分数、贾卡德指数或

在美国,当监禁国家的合法性,特别是警察的合法性在根本上受到挑战的时候,执法部门对这种性质的研究有很高的需求,这种研究通过所谓的犯罪预测来消除历史暴力,制造恐惧。出版商和资助机构通过为这类研究提供平台和激励,在满足这一饥饿的巨大需求方面发挥了至关重要的作用。由像斯普林格这样的主要出版商发行这部作品,将代表着朝着在现实世界中一再揭穿的、对社会有害的研究的合法化和应用迈出了重要的一步。

为了重申我们的要求,审查委员会必须公开撤销发表这项具体研究的提议,并解释用于评估它的标准。斯普林格必须发表一份声明,谴责使用刑事司法统计数据预测犯罪行为,并承认它们在过去激励这种有害的学术活动方面所起的作用。最后,所有出版商都必须避免在未来发表类似的研究。

1320名教授、研究人员、从业者和学生,涉及人类学、社会学、计算机科学、法律、科学和技术研究、信息科学、数学等领域(脚注下面的完整列表)。

1学者们使用各种术语来预测犯罪结果。一些研究人员声称可以预测“反社会”或“冲动”行为。另一些人则以“未来的累犯”或个人的“犯罪倾向”为模型。所有这些术语都将犯罪结果框定为高度个性化和近似性风险因素的副产品。正如Prins和Reich(2018)所说,这些预测模型忽略了犯罪和刑事司法参与的人口驱动因素(Seth J.Prins和Adam Reich)。2018年。“我们能在降低风险方面避免简约主义吗?”理论犯罪学22(2):258-278)。对个人化犯罪概念的过度关注导致了短视的社会改革,这些改革只干预所谓的犯罪化人群的文化、生物和认知缺陷。这种学术不仅为限制和控制“危险阶层”提供了一种机制,而且也创造了一个过程,通过这个过程,这些人群变成了需要控制和恐惧的异类。正如Robert Vargas(2020)所说,这种类型的学术“认为黑人和黑人社区需要修正。这种方法并不新鲜,但却是通过管理黑人个人而不是结束黑人社区持续存在的警察暴力来改善城市的一系列努力中的最新一次。“。罗伯特·瓦格斯。2020年。“是时候批判性地考虑一下UChicago犯罪实验室了。”“芝加哥栗色报”6月11日。(2020年6月17日访问)。关于这类定罪语言的例子,一般见:马赫迪、哈希米和玛格丽特·霍尔(Margeret Hall)。2020年。“从面部图像中检测犯罪倾向和性别偏见效应。”《大数据杂志》。7(2)。EYAL Aharoni,et al.。2013年。“对未来再次逮捕的神经预测。”美国国家科学院学报110(15):6223-6228。吴晓林和张曦。2016年。“使用面部图像自动推断犯罪行为。”arxiv预印本arxiv:1611.04135:40384052.。题名/责任者:Realing,and Adrian Raine.。2008年。“反社会个体的大脑异常:对法律的影响。”行为科学与法律26(1):65-83。艾德里安·雷恩。2014年。暴力解剖:犯罪的生物学根源。维萨利亚:古董出版社。

2声称根据身体特征预测犯罪行为的人工智能应用程序是长期不可信的伪科学遗产的一部分,如地貌学和骨相学,学者、执法专家和政客过去和现在都在利用这些伪科学在贫困和种族主义社区倡导欺压警察和起诉策略。在贫困和种族主义的社区,这些应用程序是长期不可信的伪科学的一部分,这些伪科学过去和现在都被学者、执法专家和政客用来倡导在贫困和种族主义社区中实施压迫警察和起诉策略。事实上,在哈希米和霍尔(2020)的开篇几页中,作者引用了塞萨尔·伦布罗索(Cesare Lombroso)的犯罪学研究,他是社会达尔文主义的危险支持者,下面作者引用的研究推翻并揭穿了他的研究。在19世纪末和20世纪初,警察和其他政府官员主要根据一个人的身体特征,依靠社会科学家来创建关于谁有“能力”犯罪行为的普遍衡量标准。这一制度植根于科学种族主义,并最终使种族主义社区中先发制人的镇压、骚扰和强制绝育的制度合法化。18世纪和19世纪伪科学和面部识别之间的联系已经被广泛讨论。有关面相学、骨相学和自动面部识别之间的历史联系的示例,请参阅Blaise Agüera y Arcas、Margaret Mitchell和Alexander Todorov。2017年。“相貌的新衣服。”Medium,5月6日;在链接上

..