本文是AlgorithmWatch即将发布的2020年自动化社会报告的一部分,该报告将于今年晚些时候发布。订阅我们的时事通讯,当报告发布时会收到通知。
本文是AlgorithmWatch即将发布的2020年自动化社会报告的一部分,该报告将于今年晚些时候发布。
对瑞士警察和司法机构使用的3个自动化系统的审查揭示了严重的问题。由于缺乏透明度,无法评估现实世界的影响。
据一项统计,瑞士警方和司法当局使用了20多种不同的自动化系统来估计或预测不当行为。在瑞士,警察和司法在很大程度上是地区性的权力机构;每个州可能都有自己的系统。
根据这家瑞士公共服务广播公司2018年的一系列报道,我们回顾了其中的三篇报道。
Precbs自2013年以来一直在瑞士使用。这个工具是由一家德国公司出售的,该公司毫不掩饰自己的出身,名为“少数派报告”,这是一个科幻故事,“预言家”在犯罪发生前就对其进行了预测。(剧情围绕着预言机经常失败以及随后警方对其进行掩盖。)。
它试图根据过去的数据预测入室盗窃,这是基于窃贼通常在小范围内活动的假设。理论上说,如果在一个社区发现了一系列入室盗窃事件,警察应该更频繁地在那个社区巡逻,以杜绝这种情况。
有三个州使用Precb:苏黎世、阿尔高和巴塞尔-兰州,总计几乎占瑞士人口的三分之一。自2010年中期以来,入室盗窃案急剧下降。2020年4月,阿尔高警方甚至抱怨说,现在的入室行窃案太少了,普雷科布无法使用。
但瑞士每个州的入室盗窃案都有所下降,使用Precb的三个州远远谈不上表现最好的州。在2012-2014年(入室盗窃高峰期)到2017-2019年(三个州使用Precbs时)之间,所有州的入室盗窃数量都有所下降,而不仅仅是使用该软件的三个州。苏黎世和阿尔高的降幅低于全国平均水平-44%,因此预警器不太可能对入室盗窃产生很大影响。
汉堡大学(University Of Hamburg)2019年的一份报告找不到任何证据表明预测性警务解决方案的有效性,包括Precbs。没有公开文件提到瑞士当局的系统成本,但慕尼黑市为安装Precb支付了10万欧元-不包括运营成本。
六个州(Glarus、Luzern、Schaffhausen、Solothurn、Thurgau和Zürich)使用Dyrias-IntimPartner系统来预测一个人攻击其亲密伴侣的可能性。Dyrias代表“风险分析的动态系统”,也是由一家德国公司建造和销售的。
根据瑞士公共服务广播公司SRF 2018年的一份报告,Dyrias要求警察人员回答39个关于嫌疑人的“是”或“否”问题。然后,该工具输出从1到5的分数,从无害到危险。虽然该工具测试的总人数尚不清楚,但SRF的统计显示,2018年有3000人被贴上了“危险”的标签(但这个标签可能不是从使用Dyrias得出的)。
Dyrias的供应商声称,该软件正确地识别了10个潜在危险个人中的8个。然而,另一项研究观察了假阳性,即被标记为危险的人,他们实际上是无害的,并发现该软件标记的10人中有6人本应被标记为无害。换句话说,Dyrias之所以能吹嘘好成绩,是因为它没有冒险,并慷慨地给出了“危险”的标签。(Dyrias背后的公司对结果提出异议。)。
即使该工具的性能得到改善,其效果仍然无法评估。支持家庭暴力受害者的组织BIF-Frauenberatung的联席主任朱斯蒂娜·戈斯波迪诺夫(Justina Gospodinov)告诉算法观察(AlgorithmWatch),虽然与警方的合作正在改善,系统的风险评估是一件好事,但她不能谈论迪利亚斯。她说,当他们受理新案件时,他们不知道是否使用了该软件。
自2018年以来,德语各州的所有司法当局都使用ROS(RISikoorientierter Sanktionenvollzug或以风险为导向的监禁判决执行)。该工具将囚犯标记为A,当他们没有再次犯罪的风险,B,当他们可能犯下新的罪行,或者C,当他们可能犯下暴力犯罪。囚犯可以接受几次测试,但在随后的测试中,只能从A类移动到B或C类,而不能从A类移动到B类或C类。
根据苏黎世大学2013年的一项研究,SRF的一份报告显示,根据苏黎世大学2013年的一项研究,只有四分之一的C类囚犯在获释后确实犯下了新的罪行(假阳性率为75%),而确实犯下新罪行的囚犯中,只有五分之一属于C类(假阴性率为80%)。该工具的新版本于2017年发布,但尚未进行审查。
法语和意大利语州正在研究ROS的替代品,应该在2022年部署。虽然它保留了这三个类别,但他们的工具只会与对被评级囚犯的采访一起使用。
社会科学家可以在预测总体结果方面取得巨大成功。2010年,瑞士统计局预测,到2020年,瑞士常住人口将达到850万(2020年实际人口:860万)。但是没有科学家会试图预测某个特定个体的死亡日期:生命实在太复杂了。
在这方面,人口学与犯罪学没有什么不同。尽管商业供应商声称有相反的说法,但预测个人行为很可能是不可能的。2017年,一群科学家试图解决这个问题。他们要求160个研究团队根据自青少年出生以来收集的准确数据,预测他们在学校的表现,被赶出家的可能性,以及数千名青少年的其他四种结果。每个孩子都有数千个数据点可用。2020年4月公布的结果令人谦卑。不仅没有一个团队能准确预测结果,使用人工智能的团队的表现也不比只使用基本统计模型的几个变量的团队好。
苏黎世大学高级研究员Moritz Büchi是唯一一位参与这项实验的瑞士学者。在给AlgorithmWatch的一封电子邮件中,他写道,虽然犯罪不是接受审查的结果的一部分,但从实验中获得的洞察力可能适用于对犯罪行为的预测。布奇写道,这并不意味着不应该尝试预测。但是,把模拟变成现成的工具会给它们披上“客观性的外衣”,这可能会阻碍批判性思维,对那些预测未来的人来说可能会产生毁灭性的后果。
他补充说,Precbs并不试图预测特定个人的行为,它不属于同一类别。更多的警力可能会对犯罪分子起到威慑作用。然而,热点检测依赖于历史数据。这可能会导致在自我强化的反馈循环中,对过去报告犯罪的社区进行过度监管。
尽管他们的记录参差不齐,而且有证据表明几乎不可能预测个人结果,但瑞士执法当局一直在使用声称可以做到这一点的工具。他们受欢迎的部分原因是他们的不透明。关于Precbs、Dyrias和Ros的公开信息很少。受影响的人绝大多数是穷人,他们很少有质疑自动化系统所需的财政资源,因为他们的律师通常专注于核实检方指控的基本事实。
2018年为SRF调查Ros和Dyrias的记者蒂莫·格罗森巴赫(Timo Grossenbacher)告诉AlgorithmWatch,找到受这些系统影响的人“几乎是不可能的”。不是因为缺乏案例:仅ROS一项每年就用于数千名囚犯。取而代之的是,它们的不透明阻止了看门狗在预测性警务方面的亮点。
苏黎世大学的布奇表示,如果没有更多的透明度,这些系统可能会对瑞士社会产生“寒蝉效应”。“这些制度可能会阻止人们行使他们的权利,并可能导致他们改变自己的行为,”他写道。“这是一种预期服从的形式。意识到被这些算法(不公正地)抓住的可能性,人们可能倾向于增加对感知到的社会规范的遵从性。自我表达和另类生活方式可能会受到压制。“