政府使用算法提出虚假欺诈指控

2014年，卡梅利塔·科尔文(Carmelita Colvin)住在底特律北部，在当地一所大学上课，当时她收到了密歇根州失业保险机构的一封信。信中说，她犯了失业欺诈罪，她欠下超过1.3万美元的救济金和罚款。

她回忆说，科尔文的反应是：“这肯定是不可能的。我就是不相信。“。在她工作的清洁公司解雇她后，她在2013年领取了失业救济金，但她有资格。她弄不明白为什么她会被指控犯有诈骗罪。

科尔文当时没有意识到的是，全州数以千计的其他人也在经历同样的事情。该机构推出了一个新的计算机程序-密歇根综合数据自动化系统(Michigan Integrated Data Automated System，简称MIDAS)-不仅可以检测欺诈，还可以自动指控虚假陈述和要求偿还的人。虽然该机构仍未公开公布该算法的细节，但集体诉讼称，该系统搜索失业数据集，并使用有缺陷的假设来标记人们存在欺诈行为，比如听从雇主的说法，称员工在真正下岗时已经辞职-因此没有资格领取福利。

在两年的时间里，该机构向4万多人收取了约5倍于最初福利的费用，其中包括还款和400%的罚款外加利息。在后来的强烈抗议中，该机构后来进行了部分审计，并承认93%的变化是错误的-然而，该机构已经从人们那里拿走了数百万美元，多年来一直没有偿还。到目前为止，该机构还没有发表公开声明来解释到底哪里出了问题。(该机构代表琳达·罗宾逊(Lynda Robinson)通过电子邮件拒绝了UnDark的采访请求，她写道：“由于诉讼悬而未决，我们无法置评。”)。

从刑事司法和医疗保健到教师评估再到招聘，政府在许多领域使用自动化系统的情况都在增加。但是，使用这些算法的人并不总是了解它们是如何工作的，而且这些功能对公众来说更是模糊不清。

马里兰大学(University Of Marland)法学教授弗兰克·帕斯夸尔(Frank Pasquale)说，“这些类型的工具可以用来为人类的判断提供信息，但它们永远不应该取代人类。”帕斯夸尔研究使用这些不透明算法的责任。他说，最大的危险之一是，这些系统未能赋予人们正当的程序权利。他补充说，如果一种算法是“政府使用的”，那么软件的运作方式和使用的数据都应该是完全透明的，“至少对受影响的人”。

巴尔的摩大学(University Of Baltimore)法学教授米歇尔·吉尔曼(Michele Gilman)说，在密歇根州这样的案件中，有缺陷的自动化系统会惩罚这些机构应该帮助的人。吉尔曼领导着一家法律诊所，代表客户处理公共利益案件。她指出了其他的例子，包括阿肯色州和爱达荷州等州采用的算法，这些机构用来削减医疗补助福利，有时是错误的。而且这些问题还延伸到了美国以外：2019年，荷兰一家法院发现，一种用于检测福利欺诈的算法侵犯了人权，并命令政府停止使用该算法。

在密歇根州，虽然该机构说它偿还了2100万美元，但集体诉讼中的律师辩称，这并不能解释所有的损害赔偿。像科尔文这样的人遭受了长期的伤害-许多人信用受损，失去了工作机会和家园。超过一千人申请破产。

美国近一半的州已经对失业保险系统的软件和信息技术基础设施进行了现代化改造。在许多情况下，这些更新对于保持系统平稳运行至关重要，许多更新实际上有助于索赔人更容易地申请福利。但情况并不总是如此-例如，在佛罗里达州，大约五年前采用的新制度让人们申请变得更加困难。吉尔曼和UnDark采访的其他研究人员也担心，在未来几年，各州可能会采用导致类似密歇根州问题的算法-特别是如果他们违反联邦正当程序要求，削减对欺诈指控的人工审查。随着Covid-19大流行期间史无前例的失业申领人数激增-自3月中旬以来，已有超过4000万美国人提交了失业申请-问题可能会被放大。

吉尔曼补充说，密歇根州的自动化系统是“算法可能出错的所有方面的案例研究”。“市民不应该成为检验制度是否有效的试验品。”

米奇根的自动化系统在2007年至2009年大衰退后刚刚出现，当时汽车和其他制造业遭受重创，工人申请失业救济金的比率很高。这样的福利旨在帮助那些由于非自己的过错而失去工作的人，并由联邦和州工资税提供资金。福利通常持续26周，尽管联邦政府涵盖了经济低迷期间的延长福利，包括今天的Covid-19危机。

2011年3月，新当选的密歇根州共和党州长里克·斯奈德(Rick Snyder)签署了一项法案，将州失业救济金从26周缩短到20周。该法案还拨出资金用于检测失业欺诈的软件。

该州的失业机构雇佣了三家私人公司来开发MIDAS，以及其他软件。根据该机构2013年向全国州首席信息官协会(National Association Of State首席信息官)自我提名的一个奖项，新系统旨在取代已有30年历史的系统，并整合之前分散在几个平台上的数据和功能。建造该系统的合同价值超过4700万美元。

在更新的同时，该机构还解雇了数百名之前调查欺诈指控的员工。

虽然迈达斯的具体过程没有公开，但对律师的采访和集体诉讼的法庭文件提供了一些背景。该系统的一部分在其数据库中搜索雇主和索赔人的记录，然后将人们标记为潜在的失业欺诈。接下来，迈达斯向福利网站上的一个电子邮箱发送了调查问卷，收件人可能没有理由监控，给了他们10天的回复时间，然后发了一封信，通知他们已经被指控犯有欺诈罪。在30天的上诉期后，该系统开始扣留工资和退税。该机构后来承认，在2013年至2015年期间的大多数案件中，该系统从头到尾都没有进行任何人工审查。

费城法律援助公司(Philadelphia Legal Assistant)的律师朱莉娅·西蒙-米歇尔(Julia Simon-Mishel)表示，使用自动决策系统来检测欺诈是一个问题，因为赌注如此之高。过去两年，她一直在宾夕法尼亚州失业补偿福利现代化咨询委员会任职。她说，自动化系统并不总是收集关键信息，也不允许“就各州需要与雇主和工人进行的对话而言，这是联邦指导方针所要求的来回交流”。

她补充说：“如果你只是使用分析来自动标记欺诈，而没有其他任何东西，那么你就会遇到垃圾输入和垃圾输出的问题。”“谁知道你用来构建预测性分析的数据是否正确呢？”

一些坏数据来自简单的、无意的应用程序错误。吉尔曼说，公共福利申请通常很复杂，他称这些申请为“穷人的税法”。吉尔曼说，由于这种复杂性，大部分多付款项是由于员工或雇主在表格上犯了错误。但是，她补充说，“错误不是故意的欺诈。”

2013年10月，迈达斯开始将人们标记为欺诈。不久之后，全州的律师接到了来自那些对他们被指控的欺诈指控感到困惑的人的电话。那些请不起律师的人面临着另一个障碍：当时，密歇根州没有将免费法律代表的权利扩大到那些被指控犯有失业欺诈罪的人。(该州在2017年通过立法延长了这一权利。)。一些人求助于非营利性组织，包括密歇根大学法学院(University Of Michigan Law School)的失业保险诊所(2019年更名为工人权利诊所)，以及底特律的非营利性法律倡导组织莫里斯和简·苏格经济与社会正义法律中心(Maurice And Jane Sugar Law Center For Economic And Social Justice)。

糖法中心(Sugar Law Center)的律师安东尼·帕里斯(Anthony Paris)告诉UnDark，他和他的同事在2013年至2015年期间帮助了数百名被控欺诈的客户-包括科尔文。随着时间的推移，法律团队拼凑出了对欺诈指控激增的根源的理解：新的计算机系统搜索了六年前的失业数据库，并根据容易出错的规则标记了人们的欺诈行为。

一项规定导致该机构错误地指责人们在申领失业救济金时工作。在这里，正如糖法中心(Sugar Law Center)和其他人在2015年提起的一起联邦集体诉讼中所描述的那样，该系统假设，一年中一部分时间上报的收入实际上是在更长的时期内赚取的。例如，一位名叫凯文·格里夫卡(Kevin Gifka)的原告在2015年2月初被解雇并申请失业救济金之前，曾报告2015年的收入为9407.13美元。该机构后来声称，他在今年整个第一季度每周都能赚到723.62美元-包括他说自己失业的那段时间。正如起诉书所述，这是基于将他被裁员前的收入除以整个季度的13周，同样的错误计算也被用来指控其他原告。

当人们的说法与雇主的说法不符时，该系统还会自动指控他们故意欺诈。帕里斯说，该系统没有指派一名工作人员调查雇主和雇员报告的内容之间的差异，而是被编程为“自动假设雇主是正确的”。

根据UnDark查阅的法庭文件，这就是导致科尔文被控欺诈的原因。科尔文的雇主报告说她已经辞职了。科尔文说，她的雇主告诉她，由于她和另一名员工清理的一所房子报告的一个问题，她被停职了。科尔文再也没有收到回音，以为自己被解雇了。2019年末，当巴黎代表科尔文出席法庭听证会时，她的雇主被传唤作证。这位雇主承认，她认为科尔文辞职的假设是基于另外两名工人的二手资料。

科尔文的案例突显了迈达斯的另一个问题：它的设计几乎没有关注正当程序权。纽约大学(New York University)法学教授、该校AI Now研究所法律和政策研究员杰森·舒尔茨(Jason Schultz)表示，这是自动化系统中常见的问题。“即使系统声称要通知人们，他们通常只通知他们最终结果，”他补充说。“他们通常不会向他们提供任何信息，比如如何实际了解发生了什么，为什么做出决定，有什么证据对他们不利，理由是什么，标准是什么，以及如果他们错了该如何补救。”

时任密歇根大学(University Of Michigan)诊所主任史蒂夫·格雷(Steve Gray)在写给劳工部的一封合著信中描述了这个问题，他说，尽管迈达斯有几个通知步骤，但表格令人困惑，导致一些无辜的人自证其罪。此外，许多人从未收到过这些信息。第一个是问卷，出现在一个大多数人只在领取福利时才检查的在线账户中。根据密歇根州审计长2016年的一份报告，当第二封信通知到来时，许多人已经搬到了新地址。

来自密歇根州新西兰的电工布莱恩·罗素(Brian Russell)在该州从2015年退税1.1万美元后才知道他涉嫌欺诈。他拜访了一家州失业机构的办公室，惊讶地得知他们会收取更高的费用：“他们向我收取了2.2万美元，而我完全不知道发生了什么。”

拉塞尔说，他想尽一切办法找出为什么要起诉他-他拜访了最近的失业办公室，并给该机构打了“可能数百次”的电话，但电话系统超载了。他会等上几个小时。(州审计师的报告发现，在2014年一个月的一个月内，在营业时间拨打的26万多个电话中，约有90%无人接听。)。罗素说，一旦最终找到一个人在线，他被告知他已经错过了30天的上诉窗口。

拉塞尔最终得到了密歇根大学法律诊所的代理，该诊所将他的案件上诉给了行政法法官。法官驳回了罗素的指控，该机构退还了大部分资金。(罗素说，他仍欠约1500美元。)。但与此同时，他表示，他不得不宣布破产，这打击了他的信用评分。因为他没有钱买基本生活必需品，他不得不放弃一些糖尿病治疗，搬到朋友家的地下室。

虽然密歇根州是自动化系统出错的一个引人注目的案例，但这并不是政府使用人工智能系统进行决策的唯一领域。这样的系统被用于刑事司法、警务、儿童保护服务、医疗福利分配、教师评估等。帕斯夸尔说，在许多情况下，政府都在雇佣私人公司来建造这些系统，由于这些公司想要保护他们的知识产权，他们有时会隐瞒产品如何工作的细节。“商业秘密保护是一个真正的问题，因为你甚至不能理解问题是什么，”他说。

在过去的几年里，政策制定者、学者和倡导者-包括纽约大学人工智能现在研究所(AI Now Institute At NYU)和乔治敦法律隐私与技术中心(Georgetown Law On Privacy And Technology)等组织-探索了政府可以建立更好、更负责任的自动化系统的不同方式。

纽约大学计算机科学助理教授朱莉娅·斯托亚诺维奇(Julia Stoyanovich)表示，各机构还需要在实施特定系统之前了解其局限性。她说：“我相信，政府中的人们只是认为人工智能在某种程度上是有魔力的。”当自动化系统在现实中不能顺利运行时，这可能会导致大问题。舒尔茨对此表示同意，他补充说，当政府雇员没有背景或资源来评估私营公司的索赔时，“他们只会被卖出蛇油。”

倡导者和研究人员也在推动政府在实施新系统之前征求指导，无论是专家还是将成为新工具目标的人。2018年，AI Now研究所发布了这一过程的框架，舒尔茨与人合著。舒尔茨说，我们的想法是，政府在部署算法之前，需要仔细考虑算法的步骤，并提出这样的问题：“这个系统真的做到了它所说的要做的事情吗？”它会不会以一种真正有帮助、没有伤害的方式影响社会？“。作者还建议，评估应该公布，并公开征求公众意见。

另一种问责模式是指定一个监督机构来审计算法。2020年初，密歇根州集体诉讼中的律师呼吁成立一个特别工作组，监督州政府实施的所有算法和自动化系统。其他州和城市也成立了类似的特别工作组。斯托亚诺维奇(Stoyanovich)曾在纽约市成立的一家公司任职，她说，她认为这是重要的一步。但它也受到了广泛的批评-例如，来自AI Now研究所和其他组织的研究人员批评这一努力未能充分让更广泛的社区参与。帕斯夸尔说，虽然监督机构可能很重要，但它们需要有“真正的牙齿”，才能产生有意义的执法。

但最大的问题之一是，是否以及何时开始使用算法-特别是对于可能会迅速侵蚀隐私和公民自由的工具，如面部识别。舒尔茨说：“我认为任何政府都不必采用这些系统中的任何一个。”“我认为，在一个未经证实的系统上花费数百万美元，既没有责任，也没有办法确保它发挥作用，这真的是一个非常非常糟糕的主意，因为这是不必要的。”

2016年，在媒体的负面关注泛滥之际，密歇根州国会议员桑德·莱文(Sander Levin)敦促该机构对前两年约6万项欺诈指控进行内部审计。作为回应，该机构进行了部分审计，审查了2.2万项迈达斯欺诈指控，并确定几乎所有指控都是错误的。(该机构还审查了另一组欺诈指控，并进行了一定程度的人工审查；虽然错误率仍然很高，为44%，但自动化系统的错误率是这个数字的两倍多。)。

到2017年，作为集体诉讼和解协议的一部分，该机构同意在没有人工审查的情况下不会使用自动化系统(并澄清说，它实际上在2015年末就停止了这种做法)。该机构还同意审查并推翻其在2013年至2015年期间发出的剩余错误指控，后来报告称，它已经推翻了约三分之二的欺诈裁决，并已偿还了2100万美元。

同样在2017年，州议员通过了一项法律，通过改进欺诈指控通知和降低罚款来防止此类灾难再次发生。2019年，密歇根州州长格雷琴·惠特默(Gretchen Whitmer)任命密歇根大学法学院(University Of Michigan Law School)失业保险法律诊所前主任格雷(Gray)为该机构主任，几名律师向UnDark称此举是朝着积极方向迈出的一步。

在现有的法庭文件中，包括机构工作人员和这三家公司的证词，参与制定或批准自动化系统的人都没有承认责任(正如原告律师证实的那样)。巴黎表示，虽然正在进行的案件最终应该会披露更多细节-包括涉及100多万份文件(如内部机构电子邮件)的发现-但这起诉讼将需要很长时间才能在法庭上通过。

与此同时，对于一些被诬告欺诈的人来说，斗争仍在继续。除了集体诉讼，2020年3月，密歇根大学法学院工人权利诊所现任主任在州参议院监督委员会作证说，他们认为迈达斯指控的人中有近2万人仍在积极追查，并被扣工资。

对于科尔文来说，直到2020年初，也就是她被起诉近六年后，一名行政法官最终驳回了她的案件。在这段时间的中期，2017年，科尔文完成了她的刑事司法学士学位，增加了之前的法医摄影副学位，并申请了一份县治安官办公室的工作。她很快就接到了一个电话，告诉她由于欺诈指控和她欠国家的未偿债务，她不会被录用。

今天，科尔文说她做保安是为了养活自己和女儿。她今年32岁，不知道获得刑事司法两个学位是不是浪费时间。

“我找不到我想要的工作，”她说，“因为他们说我是个罪犯。”