歧视性算法错误地指责成千上万的欺诈家庭

上个月，荷兰的总理马克拉特 - 以及他的整个内阁 - 一年后辞职，一半的调查显示，自2013年以来，由于歧视性算法，26,000个无辜的家庭被错误地指责部分欺诈。

被迫偿还他们没有欠的钱，很多家庭都被驱使到金融毁灭，有些家庭被撕裂了。其他人被持久的心理健康问题留给了;人们的颜色是不成比例的受害者。

在无情的调查报告和一系列议会听证会之前和之后，在大规模辞答之前，批量和自动化系统在丑闻中的作用变得清晰，揭示了如何对低级欺诈的惩罚性和惩罚性是自动化的，留下小空间问责制或基本的人类慈悲。甚至更多，自动化系统在国籍的基础上歧视，将与双重国籍的人民标记为可能的欺诈者。

儿童保育福利丑闻（荷兰的KinderopvangtoeSlagaffaire）是黑匣子算法可能造成的伤害的警示故事，特别是当他们被武装化到目标社会最脆弱的时候。这是一个不是荷兰独有的问题：澳大利亚政府面临着自己的“ROBODEBT”丑闻，当其用于标记福利欺诈的自动化系统欺骗了近10亿美元来自数十万人的无辜人民。这种情况也归结为一个设计不良的算法，没有人类监督，延伸了残酷的紧缩政治，具有不可或缺的抵押伤害。

父母一般都必须支付荷兰的托儿所。但是，根据父母的收入，荷兰国家在每个月结束时偿还一部分成本。

害怕人们博彩福利系统远非新的，而不是荷兰，而是仇外思想大型民粹主义的兴起使其成为国家政治话语的Eterstage。反移民政治已经越来越大化，移民通常被绘制为对荷兰福利国家的威胁。

在此之后，关于福利欺诈的硬线姿态在过去十年中，欺诈的福利欺诈的统一性（即使是许多左翼派对）。

“谁支付账单？”在2008年的讲话中，反移民荷兰派对的领导者被要求Geert Wilders（国家第二大派对）。“这是荷兰的人民，努力工作的人，妥善省钱支付税款。常规荷兰人没有收到钱作为礼物。 Henk和Ingrid为穆罕默德和法蒂玛付钱。“

所遵循的是，基本上是一个关于福利和福利欺诈的采取犯罪问题。与许多国家一样，荷兰拥有福利系统的长期自动化方面，与人类监督和审查配对。 2013年（尽管这些技术可能已经使用了），当局使用了算法，以创造居民的风险概况，这些居民的风险概况是更有可能犯下欺诈的，然后使用自动化系统，通过福利申请人和旗帜扫描的自动化系统，可能是欺诈者然后被迫支付金钱，他们没有欠现实。

在Radboud大学助理教授的助理教授Marlies Van Eeck表示，在福利支付的增加之前，从福利支付的决定将不得不进行广泛的审查，他在政府机构的自动决策和之前工作国家福利部门。现在，这种选择越来越多地留给算法，或者算法本身担任自己的审查形式。

“突然，通过达到的技术，福利决定是以非常前所未有的方式制造的，”她说。 “在过去，如果你用纸质文件为政府工作，你就不会突然从一瞬间决定下一个停止支付人民的福利。”

经过多年的拒绝，荷兰数据保护机构的调查发现，这些算法本质上是歧视性，因为它们采用了变量，例如有人是否考虑过第二个国籍。

作为丑闻的破坏性，它踩到了熟悉的领土。荷兰继续前往试验歧视性预测政策，例如，延伸了种族分析。

Marc Schuilenburg是阿姆斯特丹Vrije大学社会学和犯罪学的教授，以及歇斯底里的书籍：犯罪，媒体和政治。他认为他的职业生涯一直在研究使用预测的警务算法，他认为，必须在这种文化和政治转向攻击人口主义的背景下看到童的福利丑闻。

“ToeslageNaffaire [福利丑闻]不是一个孤立的问题，”Schuilenburg告诉主板缩放。 “它适合在荷兰的安全政策的漫长传统，旨在清楚的是宽容的日子结束，而且我们锁定了这一斗争与福利欺诈等罪行的死亡。这适合我在我的书中讨论的民粹主义歇斯底里的整个概念。“

“你看到这些政策在战争方面谈到，在歇斯底里的军事词汇中 - ”他是反对欺诈的战争“，”他继续。 “通过这种语言和这些政策，这种品牌的惩罚人口普遍存在。”

对于被自动化系统作为欺诈者分类的人，很少有正确的后续调查意味着还有很少的追索权。在某些情况下，甚至一些简单的东西忘记了具有有效的不可动摇的欺诈标签的签名落地的家庭。一旦那个标签在那里，他们被迫追溯到他们所收到的所有受儿童保育福利的政府，这达到了数千欧元，甚至甚至成千上万的欧元。

从荷兰日报报纸的调查也发现，父母被指控欺诈的父母被赋予“意图/总疏忽”的标签，这意味着他们甚至没有资格获得支付计划，以逐步偿还已有虚假债务。

受害者也被锁定了其他福利，例如住房津贴和医疗保健津贴。许多人被迫申请破产。结果是灾难性的。

“我相信你所说的说法”你是一个远离无家可归的薪水？“”梵德通过电话告诉主板。 “是的，这就是我们在这次症状中所看到的。”

“如果你错过了两三个月的付款，特别是为育儿福利而言，你可能需要辞掉你的工作，”她解释说。如果有人辞掉工作以照顾孩子，她说，他们最终有经济困难。 “有这个巨大的雪球效果，因为一切都在荷兰彼此相连。那太差了。”

在当局的方法中缺乏人性的一个更加令人震惊的例子之一，税务局的报告揭示了税务局毫无以来地将数学帕累托原则应用于他们的惩罚，假设没有证据表明80％的父母为欺诈而调查有罪，20％是无辜的。

过度税务机关的受害者不成比例地彩色，突出了算法如何延续歧视性结构和制度种族主义。

根据Nadia Benaissa-A Notial Sifire Group Bits自由的政策顾问 - ，使用像国籍等变量的欺诈检测系统可以产生类似于关于在缺陷假设上建立的预测策略算法如何创建一个引导的自我实现的预言的问题反馈循环对少数民族的过度监管。

她说，她说，我们应该将责任归咎于人类的创建和使用算法，而不是将技术Reify作为主要驱动程序。

“系统和算法是人造的，并确切地做了他们被指示的事情，”她说。 “他们可以作为一种简单而有点懦弱的方式来责备自己。重要的是要理解的是，通常算法可以使用历史数据而没有任何正确解释该数据的上下文。通过这种模式，您只能期望制度种族主义等社会问题增加。结果是一种反馈循环，可以增加已经存在的社会问题。“

虽然最近进行了一些增加算法透明度的努力（例如来自阿姆斯特丹市的算法登记），但对于研究人员来说，英国人表示，许多在社会中使用的自动化系统仍然是不透明的。

“透明度肯定是一个主要问题。作为一名研究人员，这很困难，因为这些算法仍然是看不见的，“梵特说。 “如果我想知道一些事情，我难以找到一个可以与我交谈的人。而且，如果他们只是购买软件系统，那么它可能是没有人真正知道它是如何工作的。透明度不仅适用于公民，也很重要，也很重要。“

超越透明度，当算法给予人们的巨大权力时，保障和问责制尤其重要，但据荷兰现在只存在于此存在的诸如此志。并且，与此同时，智能算法和自动化系统继续接管较大且较大的行政程序份额。

目前，错误地指责欺诈的家庭正在等待赔偿金30,000欧元，但这不足以弥补离婚，破碎的家园和所造成的心理收费。

与此同时，尽管丑闻的重力，但马克·鲁特和他的内阁的辞职在很大程度上是象征性的。虽然他辞职，但他仍然是与政府在一起的同时领导政府，并将在下个月安排的全国选举中投票。 Rutte的保守派VVD派对预计会赢得一席之地，这意味着他和他的许多部长都可能会返回他们的职位。

在每个政府丑闻结束时，“从未再次”抛出了很多话，而是几乎没有强大的道德保障算法和越来越自动化的政府的结合，留下了很少的意义。