英国承诺在挑战“种族主义”工具后重新设计签证分流算法

该工具一直是法律挑战的目标。移民福利联合委员会(JCWI)和活动律师事务所Foxglove要求法院宣布签证申请流式算法非法，并下令停止使用，等待司法审查。

这一法律行动并没有走完全程，但似乎已经迫使内政部采取行动，因为它承诺重新设计系统。

内政部发言人向我们证实，从8月7日起，该算法将暂停使用，并通过电子邮件向我们发送了这样一份声明：“我们一直在审查签证申请流工具的运作方式，并将重新设计我们的流程，使其更加精简和安全。”

尽管政府没有接受有关偏见的指控，但在给律师事务所的一封信中写道：“重新设计的事实并不意味着(国务卿)接受你索赔表格中的指控(即围绕无意识的偏见和在分流过程中使用国籍作为标准)。”

内政部的信还声称，该部门已经“在许多应用程序类型”中不再使用流媒体工具。但它补充说，它将“以开放的心态考虑您提出的关切”来重新设计。

重新设计计划在秋季完成，内政部表示，在此期间将实施临时程序，排除使用国籍作为分类标准。

大新闻。从本周五开始，内政部的种族主义签证算法将不复存在！💃🎉多亏了我们(与@jcwi_uk)对这个神秘的、电脑驱动的签证申请筛选系统提起的诉讼，内政部同意“停止使用流媒体工具”。

JCWI在其网站上写道：“今天的胜利代表着英国法庭对算法判决系统的首次成功挑战。”JCWI称自己胜诉的对象是“神秘的、由计算机驱动的”筛选系统的人，他们在自己的网站上写道：“今天的胜利代表着英国首次在法庭上成功挑战了算法决策系统。我们已经要求法院宣布流媒体算法是非法的，并下令停止使用它来评估签证申请，等待审查。内政部的决定实际上承认了这一说法。“

该部门没有回应我们就算法及其设计过程向其提出的一些问题-包括在实施该技术之前是否征求了法律意见，以确定它是否符合英国的平等法案。

内政部的声明补充说：“我们不接受移民福利联合委员会在他们的司法审查索赔中提出的指控，虽然诉讼仍在进行中，但该部不宜进一步置评。”

JCWI的投诉集中在自2015年以来，使用了一种带有“红绿灯系统”的算法来对每一份前往英国的入境签证申请进行评分。

“这个被内政部描述为数字‘流媒体工具’的工具，给申请者分配了红色、琥珀色或绿色的风险评级。一旦被算法分配，这一评级在决定签证申请结果方面发挥着重要作用。“它写道，鉴于其对待某些国籍的方式，这项技术被称为”种族主义“和设计上的歧视性。

“签证算法以国籍为基础进行歧视--这是经过设计的。持有“可疑”国籍的人提出的申请获得了更高的风险分数。他们的申请受到内政部官员的严格审查，受到更多的怀疑，需要更长的时间才能确定，而且更有可能被拒绝。

“我们认为这是种族歧视，违反了2010年”平等法案“，”它补充道，“流媒体工具是不透明的。”除了承认存在一份可疑国籍的秘密名单外，内政部拒绝提供有关该算法的有意义的信息。目前还不清楚还有哪些其他因素被用来对申请进行评分。“。

自2012年以来，内政部公开实施了一项被称为“敌对环境”的移民政策--实施行政和立法程序，目的是让人们尽可能地难以留在英国。

这一政策导致了多起人权丑闻。(我们还讲述了去年一家英国初创公司签证噩梦的故事，报道了对当地科技行业的影响。)。因此，在一项已经存在很大问题的政策上应用自动化，看起来确实像是一种被告上法庭的公式。

JCWI对流媒体工具的担忧恰恰是它被用来自动化种族主义和歧视，许多人认为这是内政部“敌对环境”政策的基础。换句话说，如果政策本身是种族主义的，任何算法都会拾取并反映这一点。

JCWI的法律政策主管柴帕特尔(Chai Patel)在一份声明中表示：“内政部自己对Windrush丑闻进行的独立审查发现，它对自己操作的种族主义假设和制度视而不见。”“这个流媒体工具经历了几十年的制度性种族主义做法，比如针对特定国家的移民突袭，并将其转变为软件。移民系统需要从头开始重建，以监控这种偏见，并将其根除。“。

“我们很高兴内政部看到了道理，取消了流媒体工具。种族主义反馈循环意味着，本应是公平的移民过程，实际上只是“白人的快速登机”。我们需要的是民主，而不是靠算法治理，“Foxglove创始人兼董事科里·克里德(Cori Crider)补充道。“在进一步推出任何系统之前，让我们问问专家和公众，自动化是否合适，以及如何从根源上发现和挖掘历史偏见。”

在写给Foxglove的信中，政府承诺对将于8月7日切换到的临时流程进行平等影响评估和数据保护影响评估-届时政府写道，将使用“以人为中心的属性(如以前旅行的证据)”来帮助筛选一些签证申请，并进一步承诺“不会使用国籍”。

在此期间，一些类型的申请将完全从筛选过程中删除。

“我们的意图是，重新设计将尽快完成，最迟在2020年10月30日之前完成，”它补充道。

当被问及法律上可以接受的签证分流算法可能是什么样子时，互联网法律专家莉莲·爱德华兹告诉Techcrch：“这是一个很难的…。作为一名移民律师，我不足以知道最初应用的重新可疑国籍标准是否在司法审查标准下是非法的，即使没有在分类算法中实施。如果是，那么很明显，下一代算法应该只追求基于法律上可接受的理由进行歧视。

“我们都知道，问题是机器学习可以重建非法标准--尽管现在有众所周知的技术可以规避这一点。”

“你可以说，这个算法系统帮了我们一个忙，因为它直面所使用的非法标准，而这些标准本可以隐藏在移民局官员个人的非正式层面上。”事实上，过去支持这种制度的一个论点是“一致性和非任意性”。这是一个艰难的问题，“她补充说。

今年早些时候，荷兰政府被勒令停止使用算法风险评分系统来预测社保申领人实施福利或税务欺诈的可能性-此前当地一家法院发现该系统违反了人权法。

在另一个有趣的案例中，一群英国优步司机正在挑战GIG平台在欧洲数据保护框架下对它们进行算法管理的合法性-该框架增加了数据访问权，包括与重大法律意义的自动决策相关的条款。