即将陷于贫困中的隐藏算法之战
遇到尼克时，米里亚姆只有21岁。她是一名摄影师，刚大学刚毕业，正在等待餐桌。他年仅16岁，是一位曾在金融业工作的当地企业主。他很迷人，很有魅力。他花了很多时间就把她带出去，花了一切。她很快掉入他的轨道。
它始于一张信用卡。当时，这是她唯一的一个。尼克会通过购买价值5,000美元的商品来使之最大化，并在第二天立即偿还。由于担心干扰他们正在进行的离婚程序，Miriam要求我不要使用他们的真实姓名，她发现这在提高她的信用评分。她与一个单身父亲一起在低收入家庭中长大，因此她信任尼克的专有技术。他欣喜地鼓励这种动力，并告诉她她不懂财务。她用她的名字为他开了更多的信用卡。
麻烦始于三年。尼克要求她辞掉工作，以帮助他开展业务。她做过。他告诉她去读研究生，而不用担心增加她现有的学生债务。她做过。他答应照顾好一切，她相信他。此后不久，他停止清算她的信用卡余额。她的分数开始下降。
尽管如此，米里亚姆还是陪在他身边。他们结了婚。他们有三个孩子。然后有一天，联邦调查局来到他们家并逮捕了他。在联邦法院，法官裁定他犯有近25万美元的电汇欺诈罪。 Miriam发现了他以她的名义累积的数万美元的债务。她说：“他入狱的那一天，我有250美元现金，一栋止赎房屋，一辆可以收回的汽车，三个孩子。” “我只有一个保姆，住在一个漂亮的房子里，一个月之内就摆脱了贫困。”
Miriam是所谓的“强制债务”的幸存者，“强迫债务”通常是亲密伴侣或家庭成员实施的一种虐待形式。德州RioGrande法律援助机构的律师卡拉·桑切斯·亚当斯（Carla Sanchez-Adams）表示，虽然经济滥用是一个长期存在的问题，但数字银行业务使以受害者的名义开户和贷款变得更加容易。在自动信用评分算法时代，影响还可能更大。
信用评分已被用于评估消费者的信用度数十年，但由于采用了算法，因此信用评分的范围要大得多：信用评分不仅会考虑大量的数据，无论是数量还是类型，而且会越来越影响您是否可以购买商品。汽车，租住公寓或获得全职工作。他们的综合影响力意味着，如果您的分数被破坏，几乎不可能恢复。更糟糕的是，这些算法归私有公司所有，它们不会透露他们如何做出决策。被害人可能会呈螺旋形下降，有时会导致无家可归或重返施虐者。
信用评分算法并不是唯一会影响人们的经济状况和获得基本服务的算法。现在，算法可以确定哪些儿童接受寄养，哪些患者接受医疗护理，哪些家庭可以使用稳定的住房。我们中那些有能力的人可以在没有任何意识到的情况下过我们的生活。但是对于低收入个人，自动决策系统的快速增长和采用已经创建了一个隐藏的环环相扣的陷阱网。
幸运的是，越来越多的民事律师开始围绕这一问题进行组织。他们借鉴了刑事辩护世界对风险评估算法的抵制中的一本剧本，他们寻求在这些系统上进行自我教育，建立社区并制定诉讼策略。巴尔的摩大学临床法教授米歇尔·吉尔曼（Michele Gilman）说：“基本上，每个民事律师都开始处理这些问题，因为我们的所有客户在某种程度上都受到这些系统的影响。” “我们需要醒来，接受培训。如果我们想成为真正的优秀整体律师，我们需要意识到这一点。”
Gilman在巴尔的摩执业20年。在担任民事律师和贫困律师的过程中，她的案件总是归结为同一件事：代表那些无法获得基本需求（例如住房，食物，教育，工作或医疗保健）的人们。有时，这意味着要与政府机构对峙。有时是在信用报告机构或房东那里。现在，争夺客户资格的斗争越来越多地涉及某种算法。
她说：“这对我们的客户来说是全方位的。” “他们陷入了许多不同的算法，这些算法使他们无法使用基本服务。客户可能没有意识到这一点，因为其中许多系统都是不可见的。”
她不记得确切的时间，当她意识到某些资格决策是由算法做出的。但是，当这种转变首次开始发生时，这种情况很少见。曾经，她代表一位残疾的老年客户，莫名其妙地被医疗补助资助的家庭医疗保健服务切断了。 “我们找不到原因，”吉尔曼回忆道。 “她病了，通常，如果你病了，你会得到更多的时间，而不是更少。”
直到他们在听证会中站在法庭上时，代表国家的证人才透露政府刚刚采用了一种新算法。证人，护士，对此无能为力。 “当然不是，他们是现成的，”吉尔曼说。 “她是护士，而不是计算机科学家。她无法回答是什么因素造成的。如何加权？您正在寻找什么结果？因此，我和我的诊所的学生律师在一起，就像，‘哦，我要对算法进行交叉检查吗？’”
对于阿肯色州法律援助处的律师凯文·德利班（Kevin De Liban）而言，这一变化同样具有隐蔽性。 2014年，他所在的州还建立了一种新的系统，用于分配由医疗补助资助的家庭援助，从而切断了一大批以前有资格的人。当时，他和他的同事们无法确定根本问题。他们只知道有些不同。他说：“我们可以认识到，评估系统已经从20个问题的纸质问卷转变为283个问题的电子问卷。”
两年后，当算法中的错误再次使它受到法律审查时，De Liban终于找到了根底。他意识到护士在告诉病人：“好吧，电脑做到了–不是我。”他说：“这就是给我们的提示。”他补充说：“如果我知道我在2016年所知道的，那么我可能会在2014年做得更好。”
从那以后，吉尔曼变得更加精明。从代表客户解决一系列问题的角度出发，她观察到两种算法网络的兴起和冲突。第一种方法包括信用报告算法，例如困扰Miriam的算法，这些算法会影响对私人物品和服务（如汽车，房屋和就业机会）的获取。第二类包括政府机构采用的算法，这些算法会影响人们获得诸如医疗保健，失业和儿童抚养服务之类的公共利益。
在信用报告方面，算法的增长受到数据扩散的推动，数据的收集和共享比以往任何时候都更加容易。信用报告并不是什么新鲜事物，但是如今，它们的影响范围要大得多。消费者报告机构（包括征信机构，租户筛选公司或支票验证服务）从广泛的来源收集此信息：公共记录，社交媒体，Web浏览，银行活动，应用使用情况等。然后，算法为人们分配“有价值”分数，这些分数在贷方，雇主，房东甚至学校进行的背景调查中占很大比重。
另一方面，当政府机构想要现代化其系统时，他们被迫采用算法。采用基于Web的应用程序和数字工具的努力始于2000年代初期，并随着向更多数据驱动的自动化系统和AI的发展而继续。有充分的理由寻求这些改变。在大流行期间，许多失业救济金制度都在努力处理大量的新要求，导致大量延误。这些旧系统的现代化有望带来更快，更可靠的结果。
但是软件采购流程很少透明，因此缺乏责任感。公共机构通常直接从私人供应商那里购买自动决策工具。结果是，当系统出现故障时，受影响的个人（及其律师）就被蒙在鼓里。费城法律援助律师事务所的茱莉亚·西蒙·米谢尔说：“他们不会在任何地方做广告。” “通常不会以任何形式的政策指南或政策手册来撰写。我们处于不利地位。”
缺乏公众审查也使系统更容易出错。最严重的故障之一发生在2013年的密歇根州。在努力使该州的失业救济金系统自动化之后，该算法错误地将34,000多人标记为欺诈。 “这造成了福利的巨大损失，”西蒙·米瑟尔（Simon-Mishel）说。 “有破产；不幸的是有自杀。真是一团糟。”
低收入者首当其冲地转向算法。他们是最容易受到暂时经济困难影响的人，这些人被编入消费者报告，是需要和寻求公共利益的人。多年来，吉尔曼（Gilman）看到越来越多的客户冒着进入恶性循环的风险。她说：“一个人每天都要经过这么多系统。” “我是说，我们都这样做。但是它给穷人和少数民族带来的后果更加严峻。”
她以自己诊所中的一个当前病例为例。一名家庭成员因大流行而失业，并由于自动系统故障而被剥夺了失业救济金。一家人随后拖欠房租，导致房东起诉他们驱逐。尽管由于疾病预防控制中心的暂停而驱逐将不合法，但诉讼仍将记录在公共记录中。这些记录然后可以输入到租户筛选算法中，这会使家庭在将来很难找到稳定的住房。他们未能支付房租和水电费也可能是其信用评分的低谷，这再次产生了影响。吉尔曼说：“如果他们试图建立手机服务，贷款，买车或求职，那只会产生连锁反应。”
9月，现任数据与社会研究所研究员的吉尔曼（Gilman）发表了一份报告，记录了贫困律师可能会遇到的所有各种算法。这就是所谓的“贫困法”，旨在为她在该领域的同事们提供指导。它分为特定的实践领域，例如消费者法，家庭法，住房法和公共利益法，解释了如何在现有法律范围内处理算法和其他数据驱动技术引起的问题。
例如，如果客户因信用评分不高而被拒绝入住公寓，则报告建议律师首先检查输入评分系统的数据是否准确。根据《公平信用报告法》，报告机构必须确保其信息的有效性，但这并非总是如此。对任何错误的索赔提出异议可以帮助恢复客户的信誉，从而获得住房。该报告承认，然而，现有法律只能走得那么远。吉尔曼说，仍有监管空白需要填补。
吉尔曼希望这份报告能引起人们的注意。她的许多同事仍然没有意识到这一切正在发生，并且他们无法提出正确的问题来揭示算法。那些意识到问题的人分散在美国各地，孤立地学习，导航和对抗这些系统。她认为有机会将他们联系起来，并创建一个可以互相帮助的广泛社区。她说：“我们所有人都需要更多的培训，更多的知识-不仅在法律上，而且在这些系统上。” “最终，似乎每种情况都将变成算法情况。”
从长远来看，她希望从刑事法律界获得启发。她说，在作为一个社区组织起来并反对确定判决的风险评估算法时，刑事律师一直处于“领先地位”。她希望看到民事律师也做同样的事情：发起一项运动，将更多的公众审查和监管带给客户面对的隐藏算法网络。她说：“在某些情况下，可能应该将其关闭，因为没有办法使它公平。”
至于米莉安（Miriam），在尼克定罪后，她永远离开了。她带着三个孩子搬到了一个新州，并与一家非营利组织建立了联系，该组织为遭受债务逼迫和家庭暴力的幸存者提供支持。通过他们，她参加了一系列的课程，教她如何管理财务。该组织帮助她解除了许多强制性债务，并了解了有关信贷算法的更多信息。当她去买车时，她的信用评分几乎没有超过父亲作为共同签字人的最低要求。从那以后，她对汽车的一贯付款和学生的欠款逐渐补充了她的信用评分。
Miriam仍然必须保持警惕。尼克拥有她的社会安全号码，他们尚未离婚。她一直担心他会开更多的账户，以她的名义借出更多的贷款。有一段时间，她每天检查她的信用报告是否存在欺诈行为。但是这些天，她也有期待的事情。她的父亲在六十多岁的时候想退休并搬进来。他们两个现在都集中精力准备买房。 “我对此很激动。我的目标是到今年年底达到700分，”她谈到自己的成绩时说，“然后我肯定会为购房者做好准备。”
她补充说：“我从未住过自己拥有的房屋。” “他和我正在共同努力，以保存一个永久的家。”
