调查：用于针对美国患者医疗服务的软件在决定谁应接受加强护理时注入种族偏见

北卡罗来纳州奥斯基--铁轨像一道看不见的栅栏，穿过韦林·怀特(Weyling White)童年时代的后院。在闷热的下午，他会在那里玩耍，在祖父的看守下沿着铁轨堆放石头，祖父制定了一条严格的规则：韦林不能穿过通行权进入镇上的白人地区。

另一边有更好的房子和公园，所有的医务室，以及镇上唯一的医院。因此，怀特说，他的家人大多在没有定期护理的情况下勉强度日，依靠家庭疗法和浸信会教堂的疗伤之手。“没有任何医疗资源，”34岁的怀特说。“对于那些街道上的人们来说，你会看到更糟糕的健康状况。”

在该州东北角拥有5000人口的小镇奥斯基，强硬的种族隔离路线已经褪色。但在医疗保健领域，一股新的力量正在重新划定这些壁垒：盲目吸收并延续医疗资源获取方面历史失衡的算法。

一项统计调查发现，使用分析软件为最需要的患者提供医疗服务的一种常见方法是在关于谁应该接受加强护理的决策中注入种族偏见。虽然去年发表的一项研究记录了在一个医疗系统中使用算法的偏见，但STAT发现，这些问题是由全国各地医院使用的多种算法引起的。这种偏见不是故意的，但它强化了美国医疗体系中根深蒂固的不平等，有效地将低收入黑人和西语裔患者与病情较轻的白人患者常规接受的服务隔离开来。

这些算法是在大多数美国人与医疗保健系统互动的背景下运行的。他们筛选关于患者的医疗问题、以前的医疗费用、用药情况、实验室结果和其他信息的数据，以预测他们未来的护理费用，并为他们是否应该获得额外的医生就诊或其他支持等决策提供信息，以便在家里管理他们的疾病。问题是，这些数据反映了长期存在的医疗、保险覆盖和服务使用方面的种族差异，导致算法系统性地忽视了有色人种的需求，保险公司和提供者可能无法认识到这一点。

马萨诸塞州麻省总医院(MassGeneral Brigham Healthcare)人口健康评估和研究主任克里斯汀·沃格利(Christine Vogeli)是这项研究的合著者，她与人共同撰写了这项研究，该研究发现，在使用医疗服务巨头Optum开发的算法时，存在种族偏见。她说：“没有人会说，‘嘿，要知道黑人在历史上以不同的模式，以不同于白人的方式使用医疗保健，因此被我们的算法识别的可能性要小得多。”她也是这项研究的合著者。

在评估患者是否需要特殊护理来管理高血压、糖尿病或精神疾病等疾病方面，这种偏见可能会产生巨大的差异：在STAT检查的一个案例中，该算法给具有非常相似健康问题的白人患者的评分比黑人患者高4倍，从而使白人患者获得服务的优先权。在一个资源有限的卫生保健系统中，如此大的差异往往意味着获得预防性保健和单独行动之间的区别。

至少还有半打其他常用的分析产品以与Optum类似的方式预测成本。这种偏见是因为使用了这一代成本预测软件来指导决定哪些慢性病患者应该得到额外的帮助，以使他们不再住院。医疗支出数据被用作健康需求的代理-忽略了这样一个事实，即患有心力衰竭或糖尿病的有色人种往往很少接受检查和测试来管理自己的病情，导致他们的费用不能很好地反映他们的健康状况。

这些软件系统中没有两个在设计上完全相同。他们主要使用统计方法来分析数据，并对成本和资源使用情况做出预测。但许多软件制造商也在试验机器学习，这是一种人工智能，越来越多的使用可能会大规模延续这些种族偏见。这类系统中的自动学习过程使它们特别容易受到嵌入在基础数据中的循环偏差的影响。

然而，种族完全没有出现在关于这些产品如何应用的讨论中。最广泛使用的软件系统的开发者都没有警告用户存在种族差异的风险。他们的产品描述特别强调，他们的算法可以帮助将资源定向到最有需要的患者身上，并有助于在昂贵的医疗事件发生之前减少它们。数据科学专家表示，面对越来越大的管理成本和避免政府因重新接纳太多患者而受到惩罚的压力，提供者采用这些产品正是为了这个目的，没有充分检查它们的使用对边缘人群的影响。

其结果是，种族主义被循环利用，成为一种不那么公开的形式，但对患者的生活影响并不小，他们发现自己在关键时刻得不到足够的护理，而获得预防性服务或专家的机会本可以避免严重疾病，甚至死亡。

大量研究表明，未能公平分配旨在避免健康危机的资源。一项研究发现，传统医疗保险中的黑人患者在手术后再次入院的可能性比白人患者高33%；他们也更频繁地因糖尿病和心力衰竭的并发症而再次住院，而且被转介到专家进行心力衰竭治疗的可能性要低得多。如果分析软件真的能识别最有需要的患者，这些差异应该得到缓解。

这些工具的谬误可以在像Ahoskie这样的地方看到，Ahoskie是一个由大豆和棉花田构成的农业社区，那里的高贫困率和失业率使许多居民无法获得医疗保健。该州以黑人为主的人口中有很大一部分没有定期的初级保健医生，因此，他们没有关于他们的医疗问题和先前治疗的足够数据，无法准确地评估他们的需求，或者将他们与其他患者进行比较。

怀特说，他直到快30岁时才开始定期看医生，部分原因是他的家人不信任当地的医疗保健提供者，默认情况下，任何重大问题都会使用急诊室。随着年龄的增长，他了解到他的家族中有一段慢性病的历史，这些疾病一直没有得到治疗，包括他自己的高血压。

“我的很多家庭成员都在挣扎，”他说。“我阿姨坐在轮椅上，直到年纪大了，我才意识到是因为她中风了。许多家庭成员患有糖尿病和高血压。这在我母亲那边很猖獗。“。

怀特是三个孩子的父亲，他说他一直致力于改善他的家庭和更广泛社区的健康。去年秋天，他当选为Ahoskie市长，他的日常工作是社区卫生中心的执业管理员，在那里他监控生产力并管理日常运营。健康中心收集患者社会挑战的数据，如食物和住房不安全，以帮助抵消导致健康结果不佳的非医疗问题。

虽然这些数据很难收集，而且没有始终如一地纳入成本预测算法，但怀特说，这些数据对Ahoskie的医疗保健服务的使用有很大影响。“我们看到人们汗流浃背，上气不接下气地进来，因为他们不得不从B区步行过来，”他说，他指的是镇上历史悠久的黑人街区。“这些(差距)肯定是显而易见的。这里的人病得很厉害，这是因为慢性病已经失控。“。

用于评估患者健康需求的算法在全国医疗系统的后台混乱不堪，使那些不了解自己的预测或如何应用这些预测的患者看不到。但最近一项对Optum开发的软件的研究提供了一个难得的内幕。

研究人员发现，在处理数据的过程中，当患者的医疗费用被用作过滤器来识别谁将从额外护理中受益时，该软件引入了偏见。STAT从研究人员那里获得了以前未披露的细节，这些细节表明该系统的成本预测如何有利于白人患者。

在一个例子中，一名61岁的黑人妇女和58岁的白人妇女有类似的健康问题清单-包括肾脏疾病、糖尿病、肥胖和心力衰竭。但这名白人患者被给予的风险评分高出四倍，这使得她更有可能接受额外的服务。

在另一项研究中，一名患有焦虑和甲状腺功能减退的32岁白人男子与一名70岁的黑人男子被给予相同的风险评分，后者的健康问题清单更长，包括痴呆症、肾脏和心力衰竭、慢性肺病、高血压以及既往中风和心脏病发作。

这些案件的某些细节被修改，以保护患者的隐私。但这项研究的作者说，他们是由于使用Optum的成本预测来衡量患者的健康需求而产生的偏见的象征。在它针对的加强护理的患者中，只有18%是黑人，相比之下，82%的患者是白人。当他们修改算法以预测疾病风险而不是成本时，黑人患者的比例翻了一番多，达到46%，而白人患者的比例下降了相应的比例。

问题不在于算法不准确。从精算的角度来看，它的表现完全符合预期，并可靠地预测了成本。这种偏见的产生是因为黑人患者的护理费用平均每年比患有相同数量慢性病的白人患者的护理费用少1800美元。从本质上说，该算法受到了一个非常人性化的缺陷的阻碍-在一个有色人种面临种族主义、往往收入较低、保险覆盖范围较小、社区医疗服务提供者较少的医疗保健系统中，它对身为黑人患者的经历视而不见。

这项研究的合著者、加州大学伯克利分校(University of California，Berkeley)的内科医生兼教授齐亚德·奥伯迈尔(Ziad Obermeyer)说，“这种偏见的核心是，无论出于什么原因需要医疗保健的人都得不到，这意味着他们的费用没有被记录下来，他们没有进入系统。”“这些小小的技术选择让强化我们社会结构性偏见的算法与对抗结构性偏见并将资源提供给需要它们的人的算法有所不同。”

这项研究没有确定Optum是分析软件的制造商；该公司的角色后来在华盛顿邮报发表的一篇报道中被披露。

Optum的高管们已经开始积极反击这项研究的结果。最初，该公司发表了一份声明，对研究人员的工作表示赞赏，同时指出，该公司的产品-名为ImpactPro-收集并分析了数百个患者的数据点，这些数据点可以用来更清晰地描述他们的健康需求。

但近几个月来，随着这项研究在反对种族主义的抗议活动中吸引了更多的媒体报道，该公司的语气发生了变化：“算法没有种族偏见，”该公司发言人泰勒·梅森(Tyler Mason)在7月份通过电子邮件发送给STAT的一份声明中写道。这项有问题的研究错误地描述了临床分析工具中使用的一种成本预测算法，该算法基于一个医疗系统对该算法的不正确使用，这与该工具的任何推荐使用都不一致。

“这些小小的技术选择决定了强化我们社会结构性偏见的算法和对抗结构性偏见的算法之间的差异。…“。

Optum高管还表示，他们不打算对产品进行任何改变，因为他们相信，产品中嵌入的1700项措施提供了足够的信息，可以消除因孤立使用成本预测算法而产生的偏见。

这项研究是基于哈佛大学附属医疗系统MassGeneral Brigham使用Impact Pro进行的。卫生系统正在使用该工具来帮助识别将从转诊到旨在通过提供更积极的护理来避免昂贵的医疗事件的计划中受益的患者。

Optum为该产品的用途做广告。该软件在其网站上发布的招股说明书称，该软件可以“使用Impact Pro的预测建模技术…标记个人进行干预。并找出即将出现循证医学缺口的个人，以便主动参与护理。“。

这份文件中包括一名糖尿病患者的样本资料，其中包含有关诊断和先前护理的信息，以及具体的治疗差距，例如前六个月没有就诊医生，也没有肝功能或血脂水平测试的证据。文件顶部的摘要强调了患者以前的年度成本，以及预测的未来成本和住院概率。

麻省总医院Brigham正在使用成本信息作为筛选干预计划患者的基础：位于前97个百分位数的患者会被自动转介，而位于第55个百分位数及以上的患者会被转介给初级保健医生，这些医生会提供有关患者的额外数据，并促使他们考虑是否会从更密集的服务中受益。

Vogeli是卫生系统人口健康评估和研究的主任，他说，除了成本外，还考虑了几个因素，包括以前住院，以及患者是否出现在预约时间并按处方服药。她说，她怀疑没有任何提供商仅仅基于成本做出推荐决定，但基于成本的风险得分是这些产品的核心特征，这些产品引入了资金-从而竞相进入它们不应该占据主导地位的审议。

“风险得分并没有告诉你人群的[健康]风险，”Vogeli说。“它告诉你这个人口将会有多昂贵，这与他们是谁，他们的背景是什么，他们的经济状况如何，以及不幸的是，他们的肤色有关。”

STAT发现，没有一款顶级的患者群体分析产品明确警告用户，获得医疗服务的种族差异可能会扭曲他们的转诊决定。取而代之的是，他们的在线小册子承诺准确地识别可以从更积极的护理中受益的高成本患者。

在2010年“平价医疗法案”(Affordable Care Act)通过后的几年里，他们的推销找到了新的接受者。该法律禁止保险公司利用费用数据拒绝为有先前疾病的人承保。但它通过新的安排，在保险公司和医院之间分担失控的医疗费用的财务责任，从而激励医疗服务提供者识别和干预高成本患者的护理。

到2019年，这些算法被用于超过2亿美国人的护理-本质上是将风险精算概念应用于决策，决定谁可能受益于额外的就诊或外联，以帮助控制血压或抑郁症。

即使摄取量增加，大多数提供者仍在学习如何在临床环境中应用该软件并消除偏见。约翰·霍普金斯ACG预测建模系统(Johns Hopkins ACG Predictive Modeling System)的联合开发人员兼科学总监乔纳森·韦纳(Jonathan Weiner)表示，在许多情况下，关键数据从记录中缺失，或者根本没有收集到，除了关于患者成本的核心数据之外，提供者还获得了不同程度的患者信息。约翰·霍普金斯ACG预测建模系统是医院广泛使用的另一种产品，用于预测患者的成本和健康需求。

他将“科学”的论文描述为“警钟”，并表示这促使ACG审计其算法，并考虑更新培训材料，以告知用户潜在的种族偏见。韦纳说：“偏见植根于我们分析的数据中。”“你怎么解决这个问题呢？你获得了新的数据，改善了我们拥有的数据，你还修改了你的概念框架。“

韦纳补充说，由于数据缺乏粒度，在这些系统中应用机器学习的努力引起了特别的关注。他说：“在放射学方面，人工智能将发展得更快，但这是因为一切都已经计算机化到微像素。”“但是你的病历和我的病历，以及巴尔的摩市中心一百万人的病历还没有被像素化到那个水平。”

一位软件制造商的产品在研究中被引用，他说他们的配置方式防止了种族偏见的产生。L·戈登·摩尔(L.Gordon Moore)是3M的医生，也是临床战略和基于价值的医疗服务的高级总监。他说，该公司的分析软件根据保险索赔数据中报告的疾病对患者进行分组，以帮助预测成本，但他表示，这有助于提供者识别可能与医疗服务脱节的患者。他表示，该公司没有对其算法进行审计，以回应这项研究，尽管他承认，这篇论文向该行业发出了至关重要的警告。

摩尔说：“”科学“杂志的论文做了一件非常重要的事情，那就是在我们做这项工作时，呼吁理解偏见是绝对必要的。”“我们非常慎重地将成本与我们所说的关于一个人在疾病负担等级中的地位的说法分开。”

其他软件制造商表示，这项研究促使他们密切关注自己的产品。

“我们立即开始检查我们的模型，看看是否能确定是否存在需要修正的问题，”Milliman公司的负责人兼咨询精算师汉斯·莱达(Hans Leida)说。该公司生产名为“高级风险调整”(Advanced Risk Adjusters)的分析软件。

他说，然而，审计其算法中的种族偏见是具有挑战性的，因为基础数据中存在差距：“许多可用的数据，包括医疗保险索赔和人口统计信息，都不包括种族指标，”莱达说。

然而，他补充说，该公司在检查包括种族信息的医疗保险数据集时，没有发现护理管理转诊存在偏见的证据。Leida认为，该产品可能已经减轻了偏见，因为它的算法不依赖于患者发生的历史成本来预测未来的成本。

他说，该公司，以及整个行业，正开始试图通过收集有关患者获得护理的障碍的信息，例如缺乏交通或住房不安全，来解决数据中固有的种族偏见。但这样的信息收集起来既耗时又昂贵，而且不是以标准格式报告的。

他说：“除非社会对收集这些数据有真正的需求，否则我们可能不会以一种全面可用和一致的方式来看待这些数据。”

如果算法还不能清楚地看到医疗保健获取方面的种族差异，那么Ahoskie的黑人居民就不可能错过它们。这家医院曾经被分成几个单元，为白人和黑人患者服务，这在吉姆·克罗(Jim Crow)时代是一种常见的做法，一直延续到20世纪70年代。

它周围的社区包括修剪整齐的草坪的房屋，以及一个带有跑步小径的大型娱乐综合体，足球场和棒球场，一个狗公园，以及带有新人行道和玻璃纤维篮板的篮球场。

这与几英里外的街道形成了鲜明的对比，在一个没有孩子的公园里，撕裂的篮球网悬挂在边缘。这里没有健康中心，而是三家烟草店--两家在同一街区--一排排牧场和猎枪房被腐烂的建筑和杂草丛生的房屋打断。

.