许多医院和诊所正在引入人工智能支持的决策支持工具，通常是新颖的和未经证实的，但大多数患者并不知道这些工具
自去年2月以来，在明尼苏达州最大的医疗系统之一住院的数万名患者在人工智能模型的帮助下做出了出院计划决定。但这些患者中几乎没有人对他们的护理中涉及的人工智能有所了解。
这是因为M Health Fairview的一线临床医生在与患者交谈时通常不会提到幕后的人工智能。
在全国越来越多的知名医院和诊所，临床医生正在转向人工智能支持的决策工具-其中许多未经证实-以帮助预测住院患者是否可能出现并发症或恶化，他们是否面临再次住院的风险，以及他们是否可能很快死亡。但是一项统计检查发现，这些患者和他们的家人经常没有被告知或被要求同意在他们的护理中使用这些工具。
其结果是：患者完全看不见的机器越来越多地指导临床决策。
哈佛法学院教授格伦·科恩(Glenn Cohen)说，医院和临床医生“是在假设你不披露的情况下运作的，这并不是真正得到辩护或真正考虑过的事情。”科恩是研究这个问题的为数不多的文章之一，尽管关于人工智能和机器学习的研究激增，但在医学文献中，这个问题得到的关注出人意料地少。
在某些情况下，几乎没有危害的空间：患者可能不需要知道一个人工智能系统，它正在推动他们的医生提前一天进行MRI扫描，就像M Health Fairview部署的那样，或者更周到，比如使用旨在鼓励临床医生提出临终对话的算法。但在其他情况下，缺乏披露意味着，如果人工智能模型提出错误的建议，患者可能永远不知道会发生什么，这是他们被拒绝所需护理或接受不必要、昂贵甚至有害的干预的部分原因。
这是一个真正的风险，因为这些人工智能模型中的一些充满了偏见，即使那些已经被证明是准确的模型，在很大程度上也还没有被证明可以改善患者的结果。一些医院没有分享系统运行情况的数据，以他们没有进行研究为理由证明这一决定是合理的。但这意味着患者不仅被拒绝了关于这些工具是否被用于他们的护理的信息，而且还被拒绝了关于这些工具是否真的在帮助他们的信息。
不向患者提及这些系统的决定是医生、医院高管、开发人员和系统架构师之间正在形成的共识的产物，他们认为提出这个主题没有什么价值-但有很多负面影响。
他们担心，提出人工智能会破坏临床医生与患者的对话，分散患者可以采取的改善健康和生活质量的可行步骤的时间和注意力。医生们还强调，关于护理的决定是他们做出的，而不是人工智能。他们说，毕竟，人工智能系统的建议只是临床医生在做出关于患者护理的决定之前考虑的众多因素之一，详细说明每一个被考虑的指南、协议和数据源将是荒谬的。
领导M Health Fairview推出该工具的内科医生卡琳·鲍姆(Karyn Baum)表示，她不会向她的患者提起人工智能，“就像我不会说X射线已经决定你已经准备好回家一样。”她说，她永远不会告诉同行临床医生不要向患者提及这种模型，但在实践中，她的同事通常也不会提到这一点。
医疗系统的13家医院中有4家现在已经推出了医院出院规划工具，该工具由硅谷人工智能公司Qventus开发。该模型旨在识别可能很快就能在临床上准备回家的住院患者，并标记可能需要采取的步骤，例如安排必要的物理治疗预约。
临床医生在他们每天早上的聚会中咨询该工具，聚集在一台电脑周围，凝视住院患者的仪表盘，估计的出院日期，以及可能阻止这种情况如期发生的障碍。Qventus提供的该工具的屏幕截图列出了一名假想的76岁患者N·格里芬(N.Griffin)，他计划于周二出院-但该工具促使临床医生考虑，如果他能在周六之前挤出时间接受MRI扫描，他可能已经准备好在周一回家。
鲍姆说，她认为这个系统是“一种帮助我做出更好决定的工具-就像脓毒症的筛查工具，或CT扫描，或化验值-但它不会取代那个决定，”她说。对她来说，向病人提及是没有意义的。鲍姆说，如果她这样做了，她可能会与病人进行一场漫长的讨论，他们对算法是如何创建的感到好奇。
这可能会占用鲍姆更喜欢花时间与Qventus工具标记的患者谈论的医疗和后勤细节上的宝贵时间。她向他们提出的问题包括：病人的生命体征和实验室检查结果怎么样？病人有车回家吗？当他们到达那里时可以爬一段楼梯，或者如果他们跌倒了，可以制定一个寻求帮助的计划，怎么样？
一些医生担心，虽然用心良苦，但拒绝提及这些人工智能系统的决定可能会适得其反。
波士顿达纳-法伯癌症研究所(Dana-Farber Cancer Institute)和布里格姆与妇女医院(Brigham and Women‘s Hospital)的姑息治疗医生贾斯汀·桑德斯(Justin Sanders)说，“我认为，患者会发现我们在使用这些方法，部分原因是人们在写这样的新闻故事，讲述人们正在使用这些方法的事实。”“它有可能成为一种不必要的干扰，破坏人们对我们试图以可能可以避免的方式做的事情的信任。”
患者本身通常被排除在关于披露的决策过程之外。STAT询问了四名因严重疾病住院的患者--肾脏疾病、转移癌和脓毒症--他们是否愿意被告知是否在他们的治疗中使用了人工智能支持工具。他们表达了一系列的观点：三个人说他们不想知道他们的医生是否得到了这样的工具的建议。但第四名患者强烈支持披露。
55岁的政策专业人士保罗·康韦(Paul Conway)说，“这个透明和坦率沟通的问题必须得到患者的坚持。”他一直在接受透析，并接受了肾脏移植手术，这两种情况都是他从十几岁起就开始管理肾脏疾病的后果。
在临床护理中引入的人工智能支持决策工具通常是新颖的和未经证实的-但它们的推出是否构成研究？
许多医院认为答案是否定的，他们用这一区别作为决定不告知患者在他们的护理中使用这些工具的理由。正如一些卫生系统所看到的那样，这些算法是作为常规临床护理的一部分部署的工具，以提高医院的效率。在他们看来，患者凭借入院同意使用算法。
例如，在加州大学洛杉矶分校(UCLA Health)，临床医生使用神经网络来确定初级保健患者明年有住院或频繁去急诊室的风险。根据穆罕默德·马赫布巴(Mohammed Mahbouba)的说法，患者没有意识到这个工具，因为它被认为是医疗系统质量改进努力的一部分。马赫布巴在2月份担任加州大学洛杉矶分校(UCLA Health)首席数据官时接受了STAT的采访。(自那以后，他已经离开了医疗体系。)。
“这是在临床手术的背景下进行的，”马赫布巴说。“这不是一个研究项目。”
俄勒冈健康与科学大学使用一种回归动力算法来监测大多数成年医院患者的脓毒症迹象。该工具没有向患者披露，因为它被认为是医院手术的一部分。
“这是用来做手术护理的，不是用来做研究的。因此，就像你让病人意识到我们正在收集他们的生命体征信息一样，这是临床护理的一部分。OHSU首席技术和数据官阿比吉特·潘迪特(Abhijit Pandit)表示：“这就是为什么它被认为是合适的。”
但威斯康星大学麦迪逊分校(University of Wisconsin-Madison)法律和生物伦理学教授皮拉尔·奥索里奥(Pilar Ossorio)表示，医学研究与医院运营或质量控制之间没有明确的界限。而且，研究人员和生物伦理学家经常在什么构成其中之一的问题上意见不一。
“这是一个很大的问题：质量控制、运营控制和研究之间的界限在哪里？目前还没有达成广泛的共识，“Ossorio说。
可以肯定的是，在很多情况下，部署人工智能支持工具的医院正在获得患者的明确同意来使用它们。一些人在临床试验的背景下这样做，而另一些人则作为常规临床操作的一部分征求许可。
在达拉斯的帕克兰医院(Parkland Hospital)，骨科有一种工具可以预测患者是否会在未来48小时内死亡，临床医生会告知患者该工具，并要求他们签名使用。
“根据我们达成的协议，我们必须征得患者的同意，解释我们为什么要使用它，我们如何使用它，我们将如何使用它来将它们与正确的服务联系起来，等等，”达拉斯帕克兰医疗系统(Parkland Health System)孵化出来的一个非营利性创新中心的首席分析和信息官维卡斯·乔杜里(Vikas Chowdhry)说。
医院经常在内部操纵这些决定，因为出售给医院和诊所的人工智能系统的制造商通常不会向客户推荐一线临床医生应该对患者说些什么(如果有的话)。
Jvion是一家总部位于佐治亚州的医疗人工智能公司，该公司营销一种工具，评估住院患者的再入院风险，并建议采取干预措施，以防止再次住院。Jvion鼓励少数几家部署其模式的医院在是否以及如何与患者讨论这一问题时行使自己的酌处权。但在实践中，根据Jvion首席医疗信息官的医生John FrownFelter的说法，人工智能系统通常不会在这些对话中被提及。
“由于判断掌握在临床医生手中，这几乎是无关紧要的，”FrownFelter说。
当患者服用未经证实的药物时，协议很简单：他们必须明确同意参加由食品和药物管理局(Food And Drug Administration)授权并由机构审查委员会监督的临床研究。研究人员必须告知他们服用药物的潜在风险和好处。
当人工智能系统被用于诊所的决策支持时，它不是这样工作的。这些工具不是治疗或全自动诊断工具。他们也不直接决定患者可能接受哪种治疗-所有这些都会使他们受到更严格的监管监督。
人工智能决策支持工具的开发者通常不会寻求FDA的批准，部分原因是2016年签署成为法律的21世纪治疗法被解读为将大多数医疗咨询工具带出了FDA的管辖范围。(这种情况可能会改变：在去年秋天发布的指导方针中，该机构表示，它打算将监督权力集中在人工智能决策支持产品上，这些产品旨在指导严重或危急情况的治疗，但医生无法独立评估其理由-这一定义与许多患者没有被告知的人工智能模型是一致的。)。
就目前而言，其结果是，围绕人工智能支持的决策支持工具的披露陷入了监管灰色地带-这意味着推出这些工具的医院往往缺乏寻求患者知情同意的动机。
威斯康星州的Ossorio说：“许多人有理由认为卫生保健系统应该进行许多涉及收集数据的质量控制活动。”“他们说，每一项涉及他们数据的活动都要征得患者的同意，这将给患者带来负担和困惑。”
与人工智能支持的决策支持工具形成对比的是，有几种常用的算法受到治愈法(Cures Act)规定的监管，例如临床医生用来绘制癌症患者治疗过程的基因测试背后的类型。但在这些情况下，基因测试在确定患者可能接受何种治疗或药物方面具有极大的影响力。相反，在用于预测患者是否可能再次入院的算法与如果发生这种情况时他们将接受治疗的方式之间没有类似明确的联系。
“如果是我，我会说，只要申请机构审查委员会的批准，要么获得同意，要么证明你为什么可以放弃。”
尽管如此，奥索里奥仍会支持一种极端谨慎的做法：“我确实认为，人们会把很多东西扔进运营桶里，如果是我，我会说，只要申请机构审查委员会的批准，要么获得同意，要么证明你为什么可以放弃就行了。”
更复杂的问题是，缺乏公开披露的数据，显示一些算法是否有效以及工作情况如何，以及它们对患者的整体影响。公众不知道OHSU的脓毒症预测算法是否真的预测了脓毒症，也不知道加州大学洛杉矶分校的招生工具是否真的预测了录取情况。
一些人工智能驱动的决策支持工具得到了在会议上提交并在期刊上发表的早期数据的支持，一些开发者表示，他们正在分享结果：例如，Jvion已经向一家期刊提交了一项研究，显示在部署其重新录取风险工具后，重新录取的人数减少了26%；据Jvion的FrownFelter称，该论文目前正在审查中。
但当被STAT问及他们的工具对病人护理的影响的数据时，几家医院的高管拒绝了，或者说他们还没有完成评估。
加州大学洛杉矶分校(UCLA)的一位发言人表示，该公司尚未完成对其招生算法表现的评估。
“在你使用一种工具来做医疗决策之前，你应该先做研究。”
卫理公会的一位发言人表示，根据其在3月份新冠肺炎大流行开始之前发布的最新报告，其脓毒症算法已用于18,000名患者，其中1,659名患者被标记为高危患者，护士对其中的210名表示担忧。他补充说，该工具对患者的影响-以医院死亡率和在设施中停留的时间长度衡量-是不确定的。
威斯康星州的奥索里奥说：“令人不安的是，他们在没有掌握应有信息的情况下部署这些工具。”“在你使用一种工具来做医疗决策之前，你应该先做研究。”
奥索里奥说，情况可能是这样的，这些工具只是被用作额外的数据点，而不是用来做出决策。但是，如果卫生系统不披露显示这些工具是如何使用的数据，就没有办法知道临床医生对它们的依赖程度有多高。
“他们总是说，这些工具是要结合临床数据使用的，最终由临床医生做出决定。但是，如果我们了解到算法被过度依赖于所有其他类型的信息，会发生什么呢？“。她说。
有无数的倡导团体代表着广泛的患者，但没有组织来为那些在不知不觉中让人工智能系统参与他们的护理的人说话。毕竟，他们甚至没有办法将自己认同为共同社区的一部分。
STAT无法识别任何在他们的护理由一种未披露的人工智能模型指导的事实后了解到的患者，但询问了几名患者，假设他们对在他们不知情的情况下在他们的护理中使用人工智能系统有何感想。
患有肾脏疾病的康威坚持认为他会想知道。他还驳斥了一些医生提出的担忧，即提到人工智能会破坏对话。他说：“当你介绍一个话题时，病人可能真的会提出问题，而你必须回答这些问题，这对专业人士来说是不幸的。”
然而，其他患者表示，虽然他们欢迎在护理中使用人工智能和其他创新，但他们不会指望甚至不希望他们的医生提到这一点。他们把这比作不想对他们的预后周围的数字知情，比如他们可能会剩下多少时间，或者有多少患有他们的疾病的患者在五年后仍然活着。
来自匹兹堡的患者权益倡导者斯泰西·赫特(Stacy Hurt)在2014年44岁生日时被诊断出患有转移性结直肠癌，当时她在一家制药公司担任高管，她说，“这些统计数据或算法都不会改变你对抗疾病的方式--所以为什么要让自己背上负担，这是我的哲学。”(她现在情况很好，快五岁了，没有疾病的证据。)。
凯蒂·格兰杰因脓毒症失去了双腿下半部分和七个指尖，她说，只要她的临床医生不太依赖这种算法，她就会支持她的护理团队使用像俄亥俄州立大学的脓毒症模型这样的算法。她说，她也不想被告知工具正在被使用。
“我不监督医生是如何做好他们的工作的。我只相信他们做得很好。“
“我不监督医生是如何做好他们的工作的。我只相信他们做得很好，“她说。“我必须相信这一点--我不是医生，我无法控制他们的所作所为。”
尽管如此，格兰杰对该工具表示了一些保留意见，包括认为它可能未能识别她的身份。52岁的格兰杰患脓毒症时很健康，而且相当年轻。她已经病了几天，去了一家紧急护理诊所，诊所给了她抗生素，他们认为这是一种基本的细菌感染，但很快就发展成了严重的脓毒症。
“我会担心(算法)可能会错过我。我当时很年轻--嗯，52岁--很健康，身材是我一生中最好的，吃得很好，然后就爆炸了，“格兰杰说。
弗吉尼亚州的营销专业人士达娜·戴顿(Dana Deighton)怀疑，如果算法在2013年扫描她的数据，它会对她的预期寿命做出可怕的预测：毕竟，她在43岁时刚刚被诊断出患有转移性食道癌。但在这样一个温柔而敏感的时刻，她可能不会想听到人工智能的预测。
Deighton说：“如果当你在寻找更温暖、更个人化的触摸时，医生提出了人工智能，实际上可能会产生相反的、更糟糕的影响。”(她现在情况很好-自2015年以来，她的扫描没有发现任何疾病的证据。)。
哈佛大学的科恩说，他希望看到医院系统、临床医生和人工智能制造商走到一起，深思熟虑地讨论他们是否应该向患者披露这些工具的使用情况-“如果我们不这样做，那么问题是，当我们告诉他们很多其他事情时，为什么我们不告诉他们这一点，”他说。
科恩说，他担心，如果患者“在事实发生后发现，在没有人告诉他们的情况下，有很多这样的东西被使用”，那么对人工智能和机器学习的吸收和信任可能会直线下降。
“这是一件可怕的事情，”他说，“如果你认为这就是未来的发展方向。”
这是为期一年的探索人工智能在医疗保健中使用的系列文章的一部分，该系列文章的部分资金来自英联邦基金(Federal Fund)的拨款。
