英国的MHRA表示,它对巴比伦健康有“担忧” - 并旗帜距离分类聊天跳闸

2021-03-07 10:27:40

昨天报道了MHRA给大卫沃特金斯博士的信。 TechCrunch已审查了2020年12月4日的信函(见下文)。我们还看到了关于在信中引用的会议中讨论的内容的其他背景,以及审查Watkins与监管机构之间的其他对应他详细介绍了许多广泛的担忧。

在接受采访时,他强调,监管机构股份的担忧是聊天安全的(重要但)单一问题的“远更广泛”。

“问题与公司的公司治理有关 - 他们如何接近安全问题。 Watkins告诉TechCrunch,他们如何接近提高安全问题的人。 “这是关注的问题。和一些医疗器械误入歧途的一些伦理。

“整体故事是他们确实推广了危险缺陷的东西。他们对如何使用[聊天栏]的误导性索赔 - 其预期用途 - 用[巴比伦首席执行官] Ali Parsa作为“诊断”系统促进它 - 这绝不是这种情况。 Chatbot从未批准过'诊断。'“

“在我看来,2018年,MHRA应该用巴比伦举行更加坚定的立场,并向公众明确表示所做的声称是错误的 - 并且该技术未经巴比伦的方式批准使用促进它,“他继续了。 “这应该发生了,它没有发生,因为那时的法规不适合目的。”

“实际上,这些技术没有监管的”批准“过程,立法不要求公司道德行为,”沃特金斯也告诉我们。 “我们依赖健康技术部门的行为负责任。”

顾问肿瘤科医生开始向Babylon与U.K. Healthcare Regulators(CQC / MHRA)筹集红旗 - 最初在“明显没有任何强大的临床测试或验证”时,他将其与监管机构相通信。然而,巴比伦选择拒​​绝问题并继续攻击批评他的担忧。

医疗器械监管机构的录取,所有Watkins的担忧是“有效的”,并且是“我们分享的”,将巴比伦的偏转PR策略吹出水中。

“巴比伦不能说他们始终坚持法规要求 - 有时他们没有遵守监管要求。在整个系统的发展中,“沃特金斯也告诉我们,补充说:”巴比伦从来没有像他们所拥有的那样严重的安全问题。因此,这个问题已超过三年的时间拖累。“

在此期间,该公司一直在播出宽加于世界各地医疗保健提供者的浇筑宽,包括与英国Wolverhampton去年同意的10年交易,以提供旨在达到的综合应用程序300,000人。

它还与卢旺达政府协议达成协议,支持其卫生系统的数字化,包括通过数字化的分类。其他市场卷入其中包括美国,加拿大和沙特阿拉伯。

巴比伦表示,它现在涵盖了2000多万患者,并在全球范围内完成了800万次咨询和“AI互动”。但它是否对高标准人们预期的医疗器械公司运作?

在一份书面摘要中,日期为10月22日,在去年9月24日在沃特金斯和英国医疗器械监管机构之间进行的视频通话,他总结了以下方式所讨论的内容:“我通过并扩展了每个人文档中概述的要点,具体;误导声明,危险的缺陷和巴比伦试图否认/抑制安全问题。“

在本次会议的说明中,Watkins继续报告:“似乎普遍同意,巴比伦的企业行为和治理低于医疗设备/医疗保健提供者的标准。”

“我被告知,巴比伦健康不会被宽大地表现出宽大(鉴于他们与[英国卫生秘书] Matt Hancock的关系),”他还在摘要中说明 - 汉袋是巴比伦“手头的GP的公开热情用户” APP(他于2018年被告的违反部长级代码)。

在一个单独的文件中,沃特金斯去年编制并送到了监管机构,他详细介绍了14个关注领域 - 涵盖包括巴比伦聊天的三十的安全的问题; “误导和矛盾的”T& CS - 他说矛盾的促销声称它已经炒作产品;以及他描述为“众多道德和治理问题” - 包括对任何引起涉及其技术安全性和有效性的人的侵略性反应。

这包括一项针对沃特金斯本人的公共攻击活动,我们去年报道了;以及他列出了文件中的名单作为“避免审查和不利媒体覆盖范围的法律威胁”。

在这里,他指出巴比伦对2018年举办的安全问题的回应 - 由HSJ报告 - 也在攻击,本公司声称那么“既得利益”正在传播“虚假指控”试图“看到我们失败”。

“指控不是假的,很明显,巴比伦选择误导HSJ读者,选择有伤害风险的患者,以保护自己的声誉,”将Watkins写在与监管机构相关的评论中。

他继续指出,在2018年5月,MHRA本身独立通知了与其聊天安全有关的两次事件的巴比伦健康(一个涉及心脏病发作的症状,另一个错过了DVT的症状) - 然而公司仍然继续公开垃圾的报告第二个月(题为:“安全监管机构调查关于巴比伦'Chatbot')的担忧。

更广泛的治理和操作涉及Watkins在文件中提出包括巴比伦的使用人员NDAS - 他认为该公司内部的文化将在工作人员感到无法讲述他们可能拥有的任何安全问题的情况下;他称之为“医疗器械警惕的不足”(其中他表示,巴比伦Bot并未常规请求对患者结果的反馈,争论:“没有任何强大反馈系统的缺失显着损害识别不利结果的能力” )。

RE:不公之式的员工意见,有趣的是,撰写本文时的巴比伦的Glassdoor评级只是2.9星级 - 只有少数审查员,他们会向朋友推荐公司,并担任首席执行官的批准评分也只有45汇总的%。 (“该技术已经过时且有缺陷”,一台GlassDoor评论家写为目前的巴比伦卫生员工,作为加拿大温哥华的临床opss助理员工 - 隐私监管机构对其应用进行了开放的调查。在上市的缺点中一星级评价是:“患者的福祉并不被视为优先事项。对医疗保健的真正笑话。最好避免。”)

每个Watkins与MHRA的在线会议报告,监管机构同意NDA是“问题”,并对雇员在安全问题上发表讲话的能力影响。

他还写道,它被承认,巴比伦员工可能会因为法律威胁而担心发表讲话。他的几分钟进一步记录:“评论是让MHRA能够尊重匿名提出的担忧。”

在他对巴比伦的担忧的概述中,Watkins还在2018年举办了一项活动,该活动在伦敦举行的公司举办的聊天巴特 - 在此期间,他写的是它造成了一些“误导性索赔”,例如其AI产生健康建议这是“与高级练习临床医生的题为”。

Flashy的声明导致了一个关于机器人能力的双曲线标题的闪电线 - 帮助巴比伦在可能一直在投资者筹集更多资金的时候产生炒作。

伦敦的初创公司于2019年估价为20亿美元,当时它筹集了大规模的5.5亿系列C轮,来自包括沙特阿拉伯公共投资基金和大型(未命名)的美国健康保险公司,以及保险巨头慕尼黑Re的Ergo Fund - 当时宣传欧洲最大的筹集资金,或者为数字健康交付。

“应该指出的是,巴比伦健康从未撤回或试图纠正AI测试事件中的误导性主张[哪个生成的新闻覆盖,它仍然在其网站上的某些司法管辖区的促销工具],”Watkins写信给监管机构。 “因此,仍然存在持续的风险,即公众将在巴比伦未经验证的医疗设备中对过度信仰。”

在他的摘要中,他还包括来自许多人声称在巴比伦工作(或已奏效)的人的几件匿名对应 - 这使得一些额外的索赔。 “投资者有巨大的压力来证明回报,”其中一个。 “任何缓慢的东西都会被看到[A]别的能。”

“针对巴比伦健康的指控不是假的,并善于善意提出患者安全的利益,”沃特金斯继续在他的摘要中断言给监管机构。 “巴比伦的”重复“试图积极地诋毁我,因为个人对其作为医疗保健提供者的企业文化和可靠性提出了严肃的问题。”

在给沃特金斯的信中(下面的Screengrabbed),MHRA告诉他:“你的担忧都是有效的,我们分享的问题。”

它继续感谢他个人和公开提高问题“对自己的相当风险。”

Babylon已被联系以获得对MHRA对Watkins担忧的验证的回应。在撰写本文时,它没有回复我们对评论的要求。

该初创公司告诉HSJ,它符合其运作的国家的监管机构的所有当地要求,补充说:“巴比伦致力于在患者安全方面坚持最高标准。”

在去年的一个上述侵略性事件中,巴比伦将新闻稿攻击沃特金斯作为“巨魔”,并寻求诋毁他正在做的工作,以突出由它的聊天行业的分类来突出安全问题。

它还声称其技术已被“NHS验证”作为“安全服务10次”。

尚不清楚验证过程是什么验证过程Babylon指的是那里的 - 而Watkins也在与MHRA的通信中索赔的标志和查询,写作:“据我所知,巴比伦聊天尚未经过验证 - 在这种情况下,他们的新闻稿是误导性的。“

与此同时,MHRA的信明确表示,对于基于软件的医疗设备产品,本来的监管制度也没有充分涵盖软件供电的“健康技术”设备,例如巴比伦的Chatbot。

每天卫生金目前没有批准过程。此类设备仅限于MHRA - 但没有法律要求,监管机构评估他们或甚至接收与其发展有关的文件。他说他们独立存在 - 与MHR持有注册。

“你已经提出了一个复杂的问题,并且有几个方面落在我们现有的汇率之外,”监管机构承认这封信。 “这突出了我们进一步探索的一些问题,这可能很重要,因为我们为u.k.的新监管框架制定了新的监管框架。”

泛欧医疗设备的更新 - 将为基于软件的医疗器械带来新的要求,并最初在去年5月在英国实施 - 鉴于该国已离开的情况下不再发生集团。

U.K.而不是制定自己的医疗器械规则的监管更新过程。这意味着基于软件的“健康技术”仍然存在差距 - 这预计将完全插入几年。 (虽然Watkins注意到该政权有一些调整,例如去年的一部分提升机密性要求。)

去年在演讲中,卫生秘书汉考克告诉议会,政府旨在为医疗器械制定“龙头”的医疗器械监管制度,以便跟上健康穿戴者等技术推动的发展,而“维持和增强病人”安全。”它将包括赋予MHRA“向公众披露任何关于设备的任何安全问题的新能力,”他说。

与此同时,现有的(过时的)监管制度似乎继续绑定监管机构的手 - 至少可以在公众方面对安全问题进行讨论。它已经拍了沃特金斯给他公开的信。

在这封信中,MHRA写道,“保密性乏味地绑定了我们更多地对任何具体的调查说,”虽然它也告诉他:“请放心,你的担忧是严重的,如果有采取行动,那么我们会。“

“基于这封信的措辞,我认为很明显,他们想向我提供我们听到你的消息,我们了解你所说的话,我们承认你所提出的担忧,但我们Watkins告诉我们,受到我们能做的事情的限制。

他还表示,他认为监管机构与巴比伦一起从事担心,他在过去三年里提出了这一岁月 - 注意到他在筹集了特定查询后已经提出了一些变化(例如,它的T& CS最初表示没有一种医疗设备,但随后被撤回并改变以确认;或者声称它已经让聊天跳闸是“100%安全”,其被撤回 - 在该案件中的广告标准管理局进行干预后)。

Chatbot本身也被调整,以减少对诊断作为结果,并更加重视当地结果,每个沃特金斯。

“他们采取了零碎的方法[解决了Chatbot分类的安全问题]。所以我会向一个问题[通过Twitter公开],他们只会看那个非常具体的问题。那个年龄的患者,进行了确切的分类评估 - '好的,我们会解决这个问题,我们将解决“ - 他们将建立一个[具体修复]。但可悲的是,他们从未花费时间解决系统内更广泛的基本问题。因此,安全问题将多次裁剪,“他说,引证了他也与监管机构提出的心脏三轴的多个问题的例子。

其他; 59岁20 /天吸烟,突然发病胸痛&恶心受苦#deathbychatbot pic.twitter.com/ton5vpxp1u

“当我与在巴比伦工作的人谈话时,他们曾经做过这些硬修复......他们所要做的就是一点就是”愚蠢“。因此,例如,对于任何胸痛的人都会立即说转到A& e。他们会把任何思想的过程带走,“他补充道。 (当然还有风险浪费医疗资源 - 因为他还指出了监管机构的备注。)

“这就是他们如何随着时间的推移来解决这些问题。但它突出了开发这些工具的挑战和困难。这是不容易的。如果你努力尝试,不要让它受到足够的关注,那么你才结束了一些无用的东西。“

Watkins还怀疑MHRA已参与获得巴比伦以从其网站上删除与2018年AI活动相关的某些双曲促销材料。

在一个奇怪的剧集中,也与2018年事件有关,巴比伦的首席执行官演示了一个AI动力界面,似乎显示了患者的单词与“情感扫描”AI的实时转录 - 他说真实的扫描面部表情有时间生成对这个人的感受如何 - 与Parsa继续告诉观众:“这就是我们所做的。这就是我们建造的。这一切都不是表演。所有这些都将在市场或市场上。“

然而,Babylon既没有迄今为止则既未向市场推向市场。上个月询问了这一点,启动告诉TechCrunch:“由巴比伦的AI团队制定和建造的旧版旧版本的情感检测功能,由巴比伦的AI团队制定和建造。巴比伦进行广泛的用户测试,这就是为什么我们的技术不断发展以满足患者和临床医生的需求。在与我们的临床医生进行预售用户测试后,我们在我们的临床门户中优先考虑了在我们的情感认可功能上的其他AI驱动的功能,重点是改善我们服务的运营方面。“

“我当然发现了[MHRA的信]非常令人放心,我强烈怀疑MHRA一直与巴比伦一起参与,以解决在过去三年期间已经确定的担忧,”Watkins今天也告诉我们。 “MHRA似乎没有忽略这些问题,但巴比伦只是否认任何问题,可以坐在保密条款后面。”

在关于U.K的基于软件的医疗设备的当前监管局势的声明中.MHRA告诉我们:

MHRA确保医疗器械制造商符合2002年医疗器械规定(如修订)。请参阅现有指导。

药物和医疗器械ACT 2021为目前正在开发的新改进的监管框架提供基础。它将考虑医疗设备监管的所有方面,包括适用于软件作为医疗设备(SAMD)的风险分类规则。

U.K.将继续识别CE标记的设备,直到2023年7月1日。此后,必须满足对UKCA标志的要求。这将包括目前正在开发的新框架的经修订要求。

药品和医疗器械ACT 2021允许MHRA承接其具有更大水平透明度的监管活动,并在患者安全的利益中分享信息。

监管机构拒绝接受采访或回应关于它对沃特金斯信中所说的问题的问题,即它股票的关于巴比伦 - 告诉我们:“MHRA调查所有担忧,但不对个别案件发表评论。”

“患者安全至关重要,我们将始终调查有关安全的担忧,包括讨论与报告他们的个人的担忧,”它补充说。

Watkins对“切削刃”技术工具的患者安全问题提出了一个更突出的点 - 问“现实生活临床数据”在哪里? 到目前为止,他表示,研究患者必须继续进行有限的评估 - 通常由Chatbot Makers本身制作。 “关于这个领域的一个人非常讲述是那里的实际数据很少,”他说。 “这些聊天现在已经过了几年了......而且有足够的时间来获得现实生活的临床数据,但它没有出现,你只是想知道,是因为在现实生活中,他们实际上是这样 没有像我们认为的那样有用?“