专家们对由剑桥公爵和公爵夫人支持的Shout服务存在严重的道德问题
英国最大的危机短信热线为需要紧急心理健康支持的人提供服务,让第三方研究人员能够访问来自儿童和其他弱势用户的数百万条短信,尽管他们承诺永远不会这样做。
剑桥公爵和公爵夫人皇家基金会发起了一场热线电话,称它为那些努力解决诸如自杀、自伤、虐待和欺凌等问题的人提供保密服务。
该公司网站上的一个常见问题部分曾表示,虽然“匿名和聚合”,但信息中的“高级数据”被传递给了值得信赖的学术合作伙伴,以便进行研究,以改进服务,“个人对话不能也永远不会被分享”。
但《观察家》发现,这一承诺去年从该网站上被删除,从那时起,第三方研究人员就可以访问数百万条来自人们——包括13岁以下儿童——的信息。
运营该热线的慈善机构“心理健康创新”表示,所有用户都同意与研究人员共享数据的服务条款,以便“最终让使用我们服务的人和更广泛的人群受益”。
但这一发现在隐私专家、数据伦理学家和求助热线用户中引发了强烈反弹,他们表示,数据共享引发了道德担忧。
2018年2月至2020年4月,伦敦帝国理工学院(Imperial College London)在一个项目中使用了271445次对话中的1080多万条信息,该项目旨在创建使用人工智能预测行为的工具,包括自杀想法等。
据Shout称,包括姓名和电话号码在内的个人识别码在分析这些信息之前被删除。Shout称,这些信息已经“匿名化”。
但研究显示,研究中使用的数据包括关于人们个人问题的“完整对话”。
这项研究的一部分旨在从短信中收集发短信者的个人信息,比如他们的年龄、性别和残疾,以便更好地了解谁在使用这项服务。
数字权利倡导组织Foxglof的联合创始人、律师科里·克里德(Cori Crider)表示,让研究人员了解这些信息会引发“严重的道德问题”。“信任是健康的一切——最重要的是心理健康。当你在常见问题解答中说‘个人对话不能也永远不会被分享’;然后突然转向在数十万个‘完整对话’上训练人工智能时,你已经忘记了你所服务的弱势群体的感受和期望她说尤其令人难过的是,这可能会让经过批准的研究推迟数年。对这些系统缺乏信任可能会阻止绝望的人挺身而出。"
其他人担心,使用该服务的人无法真正理解他们的信息在危机时刻会被如何使用——即使他们被告知信息将用于研究——因为他们的脆弱状态。根据Shout的数据,大约40%发短信给求助热线的人是自杀者,其中许多人不满18岁。
30岁的克莱尔·梅利特(Claire Maillet)曾在2019年和2020年使用该服务为焦虑症和饮食障碍患者提供支持,她说她不知道这些信息可以用于研究。她说:“我的理解是,对话将停留在我和我发短信的人之间,不会再深入下去。”。“如果我知道它会,那么我就不能确定我还会使用这项服务。”
Maillet说,她“完全理解”进行研究的必要性,以便在人们可以给予知情同意的情况下“使服务更好”。
但她说,由于讨论的内容的性质,使用危机求助热线的对话会引发伦理问题,即使在名字被删除的情况下也是如此。
“当你处在那个危机点时,你不会想,‘这些信息会被用于研究吗?’你可以用一种听起来不错的方式来描述它,但感觉他们在某种程度上利用了脆弱性。”
倡导健康数据隐私的medConfidential的协调员菲尔·布斯(Phil Booth)表示,指望一个年轻人或任何处于危机中的人能够理解他们的谈话可能被用于提供支持以外的目的是“不合理的”。“Shout可能需要保留数据的原因很明显:没有人否认这一点。这是其他用途:它们不是人们所期望的。”
他补充说,慈善机构告诉用户他们的个人对话不会被分享是“误导”和“明显错误的”。“如果你做出这样的承诺,你就应该坚持下去,”他说。
Shout成立于2019年,是由剑桥公爵和公爵夫人以及哈里王子领导的一场旨在结束心理健康方面的耻辱感的运动。这项服务的目标是为英国人提供24小时的心理健康支持,其中许多人难以获得过度紧张的NHS服务,他们可以通过短信发送号码,并从训练有素的志愿者那里得到回复。
心理健康创新指出,一个关键目标是使用“匿名聚合数据,对英国人口的心理健康产生独特的见解”。
“我们利用这些见解来加强我们的服务,为新资源和新产品的开发提供信息,并报告更广泛的心理健康部门感兴趣的趋势,”报告说。
当服务用户第一次联系时,他们被告知:“这是保密的,除非我们担心你的安全,必须告诉别人保护你的安全。”他们还会收到一个文本链接,其中包含网站链接和隐私政策,其中包含以下信息:“在使用该服务时,您确认接受我们的条款,并同意处理您的数据。”
然而,之前版本的常见问题解答做出了一个承诺,后来被删除,这意味着过去发短信给该服务的人——包括那些在研究中使用短信的人——可能已经阅读了后来被更改的信息。
该热线网站自2020年3月起的存档版本显示,在常见问题部分,用户被告知:“我们匿名收集对话中的高层数据,以研究和提高自己的表现。我们与精心挑选和筛选的学术合作伙伴分享其中一些数据,但这些数据始终是匿名的,个人对话不能也永远不会被分享。”
在2021春季末,FAQ部分被更新,对个别对话的承诺被移除。隐私政策也进行了更新,表示除了共享数据,它还可以用于“更广泛地加深对英国心理健康状况的了解”,为更广泛的使用打开了大门。
根据该论文,2021年12月出版的《帝国研究》涉及人工和人工智能的“整个对话”的分析。为了改善这项服务,它有三个目标:预测信息的对话阶段,预测短信用户和志愿者的行为,以及“对完整的对话进行分类,以推断人口统计信息”——例如,通过扫描信息中的数字或提及的学校生活,这可能表明用户的年龄。
研究人员写道:“展望未来,我们的目标是训练模型,对可被认为直接采取行动或提供对话效能的直接衡量标准的标签进行分类。例如,未来的一个关键目标是预测发短信者的自杀风险。”。
数据是在一个可信的研究环境中处理的,该研究获得了Imperial的伦理批准,Imperial表示该研究“完全符合”了“严格的伦理审查政策”,并提供了“重要的见解”。
但伦敦大学学院(University College London)教育副教授桑德拉·莱顿·格雷(Sandra Leaton Gray)博士是一位研究技术对儿童和年轻人影响的专家,她说,作为一名研究人员,她看到了二手数据使用的“许多危险信号”,包括没有征求家长同意。
艾伦图灵研究所(Alan Turing Institute)的伦理研究员兼人工智能专家克里斯托弗·伯尔(Christopher Burr)博士表示,负责任的数据分析可以带来巨大的好处。但他表示,如果用户不清楚如何使用敏感对话,就会造成“不信任文化”。
他说:“他们应该做更多的工作,以确保他们的用户能够有意义地了解正在发生的事情。”。
在对Shout的担忧之前,新闻网站Politico在美国进行的一项调查揭露了美国一家心理健康慈善机构和一家营利公司之间的数据共享合作关系。
Shout是危机文本行US在英国的对应版本,该行在本月早些时候因与Loris的交易而面临严格审查。AI是一家承诺帮助公司“以同理心处理艰难的客户对话”的公司。
在与Loris合作的细节曝光后,危机文本行切断了与该组织的联系,英国用户得到保证,他们的数据没有与Loris共享。
除了与学术研究人员合作外,心理健康创新还与包括高科技公司Hive Learning在内的私人机构建立了合作伙伴关系。
Hive的客户包括Boots和Deloitte,它与Shout合作创建了一个由人工智能驱动的心理健康项目,该公司将其出售给公司,以帮助它们“维持大规模行为改变”。它的所有者是英国领先的数字创业公司布伦海姆·查尔科特,该公司由霍特信托人查尔斯·明登霍尔创立。
心理健康创新公司表示,“没有与任何短信对话相关的数据”已与Hive分享,其培训计划是“根据我们志愿者培训模式的经验制定的”。
该慈善机构在一份声明中表示,与包括帝国大学在内的学术研究人员共享的所有数据都已删除了包括姓名、地址、城市名称、邮政编码、电子邮件地址、URL、电话号码和社交媒体句柄在内的详细信息,并称这些数据“极不可能”与个人有关。
它表示,在研究中使用这些数据之前征求家长的同意“会让许多儿童和年轻人无法使用该服务”,并补充说,它理解发短信的人“迫切需要立即帮助……在他们开始与我们对话之前,可能无法阅读我们发送的条款和条件”,但隐私政策仍然可以在以后的阶段供他们阅读。一位女发言人说,如果他们后来决定撤回同意,他们可以向求助热线号码发送“丝瓜”短信,并删除他们的信息。
心理健康创新公司首席执行官维多利亚·霍恩比(Victoria Hornby)补充说,通过大喊对话构建的数据集是“独特的”,因为它包含关于“用他们自己的话来说的人”的信息,可以在心理健康研究中发挥巨大的作用。
她说,关于个人对话永远不会被分享的承诺出现在常见问题解答中,而不是实际的隐私政策中。由于对“个人对话”的含义存在“不同的解释”,该承诺已从网站上删除,因为它可能“容易被误解”。“我们不想被误解,所以我们改变了它,”她说。
英国数据保护监督机构信息专员办公室(Information Commission’s Office)表示,正在评估与Shout和心理健康创新公司处理用户数据有关的证据。
一位女发言人说:“在处理和共享人们的健康数据,尤其是儿童数据时,组织需要格外小心,并采取保护措施,以确保他们的数据不会以他们预期的方式被使用或共享。我们将评估这些信息,并就此进行查询。”
在英国和爱尔兰,可以通过116 123或电子邮件联系撒玛利亚人[email protected]或[email protected].