以危险的速度报道科学

2020-05-06 18:45:52

我的父亲在越南战争期间曾在纽约州普拉茨堡当过两年空军医生,他曾经说过,军队必须能够在美国的办公桌前接上办事员,用飞机把他们送到西贡,让他们继续键入同一句话,就像他们仍然坐在他们的美国空军基地里一样。

我认为这一定类似于有一天结束时成为一名政治、商业或房地产记者,然后出现在工作中-目前是在家里-然后被告知你正在报道冠状病毒大流行的健康状况。语言可能是一样的,但行话却完全不同。什么是置信区间?(这有点像民调中的误差范围,但不完全是。)。什么是P值?(即使是科学家也很难解释这些,所以我不会在这里尝试。)。

我可以想象,一个新调来的冠状病毒记者面对一份充满统计数据的PDF文档时的恐惧,就像我-作为一名职业生涯已久的医生出身的医学记者-突然被分配到州议会报道时一样。我是说,该死的闭合是什么?当我还是个孩子的时候,“法案如何成为法律”很棒,但我有理由相信,它对我来说也会有帮助,就像英语专业的初中生物课会为他们提供流行病学方面的报道一样。

当科学以危险的速度移动时,这一点尤其正确-正如亚当·马库斯和我在3月份为《连线》杂志所写的那样,目前正是如此。研究结果从来没有像许多科学家、医学期刊和其他人希望我们认为的那样仔细审查-这就是我和马库斯在10年前创建的Retaction Watch的原因之一-但现在它们基本上在没有任何审查的情况下被发布在网上,正如“纽约时报”(New York Times)在4月份写道的那样,测试“科学对限速的需求”。

这些发现发表在数以百计的论文中,这些服务器被称为印前服务器,如biRxiv和medRxiv。(笨拙的大写是为了向最初的印前服务器arxiv致敬,arxiv创建于1991年,主要面向物理学家和数学家。)。研究人员在同行评审之前将他们的工作提交到这样的服务器上发布,并经常在“正式”发表在期刊上之前更新手稿。这意味着它们被传播给科学家的速度比它们经过数周或数月的同行审查的速度更快,即使期刊在大流行期间大幅加快了这一过程。

如果研究人员了解上下文,速度可能是件好事。但这也意味着,渴望独家新闻的记者们正在抓住那些听起来重要而令人印象深刻的发现,而这些发现可能很快就会变得毫无意义。几十年来,当大量研究进入公众手中时,禁运一直起到人为限速器的作用。作为交换,记者们同意发布新闻的特定日期和时间,以换取发布前的访问权限-通常是几天的时间,以便提供阅读和报道的时间。这样的禁令(在更广泛的新闻业中很常见)在科学和医学报道中无处不在。

多年来,在文森特·基尔南(Vincent Kiernan)的“禁运科学”的推动下,我一直认为禁运的弊大于利。许多记者基本上将他们将报道什么以及何时报道的控制权交给了期刊,期刊的利益在于扩大宣传和从研究人员那里招募引人注目的手稿。期刊通常还会吓跑研究人员,让他们在作品出现在自己的页面之前与记者交谈,称-有时只是强烈暗示-他们不会考虑发表手稿,这在一个要么出版要么灭亡的世界里是一个风险。

有人可能会说,像冠状病毒这样的大流行改变了禁运好处的考量,但只有当记者利用额外的时间消化研究结果,并打电话给与这项研究无关的专家发表评论时,这一点才成立。现实情况是,记者没有足够的时间。

新调来的医疗记者要做什么?我希望一位经验丰富的州议会记者能把我拉到一边,带我参观一下节拍,所以我会尝试在这里做同样的事情,在哥伦比亚新闻学院的一次客座讲座中,我多年来一直使用这个框架,应ProPublica的资深医疗保健记者兼编辑查尔斯·奥恩斯坦(Charles Ornstein)助教的要求:“如何不犯错。”这是我在哥伦比亚新闻学院(Columbia Journism School)的一次客座讲座中使用的框架。奥恩斯坦是ProPublica的一名资深医疗保健记者和编辑。前线见。

关于研究的新闻稿-无论是来自大学、期刊还是行业-使用SPIN。学习摘要也好不到哪里去。大多数出版商非常乐意提供付费报纸的PDF文件,如果需要的话,作者也是如此。这样的机会是卫生保健记者协会会员的一个好处,该协会提供了丰富的其他资源,从名单服务器到小费单再到奖学金,这些资源有助于职业生涯的长期学习。(披露:我是自愿担任董事会主席的。)。

许多科学记者-特别是那些受过科学培训的记者-担心消息来源会因为他们问了一些看似基本的问题而做出评判,结果却是在没有真正理解故事的情况下,拿到了一本满是行话的笔记本。记住,你的主要忠诚是对你的读者和观众,他们也不懂行话。

好的,所以你想给线人留下深刻印象。很好:利用这种本能潜入更深的水中。这项研究发表在哪里(如果有的话)?是在人类身上,还是在动物身上--在这些地方,结果往往不能转化为临床实践?这项研究的目的是要找到它声称要找到的东西吗?作者是否将球门柱--用科学术语来说,就是终点--移到了中游?

好的期刊不会让作者忽略他们作品的局限性而逍遥法外。样本量偏了吗?这项研究不能控制的东西会不会让结果变得更没有意义呢?限制是存在的,它们都是光荣的:选择偏差、测量偏差、回忆偏差、缺乏控制组,等等。找找看。

写一篇关于初步研究的文章是可以的,因为这可能会提升当地公司的前景,或者因为科学是令人着迷的。只是不要让它听起来好像这些发现是治疗冠状病毒感染的良方。

一种治疗方法可能效果很好,但只对一小部分人有效。或者FDA可能会批准一种药物,但仅限于有限的适应症。不要暗示只有少数人会患上数百万人的疾病,也不要说只是一种滋扰就会危及生命。

好的,所以你进入新闻业是因为你讨厌数学。但是,如果你只告诉你的读者和观众“如果他们接受了治疗,他们的病情就会好转”,他们就不能做出更好的决定。差多少钱?你会因为别人告诉你便宜,而不是便宜多少而选择一辆车吗?

每种疗法都有它们,你不太可能在新闻稿或摘要中找到它们。仔细阅读表3或表4,或者问另一个“愚蠢”的问题。

很少有研究以开始时相同的人数结束。毕竟,人们会搬家,或者厌倦了呆在研究里,而且他们不是实验室的老鼠,所以他们可以自由地做他们想做的事情。但有时辍学的人比平均水平多,这可能是一个令人担忧的原因。找出作者是否做了所谓的“意向治疗分析”来保持诚实。(在编辑了一篇关于特定研究的报道后,我甚至给一家杂志写了一封关于一个案例的信,而他们没有这样做。是的,我是个极客,不,你不必走那么远。)。

一种新药有效的事实听起来很棒,直到你了解到没有控制组,所以你不知道如果参与者没有服用这种药物会发生什么。声称特定饮食或生活方式与健康之间存在联系的观察性研究也是如此。就像我经常对我的学生说的那样,当你在跑步机上吸烟是很困难的。健康的行为往往相伴而行。

阅读论文末尾的这些披露,请记住,虽然大多数临床试验都是由工业资助的,但这种联系与更高的阳性结果率有关。正如“纽约时报”的奥恩斯坦和凯蒂·托马斯所展示的那样,这些冲突本身就可能成为具有影响力的故事。

就像你想要获得外界对任何其他故事的评论一样,寻求与研究或发现无关的专家的想法。我在这里解释我是如何做到这一点的,在为杰出的科学作家埃德·杨(Ed Yong)撰写的一篇博客文章中,他现在“大西洋月刊”(The Atlantic)工作,在探索公司工作的早期。

叙事性的倾向,更不用说侧写了,可以是非常强大的。但他们可能会给人留下一种印象,认为治疗是有效的,也可能是有害的。正如我告诉我的学生的那样,采访埋葬在公墓里的人是很困难的。如果你只包括成功的故事,你就没有描绘出一幅完整的图景。

相关性不是因果关系。(或者,就像我父亲过去常说的,“真的,真的,没有关系。”)。当你只知道某个因素与另一个因素相关时,不要使用“减少”或“增加”这样的词。“已链接”、“已绑定”或“关联”更准确。要想了解虚假关联的乐趣,请阅读泰勒·维根(Tyler Vigen)的文章。

最后一句话:尽管我在医学院读了很多年,但我需要经常复习如何阅读医学研究。对于这些人,我建议认识一位生物统计学家-特别是在大流行期间。

美国从来没有比现在更需要一个媒体监督机构吗?帮助我们今天加入CJR。