科技公司雇佣“红色团队”。科学家也应该这样做。

最近撤回了一篇研究论文，该论文声称没有发现警察杀人与受害者种族之间的联系，这是为今天关于取消文化的斗争量身定做的故事。

首先，作者要求撤回这篇论文，这既是因为他们“在描述从我们的数据中可以做出的推论时粗心大意”，也是因为其他人对这项工作的解读。(他们特别提到了“华尔街日报”最近的一篇专栏文章，标题是“系统性警察种族主义的神话”。)。然后，在那些谴责他们认为是左翼审查制度的人进行了两天的意料之中的反弹之后，作者试图澄清：“人们错误地得出结论，认为我们撤回是因为政治压力，或者是引用这篇论文的人的政治观点，”他们在一份修订后的声明中写道。

不，作者说，他们撤回这篇论文的真正原因是因为它包含了一个严重的错误。事实上，这个错误-对其核心发现的错误陈述-在该论文于2019年7月首次发表在美国国家科学院院刊(Proceases Of The National Academy Of Sciences)后不久就被发现，并于今年4月正式更正。在这一点上，作者承认了他们的错误-在某种程度上-同时坚持他们的主要结论是成立的。最终的撤回是在乔治·弗洛伊德被谋杀后，该报成为关于种族和警察的辩论的导火索之后…。好吧，让我们承认撤诉是发生的。

然而，真正的罪魁祸首不是清醒的政治，而是无能的同行评议。PNAS的发表过程未能捕捉到一个明显的问题；如果评论家发现了这个问题，关于警察杀人的论文就会有很大的不同-并导致更少的争议。

正如普林斯顿大学研究人员迪恩·诺克斯(Dean Knox)和乔纳森·蒙莫罗(Jonathan Mummolo)所写的那样，遗漏的错误相当于社会科学家所说的“对因变量的选择”，他们将其描述为“只检查感兴趣的事件发生的情况”。根据诺克斯和蒙莫罗的说法，PNAS的论文没有考虑到这样一种可能性(碰巧这是一种很强的可能性)，即黑人比白人更有可能与警察发生非致命的冲突，并升级为致命的武力。基本上，文章是一个没有分母的分子。

当这份报纸的作者最终要求撤回时，他们承认他们的研究不能就种族和警方的致命枪击事件提出任何主张。他们写道：“我们犯的错误是对与警方互动的更广泛的平民人口做出推断，而不是将我们的结论局限于被警方开枪打死的平民人口。”

他们还对保守派--尤其是曼哈顿研究所的希瑟·麦克唐纳(Heather Mac Donald)--抓住他们的工作来论证有缺陷的科学不支持的观点表示遗憾。这一承认促使麦克·唐纳德(Mac Donald)和其他人宣布了受害者身份的胜利。(该报资深作者约瑟夫·塞萨里奥(Joseph Cesario)反驳了对麦克·唐纳德(Mac Donald)的描述，他在“华尔街日报”(The Wall Street Journal)上声称，尽管他最初的声明措辞不同，但撤回的决定“与(她)的说法无关”。)。

正如我们和其他人多次写到的那样，同行评议--无论如何，期刊要求研究人员进行同行评议的方式--并不是为了抓住欺诈行为而设计的。它也很容易受到操纵，仓促完成时进展不是很好。编辑和出版商往往只有在胁迫下才会承认这些问题-即当公开的撤回发生时-然后希望我们相信他们的说法，即这种巨大的错误不知何故是“系统正在以应有的方式运作”。但他们的声明只是承认标准体系不起作用，我们必须转而依赖于论文发表后更非正式的同行评议。互联网使得像PubPeer.com这样的网站上，这种众所周知的发表后同行审查能够更快地进行。然而，在某些情况下-就像上面描述的PNAS论文一样-这种事后评估的解决方案来得太晚了，因为一个错误的说法已经传开了。

那么，期刊如何才能把事情做得更好呢？正如荷兰埃因霍温理工大学的Daniël Lakens和他的同事们所主张的那样，研究人员应该接受同行评审的“红色团队挑战”方法。就像软件公司雇佣黑客来探测他们的产品是否存在潜在的安全漏洞一样，一家期刊可能会招募一个由科学魔鬼倡导者组成的团队：主题专家和方法学家，他们将寻找“正在进行的工作和…中的漏洞和错误。Lakens最近在“自然”杂志上写道：“挑战主流假设，以提高项目质量为目标。毕竟，他补充说，科学只有在它能处理的最强烈的批评下才是强有力的。

因此，这里给科学家和期刊一些建议：如果你正在考虑发表一篇关于一个有争议的主题的论文，不要简单地依赖你的传统审查过程-引入一个红色团队来调查漏洞。研究黑客应该是特定领域的专家，具有比往常更强的统计学背景，并有在发表之前发现潜在问题的嗅觉，当这些问题可以解决的时候。只要有可能，他们应该准备好抓住你的珍珠-很可能不同意你的论文的结论。预测批评者的反应是写101篇专栏文章。

在此之前，科学家们可以做拉肯斯和他的同事们做过的事情：5月份，他们发起了一个红色团队挑战赛，征集哈佛大学社会心理学家尼古拉斯·科尔斯(Nicholas Coles)的同事的一篇手稿，五名科学家每人获得200美元的津贴，以寻找这篇未发表文章的潜在问题，另外，他们发现的每个“关键问题”都会额外获得100美元的奖金。该项目于本月结束，旨在为红色团队在科学中可能扮演的角色提供一个有用的案例研究。

这五位批评家带来了107个潜在的错误，其中18个被(由中立的仲裁者)判断为重大的。拉肯斯说，在这些问题中，有五个是主要问题，包括“两个以前不为人知的关键操作限制、能量分析的设计和描述的不足、补充材料中错误报告的统计测试，以及关于手稿中样本的信息缺乏。”换句话说，如果这些问题在出版后浮出水面，那将是非常令人担忧的。

鉴于这些评论，科尔斯决定暂时搁置这份报纸。他最近写道：“我没有在提交的求职信上做最后的润色，而是回到了绘图板上-修复可修复的，设计一项后续研究来解决无法修复的问题，并考虑红色团队在更广泛的科学领域可以发挥什么作用。”

拉肯斯说，他计划雇佣一个红色团队来审查他自己关于性别歧视主题的荟萃分析(一项研究)。特别是在有争议的话题上，他认为这种方法对期刊和研究人员最有用。“你不会为明天去杂货店买保险，但你会考虑为环球旅行投保旅行保险，”他说。“对我们来说，这也是关于成本效益的分析。我让别人来决定谁的研究对红队来说足够重要。“。

这是一个临界点。即使在乔治·弗洛伊德被谋杀之前，完全可以预见的是，一项关于警察杀害黑人是否比白人更频繁的研究可能会得到很多审查。考虑到资源总是稀缺的，在调查结果最重要的情况下，部署最全面、最耗时的同行审查形式更有意义。

研究人员拿令人讨厌的评审员2号(或者3号，取决于你的模因)开玩笑说，他总是要求更多的实验，推荐大量的修改，通常会阻碍你的进步，无论是发表一篇论文还是获得终身教职。毫无疑问，科学界也有混蛋，并不是所有的批评都是善意的。但是，如果我们剔除2号评论员的肮脏，以及他们的吹毛求疵等同于恶意破坏的概念，他们开始看起来有点像红队领导人。他们更积极的同行评审方法可以确保发表更少的不正确结论，从而帮助清理科学记录。这样的努力不值得吗？

《连线观点》发表外部撰稿人的文章，代表了广泛的观点。点击此处阅读更多观点。提交一篇专栏文章，电子邮件地址为：[email protected]。

治疗师👁加入了--这是一款聊天机器人应用程序。另外：获取最新的人工智能新闻。

💻使用我们Gear团队最喜欢的笔记本电脑、键盘、替代打字设备和降噪耳机升级您的工作游戏