实证分析告诉评论家2：“你自己去吧”

同行评议往往是获得一些数据和将其发表在科学文献上的关键障碍。因此，它通常是必要的，以避免科学文献中有问题的结果。但对于大量拥有坚实但平淡无奇的结果的科学家来说，这可能是一个障碍，会将挫折感提高到热核水平。因此，许多科学家私下里希望某些评论家最终从事的活动不会在像“艺术评论”这样基本上适合家庭的出版物中提及，这也就不足为奇了。

令人惊讶的是，看到一家同行评议的出版物将这一愿望公之于众。非常公开。就像这篇论文的标题一样，亲爱的评论家2：自己去他妈的公众阶层吧。

自然，我们阅读了这篇论文，并联系了它的作者，爱荷华州立大学的大卫·彼得森，以了解这项研究的细节。关键的细节是这个标题有些误导：它实际上是评论家3，他是一个无情的混蛋，一直试图破坏其他学者的职业生涯。剩下的，好吧，继续往下读。

彼得森在他的论文中，在题为“为什么要看评论家2？”的章节中，阐述了他针对某一位评论家的观点。

这篇文章的主要动机是，更广泛的社区已经认定Reviewer 2是一个怪物。在谷歌上搜索“评论者2”，会出现跨学科的Facebook群组“评论者2必须停止！”(它有9000多名会员)，一篇题为“如何不成为评论者#2”的博客文章，以及无数的图片，几乎结合了所有可以想象到的视觉表情包。在学术界，可以公平地说，“评论家2”是终极妖怪。他是彭尼怀斯的小丑，与El Chupacabra结合在一起，被布莱尔女巫包裹着。

彼得森写道，换句话说，“评论家2”轻视他人的工作，懒惰、好斗、自鸣得意。

但这并没有触及更大的问题：为什么要看这个问题呢？彼得森说，这或多或少是因为他无论如何都有数据。他担任了四年《政治行为》(Political Behavior)杂志的编辑，彼得森一直在分析同行评议的结果，这是一个过程的一部分，目的是根据试图在那里发表文章的人的种族或性别等因素，寻找结果中是否存在系统性偏见。所以我有所有的数据，对吗？他告诉阿尔斯，我差不多是为另一个项目收集的。然后我突然意识到--老实说，喝了一两杯啤酒--我可以试着测试一下。这很简单，你知道吗？这是一项非常、非常直截了当的统计测试。

那就做两次统计检验吧。首先，彼得森检查了基于审稿人数量的论文评分是否存在系统性差异。结果一无所获。但是彼得森并没有这么做。还有这种第二种可能性--当学者们。当他们对评论发火的时候，真的，这是我们讨厌的负面异常值，对吗？因此，也许我可以试着理解这样一种观点，即评论者2是评论者人数，因为平均而言，评论者2比其他评论者的平均数低一个类别，这一点很重要。

他进行了统计，以检查是否有审稿人经常给论文打分，与他的其他同行差别很大。彼得森写道，在接着说第二位评论员的真正问题是，他是一个局外人，只有当手稿足够有力，能够得到其他评论者的正面评价时，才能看出他是个异类。我提出了一个原始的衡量标准，来衡量2号审稿人是不是审稿人，彼得森在继续说这一点之前写道，2号审稿人的真正问题是他是一个异类，这一点只有在手稿足够强大，才能得到其他审稿人的积极评价时才能看到。这是“评论家2”粉碎你的希望的时候。

令人惊讶的是，这发现了一些东西。当被问及这是否让他感到惊讶时，彼得森的回答是，哦，天哪，是的。但惊讶并没有结束于有任何结果这一事实；它还延伸到了这样一个事实：离群点并不是评论者2。

你们这些生物学家会明智地点头(通过贝丝·摩尔博士证实)，因为该领域一直在指责“评论家3”。事实上，关于“评论家3”有一个完整的失败模因。

我们问了彼得森这个问题，他推测生物学家在挑出邪恶的评论家时可能会更精明一点。他告诉Ars，我认为生物学家说得对。我认为生物学家在这方面可能比[政治学家]做得更好一些。老实说，这对我来说很有趣。我不确定为什么不同的学科会选择不同的数字来制造魔鬼。

他认为，这可能与评审员的选择方式有关。政治行为评论家最终在很大程度上是由自己选择的，排在令人畏惧的2位。彼得森知道许多潜在的评论者会因为各种原因说不，他说他会向更多的人发送请求，而不是他需要的。任何回答“是”的人都会简单地根据他们回复的顺序获得一个审阅者编号。其他期刊可能会以不同的方式处理这一问题。

让彼得森印象深刻的是，至少在政治学家中，评论者3是问题所在，但社区却设法将责任转嫁给其他人。“评论家3”不仅是个糟糕的演员，而且“评论家3”狡猾到让“评论家2”受到指责的地步，他告诉“华尔街日报”(Ars)。坦率地说，这一点让我哈哈大笑到了无穷无尽的地步。

在这篇论文中，彼得森跳过了正常的学术语言来评价这一点：这似乎是终极的混蛋举动。像这样的语言，提到El Chupacabra，以及标题本身，在学术文献中都是相当不寻常的。但彼得森并没有滥用他是一名编辑的事实，就把它出版了。部分原因在于，从本质上讲，这是对人类行为的量化分析，很多期刊都在进行这类研究。

尽管如此，这并没有让出版变得容易。他承认，这不是我提交给的第一份期刊。问题的一部分，似乎是他的一些评论家不知何故设法对来自地狱的评论家的整个概念置若罔闻。他说：我不断收到从未听说过评论家2想法的评论家。所以，这个混蛋存在的基本想法对他们来说是完全陌生的，所以他们不明白为什么有人会认为这是一个有趣的问题。这让我大吃一惊。但是，是的。"；

最后，他与将在该报出版的期刊担任编辑的人进行了交谈。彼得森说：我认识“社会科学季刊”的编辑很久了，在我提交它之前，我和他们进行了交谈，以确保他们会认出它的真面目。

即便如此，要把这一点转化为论文被接受对他们来说也不一定是件容易的事。彼得森承认，我相信编辑们在挑选评论员时是谨慎的。

他在编辑方面遇到的另一个麻烦是标题，它将淫秽与指责错误的评论者结合在一起-后者几乎被一名文案编辑改为评论者3。当我把它寄给其他杂志的时候。书名是“评论家2真的是评论家2吗？”，这个标题可能更好，但我自己更喜欢这个。