我愚弄了数百万人，让他们认为巧克力有助于减肥(2015)
“巧克力瘦身！”头条新闻铺天盖地。一组德国研究人员发现，如果人们每天吃一块巧克力棒，那么低碳水化合物饮食的人减肥速度会快10%。它登上了欧洲最大的日报“图片报”(Bild)的头版，紧随其后的是关于德国之翼坠毁事件的最新消息。从那时起，它在互联网和其他地方迅速传播，在20多个国家和六种语言中成为新闻。这件事在电视新闻节目中得到了讨论。它出现在光滑的印刷品上，最近一次出现在Shape杂志6月号上(“为什么你必须每天吃巧克力”，第128页)。研究发现，巧克力不仅能加速减肥，还能提高胆固醇水平，提高整体幸福感。“图片报”的报道引用了这项研究的主要作者、饮食与健康研究所研究主任约翰尼斯·博汉农博士的话：“最棒的是你可以在任何地方买到巧克力。”
我是约翰尼斯·博汉南博士。嗯，实际上我叫约翰，我是一名记者。我确实有博士学位，但它是研究细菌的分子生物学的，而不是人类。饮食与健康研究所？那不过是一个网站而已。
除了这些谎言，这项研究是百分之百真实的。我和我的同事们在德国招募了真实的人体受试者。我们进行了一项实际的临床试验，将受试者随机分配到不同的饮食方案中。我们报道的巧克力在统计上的显著益处是基于实际数据。事实上，这是饮食研究领域的一项相当典型的研究。也就是说：这是一门可怕的科学。结果是毫无意义的，媒体向世界各地数百万人大肆宣扬的健康主张也是完全没有根据的。
去年12月，我接到一位名叫彼得·昂内肯(Peter Onneken)的德国电视台记者的电话。他和他的合作者戴安娜·勒布尔(Diana Löbl)正在制作一部关于垃圾科学饮食行业的纪录片。他们想让我帮助证明，把糟糕的科学变成节食时尚背后的大头条是多么容易。而Onneken想要以贡佐的方式来做这件事：通过参与来揭示饮食研究-媒体复合体的腐败。
这个电话并不完全出人意料。前一年，我为“科学”(Science)组织了一项收费开放获取期刊的诱捕行动，这是学术出版业中一个快速增长、利润丰厚的新领域。为了找出这些出版商中有多少人信守承诺，进行严格的同行审查，我提交了有可笑缺陷的论文，并统计了有多少出版商拒绝了这些论文。(答案是：不到一半。)。
Onneken和Löbl已经准备好了一切：招募研究对象的几千欧元，运行这项研究的一名德国医生，以及处理数据的一位统计学家朋友。奥内肯听说了我的杂志“刺痛”，认为我会知道如何把它整理起来并出版。唯一的问题是时间：这部电影计划在春末在德国和法国的电视台播出(下周首映)，所以我们真的只有几个月的时间来完成这件事。
我们能出版一些东西吗？可能吧。但除此之外呢？我以为它肯定会失败的。我们科学记者喜欢认为自己比一般的黑客更聪明。毕竟，我们必须充分理解神秘的科学研究才能解释它。对于没有科学基础的记者来说，一旦他们为他们的报道寻找外部来源-实际上任何人都有科学学位，更不用说真正的营养科学家-他们会发现这项研究是可笑的薄弱的。更不用说在谷歌上搜索没有找到约翰尼斯·博汉南或他所谓的研究所的任何踪迹。健康科学快报的记者们在一英里外就能闻到这一点。但我不想听起来很悲观。“让我们看看我们能走多远，”我说。
Onneken和Löbl没有浪费时间。他们利用Facebook在法兰克福各地招募受试者，向任何愿意节食3周的人提供150欧元的奖励。他们明确表示，这是一部关于节食的纪录片的一部分，但他们没有透露更多细节。在一个寒冷的一月早晨，5名男性和11名女性出现，年龄在19岁到67岁之间。
参与恶作剧的全科医生冈特·弗兰克(Gunter Frank)主持了这项临床试验。奥内肯是在读了弗兰克写的一本抨击饮食伪科学的畅销书后把他拉进来的。测试苦巧克力作为膳食补充剂是他的主意。当我问他为什么时，弗兰克说这是“全食”狂热分子的最爱。他说：“苦巧克力味道不好，所以一定对你有好处。”“这就像一种宗教。”
在一轮问卷调查和血液测试以确保没有人患有进食障碍、糖尿病或其他可能危及他们的疾病后，弗兰克随机将受试者分配到三个节食组中的一个。其中一组遵循低碳水化合物饮食。另一组遵循相同的低碳水化合物饮食，外加每天1.5盎司。一块黑巧克力。其余的是控制组，他们被指示不要改变他们目前的饮食。在21天的时间里，他们每天早上都称体重，研究以最后一轮问卷和血液测试结束。
Onneken随后求助于他的朋友亚历克斯·德罗斯特-哈尔斯(Alex Droste-Haars)，他是一名金融分析师，负责处理这些数字。一个周末后喝啤酒，然后..。中头奖了！两个治疗组在研究过程中都减掉了约5磅，而对照组的平均体重在零上下波动。但是吃低碳水化合物饮食加巧克力的人呢？他们减肥的速度快了10%。这一差异不仅在统计上显著，而且巧克力组在幸福感调查中有更好的胆固醇读数和更高的得分。
我知道你在想什么。这项研究确实显示巧克力组的体重加速下降--我们不应该相信它吗？科学不就是这样运作的吗？
这里有一个肮脏的科学小秘密：如果你测量关于少数人的大量东西，几乎可以保证你会得到一个“具有统计学意义”的结果。我们的研究包括来自15个人的18项不同的测量-体重、胆固醇、钠、血液蛋白水平、睡眠质量、幸福感等。(有一个主题被删除了。)。那个研究设计是假阳性的秘诀。
把这些尺寸想象成彩票。每个人都有很小的机会以“有意义的”结果的形式得到回报，我们可以编造一个故事，然后卖给媒体。你买的票越多，你赢的可能性就越大。我们不知道确切的结果是什么-标题可能是巧克力改善睡眠或降低血压-但我们知道我们得到至少一个“有统计学意义的”结果的机会相当大。
每当你听到这个短语，它就意味着某个结果的p值很小。字母p似乎有图腾般的力量，但它只是一种衡量数据中信噪比的方法。“显著”的传统界限是0.05，这意味着你的结果只有5%的可能性是随机波动的。彩票越多，得到假阳性的机会就越大。那么您需要买几张票呢？
在我们的18项测量中，我们有60%的机会在p<；0.05中得到一些“有意义的”结果。(测量结果不是独立的，所以可能会更高。)。这场比赛对我们有利。
这叫做p-hacking--篡改你的实验设计和数据，把p压到0.05以下--这是个大问题。大多数科学家都是诚实的，而且在不知不觉中做到了这一点。他们得到否定的结果，让自己相信自己做错了，然后重复这个实验，直到“奏效”。或者他们丢弃“离群值”数据点。
但是，即使我们小心翼翼地避免了p-hack，我们的研究也注定会因为受试者的数量很少而失败，这放大了不可控因素的影响。仅举一个例子：女性的体重在她的月经周期中可以波动多达5磅，远远大于我们的巧克力组和低碳水化合物组之间的体重差异。这就是为什么你需要使用大量的人，并平衡不同治疗组的年龄和性别。(我们没有费心。)。
你与其试着解读我们的结果，还不如读一读茶叶。巧克力可能是减肥的加速器，也可能是相反的。你甚至不能相信我们的非巧克力低碳水化合物组与对照组相比所经历的减肥。谁知道控制组的那几个人吃的是什么呢？我们甚至都没问他们。
幸运的是，科学家们正逐渐意识到这些问题。一些期刊正试图完全取消p值显著性测试，以推动科学家养成更好的习惯。而且几乎没有人再认真对待少于30个对象的研究。有信誉的期刊的编辑在把它们发给同行评审员之前，会立即拒绝它们。但是，有很多期刊更关心金钱而不是声誉。
现在是与世界分享我们的科学突破的时候了。我们需要尽快发表我们的研究，但由于它是如此糟糕的科学，我们需要完全跳过同行评议。方便的是，这里有假期刊出版商的名单。(这是我的单子，还有一张单子。)。由于时间紧迫，我同时向20家期刊提交了我们的论文--“高可可含量的巧克力作为减肥加速器”。然后我们交叉手指，等待着。
我们的论文在24小时内被多家期刊接受发表。不用说，我们根本没有面临同行评审。我们最终选择的热切追求者是国际医学档案馆(International Archives Of Medicine)。它过去是由巨头出版商BioMedCentral运营的，但最近易手了。这家新出版商的首席执行官卡洛斯·瓦斯克斯(Carlos Vasquez)给约翰尼斯发了一封电子邮件，告诉他我们已经制作了一份“杰出的手稿”，只需600欧元，“我们的顶级期刊就可以直接接受”。
报纸出来了，是时候制造点噪音了。我给一位在科学公关工作的朋友的朋友打了电话。她教我一些抢头条的肮脏把戏。每天听到我所经历的事情的另一面是令人毛骨悚然的。
关键是利用记者令人难以置信的懒惰。如果你把信息安排得恰到好处，你就可以塑造媒体上出现的故事，就像你自己写这些故事一样。事实上，这就是你正在做的事情，因为很多记者刚刚复制和粘贴了我们的文本。
看看我炮制的新闻稿。它什么都有。用记者的行话来说：性感的领带，清晰的坚果格拉夫，一些有力的引语，还有踢腿。甚至不需要阅读科学论文，因为关键细节已经被概括了。我特别注意保持它的准确性。这样做的目的不是欺骗记者，而是用一篇关于研究论文的完全典型的新闻稿来引诱他们。(当然，缺少的是受试者的数量和各组之间微小的体重差异。)。
但一份好的新闻稿是不够的。记者们也渴望“艺术”，向他们的读者展示一些漂亮的东西。因此，Onneken和Löbl拍摄了一些宣传视频剪辑，并委托自由职业艺术家写了一首原声民谣，甚至还写了一首关于巧克力和减肥的说唱。(事实证明，你几乎可以在互联网上雇人做任何事情。)。
Onneken写了一份德国新闻稿，并直接联系了德国媒体。一个“独家”故事的承诺是非常诱人的，即使它是假的。然后，他在奥地利的通讯社上猛烈抨击了德国的新闻稿，而英国的新闻稿则通过新闻通讯社(Newswire)发布。没有质量控制。这是留给记者们的。
当我们的诱饵散发到这个世界上时，我感到骄傲和厌恶交织在一起，令人毛骨悚然。
我们甚至在知道大鱼上钩之前就钓上了大鱼。“图片报”匆忙发布了他们的故事--“吃巧克力的人保持苗条！”--根本没有联系我。很快，我们登上了“每日星报”、“爱尔兰审查者”、“世界报”的德文网站、“印度时报”(赫芬顿邮报的德文和印度网站)，甚至还登上了德克萨斯州的电视新闻和一档澳大利亚早间脱口秀节目。
当记者们与我联系时，他们总是敷衍了事地问我问题。“你认为巧克力为什么会加速减肥呢？您对我们的读者有什么建议吗？“。几乎没有人问我们测试了多少受试者，也没有人报告这个数字。似乎没有一个记者联系过外部研究人员。没有引用任何内容。
这些出版物虽然拥有大量读者，但并不完全是新闻美德的典范。因此，他们会简单地抓住一些数字好友作为标题，收获页面浏览量，然后继续前进，这也就不足为奇了。但是，即使是那些被认为是严格的媒体也没有发现漏洞。
“Shape”杂志对我们研究的报道-在6月刊翻到第128页-使用了事实核查人员的服务，但同样乏善可陈。检查员所做的就是让我检查几句话，以确保准确性，并检查我名字的拼写。报道甚至详细说明了减肥巧克力的适当可可含量(81%)，甚至提到了两个具体的品牌(“在杂货店和亚马逊网站上都有售”)。
一些人躲过了子弹。“男性健康”的一名记者通过电子邮件采访了我，问了我一些同样的非探索性问题。她说这篇报道选在了他们九月刊上，所以我们永远不会知道。
但最令人失望的是吗？没有人吃过我们的自助餐巧克力音乐录像带。取而代之的是，他们使用了含糊的女性吃巧克力的色情图片。也许，既然真相已经浮出水面，这首音乐就会焕发出自己的生命力：
那你为什么要在乎呢？迫切需要可靠信息的人面临着一系列令人眼花缭乱的饮食指导-盐是坏的，盐是好的，蛋白质是好的，蛋白质是坏的，脂肪是坏的，脂肪是好的-这些指导就像天气一样变化。但是科学会解决这个问题的，对吧？现在我们称肥胖是一种流行病，资金将流向最优秀的科学家，所有这些噪音都会平息下来，给我们留下关于病因和治疗的明确答案。
也可能不是。外科医生彼得·阿提亚(Peter Attia)哀叹道，即使是资金充足、严肃的减肥科学研究也令人困惑，而且没有定论。阿提亚是一家名为营养科学倡议(Nutrition Science Initiative)的非营利性组织的联合创始人。例如，妇女健康倡议--此类倡议中规模最大的倡议之一--对饮食和健康几乎没有产生明确的见解。“结果令人困惑，”阿提亚说。“他们花了10亿美元，甚至不能证明低脂饮食是好是坏。”阿提亚的非营利组织正试图筹集1.9亿美元来回答这些根本问题。但他说，很难将注意力集中在肥胖科学上。“噪音太大了。”你可以为此感谢像我这样的人。我们记者必须养活每天的新闻野兽，而饮食科学是我们丰盛的号角。关于红酒的好处或果糖的危险，读者总是听不够。它不仅是普遍相关的--它与我们所有人每天至少做三次决定有关--而且它是科学！我们甚至不需要离开家去做任何报道。我们只需将杯子浸入每天流经我们收件箱的科学新闻稿流中即可。贴上一张漂亮的股票照片，你就完成了。
节食科学节拍的唯一问题是它是科学。你必须知道如何阅读一篇科学论文，并真正费心去做。太久以来，报道这一消息的人一直把它当作八卦，呼应他们在新闻稿中找到的任何东西。希望我们的小实验能让记者和读者都更加怀疑。如果一项研究甚至没有列出有多少人参与其中，或者大胆地声称饮食具有“统计学意义”，但没有说明效果有多大，你应该想知道为什么。但在很大程度上，我们没有。这很遗憾，因为记者正在成为事实上的同行评议制度。当我们失败的时候，世界上充斥着垃圾科学。
这部悲喜剧中有一线希望。虽然记者只是反驳我们的“调查结果”，但许多读者却深思熟虑，表示怀疑。在网上评论中，他们提出了记者本应提出的问题。
“为什么每个人的卡路里都不算呢？”一位读者在健美论坛上问道。“[饮食与健康研究所网站]的域名是在3月初注册的，数十个博客和新闻杂志(参见谷歌)传播了这项研究，但不知道背后是什么，也不知道是谁在背后支持它，”德国领先的在线杂志之一“焦点”(Focus)故事下面的一位读者说。或者，正如“每日快报”4月4日报道的一位有先见之明的读者所说：“在营养方面，每一天都是愚人节的日子。”
更正：彼得·阿提亚引用的研究名为“妇女健康倡议”(Women‘s Health Initiative)，而不是“妇女健康研究”(Women’s Health Study)，它是同类研究中规模最大的，而不是最大的。此外，当这篇文章发表时，错误地展示了“每日邮报”对一项巧克力研究的报道截图，而不是这篇报道中讨论的那一项。发表后的第二天，我们把它换成了“每日邮报”对这项研究的实际报道的截图。
