Title Text:So, uh, we did the green study again and got no link. It was probably a– “RESEARCH CONFLICTED ON GREEN JELLY BEAN/ACNE LINK; MORE STUDY RECOMMENDED!”
Origin:https://xkcd.com/882/
https://www.explainxkcd.com/wiki/index.php/882:_Significant
显著
http://xkcd.in/comic?lg=cn&id=882
这个漫画是关于数据疏通(又名p-hacking),以及媒体中对科学和统计数据的误传。一个黑色马尾辫的女孩来到Cueball,声称果冻豆引起痤疮和Cueball然后委托两名科学家(一名男子带护目镜和梅根)对果冻豆和痤疮之间的联系进行一些研究。他们找不到任何联系,但最终这项研究的真实结果是坏消息报道!
首先是一些基本统计理论。让我们想象你试图找出果冻豆是否会导致痤疮。要做到这一点,你可以找到一群人并随机将它们分成两组 – 一组你可以吃很多果冻豆,另一组则禁止吃果冻豆。过了一段时间,你比较一下吃果冻豆的人是否比那些不吃痘痘的人有更多的粉刺。如果群体中有更多吃果冻豆的人有痤疮,那么你可能会认为果冻豆会导致痤疮。但是,有一个问题。
有些人会患痤疮,不管他们是否吃果冻豆,有些人即使吃果冻豆也不会有痘痘。每组中有多少人容易患痤疮,这是一个偶然因素。如果,纯粹偶然的机会,我们选择吃果冻豆的所有团体都会产生痤疮,而那些不吃果冻豆的人是幸运的那些从未得到斑点的人?然后,即使果冻豆没有引起痤疮,我们也会得出结论,果冻豆确实会引起痤疮。当然,所有容易长痘痘的人都不太可能偶然进入一个群体,特别是如果我们每个群体中有足够的人。然而,为了让对这类实验的结果更有信心,科学家们使用统计数据来确定他们发现的结果纯粹是偶然的可能性。这被称为统计假设检验。在我们开始实验之前,我们选择一个称为显着性水平的阈值。在漫画中,科学家们选择了5%的门槛。如果他们发现吃果冻豆的人有更多痤疮,并且纯粹随机结果的可能性不到20分之一,他们就会说果冻豆确实会引起痤疮。然而,如果他们的结果纯粹是随机机会的可能性大于5%,他们会说他们没有找到任何关联的证据。重要的是这一点 – 这个结果纯粹是一个统计侥幸,但仍有20%的可能性。
起初科学家们不想停止玩上瘾的游戏Minecraft,但他们最终会开始。 Minecraft之前在861:Wisdom Teeth中引用过。
科学家发现果冻豆和痤疮之间没有联系(结果是偶然的概率超过5%,即p> 0.05),然后Megan和Cueball要求他们看看是否只有一种颜色的果冻豆是负责任的。他们测试了20种不同的颜色,每种颜色的显着性水平为5%。如果每个试验给出假阳性结果的概率是20分之一,那么通过测试20种不同的颜色,现在可能至少一个果冻豆试验会产生假阳性。确切地说,在20次测试中没有假阳性的概率是0.9520 = 35.85%。在21次测试中没有假阳性的概率(计数没有颜色辨别的测试)是0.9521 = 34.06%。
这导致一个很大的报纸标题说绿色果冻豆导致痤疮,据说他们有95%的信心只有5%的巧合几率。这是事实,但这很可能是巧合。科学家有一个较小的部分,但字体要小得多,他们可能会试图解释实际上有多少证据。但那不卖报纸。
在标题文本中,我们发现科学家们重复了这个实验(科学方法的另一个关键部分),但现在他们再也找不到痤疮和绿色果冻豆之间联系的证据了。他们试图告诉记者一些事情,也许这可能是巧合,但记者不感兴趣,因为这不是新闻。因此,他们不会听取科学家所说的内容,而是利用他们所拥有的信息制作另一个重要标题,称研究存在冲突,并建议对该链接进行更多研究。但这正是科学家已经做过的事情。
这是(遗憾地)通常是比果冻豆和痤疮更严重的问题 – 在任何时候都有许多关于物质(例如红酒)和疾病(例如癌症)之间可能联系的研究。因为只报告了阳性结果,这限制了任何单项研究的价值 – 特别是如果不知道连接这两种情况的机制。
现实生活中的黑客攻击和坏消息报道[编辑]
2015年,一些记者展示了同样的问题:其他新闻媒体如何容易受到同样有缺陷的“实验性设计”:新闻记者如何以及为什么欺骗新闻媒体认为巧克力让你变瘦 – 华盛顿邮报