[1478] P-Values

Title Text:If all else fails, use “significant at a p>0.05 level” and hope no one notices.<

Origin:https://xkcd.com/1478/

https://www.explainxkcd.com/wiki/index.php/1478:_P-Values

这部漫画讲述了科学实验如何解释其数据的重要性。 P值是一种统计测量,其意义很难向非专家解释,并且经常被错误地理解(即使在这个维基中),表明结果可能偶然发生的可能性。非正式地,p值是指定统计模型下的概率,即数据的统计汇总(例如,两个比较组之间的样本均值差异)将等于或大于其观察值。

根据标准显着性水平,p值小于0.05的分析被认为是“统计学上显着的”。虽然.04和.06之间的差异可能看起来很小,但实际后果可能很重要。例如,科学期刊更有可能发布统计上显着的结果。在医学研究中,数十亿美元的销售额可能依赖于药物是否具有统计学上显着的益处。没有显示出正确意义的结果可能会破坏数月或数年的工作,并可能激发绝望的“鼓励”预期结果的尝试。

在进行比较时(例如,观看听各种类型的音乐是否会影响测试分数),正确设计的实验包括一个实验组(在进行测试时听音乐的人)和一个对照组(对象组)没有听音乐的测试),以及“音乐对考试成绩没有影响”的零假设。收集每组的测试分数,并进行一系列统计测试以产生p值。简而言之,如果实验刺激没有效果,则实验组和对照组之间的分数观察到的差异(或更大的差异)可能由于随机机会而发生。对于一个更激烈的例子,一个实验可以测试戴眼镜是否影响硬币翻转的结果 – 戴眼镜和不戴眼镜时硬币结果之间可能存在一些差异,并且p值基本上测试是否这种差异小到足以归因于随机机会,或者是否可以说戴眼镜实际上对结果有显着差异。

如果p值低,则认为零假设被拒绝,并且可以公平地说,在这种情况下,音乐确实对测试分数具有显着影响。否则,如果p值太高,则说数据不能拒绝零假设,这意味着它不一定是反证据,而是需要更多结果。实验的标准和普遍接受的p值<0.05,因此为什么漫画中低于该数字的所有值至少被标记为“显着”。

该图表将p值恰好为0.050标记为“哦废话。重做计算”,因为p值非常接近被认为是重要的,但事实并非如此。绝望的研究人员可能能够重做计算,以便将结果推至0.050以下。例如,问题通常可以有许多略微不同且同样合理的分析方法,因此通过任意选择一个,可以很容易地调整p值。如果在计算或数据集中发现错误,或者通过擦除某些不受欢迎的数据点,也可以实现这一点。虽然纠正错误通常是有效的,但只纠正导致不受欢迎结果的错误。也可以找到合理的理由来删除某些数据点,但是,仅对不受欢迎的数据点执行此操作是无效的。所有这些都有效地将抽样偏差引入报告中。

0.051和0.06之间的值被标记为“在重要边缘”。这说明了经常使用“创造性语言”来限定报告中的重要性,因为平坦的“不重要”结果可能看起来“糟糕”。这种使用的有效性当然是一个有争议的话题,争论的焦点在于是否应该将略大于显着性水平的p值视为几乎显着或平坦地归类为不显着。可能会质疑具有这样一个重要的绝对截止点的逻辑。

0.07和0.099之间的值继续使用限定语言的趋势,将结果称为“暗示性”或“相关性”。此类别还说明了采用调整显着性阈值的“技术”。适当的实验设计要求在实验之前设置显着性阈值,之后不允许进行更改以“获得更好的实验报告”,因为这将再次在结果中插入偏差。阈值的简单改变(例如从0.05到0.1)可以将实验结果从“不显着”改变为“显着”。尽管声明“在p <0.10水平上显着”在技术上是正确的,但在实际报告中使用它将是非常不赞成的。高于0.1的值通常被认为根本不重要,但漫画建议采用样本的一部分(子组)并分析该子组而不考虑样本的其余部分。出于科学合理的原因选择提前分析一个小组是一种良好的做法。例如,预防心脏病发作的药物可能比男性更有益于男性,因为男性更容易患心脏病。如果有可靠的科学理由,选择在进行实验后专注于一个小组也可能是有效的 - 有时研究人员从实验中学到新的东西。然而,危险在于通常可能仅仅由于偶然性而找到并挑选恰好具有更好p值的任意子组。一位研究人员报告的结果显示,对于没有科学依据的小组(这种药只会使黑头发的人受益,或者只有在星期三服用的人,等等)显然会“作弊”。即使该小组有合理的科学理由,怀疑论者也会怀疑研究人员可能已经考虑了许多可能的亚组(男性,老年人,胖人,久坐不动的人,糖尿病患者等)并且只报告了哪些亚组是统计上显着的结果。这是多重比较问题的一个例子,也是漫画882的主题。

如果结果通常不被认为是显着的,则标题文本建议作为倒数p <0.050的最后手段,使其p> 0.050。这使得语句在数学上是正确的,但可能会欺骗随意的读者,因为单个字符的改变可能会被忽视或被视为印刷错误(“没有人会声称他们的结果不重要,他们必须意味着p <0.050”) 。当然,表面上的陈述是无用的,因为它相当于说明结果“不重要”。

Leave a Reply

Your email address will not be published. Required fields are marked *

Categories