Title Text:Subgroup analysis is ongoing.

Origin:https://xkcd.com/2755/

https://www.explainxkcd.com/wiki/index.php/2755:_Effect_Size

效应值

http://xkcd.in/comic?lg=cn&id=2755

这个漫画概述了一项荟萃分析，更贴切地说是荟萃分析，因为它的纳入标准仅仅是所有研究。

荟萃分析，如其名，是对统计分析的统计分析，通常是那些试图回答一个单一问题的研究。荟萃分析旨在考虑每个研究中可能存在的个体误差，总结所有研究的一般结果，以便可能得出有用的结论。为了进行荟萃分析，必须在包含的研究中有一些公共测量变量。

在这里，荟萃分析由一张据称包含了每一项已进行的研究的效应规模图表组成。因此，即使是荟萃分析的第53,589页，也仅仅是总图表的四分之一左右，因为右侧的滚动条只下拉了四分之一左右；这使得荟萃分析中包含的总页数约为210,000页，或大约2.3百万项研究。在图表下方，是对所有这些变量的“平均效应”的估计，效应通常是由荟萃分析中的研究所分析的关系，但在这里似乎又是所有已知效应的聚合，还有一份（很可能的）95%置信区间，用于描述荟萃分析的结果。以这种方式分析所有研究是荒谬的，因为所有那些研究测量的变量是非常不同的，把它们平均（或以其他方式分析）在一起是没有任何意义的。此外，2.3百万个科学研究是一个远远不够的数字；最近的估计是每年约有3百万篇论文被发表，尽管其中并不是所有的论文都会进行数值假设检验，但许多其他论文可能会有几个这样的检验。

统计研究是通过提出假设然后测试这些假设来得出的。一项包括所有研究的荟萃分析因此会包括原始假设被证明是错误的研究，以及原始假设被证实的研究。未被研究证实的假设通常会被舍弃；然而，这些研究仍然会包含在这个荟萃分析中。

在漫画的说明中，Randall宣布了一个坏消息：即“所有科学”的荟萃分析最终已经完成，并且结果是不显著的。统计显著性是样本或研究结果由相关性导致的可能性的程度，而不是单纯由偶然性或抽样变异造成的。显然，在人类科学对我们的宇宙的研究中，这项研究发现了缺乏显著性，或者说所有研究所测量的变量之间没有关系。

笑话在于声称可以分析“所有科学”之处的荒谬。科学不是一个可以以这种方式细分的单一术语，而是数百个不同的研究领域，其中许多领域之间几乎没有重叠。对地质学和哲学进行荟萃分析，例如，就是明显荒谬的，因此这本由53,589页（或210,000页）组成的研究在其存在上是滑稽的，更不用说结论了。此外，这个漫画混淆了“显著”两个意思：统计意义上的意思和更日常意义上的重要性或值得关注的意思。

除了荒谬之外，可以将整个笑话看作是说谎悖论的一个实例：如果考虑到荟萃分析的结论是“科学”在统计上无法提供对陈述真实性的信息，那么荟萃分析本身（如果按照“科学”的一般原则和方法进行）就会受到其结论的影响。因此，荟萃分析的结论可能与事实无关，而“科学”可能确实是显著的。但如果真的如此，那么目前的荟萃分析应该被认为是显著的，并且应该相信它的结论，以此类推。

在标题文本中，Randall报告说分组分析正在进行中。这里的笑话是，由于所有科学研究都是整体荟萃分析的子集，每个科学领域在限制子组只包含该领域的研究时可以单独进行评估。因此，子组分析可以被认为包括对科学家们已经进行了统计研究的每个具体领域或问题的分析。同样地，对任何子组进行分析都将把测量非常不同的研究混合在一起，因此仍然是毫无意义的。

XKCD以前曾考虑过围绕软糖重要问题的分组分析话题。子组分析可能被用作数据挖掘或p-hacking，以便识别出任何“显著”的东西，从而能够发表。