[2001] Clickbait-Corrected p-Value

Title Text:When comparing hypotheses with Bayesian methods, the similar ‘clickbayes factor’ can account for some harder-to-quantify priors.

Origin:https://xkcd.com/2001/

https://www.explainxkcd.com/wiki/index.php/2001:_Clickbait-Corrected_p-Value

Clickbait是使用欺骗性或双曲线标题吸引读者点击可疑或耸人听闻的新闻故事的做法,通常是为了产生网站流量和广告收入。作为一个例子,兰德尔使用关于巧克力对人类健康影响的科学争议,因为在线巧克力的健康影响存在广泛的错误信息。事实上,没有可靠的研究证实任何健康影响,而没有医疗机构批准任何有关巧克力的健康声明。

统计中的假设检验是确定数据是否支持特定假设的标准方法。对于本漫画中给出的主题,研究人员可能会将运动表现数据与运动员巧克力消费数据进行比较,以确定两者的趋势是否合在一起。按照惯例,“零假设”(表示为H0)是没有相关性(例如巧克力不影响运动表现),而“替代假设”(H1)将是它们相关的。 (如果研究包括将巧克力喂给两个相同组中的一组而不是另一组,而不是追踪他们正在吃的东西,那么可以加强替代假设,因为巧克力会提高性能。)这些组受到影响统计测试返回“测试统计”。根据该测试统计,计算“p值”。当零假设为真时(例如巧克力对运动表现没有影响),p值表示观察获得的结果(或任何更极端值)的概率。

换句话说,p值是关于统计显着性和确认“替代假设”的结果的后果可靠性的指标(不是零假设是正确的概率)。它回答了这个问题:如果没有相关性,我看到相关性至少有这么大的可能性有多大?因此,如果p值足够低(按照惯例<0.05),则拒绝零假设,并且我们得出结论,替代假设由数据支持(不是它是“正确的”或“真实的”)。

在这个漫画中,p值由一个考虑了clickbait的因素来纠正。如果H1比H0更多点击率,则该因子具有增加p值的效果,并且如果H0比H1更多点击率则减小p值。这表明无论clickbait的任何答题器都相信,反之亦然。

此外,该因子可以被解释为固有选择偏差的归一化,其中更多点击率H1的p值往往低于它们应该的值,并且非点击性H0的p值高于它们应该的值。例如,一个解释可能是对于处​​于显着性尖端的p值,研究人员可能会更加激励软化和调整数据,以便在H1高度耸人听闻时降低p值,因为H1会使研究更有可能发表并引起关注。 (另请参阅FiveThirtyEight关于p-hacking的文章和关于野外p-hacking的Stack Exchange问​​题。)P-hacking之前已经与巧克力和媒体轰动相关。

由于统计结果现在取决于人们对假设的看法,这可能与人们可以得到的实际科学相差甚远。然而,在某种程度上,它更符合John Arbuthnot(使用p值的创始人之一)的引用,它将变异归因于积极的思想而不是机会,“从那以后,它就是艺术,不是那种统治的机会。“兰德尔将这一引用应用于群众的思想,使其符合“艺术”。

如果这种修正可以以某种方式在科学界得到强制执行,那么它将使科普结果的流行观点更加符合现实。通常会进行一项研究,显示令人兴奋的结果,因此在进一步研究验证之前,媒体会对其进行耸人听闻。这部分是由于科学界和媒体的利益冲突。 clickbait校正可以帮助读者在解释新闻媒体中的耸人听闻的科学发现时谨慎行事。此外,在某些科学领域可能存在一个问题,即更平常的结果从未经历过第三方复制研究(参见复制危机,或者甚至可能从未进行过研究。点击率校正因子对这些影响相反更平凡的主题,更容易展示其中的影响,具有较低的入门统计障碍,也许是希望更多的内容将被研究,发布和向公众展示。从技术上讲,漫画对空和其他假设的描述并不完全正确。由于备选假设(H1)预测巧克力会改善性能(即单尾定向假设),因此零假设(H0)应预测巧克力不会做任何事情或使性能变差。换句话说,当且仅当零假设为假时,替代假设应该是真的。例如,或者,如果H1说巧克力会改变性能(无论好坏还是更糟;即双尾假设),那么H0应该说巧克力什么也不做。

标题文本是指贝叶斯统计,其中概率与事件中的信任程度相关,而先前概率或简单地先于概率在事件发生之前表达该信念。选举预测就是一个简单的例子。在这里建议使用一个替代的“clickbayes因子”(一个双关语和贝叶斯的双关语)来近似难以量化的先验。

Leave a Reply

Your email address will not be published. Required fields are marked *

Categories