戴安娜·哈尔彭(Diane F.Halpern):
克莱蒙特·麦肯纳学院心理学教授、美国心理学协会(APA)前任主席,著有《认知能力的性别差异》(Sex Differences in Cognitive Abilities)。
统计上的显著性差异是科学中的一个基本概念,当下也成了受教育者的口头禅。这几个字体现了对科学过程、随机事件和概率论的基本概念的理解,几乎会出现在所有科学研究的讨论里,出现在报纸文章、“魔力”减肥餐广告、研究出版物和学生实验报告中。这个“简化抽象概念”描述了一系列事件,包括实验(或其他研究设计)、无效和替代性假设、数据收集、统计分析和小概率事件,区区几个字就体现了很多科学含义。
如果研究者无法证明“统计上的显著性差异”或无法说明显著差异表示的含义,那么我们就很难理解这样的研究结果。不幸的是,“一知半解”会导致对这个概念的理解偏差。问题之一就是日常口语中的“显著”和研究报告中的是不同的。
在大多数情况下,这个词表明发生了一些重要的事情。比如:医生告诉你,你的病情在手术之后会有显著好转,你就会推断出你的病痛会大大减少。但是,当我们说“统计上的显著性差异”时,“显著”表示的是,结果不可能是误差引起的(如果零假设是真的),但结果本身可能很重要,也可能不重要。而且,有的时候结论可能是错误的,因为研究者只是在某种概率水平上确认自己的结论。“统计上的显著性差异”是研究和统计中的核心概念。但是,正如任何在大学学习本科统计或研究方法课程的人说的那样,这不是一种本能思维。
尽管“统计上的显著性差异”组成了科学过程的基本理念,但是一些专家还是希望它能从我们的词汇中消失,因为人们常常误解这一概念。它的使用降低了科学和概率论的结合,尽管它很流行。可能也正是如此,一些专家还呼吁解除这两者之间的联结,因为这一概念有偏差,而人们也经常被误导。事实上,专家们也常常被误导。想象这样一个假设的情况:一个很好的研究比较了两种药物X、Y相对于安慰剂的效果,X的效果和安慰剂有显著差异,而Y没有,但是X和Y之间没有显著差异。条件是X与安慰剂的差异在p<0.04的概率水平上显著,而Y与安慰剂的差异在p<0.06水平上显著,这个数据往往高于一般的显著水平。如果你看到这些很头疼,你可能就是那种相信自己理解这一科学核心方法概念,但其实并不真正理解的人之一。
更好地了解这一概念的缺陷将极大地提升我们的认知能力。如果我们对这个概念的常识性理解能包括:(1)结果可能是不重要的;(2)不管是基于统计上的显著性差异还是基于非显著性差异,结论都可能是错误的;那么我们的常识水平将会大大提升。当人们阅读或者使用“统计上的显著性差异”概念时,这就是对科学过程的肯定,正因为它的局限性和误解,它才成了理解世界的最佳方式。哪怕我们只是将两个核心常识加入了对这一概念的理解,我们就能增强大众对科学的理解。