一项发表于《自然》的大型国际项目发现,社会科学和行为科学中约半数被测试的研究结论,在独立团队重复实验时仍能成立。但即便成立,效应量也平均不到原来的一半。这说明,单个研究的结果需要谨慎看待,重复验证不是“找茬”,而是科学自我纠错的关键环节。
重复实验:给研究“照镜子”
重复实验,就是换一批研究者、换一批数据,按照原研究的问题和方法再做一遍,看能不能得到相似结论。就像一道菜谱,别人照着做,能不能做出同样的味道。如果一项发现反映的是真实规律,独立研究者应该能观察到类似结果。重复验证能帮助判断:这个发现是否可靠到足以影响公共政策、教育或临床实践。
过去十年,多项大规模重复项目已敲响警钟。2015年,一个项目重复了100项心理学研究,只有约三分之一得到原结果。2016年,经济学实验室实验18项中有11项重复成功。2018年,顶级综合科学期刊上的社会科学实验约62%重复成功,但效应强度大约减半。综合数百次尝试,约半数设计良好的重复实验能得到与原研究同方向的显著结果。
这次项目做了什么?
由开放科学中心牵头,31个国家数百名研究者参与,团队从2009—2018年发表于62种期刊的3900篇定量论文中随机抽样,覆盖商业、经济学、教育、政治学、心理学和社会学六大学科。最终,他们完成296次重复尝试,涉及来自54种期刊、164篇论文的274个独特科学主张。其中98篇论文收集了全新数据,66篇分析了原研究未使用过的二手数据。
为了保证公平严格,重复研究的设计具有很高统计功效,中位数有99.6%的概率检测到与原研究同样大的效应。研究方案还经过内部同行评审,邀请原作者反馈,并提前公开注册,防止看到结果后改方法。
结果:约半数通过,效应量“缩水”
最常用的标准是:重复研究是否得到与原研究同方向的统计显著结果。按论文加权,49.3%的论文得到同方向显著结果;40.4%的论文结果为“零效应”(未达显著),9.7%的论文甚至得到相反方向的显著结果。按274个主张逐个计算,55.1%重复成功,35.8%为零效应,8.8%方向相反。
更关键的是效应量。研究者把157篇论文(249个主张)的结果转换成标准化相关系数。原研究的中位效应量为0.25,重复研究降到0.10。相对而言,相关系数减少了58.1%,共享方差减少了82.4%。在可比较的论文中,80.3%的重复研究效应量小于原研究;按主张计算,这一比例为70.3%。
为什么很多结果重复不出来?
原因不是单一的。学术期刊长期偏爱“新颖、阳性”的发现,阴性或不确定结果更难发表,这会让偶然高估效应的研究更容易被印出来。小样本、测量工具缺陷、分析时“灵活选择”等,也会制造假阳性。与此同时,学术文化常不鼓励重复验证:2017年一项研究发现,只有约3%的心理学期刊明确欢迎重复研究,约三分之一则隐含地不鼓励。
对青少年发展研究意味着什么?
对关注青少年发展的研究者、教育者和家长来说,这项研究传递了两个信号。第一,不要因为一篇论文就改变教育实践或政策。单一研究,尤其是样本小、效应大的研究,可能只是偶然。第二,重复验证和透明研究应成为常识。判断一个结论是否可靠,要看它是否被独立团队、不同样本、不同方法反复验证。
这并不意味着社会科学“一半是错的”。它说明,科学是逐步积累证据的过程。承认不确定性、鼓励重复验证、公开数据和方案,才能让心理学、教育学等领域的发现更稳健,也更有助于青少年的健康成长。