本文来源Nautil.us，作者PHILIP BALL，机器之心翻译出品，参与成员：汪汪、张之乎、镜子心理、赵赛坡。 

有时候，现实里发生的一些事真的像科幻小说那样令人大跌眼镜。2005年，一篇论文震惊了整个医学界。这篇论文的题目甚为惊世骇俗——「为什么大多数已发表的研究成果都是错误的？」这篇文章的作者是斯坦福大学的医学教授John Ioannidis。文中并没有特指任何一个研究的谬误之处，而是指出，这些已经发表的研究成果所得出的统计规律与它们可能发生的概率并不相符。「许多已发表的研究成果都是错误的，或者夸大其词。据估计，85%的研究资源就这样白白浪费掉了。」

 

在学术界，研究者为了发表论文，极有可能会下意识地精心挑选数据。当然，学术期刊的出版政策也存在一些问题。但是，这些错误的结果，往往起源于研究者对自己无意识的欺骗：他们深受认知偏差和思维方式之害，正是这些东西引诱我们走向省时省力、极具诱惑却错误百出的结论。德国马普研究所的行为经济学家Susann Fiedler说：「只需看看心理学和其他经验科学的可再现性，我们就有把握认为，他们的许多结论并不是以应该有的方式得出的。」

 

美国弗吉尼亚大学的心理学家Brian Nosek表示，科学界最普遍、最存疑的偏见就是「动机性推理」（motivated reasoning）：我们解释观测结果，让它符合某个特定的想法。他说，心理学家认为「我们大部分推理其实都是解释」。换句话说，我们早就决定了要做些什么和想些什么，因此，我们对推理的「解释」实际上都是对我们做了想做的事（或相信的事）而辩解。然而，科学难道不应该比平常的胡思乱想更加客观、更加具有怀疑精神吗？那么，真实的情况，到底是怎样的？

 

科学哲学家卡尔·波普尔认为，科学方法应该遵循「可证伪模型」（falsification model），也就是说，科学家应该聚焦于检验和证伪自己的理论——即，应当追问「我错在哪里？」。然而实际上，Nosek说，科学家通常追问的是：「我对在哪里？」（或者，「你错在哪里？」）当出现一些事实证明我们可能并不完全正确时，我们倾向于不予理会，认为它无关紧要——只要它不能证明我们完全错误就行。20世纪80年代，电化学家Martin Fleischmann和Stanley Pons煽动的臭名昭著的「冷核聚变」事件，就充满了这种特别的味道。比如说，当有人向Fleischmann和Pons指出，他们所谓的聚变反应中的伽马射线能量谱有一个错误的能量峰值，他们竟然把它移走了，并嘟囔着一些含混不清的话，抱怨着刻度不精确。

 

从表面上看，统计学也许能利用数字的力量，缓解偏见挟来的恶果。然而，这并没有什么卵用。荷兰蒂尔堡大学的Chris Hartgerink正在研究统计数据收集中的「人为因素」会产生什么后果。他指出，研究者通常会将错误的确定性归咎于偶然的统计事件。他说：「和普通人一样，研究者也很不擅长思考概率问题。」尽管一些结果肯定是假阴性（即，错误地排除掉了某些东西），Hartgerink说他从来没有读过一篇论文对这样的结论做出判断。他最近的研究表明，在得出「不重要因素」结论的心理学论文中，有2/3可能都忽略了假阴性现象。

 

科学研究告诉我们，人类的认知偏差多得令人眼花缭乱。然而，它们对科学产生的后果却被奇怪地忽视了。Hartgerink说：「我知道大多数人都有偏见，但当我第一次知道它们也会影响科学家时，我惊呆了。尽管这看起来显而易见。」

 

【图注】你相信吗？1989年，Martin Fleischmann和Stanley Pons声称，他们发明了一个装置，能在室温下的试管中发生核聚变（模型如上图所示）。当有人向他们指出，他们所谓的聚变反应所释放出的伽马射线能量谱中有一个错误的能量峰值，他们竟然简单地把它移走了。图/George Frey/Getty Images

 

对这种情况，许多人可能会争辩道，就算单个科学家可能骗过自己，还有很多其他科学家呢，他们一定会毫不犹豫地批评前者的结论，所以一切都会真相大白的：科学研究是一个能自我修正的公共活动。有时候，这确实是事实——但是，它并不必然发生得很迅速或很平稳，如我们所想象或相信的那样。

 

Nosek进一步指出，有时我们要求对研究进行清晰且快速的检验，但这经常会被同行评审制度所阻碍。在2011年，一个意大利物理学家团队发布了中微子明显比光子移动更快的证据（这违反了爱因斯坦的相对论），这项令人吃惊的声明经历了4次核查，被驳回了6次，这全是得益高效的物理学家的开放权限的论文预览版本的分发系统。如果当时的检测还是依靠通常的同行评审渠道，这有可能耗费许多年。

 

同样的案例，2010年，有研究者们在《科学》杂志中建议砷元素有可能取代一些微生物的DNA中的磷元素，这项声明将有可能改写生命体的基础化学原理，其中一个研究者开展了后续研究来试图复制这些发现，他意识到将进行中的研究成果持续发布在开源的博客上非常重要。这与传统的团队研究方式存在本质区别，传统的研究方式在提出争议性的议题之后，经常无法汇报后续研究证据。

 

随着「可复制危机」证明的兴起，同行评审看起来成了一个更容易出错的工具——尤其是在医学和心理学这些领域。医学记者van Oransky 和科学编辑Adam Marcus运营着Retraction Watch（一个专门报道被撤稿的科学论文的博客），他们认为：「当科学研究运行良好时，后续的发现不断增强、改变、或者完全颠覆此前的研究……问题在于，在科学领域，或者更准确的来说，在科学出版领域——这个过程的运行很少具有清晰的方向。如今科学期刊发布更多的只有那些重复的实验，」

 

科学文献变得歪曲的其中一个原因，则是这些期刊更倾向于发布肯定的结论，而非否定的结论，宣称某件事情是正确的比宣称它是错误的更佳容易。期刊的审核人员也可能更倾向于拒绝否定的结论，因为它们太无趣，而且研究者基于这些发现也几乎无法从基金或相关部门获得名声和地位。Oransky和Marcus写到：「如果你做了20次试验，其中一个有可能出现『可供发表』的结论，但实验结果能够发表这一事实并不能证明你的发现的有效性，事实上恰恰相反。」

 

Oransky认为，当科学界增强「证实性偏差」的动机以及对要求发表论文的迫切性，都给我们造成了很大问题。「为了获得终身职位、研究拨款、认可，科学家需要在主流期刊频繁的发表文章」，他说，「这将鼓励确定的和突破性的发现，因为后者能赚取引用数和影响因子。」因此，当科学家自欺欺人的只看到实验结果中完美的突破性结论时，就不足为奇了。

 

Nosek对此深表同意，其中一个最为扭曲的影响后果就是荣誉授予、终身教职和研究资助的奖励系统。「为了职业生涯上的进步，我需要在最高级别的期刊上尽可能多的发表文章。这意味着我必须创作出更容易发表的文章。」他说，这些就是上文中提到的（期刊比较容易接受的）确定的研究结果，原创的结论和清晰的结论。但「实验室中发生的大部分情形却并非如此」，Nosek说，相反，实验室的结果是非常模糊和混乱的。「我如何将这些杂乱的东西变成漂亮的结果？」他问到，「我需要足够耐心，或者足够幸运——甚至我可以走捷径，对那些我选择的数据和分析方法进行一些无意识的『处理』，从而创造出一个清晰的故事。但在这种情况下，我非常确定在我的推理过程中出现偏差。」

 

乌托邦：Brian Nosek一直在寻求科学乌托邦，在这里，科学不会面临动机问题和证实性偏差问题。

 

在这样的环境下，不仅低质量的数据和错误的观点可以「幸存」下来，而好的观点则会因为动机问题和职业压力而被封锁。遗传学家Barbara McClintock在20世纪40－50年代提出了以下建议，DNA序列能够「跳出」染色体，生物化学家Stanley Prusiner于20世纪80年代指出，一种叫做朊病毒的蛋白质能够折叠成错误的形状，而这种错误的折叠方式可以从一个蛋白质传递到另一个蛋白质，这与当时流行的正统思想形成对立，他们因此而遭到了其他研究者无情的嘲弄，直到他们的理论被最终证实并获得了诺贝尔奖。

 

对大胆言论的怀疑常常被认为是正当的，但当回溯过去，我们能看到很多这样的质疑都是处于主流研究的认知，而非针对于证据质量的真正的质疑。Nosek说，McClintock和Prusiner的例子说明了当我们意识到研究证据的重要性时，科学能够进行自我纠错。但「也有可能出现了深刻见解，但它却完全被埋没、永远找不到了，很遗憾，我们无法知晓这些例子。」

 

可以肯定的是，科学界对此现象并非一无所知。许多人赞同哲学家Thomas Kuhn（美国科学史家、科学哲学家，代表作为《哥白尼革命》和《科学革命的结构》——译者注）关于科学的理论—— 科学是通过非线性的「典范转移」而得到发展的，在「典范转移」的过程中，旧有的整个体系都被新的形态所颠覆。在两个「典范转移」之间，我们所观察到的只有完全符合我们常识的「常规科学」，直到有反常规的异常累积产生了足够的力量冲破旧有的隔断而成为新的「典范」。

 

史上著名的例子包括20世纪崭露头角的量子物理学；18世纪「燃素」的概念——所谓的「燃烧原理」，最终被Lavoisier的氧气助燃理论所推翻也可以算在其中。量子力学创始人普朗克也曾看到科学可以克服自身的偏见：「每次科学的进步都是一次葬礼。」

 

换句话说，新的理论的突破必然建立在旧理论的消亡之上。

 

作为一个心理学的研究生，Nosek逐步认识到偏见在科研活动中的重要角色。他说：「就像大多数的研究生一样，当我修研究手段这门课的时候，我对科学的理想主义情怀完全破灭了……在那堂课中，我们读了很多即使在那时都算很老的文章——大概在1950年到1970年之前，——关于科学文献中的偏见，低于实际功率的实验设计，缺乏重复证实的实验，缺漏实验流程的文献，缺乏原始数据，以及虚结果偏见。」

 

Nosek决定从此投身于改善科学的事业上。他相信曝光这些偏见有助于改变现有科学研究的过程和成果——也就是说让科学在手段，假设以及解读上都更加透明。他认为：「和这些问题抗争并不容易，因为这是文化难题——一个人是没法改变文化的，所以我从我能够控制的领域入手：控制我自己的实验设计。」

 

出乎意料的，Nosek对于认知偏见最有效的解决办法却正是来自于最近饱受关于错误滋生以及自我麻痹的严厉批评的学科：药理学。这恰恰是因为这些问题在制药行业会被极度放大，因此在Nosek看来，这个研究群体的问题比 其他学科更严重。

 

比如说，因为臭名昭著的与制药公司同流合污在临床实验中制造阳性结果去掉阴性的结果，现在在进入临床实验之前必须进行注册已经成为美国的法律要求了。这就要求研究人员必须严格根据是研究结果进行报告。

 

Nosek建立了一个类似的模式，叫做Open Science Framework（开放式科学框架，以下简称为OSF）模式。虽然他已计划多年，但真正启动的时间差不多到了2009年——2010年，当时软件开发员Jeff Spies加入他的实验室。Nosek回忆说：「很多人加入了进来，它迅速地壮大了，我们先为OSF做了一个网站，以及一个社群——然后资助者——都慢慢聚集了起来。」

 

2013年，Nosek和Spies一起在Charlottesville建立了Center for Open Science「开放科学中心」，以管理OSF并且免费提供服务。

 

Nosek表示，OSF要做的事情是让研究人员「提前写下他们研究的目的，以及预期结果」。这样，当他们进行实验的时候，他们会遵循原有的计划在限定的条条框框之内严格分析实验结果。听上去这好像是一件很简单很基本的原则，就好像我们要教小朋友怎么研究科学一样。但是事实上，并没有很多人在遵守这样的原则。相反，正如Fiedler所证实的，这些分析往往是建立在各种没有被陈述出来的，并且常常是无意识的，对什么应该发生或者不应该发生的假设上，Nosek说，使用了OSF的研究人员经常惊讶于当他们查看结果时发现的结果和他们原本希望项目给出的结论之间的巨大偏差。

 

Fiedler已经使用了这项服务，并且表示不仅研究的诚实度得到了保证，它也让项目进行得更顺利。她认为：「提前在OSF注册使得我必须要提前想清项目的所有细节，甚至在开始搜集数据前就写下一些东西。当具备这些意识在进行实验时，可以帮助我们很好地辨别哪些结果值得关注，哪些可以忽略」。不止是对于她，「让整个过程更透明」的原则也让其他研究员有机会去评估是否值得投入研究精力去验证实验结果。

 

Hartgerink 是OSF的使用者之一，他说陈述目标也是核对你目前对目标究竟了解多少的一种好方法。「一旦我们决定这样做，我们注意到详述假设很困难——一个目标实际上还不够清晰的指标。如果你想测试假设，先前记录是技术上必须的。」他总结道。 Fiedler说去年她以及她所有的PHD学生都使用了 OSF。「通过实践OSF，我学到了很多，所以我把它推荐给所有的同行。」她说。

 

Hartgerink 说OSF和通常的运作（模式）差异悬殊。因为大部分研究者都是在做完研究以后再写手稿，在这以前假设没有外显地写出来。「这使得一旦结果已知，便可以形成更有利的假设。」Iowa 大学的心理学家Ernest O’Boyle 将这一反向呈现的结果（即结果呈现在假设之前）以美化之的偏差称为「蛹效应」。Hartgerink 说，这样做的结果是一些未预料到的结果被呈现为「意料之中」。随便问一个路人是否这一做法合理，他保准会说不合理。但是长期以来，科学领域一直都这么做。

 

通常，假设和目标的换位就这么发生了（just happens），不是有意的，事后也不记得。Fiedler说：「在设计实验、收集数据、分析数据、呈现结果的长期征程中，我们看待问题和结果的方式也在某个时间点进化了。在途中，我们忘记了原来的检验失败了，我们基于同样的数据，回答了不同的问题，产生了新见解。」这一科研方法有很大的价值，她表示：「发现未曾料到的联系很重要。但是这不仅转变了结果呈现方式，而且它诱导研究者「对可能虚假的结果给予了过多信任。」OSF迫使研究者呈现原初结果。

 

但是在做实验之前就把自己限制在了狭窄的目标集合上，难道不会错过未曾料到的沿途的野花？或许吧， Nosek说，但是从「数据中学习」不是得出结论的靠谱方式。「当前，我们把解释性和验证性研究混在了一起。我们常常忘了一个基本的事实，你不能用数据生成假设，然后又用同样的数据去验证假设。」如果你发现了有趣的新实例，你应该沿岔道追踪，而不是或多或少地告诉自己实验本来就是这样。

 

Fiedler 驳斥了先前记录会扼杀创造力和自由的指控。「并不是每个人、并不是每时每刻都必须要做先前记录。」她说，探索性研究没有确定的假设检验的程序，也是重要的研究领域。但是我们必须考虑到研究领域的不同。

 

Hartgerink 认为最大的阻碍是教育：仅仅研究者不被建议这么做，就堵死路口了。 但是研究者最好这么做。「如果年轻的研究者现在还不开始学习应用这些技术，他们或许会发现已经落后10年，因为现在的标准是可重复性、透明和开放。」

 

最终，Nosek有一个「科学乌邦托宝贝的愿景：科学变为了一种更有效的知识积累的方法。然而，并没有人声称 OSF 使我们抵达终点的万能钥匙。正如Oransky说，让科学家停止自我欺骗是个大问题。这需要消除动机性推理以及证实偏差，我还没有找到好的解决办法。因此，Nosek相信OSF、开放出版物、公开和持续性的同行评估是重构的要素。或许我们不能摆脱我们的偏见，但是我们软化它们的警报。正如Nosek所言「改变的关键壁垒不是技术也不是经济，而是社会。虽然科学家维系着现状，他们也拥有改变现状的力量。