研究表明：自科基金申报，50%靠运气

今年的国自然项目评审已经开始进入“会评时间”。一次就拿到项目的人，常常会谦虚称自己是“运气好”，但研究表明，项目申请这事，实力真的只占了50%！1981年，科尔兄弟和Gary Simon做了一项同行评议实验，实验结果发表在Science上。实验发现：项目申报，一半靠实力，一半靠运气。同行评议究竟靠不靠谱？首先，他们想要弄清楚，基金评审过程中的同行评议系统，究竟是否合理？于是，他们率先访谈了75位美国自然科学基金委员会职员，分析了1200份项目申报书和其中250份申报书的专家评语，发现：专家评分与最后的立项结果高度相关；申报人的前期成果与立项结果相关，但相关程度并不高；来自重点机构的评审专家，比来自非重点机构的评审专家，给的申报书的评分更低；申报人的学术年龄对专家评分与立项结果的影响不大；专家评分受申报人以下特征影响：所属院系排名、地理位置、申报前5年是否被资助过、哪里获得博士学位等。以上结论表明，NSF的同行评议系统相对公正（即不存在系统性偏差）。同行评议中，专家的影响究竟有多大？然而，但这并不是本文的重点，重点是科尔兄弟想搞清楚：NSF 的这套同行评议程序是否合理。而科尔兄弟将“合理”定义为：将决定因素中的随意性降到最低，将申报书的质量和申报人的能力提到最高。1977年春季，NSF向科尔兄弟提供了150份刚评审过的项目申报书，其中，化学动力学、经济学、固体物理学各50份，各学科均有一半申报书立项，一半被拒。接下来，他们要给这些申报书重新找专家来评审。由于科尔一直担任美国科学院科学与公共政策委员会（COSPUP）的咨询专家，所以这项实验被称为 COSPUP 实验。第一步，他们在化学动力学、经济学、固体物理学三个学科各找到10-18位组长，他们大部分是美国科学院院士。第二步，每项申报书送给两位组长，每个组长给这项申报书找6位评审专家，因此，每项申报书将由12人评审。第三步，采用相同的评审程序之后，COSPUP实验邀请的评审专家也给这150个项目申报书打出了分数。有人可能好奇：COSPUP 与 NSF 的评审专家打分有多大差别？统计结果显示，COSPUP 组的打分显著低于 NSF 组，但两组打分的结果显著正相关（相关系数0.6左右），也就是说在NSF评审中得了高分（低分）的申报书大概率在 COSPUP 组也得了高分（低分）。既然两组打分的相关系数不是1，那就说明，如果以 COSPUP 重新打分后，会出现与NSF打分相反的情况：即原本NSF不通过的项目，也许会经COSPUP重新打分后通过（文中称为“翻盘”）。有人可能好奇：那到底有多少项目会翻盘，为什么会翻盘？第四步，科尔兄弟测算了翻盘概率。一个申报书的命运只有立项与不立项两个结果，我们来考虑两个极端，如果 COSPUP 组的专家打分完全跟抛硬币一样随机，也就是说，专家不起任何作用，那么，每个项目翻盘的概率就是50%；如果 COSPUP 组的专家打分跟 NSF 组的专家惊人一致，那么，每个项目翻盘的概率就是0。因此，总体而言，项目翻盘的概率介于0-50%。有意思的是，科尔兄弟发现在三个学科里，翻盘概率大约25%。也就是说，项目评审处于半随机状态（如果完全随机，那么翻盘的概率是50%）。到这里，科尔兄弟得出结论：项目申报，一半靠实力，一半靠运气。第五步，科尔兄弟详细分析了项目翻盘可能的原因：项目翻盘的原因① COSPUP和NSF两组评审专家所持有的评审标准不同，例如一组人更看重申报书的质量，另一组人更看重申报人的前期成果；② COSPUP 和 NSF 挑评审专家的过程不是随机的；③COSPUP 和 NSF的评审组组长挑选评审专家的时候标准不一样，例如，有组长给熟人的申报书挑选了熟人评审； ④COSPUP 和 NSF 要求组长用相同的标准去找评审专家（排除③），在符合条件的评审专家中做到了随机挑选（排除②），告诉选出来的评审专家用相同的标准去评审（排除①），但不同的评审专家在相同的问题上存在分歧。科尔兄弟通过方差分析，发现④是最主要的原因。也就是说，评审专家们由于自身知识积累不同、偏好不同等原因，会对申报书的质量高低认知不同，因此，申报书送到气味相投的评审专家手上，立项的概率就大了。有人可能好奇：我难道不能靠实力征服所有评审专家吗？答案是：还真不行。科尔兄弟发现在评分更高的一组申报书里，翻盘的概率更高。另外，其它研究也发现了：评审专家们在低质量的申报书上比在高质量的申报书上更容易达到一致意见。也就是说，你仅靠实力是无法征服所有评审专家的，但你要是完全没实力，会让所有评审意见一致地灭了你。好了，写到这里，大家都发现了，同行评议是有缺陷的。科尔兄弟发现，同行评议使得项目申报书一半的命运交给了运气。同行评议有缺陷，那我们能做什么？放弃同行评议吗？绝对不是！第一，科尔兄弟建议，对于每个申报书，增加评审专家的数量。增加评审专家数量后，能显著减少翻盘的概率。极端情况下，为每一个申报书挑选出所有懂这个申报书的专家来评审，评分结果必然是这个申报书的真实状态了。第二，科尔兄弟建议，多申请。既然有一半的命运交给了运气，那就多申请，好运气总会轮到你。那些杰出的科学家中了更多项目的原因不是因为他们的申报书写的更好，而是因为他们申请的更多。第三，科尔兄弟建议，既然评审专家很难在申报书的质量上达成一致，那不如更改评审规则，让评审专家在更容易达到一致的因素上评分，例如，申报人代表作的水平。最后，科尔兄弟认为，科学界浪费了太多时间和精力在撰写申报书上，如果这些时间和精力用来做研究，科学进步会更快。最后，祝所有今年申请了国自然项目的研究人员都有好运气！

如有侵权，请联系本站删除！