2022/3/28 9:29:30 阅读：274 发布者：chichi77
题记：
2022年国自然，在上周末已提交完成：2022年NSFC提交！接下来就是评审过程了：2022年国自然已经进入评审季节！这也是牵动大家心弦的地方。
然而，大千世界，无所不奇，科研基金项目的评审，竟然用摇号来代替同行评议？接下来我们看看这篇文章！
本文经授权转载自“林墨”公众号
倪珏 / 南京大学
以往对于科研项目的分配都是采用同行评议的方法，通过同行评议决定哪些想法值得资助。但有研究发现，在资助的项目中，同行评议得分对研究成果数量的预测能力较差。此外，也有研究发现，不同评审者对同样一份申请的评分一致性很低。有人认为标准同行评议的模型永远不会准确地预测研究是否成功，因为它本身是不可预测的。于是，有人提出代替同行评议的方案，也就是摇号[1]。
最近，Liu 等人调查了用摇号来代替同行评议决定科研项目分配的方案的反馈[2]。从2013年起，新西兰卫生研究委员会的探险者拨款计划采用摇号的方案，该方案可以减轻同行评议人员和管理人员的负担，同时将性别歧视、种族歧视和年龄歧视的问题降到最低。对，摇号的方案一举多得！探险者拨款金固定为15万新西兰元（约10万美元），为期2年。个人或团体可以申请，但申请人的住所和工作地点必须在新西兰。
获得探险者拨款项目资助要经过评估。评估要经过两步：
要得到探险者拨款评估委员会小组的认可。探险者拨款评估委员会小组有3名成员，会根据是否具有潜在的变革性以及可行性这两个标准进行评估，专家组的每个成员都会给出“是”或“否”的结果，只有获得两票及两票以上的“是”才可进入下一轮申请。
使用Rand（）函数产生随机数，然后按最小到最大随机数的顺序，选择可用预算范围内的申请。
Liu 等人使用的方法是问卷调查法。调查的对象是2013-2019年新西兰卫生研究委员会的申请者。问卷中有一个开放式问题和七个封闭式问题，都是有关资金分配的随机过程和申请者的匿名问题。在八个问题之后，申请者还可以写下评论（可选）。申请者在提交调查之前必须完成所有八个问题。所有回复都是匿名收集的。最后收集到的数据由频率表和条形图所呈现。
在325份调查邀请中，收到的回复为126份（回复率为39%）。其中，2013-2018年的回复率为30%（251份邀请中有76份），2019年回复率为68%（74份邀请中有50份）。结论要点如下：
有63%的人认为随机分配是一种可接受的方法用来分配科研经费（探险者项目）。
对其他经费用于随机分配的支持较少，只有40%（n=50）是赞成的，而且37%（n=46）反对。同意与不同意的人差不多。这一差异可能与探险者项目的性质有关，它的资助金额比其他项目要小，主要是针对风险更大的创新项目。
大多数申请者表示，即使知道项目的分配方案是随机分配，对他们申请的方法或准备申请的时间也没有影响。对此的解释是申请必须通过初步的同行评审阶段才能进入摇号阶段，因此，申请者仍然需要让同行相信该项目的优点。
对同行评审员来说申请者身份匿名受到了强烈的支持（n=112，89%）。大多数的评论都承认这样减少了偏见的可能性。当然，匿名的操作难度非常大。
78%获得探险者资助的被调查者认为随机是可以接受的，而那些申请被专家组拒绝的受访者44%认为随机是可以接受的。
更多获得资助的申请者支持扩大摇号的适用范围。
这项研究还有一些局限性。首先是样本的代表性。获得资助的人回复率更高，因此样本过度代表那些对系统更满意的人。其次，可供资助的组中的人数相对较少，对最终的结果产生很大的不确定。第三，无法追踪人们的认知可能随着时间的推移而发生的变化。第四，没有对同行评议员进行询问。第五，没有对申请者的评论进行正式的定性分析。第六，这项调查是由新西兰健康研究委员会发给申请人的，尽管调查被明确标记为匿名，但这可能会影响申请人的回答。
健康研究委员会通过探险者项目的经验将进一步改进摇号方案。
参考文献
[1] Ioannidis, J. P. A. (2011). Fund people not projects. Nature,477(7366), 529-531.
[2] Liu, M., Choy, V., Clarke, P., Barnett, A., Blakely, T., & Pomeroy, L. (2020). The acceptability of using a lottery to allocate research funding: a survey of applicants. Research Integrity and Peer Review, 5(1), 3.
本文经授权转载自“林墨”公众号
声 明
仅用于学术分享。若有侵权，请联系我们，我们将及时修改或删除！
如有侵权，请联系本站删除！
