关于完善科学基金评审机制的几点思考
张洪亮1* 范永刚2 陈青云3 徐岩英1
1. 国家自然科学基金委员会 生命科学部，北京
2. 中国医科大学 健康科学研究院，沈阳
3. 广东省人民医院，广州
作者简介
张洪亮 国家自然科学基金委员会生命科学部生物学二处处长兼遗传学与生物信息学项目主任。
摘 要
国家自然科学基金委员会积极推动“负责任、讲信誉、计贡献（Responsibility, Credibility, Contribution, RCC）”评审机制的改革试点工作，稳步推进重视科学性、保障公正性的评审环境建设。生命科学部按照科学基金深化改革任务的部署参与RCC试点，2020和2021年的试点结果显示：评审专家责任心更强、项目评审质量有所提升、项目评审效率得以提高。本文对生命科学部的RCC试点工作进行总结和思考，并通过调研分析国际发展趋势，重点从正向激励的角度提出完善评审机制的建议，以期有效提升评审专家的积极性和荣誉感，促进科学基金事业高质量发展。
关键词：RCC评审机制；生命科学部；完善评审机制；科学基金改革；正向激励
//
近年来，科研领域愈加重视对同行评议专家的正向激励，将同行评议工作作为学术成果的呼声日益增高[1,2]。国家自然科学基金委员会（以下简称“自然科学基金委”）将“负责任、讲信誉、计贡献（Responsibility, Credibility,Contribution, RCC）”作为完善评审机制的重要举措，旨在通过将评审工作计入专家贡献，进一步引导和激励评审专家负责任地开展评审，从根本上保障科学基金同行评议质量和规范评审专家的评审行为。根据自然科学基金委2020年实施RCC评审机制试点方案：在每个科学部至少选择一个学科的一种项目类型、针对通讯评审工作开展RCC评审机制试点。2021年，RCC扩大试点范围，在8个科学部45个学科中试点RCC评审机制。与2020年相比，试点学科数量和试点学科项目申请量占比均扩大４倍以上；2022年进一步扩大试点范围至77个学科。
通过委内组织的RCC评审机制试点总结和交流，各科学部在主要数据和结论上大同小异，因此本文不对单个年度的数据做过多重复性分析和总结。笔者拟通过调研国际学术出版机构和资助机构在正向激励方面的做法，着重从正向激励的角度提出可能的方案，旨在进一步完善评审机制，有效提升评审专家的积极性和荣誉感，提高评审和资助质量。
1 生命科学部RCC试点工作概况
2020年起，生物医学科学处的神经科学与心理学和农业动物科学处的兽医学2个学科开展了RCC评审机制试点工作。2021年，试点范围扩大到3个科学处的7个学科；试点项目4 372项，共计指派15 568份评议。生命科学部积极宣讲RCC评审机制试点工作的目的和要求，通过评议通知邮件、学科评审组会议等途径讲解相关注意事项；通过问卷调查、个别访谈等，征求评审专家对RCC评审机制的意见和建议。试点学科在向申请人反馈专家通讯评审意见的同时，邀请申请人以打分方式评价从评审意见中的受益程度，即“反评估”，评价等级为评审意见对申请人“很有帮助”“有帮助”“帮助不大”和“没有帮助”。“反评估”结果显示：申请人认为51.6％的通讯评审意见“很有帮助”、31％的评审意见“有帮助”[3]。
从总体上看，评审专家和项目申请人已普遍理解和接受RCC评审机制，能够积极配合试点工作的各项要求，100%提交评审意见。申请人对评审专家的“反评估”结果显示：获得资助的申请人打分更高，但即使未获资助，绝大多数申请人也认为“很有帮助”或“有帮助”。RCC评审机制的实施效果显示：评审专家责任心更强，项目评审质量有所提升，项目评审效率得以提高，申请人参与“反评估”的积极性显著增加。
以神经科学与心理学学科为例，2021年参与“反评估”的申请人较2020年增加202%；申请人参与积极性提升，“反评估”数与总评议数的比例从18.9%增长到66.9%。对未获资助的申请人的“反评估”结果进行分析，申请人在2021年选择A（很有帮助）和B（有帮助）的比例较2020年上升；选择C（帮助不大）和D（无帮助），尤其是D的比例下降（图1）。
图1 2020和2021年未获资助申请人的“反评估”数据对比
试点学科对参与RCC评审机制试点工作的通讯评审专家进行问卷调查，结果显示：91.7%（187/204）的受访专家赞成RCC评审机制，仅有不足1%（2/204）的专家明确反对RCC评审机制（图2A）；94.2%（193/205）的受访专家认为RCC评审机制有助于遴选负责任的高水平专家，进一步提升评审质量（图2B）。
图2 通讯评审专家对评审机制态度的问卷调查结果
2 从RCC评审机制试点工作中发现的问题
通过日常的科学基金管理工作以及参加RCC试点，我们发现目前在科学基金评审机制方面还存在一些有待改进的方面，如专家对RCC试点工作的理解不够准确、基金评审培训制度有待建立、自然科学基金委单向选择评审专家的制度存在不足、RCC评审机制的数据采集还不够充分、正向激励的评审机制有待建立等。
2.1 改革举措宣讲需进一步加强
为了更好地宣传和推进RCC评审机制试点工作，自然科学基金委专门制作发布了视频和图解，向科学界解释RCC评审机制的概念内涵和基本要求，引导专家负责任评审，提醒和警示专家为不负责任的评审行为担责。但部分专家可能未看到视频图解或对RCC试点工作的理解不全面、准确，误以为自然科学基金委不信任专家。科学共同体内互相的信任是基本的前提。因此必须进一步向科学界澄清RCC的根本目的是改进评审质量，提升透明度。
我们邀请试点学科205位通讯评审专家对RCC相关参数的重要性进行评价，结果显示：有超过74%的专家认为“不遵守回避或保密制度”“利用通讯评审谋取不正当利益”“会议评审专家公正性状况”这3项参数重要，而不足50%的专家认为“严重延误后拒评”“通讯评审意见用语不妥（‘一句话’或有刺激性语言）”“资助建议的采纳情况”，以及“申请人对专家的通讯评审意见进行打分，评价评审意见对申请人的益处（即‘反评估’）”这4项参数重要，其中，仅有18%的专家认为“反评估”重要（图3）。分析原因，可能是通讯评审专家尚不能充分理解RCC评审机制的参数设置逻辑，提示RCC评审机制的宣讲工作有待进一步加强。
图3 受访通讯评审专家对RCC相关参数的重要性进行评价
2.2 评审专家的资质认证和培训机制尚未建立
同行评议专家除了具备较高的专业知识水平、实践经验、敏锐的洞察力和较强的学术判断力，还应具有良好的学术诚信和科研道德。实行专家资格审查制度是保证评议结果的科学性、公正性、权威性的前提。学科在维护专家库的工作中，有时难以准确掌握专家的动态信息，如是否全职工作、是否出国等。通过个别访谈，有专家建议自然科学基金委加强与依托单位的联动。以电子邮箱为例，依照国际惯例，科学家作为通讯作者进行投稿（例如Elsevier杂志社的Biochemical Pharmacology）、投稿时推荐审稿人（例如Springer杂志社的Acta Geodaetica et Geophysica）以及写推荐信时须使用机构电子邮箱（Institutional Email Address）。而目前无论申请人和评审专家，使用私人邮箱地址提交申请和评审项目的不在少数，甚至使用QQ邮箱也并不罕见。由于私人邮箱难以确认使用者的真实身份，这就为营私舞弊提供了空间。如2017年爆发的施普林格撤销发表于Tumor Biology 的107篇论文事件，导火索便是评审专家资质与审稿结果造假。
对同行评议专家的培训长期以来严重缺失，可能导致同行评议质量难以得到保障，而绝大多数专家希望获得相关培训[4]。从逻辑上看，信誉是驱动力，评审人如果珍惜自己的信誉，就会负责任地进行评审，并在评审中做出贡献，包括对申请书中设计的研究工作给出学术方面的具体指导[5]。被邀请参与自然科学基金委通讯评审的专家，大多数已经获得自然科学基金资助，是专业领域的科学家。然而，国家自然科学基金的资助体系复杂。尤其是不同类别的自然科学基金项目，有不同的定位。由于科学基金深化改革全面开展分类评审，不同“科学问题属性”的项目，在学术评价标准上不尽相同。评审专家需要较长时间去了解科学基金资助体系和科学基金深化改革的各项举措。由于专家往往缺乏科学基金管理的经验，很难充分理解评审程序，对评审专家的系统性培训是急待实现的。
2.3 信息不对称的问题
自2003年起，自然科学基金委全面实行电子化申请，2004年实行网上遴选、指派同行评议专家，提高了评议工作效率，实现了基金项目评审意见的全文反馈。全文反馈大大促进了同行评议工作的透明度，进一步增加科学基金评审过程的权威性；也有力地推动科学思想的相互交流，推进基金评审的公正性和科学性，加强了对评议人的监督[6]。
RCC评审机制试点工作旨在“引导”专家负责任的评审，但尚无任何“反馈”机制是面向专家的。在RCC试点工作的个别访谈中有专家建议：希望得到关于所评审项目最终获资助与否以及其他评审专家评审意见的反馈。我们由此设计了问卷，对205名参与RCC评审机制试点的评审专家进行调研，92.2%（189/205）的专家希望自然科学基金委在会议评审后向其反馈该项目获资助与否结果（图4A），87.3%（179/205）的专家希望自然科学基金委向其反馈所有专家对项目的通讯评审意见（图4B）。
图4 专家对自然科学基金委反馈项目获资助与否结果以及通讯评审意见的看法
资助机构单向选择评审专家的制度是目前同行评议经常被诟病的缺陷。当前，同行评议专家难以主动选择与自己学术领域相近的申请书进行评审，大多是被动地等待学科项目主任派发申请书。随着学科交叉趋势加剧，单向选择评审专家的制度降低了专家与待评申请书间的契合度，并进一步增加项目主任、申请人与专家间的信息沟通障碍。
2.4 数据的记录问题
“完善评审机制”改革的一大举措是完善计算机辅助指派，这为科学遴选评审专家提供了有效的方法支撑。“智能”指派提高了送审效率，是实现评审工作“分类、科学、公正、高效”的关键一步。然而，目前的计算机辅助指派精度还不够高，亟需优化算法，进一步提升准确率。
“讲信誉”的采集指标应兼具多元化和个性化，多元化可通过综合分析评审专家的评审数量、质量以及“反评估”信息来实现；个性化则应考虑评审专家的年龄、性别、国籍以及评审项目的类别进行差异化分析。建议对每位专家的评审工作进行综合分析，如对评审专家评审项目数量、评审意见与最终资助与否的契合度、个人“反评估”结果等进行综合分析，从多个指标综合体现专家的“贡献”程度。这个建议的前提同样也需进一步提高计算机辅助指派的准确度，以保证数据分析结论的可靠性。
2.5 正向的激励机制有待建立
构建RCC评审机制的目的之一是以“计贡献”方式给予评审专家正向激励，因此如何正向激励以更好地发挥RCC评审机制的引导作用，是笔者参加试点工作之后不断思考的问题。将科研人员的评审工作计入其学术贡献中，是公认的对评审专家最好的激励方式。Wiley出版社调查研究了审稿人对同行评议的态度，结果显示：审稿人认为同行评议报告应作为科研产出被认可，如果研究机构承认审稿对学术的贡献，他们愿意花更多的时间参与同行评议[7]。然而，专家通过同行评议做出的学术贡献需要量化和比较[8]，这是学术出版行业和资助机构在不断探索和改进的方向。目前RCC评审机制仍以监督、规范评审专家为主，正向激励的机制尚未建立。
通过调研世界主要科研资助机构的运行情况，除了发放评审费，我们没有发现资助机构有明确对评审专家开展正向激励的举措。通过调研世界主要科学出版集团的同行评议发现，比较常见的正向激励方式是杂志社发送感谢信（在评审人提交评审意见后发送电子邮件、颁发证书、与Publons合作并利用其平台记录专家的同行评议等；比较少见的如Annals of Saudi Medicine 杂志给审稿人授予继续教育学分，Heliyon 杂志在PDF稿件中以水印形式表达对审稿人的感谢。从出版社层面，Elsevier拥有独立的审稿人中心（Reviewer Hub），用于记录专家的同行评议并提供可下载的同行评议证书，而其他主要出版社均与Publons建立合作关系（表1）。生物医学领域的期刊杂志普遍以感谢信形式表达对审稿专家的认可，其正向激励举措总结为表1。SCIENCEDOMAIN international 出版社向审稿人约稿、减免版面费，以及遴选年度评审专家名人堂成员。
对200位通讯评审专家的问卷调查显示，接近70%（139/200）的专家支持自然科学基金委参照Elsevier出版社建立Reviewer Hub的做法，对专家历年参与的通讯评审进行记录，并提供可下载的电子证书，60%（120/200）的专家支持自然科学基金委综合评审数量、质量和时效性等，评选优秀通讯评审专家并颁发证书（图5）。这一结果，在另一个205例样本的独立问卷中得到验证。
图5 对通讯评审专家进行问卷调查其对正向激励的意见
3 思考与建议
3.1 加强对RCC评审机制的宣传和引导
为了促进自然科学基金委工作人员、依托单位科研管理人员、项目申请人和评审专家对科学基金深化改革的指导思想、目标任务以及具体举措的统一认识，应利用各类评审会和学术会议平台加强宣讲，并辅以视频、典型案例等形式加强宣传的生动性，让评审专家深入了解自然科学基金管理的规范和要求，更加负责任地参与科学基金评审工作。各依托单位须认真履行主体责任，在正式提交申请书前组织专家对本单位的申请书进行形式审查和质量把控。应该最大程度地要求评审专家和项目申请人使用机构电子邮箱，避免学生评审、伪造评审等行为。
未来有待进一步提高专家群体和申请人对“反评估”的认识。建议可以尝试在评审结果公布前把评审意见先发送给申请人并要求完成“反评估”，在申请人填写“反评估”信息前设置弹窗强调申请人提交“反评估”信息的公正性和客观性。需强调评估为匿名采集信息，以避免获资助和不获资助对“反评估”结果的影响。
3.2 资格审查与培训
自然科学基金委要求各学科动态维护专家库，但对于专家库的质量，目前还缺乏评估的标准。Publons通过关联“学术名片”即ORCID（Open Researcher and Contributor ID）号对专家进行精准管理。从国外资助机构改进同行评议机制的实践来看，有必要规范同行评议程序和评审专家行为，尤其是加大对青年评审专家的培训[9]。例如Elsevier杂志社网站设有关于审稿培训的网页和内容；ACS开发免费同行评议培训平台ACS Reviewer Lab，为学者提供快速审稿认证，并向期刊编辑进行推荐；Publons网站通过Publons学院提供免费的在线课程，在同行评审中分享最佳实践。Taylor & Francis 于2019年发起同行评议卓越计划（Taylor & Francis Reviewer Excellence Network），旨在增加同行评议的多样性以及免费提供所有与同行评议有关的培训，确保评审人获得相应的资源和支持，掌握充分的评审技能与科技写作技巧，从而高效高质量的完成评审工作。
一项对国外生物医学领域的资助机构和基金评审人的调研显示：85%（220/258）未接受过基金项目评审的培训，64%（166/258）的受访者希望得到此方面的培训[10]。对200位自然科学基金委通讯评审专家的问卷调查显示：接近3/4（149位）的专家认为自然科学基金委有必要对专家尤其是年轻专家进行关于通讯评审的培训，只有8%（16位）专家认为没有必要。因此自然科学基金委有必要通过发布《同行评议手册》《同行评议指南》等，加强对青年科学家的培训[11]。
3.3 建立双向反馈机制
欲提升通讯评审指派的准确度，一方面要不断完善计算机辅助指派的匹配度；另一方面也可考虑改变长期采用的单向选择评审专家的制度，借鉴国际学术期刊的做法，以隐藏申请人信息的方式将申请书题目和摘要发送给计算机辅助指派匹配的专家，由专家确认适合评审的项目后再由系统发放申请书全文。此举一方面能够通过双向选择进一步提高指派精确度，避免专家被动接受指派的情况；另一方面有助于更好地保护申请人的知识产权，避免专家非必要地获取其不熟悉领域的申请书全文。
Elsevier出版社经常性地调研审稿人的意见和建议。例如，90%的审稿人希望能够看到杂志社对稿件的最终决定，以及其他审稿人的审稿意见。因此Elsevier出版社将此项功能内置到投稿审稿系统。Taylor & Francis和Springer Nature等杂志社均对审稿人参与同行评议过程和使用审稿系统有满意度调查，从而“有的放矢”地不断改进和提升服务质量。荷兰Prinses Beatrix Spierfonds基金会向通讯评审专家反馈最终获资助的申请人名单。美国国立卫生研究院（National Institutes of Health, NIH）、日本学术振兴会（Japan Society for the Promotion of Science, JSPS）两个科学资助机构都对评审结果进行公示，使得评审结果更加公开透明。假设自然科学基金委将项目评审结果和其他专家的评议意见反馈给同行评议专家，专家据此重新思考、衡量自己的项目评议意见，可能有助于专家总结自己评议意见的准确性，提高评审水平。我们的问卷调查结果与Elsevier出版社的数据一致，提示无论审稿专家或者基金通讯评审专家，均希望获得评审意见的反馈。面对科学基金深化改革的“无人区”，对资助管理基本模式的变革有待评审专家和申请人评价。有必要从自然科学基金委层面建立评审人对评审系统和评审程序的反馈机制，有助于常态化进行征求意见和建议，改进基金评审流程。
作为科学基金深化改革的任务之一，完善评审机制还要考虑对同行评议机制本身的完善。必须认识到：同行评议的程序对于遴选共识项目是高效而且可靠的，但在非共识项目的遴选机制方面，需着力破解同行评议固有的局限和不足，有必要充分发挥战略科学家和学科管理工作者的学术判断力。Annals of Translational Medicine 等杂志建立的青年编委制度，Frontiers系列杂志推行的Handling Editor制度，都是利用青年科学家年富力强、活跃在科研一线的优势，发挥其学术判断力，以维持同行评议流程的高效运行。
3.4 数据的长期记录和分析方面
在破“四唯”的大背景下，为科学共同体的奉献应该是“计贡献”最重要的指标。科睿唯安旗下的Publons是目前全球最大的同行评议平台，记录和存档专家评审过的论文和评审报告，培训评审专家、管理和改进评审流程（图6）。同时，Publons网站与资助机构合作，记录专家为科研项目进行同行评议的情况，但此项功能目前仍处于探索阶段。自然科学基金委可借鉴Publons的认证方式，进一步丰富评审专家库的信息，对专家评审项目的数量、质量等进行记录，并可以作为检索参数之一，便于查找“负责任、讲信誉”的专家。
图6 Publons网站研究人员个人主页记录的历年审稿数据
在科学基金资助项目的绩效考核（如中期检查、结题评估等）中，可以尝试将同行评议纳入项目主持人的学术成果，可能提升专家对评审基金项目的积极性和主动性。如前所述，Publons通过关联ORCID号等途径对专家进行精准管理，同时可对专家参与同行评议的情况进行准确记录。利用类似Publons等工具记录评审专家的评审工作，有助于进一步提升智能辅助指派评审专家的准确性。建议在收集“反评估”信息后，通过定量分析申请人从评审意见中受益的程度，用以评价同行评议的质量，并将这些数据整合进入计算机智能指派辅助系统，作为未来遴选优秀评审专家的重要依据之一。
3.5 探索正向激励的举措和机制
2013年，Elsevier出版社在35本期刊中先行示范，每个期刊评选出25名优秀审稿专家，评价标准包括提交审稿意见的及时性、审稿数量和质量等。2014年，Elsevier出版社的审稿人中心开始运营，用以纪录和追踪专家的审稿历史。Elsevier旗下期刊可以通过给审稿人颁发证书增加他们与期刊的双向交流，提高审稿人的积极性，有效解决了同行评议过程中审稿人拒审、拖延的问题，加快了审稿效率。专家在两年内完成至少一次审稿，便可成为“获得认可的审稿人（Recognized Reviewer）”，两年内为某一期刊的审稿量进入前10%的审稿人获得“杰出审稿人（Outstanding Reviewer）”称号。期刊编辑也可以自主挑选表现优秀的审稿人发送感谢信和授予“杰出审稿人”证书。审稿人对Elsevier出版的书籍或者提供的多项服务享有折扣或者免费的优惠（如免费使用Scopus数据库等）。Publons颁发全球审稿人奖，以表彰为学术共同体做出卓越贡献的审稿人，主要评价标准是评议报告的清晰度、深度、中肯性和时效性。
自然科学基金委可考虑通过以下方式激励专家评审：实行评审工作积分制度，对于评审专家可根据其评审任务量和评审质量赋予相应的积分，这些积分可作为获资助项目绩效考核（如中期检查、结题验收等环节）的指标；设置“年度优秀评审专家”称号并颁发荣誉证书；通过自然科学基金委主办的学术期刊或网站刊登优秀评审专家的个人传记和研究成果，帮助其扩大学术影响力。
4 结 论
强大而稳定的评审专家队伍是科学基金事业高质量发展的保证。需进一步扩大科学基金深化改革的宣传，加强自然科学基金委与评审专家的沟通并建立反馈机制通过合理运用奖励等方式来提高评审专家队伍对自然科学基金管理的满意度，从而形成自然科学基金委与专家的良性互动。正向激励举措有利于提升专家的评审收益，从制度上使客观公正的评审成为一种值得为之守护的事业。鉴于国际学术期刊审稿和科学基金评审项目多为义务劳动，为了避免学术活动的“功利化”，物质奖励可能不如精神奖励有效。评审费发放，更是一个持续有争议的问题[12]。
在新时代，自然科学基金承担起营造“鼓励创新、宽容失败”的科研环境，以及加强学风和科研诚信建设等使命。完善评审机制应与科学基金深化改革、弘扬科学基金文化和科学家精神，以及加强学风建设等一体推进。从过去两年的试点情况看，全面铺开RCC评审机制是有必要的。对于发放感谢信、与Publons合作等正向激励举措，可通过知情同意的选择，充分尊重每位专家的意愿（如Biotechnology and Genetic Engineering Reviews杂志审稿系统内置选择功能，供专家在提交审稿意见时决定接受与否）。
我们必须认识到，完善评审机制不可能毕其功于一役。专家负责任评审不仅需要自觉自律，还需要全社会树立与维护追求卓越、诚实守信的价值理念[9]。推进科学基金项目RCC评审机制建设，是提高科学基金评审质量和改善科学基金管理的保障，也是完善评审机制的重点内容。完善评审机制，离不开制度建设。只有不断增强制度建设，科学基金事业发展才能获得源源不断的动力。
参 考 文 献（略）
来源：中国科学基金
https://mp.weixin.qq.com/s/LpainSY2G--OhkmPaubTdg
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
