学术职位和科研经费的同行评审持续受到评价指标的影响

作者：Liv Langfeldt; Dag W. Aksnes; Ingvild Reymert

科研经费拨款和学术招聘引入同行评审旨在就研究提案和候选人的质量给出专业且独立的判断。基于近期一项调查的结果，笔者发现，评价指标在此类的决策中持续发挥重要作用，当评审人自身基于某些评价指标的排名较高时，这一点尤为明显。

当今时代，科学出版物和文献引用的评价指标盛行。这些评价指用以评价科学研究有其道理。与花时间研读科研人员发表的科研成果不同，参考被引用量、H指数（h-index）、期刊影响因子或其他类似的评价指标是了解一项研究的贡献或科研人员科研表现的捷径。除了节省时间，评审人员还认为评价指标能够很好地衡量科研质量，且在评审人员看来，基于评价指标进行比较更为客观、公平和可靠。

我们在近期的一项研究中发现，评审人员在评估科研经费提案和学术职位候选人时经常使用评价指标。

多数人在评估中参考了评价指标

尽管参考起来方便，评价指标却具有争议性。同行评审不是基于评价指标，而是基于同行的专业知识和其对于评审中的研究的理解。为了更好地理解评价指标在同行评估中的作用，我们通过调查数据来研究三个国家的不同学术领域和背景的科研人员的观点和实践。研究涉及对于科研经费提案的评审以及对于学术职位候选人的评估。大多数评审人员表示，他们在评定最佳提案或候选人时，评价指标是重要的评定标准。上述两项评估都很重视“所发表的科研成果的被引用影响”，尤其是“发表数量”。

不同观点

研究所涉及的三个领域之间存在一些差异。相较于心脏病学家和物理学家，经济学家对发表数量的依赖性更大。荷兰、挪威和瑞典三个国家之间的差异则很小。不过，三个领域和三个国家中还是存在差异：尽管大多数人认为评价指标很重要，也有相当大的一部分人认为评价指标不重要。换句话说，评审人员对于使用评价指标观点不同，这有可能对其评审造成影响。在评审过程中，学者有很大的自主决定权，可以选择用或不用评价指标，不顾评审指导原则（有些鼓励使用评价指标，有些则不建议使用）。因此，评审结果可能因评审组成员对于评价指标的个人偏好而异。

高被引学者在评估中更常使用被引评价指标

重要的是，对于评价指标的重视程度与评审人自身的评价指标表现相对应。在该方面表现越好的评审人在评估中，尤其是在评估科研经费提案时，更频繁地强调评价指标。在评估提案时，将发表数量和被引影响力视为“非常重要”的指标的可能性随着评审人发表量的增加而提高，有顶级出版物发表记录的评审人更重视这些指标，发表越多的评审人越重视。

研究质量的概念是否受到影响？

即使评价指标对同行评审产生影响，我们的数据表明，对于以高质量研究特点或参考评价指标来衡量求职者或项目的潜力，评审人会做出区分。然而，尽管大多数人称他们在评审中重视评价指标，只有五分之一的人表示，他们在回答笼统的问题（各自领域中最好的研究是什么）时，给出的结论是（部分）基于引用分或期刊影响因子的。以引用分或期刊影响因子作为衡量最好的研究的唯一指标的人很少。因此，几乎没有迹象表明他们将量化指标作为衡量杰出科学的决定性因素。

对于研究议程的影响

用以衡量个人表现的时，发表量和引用影响力这样的指标存在局限性和不足之处。无论如何，我们的调查表明，在科研经费提案评审和学术职位招聘中，上述指标被广泛用于评估个人。

在同行评审中重视评价指标可能会影响研究活动和研究议程。科研人员，尤其是处在职业生涯初期的科研人员，需要考虑什么样的科研有助于他们申请经费和职位。如果重视提案或求职者的量化指标记录而非其专业领域和潜力，或不进行深入评审，我们可能会根据过去的动向评估未来的研究，且容易发表和被高度引用的主题可能会获得不相称的资源。此外，这会令年轻学者获得更强的“打安全牌”的动机，使他们进行更有可能被发表或被引用的研究，目的就是在申请科研经费和学术职位的竞争中有更大胜算。

致力于公平的评审

这对申请职位或科研经费的科研人员来说意味着什么？在计划和进行同行评审时，应该有这样的意识，即评审人员，尤其是评价指标优异的评审人员，认为评价指标能很好地衡量项目和求职者的潜力。尽管存在对于误用这类评价指标的担忧，他们在评估中还是依赖这些指标。

总体来说，我们要更好地理解为什么以及如何在不同的研究领域中使用评价指标，也要更好地理解评价指标在领域发展中的作用和评审组的态度如何影响评价指标的重要程度。

可见，在这一点上，仅是发表有关不当使用期刊影响因子的莱顿宣言（Leiden Manifesto）和旧金山科研评价宣言（DORA），我们做的似乎还不够。

参考文献：

https://blogs.lse.ac.uk/impactofsocialsciences/2021/11/26/peer-review-for-academic-jobs-and-grants-continues-to-be-shaped-by-metrics-especially-if-your-reviewer-is-highly-ranked/

如有侵权，请联系本站删除！