为探索科学落地的学术评价体系，推动新时代学术评价的改革和实践，复旦大学国家智能评价与治理实验基地与复旦新学术共同开设“新评价”栏目，以“知评价”“谈评价”“践评价”等话题聚焦、共议当代学者共同关心的学术学科评价的理论、方法与实践问题，为新时代中国哲学社会科学的良性发展与繁荣、建构中国自主的知识体系贡献绵薄之力。
01.引言
如何定义研究的社会影响力，是现代研究激励制度和研究成果评价领域的主要议题之一。
社会影响力聚焦于研究在学术系统之外产生的复杂影响，推动了全球研究评价流程和研究评价标准的革新。这主要是由于公共问责制的发展，以及通过研究投资促进经济增长、创造就业和应对社会挑战的需要。同时，学术界对社会影响力的理解不断加深，愿意将社会影响力作为卓越研究的组成部分，所以社会影响力得以在全球各层面的正式研究评价中受到重视。许多研究人员将社会影响力和学术影响力视为同一枚硬币的两面，卓越社会影响力的创造和评价是并不是独立的。对社会影响力的概念化在已开展社会影响力评价的国家的研究政策中以不同的方式表现出来。
随着社会影响力的广泛采用，相关职业研究人员随之产生，他们认识到了社会影响力的重要性，开发了复杂的工具对其进行衡量，并监测社会影响力的发展，丰富了对卓越研究的认识。这是由识别社会相关性的需要、理解社会影响力概念的必要性、以及探索如何在个人层面上实施它并在组织和机构上评价它的机制驱动的。
尽管人们热衷于在学术激励体系中强调社会影响力，但社会影响力的定义根据具体评价背景的不同而有所不同。它的定义永远在不断变化，并且与以下因素相关：公共价值观念的变化，学术界对社会影响力的重视程度，以及评价实践积累的经验。但社会影响力评价是否适用于人文社会科学(SSH)仍然富有争议。
本文将探讨与不同评价模式和评价目的相关的社会影响力的定义，将社会影响力评价分为事后模式和事前模式，其中涵盖了对欧洲国家和组织中使用的诸多社会影响力定义的讨论。本文总结了社会影响力评价面临的一些主要挑战，以及当前使用的评价方法，特别是同行评议这一方法。
02.事后社会影响力
事后社会影响力是指已经发生的社会影响力，即“事后”的。这种定义使评价可以使用量化指标来衡量已经发生的社会影响力，但无法明确所产生影响力的实际价值。
主要案例是英国2014年和2021年的研究卓越框架(REF2014/2021)。REF2014代表着全球第一个正式的事后社会影响力评价框架，评价研究如何在学术界之外产生影响。该框架认为社会影响力是一个在组织层面具有战略重要性的概念，也是确定个人层面学术卓越的重要概念。英国REF2014/2021可能是当前世界上最成熟的、影响最广的评价框架，其政治上的成功影响了许多其他国家定义和制定社会影响力评价的方式。REF2014将社会影响力定义为“对学术界以外的经济、社会、文化、公共政策或服务、健康、环境或生活质量的影响、改变或益处”。REF2021中的定义基于REF2014的经验对其进行扩充，补充了“公众参与”和“对教学的影响”。第二点扩充更加适用于教育和教育研究这两个SSH领域。
虽然本文认同REF2014中的定义，因为它以更广泛、更包容的方式理解社会影响力，但该定义中对“改变”和“影响”的强调限制了可以用以证明学术以外研究价值的证据类型。这种强调有可能贬低SSH研究对公共价值作出的贡献，因为它使得对社会影响力的评价更加以目标为导向，相应就会采用更多的量化指标来衡量价值。事实上，对REF2014案例研究的相关研究表明，那些具备单一、长期、可量化结果的案例研究在这种评价框架下更具有优势。在商业和管理、政治学、医学和生物医学、物理学等评价单元中都存在这种情况。
尽管存在这种不足，但英国的事后社会影响力评价标准影响了许多其他国家。例如，在挪威，社会影响力的定义深受英国影响。但正如Wroblewska指出的那样，挪威的这项工作产生了完全不同于英国的结果，部分原因是评价结果与资助分配之间缺乏关联，以及挪威的大学内部存在的评价目的、评价过程和研究文化之间的不匹配。
03.事前社会影响力
与事后影响力不同，事前社会影响力被理解为对研究可能带来的影响的估计，涉及一定程度的预判，并涉及对所讨论的研究在未来可能产生的影响进行前瞻性分析。在评价实践中，这会带来一系列替代指标的使用，包括跟踪记录、合作范围，以及一些模糊的指标，比如对申请人履行工作承诺的信任。这些指标受到现有人际关系的影响(“我认识这个人，我可以相信他能完成这项工作”)。
许多政府资助机构以多种形式建立事前社会影响力的定义和机制。在英国，所有的研究委员会都不论学科差异而使用同一个定义。该定义是“卓越研究对社会和经济做出的明显贡献”，在卓越研究与其对社会和经济的贡献之间建立了明确的联系。欧盟研究委员会的定义是：“项目预期的经济和/或社会影响力，包括确定对用户和社会效益的贡献，确定转化为具体应用要遵循的过程，分析项目成果相对于现有产品、政策或过程的优势，并在适用的情况下简要说明研究在知识产权、现实实践等方面将开展的活动，说明与商业和/或社会合作伙伴交流的计划。”可见欧盟研究委员会的定义强调非学术影响，并举出具体例子予以说明。这种详细程度与美国国家科学基金会(NSF)对“更广泛影响力”标准的抽象定义形成鲜明对比(NSF将其定义为“对社会有益的潜力，并有助于实现特定的、期望的社会结果”)。欧盟研究委员会定义与英国研究委员会定义的共同点是，允许设想研究可能产生的社会影响，并选择管理(和监测)这些影响产生的路径。
社会影响力的评价方法选择在很大程度上取决于其在概念化和定义上的处理。就此而言，如果对社会影响力的概念化中认为研究成果的应用模式是线性的，或是对研究有功利主义倾向，那么社会影响力评价就会更倾向于使用指标来评价研究在政策文件或指南中是否被使用（和引用）以及如何被使用。
04.评价SSH社会影响力的挑战
许多学科通过完善社会影响力的概念丰富对卓越学术的定义。在SSH中，社会影响力评价面临的挑战日益凸显。有观点认为，社会影响力在证明研究投资价值中的作用越来越大，这会对SSH产生威胁。这种威胁导致了所谓的“人文学科危机”，一定程度上导致人文学科的重要性和声誉下降、资助减少和/或大学SSH课程的招聘人数下降。
SSH给社会影响力评价带来了特殊挑战，不仅仅是归因问题、因果关系和时滞性等方面。适用于STEM学科的举措、定义和模式并不适用于SSH研究，这使我们难以衡量和清楚说明SSH研究带来的价值。在REF2014中，对同行评议小组如何进行社会影响力评价存在一种担忧，这与SSH在展示影响力时面临的挑战相呼应——“核心性”或其他类似概念（即评价一项研究在实现最终影响目标方面的重要性如何）是小组考虑的重要因素，以解决与归因和因果关系相关的问题。但是在这些基于叙述或案例研究的评估中，存在一种风险，即SSH工作的特殊性质及其贡献可能被其他更宏大的“核心性”主张所掩盖。
此外还需要关注的是SSH研究评价中存在对社会影响力的主观理解。因此，SSH研究人员群体对其公共价值的判断可能是模糊的，超出或不同于那些更适应指标或线性影响力创造观点的公共价值。特别是在使用同行评议方法来评价SSH社会影响力的情况中更是如此。在这种情况下，小组成员可能会无意识地反感那些坚持基于指标来论证价值的影响力主张，而支持那些更符合他们自己理解的影响力主张。这种行为(主要通过同行评议)在SSH学科中嵌入了价值观念，阻碍了社区对卓越社会影响力的采纳，因为它缺失“可衡量”的概念，但另一方面，“可衡量”概念与SSH对公共价值的更微小贡献又是相抵触的。因此，我们需要重新审视SSH的社会影响力意味着什么，以及各种相关和不相关的指标，同时提高社区对自身或对公众价值的认识。
05.社会影响力评价的未来：
同行评议？
作为研究评价的“黄金标准”，上述许多评价活动在评价社会影响力时都使用了同行评议。同行评议的权威性和政治合法性在于，它假设评价小组的评价过程是基于适当水平的专业知识、学科相关性和公正的判断。由于被评价者和评价小组之间的信任基于这些假设，因此它是传统的、社会化的评价方法。但社会影响力的模式和定义来源于实践且具有创新性，因此，由于创新性是社会影响力的重要标准以及评价小组在评价这一模糊标准方面的经验不足，会导致一些问题，如偏见在评价过程中更加明显。还有一种风险是，评价者将更多社会化的研究和学术卓越评价作为社会影响力评价的替代方法，可能将其与政治、经济或社会相关的个人观念作为评价标准。同行评议中“同行”的真实水平也需要质疑，评价者在评价社会影响力方面的专业知识和经验水平在本质上也是水平不一的。
所有开发正式社会影响力评价标准的国家，无论事后还是事前，都采用同行评议作为评价方法。此外，这些国家尝试通过聘任非学术利益相关者加入专家组来弥补影响力评价方面专业知识的不足。研究表明，这些评价者很难对评价小组的文化产生影响，因此一些研究人员对使用同行评议来评价社会影响力提出质疑。随着社会影响力逐渐成为许多国家研究政策中的核心评估标准，对评价者行为和评价机制的规范也将在同行评议小组中不断发展。有趣的是，一些国家，如澳大利亚和芬兰，已明确区分了学术影响力和社会影响力的定义。换句话说，这些国家有专门评价学术影响力和社会影响力的独立小组，这种评价模式值得进一步探索。
06.结论
事前和事后社会影响力评价都愈发重要，越来越多的国家将社会影响力纳入正式的评价程序。但社会影响力的定义仍在不断变化，并且对公共价值观念的变化十分敏感。因此，选择的关键在于是承认社会影响力的偶然性和不可预测性特点，在评价实践中加以解决；还是将社会影响力视为可预测的研究实际结果，通过创建机制（定义、方法和指标）来稳定实践。这两种选择都会对SSH研究产生影响。无论是事前评价还是事后评价，SSH社会影响力的评价都凸显了其在展示和实现更广泛的公共价值方面所面临的一些具体挑战。这些对SSH价值概念的理解差异会在同行评议小组中显现出来，而同行评议小组可能会在评价过程中嵌入偏见，这些偏见可能会阻碍SSH研究的发展。随着社会影响力作为评价标准的广泛应用，这一问题可能会得到化解。尽管如此，我们仍需要进一步研究以关注评价小组在实践中如何确实评价模式和定义影响力，以便尽快解决威胁SSH社区利益的任何挑战。
（本文选自ENRESSH报告Overview of Peer Review Practices in the SSH，原文链接：https://enressh.eu/links_and_literature/enressh-publications/，原题为《社会影响力的定义及其评价》，本期推文为节选摘编，略有删减和编辑。）
转自：“复旦新学术”微信公众号
如有侵权，请联系本站删除！
