以下文章来源于复旦智能评价与治理 ，作者FD智能评价与治理
803期 | 2023.08.11
为探索科学落地的学术评价体系，推动新时代学术评价的改革和实践，复旦大学国家智能评价与治理实验基地与复旦新学术共同开设“新评价”栏目，以“知评价”“谈评价”“践评价”等话题聚焦、共议当代学者共同关心的学术学科评价的理论、方法与实践问题，为新时代中国哲学社会科学的良性发展与繁荣、建构中国自主的知识体系贡献绵薄之力。
1
引言
各国政府投入大量公共资金用于研究，并将社会效益作为研究投资的结果之一，这一趋势需要研究人员和机构展示其研究的影响力并担负起相应责任。因此，无论是在理论层面还是在实践层面，将社会影响力纳入研究评估是研究政策的关键议题，各国研究评估体系中越来越多地关注对社会影响力这一要素的评估。
本文回顾了影响力评估的发展历程，以英国研究卓越框架(Research Excellence Framework，REF)为重点，总结事后影响力评价的现状，探讨影响力评估的未来发展和面临挑战。笔者认为，社会影响力评估在研究评估中的地位需要得到进一步提升。
2
历史与背景
虽然研究具有实际意义这一理念由来已久，但直到20世纪才开始被讨论，其中一个关键节点是布什出版的《科学，无尽的前沿》(1945年)，书中提到，为社会带来利益，解决“实际问题”，是布什投资研究的核心。几十年后，英国政府在1993年发表的《实现我们的潜力》白皮书中对研究经费体系进行了改革，这一理念成为改革的核心。政府重视研究所提供的社会效益，并建议对组织和资金流进行改革以实现这一目标。这些改革，使得用以衡量研究收益的新方式得以发展——“影响力议程”就此诞生，“影响力”首先与经济发展明确关联，然后延申到对“社会和经济”产生影响力的更广泛概念。Peter Warry于2006年发表的重要报告在广义层面上建立了影响力的定义，并为旨在最大限度发挥影响力的政策干预确定了战略方向。近年来，英国政府对研究系统架构进一步改革。通过创建一个新机构——英国国家科研与创新署(UK Research and Innovation, UKRI)，将研究资金与创新支持结合起来，但从研究中获得社会效益仍然是核心，其既定目标为“确保我们的研究和创新体系兼具战略性和敏捷性，以提升未来国家在驱动发现和促进成长方面的能力”。随着相关政策的不断发展，对研究与社会之间关系的理解也同时发展。Gibbons等提出了研究的“模式1”和“模式2”概念：“旧的科学发现范式(“模式1”)以理论科学或实验科学的霸权为特点，以内部驱动的学科分类为特征；由于科学家及其所在机构的自主性，大学正被一种新的知识生产模式(“模式2”)所取代，这种模式的特点是社会分布的、面向应用的、跨学科的，并且承担多重责任。这两种模式的关键区别在于它们关注的焦点不同(面向研究界或面向社会需求)，它们的责任不同(仅面向研究人员的同行或面向更广泛的利益相关者)。模式2既关注社会需求的研究，又向学术界以外开放研究过程。”两种研究模式并不一定是相互排斥的。研究人员有可能以既满足学术同行的要求和规范的方式开展工作，同时寻求与其他部门的合作以解决社会相关问题。从政策制定者的角度来看，在上述背景下，人们明显更加认同模式2提出的趋势，并希望设计政策框架和激励措施来支持(或至少不阻碍)这种趋势。尽管研究的政策目标不断发展，相关科技文献中的表述也越来越复杂，但对研究和研究人员的评估仍然集中在学术界自己定义和实施的“卓越”研究概念上。虽然专注于满足学术界定义的标准本身是否会损害更广泛影响力的实现还有待商榷，但在时间和资源有限的系统中，可以认为，过度关注评估中的“模式 1”标准不利于实现“模式2”的目标。这在考虑国家研究评估制度时尤为重要。因为这些制度会提供强有力的激励，并有可能定义学术研究成功的标准。除了将产生社会影响力作为一项目标之外，还需要将影响力材料的提交作为需要投入时间和资源的合法活动。因此，决策者越来越关注如何从社会效益或影响力的角度来评估研究。在影响力评估方面存在着一些公认的挑战，主要是研究与影响力之间有时存在时滞性问题，如何将影响力归因于研究，以及提供研究与影响力之间关联的证据存在困难。这些问题受到研究和影响力之间复杂的、潜在的、非线性和非顺序关系的影响而进一步复杂化。为解决这些复杂问题，出现了一些评估方法：在研究系统层面，计量经济学方法可以量化研究投资与经济效益之间的关系，尽管这些方法对机构、计划、项目或个人层面的事后评估用处不大。在这种情况下，建议方式是侧重于获取关于知识交换和互动的信息，或采用定性分析和案例研究方法。在一些国家评估体系中，也试图根据一组指标来评估更广泛的影响力。虽然这些方法各有优劣，但当前正在形成的共识是，案例研究是评估广泛影响力的最有效方法。
国际上对在国家层面实施的研究影响力评估有相当大的兴趣，正在努力就更广泛的影响力评估达成全球共识。国家层面上，迄今为止最有代表性、最全面的社会影响力评估可能就是英国REF。
3
在国家层面评估社会影响力：
REF2014的经验
REF2014中增加了用于衡量研究影响力的新要素，并与研究产出和环境一起进行评估。REF2014在调研了国际研究影响力的评估方法和进行了一系列试点工作之后，以案例研究为基础方法，因为这可以体现更广泛的影响力。REF2014对社会影响力的定义十分宽泛：对学术界以外的经济、社会、文化、公共政策或服务、健康、环境或生活质量的影响、改变或益处。提交的影响力材料按学科分组或按“评估单元”进行组织。为了评估影响力，每一份提交的材料都包含两个要素：首先是每个单元的叙述元素(即“影响力模板”)，列出从研究中产生影响力的方法和策略；其次，每个单位被要求提交一些案例研究，说明在评估期间(2008~2013年)产生的与其研究相关的影响力。案例研究对大致结构进行了简单规定，包括影响力总结、基础研究、研究参考、影响力详情、证实影响力的来源。影响力案例研究的核心是确定影响力与具体、确定的“基础研究”之间的联系。影响力评估纳入了从学院以外的研究用户群体中抽取的小组成员和其他评估人员，包括商业、公共和第三方部门、新闻媒体和民间社会。REF2014的评估结果于2014年底公布，并在2015年发布了一个可供搜索影响力案例研究的数据库。该评估过程包含了大量的评价和分析，影响力案例研究本身也被证明是研究影响力的有价值数据来源。
虽然引入影响力评估仍有争议，但总体而言，REF2014的影响力评估是成功的。使用案例研究，结合专家评估(包括来自研究用户社区的专家)，可以对研究的社会影响力做出较为可靠的判断。
4
社会影响力评估的未来
REF的经验表明，将社会影响力引入研究评估框架是有实际潜力的：“‘影响力’显然是REF 2014的成功之处之一，充分地展现出英国研究的质量和研究对社会和经济发展做出的多样贡献。”对REF2014的审查建议提出了进一步改进影响力评估的方法：首先，机构一级应提交一些影响力案例研究，以便促进和展示多学科和跨学科工作产生的影响力；其次，建议建立在一系列工作之上的影响力也应该有资格进行评估，而非只关注具体研究产出带来的影响力；最后，建议要求进一步扩大影响力的定义，加强指导，以明晰所有合格的影响力。近期，英国对社会影响力评估的改进将建立在REF的成功基础上，重点是解决在评估过程中出现的问题，并对审查建议作出回应。影响力证据的收集过程也可能会借助数字影响力收集工具以实现系统收集和流程化。展望未来，在评价体系中进一步丰富和嵌入社会影响力评估仍然存在挑战。除了时间滞后、归因和证据等问题外，未来还需要考虑社会影响力的3个其他特征：一是合作生产这一研究模式，该模式正成为研究影响力产生的核心；二是研究学科之间不断发展的关系，以及影响力的传递；三是社会影响力目标的性质和方向。
4.1 合作生产与影响力
知识的共同生产过程也会产生公共价值。英国艺术与人文研究委员会发起的互联社区项目就是例证，该项目以合作研究为核心概念，旨在发现“对社区的新观点和研究社区的新方法，以艺术与人文学科为研究核心，将学术与社区专业知识联系起来”。 “合作生产”一词已成为一系列参与式和以影响力为中心的研究方法的统称。这些方法的核心是认识到，当研究人员和利益相关者在整个研究过程中通力合作、一起提出问题并一起解决问题时，研究的社会影响力便会产生。这些不同的知识生成方法将合作生产和共同参与带上台面，如何为这种类型的互动创造条件愈发受到关注。案例研究中提到了广泛的受益者，因为有许多人会在一定程度上参与与所描述的影响力有关的研究。然而，有证据表明，在对提交上来的案例研究进行评估时，有个别REF子小组没有充分关注合作生产所产生的研究影响力。研究影响力的合作生产模式对基于前期“基础”研究的影响力产生模式提出挑战。通过合作生产，影响力和研究成果很有可能同时实现。在这种情况下，面向学术受众的研究成果甚至可能落后于影响力。
4.2 学科与影响力之间的关系
在对REF影响力案例研究的分析中，一个重要发现是相关研究的学科多样性。影响力的产生可以依赖于多学科或跨学科的相关研究，也可以反映学科在知识交流过程中的结合。这一结果为“模式2”的假设提供了重要证实，即与社会挑战或问题相关的研究可能会涉及不同学科领域的知识。与社会影响力相关的学科多样性对影响力的传递和评估具有重要意义。首先，影响力的产生与研究人员的跨学科能力密切相关；第二，对社会影响力的评估需要认识到影响力本质上具有跨学科性质，并尊重这一特点；第三，对学术研究成果的评估需要具有跨学科或多学科评估的能力，这样跨学科工作就不会受到阻碍。然而，像REF这样的研究评估通常是按照学科界限划分的，这就涉及到跨学科社会影响力的本质问题。REF的经验表明，大学可以轻松地向按照学科划分的小组提交涉及对应学科的影响力案例研究，但由于担心不符合学科规范，跨学科的案例可能没有被提交，这将减少对许多跨学科工作的激励。针对此类问题，可能的替代方案是将研究影响力评估调整到更广泛的学科领域(相当于REF中的主小组)。但是替代方案本身会带来学科传播和社会影响参与的风险。鉴于研究评估过程的学科结构，根据学术标准或“模式1”标准评估研究成果也会带来一些问题，这可能对跨学科社会影响力的材料提交产生影响。
4.3 社会期望的影响力目标
评估目的的侧重于影响力带来的“影响”和“变化”，对影响力进行广泛和包容的定义有利于进行影响力评估，但它同时也带来了关于影响力的性质、方向和可取性的问题。重要的是，要在评估社会影响力时区分好这两个问题：一是管理不善、不可靠或欺诈性研究的问题，其造成的影响力不可避免；二是在影响力产生的过程中受到主观价值影响。
对于影响力性质的价值判断会引发评估时的重要问题，特别是在做出“公共价值”判断所需的评估时利益相关者参与的广度。相关研究表明，为了提高对影响力作出判断的合法性而扩大利益相关者的参与范围未必可取。另一种办法是在评估中列入与对影响力作出选择的过程有关的因素。例如，在整个影响力提交和研究过程中纳入公众和利益相关方群体，使用的合作生产方法本身就可以作为证据。在这种情况下，公众和利益相关者的参与不仅是产生影响力的潜在途径，而且是一个指标，表明该研究决策是在符合社会理想目标的背景下制定的。未来应越来越多地将负责任的研究和创新原则纳入影响力的提交和评估。
5
结论：使影响力评估成为主流
尽管挑战和争议仍然存在，但评估研究的影响力具有十分巨大的潜力。在“模式2”提出了20年后，我们有了理论和工具来将研究评估与“模式2”的标准结合起来。但这种新的评估方式却被视为是对传统标准的补充甚至是从属。正如Cruickshank所观察到的：“即使在REF的实验中，提供影响力案例研究的学者仍然是通过出版物来衡量他们的[模式1]研究。”REF表明，在“模式1”标准(根据原创性、严谨性和重要性标准对研究成果的评估)下表现良好的单位，在“模式2”标准(根据对社会影响力案例研究的评估)下也表现良好。但这一观察只能证明两种模式的研究发生在相同的位置，而不能提供它们之间的关系信息。原则上，两种模式之间具有不同的关系：一种是线性关系，其中“模式1”是“模式2”的先驱，反之亦然(后者在合作模式中更普遍）；二是两者之间是嵌套或网络化的关系。现实中，这些关系很可能是混合在一起的，并受到背景、环境或规范的影响。
总之，我们正在面临着如何引导和指导未来研究系统的重要问题。一方面，对独立探究和自主研究的关注有着悠久且丰富的历史；另一方面，社会需要解决的问题越来越复杂，这给研究带来了越来越大的压力，要求通过研究提供解决方案和拓展知识。通过社会影响力评估这一工具，我们有可能提供进一步促进研究为社会作出贡献所需的条件和激励。
全文及参考文献见Palgrave Communications，2018年第2卷，原文链接：https://www.nature.com/articles/palcomms201673#article-info
转自：“复旦新学术”微信公众号
如有侵权，请联系本站删除！
