以下文章来源于复旦智能评价与治理 ，作者FD智能评价与治理
为探索科学落地的学术评价体系，推动新时代学术评价的改革和实践，复旦大学国家智能评价与治理实验基地与复旦新学术共同开设“新评价”栏目，以“知评价”“谈评价”“践评价”等话题聚焦、共议当代学者共同关心的学术学科评价的理论、方法与实践问题，为新时代中国哲学社会科学的良性发展与繁荣、建构中国自主的知识体系贡献绵薄之力。
摘要：近年来，受到公共资助的研究会产生社会影响力的观念已经从一个与商业创业相关的边缘问题转变为一个愈发重要的公共政策问题。这促进了学界对科学政策研究，进一步调查研究的社会影响力，并探索学术知识是如何与现实世界的问题或需求相结合的。相关研究大部分集中于事后影响力，即个别研究活动完成后所产生的影响力，影响力的事后评价也有很多研究。然而，影响力的事前评价对于资助决策愈发重要，但学者们对在考量研究项目提案时应如何评估影响力却知之甚少。本文开发了一个用于评估研究的事前影响力的概念框架，其假设是研究提案是对其实现影响力的“承诺”。我们建议评估者可以通过考虑两方面要素来评估这一“承诺”，一是考察将研究人员的知识与非学术用户结合起来的活动，二是考察这些活动在整个项目提案中的相互依赖性和一致性。
关键词：事前评价；研究评估；研究影响力；社会影响力；知识交流；科学政策
当代学术中最重要的导向机制之一是由第三方对研究计划、研究项目、研究成果或研究结果进行的评价。然而，并不是所有的评价都与研究的学术价值有关，它也可能与资源分配或学界之外的价值有关。评价对于构建有序的学术共同体具有引导作用，虽然在影响力评价的过程中，这种引导作用可能会产生意外的影响，但我们仍应探索和完善理论机制，并结合研究人员的建议不断调整，以满足学界之外的引导和期望。
01
✦
评价在科学治理中的作用
1.1 评价是科学治理中的导向信号
评价是科学转化过程中的重要机制，它可以决定哪个项目被资助、哪篇论文被发表、哪位学者会得到晋升，这些评价都是由学界成员在良好运行的同行评议过程中做出的。评价既基于现有规范，也不断融入新的评价标准。这些新的标准以通常一种对学界有益的形式被共同理解，并在决策上达成内部一致，从而对该领域发展作出贡献。首先，评价的影响是直接的，它们规范着研究的转换过程(例如通过提交提案或论文)。撰写研究计划的研究人员会预想评价者将如何作出决定，然后更细致地开展他们所提议的研究活动。研究人员还可以通过多种方式(如参考过去的成功经验)从评价中获得“引导信号”，并将其融入未来的研究计划中。因此，评价不仅发挥着“守门人”的角色，还向研究人员发出信号，告诉他们的读者(更)感兴趣的是什么。其次，研究人员在这些信号传递过程中扮演着不同的角色——审稿人、编辑、同事、主管和同行等等。通过参与评价活动中的各种反馈和审查过程，研究人员可以深入了解什么是好的研究，同时也有助于形成好的研究。评价促使研究人员思考什么是好的研究，并通过成果出版、资助、奖励、资源分配等方式促使这个领域的研究人员做出更多好的研究。
1.2 事前研究评价的导向作用
事前评价的导向作用不仅体现在研究人员的研究提案上，还体现在评价决策和审查报告方面，从而有助于形成关于“什么是好的研究”的认知。尽管事前评价对于保证研究的可信度和引导研究过程上具有关键作用，但人们对其了解甚少。事后评价是对已经取得成果的实质性评价，用一定的标准来判断它们是否合理、合乎逻辑、优秀或有影响力。这些结果常常作为参考材料，来帮助评价者验证研究人员所提供成果的真实性。相反，事前评价是基于对提案的逻辑一致性的考察和主要研究人员的记录，来预测提案(和提交者)是否有可能实现其承诺。因此，要对一项研究的社会影响力进行事前评价，不仅要识别和资助可能会产生影响力的项目，还要以目标为导向，认识到有影响力的研究是保障学术界有序发展的理想特征。事前评价则会促使研究人员考虑(在他们的提案中)他们的研究将如何产生影响。
02
✦
在研究项目提案中承诺开放性的
研究实践
社会问题(非学术知识)的引入对研究提案施加了额外约束，要求提案必须证明该项目将如何创造满足社会需要的知识。研究提案引导评估者做出一系列决策，并解释做出这些决策的原因和合理性。因此，（在研究提案中提出的）未来研究行为“承诺”的可信度取决于该研究承诺在多大程度上考虑社会问题所施加的约束。来自学术和社会两方面的约束都影响着研究人员对研究活动、合作伙伴、资助和传播的选择。这使得对潜在影响力的事前评价成为一项双重任务：一是要回顾性地确定研究的框架、问题化(问题呈现)和概念化(化为概念)，以及对来自社会用户的知识的依赖性，二是预测性地说明项目的其它部分如何与这些约束保持一致，以保持项目与社会问题的耦合，从而保证研究的可用性。图1描述了事前影响力评价对这种约束的一致性进行评估的过程。为了撰写提案，研究人员必须首先明确研究框架、问题化和概念化，然后是明确方法论、数据和分析。这表明，事前评价可以单独考虑这两方面要素：对于已作出的决策可以通过考量社会问题对提案中做出选择的影响程度来评估；对于未来的决策可以根据项目中动员和启动的要素(这些要素用于确保这些未来活动能够创造满足社会需要的知识)的程度来评估。同时这两方面要素必须考虑提案如何在整个研究实践中展示其与非学术知识和学术知识的耦合。
提案可以通过在研究框架、问题化和概念化的过程中创建依赖关系的方式展示过去对社会知识的利用，即回顾性影响力。“框架”可以被视为一个边界过程，它定义了应审查的内容以及该框架是否允许包含用户感兴趣的对象和主题，以确保与实际问题的关系更为密切。“问题化”包括识别框架内的不一致性、知识方面的差距以及为什么应该填补这一差距。“概念化”涉及定义需要理解的知识概念，以便创造可以填补空白的知识。
提案可以阐述社会知识如何对研究人员未来的项目决策产生影响，从而可以根据社会知识影响决策流程的能力来进行预测性评估，例如考察方法论是否与框架和问题化一致，数据是否能提供足够的信息来收集现实动态，分析是否会创造知识以解决初始框架中的问题等。撰写提案的研究人员必须认真考虑社会知识及其对学术自由构成的限制，就像学术体系在学术方面施加的限制一样。研究人员应该对社会框架和学术框架施加的约束予以区分，以确保创造社会贡献(可用的知识)和学术贡献(优秀的知识)。
03
✦
建立开放的事前研究评价框架
在研究的事前评价中，一致性是根据研究人员与已有学术知识相结合的程度来评价的。考虑到回顾性影响力，一致性可以根据与问题框架、性质和其他研究人员构建问题方式的一致程度，在框架阶段被识别；在问题化阶段，可以通过证明现有知识足以解决问题来体现；在概念化阶段，可以根据定义可靠和连贯的概念类别来体现。同时，也可以通过对研究施加一定的功能约束，以确保它提供与社会相关的产出(这里的社会相关性被定义为研究与非学术知识的耦合)，从而区分回顾性和预测性的研究实践。回顾性实践是指在提交提案时已经进行的与研究项目框架、问题化和概念化相关的实践。构思实践（研究人员能够发现真正的社会问题）可以与研究的问题化以及框架相关；规划实践体现在是否纳入社会用户感兴趣的问题和现象；涉及用户的执行实践不仅包括数据收集，还包括协商和治理，以反映对社会用户和研究人员都重要的事项；传播实践要允许社会用户对新的现象进行反馈，从而形成(下一步的)框架和问题化；重构实践要允许研究人员根据可能会影响框架的非学术经验调整其长期研究路径。预测性实践是指提案将在研究项目过程中进行的与方法论、分析和产出相关的实践。构思实践涉及与社会伙伴进行持续对话，从而确定传播和传出方面的问题；规划实践意味着在设计提案时与社会用户接触，在方法论选择和产出选择上体现用户影响；执行实践涉及社会用户的知识资源，要选择对社会伙伴知识资源有实质依赖的方法；传播实践涉及双向传播活动，通过组织活动/出版物建立与社会伙伴的依赖关系；最后，重构实践，要确保在一个以高度社会互动为特征的研究环境中，可以更容易地获得社会用户的知识，以开发方法、收集数据、分析和输出。表1对上述要素进行了总结，我们提供一种了开放性的评价框架并建议予以实施，以便对研究提案进行更有意义的事前评价，评估其创造可用知识的潜在承诺。
未来对研究的事前评价实践可以根据案例研究来检验这一分析框架的适用性，并探索其作为评价工具的有效性和潜在效用。该框架通过提供一个共同标准来评估研究所提出的潜在社会影响力的可信度，从而帮助评价者进行决策。在评价过程中，评价人员之间是否对研究的影响力评价达成高度共识至关重要，这是保证同行评议过程可靠性的关键。评价者可以根据要进行的活动链(以及它们与非学术知识的耦合程度)以及它们的连贯性和一致性程度来评价研究所提出的潜在影响力的可信度。此外，我们的框架可以作为一个具有启发意义的工具，帮助研究人员反思在研究设计中如何提高实现其学术影响之外的社会影响的能力。本框架可以帮助研究人员在他们的研究过程中有意识地设计研究活动，提高其与非学术知识的耦合度，而不影响其学术上的独立性。
虽然本框架侧重于探查研究项目的内部动态，但还有其他因素可能会塑造影响力，例如研究项目的外部环境、制度因素或政治背景等。此外，研究的影响力在本质上是不可预测的，预期之外的因素可能在影响力实现方面发挥关键作用，这是本框架无法捕获的，但本框架在评价研究事前影响力的背景下仍是有价值的。
(全文及参考文献见Research Evaluation 2022年9月Special Issue Paper，原文链接：https://academic.oup.com/rev/advance-article/doi/10.1093/reseval/rvac023/6712277#373825192，本期推文为节选摘编，略有删减和编辑。)
转自：“复旦新学术”微信公众号
如有侵权，请联系本站删除！
