以下文章来源于复旦智能评价与治理 ，作者FD智能评价与治理
为探索科学落地的学术评价体系，推动新时代学术评价的改革和实践，复旦大学国家智能评价与治理实验基地与复旦新学术共同开设“新评价”栏目，以“知评价”“谈评价”“践评价”等话题聚焦、共议当代学者共同关心的学术学科评价的理论、方法与实践问题，为新时代中国哲学社会科学的良性发展与繁荣、建构中国自主的知识体系贡献绵薄之力。
摘要：当前高等教育中评估学者及其工作的机制是不可持续的，其负面影响愈发突出。现有的评估体系依赖于一些有限的指标，不能识别和奖励健康学术生态系统所需的多重依赖。根据HuMetricsSSH倡议，本文认为，通过将价值观与实践相结合，认识到使工作成果丰富的重要过程，并将我们的质量指标建立在学术界践行我们所倡导的价值观的程度之上，这种以价值观为导向的研究生产和评估方法有能力重塑高等教育文化。
1.引言
当前高等教育中评估学者及其工作的机制是不可持续的，其负面影响愈发突出。现有的评估体系依赖于一些有限的指标，不能识别和奖励健康学术生态系统所需的多重依赖。例如，期刊文章或专著的出版取决于审稿人的反馈，他们的观点和贡献对学术水平有所提升，但他们和他们的工作在很大程度上仍然不为所知、未被承认和被低估。更糟的是，试图以严格量化的方式制定质量和衡量“影响”的传统文献计量学和替代指标(altmetrics)使学术研究变得单一化。学者们越来越意识到，他们正在被易于衡量的指标评估，而不是那些他们在教学、服务和学术方面实际产生的影响的相关指标来评估。这种通过计数来确定质量的方式，只捕捉了一些非常有限的成果实践，而助长了背离个人和集体价值观的不良文化。
扭转这种现象需要在三个层面进行干预：一是要求重新调整学院的学术评估实践，从关注研究成果转向关注学术过程。二是，当研究成果被分解为其组成过程时，应关注进行强化的过程而非最终被强化的结果（如（a）最终成果作为最新学术成果的首要地位，（b）个体学者的彰显）。对最终成果地位的偏重会忽略有助于提高成果质量的其他活动；对个体学者的彰显则会忽略更广泛的学术活动参与者，他们也为此做出了实质性贡献。三是，呼吁各机构建立一套经过协商达成共识的价值观，这些价值观应由学术界商定，并通过学术过程和实践制定。可以通过引导特定机构或特定部门、学校或中心的学者进行结构化对话，将他们与他们开展专业工作和实现机构使命的核心价值观联系起来，发掘被普遍认可的学术习惯，从而为更有意义的评估模式提供框架。
2.不当的激励
评估体系及其激励活动与许多SSH(social sciences and humanities)研究的价值观严重不符。当前的激励机制不仅没有鼓励，反而实际上阻碍了学者开展必要的工作。
指标在SSH领域的应用引发了相当大的质疑。这种评估方法既不能准确评估SSH的质量和影响，也不符合SSH研究人员的最大利益。Jeanette认为，SSH领域的大部分学者都十分抗拒当前的衡量体系，因为这一体系“排斥非传统的学术成果和跨学科研究，难以进行子学科应用，产生性别偏见，使学院被进一步商业化”。这一体系本质上偏向于快节奏、高竞争和以论文为重点的学科，即使是替代计量学也无法展现SSH研究参与的广度。
鉴于当前高等教育评估体系所带来的不当激励，学者们以自私自利的方式行事也不足为奇。这种不良文化是由一种新自由主义意识形态所造成的，这种意识形态将教育理解为一种在竞争加剧的环境中以特殊目的为导向的私人利益。我们认为，这种不良现象主要是由三个方面导致——普遍存在的竞争文化、学术周期的节奏加快以及与对核心价值观的偏离：
（1）对个人卓越的追求主导了高等教育，这推动了声誉方面的激烈竞争。这种无处不在的竞争(面向真实或想象的有限资源)破坏了学术合作和知识的共享创造。
（2）在学术市场中建立并保持地位的动力也扰乱了学术周期的节奏。学术工作受到聘期和成果指标等方面的时间限制，破坏了真正想要有所作为的研究。良好的学术过程需要更长的时间周期，这种扭曲的时间关系对学术研究和学术社区都带来了不利影响。
（3）对价值观的偏离是极其有害的第三个维度。事实上，SSH学者们发现，学者们自己的价值观与他们认为学院应持有的价值观之间存在明显的不匹配。Schol最近的一项调查写道，“我们的研究表明，教职工受到这样一种观念的引导——他们的同行更加关注期刊声望、期刊指标和财务，而他们自己更看重读者和期刊开放获取”。该研究表明，初级教师倾向于调整他们的行为，去迎合高级同事的价值观：初级和非终身教授似乎认为对他们的评估最关心的是论文的发表频率和是否在顶级期刊上发表，但终身教授通常持有更微妙的观点。感知价值和实际价值之间似乎出现了一种奇怪的不匹配。
3.向价值观进行有意转变
当前的指标破坏了为产生高质量学术而创建的生态系统，不能为学术实践的广度丰富和深度延申提供支撑，不利于提高学术质量。当前的评估机制基于对“学术研究”的单一定义进行着长期运作，而该定义仅关注一些有限的成果(主要是专著和文章)。如果关于“卓越”和“质量”究竟是什么，以及其他人认为它们是什么的观念已成为无根之木，那么为稳固学术“卓越”的新且更深层次的根基做准备的第一步就是重新调整评估体系，明确理解能够塑造最高质量学术研究的价值观。进行结构化对话能够激发最具创新性和有意义的学术价值观，这会产生变革性的力量，因为它使我们能够将我们最关心的价值观与产生最高质量学术的实践结合起来，成为实现卓越学术的催化剂。通常，学院使用声誉(如被出版商、“同行机构”以及其他代理方的认可)来代表卓越或质量。HuMetricsSSH倡导的方法并不是专注于成果并为它们单独分配“卓越”定量指标，而是将重点重新聚焦于学术中的系列过程——这种调整能够扩大“重点”范围，并将成果分解为其构成过程，这可以使我们认可和奖励提升作品质量的诸多学术实践。
对学者和学术研究进行定量评估的大量量表和框架，可能有助于对与质量有关指标相关的广泛学术活动有一个表面的了解。特定于机构、项目、学科、团体和个人的基于背景和价值观的框架则能够更有效地确保对学术实践和成果质量的任何评估都符合（a）核心价值观的标准或组织使命，以及（b）学者个人的价值观或职业动机。我们所提倡的共性价值观和价值观制定方法可以更加负责任地推进机构使命，并更加有效地帮助个别学者从事高质量且有意义的工作，对学生、学者以及更广泛的公众的生活将产生积极的变革影响。
4.开发价值观框架
新冠疫情之前，我们的项目团队一直在美国研究密集型机构开展一系列的面对面研讨会，旨在帮助学术教职员工(包括行政人员、图书馆员、研究人员和其他人员)对他们个人和机构的价值观建立起共同的理解。在大多数机构中，自上而下的价值观通常隐含于或明确地嵌入在学院和大学的使命陈述中。但这些价值观没有考虑（a）个体教职员工的社会职业动机和价值观可能是什么，（b）如何将机构或个人的价值观转化为教师个人的学术实践，（c）机构和学科如何承认和奖励能够反映这些价值观的学术工作。我们与这些机构的团队合作有三方面：（1）在特定机构中促进讨论该机构声称重视的内容与他们所评估和奖励的内容之间的差异；（2）使学者和管理者想象如果采取与价值观一致的评估、奖励和认可方法，他们的机构会是怎样；然后（3）带领他们探索如何改变个人实践、部门政策、学院和大学的决策以及相关程序，以制定和激励这些价值观。这些干预措施可以以针对个别教职员工的个性化任期和晋升计划的形式进行。
2017年10月HuMetricsSSH价值观研讨会的经验为密歇根州立大学文学院将价值观制定方法纳入机构决策提供了依据。学院在各部门和项目确定的核心价值观的基础上，将公平、开放和共同体确定为学院的核心价值观。
HuMetricsSSH倡议是追求更加有意识地将价值观与学术研究相一致的诸多努力之一。除此之外还有《旧金山研究评估宣言》（DORA）、英国《负责任的指标倡议》、《莱顿宣言》、欧洲人文社科研究评估网络（ENRESSH）、法国EvalHum，以及国际研究管理协会网络（INORMS）的研究评估工作组。这些行动多年来一直致力于改变根深蒂固的学术评估文化，并促进对研究评估过程采取更负责任的方法。
这些倡议都有一个潜在的愿景，即承认和鼓励高质量的SSH研究和教学，并保护SSH学者免受指标误用和滥用的影响。这些指标只承认已经存在的系统中的一小部分学术劳动，高度关注一小部分学术劳动者和产出。在其他研究评估政策专家的努力的基础上，我们在HuMetricsSSH倡议中提出了一种独特的“价值观至上”方法，旨在通过让个人和机构对他们塑造的价值观负责，从内部转变高等教育工作。
5.迈向以价值观制定指标的分类法
针对当前对评估指标的偏重以及它们所使用的衡量标准——引用文献，我们通过扩大来源范围来丰富它们。我们的方法与替代计量学的不同之处在于我们的目的和阐述。例如，PlumX Metrics的目标之一是“通过同类比较实现分析”，Altmetric向研究人员承诺其提供的数据“可用于与您所在领域的其他研究进行比较，这意味着您可以看到同行的工作在哪里获得了吸引力”。这种对市场分析和同行竞争的关注当然可以成为影响力的一种衡量标，但这可能会导致个人和机构产生相应环境中的不良行为——这并不能体现学者们如何推进个人和机构的价值观，仅能为总结性评估方法提供一些支持。第一种类型的价值观指标可以称之为扩展范围和深化重点指标。例如，虽然期刊中的引用经常用作出版物影响力的指标之一，但教学大纲中的引用，也可以证明该思想在师生中变得流行，从而作为学术研究的一个衡量指标。它将关注点从出版的内容转移到教授的内容，从学者正在阅读的内容转移到学生正在学习的内容，从会议中转移到课堂上。第二种价值观指标可称为代替指标。这种指标是为了营造一种宽宏的文化，以及解决学术生态系统中只奖励依赖于大量隐性劳动的有限成果(例如出版物)的不平衡问题。我们可以找到一些确定的方法来表彰那些为同事成功做出贡献的教师。例如，导师可以将指导一个学生获得成就的传统指标(同行评议期刊出版物、会议邀请、专著出版物等)作为体现其有效指导的指标。
第三种价值观指标可以从一些学术机构开始将积分系统整合到其年度审查过程中看出。这有利于为受团队重视但不一定被广大学术界重视的活动给予荣誉。我们可以将其称之为价值观驱动的量化指标。这种指标的显著特征是，一个群体共同决定采用一个稳健的积分系统，准确地为他们认为有价值的各种活动赋予权重。
6.以价值观制定方法的变革力
如果如我们所建议的那样，深化学术“卓越”意义的第一步是重新调整我们的评估体系，明确理解塑造我们学术研究的价值观，那么我们就可以发现，“优质”学术研究正在有意识地践行其价值观。在研究评估方面，“卓越”的概念长期以来一直被讨论并且饱受质疑，我们一再声明，“卓越”本身就是一个用来评估学术工作和机构的错误指标。我们的方法旨在将“卓越”和“质量”的意义建立在学术研究在多大程度上体现了一套适用于特定背景并在真正的互惠对话中发展起来的共同既定价值观之上。
简言之，我们认为，为了提高学术研究的质量，必须建立基于价值观的框架，它与个人和机构的价值观保持一致，并认可和奖励践行这些价值观的行为。在这里，学术质量不取决于抽象的标准，因为这些标准会使研究单一化，使我们缺乏工作活力，并滋生不良的竞争文化。学术质量应取决于学者将其价值观付诸于实践的能力。从抽象的“卓越”标准向以价值观为导向的学术研究进行转变，有能力重塑高等教育文化，使学术对那些从事学术工作的人更有意义，对参与学术的社区更有价值，对那些需要评估学术的人更加透明。
（全文及参考文献见Humanities ＆ Social Sciences Communications ，2020年第7期，原文链接：https://www.nature.com/articles/s41599-020-00647-z，本期推文为节选摘编，略有删减和编辑。)
转自：“复旦新学术”微信公众号
如有侵权，请联系本站删除！
