以下文章来源于复旦智能评价与治理 ，作者FD智能评价与治理
为探索科学落地的学术评价体系，推动新时代学术评价的改革和实践，复旦大学国家智能评价与治理实验基地与复旦新学术共同开设“新评价”栏目，以“知评价”“谈评价”“践评价”等话题聚焦、共议当代学者共同关心的学术学科评价的理论、方法与实践问题，为新时代中国哲学社会科学的良性发展与繁荣、建构中国自主的知识体系贡献绵薄之力。
摘要：本文探讨了使用文献计量方法评估人文学科研究的可能性。回顾近期为人文学科开发的文献计量方法，结果表明应进一步考虑人文学科研究领域的知识组织差异、认识论差异和研究实践差异。在许多人文学科中，对同行的较低依赖、跨学科性和研究的分散性影响了文献计量方法的应用。本文指出了一些有应用前景的方法，并研究了开发“人文学科文献计量学”的可能性。本文认为，在构建质量指标时应考虑特定学科的知识特征，将人文学者充分纳入质量指标的设计过程中。
1
引 言
人文学科的文献计量研究愈发成熟，并试图从自身角度出发理解人文学科——即关注特定领域，而不是聚集在整个“人文学科”或“社会科学与人文学科”。对学科实际特征的关注促进了面向人文学科的文献计量方法的开发，包括在已建立的引文数据库中使用非来源项目（non-source items，即未收录文献），扩大质量标准以及引入不同类型的方法和材料等等，这些举措也产生了一定成效。
当前人文学科的界限愈发模糊，学科格局不断变化，因此无法定义明确的人文学科领域集合。但我们可以提炼出相对核心的人文学科领域，包括艺术、哲学、音乐、语言、文学研究和宗教研究。人文学科是一个异构的学科集合，以期刊为基础的语言学等领域与文学研究和宗教研究等更多以专著为基础的领域之间存在重大差异，本文主要关注后者。
本文首先概述了人文学科文献计量研究的背景，然后讨论了最近开发的符合人文学科研究实践的文献计量方法，包括新数据库、新来源和方法以及已经实施的评估体系。接下来，引入了将研究领域的组织和出版与引用模式相联系的相关理论概念。本研究使用这些概念来解释人文学科研究的组织及其对文献计量的影响，探讨建立人文学科文献计量学的可能性，并对未来研究提出建议。
2
简短回顾：
人文学科的文献计量学
2.1 出版模式
在关于人文学科出版实践的讨论中，尤为关注专著的作用。专著比期刊文章更能触及读者群体，并且被认为在面向非学术读者方面更加有效，撰写书籍可以看作是面向学术读者和大众读者的努力。然而，期刊是人文学科研究人员最常使用的发表渠道。Kyviks关于挪威人文学科学者出版实践的研究表明，在期刊或专著上发表文章是最常见的产出形式。最近对Flanders (比利时)人文社会科学出版模式的探索表明，社会科学的期刊出版在增加，而人文学科的期刊出版在减少，但出版物尤其是英语出版物的产量普遍增加。瑞典乌普萨拉大学文学院最近对出版模式进行的一项研究也得出了类似的结果——国际出版物的数量正在增加(包括德语或法语出版物)。研究人员认为虽然当前的出版模式发生了较大变化，但实质上的变化不大。
2.2 引用来源
人文学者大多发表期刊文章和书籍章节，但在引用上偏向于书籍。因此，在许多领域，引用文献和被引文献之间的重叠很小，人文学者既使用原始文献，也使用发表很早的文献。但不同人文学科在引用来源方面存在显著差异，对书籍的引用比例从宗教的88%到语言学的49%不等(图1)。
早期发现表明，宗教、哲学和文学是基于书籍的学科，期刊则在历史和语言学中发挥着重要作用。书籍经常在社会学和图书馆与信息科学(LIS)等社会科学领域被引用，因此，人文学科的研究领域并不能只计算期刊文章引用。人文学科能在多大程度上借鉴自然科学实践一直存在争议。Larivière等人比较了人文学科、社会科学、工程和自然科学在期刊出版方面的情况，发现1981~2000年间，工程和自然科学、社会科学和人文学科期刊的引用普遍增加，但具体到历史、法律和文学研究等特定领域时，该期间的期刊引用有所减少。
2.3 引用来源的语言和年代
语言在自然科学中很少成为问题，因为英语是通用语。这在人文学科中有所不同，因为社会科学和人文学科的许多领域都具有很强的区域或国家导向，特别是在文学研究、社会学和政治学等领域。以英文资源为主要索引的数据库不能充分覆盖这些领域，因此当使用Web of Science或Scopus等数据库来研究人文学科的研究领域时，就会产生问题。文学研究是一个以非英语来源发挥主要作用的领域，因此研究必须包含非英语来源。人文学者使用的资料涵盖了广泛的年代跨度，研究所使用资料的来源年代与文献检索相关，而跟当前的研究热点不那么相关。因此，在进行文献计量学分析时，很难辨别人文学科的研究前沿，它需要较长的时间窗口。计量研究表明，人文学科中最常被引用的出版物类型是专著，被引用参考文献的跨度很大，英语以外的语言在许多领域发挥重要作用。许多学者都认同这些特征，但还有一些问题尚未解决，一是人文学科学者的出版实践是否正在适应在自然科学领域中盛行的规范，二是跨研究领域的“研究成果”日益重要，这将如何影响人文学科的出版实践尚不确定。
3
面向人文学科的文献计量学
3.1 图书引文索引
要解决引文索引中非期刊出版物覆盖率低的问题，解决方案之一是为书籍建立索引。2011年推出的图书引文索引(Book Citation Index)是改善人文学科覆盖面的一次尝试，但该索引的范围非常有限。初步研究还发现，许多研究领域中的书籍引用率都很低。因此，目前图书引文索引对评估研究的用处不大，但可以提供有关期刊文献与书籍之间关系的有用知识。
3.2 非来源项目
非来源项目可以在图书引文索引推出之前，跟踪未在引文数据库中被编入索引的书籍的引用情况。对非来源项目的引用已被用于研究影响力和跨学科性。但是这种方法涉及对所用数据大小的限制，并且需要进行大量数据清理，因为引用的来源不是标准化的。另一个限制是它仅能从人文学科许多研究领域中的一小部分文献中收集引文，原则上仅限于英文出版物，并且由于涉及人工工作，分析也仅限于小型数据集。
3.3 谷歌学术、谷歌图书搜索
代替传统引文索引的另一种选择是谷歌学术(GS)或谷歌图书搜索。使用GS的主要限制是分析不能自动化，数据难以处理。必须对每一篇文章进行检查，并且需要对每一篇文章进行新的搜索。GS的优点是覆盖范围更大，但数据的可靠性需要关注。
3.4 特定数据库
对现有数据源存在限制这一问题的解决方案是建立特定引文数据库以适用特定情景。“特定数据库”的构建使得分析通常未在引文索引中被编入索引的材料成为可能。然而，手动获取参考文献然后在数据库中对其进行索引所涉及的劳动量巨大，这在本质上限制了所能使用数据集的大小。
3.5 图书馆目录
图书馆目录是评估书籍影响力的可能数据源。其基本理念很简单：收藏一本书的图书馆越多，它的影响力就越大。然而，在更大范围内实施该方法将很困难：图书馆经常打包订购，这一方法不能涵盖开放获取图书或电子书，基于这种方法的评估体系会使负责采购的图书馆员处于微妙的位置。此外，作者和出版商也可以轻松地对这一体系加以操纵。
3.6 书评
书评在人文学科中具有重要的把关功能，评论往往被视为体现该书价值和影响力的指标。当涉及面向书籍领域的文献计量时，书评也被提议作为重要的分析单元。Zuccala等提出，研究人员撰写的书评数量可被视为衡量一本书籍是否成功的标准。但是，被审阅书籍的人往往是有所成就和年长的研究人员，这可能会对年轻和不太知名的学者不利。另一种选择是将书评视为能够体现书籍质量的“大量引用”，这种方法在人文学科中发挥着重要作用，但许多书籍从未被评论过，书评的整体覆盖率太低而无法进行系统评估。
3.7 出版物的数量与质量
还有一种方法是对出版物进行计算，这使评估所有领域的研究成为可能。可以引入定性方法，以规避低质量出版物的泛滥。Finkenstaedt等提出了根据类型和渠道权衡出版质量的想法。最著名和最有影响力的出版物计数与质量评估系统是“挪威模式”，用于分配挪威大学的资源。然而，由于“学术文献”定义的局限性，许多人文学科的出版物未包括在内，著名的“非学术”出版社出版的专著也很少被计算在内，导致所涵盖的人文学者的出版物总份额较低。这一劣势也可被部分改进——如出版物按作者分类，与共同作者普遍存在的学科相比，人文学科的学者将会从中受益。
3.8 替代计量
Altmetrics(基于社交网络数据的计量)是一种很有前景的方法。这些新的“替代”措施不仅提出用既定方法解决问题，还能够衡量学术期刊引用以外的影响力。最流行的数据源有Twitter、Mendeley等，但它们对社会科学和人文学科文章的覆盖率较低，并且英文期刊文章的主导地位最为显著。文献计量研究受数据源影响很大，尤其是引文索引，这些数据源的内容、可用性和覆盖范围决定了研究的进行方式。文献计量学因其对可用数据源的依赖而受到批评，更何况这些数据源是由私营公司提供的，难以适应学者自身领域的需求。
应明确，文献计量研究的主要目的不是研究数据库或覆盖范围，而是加深我们对科学和研究中交流结构的理解。在这项工作中，我们不能局限于数据库内容和覆盖范围的问题，而是要将重点放在不同学科研究的组织和特征上。
4
研究领域的知识组织
及其文献计量结果
4.1 碎片化、分散性的研究领域
人文学科中的大多数学科领域在知识组织上是多样且异质的，因为研究是个人化的，缺乏协调，且专业化程度有限。研究人员及其使用的方法各不相同，在研究哪些主题以及应该如何处理这些主题上存在很大分歧，并且缺乏统一标准，以致难以解决争议。我们可以把研究领域知识组织的特征理解为“农村”和“城市”的特征。农村和城市之间的区别在于学科或研究领域的“密度”，如果许多研究人员都在研究同一个问题，那么该研究区域可被描述为“城市”(如生物医学)，而人员较少的学科则被认为是“农村”(如文学研究)。
4.2 引用实践和引用模式
本文建议基于研究领域的知识特征进一步理解引用实践和引用模式：一个缺乏核心、边界较弱的学科容易受到其他研究领域的影响，因此在参考文献的引用实践中更具跨学科性。引文模式还取决于从事特定主题的研究人员数量，“城市”领域的出版速度要比“农村”领域快得多。在非学术受众发挥重要作用的领域，学者可以选择一种同时服务于学术和大众受众的引用风格，如脚注。有两个主要方面影响着人文学科的引用实践和引用模式：对同行的低依赖性和该领域的“农村”组织。多样化的读者群使个别研究人员有可能在自己的领域之外找到读者，其结果是学者们较少依赖于同行的认可。人文学科中许多领域研究的高度不确定性和对同行的低依赖性给了个体学者很大的自由来追求独特的研究主题，这导致研究人员分散在了许多不同的主题上，他们之间几乎没有交流。因此，人文学者在选题、发表渠道和引用对象等方面具有更多可能性，但这又反过来限制了以引用形式获得“收益”的可能性。因此，引文数据库中出版物的低覆盖率并不是引文分析不适合作为人文学科影响力指标的最重要原因，相反，笔者认为人文学科的社会和知识组织特点，决定了引文分析不适合这些领域。
5
结论
文献计量学界反对使用传统的文献计量方法来评估人文学科，特别是利用引文数据库索引的期刊进行引文分析。研究表明，Web of Science或Scopus等数据库中对人文学科的覆盖范围不足以进行评估，也不能代表人文学科的研究。研究评估系统可通过覆盖所有的学术出版物来解决这一问题，然后根据出版渠道以及期刊或出版商的“质量水平”，对出版物进行加分。但是，“学术出版物”的定义是什么仍具争议。对于什么是人文学科的重要研究成果，目前还没有达成共识，在国际期刊上发表的同行评议期刊文章，由著名学者编辑的选集中的一章，或由著名非学术出版商出版的专著，都可以被视为重要的成果，面向大众受众的出版物同样应得到高度的评价。因此，在评估研究时对何种出版物予以重视，应取决于我们对人文学科及其社会使命的看法。评估人文学科的一个重要问题是衡量研究影响力所需的时间跨度很长，必须考虑出版物的生命周期以及随着时间推移的引用分布。在开发能够准确描述人文学科的文献计量方法时，我们必须超越覆盖问题，关注所涉及领域的社会和知识组织特征。应认识到，人文学科内部的研究实践存在巨大差异，同一学科内专业之间的差异也很明显。此外，由于技术发展(数字化)、外部需求(研究评估、开放获取)和关于研究目的的内部协商，研究实践也在不断变化。为了跟上这些发展，需要对学术交流(包括文献计量方法)进行进一步研究。文献计量学可能会在未来研究人文研究的更广泛影响力的尝试中发挥重要作用，引文分析可用于加深我们对这些领域研究的组织和发展的理解。
因此，展望未来面向人文学科的文献计量学，首先，建议关注更具体和更受限制的研究领域。进一步关注特定领域和特定专业可以更好地理解人文学科的出版和引用模式，开发新的和更易于使用的文献计量工具和方法。其次，尝试真正系统地衡量社会影响力。这些措施不仅对评估人文学科，而且对于衡量研究对社会的普遍影响力都会有重要贡献。最后，将“计量文化”与人文学科相结合。长期以来，自然科学深受影响因子影响，这些领域的研究人员经常计算自己的h指数。但人文学科的学者对文献计量方法不太熟悉，并担心这会导致不公正的排名和评估。人文学科的组织和特征将如何更好地应对外界的计量和评估尝试？这个问题的答案不仅对文献计量学很重要，对人文学科的未来也很重要。
（全文及参考文献见Research Assessment in the Humanities：Towards Criteria and Procedures，第115-131页，原文链接：https://link.springer.com/chapter/10.1007/978-3-319-29016-4_3，本期推文为节选摘编，略有删减和编辑）
转自：“复旦新学术”微信公众号
如有侵权，请联系本站删除！
