Fractional counting of citations in research evaluation: A cross- and interdisciplinary assessment of the Tsinghua University in Beijing
在对多学科或跨学科单位进行科学计量评价的情况下，有可能将苹果与橘子进行比较：必须将每篇论文与适当的参考集进行比较。我们认为，引用的论文集可以被认为是该领域的影响的相关代表。为了规范不同领域的引文行为差异，引文可以按引用论文中参考文献列表的长度比例进行分数计数。这种新方法使我们能够在论文水平上比较具有不同学科隶属关系的单位，并评估各组之间差异的统计学意义。清华大学的27个系，在北京进行了比较。其中，汉语言文学系在排名中由第19位提升至第2位。27个部门中有19个部门的总体影响在5%的水平上没有显着差异，因此对不同的引用潜力进行归一化。
2011-01-25 cs.DL
Overton -- A bibliometric database of policy document citations
本文介绍了奥弗顿政策文件数据库的分析，描述了索引的材料和性质，他们引用学术文献的组成。我们报告了数据的各个方面，包括增长，地理分布，语言代表性，包括政策来源类型的范围，以及文献中引用链接的可用性。通过对已建立的期刊分类系统的纵向分析，揭示了引文的规模和学科重点，并确定了开发领域规范化引文指标的可行性。我们研究了英国资助者收集的自我报告的资助成果与奥弗顿数据库中索引的数据的对应程度，以及英国卓越研究框架（REF）2014年衡量的同行评审影响评估与衍生引用指标的相关性。我们的研究结果表明，对于一些研究主题，如健康，经济，社会关怀和环境，奥弗顿包含了一套核心的政策文件，有足够的引用链接到学术文献，以支持各种引文分析，可能是翔实的研究评估，影响评估和政策审查。奥弗顿的索引数据与通过自我报告资助结果收集的数据一致，并与同行评审对某些学科影响的评估相关。
2022-01-19 cs.DL
Informed peer review for publication assessments: Are improved impact measures worth the hassle?
在这项工作中，我们问是否以及在多大程度上应用预测出版物的影响比早期引用，对评估个人科学家的研究表现的影响。具体来说，我们衡量意大利教授在科学和经济学在一段时间内的总影响力，首先通过早期引用来评估他们的出版物，然后通过早期引用和主办期刊影响因子的加权组合来评估他们的出版物。正如预期的那样，这两个指标的得分和排名显示出很强的相关性，但在许多领域也发生了重大变化，主要是在经济学和统计学，以及数学和计算机科学。一个领域中未被引用的教授的比例越高，引用时间窗口越短，就越容易求助于上述组合。
2021-03-25 cs.DL
Relative Citation Ratio (RCR): An empirical attempt to study a new field-normalized bibliometric indicator
Hutchins，Yuan，M.，Santangelo（2015）提出了相对引用率（RCR）作为新的领域标准化影响指标。本研究通过将其与单个出版物的水平相关联，并与同行对出版物的评估和已建立的字段标准化指标进行研究。我们发现，RCR高度相关的既定领域标准化指标，但RCR和同行评估之间的相关性只有低到中等。
2016-02-01 cs.DL
Enriching the scholarly metadata commons with citation metadata and spatio-temporal metadata to support responsible research assessment and research discovery
在这篇文章中，我们专注于开放的研究信息作为透明和负责任的研究评估和发现研究成果的基础的重要性。我们介绍的工作中，我们支持开放的研究信息共享，特别是，独立和小型开放获取期刊提供元数据的几个开放数据中心（开放引文，维基数据，开放研究知识图谱）。在这种情况下，我们提出了OPTIMETA方式，一种以有效和质量保证的方式集成元数据收集，丰富和分发的方法，即使在小型出版场所中也能采用。我们以两个插件的形式为这种方法设计了一个实施策略，用于最广泛使用的期刊出版软件开放期刊系统（OJS）。这些插件收集、丰富并自动交付文章的引文元数据和时空元数据。我们的贡献，研究评估和发现与链接的开放书目数据是三倍。首先，我们通过倡导通过开放API在发布时收集丰富的、用户验证的元数据来扩大开放的研究信息数据库。其次，我们整合了数据平台和期刊，这些期刊目前由于语言或缺乏大型出版社的支持而未被纳入标准科学计量实践。第三，我们允许基于位置和时间元数据的新用例，这些用例超越了常用的发现功能，特别是使用空间覆盖和研究成果之间新的跨学科联系来评估研究活动。
2023-01-04 cs.DL
Do open citations give insights on the qualitative peer-review evaluation in research assessments? An analysis of the Italian National Scientific Qualification
在过去，一些作品研究了定量和定性相结合的方法，在研究评估工作。事实上，意大利国家科学资格（NSQ），即旨在决定学者是否可以申请副教授和正教授等教授学术职位的国家评估活动，采用了定量和定性评估程序：它利用文献计量学，然后对候选人的简历进行同行审查。《国家统计调查表》将学科分为两类，即基于引文的学科（CD）和非基于引文的学科（ND），这一划分影响了在基于文献计量学的过程的第一部分中用于评估该学科候选人的指标。在这项工作中，我们的目标是探索是否基于引用的指标，计算只考虑开放的书目和引用数据，可以支持人类同行评审的ND和产生的见解，它是如何进行的。为了了解基于引用的（以及可能的其他）指标是否以及哪些指标提供了相关信息，我们创建了一系列机器学习模型来复制NSQ委员会的决策。作为我们研究的主要成果之一，我们注意到候选人与负责评估其简历的委员会之间的引用关系的强度似乎在ND的NSQ的同行评审阶段发挥了作用。
2022-10-23 cs.CY cs.DL
EM and EM'-index sequence: Construction and application in scientific assessment of scholars
大多数科学计量指标只使用一篇文章的引用总数，并产生一个单一的数字来对学者进行科学评估。虽然这一概念计算起来非常简单，但它无法显示学者在一段时间或一年内的科学生产力和影响力。为了克服这一点，已经提出了几个时间序列指标，这些指标考虑了学者整个研究生涯的引文。然而，这些指标未能对具有相同或非常相似的指标值的两名学者进行比较评估。为了克服这一缺陷，提出了h指数序列来评估学者在特定时间跨度内的影响，并比较多个学者在他们的职业生涯中的相似阶段。h指数序列基于h指数公式。与h指数相关的一个主要问题是它完全忽略了科学评估中的过度引用; h指数序列也表现出类似的行为。为了克服这些局限性，本文讨论了EM和$EM^{'}$ -索引序列，并基于89位学者的全部出版物的年度引文计数进行了实证研究。给定年份的EM和$EM^{'}$ -索引序列的元素显示了该年学者的影响。我们的结论是，EM和$EM^{'}$ -索引序列可以作为一个替代指标来评估学者的影响。
2018-06-26 cs.DL
Academics evaluating academics: a methodology to inform the review process on top of open citations
在过去，一些作品研究了定量和定性相结合的方法，在研究评估工作。在这项工作中，我们的目标是引入一种方法来探讨是否基于引用的指标，计算只考虑开放的书目和引文数据，可以产生的见解如何进行人类同行评议的研究评估工作。为了了解指标是否以及哪些指标提供了相关信息，我们建议使用一系列机器学习模型来复制研究评估工作委员会的决定。
2021-06-10 cs.CY cs.DL
How Can Journal Impact Factors be Normalized across Fields of Science? An Assessment in terms of Percentile Ranks and Fractional Counts
我们使用2010年科学引文索引（N = 3，705种期刊）的CD-ROM版本，研究（i）分数计数对影响因子（IF）的影响以及（ii）将倾斜的引文分布转换为100个单位和6个百分位数等级（前1%，前5%等）的分布。这些方法是否会导致期刊的领域标准化影响力？除了两年期的IF（IF 2），我们还考虑了五年期的IF（IF 5），这些IF各自的分子，以及总引用次数，以整数和分数计算。这些不同的指标进行了测试，对假设的分类期刊到11个广泛的领域由专利委员会/国家科学基金会提供统计显着的领域间的影响。使用分数计数，场间方差在IF 5的情况下减少了91.7%，在IF 2的情况下减少了79.2%。然而，引用计数的差异并没有受到分数计数的显著影响。这些结果与以前的研究一致，但分数计数的IF 5的较长的引用窗口可以导致跨领域的归一化的显着改善。
2012-06-18 cs.DL
The validation of (advanced) bibliometric indicators through peer assessments: A comparative study using data from InCites and F1000
F1000的数据为我们提供了一个独特的机会，在一个广泛而全面的高质量评级数据集上调查同行评级和文献计量指标之间的关系。F1000是生物医学文献的出版后同行评审系统。度量与同行评估的比较已被广泛认为是验证度量的一种方式。基于InCites提供的七个指标，我们分析了原始引文计数（引用次数，第二代引文和每引用文档的第二代引文），归一化指标（期刊实际/预期引文，类别实际/预期引文和学科领域百分比）和基于期刊的指标（期刊影响因子）的有效性。该数据集包括2008年发表的125篇论文，属于细胞生物学或免疫学的主题类别。如结果所示，主题领域的百分位数与F1000评分的相关性最高;我们可以断言，对于另外三个指标（引用次数，第二代引文和类别实际/预期引文），与评分的“真实”相关性至少达到中等效应量。
2012-11-06 cs.DL stat.AP
Uncertain research country rankings. Should we continue producing uncertain rankings?
本研究调查了基于引用的国家研究能力评估不准确的原因，发现引用分布偏差导致百分位指标误判国家与机构能力，建议弃用此类指标。
2025-03-20 cs.DL cs.IR physics.soc-ph
Composing a Publication List for Individual Researcher Assessment by Merging Information from Different Sources
引文和出版物概况在优秀项目或职业晋升判断的拨款方面对顶级研究人员的评估越来越重要。标准化平均引用率（Normalized Mean Citation Rate）、hindex或其他区别性指标越来越多地被用来描绘单个学者的特征。众所周知，使用文献计量技术进行个人评估特别微妙，因为错误被平均的机会变得更小，而轻微的不完整性可能会对评估结果产生重大影响。因此，数据的质量对所用方法的合法性至关重要。
2013-07-25 cs.DL
La evaluacion de la investigacion: Espana suspende
对国家或机构的研究评估应揭示其对科学进步的贡献。考虑到科学影响力和引用数量之间存在的相关性，研究评估可以基于引用数量。然而，在引文分布的厚尾中进行计数至关重要。根据这种重尾方法，在西班牙大学进行的所有测量都表明，他们的研究效率低下，因为高引用论文的比例远远低于科学最先进的国家。同样的结论也可以在考虑Ioannel-Boyack和Baas高被引研究人员名单中的研究人员数量时得出。
2021-04-15 cs.DL
A sensitivity analysis of research institutions' productivity rankings to the time of citation observation
文献计量学研究评估的关键问题之一是引文达到成熟所需的时间。只有在从出版之日起足够长的时间后才能观察到引用计数，引用计数才能被认为是作品真正影响力的可靠代表。在目前的工作中，作者调查的影响，不同的时间的引文观察的准确性生产力排名的研究机构。研究生产力的措施是计算在2001年至2003年期间，活跃在硬科学的所有意大利大学，按个别领域和学科，与时间的引文观察不同，从2004年至2008年。其目的是支持决策者选择一个引文窗口，优化排名的准确性和及时性之间的权衡。
2018-11-05 cs.DL
Investigation of Partition Cells as a Structural Basis Suitable for Assessments of Individual Scientists
个人，优秀的科学家在研究资助领域变得越来越重要。对个人表现的准确文献计量学测量可以帮助确定优秀的科学家，但仍然是一个挑战。这方面的一个关键方面是充分界定出版物的集合，这些出版物确定了科学家的出版记录及其引用影响应与之进行比较的参考值。通过在数据库中交叉固定的主题类别形成的分区单元的结构已经被提出来比更广泛的主题类别更接近科学家的专业。本文从两个方面研究了这种细胞结构作为评估个体科学家的方法学基础的适用性：（1）接近个体科学家出版记录的实际结构：对ERC受资助者样本的高度分散的分区细胞结构上的出版物的分布和集中进行了检查;（2）接近习惯的准确性水平：相邻分区单元格之间常用参考值（每份出版物的平均预期引用数，以及高引用出版物的引用阈值数）的差异与其他两个维度的差异进行比较：连续出版年份和连续引用窗口长度。从这两个角度的研究结果是在支持分区细胞，而不是更大的主题类别作为一个基于期刊的结构，构建和应用的高度专业化的出版记录，如个人科学家的评估方法。
2014-09-08 cs.DL
Methods for the generation of normalized citation impact scores in bibliometrics: Which method best reflects the judgements of experts?
评价性文献计量学在时间尺度和学科范围内比较研究人员、研究团体和机构的引文影响。这两个因素-学科和时期-对引文计数有影响，而引文计数与出版物的质量无关。规范这两个因素对论文引用的影响始于20世纪80年代中期。从那时起，已经提出了一系列不同的方法来产生归一化的引用影响力分数。目前的研究使用了超过50，000条记录的数据集来测试迄今为止提出的哪种方法与同行对论文的评估更相关。同行评估来自F1000 Prime-生物医学文献的出版后同行评审系统。在规范化指标中，目前的研究不仅涉及被引方指标，如平均规范化引文得分，而且还涉及引用方指标。如结果所示，各项指标与同行评估的相关性都非常相似。由于F1000侧重于生物医学，因此本研究的结果必须得到基于其他学科数据集或（理想情况下）基于多学科数据集的其他研究的验证。
2014-12-09 cs.DL stat.OT
Predicting long-term publication impact through a combination of early citations and journal impact factor
在科学文章发表后不久预测其长期影响的能力对于准确评估研究绩效具有重要价值。在这项工作中，我们测试的假设，可以通过结合出版物的早期引用和主办期刊的影响因子获得良好的预测长期的引用计数。该测试是在意大利科学家撰写的123，128篇WoS出版物的语料库上进行的，使用线性回归模型。预测的平均准确性对于两年以上的引用时间窗口是好的，对于低引用出版物则会下降，并且在不同学科之间存在差异。正如预期的那样，影响因子在组合中的作用在出版仅两年后就变得微不足道。
2019-09-19 cs.DL
In-depth Research Impact Summarization through Fine-Grained Temporal Citation Analysis
UKP Lab, TU Darmstadt and Hessian Center for AI (hessian.AI)（图腾实验室，达姆施塔特技术大学及海德堡人工智能中心）；School of Computer Science and Engineering, Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院）；The Allen Institute for AI (AI2)（人工智能研究所（AI2））
本文提出生成细粒度时间引文分析的影响力摘要，通过引文意图的演变捕捉褒贬，引入评估框架，显示在主观指标上的人类相关性，并获得专家反馈。
2026-04-16 cs.AI cs.DL
CWTS crown indicator measures citation impact of a research group's publication oeuvre
Tobias Opthof和Loet Leydesdorff（arXiv：1002.2769）发表的文章“CWTS（`Leiden '）研究绩效评估中期刊和领域规范化的注意事项”涉及一个与引用影响的所谓领域规范化指标在评估个人研究人员和研究小组的研究绩效中的应用同样重要的主题。字段规范化旨在说明科学-学术学科领域之间引用实践的差异。作为介绍“莱顿”指标的论文以及报告实际使用这些措施的评估结果的许多报告和文章的主要作者，我对Opthof和Leydesdorff论文中提到的3个主要问题发表了评论。
2010-03-30 cs.DL physics.soc-ph
Google Scholar as a data source for research assessment
Google Scholar（GS）的推出标志着科学信息市场革命的开始。与传统数据库不同，该搜索引擎会自动对学术网络中的信息进行索引。它的易用性，加上其广泛的覆盖面和快速的索引速度，使其成为大多数科学家目前需要进行文献检索时的第一个工具。此外，它的搜索结果从一开始就伴随着引用计数，以及后来利用这些引用数据开发的二级产品（如Google Scholar Citations和Google Scholar Citations），这使得许多科学家怀疑它作为文献计量分析数据来源的潜力。本章的目标是为使用一般事务作为科学评价的补充来源（在某些学科中，可以说是最好的选择）奠定基础。首先，我们对GS的工作原理进行了概述。其次，我们提出了关于其主要特征（规模，覆盖率和增长率）的经验证据。第三，我们进行了一个系统的分析，这个搜索引擎作为一个工具，科学性能的评估提出的主要局限性。最后，我们讨论了GS和其他更传统的书目数据库之间的主要差异，根据它们的引文数据之间的相关性。我们的结论是，谷歌学术提供了一个更广泛的学术世界的观点，因为它带来了大量的来源，以前是不可见的。
2018-06-18 cs.DL
Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data
在这项研究中，我们解决的问题是否（以及在何种程度上，分别）altmetrics相关的论文的科学质量（通过同行评估衡量）。以前只有少数研究调查了altmetrics和同行评估之间的关系。在第一步中，我们使用主成分分析（PCA）和因子分析（FA）分析传统指标（引用计数）和altmetrics的测量的基本维度。在第二步中，我们使用回归分析来测试论文的维度和质量之间的关系（通过F1000Prime评估的出版后同行评审系统来衡量）。PCA和FA的结果表明，altmetrics沿着不同的维度运作，而Mendeley计数与引用计数相关，推文形成一个单独的维度。回归分析的结果表明，基于引用的指标和读者数量显着更相关的质量，比推文。这一结果一方面质疑Twitter计数用于研究评估目的，另一方面表明Mendeley读者计数的潜在用途。
2018-04-10 cs.DL
Citation accuracy, citation noise, and citation bias: A foundation of citation analysis
Max Planck Society（马克斯·普朗克学会）；LMU Munich（慕尼黑大学）
本文提出引文噪声作为引文分析的关键挑战，定义两种噪声类型并提出减少其影响的策略，以提高研究评估的可靠性。
2026-07-31 cs.DL stat.AP
Billions at Stake: How Self-Citation Adjusted Metrics Can Transform Equitable Research Funding
本文提出自引调整指数SCAI以修正自引导致的引用膨胀，基于5000名研究者数据发现过度自引使传统指标膨胀10-20%，并可使性别引用差距缩小约8.5%，为更公平的研究资助评估提供开源工具。
2025-05-11 cs.DL
Coronary Artery Disease Research in India: A Scientometric Assessment of Publication during 1990-2019
本文基于Web of Science中1990-2019年4698篇印度冠心病研究文献，从增长、引用、合作、机构与期刊分布等维度进行科学计量分析，揭示其全球份额偏低，并呼吁提升产出质量、加强国际合作与政策支持。
2021-02-19 cs.DL
Rank analysis of most cited publications, a new approach for research assessments
本文提出基于高被引论文全球排名的 Rk-index，通过领域标准化衡量各国对知识进步的贡献，并验证其与顶级百分位论文数指标等价。
2023-09-26 cs.DL
Peer review vs bibliometrics: which method better predicts the scholarly impact of publications?
在这项工作中，我们试图回答这样一个问题，即同行评议与文献计量学哪种方法更好地预测科学出版物未来的整体学术影响。我们衡量的同行评审评估Web的科学索引出版物提交给第一次意大利的研究评估工作和长期引用相同的出版物之间的协议。我们对早期基于引用的指标做同样的事情。我们发现，后者表现出更强的预测能力，即，它更可靠地预测了所有学科领域的后期引用，以及出版后一年开始的任何引用时间窗口。
2019-09-13 cs.DL
From indexation policies through citation networks to normalized citation impacts: Web of Science, Scopus, and Dimensions as varying resonance chambers
Dimensions是作为一个替代性的文献计量学数据库被引入到完善的Web of Science（WoS）和Scopus中的，但是这三个数据库在覆盖范围和内容上都有根本的不同，这是由于它们的所有者的独立哲学。鉴于这些差异，我们在这里探讨，使用引文网络分析和评估的“重复”出版物的规范化引用的影响，无论是三个数据库提供结构上不同的角度的文献计量景观，或者如果他们基本上是同质的替代品。我们的引文网络对2016-2018年核心和独家出版物的分析显示，在所有三个数据库中索引的大量核心出版物都具有高度的自我参考性。相比之下，每个数据库都选择了一组独家出版物，这些出版物与核心集和彼此之间的相关性似乎都很低，Scopus和Dimensions中的独家出版物之间的内部交流略多于WoS。我们对所有三个数据库中索引的41，848篇出版物的标准化引文进行了比较，发现与WoS相比，德国行业在Scopus和Dimensions中的影响力更大，特别是对于以应用研究为重点的行业。我们的结论是，数据库确实呈现出结构上不同的视角，尽管Scopus和Dimensions及其附加的应用研究圈与更多以基础研究为重点的WoS相比，彼此之间的差异更大。
2021-06-03 cs.DL
Citation Needed: A Taxonomy and Algorithmic Assessment of Wikipedia's Verifiability
Wikimedia Foundation（维基媒体基金会）；L3S Research Center Leibniz University of Hannover（莱布尼茨汉诺威大学L3S研究中心）
维基百科在网络上扮演着越来越重要的角色，其贡献者在获取和事实核查内容时所遵循的政策影响着数百万读者。在这些核心指导原则中，可核查性政策具有特别重要的作用。可核实性要求维基百科条目中包含的信息必须与可靠的第二来源进行核实。然而，由于大规模地管理和事实核查维基百科需要人工劳动，其内容并不总是均匀地遵守这些政策。引用（即引用外部来源）可能不符合可验证性要求或可能完全缺失，可能会削弱自由百科全书特定主题领域的可靠性。在本文中，我们的目的是提供一个实证的原因，以及如何维基百科引用外部来源，以遵守自己的可验证性准则的特点。首先，我们构建了一个分类的原因，内联引用需要从多个维基百科语言版本的编辑收集标记数据。然后，我们收集了一个大规模的众包维基百科的句子数据集，这些句子标注了来自这种分类法的类别。最后，我们设计和评估算法模型，以确定一个声明是否需要引用，并根据我们的分类预测引用原因。我们评估了这些模型在不同质量的维基百科文章的不同类别中的鲁棒性，以及用于事实检查目的的附加声明数据集。
2019-02-28 cs.CL cs.CY cs.DL
Visualization of rank-citation curves for fast detection of h-index anomalies in university metrics
本文通过可视化 2023 年 Scopus 乌克兰大学排名前 30 所高校的秩-引用曲线，结合自引比例与 FWCI，快速识别两所大学的 h 指数及引用数据异常。
2024-01-24 cs.DL
The practice of self-citations: a longitudinal study
在这篇文章中，我们讨论了一个实验的结果，我们分析了是否以及在多大程度上引入，在2012年，新的研究评估工作在意大利（又名。意大利科学障碍）影响了意大利研究界的自引行为。意大利科学院证明了研究人员的科学成熟度，在意大利，与许多其他国家一样，这是获得教授职位的要求。为此，我们从ScienceDirect获得了2012年意大利科学障碍赛参与者在1957年至2016年期间发表的35，673篇文章，通过语义发布技术提取了1，379，050篇引文。我们的分析显示，在所考虑的24个学科中，作者自引（即引用文章和被引用文章至少共享一位作者）的总体增加。然而，我们描述了一个更强的因果关系，这种增量和2012年意大利科学障碍在10个学科的24个分析引入的规则。
2020-02-19 cs.DL
The Intertwined Rise of Collaboration Scale, Reference Diversity, and Breakthrough Potential in Modern Science: A 40-Year Cross-Disciplinary Study
Harvard University（哈佛大学）；San Jose State University（圣何塞州立大学）；University of Toledo（托莱多大学）
本研究通过40年跨学科数据揭示，科学发现的突破潜力与协作规模、参考多样性呈正相关，但大团队影响力趋于饱和，各学科协作模式差异显著。
2025-11-26 cs.DL physics.soc-ph
Citation Statistics
这是一篇关于引文数据在科学研究评价中的使用和误用的报告。研究评估必须使用“简单客观”的方法的想法今天越来越普遍。"简单客观“的方法被广泛地解释为文献计量学，即引用数据和从中得出的统计数据。有一种观点认为，引用统计数据本质上更准确，因为它们用简单的数字代替了复杂的判断，从而克服了同行评审可能存在的主观性。但这种信念是没有根据的。
2009-10-19 cs.DL physics.soc-ph stat.ME
Open Access Scientometrics and the UK Research Assessment Exercise
研究绩效的科学计量预测需要通过证明它们与它们试图预测的外部标准具有高度相关性来验证。英国研究评估练习（RAE），以及越来越多的运动，使研究文章的全文免费提供在网络上-提供了一个独特的机会，测试和验证丰富的新旧科学计量预测，通过多元回归分析：出版物、期刊影响因子、引文、共引、引文时间计量学（年龄、生长、峰值延迟、衰减率）、中心/权威分数、h指数、先前资助、学生计数、合著分数、内婚/外婚、文本接近度、下载/共同下载及其时间计量等都可以逐个学科地联合测试和验证，在2008年的研究评审工作小组排名中，各院校的排名与其在研究评审工作小组的排名作比较。每个预测器的权重可以被校准以最大化与排名的联合相关性。开放获取科学计量学将为不断增长的开放获取数据库的导航、评估、预测和分析提供强有力的新手段，同时也为使其更快地增长提供强有力的激励。~
2007-03-26 cs.DL cs.IR
Same data may bring conflict results: a caution to use the disruptive index
Dalian University of Technology（大连理工大学）
近二十年来，学者们设计了各种类型的书目相关指标来识别突破级学术成果。在本研究中，我们将进一步研究有前途的破坏性索引的属性，从而加深我们对这种索引的理解，并进一步促进其在文献计量学中的明智使用。我们使用1900年至2016年诺贝尔奖获得者的出版记录，计算每年诺贝尔奖获奖文章及其基准文章的DI，并使用中位数DI表示每年的集中趋势，并比较医学，化学和物理学的结果。我们发现，基于DI的结论取决于其引用时间窗口的长度，不同的引用时间窗口可能会导致不同的，甚至有争议的结果。同时，学科和时间在使用DI衡量科技作品创新性时对引文窗口长度也有影响。最后，并不是所有DI等于1的文章都是突破级的成就。换句话说，DI在理论上是站得住脚的，但我们不应忽视DI只是由引用文章的数量和引用次数形成的，这些数据可能会因数据库而异。
2020-09-15 cs.DL cs.LG
An indicator of journal impact that is based on calculating a journal's percentage of highly cited publications
在科学期刊评估中，最常用的两个引文影响指标是影响因子和h指数。然而，这两个指标都不是领域标准化的（根据科学类别的不同而有很大差异），这使得它们在类别之间无法比较。此外，影响因子对具有大量引用的文章的存在并不稳健，而h指数取决于期刊大小。在比较不同规模和类别的期刊时，这些限制非常重要。另一个引用影响指标是期刊中高引用文章的百分比。该指标是领域标准化的（在科学类别之间具有可比性），独立于期刊大小，并且对具有高引用次数的文章的存在也具有鲁棒性。本文将该指标与影响因子和h指数进行实证比较，考虑不同的时间窗口和引用水平（认为一篇文章与同年和同一类别的其他文章相比被引用程度高）。
2015-10-13 cs.DL
Citation analysis may severely underestimate the impact of clinical research as compared to basic research
背景：引文分析已成为医学科学研究绩效评估的重要工具。然而，不同的医学研究领域可能有相当不同的引用实践，即使在同一个医学领域。正因为如此，目前还不清楚在何种程度上基于引文的文献计量学指标允许有效的比较活跃在不同领域的医学研究的研究单位。方法：介绍了一种可视化方法，揭示了医学研究领域之间的引用实践的差异。该方法从大量出版物的标题和摘要中提取术语，并使用这些术语来可视化医学领域的结构，并表明该领域内的研究领域在其平均引用影响方面如何彼此不同。结果：提供了32个医学领域的可视化，定义的基础上在Web of Science数据库的期刊主题类别。分析集中在三个领域。在每一个领域中，研究领域之间的引用实践都有很大的差异。低影响力的研究领域往往侧重于临床干预研究，而高影响力的研究领域往往更侧重于基础和诊断研究。结论：流行的文献计量学指标，如h指数和影响因子，并不能纠正医学领域之间引用实践的差异。因此，这些指标不能用来进行准确的外地间比较。更复杂的文献计量学指标确实纠正了领域差异，但仍然没有考虑到引用实践中的领域内异质性。因此，与基础和诊断研究相比，临床干预研究的引文影响可能被大大低估。
2013-04-28 cs.DL
Relying on recent and temporally dispersed science predicts breakthrough inventions
本研究通过分析专利引用科学论文的时间特征，发现引用近期且时间分散的科学文献能显著提升专利成为突破性发明的可能性，但低方差的引用年龄会抵消此效应。
2024-11-14 cs.CY cs.DL
The Effects of Research Level and Article Type on the Differences between Citation Metrics and F1000 Recommendations
F1000建议已被验证为研究评价的潜在数据来源，但F1000文章因子（FFa评分）和引文之间差异的原因仍有待探讨。通过将F1000中的28254篇出版物与Scopus中的引文联系起来，我们研究了研究水平和文章类型对基于引文和FFa评分的内部一致性评估的影响。结果表明，研究水平的影响不大，而文章类型的差异较大。这两个指标在两组中有显著差异：非主要研究或循证研究出版物被引用的次数比推荐的次数多，然而，转化研究或变革性研究出版物被教师推荐的次数多，但引用次数相对较低。这是可以预期的，因为引用活动通常是由学术作者进行的，而科学革命的潜力和一篇文章对临床实践的适用性应该从从业者的角度进行调查。我们的结论与政策相关的建议，文献计量学方法在研究评估程序中的应用，应包括三种类型的出版物的比例：循证研究，转化研究和翻译研究。后两种类型更适合通过同行评审进行评估。
2015-03-11 cs.DL
In which fields are citations indicators of research quality?
首次大规模评估34个领域87,739篇文章发现引文与研究质量在各领域均呈正相关，但无任何引文阈值能保证卓越质量，引文无法完美反映研究质量。
2023-04-24 cs.DL
Groups of Highly Cited Publications: Stability in Content with Citation Window Length
世界范围内的研究政策越来越注重顶尖科学家，因此，制定适当的支持措施以帮助发现优秀科学家变得越来越重要。高引用的出版物长期以来一直与卓越的研究有关。同时，引文高端分布的分析仍然是评价性文献计量学中一个具有挑战性的课题。评价通常要求指标在应用于规模有限的近期出版物记录时产生足够稳定的结果。高被引出版物已被确定使用两种技术，特别是：预设的评分，和参数自由的特征评分和尺度（CSS）（Glänzel和舒伯特，1988）。在评估相对较小的出版物记录时，所需的稳定性涉及高引用出版物组的大小和内容。影响因素包括领域划分和引文窗口长度。对于预设的索引，大小的稳定性是显而易见的，并且已经在大约三年的初始引用期之后的CSS方法中得到证明（Glänzel，2007）。内容的稳定性就不那么简单了，例如，考虑到更高引用的出版物可能有一个更晚的引用高峰，正如Abt（1981）对天文学论文的观察。本文考察了高被引出版物群体的内容稳定性，即随着引文窗口的扩大，单个出版物进入和离开群体的程度。
2013-07-25 cs.DL
Quantitative Methods in Research Evaluation Citation Indicators, Altmetrics, and Artificial Intelligence
University of Sheffield（谢菲尔德大学）
本书系统评估引文指标、替代计量学与人工智能在研究评估中的价值与局限，基于英国REF 2021专家判断等证据，指出指标不能作为研究质量测量工具，AI仅在有限场景下有辅助作用。
2025-04-10 cs.DL
Scholarly Communications of Bharathiar University on Web of Science in Global Perspective: A Scientometric Assessment
本文对巴拉蒂尔大学2009至2018年Web of Science论文进行科学计量分析，揭示其3440篇论文、38104次引用及h指数68等科研产出与影响力特征。
2021-02-19 cs.DL
Dynamic disruption index across citation and cited references windows: Recommendations for thresholds in research evaluation
Peking University（北京大学）；Max Planck Society（马克斯·普朗克学会）；Peking University Chongqing Research Institute of Big Data（北京大学重庆大数据研究院）
本文研究了引用积累的时间维度对定量研究评估的影响，提出通过破坏指数（D）评估颠覆性与巩固性研究。通过分析不同领域数百万篇文献，发现10年窗口可达到80%以上的D分类一致率，而较短窗口存在不稳定性。
2025-04-10 cs.DL
A reverse engineering approach to the suppression of citation biases reveals universal properties of citation distributions
书目数据库中包含的大量信息最近推动了引用和基于引用数量的其他指标的使用，作为定量评估科学研究的工具。引用次数通常被解释为论文、期刊、学者和机构的科学影响力的代表。然而，一个严格的和科学的方法正确使用引用计数仍然是缺失的。特别是，在原始引用计数方面的跨学科比较系统地有利于具有较高引用率和出版率的科学学科。在这里，我们进行了详尽的研究数以百万计的论文的引用模式，并得出一个简单的转换的引用计数能够抑制不成比例的引用计数之间的科学领域。我们发现，转换是很好地描述了幂律函数，和转换的参数值是每个科学学科的典型特征。因此，引用模式的普遍属性来自于这样一个事实，即特定领域中论文的引用分布都是同一个单变量分布家族的一部分。
2012-03-30 cs.DL physics.soc-ph
Evaluation of the citation matching algorithms of CWTS and iFQ in comparison to Web of Science
文献计量研究小组，例如科学和技术研究中心和研究信息和质量保证研究所，提供的文献计量研究结果经常用于研究评估过程。他们的数据库使用Web of Science（WoS）引用数据，他们根据自己的匹配算法进行匹配-在CWTS的情况下用于他们研究中的标准使用，在iFQ的情况下用于实验。由于WoS中的不匹配引用问题由于参考文献中的不准确或数据提取过程中引入的不准确而持续存在，因此确定这些引用匹配算法中这些不准确的纠正程度是很重要的。本文评估的算法CWTS和IFQ相比，WoS在定量和定性分析。分析建立在方法和手动验证语料库的以前的研究。CWTS算法的性能最好，紧随其后的是iFQ。WoS算法仍然表现得很好（F1得分：96.41%），但在匹配包含不准确性的参考文献时表现出不足。另一个问题是WoS在源文章中错误地提供了引用的参考信息。
2015-07-13 cs.DL
In which fields can ChatGPT detect journal article quality? An evaluation of REF2021 results
如果自动化方法能够提供帮助，学术界花在研究质量评估上的时间可能会减少。虽然基于引用的指标已经被广泛开发和评估，但它们有很大的局限性，而像ChatGPT这样的大语言模型（LLM）提供了一种替代方法。本文评估ChatGPT 4 o-mini是否可用于评估学术界期刊文章的质量。它从英国2021年卓越研究框架（REF）的所有34个评估单位（UoAs）中抽取了多达200篇文章，将ChatGPT得分与部门平均得分进行比较。ChatGPT分数与部门平均值之间几乎普遍存在Spearman正相关，在0.08（哲学）和0.78（心理学，精神病学和神经科学）之间变化，除了临床医学（rho=-0.12）。虽然其他解释是可能的，特别是因为REF分数配置文件是公开的，但结果表明，LLM可以在大多数科学领域提供合理的研究质量估计，特别是物理和健康科学和工程，甚至在引用数据可用之前。然而，ChatGPT评估似乎对大多数健康和物理科学比其他领域更积极，这是多学科评估的一个问题，ChatGPT评分仅基于标题和摘要，因此不能进行研究评估。
2024-09-25 cs.DL
The Wisdom of Citing Scientists
本文以高尔顿的《群体的智慧》（1907）为基础，讨论了引文分析在科研评价中的作用。引文是基于对许多人的评估，这就是为什么它们可以被归因于一定的准确性。然而，我们发现，引文是不完整的评估，不能假设大量的引文与高水平的有用性相关。只有当一个人知道一篇很少被引用的论文被广泛阅读时，才有可能说（严格地说）它对进一步的研究显然没有什么用处。通过与“相似”数据的比较，我们试图确定引用参考分析比引用次数分析更有意义的文献计量学数据分析。
2013-08-07 cs.DL physics.soc-ph stat.AP
Research assessment by percentile-based double rank analysis
在研究出版物的双重排名分析中，一个国家或机构出版物的地方排名位置被表示为世界排名位置的函数。排除一些高引用或低引用的出版物，双秩图符合幂律，这可以解释为本地和世界出版物的引用遵循对数正态分布。我们在这里报告，分布的国家或机构的出版物的数量在世界排名是一个双秩分布，可以拟合幂律。当对数正态分布的局部和全局$μ$参数相差很大时，只有高秩的数据点偏离它。发表高引用论文的可能性可以根据幂律来计算，该幂律可以拟合到引用分布的上尾或基于双秩分布的双秩分布。后一种方法的最大优点是它具有普遍适用性，因为它基于所有出版物，而不仅仅是高引用出版物。此外，这种方法将成熟的百分位数方法的应用扩展到非常低的样本，其中报告了突破，但无法进行纸张计数。
2018-02-05 cs.DL
Do altmetric scores reflect article quality? Evidence from the UK Research Excellence Framework 2021
本文基于英国2021年卓越研究框架的67,030+篇文章同行评审数据，首次评估了Altmetric.com和Mendeley的altmetrics与期刊文章质量的关联，发现altmetrics质量指示效果优于预期，在健康与物理科学中最强。
2022-12-11 cs.DL
Clustering scientific publications based on citation relations: A systematic comparison of different methods
聚类方法经常应用于文献计量学文献中，以确定研究领域或科学领域。例如，这些方法用于基于出版物在引文网络中的关系将出版物分组为集群。在网络科学文献中，已经开发了许多聚类方法，通常称为图划分或社区发现技术。针对引文网络中出版物的聚类问题，我们系统地比较了大量这些聚类方法的性能。使用一些不同的引文网络，其中一些相对较小，其他非常大，我们广泛研究的统计特性的结果提供了不同的方法。此外，我们还对不同方法产生的结果进行了基于专家的评估。专家评估侧重于科学计量学领域的出版物。我们的研究结果似乎表明，有一个权衡不同的属性，可能被认为是可取的一个良好的集群的出版物。总的来说，地图方程方法似乎在我们的分析中表现最好，这表明这些方法值得文献计量学界更多的关注。
2016-04-29 cs.DL cs.SI physics.data-an
In which fields do ChatGPT scores align better than citations with research quality?
University of Sheffield（谢菲尔德大学）
ChatGPT-4o和ChatGPT-5 mini在多个领域中表现出比引用更高的研究质量相关性，为新研究质量评估提供了有力证据。
2026-02-08 cs.DL
Delayed Impact of Interdisciplinary Research
跨学科研究越来越多地推动创新，并被认为是未来突破的关键。然而，人们对跨学科研究是否表现出延迟影响知之甚少。在这里，我们使用达到引用峰值的时间来量化最高影响时间和引用动态，并检查其与跨学科的关系。使用大规模的出版物数据集，我们的研究结果表明，跨学科论文显示出显着的延迟影响，无论是微观上的每篇论文和宏观上的集体，因为它需要更长的时间跨学科论文达到引用高峰。此外，我们研究了这种延迟影响的潜在力量，发现这种影响超出了马太效应（即，富-更富效应（Rich-Get-Richer Effect）最后，我们发现，团队规模和内容的常规性只是部分原因，这种效果。总的来说，我们的研究结果表明，政府，研究管理人员，资助机构应该意识到跨学科科学的这一普遍特征，这可能具有广泛的政策含义。
2022-07-09 cs.DL physics.soc-ph
Evaluating Journal Quality: A Review of Journal Citation Indicators and Ranking in Business and Management
在科研性能评估的背景下，学术期刊的质量评估变得越来越重要。传统上，期刊的排名是通过同行评审名单，如商学院协会（英国）或通过其期刊影响因子（JIF）。然而，已经制定了一些新的指标，如h指数、SJR、SNIP和本征因子，这些指标考虑到不同的因素，因此有其自身的特定偏差。在本文中，我们评估这些指标，理论上也通过一个大型的商业和管理期刊的实证研究。我们发现，即使这些指标看起来高度相关，但实际上它们导致了期刊排名的巨大差异。我们将我们的结果结合英国大规模研究评估活动（RAE/REF），特别是ABS期刊排名榜。我们的结论是，没有一个指标是优越的，但h指数（包括期刊的生产力）和SNIP（旨在规范场效应）可能是目前最有效的。
2016-04-25 cs.DL
Breakthrough Asymmetries across Disciplines and Countries: A Network approach to Structural Complexity of Scientific Progress
CSIR-National Institute of Science Communication and Policy Research（印度科学传播与政策研究国家研究所）；Academy of Scientific and Innovative Research (AcSIR)（科学与创新研究学院）；School of Computational & Integrative Sciences, Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学计算与综合科学学院）
本文通过网络方法分析科学进步的结构复杂性，揭示国家间在突破性表现上的不对称性，并探讨研发支出与科学突破之间的关系。
2026-02-06 cs.DL physics.data-an physics.soc-ph
