Peer review vs bibliometrics: which method better predicts the scholarly impact of publications?
在这项工作中，我们试图回答这样一个问题，即同行评议与文献计量学哪种方法更好地预测科学出版物未来的整体学术影响。我们衡量的同行评审评估Web的科学索引出版物提交给第一次意大利的研究评估工作和长期引用相同的出版物之间的协议。我们对早期基于引用的指标做同样的事情。我们发现，后者表现出更强的预测能力，即，它更可靠地预测了所有学科领域的后期引用，以及出版后一年开始的任何引用时间窗口。
2019-09-13 cs.DL
Self-citation Analysis using Sentence Embeddings
引文索引和指标的目的是衡量研究人员、期刊和机构的科学创新和质量。然而，这些指标往往容易被作者、审稿人、编辑或期刊诱导的过度和不道德的自我引用所滥用和操纵。确定自我引用是否有正当理由通常是在审查过程中确定的，在审查过程中，参与部分可能有内在的动机，使自我引用的合法性在出版后受到质疑。在本文中，我们进行了大规模的期刊自引分析，同时考虑到出版物和参考文献之间的相似性。具体来说，我们研究自1990年以来发表的PubMed Central文章，并使用句子嵌入计算文章参考对的相似性。我们研究期刊自引的目的是区分合理和不道德的自引。
2021-05-12 cs.DL
Rethinking Review Citations: Impact on Scientific Integrity
本文研究综述文章激增导致引用指标虚高的问题，以计算机科学领域为例，提出应优先引用原始研究以维护引用诚信和科学评价的公正性。
2025-04-08 cs.CY cs.DL
Overton -- A bibliometric database of policy document citations
本文介绍了奥弗顿政策文件数据库的分析，描述了索引的材料和性质，他们引用学术文献的组成。我们报告了数据的各个方面，包括增长，地理分布，语言代表性，包括政策来源类型的范围，以及文献中引用链接的可用性。通过对已建立的期刊分类系统的纵向分析，揭示了引文的规模和学科重点，并确定了开发领域规范化引文指标的可行性。我们研究了英国资助者收集的自我报告的资助成果与奥弗顿数据库中索引的数据的对应程度，以及英国卓越研究框架（REF）2014年衡量的同行评审影响评估与衍生引用指标的相关性。我们的研究结果表明，对于一些研究主题，如健康，经济，社会关怀和环境，奥弗顿包含了一套核心的政策文件，有足够的引用链接到学术文献，以支持各种引文分析，可能是翔实的研究评估，影响评估和政策审查。奥弗顿的索引数据与通过自我报告资助结果收集的数据一致，并与同行评审对某些学科影响的评估相关。
2022-01-19 cs.DL
Influence of Reviewer Interaction Network on Long-term Citations: A Case Study of the Scientific Peer-Review System of the Journal of High Energy Physics
在评判研究贡献方面的“同行审查制度”是为确保收到的投稿质量而采取的主要步骤之一，出版预算的很大一部分用于出版社顺利完成同行审查。然而，科学界在很大程度上达成了一个共识，即同行评审制度虽然不可或缺，但也存在缺陷。因此，一个非常相关的问题是：“这一制度能否得到改进？".在本文中，我们试图通过考虑大约$29k$论文的大量数据集来回答这个问题，这些论文具有大致$70k$不同的综述报告，这些综述报告由1997年至2015年期间《高能物理杂志》（JHEP）的$12m$行综述文本组成。具体来说，我们引入了一个新的\textit{reviewer-reviewer interaction network}（如果两个评论者被同一个编辑分配，那么他们之间存在一条边），并令人惊讶地证明了这个网络的简单结构属性，如度，聚类系数，中心性（接近度，介数等）。用作长期引用的强预测器（即，（一）论文的整体科学影响。当插入回归模型时，这些特征在预测长期引用时单独实现了0.79的高$R^2$和0.496的低$RMSE$。此外，我们还设计了一套支持功能，这些功能是根据提交论文、作者和审稿人的基本特征构建的（例如，提交作者的受欢迎程度、推荐人的接受率历史、评论报告文本中的语言特性等），这进一步导致总体改善，$R^2$为0.81，$RMSE$为0.46。
2017-05-02 cs.DL
Group-Based Trajectory Modeling of Citations in Scholarly Literature: Dynamic Qualities of "Transient" and "Sticky Knowledge Claims"
基于组的轨迹建模（GBTM）应用于6种期刊中的文章的引用曲线和单个科学领域（病毒学，24种期刊）中的所有可引用项目，以区分亚群中的发展轨迹。高被引的引文模式能否在早期阶段被区分为“快速突破”论文？“大器晚成者”或“睡美人”能被识别吗？最有趣的是，我们发现了“粘性知识主张”和“瞬时知识主张”之间的差异，前者在出版后十多年继续被引用，后者在几年内达到峰值后显示出衰减模式。只有遵循“粘性知识主张”轨迹的论文才有望产生持续的影响。这些发现对两三年后使用汇总引用率的“卓越”指标提出了质疑（例如，影响因素）。因为聚合的引文曲线也可以是两种模式的组合，所以需要五阶多项式（有四个弯曲点）来精确地捕获引文曲线。对于研究中的期刊，最常被引用的群体远小于10%。虽然GBTM已被证明是一种有用的方法来调查引文轨迹之间的差异，该方法并不能使我们能够在不同的领域和期刊中归纳地定义高被引论文的百分比。使用多项逻辑回归，我们得出结论，预测变量，如期刊名称，作者人数等，不影响知识主张在引用方面的粘性，而只影响聚合引用的水平（特定领域）。
2013-04-30 cs.DL
Core Elements in the Process of Citing Publications: A Conceptual Overview of the Literature
这项研究提供了一个概念性的文献处理过程中引用文件（侧重于最近十年的文献）的概述。它提出了理论，已提出解释引用过程，并进行了实证分析这一过程的研究。概述被称为概念性的，因为它是基于引用过程中的核心要素构建的：被引用文档的上下文，从选择到引用文档的过程，以及引用文档的上下文。核心要素以示意图的形式呈现。该概述可用于回答有关引用文件实践的基本问题。除了理解引文的过程外，它还为引文在研究评价中的正确应用提供了基本信息。
2018-01-09 cs.DL
Co-citations in context: disciplinary heterogeneity is relevant
科学文献的引文分析已被用于研究和界定学科界限，追踪知识的传播，并估计影响。共引，即成对出版物被引用的频率，提供了对文档如何相互关联和跨领域的洞察。共引分析已被用于表征传统或创新的先前工作的组合，并得出高引用出版物的特征。考虑到科学被组织成学科，一个关键问题是这种分析对参照系的敏感性。我们的研究探讨了这个问题，使用语义为主题的引文网络。我们观察到，在科学文献中报道的趋势并不适用于集中的引文网络，我们得出结论，使用共引分析和随机图模型推断新颖性受益于学科背景。
2019-09-18 cs.DL
Cite-seeing and Reviewing: A Study on Citation Bias in Peer Review
本研究针对同行评审中是否存在引用偏差的问题，结合两大领域旗舰会议的评审流程开展观察性研究，控制混杂因素并采用多种建模方法，证实引用审稿人工作会提升投稿评分，明确了该偏差的效应量。
2022-03-31 cs.DL stat.AP
A Review of Theory and Practice in Scientometrics
科学计量学是对科学作为一个传播系统的过程的定量方面的研究。它的核心是，但不仅仅是，与学术文献中的引文分析有关。近年来，它在衡量和评估研究绩效方面发挥了重要作用。在这次审查中，我们考虑：科学计量学的历史发展，引用数据的来源，引用指标和科学计量学的“定律”，标准化，期刊影响因子和其他期刊指标，可视化和映射科学，评估和政策，以及未来的发展。
2015-04-07 cs.DL
Academics evaluating academics: a methodology to inform the review process on top of open citations
在过去，一些作品研究了定量和定性相结合的方法，在研究评估工作。在这项工作中，我们的目标是引入一种方法来探讨是否基于引用的指标，计算只考虑开放的书目和引文数据，可以产生的见解如何进行人类同行评议的研究评估工作。为了了解指标是否以及哪些指标提供了相关信息，我们建议使用一系列机器学习模型来复制研究评估工作委员会的决定。
2021-06-10 cs.CY cs.DL
Tweeting biomedicine: an analysis of tweets and citations in the biomedical literature
社交媒体平台收集的数据最近被引入作为一个新的指标来源，以帮助衡量学术研究的影响，补充传统的基于引用的指标。与学术内容相关的社交媒体活动产生的数据可用于反映广泛类型的影响。本文旨在提供有关Twitter被用于传播生物医学和生命科学期刊文章的频率的系统性证据。该分析基于PubMed和Web of Science（WoS）涵盖的一组140万份文件，并在2010年至2012年期间发表。分析了包含这些文件链接的推文数量，以评估某些期刊，学科和专业在Twitter上的代表程度。它表明，只有不到10%的PubMed文章在Twitter上被提及，其吸收率一般较低。tweets和WoS引用之间的关系进行了检查，为每个文件在期刊和专业的水平。研究结果表明，不同期刊和专业的研究者的推文行为存在差异，推文与引文之间的相关性较低，这意味着基于推文的影响力指标与基于引文的影响力指标存在差异。一个框架，利用覆盖的文章和Twitter的提及和引用之间的相关性，提出了促进新的基于社交媒体的指标的评估，并阐明了在多大程度上的推文的数量是一个有效的指标来衡量研究的影响力的问题。
2013-08-08 cs.DL
Book reviews in academic journals: patterns and dynamics
书评在学术交流中扮演着重要的角色，尤其是在艺术和人文学科中。本研究利用Web of Science的Science Citation Index Expanded、Social Sciences Citation Index和Arts & Humanities Citation Index，实证分析了过去十年（2006-2015年）这三个索引中书评的模式和动态。我们发现，书评在三大指数中的绝对数量相对稳定，但相对份额却在下降。书评在文科很常见，在社科很常见，在自然科学很少见。书评主要由美国和英国等发达经济体的作者撰写。不过，来自中国和日本的学者不太可能为书评做出贡献。
2018-02-08 cs.DL
Informed peer review for publication assessments: Are improved impact measures worth the hassle?
在这项工作中，我们问是否以及在多大程度上应用预测出版物的影响比早期引用，对评估个人科学家的研究表现的影响。具体来说，我们衡量意大利教授在科学和经济学在一段时间内的总影响力，首先通过早期引用来评估他们的出版物，然后通过早期引用和主办期刊影响因子的加权组合来评估他们的出版物。正如预期的那样，这两个指标的得分和排名显示出很强的相关性，但在许多领域也发生了重大变化，主要是在经济学和统计学，以及数学和计算机科学。一个领域中未被引用的教授的比例越高，引用时间窗口越短，就越容易求助于上述组合。
2021-03-25 cs.DL
F1000 recommendations as a new data source for research evaluation: A comparison with citations
F1000是生物和医学研究的出版后同行评议服务。F1000旨在推荐生物医学文献中的重要出版物，从这个角度来看，F1000可能是一个有趣的研究评估工具。通过将完整的F1000建议数据库与Web of Science书目数据库相连接，我们能够对F1000建议和引文进行全面的比较。我们发现，生物医学文献中约2%的出版物至少获得一项F1000推荐。推荐出版物平均收到1.30条推荐，90%以上的推荐是在出版物出版后半年内给出的。事实证明，F1000推荐和引用之间存在明显的相关性。然而，这种相关性相对较弱，至少弱于期刊影响力和引用之间的相关性。需要进行更多的研究，以确定在评估出版物的影响方面，建议和引用之间存在差异的主要原因。
2013-03-15 cs.DL
A Glimpse of the First Eight Months of the COVID-19 Literature on Microsoft Academic Graph: Themes, Citation Contexts, and Uncertainties
随着世界各地的科学家寻找致命大流行背后的压倒性未知因素的答案，有关COVID-19的文献呈指数级增长。以如此快速的速度跟上文学的主体，不仅对活跃的研究人员，而且对整个社会都构成了重大挑战。虽然已经公开提供了许多数据资源，但分析和综合过程对于有效浏览大量不确定性程度较高的信息至关重要，这仍然是一个重大瓶颈。我们介绍了一种通用方法，在处理研究领域（如COVID-19）在多个粒度级别上快速增长的情况时，该方法有助于数据汇集和意义构建过程。该方法集成了结构和时间模式的分析，在学术出版物的主题浓度和类型的不确定性，可能会提供额外的洞察未知的复杂性的划定。我们展示了该方法在COVID-19文献研究中的应用。
2020-09-17 cs.DL
Do open citations give insights on the qualitative peer-review evaluation in research assessments? An analysis of the Italian National Scientific Qualification
在过去，一些作品研究了定量和定性相结合的方法，在研究评估工作。事实上，意大利国家科学资格（NSQ），即旨在决定学者是否可以申请副教授和正教授等教授学术职位的国家评估活动，采用了定量和定性评估程序：它利用文献计量学，然后对候选人的简历进行同行审查。《国家统计调查表》将学科分为两类，即基于引文的学科（CD）和非基于引文的学科（ND），这一划分影响了在基于文献计量学的过程的第一部分中用于评估该学科候选人的指标。在这项工作中，我们的目标是探索是否基于引用的指标，计算只考虑开放的书目和引用数据，可以支持人类同行评审的ND和产生的见解，它是如何进行的。为了了解基于引用的（以及可能的其他）指标是否以及哪些指标提供了相关信息，我们创建了一系列机器学习模型来复制NSQ委员会的决策。作为我们研究的主要成果之一，我们注意到候选人与负责评估其简历的委员会之间的引用关系的强度似乎在ND的NSQ的同行评审阶段发挥了作用。
2022-10-23 cs.CY cs.DL
Not dead, just resting: The practical value of per publication citation indicators
归根结底，基于引用的指标不如有效的同行评议，甚至同行评议也有缺陷。准确衡量科学研究的价值或影响是不可能的，科学计量学家的一项关键任务应当是为决策者和其他人提供既实用又能提供信息的数字，并确保用户充分认识到这些数字的局限性。尽管Abramo和D'Angelo（2016）的建议在理论上很有意义，因此是一个值得追求的目标，但在实践中提倡在上述背景下普遍使用它们是不现实的。这是因为，除了基于引用的指标的一般局限性之外，这些指标仍然存在缺陷，仍然不足以取代同行审查。因此，数据收集的费用并不总是证明额外准确性在实践中的价值。从长远来看，为了获得真正可比统计数据所需的同质性而需要进行的教育结构调整将过于昂贵，而且可能对研究任务造成损害，而且与任何基于引用的指标的可能价值不成比例。
2016-06-01 cs.DL
Exploring Citation Diversity in Scholarly Literature: An Entropy-Based Approach
本研究通过基于熵的多样性度量方法分析不同国家、学科、机构及性别科学家的引文多样性模式，发现经济规模不同的国家聚类相似、获奖科学家及性别间存在显著差异，为评估引文分布提供了超越传统计数的新工具。
2025-04-02 cs.DL physics.soc-ph
PUREsuggest: Citation-based Literature Search and Visual Exploration with Keyword-controlled Rankings
本文提出 PUREsuggest，利用引文链接、可视化排序解释和用户关键词控制，支持文献搜索、集合构建评估及专家发现，并通过模拟会话和用户研究验证。
2024-08-05 cs.DL cs.HC
Evaluating Journal Quality: A Review of Journal Citation Indicators and Ranking in Business and Management
在科研性能评估的背景下，学术期刊的质量评估变得越来越重要。传统上，期刊的排名是通过同行评审名单，如商学院协会（英国）或通过其期刊影响因子（JIF）。然而，已经制定了一些新的指标，如h指数、SJR、SNIP和本征因子，这些指标考虑到不同的因素，因此有其自身的特定偏差。在本文中，我们评估这些指标，理论上也通过一个大型的商业和管理期刊的实证研究。我们发现，即使这些指标看起来高度相关，但实际上它们导致了期刊排名的巨大差异。我们将我们的结果结合英国大规模研究评估活动（RAE/REF），特别是ABS期刊排名榜。我们的结论是，没有一个指标是优越的，但h指数（包括期刊的生产力）和SNIP（旨在规范场效应）可能是目前最有效的。
2016-04-25 cs.DL
Examining Citations of Natural Language Processing Literature
National Research Council Canada（加拿大国家研究委员会）
我们从ACL Anthology（AA）和Google Scholar（GS）中提取信息，以检查NLP论文引用的趋势。我们探讨的问题，如：如何以及引用不同类型的论文（期刊文章，会议论文，演示论文等）？NLP中不同领域的论文被引用的情况如何？值得注意的是，我们发现，只有约56%的论文在AA被引用10次或以上。CL Journal拥有最多的引用论文，但近年来其引用优势有所减弱。平均而言，长论文的引用次数几乎是短论文的三倍;关于情感分类、照应解析和实体识别的论文的引用中位数最高。本文所提供的分析以及映射到引用的NLP论文的相关数据集具有多种用途，包括：了解该领域的发展情况以及量化不同类型论文的影响。
2020-05-02 cs.CL cs.DL
Does publicity in the science press drive citations? A vindication of peer review
我们研究如何宣传，在科学出版社突出的形式，影响研究论文的引用。在简要回顾了之前的工作之后，我们分析了发表在《物理评论快报》（PRL）上的论文，这些论文在八个不同的平台上突出显示。使用多元线性回归，我们确定每个平台对引用的贡献。我们还分析了突出显示的论文在其领域中排名前1%的引用论文的频率。我们发现，中期引文影响力最强的预测因素-出版后7年-是物理学的观点，其次是自然界的研究亮点，PRL的编辑建议和自然物理学的研究亮点。我们的主要结论是：（a）强调重要性识别引用优势，（b）根据同行评审（期刊内部和外部）的审查程度进行分层。这意味着我们可以将突出显示平台视为引文累积的预测因素，其强度不同程度地反映了每个平台的审查水平。
2021-05-17 cs.DL cs.SI physics.soc-ph
First Author Advantage: Citation Labeling in Research
科学计量学的主要研究对象是研究论文之间的引文及其形成的网络。引用的行为反映了引用者对相关文献和被引用作品的了解。我们的目标是通过研究引用键来深入了解这一过程：用户选择标签来识别被引用的作品。我们的主要观察结果是，第一作者在这些标签中的比例不成比例，这意味着对第一作者的强烈心理偏见。
2013-10-07 cs.DL
The effect of the rapid growth of covid-19 publications on citation indicators
有人担心，研究的“Covidization”将导致过度强调COVID-19和大流行病，而牺牲其他研究。新型冠状病毒肺炎（COVID-19）疫情相关出版物的快速增长导致大量文献被引用。这种增长可能会影响文献计量指标。本文探讨了新型冠状病毒出版物的增长如何影响大学排名、研究评估和研究分配中常用的文献计量指标，即领域标准化引文得分和期刊影响因子。我发现，在新冠肺炎大流行的早期阶段，出版物的激增会影响领域标准化引用分数，并将影响期刊影响因子。与COVID-19无关的出版物也受到严重影响。我的结论是，从跨越2019冠状病毒病大流行初期的引文指标中得出误导性结论的风险相当大，特别是在使用时间序列和评估生物医学文献时。
2022-09-16 cs.DL
Comparison of a citation-based indicator and peer review for absolute and specific measures of research-group excellence
许多不同的措施被用来评估学术研究的卓越性，这些都受到国际上科学计量，大学管理和决策社区正在进行的讨论和辩论。一个仍然重要的专题是，基于引用的指标与基于同行审查的评价相比的程度。在这里，我们分析了一个特定的基于引用的影响力指标的值和同行评议分数在几个学科，从自然科学到社会科学和人文科学之间的相关性。我们对研究小组而不是个人进行比较。我们在两个层面上进行比较。在绝对水平上，我们比较了整个集团的总影响力和整体实力。在一个特定的层面上，我们比较了学术影响和质量，并根据团体的规模进行了标准化。我们发现，在前一级非常高的相关性为一些学科和穷人的相关性在后一级的所有学科。这意味着，虽然基于引用的分数可以帮助描述研究小组的实力，特别是对于所谓的硬科学，但它们不应该被用作研究小组排名或比较的代理。此外，软科学的同行评价分数和基于引用的分数之间的相关性较弱。
2013-05-27 cs.DL physics.soc-ph
The Arabic Citation Index -- Toward a better understanding of Arab scientific literature
本文介绍了2020年推出的阿拉伯引文索引（ARCI）数据库，通过分析其收录的138,283篇文献的分布特征与主题结构，探讨了其在科研评价中的应用价值与未来研究机会。
2023-04-23 cs.DL
LitFM: A Retrieval Augmented Structure-aware Foundation Model For Citation Graphs
University of Electronic Science and Technology of China（电子科技大学）；Yale University（耶鲁大学）
LitFM是一种基于检索增强的结构感知文献基础模型，通过整合引用图结构和知识注入的LLM，提升文献检索和相关性评估的准确性。
2025-12-18 cs.DL cs.SI
Non-cumulative measures of researcher citation impact
研究者最常用的出版物指标是出版物总数、引文总数和赫希$h$指数。每一项都是累积的，因此在研究人员的职业生涯中会增加，这使得它不太适合评估初级研究人员或评估最近的影响。文献中的大多数其他作者级别的措施都具有这种累积特性。相比之下，我们的目标是研究非累积的措施，回答这个问题“在引用影响方面，你最近做了什么？“我们从相当稀少的文献中挑出六个指标，包括赫希的$m$指数，一个时间尺度版本的$h$指数。我们引入了新的措施的基础上的“引用加速”的想法。在给出了非累积测度的几个公理之后，我们得出结论，我们的一个新测度具有更好的理论依据。我们提出了一个小规模的研究，其性能的真实数据，并得出结论，它显示出巨大的承诺，为未来的使用。
2021-05-19 cs.DL
CitNetExplorer: A new software tool for analyzing and visualizing citation networks
我们提出CitNetExplorer，一个新的软件工具，用于分析和可视化科学出版物的引文网络。例如，CitNetExplorer可用于研究研究领域的发展，描述研究主题的文献，并支持文献综述。我们首先介绍使用CitNetExplorer时需要理解的主要概念。然后，我们演示CitNetExplorer使用该工具来分析科学计量学文献和文献的社区发现在网络中。最后，我们讨论了CitNetExplorer中引文网络的构建、可视化和分析的一些技术细节。
2014-04-21 cs.DL cs.SI physics.soc-ph
SciRAG: Adaptive, Citation-Aware, and Outline-Guided Retrieval and Synthesis for Scientific Literature
Shanghai Jiao Tong University（上海交通大学）；Yale University（耶鲁大学）；NYU Shanghai（纽约大学上海分校）；TCS Research（TCS研究）
针对现有科学文献RAG方法忽略引用结构、适配性差、合成内容难验证的问题，本文提出开源框架SciRAG，通过自适应检索、引用感知推理、大纲引导合成三项创新，在多个基准上取得了更优的事实准确性与合成质量。
2025-11-18 cs.CL cs.DL
The narrowing of literature use and the restricted mobility of papers in the sciences
随着时间的推移，越来越少的学术文献是否占据了大多数参考文献，这是一个有争议的问题。人们也不太清楚，缩小文学的使用范围会如何影响科学思想的传播。在这里，我们表明，随着时间的推移，科学文献的利用遵循双重趋势：虽然较大比例的文献至少被引用了几次，但引用也更多地集中在引用分布的顶部。与后一种趋势相平行的是，一篇论文未来的重要性越来越取决于其过去的引用表现。随机网络模型表明，引文集中度与引文绩效的稳定性直接相关。证据表明，越来越多的异质性的引用影响限制了流动性的研究文章，不获得关注的早期。虽然浓度增长从1970年开始的研究期间，引用分散显着表现出只有从20世纪90年代中期，当流行的新发表的论文也上升。最有可能的是，传播论文的先进信息技术是后两种趋势的背后。
2022-04-28 cs.DL cs.SI physics.soc-ph
Quantifying the Impact of Scholarly Papers Based on Higher-Order Weighted Citations
量化学术论文的影响力具有重要意义，但被引论文的地理距离效应尚未被探讨。在本文中，我们检查了发表在《物理评论C》上的30，596篇论文，并确定了引文与作者隶属关系之间的地理距离之间的关系。随后，应用相对引用权重来评估学术论文的影响力。一个高阶加权量子PageRank算法也被开发来解决多步引用流的行为。捕获具有高阶依赖关系的引用动态揭示了论文的实际影响，包括在先前研究中有时被排除的必要的自引。本文利用量子PageRank来帮助区分PageRank值相同的节点。
2020-08-10 cs.DL
Compound Deception in Elite Peer Review: A Failure Mode Taxonomy of 100 Fabricated Citations at NeurIPS 2025
School of Computing and Engineering Sciences University of Chester（计算与工程科学学院 英国切斯特大学）
本研究分析了NeurIPS 2025中100个伪造引用的失败模式，发现所有幻觉均表现出复合失败模式，揭示同行评审在验证引用时的不足，并提出强制自动引用验证的解决方案。
2026-02-05 cs.AI cs.DL
Citing for High Impact
引用行为的问题一直吸引着来自不同学科的科学家。虽然一般的引用模式已被广泛研究的文献中，我们开发的概念，通过调查的引用之间的出版物，一个给定的论文引用的引用投影图。我们研究了不同科学学科之间的引文模式如何变化，以及这些模式如何反映论文的科学影响。我们发现，特质的引用模式是低影响力论文的特点，而狭窄的，以学科为重点的引用模式是常见的中等影响力的论文。我们的研究结果表明，跨社区或桥接引用模式是高风险和高回报的，因为这种模式是低影响力和高影响力论文的特征。最后，我们观察到，最近引文网络的趋势是更多的桥接和跨学科的形式。
2010-04-20 cs.DL
Phantom References: Hallucinated Citations That Survive Peer Review at Top-Tier Conferences
Microsoft（微软）
本文提出RefChecker工具，通过多源验证和网络搜索复检，发现顶级会议论文中存在少量但可观的幻觉引用（如不存在的文献或作者列表严重不匹配），且同行评审未能完全阻止其进入档案记录。
2026-07-07 cs.AI cs.DL
Reviving the past: the growth of citations to old documents
在这篇摘要中，我们回顾了Google Scholar团队最近发布的一项研究，该研究涉及过去24年（1990-2013）发表的研究中旧文章的引用比例明显增加。首先，我们描述他们文章的主要发现。其次，我们进行了一项模拟研究，使用不同的数据源以及不同的措施，得出非常相似的结果，从而证实了这一现象。最后，我们讨论了这种现象的可能原因。
2015-01-09 cs.DL
An open-source integrated framework for the automation of citation collection and screening in systematic reviews
科学生产的指数增长使得二次文献删节的要求越来越高。我们引入了一个新的系统性综述开源框架，大大减少了收集和筛选科学文献的时间和工作量。该框架提供了三个主要工具：1）自动引文搜索引擎和管理器，它使用统一的查询语法从多个在线来源收集记录，2）贝叶斯，主动机器学习，基于迭代人机交互的引文筛选工具，以提高预测准确性，以及3）半自动，数据驱动的查询生成器，用于从现有的引文数据集创建新的搜索查询。为了评估自动筛选器的性能，我们使用贝叶斯模拟来估计中值后验灵敏度和效率[90%可信区间]，以预测未检测到的潜在相关记录的分布。在一个示例主题上进行测试，该框架通过引文管理器收集了17，755条独特的记录; 766条记录需要人工评估，其余记录被自动分类器排除;理论效率为95.6% [95.3%，95.7%]，灵敏度为100% [93.5%，100%]。从标记数据集生成新的搜索查询，并收集了82，579条额外记录;只有567条记录在自动筛选后需要人工审查，并发现了6个额外的阳性匹配。总体预期灵敏度降至97.3% [73.8%，100%]，而效率提高至98.6% [98.2%，98.7%]。该框架可以通过简化引文收集和筛选，同时表现出非凡的敏感性，大大减少进行大型文献综述所需的工作量。这样的工具可以提高系统评价的标准化和可重复性。
2022-02-22 cs.DL cs.IR stat.AP
Bibliometrics/Citation networks
除了塑造社交网络之外，例如，在合著关系方面，科学传播还诱导和复制认知结构。科学文献是按照学科和专业进行智力组织的;这些结构通过引用这些文献中嵌入的作者、概念和文本而被反射性地复制和网络化。认知结构的概念是由David Krackhartt在1987年的社会网络分析（SNA）中引入的，但SNA的重点迄今为止一直是将认知作为人类能动性的心理属性。在文献计量学中，以及在更普遍的科学和技术研究中，社会认知结构指的是超个人层面的智力组织。这种知识组织出现了，并被作者的集体所复制，这些作者不仅根据人际关系组织起来，而且根据特定领域的交流代码组织起来。引文可以作为这一编纂过程的指标。
2015-02-23 cs.DL
Measuring Social Media Activity of Scientific Literature: An Exhaustive Comparison of Scopus and Novel Altmetrics Big Data
本文使用Altmetric.com数据测量了Scopus数据库中索引的15个广泛科学学科的社交媒体活动。首先，在Scopus数据库中的Altmetric.com数据的存在进行了调查，整体和跨学科。第二，文献计量学和高程指数之间的相关性进行了检查，使用斯皮尔曼相关。第三，零截尾负二项模型被用来确定各种因素与增加或减少的引文的关联。最后，通过部署曲线下面积（AUC）-受试者操作特性的应用，全面评估了高度指数识别具有高引用影响力的出版物的有效性。结果表明，Altmetric.com数据在Scopus数据库中的存在率从2011年的10.19%迅速增加到2015年的20.46%。零截断负二项模型的实施，以衡量在何种程度上不同的文献计量学和高度计量学的因素有助于引文计数。博客数量似乎是最重要的因素，在健康护理和护理领域增加了38.6%的引用数量，其次是Twitter数量，在物理学和天文学领域增加了8%的引用数量。有趣的是，博客数量和Twitter数量总是显示所有领域的引用数量都在增加。虽然文献计量学指数和高程指数之间存在正相关，但结果表明，高程指数可以作为区分高被引出版物的一个很好的指标，高被引出版物与总高程计数之间的AUC= 0.725。总体而言，研究结果表明，altmetrics可以更好地区分高引用的出版物。
2017-07-17 cs.DL
On the Heterogeneous Distributions in Paper Citations
学术论文一直是传播专门知识的主角。自然，论文引文模式分析是考察科技知识结构的一种有效而必要的方法。几十年来，人们已经观察到，科学文献的引用遵循异质和重尾分布，其中许多建议幂律分布，对数正态分布和相关分布。然而，许多研究仅限于小规模的方法，因此，很难概括。为了克服这个问题，我们通过系统分析1996年至2016年发表的42，423，644篇科学文献的整个引文历史，调查了21年的引文演变。我们在Scimago Journal & Country Rank（SJR）分类方案的三个不同级别中测试了科学文献的六个候选分布。首先，我们观察到，除了出版的第一年，所有学科的年度引文收购的原始数量往往遵循对数正态分布。我们还发现，每年获得的引文数量之间的期刊，这表明，它是必要的，以消除从期刊的声誉继承的引文盈余显着的差异。我们的简单方法分离的引用偏好的个别文章从继承的引用期刊揭示了一个意想不到的规律性，在规范化的年度收购的引用在整个科学领域。具体而言，归一化的年度引文采集具有幂律概率分布，指数截止值约为2.3，无论其出版和引用年份如何。我们的研究结果表明，期刊声誉有一个实质性的长期影响的引用。
2018-10-20 cs.DL physics.soc-ph
Revisiting the scaling of citations for research assessment
在过去十年中，传统上使用同行审查方法进行的国家研究评价工作已开始采用文献计量指标。出版物收到的引文被认为是其质量的代表，但在用于组织或个人科学家的比较评估之前，它们需要标准化：由于不同研究领域的引文行为不同，引文数据必须标准化。本文的目的是比较不同的方法规范引文的有效性，以提供有用的指示，科研评估从业人员。模拟一个典型的国家研究评估活动，他的分析是针对硬科学的所有学科类别进行的，并基于汤森路透科学引文索引扩展。比较表明，引文平均数是最有效的尺度参数，当平均数是基于实际引用的出版物。
2018-10-31 cs.DL
Science of science -- Citation models and research evaluation
本文回顾引文模型与研究评价文献，指出研究质量不可观测是根本问题，并强调因果推理对理解和使用指标的关键意义。
2025-05-09 cs.DL physics.soc-ph
The role of geographic proximity in knowledge diffusion, measured by citations to scientific literature
本文分析了地理距离对知识流动的影响，通过引用科学出版物来衡量。以前使用相同方法的作品仅限于单一学科。在这项研究中，我们分析了意大利在2010-2012年期间成熟的所有学科的科学生产。为了计算引用和被引用出版物之间的地理距离，每个出版物都与作者所属的“流行”地区相关联。使用普通最小二乘回归估计的重力模型的应用结果表明，尽管信息技术的传播，地理距离仍然是领土之间知识流动过程中的一个影响因素。特别是，分析表明，地理距离对知识流动的影响在国家一级很大，在大陆一级不可忽略，但在洲际一级完全无关紧要。
2020-02-03 cs.DL physics.soc-ph
Do bibliometrics introduce gender, institutional or interdisciplinary biases into research evaluations?
对公共资助研究的系统评价通常采用文献计量学和同行评议相结合的方法，但文献计量学部分是否会引入偏见尚不清楚。本文比较了2014- 2017年所有34个基于领域的评估单位（UoAs）的73，612篇英国卓越研究框架（REF）期刊文章的三种替代机制：同行评议，领域标准化引文和期刊平均领域标准化引文影响。所有这三项都被标准化为一个四点量表。研究结果表明，在几乎所有的学术领域，文献计量学评分可以不利部门发表高质量的研究，与化学的文章引用率的主要例外。因此，将期刊或文章水平的引用信息引入同行评审练习可能会回归平均效果。与男性相比，女性的文献计量学得分略高于男性，但这在UoA之间有所不同，在物理科学，工程和社会科学中最为明显。相比之下，跨学科研究从文献计量学评分中获得了大约一半的UoAs，但相对而言，在两个。总之，在三个潜在的偏见来源中，最严重的似乎是文献计量分数对高质量部门的倾向，假设同行评议分数是正确的。这几乎是一个悖论：虽然高质量的部门往往获得最高的文献计量分数，文献计量学掩盖了部门质量优势的全部程度。在使用文献计量学或文献计量学知情同行评审时，应考虑这一点。
2022-12-11 cs.DL
ReviewGuard: Aligning LLM-Assisted Peer Review with Long-Term Scientific Impact
Department of Statistics and Data Science（统计与数据科学系）
提出ReviewGuard两阶段框架，通过强化学习将LLM生成的评审与基于引用的长期影响力对齐，在2万篇论文上优于人类评审和监督模型，高影响力论文识别率提升5.6倍。
2026-06-25 cs.AI cs.DL
Citation analysis cannot legitimate the strategic selection of excellence
为了回应之前的批评（Opthof & Leydesdorff，2010），莱顿的科学技术研究中心（CWTS）提议将引用分析中的旧“皇冠”指标改为新指标。Waltman等人（2011年）认为，这一变化不会影响各种综合水平的排名。然而，CWTS数据并不公开用于测试和批评。在这封信中，我们使用Van Raan（2006）以前发表的数据来解决引文分析结果与同行评议结果之间如何相关的关键问题。基于同行评审的质量参数与CWTS过去开发的两个参数（CPP/JCSm或CPP/FCSM）以及最近提出的h指数（Hirsch，2005）均无显著相关性。鉴于新旧“冠状病毒”指标之间的高度相关性，可以预期，与基于同行审查的质量指标缺乏相关性的情况同样适用于新制定的指标。
2011-02-15 cs.DL physics.soc-ph
BibAgent: An Agentic Framework for Traceable Miscitation Detection in Scientific Literature
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Worcester Polytechnic Institute（沃斯特理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
BibAgent是一种用于科学文献中可追溯误引检测的代理框架，通过整合检索、推理和自适应证据聚合，实现高效且透明的引文验证。
2026-01-30 cs.AI cs.DL
Citation Analysis of Computer Systems Papers
引文分析在文献计量学文献中广泛使用，以评估单个作品，研究人员，机构甚至整个研究领域的影响。在本文中，我们分析了在计算机科学，即计算机系统的一个大的和有影响力的领域的引文。使用来自2017年50个系统会议的2，088篇论文的横截面样本的引文数据，我们研究了四个研究问题：系统引文的总体分布;它们随时间的演变;系统论文数据库（Google Scholar和Scopus）之间的差异;以及该领域自引的特征。我们发现，只有1.5%的论文在五年后仍然未被引用，而12.8%的论文至少被引用了100次，这两个统计数据都优于许多其他科学领域。系统中被引用最多的子领域和会议领域是安全性、数据库和计算机体系结构。大多数论文在发表后一年内实现了第一次引用，并且引文数量中位数在五年内继续以几乎线性的速度增长，只有少数论文在此之前达到峰值。我们还发现，早期的引文可能与免费提供预印本的论文有关，或者可能主要由自引组成。对于大多数论文来说，自引与总引用的比率开始相对较高，但似乎在12- 18个月内稳定下来，此时高引用论文恢复到主要是外部引用。过去的自引计数（取自每篇论文的参考文献列表）似乎与每篇论文未来的自引计数几乎没有任何关系。引文数据库的选择在相对引文比较中也几乎没有差异，尽管绝对计数有显著差异。
2023-01-30 cs.DL
Measuring Metrics - A forty year longitudinal cross-validation of citations, downloads, and peer review in Astrophysics
引用度量和更新的altmetric度量（如下载量）现在通常用于为人事决策提供信息。这些指标能在多大程度上衡量或预测一个人过去、现在或未来的学术表现？使用史密森/NASA天体物理数据系统的数据，我们分析了1972-1976年期间获得美国天文学博士学位的922人的出版，引用，下载和区别历史。通过在同一时间和不同时间对同一个体进行相同和不同的测量，我们能够显示每个测量的能力和局限性。由于分布是对数正态的测量不确定性是乘法，我们表明，为了以95%的置信度，一个人的引用和/或下载量显着高于另一个人的状态，计数的比率的对数差必须至少为0.3德克斯，这对应于一个乘法因子为2。
2015-10-30 astro-ph.IM cs.DL physics.soc-ph
The Closer the Better: Similarity of Publication Pairs at Different Co-Citation Levels
本文从期刊、文章、章节、段落、句子和括号等不同共引层次上考察了被共引的论文对的相似性。我们的研究结果表明，文本相似性，知识重叠（共享参考文献），作者重叠（共享作者），在出版时间的接近度都单调上升的共引水平越低（从期刊到括号）。虽然相似性的主要增加发生在从期刊到文章共引时，但所有级别的变化都需要增加相似性，特别是节到段落和段落到句子/括号级别。我们比较了2010-2015年四种期刊的结果：Cell，欧洲运筹学杂志，物理快报B和研究政策，具有一致的一般结果和一些有趣的差异。我们的研究结果激励使用颗粒共引信息定义的有意义的文本单位，与影响，除其他外，科学地图的制定和检索的学术文献。
2017-10-27 cs.DL
The case for the Humanities Citation Index (HuCI): a citation index by the humanities, for the humanities
引文索引现在是大多数科学家使用的研究基础设施的一部分：一个必要的工具，以应付越来越多的科学文献被出版。商业引文索引是为科学而设计的，对人文学者的覆盖面不均匀，特点不令人满意，而没有一个公共组织出版的综合性引文索引。我们认为人文学科的开放引文索引是可取的，原因有四：它将极大地改善和加速资源的检索，它将提供一种方法来链接跨存储库的集合（如档案馆和图书馆），它将促进所有利益攸关方采用元数据标准和最佳做法（包括出版商），并将为文献计量学和科学研究等领域提供研究数据。我们还建议，引文索引应通知一套要求有关的人文学科。我们讨论了四个这样的要求：来源覆盖面必须全面，包括书籍和引用的主要来源;需要有时间顺序的深度，因为在人文学术仍然随着时间的推移相关;索引应该是收藏驱动，利用积累的专题收藏专业研究图书馆;并且它应该在上下文中丰富，以便允许对每个引用进行限定，例如通过提供引用摘录。我们详细介绍了适合目的的研究基础设施，可以使人文引文索引成为现实。最终，我们认为人文学科的引文索引可以由人文主义者通过协作，分布式和开放的努力来创建。
2022-05-14 cs.DL
Author Name Co-Mention Analysis: Testing a Poor Man's Author Co-Citation Analysis Method
作为德语国家的社会科学信息服务机构，我们记录相关领域的研究项目，出版物和数据。与此同时，我们的目标是提供这些领域有充分依据的文献计量学研究。然而，对德国社会科学领域进行引文分析是一个严峻的挑战，因为这些领域在标准引文数据库中的覆盖率很低，而且可能存在明显的偏见。然而，引文，尤其是作者引文，在文献中起着非常重要的作用。在这项正在进行的工作中，我们报告的作者姓名共同提及分析的一个特别有趣的语料库的德国社会学的大片段的初步方法和结果：四分之一世纪的德国社会学协会（DGS），庆祝其成立100周年会议在2012年的全文诉讼。结果是令人鼓舞的作者共引分析的这个可怜的表亲，但相当大的改进，特别是全文分析的基础计算基础设施，似乎是明智的全面部署这种方法。
2013-09-20 cs.DL
A Probe into Causes of Non-citation Based on Survey Data
对不被引可能原因的实证分析结果有助于提高研究者的被引潜力，也有助于期刊编辑人员识别潜在的高质量稿件。本研究采用问卷调查的方法，对导致引文或不引文的可能原因进行了调查。然后，我们进行了统计分析，以确定导致不被引用的主要原因，结合通过调查收集的数据进行分析。大多数受访者认为论文容易被引用的8个主要原因，如研究热点和内容新颖的主题，发表后较长的时间间隔，研究主题与我的工作相似，高质量的内容，合理的自引，突出的标题，着名的作者，他们还指出，他们现在的研究方向与以前的研究方向存在巨大差异，这是他们以前的论文未被引用的主要原因。他们认为，包括注释、评论和给编辑的信在内的文本很少被引用，太短或太长的论文也是如此。相比之下，中等长度的评论、文章或论文更容易被引用。
2015-06-23 cs.DL
