Systematic analysis of agreement between metrics and peer review in the UK REF
在进行国家研究评估时，一些国家依赖引用指标，而其他国家（如英国）主要使用同行评审。在有影响力的Metric Tide报告中，发现英国卓越研究框架（REF）中的指标和同行评审之间的一致性较低。然而，早期的研究观察到REF中的指标和同行评审之间的一致性要高得多，并主张使用指标。这表明，在关于指标和同行评审之间一致性的讨论中存在相当大的模糊性。我们通过考虑四个要点来澄清这一讨论：（1）分析的聚合水平;（2）使用依赖于规模或独立于规模的视角;（3）不同一致性度量的适用性;（4）同行评审的不确定性。在REF的背景下，我们认为，指标和同行评审之间的协议应在机构层面，而不是在出版物层面进行评估。大小依赖和大小独立的角度都是相关的REF。相关性的解释可能是有问题的，因此作为一种替代方案，我们使用基于度量和同行评审之间的绝对或相对差异的协议措施。为了了解同行评议中的不确定性，我们依靠一个模型来引导同行评议结果。我们的结论是，特别是在物理学，临床医学和公共卫生，指标同意同行评议，并可能提供一种替代同行评议。
2019-03-20 cs.DL
PaperBricks: An Alternative to Complete-Story Peer Reviewing
在几个计算机科学社区中使用的同行评审系统存在几个缺陷，包括评审时间长，评审人员过多，以及培养利基主题。这些缺陷会降低质量、影响力、减缓创新过程，并导致作者、读者和评论者的挫败感。为了解决这个问题，我们提出了一个新的同行评审系统，称为纸砖。与现有系统相比，纸砖有几个优势，包括出版物更短，新想法的竞争更激烈，以及加速创新过程。此外，可以在对现有同行评审系统进行最小改变的情况下实现纸砖。
2011-02-17 cs.DL
Does the use of open, non-anonymous peer review in scholarly publishing introduce bias? Evidence from the F1000 post-publication open peer review publishing model
本研究探讨是否有任何偏见的证据，在两个领域的共同批评的开放，非匿名同行评议-和使用的出版后，同行评议系统由开放获取学术出版平台F1000 Research。第一，是否有证据表明，一个位于特定国家的审稿人对同一个国家的作者的作品进行了评估？第二，审稿人是否会因为能够看到评论并知道前一个审稿人的来源而受到影响？研究方法：仔细检查发表在F1000 Research上的开放式同行评审评论，我们评估了两个经常被引用的对评审员的潜在影响的程度，这可能是完全可归因的开放式同行评审出版模式所提供的透明度的结果：作者和评审员的国家从属关系，以及评审员在提交自己的报告之前查看先前发表的评审员报告的能力。对2019年7月8日之前发表于F1000 Research的所有第一版文章研究了这些潜在影响的影响。在文章最多的20个国家中，有16个国家的评论者倾向于给予更积极的评价。其中1例差异有统计学意义。只有3个国家有相反的趋势。其次，没有证据表明存在从众偏见。当审评员在同行审评报告中提到以前的审评时，他们并不更有可能给出相同的总体判断。虽然可能阅读先前发表的评审员报告的时间较长的评审员同意先前评审员判断的可能性略低，但这可能是由于这些文章难以判断，而不是故意不符合。
2019-11-08 cs.DL
On Performance of Peer Review for Academic Journals: Analysis Based on Distributed Parallel System
建立了一个基于并行系统的仿真模型，旨在探讨同行评议中投稿数量与同类学科学术期刊整体水平之间的关系。该模型可以有效地模拟分布式学术期刊的投稿、审稿和验收行为。根据模拟实验，学术期刊的整体水平有可能因投稿过多而下降。
2019-08-21 cs.DL cs.SI
Deferred Acceptance Algorithm Improves Peer Review Process
University of Canterbury（坎特伯雷大学）
延迟接受算法优化了同行评审流程，通过减少评审数量和延迟，提高了科学出版的效率。
2026-01-19 cs.DL
National research assessment exercises: a comparison of peer review and bibliometrics rankings
文献计量技术的发展已经达到了这样一个水平，建议在国家研究评估工作中，就硬科学而言，将其整合或完全取代经典的同行评议。在这项工作中，我们比较排名的第一次意大利的评估工作，通过同行评议，与文献计量学模拟的结果所捕获的大学名单。比较显示了同行评议和文献计量学排名之间的巨大差异，卓越和生产力。
2018-11-05 cs.DL
ReviewGuard: Aligning LLM-Assisted Peer Review with Long-Term Scientific Impact
Department of Statistics and Data Science（统计与数据科学系）
提出ReviewGuard两阶段框架，通过强化学习将LLM生成的评审与基于引用的长期影响力对齐，在2万篇论文上优于人类评审和监督模型，高影响力论文识别率提升5.6倍。
2026-06-25 cs.AI cs.DL
Pre-review to Peer review: Pitfalls of Automating Reviews using Large Language Models
AllSci Corp（AllSci公司）；Sunwater Capital（Sunwater资本）；Kellogg School of Management, Northwestern University（西北大学凯洛格管理学院）；Dept. of Computer Science, Northern Illinois University（北伊利诺伊大学计算机科学系）；Institute of Foundation Models, MBZUAI（基础模型研究所，MBZUAI）
本文研究了使用大型语言模型进行学术评审的潜力与风险，发现其作为预审筛选工具具有一定效用，但存在与人类评审不一致的风险及系统性高估偏差。
2025-12-14 cs.AI cs.CY cs.DL
Metrics and peer review agreement at the institutional level
在过去的几十年里，许多国家开始根据对学术机构科学业绩的评估来资助这些机构。在这种情况下，出版后同行审查往往被用来评估科学业绩。有人建议用文献计量指标替代同行审查。在这种情况下，一个反复出现的问题是同行评审和指标是否往往会产生类似的结果。在本文中，我们研究文献计量指标和同行评议的基础上提交评估的出版物样本的意大利国家研究评估工作（2011- 2014年）之间的协议。特别是，我们研究的协议之间的文献计量指标和同行评议在更高的聚合水平，即机构层面。此外，我们还量化了内部协议的同行评议在机构层面上。我们的分析基于一个分层贝叶斯模型，使用交叉验证。我们发现，协议的水平一般是在机构层面高于在出版物层面。总体而言，指标和同行评审之间的一致性与特定背景下某些科学领域的两位评审员之间的内部一致性相当。这表明，对于某些领域，文献计量指标可能被视为意大利国家研究评估工作同行审查的替代办法。虽然结果不一定概括到其他情况下，它确实提出了一个问题，是否会获得类似的结果，如在英国的其他研究评估工作。
2023-03-27 cs.DL
Paper Copilot: Tracking the Evolution of Peer Review in AI Conferences
University of Southern California（南加州大学）；University of Cambridge（剑桥大学）；Stanford University（斯坦福大学）
Paper Copilot通过创建同行评审数字档案和开放数据集，分析人工智能会议评审实践的演变，促进同行评审系统的透明和改进。
2026-02-09 cs.AI cs.CV cs.DL
Safeguarding Scientific Integrity: Examining Conflicts of Interest in the Peer Review Process
本文通过分析2022年一期生育与心理健康特刊的作者、编辑和评审人关系，揭示未披露的利益冲突及其对同行评审客观性的损害，并提出开放评审、扩大披露和加强问责等改进措施。
2023-08-08 cs.DL
R-Index: A Metric for Assessing Researcher Contributions to Peer Review
本文提出R-Index指标，通过计算研究人员出版物的评审责任总和与已完成评审数量的差值，评估其对同行评审的贡献，以鼓励公平参与并支持学术出版的可持续性。
2024-10-11 cs.DL
Inter-rater reliability and convergent validity of F1000Prime peer review
同行评议是现代科学的支柱。F1000Prime是一个生物医学文献（来自医学和生物学期刊的论文）的出版后同行评审系统。本研究旨在探讨F1000Prime同侪互评系统中同侪推荐信的评者间信度与聚合效度。该研究基于约10万篇论文，并附有教师的建议。即使主体间性在科学中发挥着重要作用，对F1000 Prime同行评议系统可靠性的分析表明，教师之间的一致性水平相当低。这一结果与大多数其他已发表在期刊同行评审系统上的研究一致。采用Logistic回归模型对F1000Prime同行评议系统的聚合效度进行了研究。结果显示，高被引论文在学院成员选择的论文中所占的比例明显高于预期。此外，更好的推荐分数也与更好的论文表现有关。
2014-06-03 cs.DL physics.soc-ph
On Novel Peer Review System for Academic Journals: Experimental Study Based on Social Computing
为了提高同行评议的效率和效率，在分析基于蒙特卡罗方法建立的并行模型下学术期刊同行评议过程的基础上，提出了一种新的同行评议系统。该模型能够以分布式的方式模拟评审系统的评审、申请和验收活动。通过对两种不同的复习系统进行仿真实验，证明了该系统的优越性。
2021-11-11 cs.DL cs.SY eess.SY
MOPRD: A multidisciplinary open peer review dataset
School of Informatics, Xiamen University（厦门大学信息学院）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan, Ministry of Culture and Tourism（文化和旅游部闽台非物质文化遗产数字化保护与智能处理重点实验室）；College of Foreign Languages and Cultures, Xiamen University（厦门大学外文学院）
针对现有同行评审数据集覆盖不全且学科单一的问题，构建多学科开放数据集MOPRD，并提出模块化引导式评审意见生成方法，性能优于基线。
2023-11-14 cs.AI cs.CL cs.DL
Review times in peer review: quantitative analysis of editorial workflows
我们研究同行评议的选定方面，并提出可能的改进。为此，我们分析了一个数据集，其中包含约300份提交给《塞尔维亚化学学会杂志》生物化学和生物技术部分的论文。在将同行评审过程分成每个评审必须经历的阶段之后，我们使用加权有向图以概率的方式描述它，并测试编辑策略的一些修改对整个过程效率的影响。
2015-08-05 cs.DL physics.soc-ph
Peerify: Benchmarking Peer-Review Claim Verification
Reviewerly；University of Toronto（多伦多大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
Peerify构建了基于真实同行评审的800条声明基准，通过分解声明、检索证据并验证支持性，证明以检索为中心的验证优于蕴含模型，自动标签与人类共识高度一致。
2026-09-23 cs.CL cs.DL
Why ex post peer review encourages high-risk research while ex ante review discourages it
同行评议是当代科学的一个组成部分。虽然同行评议将注意力集中在有前途和有趣的科学上，但它也鼓励科学家以牺牲其他问题为代价来追求一些问题。在这里，我们使用预测评估的想法来研究两种模式的同行评审-事前审查的建议，为未来的工作和事后审查完成的科学-激励科学家赞成一些问题，而不是其他的。我们的主要结果是，事前和事后同行评议推动调查人员对不同的科学问题集。这种紧张关系的产生是因为事后审查允许研究者利用自己的科学信念来产生其他人会感到惊讶的结果，而事前审查则不会。此外，事前审查会倾向于不同的研究问题，这取决于审查者是根据他们自己的个人信念的变化，还是根据他们的同行的信念的变化来对建议进行排名。事前审查和事后审查之间的紧张关系使研究人员陷入困境，因为大多数研究人员需要找到既能生存又能生存的项目。通过解开这两种审查模式之间的紧张关系，我们可以理解它们如何塑造科学的景观，以及同行审查的变化如何将科学活动转向不可预见的方向。
2021-09-28 cs.DL physics.soc-ph
Peer review and citation data in predicting university rankings, a large-scale analysis
大多数基于绩效的研究资助系统（PRFS）借鉴同行评审和文献计量指标，这两种不同的方法有时会结合起来。反对在此类研究评估活动中使用指标的一个常见论点是，它们在文章水平上与同行评审判断的相关性较低。在这项研究中，我们分析了来自154所高等教育机构的191，000篇论文，这些论文在国家研究评估活动中进行了同行评审。我们将这些数据与原始论文的695万次引用相结合。我们发现，当基于引用的指标被应用于机构或部门层面，而不是在单个论文的水平，可以观察到令人惊讶的大相关性与同行评审的判断，高达r <= 0.802，n = 37，p < 0.001的一些学科。在我们基于引用数据的排名预测性能评估中，我们发现与以前的工作相比，我们可以将平均排名预测误差减少25%。这表明，基于引用的指标与机构一级的同行审议结果充分一致，可用于减轻同行审议对国家评价工作的总体负担，从而节省大量费用。
2018-05-22 cs.DL
The Convergence of Digital-Libraries and the Peer-Review Process
在过去的15年里，预印本存储库在多个研究领域的使用显著增加。研究人员开始开发能够使用这些知识库的应用程序，以帮助科学界超越纯粹的信息传播。本文提出的贡献强调了一个解构的出版模式，同行评审过程是由OAI-PMH同行评审服务介导的。这种同行评审服务使用社交网络算法来确定提交的手稿的潜在评审员，并对每个参与评审员的评价的相对影响进行加权。本文还提出了一套同行评审的具体元数据标签，可以伴随预印本的现有元数据记录。这些贡献的组合提供了一个独特的以存储库为中心的同行评审模型，该模型适合于广泛部署的OAI-PMH框架。
2005-09-12 cs.CY cs.DL
Case for the double-blind peer review
同行评议是一个过程，旨在产生一个公平的评估研究质量之前，在期刊上发表的学术工作。人口统计学、裙带关系和资历都被证明会影响评审员的行为，这表明最常见的单盲评审方法（或不太常见的开放式评审方法）可能存在偏见。对当前研究的一项调查表明，双盲审查提供了一个解决许多偏见的方法，这些偏见来自作者的性别、资历或地点，而不会带来任何重大的负面影响。
2018-11-05 cs.DL physics.soc-ph
Position: The Artificial Intelligence and Machine Learning Community Should Adopt a More Transparent and Regulated Peer Review Process
University of Southern California（南加州大学）
本文基于Paper Copilot网站数据，分析AI/ML会议同行评审模式，倡导采用更透明、开放且受监管的评审流程，以促进社区参与和领域发展。
2025-10-15 cs.AI cs.CV cs.CY
From peer review nuances to best practices
研究同行评审数据中论文版本、分数版本和输入格式的细微差别，通过刻画差异及衡量影响，为数据提供者和使用者提供最佳实践。
2026-07-28 cs.CL cs.DL
Does double-blind peer-review reduce bias? Evidence from a top computer science conference
同行评审被广泛认为是推进科学研究的必要条件。然而，审稿人可能会因作者的声望或其他特征而产生偏见。双盲同行评审，其中作者的身份是从审查掩盖，已被提出作为一种方式，以减少审查偏见。虽然直观，双盲同行评议在减少偏见的有效性的证据是有限的和混合。在这里，我们通过分析提交给国际学习表征会议（ICLR）的5027篇论文的同行评审文件，研究了双盲同行评审对声望偏见的影响。ICLR是一个顶级计算机科学会议，其评审政策于2018年从单盲同行评审改为双盲同行评审。我们发现，在切换到双盲审查后，最负盛名的作者的分数显着下降。然而，由于这些论文中有许多都超过了接受的门槛，这一变化并没有显著影响论文的接受决定。然而，我们发现，双盲同行评议可能通过限制其他（非作者声望）偏见来提高选择的质量。具体来说，单盲格式被拒绝的论文被引用的次数比双盲格式被拒绝的论文多，这表明双盲评审更好地识别质量较差的论文。有趣的是，一个明显无关的变化--评分标准从10分改为4分--可能会显著降低声望偏见，在一定程度上影响论文的接受程度。这些结果为双盲评审在减少声望偏差方面的有效性提供了一定的支持，同时为同行评审格式的影响开辟了新的研究方向。
2021-01-07 cs.CY cs.DL econ.GN
An Algorithm to Determine Peer-Reviewers
同行评审程序是科学界正式接受研究人员书面成果的最广泛接受的认证机制。同行评审的一个重要组成部分是确定有能力的审稿人来评审提交的稿件。本文提出了一种利用合著网络数据结构和相对秩粒子群算法自动确定最佳审稿人的算法。这种方法的新颖之处在于，它不限于预先选择的推荐人集，计算效率高，不需要人为干预，并且在某些情况下可以自动识别利益冲突情况。这种算法的一个有用的应用是开放评论同行评审系统，因为它为每个审稿人提供了一个关于他们在手稿领域的专业知识的权重。该算法是有效的，使用裁判投标数据从2005年联合会议上数字图书馆。
2008-07-15 cs.AI cs.DL cs.DS
FMMD: A multimodal multidisciplinary dataset of open peer reviews from F1000Research
School of Computer Science and Engineering, Guangzhou Institute of Science and Technology（计算机科学与工程学院，广州科学与技术研究所）；College of Foreign Languages and Cultures, Xiamen University（外语学院，厦门大学）；Science and Education Evaluation Lab, Guangzhou Institute of Science and Technology（科学与教育评估实验室，广州科学与技术研究所）
FMMD是一个基于F1000Research的多模态开放同行评审数据集，旨在通过整合多模态数据和版本特定的评审信息，填补现有数据集在同行评审与稿件演变关系上的空白。
2026-09-23 cs.AI cs.CL cs.DL
Evaluating research: from informed peer review to bibliometrics
国家研究评估活动正在越来越多的国家成为定期活动。目前的工作对比同行评议和文献计量学的方法在这些练习的进行。比较是根据任何测量系统的基本参数进行的：准确性，鲁棒性，有效性，功能性，时间和成本。经验证据表明，就自然科学和正规科学而言，文献计量方法远比同行评议更可取。建立来自Web of Science或Scopus数据库的个人作者出版物的国家数据库，将使国家研究评估更好、更便宜和更频繁。
2018-11-05 cs.DL
Peer reviewers equally critique theory, method, and writing, with limited effect on manuscripts' content
同行评审旨在发现研究设计和解释中的缺陷和不足，并确保其陈述的清晰度和质量。然而，有人质疑同行审查是否履行了这一职能。研究强调，评论者更注重批评研究的方法学方面和生物医学科学的写作质量，而不太注重理论基础。相比之下，社会科学的评论家似乎更关心理论基础。这些研究还发现，同行评议对手稿内容的影响是可变的，但一般是适度和积极的。我定性分析了1,430名同行评审员对40个社会科学预印本-出版物对的评论，以确定评审员评论的关键焦点。然后，我量化了同行评议对手稿的影响，通过使用标准化Levenshtein距离，余弦相似性和标题，摘要，文档部分和全文的字数比率来检查预印本和出版版本之间的差异。我还检查了版本之间使用的参考文献的更改，并将更改链接到审阅者的注释。审稿人的评论在方法论（30.7%）、理论（30.0%）和写作质量（29.2%）方面几乎平分秋色。标题、摘要和文档的语义内容保持相似，尽管出版物通常比预印本长。三分之二的引文没有变化，20.9%是在审查期间添加的，13.1%被删除。这些结果表明，审稿人同样注意到了理论和方法的细节和手稿的通信风格，虽然对手稿的定量测量的影响是有限的。
2021-10-15 cs.DL
Peer review vs bibliometrics: which method better predicts the scholarly impact of publications?
在这项工作中，我们试图回答这样一个问题，即同行评议与文献计量学哪种方法更好地预测科学出版物未来的整体学术影响。我们衡量的同行评审评估Web的科学索引出版物提交给第一次意大利的研究评估工作和长期引用相同的出版物之间的协议。我们对早期基于引用的指标做同样的事情。我们发现，后者表现出更强的预测能力，即，它更可靠地预测了所有学科领域的后期引用，以及出版后一年开始的任何引用时间窗口。
2019-09-13 cs.DL
A biology journal that can teach physicists a lesson in peer review
这是$Physics~Today$中对生物学期刊$eLife$开发的新颖评审过程的评论，并建议物理学期刊采用该过程。
2016-12-01 cs.DL physics.soc-ph q-bio.CB
Reliability and Comparability of Peer Review Results
在本文中，同行评议的可靠性进行了调查的基础上同行评价的研究团队在比利时两所大学。结果发现，结果可以大大影响不同的方式，专家属性评级。为提高同行评级的可靠性，应设想建立统一参考水平的程序。人们至少应该检查可靠性低的迹象，这可以从同行评价本身的结果分析中获得。同行评议的结果进行了比较，从出版物的引用分析的结果由相同的团队，在引用索引覆盖的主题领域。它说明了结果的可比性除了可靠性外，如何取决于指标的性质、主题领域和方法的内在特征。这些结果进一步证实了目前被认为是良好做法的做法：不是为一个指标而是为一系列指标提出结果。
2013-07-26 cs.DL
Peer-review in the Internet age
同行评审在科学过程中的重要性怎么估计都不过分。然而，由于研究的压力越来越大，出版物的数量呈指数级增长，裁判所面临的任务变得越来越困难。我们在这里讨论一些可能的改进，使更有效地审查科学文献，使用不断增长的互联网连接。特别是，一个实用的自动化模型，提供参考的论文，可能有很强的关系，在审查中的工作，根据一般的网络性能的引用建议。
2008-10-02 cs.DL physics.soc-ph
Which Review Aspect Has a Greater Impact on the Duration of Open Peer Review in Multiple Rounds? -- Evidence from Nature Communications
Nanjing University of Science and Technology（南京理工大学）
本研究从同行评审报告中提取细粒度方面并分析其情感与评审持续时间的关系，发现评价与结果、影响与研究价值方面的情感与评审时长相关性较强，且该关系在不同评审轮次间存在显著差异。
2026-06-23 cs.CL cs.DL cs.HC
Peer Review: Objectivity, Anonymity, Trust
本文主要研究客观性在同行评议中的作用。通过对同行评议的匿名性、信任、专业知识以及谁有资格评价研究的问题进行研究，我们发现同行评议的客观性与科学中客观性一词的其他用法有很大不同。在同行评审中，这种客观性不需要与外部世界相对应，相反，它在社区的“规则”内运作就足够了。这里的客观性也不是使用有关所讨论的科学问题的数据的经验意义上的。相反，客观性是一种判断，与由背景假设和信念形成的共同体的认识论标准相分离。因此，我们强调了主观性在通常被视为客观性实践中的作用，并认识到客观性不是由一个核心价值定义的，而是透明，保密，信任，代表性和符合社区标准的平衡。因此，同行评审的客观性是一个非常具体的术语，不能简化为科学实践的其他方面所使用的术语。
2020-05-10 cs.DL physics.hist-ph
Inducing Honest Reporting Without Observing Outcomes: An Application to the Peer-Review Process
University of Waterloo（滑铁卢大学）
在征求一组专家的意见时，用于促进诚实报告的传统手段假定有一个可观察到的未来结果。然而，在实践中，这种假设并不总是合理的。在本文中，我们提出了一种评分方法，建立在严格适当的评分规则，以诱导诚实的报告，而不假设可观察到的结果。我们的方法提供了分数的基础上成对比较的报告，由每对专家组。为了便于说明，我们介绍了我们的评分方法，说明其应用到同行评审过程。为了做到这一点，我们首先使用贝叶斯模型对同行评审过程进行建模，其中考虑了手稿质量的不确定性。此后，我们介绍了我们的评分方法来评估报告的评论。假设审稿人是贝叶斯决策者，他们不能影响其他审稿人的评论，我们表明，风险中立的审稿人严格最大限度地提高他们的期望分数诚实地披露他们的评论。我们还展示了如何组的分数可以用来找到一个共识的审查。实验结果表明，鼓励诚实的报告，通过建议的评分方法创建更准确的评论比传统的同行评审过程。
2013-10-22 cs.AI cs.DL cs.MA
A Semi-automated Peer-review System
本文提出了一种半监督的同行评议模型，旨在克服传统同行评议的偏见和不完整性。传统的方法依赖于人类的偏见，而共识决策受到稀疏信息的限制。在这里，一个潜在的改进架构（半监督，人工辅助分类器）的传统方法将被介绍和评估。为了评估这种系统的潜在优势，将评估两种方法的假设受试者工作特征（ROC）曲线。这将更具体地说明自动化在手稿评估过程中的益处。最后，将讨论这一系统对衡量科学影响和提高开放提交资料库质量的影响。
2013-11-11 cs.DL cs.HC cs.SI
PRINCIPIA: a Decentralized Peer-Review Ecosystem
同行评议是现代科学努力的基石。然而，越来越多的人一致认为，目前同行审查制度的一些局限性，从缺乏对审查者的激励到缺乏透明度，有可能破坏其好处。在这里，我们介绍了用于科学产出同行评审的PRINCIPIA（http：//www.principia.network/）框架（例如，论文、授权提案或专利）。该框架允许科学生态系统的主要参与者-包括现有的出版集团-通过建立一个自由的评论和出版物市场，创建和管理同行评审期刊。PRINCIPIA的推荐人根据他们的努力和评论的质量得到透明的奖励。PRINCIPIA还自然地允许识别用户和期刊的声誉，具有不依赖于第三方的内在声誉系统。PRINCIPIA重新平衡了研究人员和出版商之间的权力，鼓励评审员进行有价值的评估，促进期刊之间的公平竞争，降低获取研究成果和出版的成本。
2020-08-20 cs.DL nlin.AO physics.soc-ph
Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI
School of Management, Anhui University（安徽大学管理学院）
本文研究大型语言模型对同行评审意见的影响，分析了评审报告在语言特征、评价重点和推荐信号方面的变化，发现评审文本变得更长、更流畅，但深入评价维度有所下降。
2026-04-21 cs.AI cs.CL cs.DL
Ants-Review: a Protocol for Incentivized Open Peer-Reviews on Ethereum
同行评议是科学出版物质量控制的必要和基本步骤，但缺乏适当的激励措施。事实上，这一过程在时间和智力投资方面都非常昂贵，不仅期刊没有报酬，而且学术界也没有公开承认这是研究人员的相关科学产出。因此，科学传播的及时性、质量和公平性受到影响。在这里，为了解决这个问题，我们提出了一个基于区块链的激励系统，奖励科学家对其他科学家的工作进行同行评审，并建立信任和声誉。我们设计了一个面向隐私的智能合约协议，称为Ants-Review，允许作者在以太坊上发布开放匿名同行评论的奖金。如果符合要求，同行审查将被接受，并由审查委员会按其评估质量的比例支付费用。为了促进道德行为和包容性，该系统实施了一种游戏化机制，允许整个社区评估同行评审并投票选出最佳评审。
2021-01-22 cs.CR cs.CY cs.DC
Beyond journals and peer review: towards a more flexible ecosystem for scholarly communication
本文挑战期刊与同行评审不可或缺的假设，提出将传播与评估服务分离的灵活学术交流生态系统，通过开放存储库和引入多维非同行评审，促进知识进步与范式转变。
2024-02-15 cs.DL physics.soc-ph
Opening Scholarly Communication in Social Sciences by Connecting Collaborative Authoring to Peer Review
OSCOSS关于“开放社会科学领域的学术交流”的研究项目的目标是建立一个协调一致的合作环境，促进社会科学家作为作者、评审员、编辑和读者的学术交流工作流程。本文介绍了实现这个环境的核心：Fidus Writer学术文字处理器与开放式期刊系统（OJS）提交和审查管理系统的集成。
2017-03-13 cs.DL
Trends in Practical Student Peer-review
本文基于Aropa工具的元数据，更新了五年前关于学生同伴互评的配置数据，分析了全球实践中的趋势、学科覆盖及COVID-19期间在线授课的影响。
2024-01-02 cs.DL
Attitudes toward Open Access, Open Peer Review, and Altmetrics among Contributors to Spanish Scholarly Journals
本文旨在更好地了解贡献者的观点，西班牙学术期刊有关开放获取，开放同行评议，和altmetrics。它还探讨了年龄、性别、专业经验、职业历史以及对社交媒体的认知和使用如何影响作者对学术出版这些发展的看法。西班牙学术期刊的投稿人样本（n-1254）被邀请参加关于上述主题的调查。答复率为24%（n-295）。西班牙学术期刊的贡献者对开放获取持赞成态度，但对开放同行评审和altmetrics更为谨慎。年轻学者和女性学者更不愿意接受公开的同行评议做法。对社交网络的积极态度并不一定转化为对学术出版新兴趋势的热情。尽管如此，ResearchGate用户对altmetrics的了解更多。
2021-01-07 cs.DL cs.IR
Anomalies in the peer-review system: A case study of the journal of High Energy Physics
同行评议制度长期以来一直依赖于使科学界注意到高质量的研究，并防止有缺陷的研究进入文献。同行审查制度的必要性经常受到辩论，因为在许多情况下，它未能完成任务，在大多数情况下，编辑和审查人员被认为对未能正确判断工作质量负有责任。这就提出了一个问题：“同行审查制度能否得到改进？“由于编辑和审稿人是审稿系统最重要的支柱，我们在这项工作中，试图解决一个相关的问题-鉴于编辑或审稿人的编辑/审稿历史“，我们可以确定表现不佳的？“，经编辑/审查的论文所收到的引文被用作量化业绩的替代指标。我们把这样的审稿人和编辑称为异常，我们相信识别和删除他们将提高同行评议系统的性能。利用1997年至2015年期间提交的29，000篇论文，95名编辑和4，035名审稿人及其评审历史组成的高能物理杂志（JHEP）的大规模数据集，我们确定了几个指向审稿人和编辑异常行为的因素。事实上，异常的编辑和审稿人分别占编辑和审稿人总数的26.8%和14.5%，并且大多数异常审稿人的绩效随着时间的推移而下降。
2016-08-17 cs.CY cs.DL
How important tasks are performed: peer review
各个科学领域的进步取决于科学家个人通过同行审查程序采取的行动。裁判员的工作模式和裁判决策的随机性既与裁判的特殊性有关，又与人类行为的普遍性有关。在这里，我们表明，时间裁判写一份报告的科学手稿取决于最终的裁决。将数据与一个模型进行比较，在该模型中，审查发生在一个正在进行的竞争中，即完成一个重要的复合任务，同时有大量的任务-截止日期效应。在同行评审中，人类的决策和任务完成结合了长期的可预测性和随机变化，这是由于很大程度上不断变化的外部“摩擦”。
2013-04-17 cs.DL physics.soc-ph
Accelerating the pace of discovery by changing the peer review algorithm
科学出版物的数量不断增加，增加了审查过程的压力。投稿的数量实际上更高，因为每篇稿件在出版前往往要经过多次审查。面对大量的投稿，顶级期刊拒绝了相当一部分未经审查的手稿，可能会拒绝有价值的手稿。这种情况令作者、审稿人和编辑都感到沮丧。最近，几位编辑撰写了关于“评论家共同体的悲剧”的文章，主张对该系统进行紧急纠正。几乎每个科学家都有关于如何改进该系统的想法，但如果不是不可能的话，也很难进行实验来测试哪些措施最有效。令人惊讶的是，相对较少的尝试已经取得了模型同行评审。在这里，我实现了一个模拟框架中，同行评议的想法可以定量测试。我将作者，审稿人，手稿和期刊纳入一个基于代理的模型和同行评议系统出现从他们的互动。作为一个概念验证，我对比了当前系统的实现，在该系统中，作者决定他们提交的期刊，与一个系统中，期刊投标的手稿出版。我表明，在其他条件相同的情况下，后一种系统解决了目前与同行评审过程相关的大部分问题。管理员的评价更快，作者发表的文章更多，发表在更好的期刊上，审稿人的努力得到了最佳利用。然而，编辑需要做更多的工作。这个建模框架可以用来测试其他同行评议的解决方案，为改善科学传播方式铺平道路。
2009-11-02 cs.DL physics.soc-ph q-bio.OT
A Community's Perspective on the Status and Future of Peer Review in Software Engineering
内容：科学文章的出版前同行评审被认为是软件工程研究过程中的一个关键要素，但它往往被认为是不完全工作。目的：我们的目标是了解的看法和态度同行评审的作者和审稿人在软件工程的最负盛名的场地之一，国际会议软件工程（ICSE）。方法：我们邀请了932名ICSE 2014/15/16作者和评审员参加了一项调查，其中有10个封闭式问题和9个开放式问题。结果如下：我们提出了众多的结果，如：受访者认为只有三分之一的所有审查是好的，但三分之一的无用或误导;他们建议双盲或零盲审查制度的改进;他们希望看到可展示的证据（好）审查工作的介绍;态度变化的趋势是微弱的。结论：对软件工程同行评审现状的看法是相当负面的。此外，我们几乎没有发现任何趋势表明，随着时间的推移，审查将自行改善;社会将不得不作出明确的努力。幸运的是，我们的受访者（大多是资深人士）似乎比我们预期的更愿意尝试不同的同行评审制度。
2017-10-30 cs.CY cs.DL cs.SE
Peer Reviews of Peer Reviews: A Randomized Controlled Trial and Other Experiments
本研究通过NeurIPS 2022的大规模随机对照试验和观测数据分析，发现评审意见的长度会显著影响其质量评分，且作者对推荐自己论文的评审存在正向偏见，评审评估中存在与论文评审相当的不一致性和校准误差。
2024-11-07 cs.DL cs.GT
National peer-review research assessment exercises for the hard sciences can be a complete waste of money: the Italian case
有充分的证据表明，文献计量学优于同行评审的国家研究评估工作在硬科学。本文以2001-2003年基于文献计量学的大学绩效排名为基准，考察了意大利的案例。我们将完全通过同行评审进行的第一次国家评估活动的准确性与基于与绩效间接相关或互联网上可用的指标以零成本编制的其他排名列表进行比较。结果表明，在硬科学方面，意大利对研究机构进行评估的费用是完全可以避免的。
2018-10-31 cs.DL
Are Digital Humanities really committed to open? An exploratory study on the availability of methodological workflows and open peer review practices
本文探讨数字人文研究实践中开放程度，发现方法论工作流和同行评审实践开放程度有限，仅有少量文章提供可重用的数据创建流程文档，同行评审仍多采用传统盲审模式。
2026-04-26 cs.DL
Automatically Annotating Articles Towards Opening and Reusing Transparent Peer Reviews
越来越多的科学出版物是在开放和透明的同行评审模式下创建的：首先发表提交，然后邀请评审员，或者在封闭的环境中评审提交，然后这些评审与最终文章一起发表，或者这些方法的组合。开放同行评议的原因包括给予审稿人更好的信誉，使读者能够更好地评价出版物的质量。在大多数情况下，开放式综述的完整的非结构化文本发布在综述文章的完整的非结构化文本旁边。这种方法阻止了人类读者对文章的部分质量的快速印象，并且它不容易支持二次利用，例如，科学计量学的评论虽然已经提出了用于发布结构化文章（包括综述）的文档格式，但用于整个开放同行评审工作流程的集成工具支持仍然很少。我们提出AR-注释器，自动文章和评论注释器，它采用了一个语义信息模型的文章及其评论，使用语义标记和唯一标识符的所有实体的利益。细粒度的文章结构不仅暴露给作者和审稿人，而且还保留在发布的版本中。我们以关联数据表示形式发布文章及其评论，从而最大限度地提高第三方应用程序的可重用性。我们证明了这种可重用性，通过运行质量相关的查询结构化表示的文章和他们的评论。
2018-12-03 cs.DL cs.IR
On The Peer Review Reports: Does Size Matter?
本研究基于Publons与Web of Science匹配的57,482篇出版物，采用Raking Ratio方法和回归分析，发现评审报告长度从947词起与引用量显著正相关，证实更长的评审报告有助于提升文章质量与可见度，并呼吁重视评审人贡献及关注投稿量增加对同行评审的挑战。
2024-03-07 cs.DL
TrueReview: A Platform for Post-Publication Peer Review
在发表后同行评审中，科学贡献首先在开放获取论坛上发表，如arXiv或其他数字图书馆，随后进行评审，并可能进行排名和/或评估。与科学出版的经典过程相比，在出版之前进行审查，出版后同行评审可以更快地传播思想和公开评论。出版后审查的主要关注点在于从参与者那里获得高质量，有见地的评论。我们描述了TrueReview的数学基础和结构，TrueReview是一个开源工具，我们建议建立在支持出版后审查。在TrueReview中，审查的动机是通过一个激励系统来提供的，该系统促进审查和评估，这些审查和评估既真实（从长远来看是正确的），又信息丰富（它们提供了重要的新信息）。TrueReview将论文组织在不同的地点，允许不同的科学团体制定自己的提交和审查政策。这些场所可以手动设置，或者它们可以对应于知名存储库（如arXiv）中的类别。评审奖励可用于形成评审员排名，该排名可与各学科的论文一起突出显示，从而为评审员提供具体的好处。反过来，论文评估通过明确的论文排名和增加搜索可见度来奖励最重要论文的作者。
2017-05-05 cs.DL cs.GT
Gender and Discipline Shape Length, Content and Tone of Grant Peer Review Reports
本研究利用监督机器学习分析了Swiss National Science Foundation的39,280份评审报告，发现性别和学科文化显著影响同行评审报告的长度、内容、语调和重点，对研究资助的公平性与一致性具有重要启示。
2025-06-30 cs.DL physics.soc-ph
