HalluPeer: A Taxonomy-driven Benchmark for Detecting Hallucinations in Scientific Peer Reviews
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对LLMs辅助同行评审时易生成无依据幻觉的问题,提出HalluPeer基准,构建对齐三元组并开展实验,发现现有检测器难以区分幻觉与合法批评,验证了真实评审中存在相关幻觉模式。
2026-10-08 cs.AI cs.CL
Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review
Keio University(庆应义塾大学);NEC Corporation(日本电气公司)
研究分析不同类型审稿人指南对基于大语言模型的自动同行评审的影响,通过实验发现官方会议指南效果最佳,模仿审稿人指南较差,且严格评分标准会降低性能,强调主观和整体评分的重要性。
2026-07-28 cs.AI cs.CL
A Critical Examination of the Ethics of AI-Mediated Peer Review
George Mason University(乔治梅森大学)
本文批判性审视AI介导的同行评审的伦理问题,指出其合法性取决于与科学精神气质及规范—反规范连续体的契合,并强调需结合认识论、社会、伦理和监管因素综合权衡其利弊。
2023-09-02 cs.AI cs.CY
Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review
Oracle AI;Abridge;Intel Labs(Intel实验室);Thoughtworks
本文提出一个包含788,984篇AI与人类同行评审的综合数据集,评估18种AI文本检测算法的性能,并探索上下文感知的Anchor检测方法,揭示识别AI生成文本的困难。
2026-02-05 cs.AI cs.CL
What Can We Do to Improve Peer Review in NLP?
Center for Social Data Science(社会数据科学中心);University of Copenhagen(哥本哈根大学)
同行评议是我们判断会议提交材料质量的最佳工具,但它正变得越来越虚假。我们认为,问题的一部分是,评审员和区域主席面临着一个定义不清的任务,迫使苹果到橘子的比较。有几种潜在的前进方式,但关键的困难是在NLP社区中建立一致实施的激励机制和机制。
2020-10-08 cs.AI cs.CL
Is Your Paper Being Reviewed by an LLM? Investigating AI Text Detectability in Peer Review
Intel Labs(英特尔实验室)
本文研究同行评审中 LLM 生成文本的检测问题,评估现有检测器并提出新方法,以在低假阳性率下更有效识别 GPT-4o 撰写的评审。
2024-12-06 cs.AI cs.CL
AI-Assisted Peer Review Across Research Communities: From Reviewer AI Policies to LLM Review Quality
Technical University of Munich(慕尼黑工业大学)
该研究调研111个顶尖AI/NLP会议及医学期刊的AI评审政策,评估ICLR 2026和《自然·通讯》的AI评审质量,发现AI评审存在系统性缺陷,主张采用多维度评估。
2026-08-05 cs.AI cs.CY
Position on LLM-Assisted Peer Review: Addressing Reviewer Gap through Mentoring and Feedback
本文提出通过LLM辅助指导和反馈系统解决评审缺口问题,旨在提升评审质量并促进学术生态可持续发展。
2026-01-14 cs.AI cs.CY cs.HC
Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions
Jilin University(吉林大学);Westlake University(西湖大学);University of Chinese Academy of Sciences(中国科学院大学)
本文将同行评审重构为作者、审稿人和决策者参与的多轮长上下文对话,构建了包含26,841篇论文和92,017条评审的数据集,并提出多角色评估指标,为LLM驱动的动态同行评审提供了新基础。
2024-06-09 cs.AI cs.CL cs.LG
The Feasibility of Topic-Based Watermarking on Academic Peer Reviews
Case Western Reserve University(凯斯西储大学)
针对LLM在同行评审中使用受限及生成文本难区分的问题,评估语义感知的基于主题水印(TBW)技术,在多LLM配置下验证其保持评审质量且转述后检测稳健,为同行评审中LLM归因提供低侵入性实用方案。
2026-10-20 cs.AI cs.CR
PeerCheck: Enhancing LLM-Generated Academic Reviews Towards Human-Level Quality
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
提出PeerCheck框架,分析LLM与人类评审差异,采用思维链和检索增强生成提升评审质量,发现思维链显著改善但RAG存在悖论。
2026-06-23 cs.AI cs.CL
ReviewGuard: Aligning LLM-Assisted Peer Review with Long-Term Scientific Impact
Department of Statistics and Data Science(统计与数据科学系)
提出ReviewGuard两阶段框架,通过强化学习将LLM生成的评审与基于引用的长期影响力对齐,在2万篇论文上优于人类评审和监督模型,高影响力论文识别率提升5.6倍。
2026-06-25 cs.AI cs.DL
Agents-as-Peers: Bias-Controlled LLM Evaluation as Multi-Agent Peer Assessment
Computer Science and Information, Ben-Gurion University of the Negev(本·加里翁大学(内盖夫)计算机科学与信息学院)
PeerRank通过基于网络的、受偏见控制的同行评审实现自主LLM评估,产生稳定且具有区分性的排名,并揭示可测量的身份和呈现偏见。
2026-10-21 cs.AI cs.LG
Position: The ML Community Must Build an AI-Augmented Peer-Review Ecosystem
University of Amsterdam(阿姆斯特丹大学);University of Cambridge(剑桥大学);ETH Zurich(苏黎世联邦理工学院);University of California, Berkeley(加州大学伯克利分校)
针对ML领域稿件激增导致同行评审危机,本文主张将AI辅助评审作为优先研究课题,提出利用大语言模型作为协作工具,增强事实核查、评审指导、作者改进和决策支持,并强调需要更细粒度的评审数据。
2026-06-09 cs.AI cs.CY
Pre-review to Peer review: Pitfalls of Automating Reviews using Large Language Models
AllSci Corp(AllSci公司);Sunwater Capital(Sunwater资本);Kellogg School of Management, Northwestern University(西北大学凯洛格管理学院);Dept. of Computer Science, Northern Illinois University(北伊利诺伊大学计算机科学系);Institute of Foundation Models, MBZUAI(基础模型研究所,MBZUAI)
本文研究了使用大型语言模型进行学术评审的潜力与风险,发现其作为预审筛选工具具有一定效用,但存在与人类评审不一致的风险及系统性高估偏差。
2025-12-14 cs.AI cs.CY cs.DL
ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review
Mila – Quebec AI Institute(魁北克AI研究所);HEC Montréal(蒙特利尔高等商学院);ServiceNow Research(ServiceNow研究);Université de Montréal(蒙特利尔大学);Canada CIFAR Chair(加拿大 CIFAR 席位);Polytechnique Montréal(蒙特利尔理工学院)
本文提出 ReviewerToo 框架,用于研究 AI 辅助同行评审,在 ICLR 2025 数据集上验证其性能接近人类平均水平,并指出 AI 的优势与局限,提出集成指南,以提升评审的一致性和公平性。
2025-10-09 cs.AI cs.CL
Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews
CISPA Helmholtz Center for Information Security(CISPA 欧洲信息安全研究中心);Saarland University(萨尔兰大学)
本文研究LLM生成的同行评审中的偏见,通过操控作者元数据发现机构偏见、资历偏好和性别影响,揭示隐性偏见在软评分中的显现。
2026-04-28 cs.AI cs.CY
CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所中文信息处理实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对现有AI生成文本检测器依赖风格特征、易误判合规AI润色评审且难识别伪装AI评审的问题,本研究提出内容导向的检测范式,构建含六类人机协作模式的CoCoNUTS基准,并开发多任务学习的CoCoDet检测器以提升检测准确性与鲁棒性。
2025-08-28 cs.AI cs.CL
LLM Review: Enhancing Creative Writing via Blind Peer Review Feedback
Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
LLM Review通过盲审同行反馈机制提升创造性写作,实验显示其优于多智能体基线,并使小模型超越大模型。
2026-01-12 cs.AI cs.CL cs.MA
Insights from the ICLR Peer Review and Rebuttal Process
LMU Munich(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Southern California(南加州大学);Paper Copilot;Cardiff University(卡迪夫大学)
本文通过分析ICLR 2024和2025的同行评审流程,揭示了评分变化的主要影响因素及反驳策略对论文结果的提升作用。
2025-11-19 cs.AI cs.CY
Detecting AI-Generated Content in Academic Peer Reviews
University of Pennsylvania(宾夕法尼亚大学);Children’s Hospital of Philadelphia(费城儿童医院)
研究通过检测模型分析ICLR和Nature Communications同行评审中AI生成内容的时间演变,发现2022年后AI生成内容显著增加,2025年ICLR和NC分别有20%和12%的评审被归类为AI生成。
2026-03-23 cs.AI cs.CL cs.LG
Breaking the Reviewer: Assessing the Vulnerability of Large Language Models in Automated Peer Review Under Textual Adversarial Attacks
National Yang Ming Chiao Tung University(国立阳明交通大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本研究评估了大型语言模型在自动同行评审中面对文本对抗攻击的脆弱性,发现文本操纵可显著扭曲评审结果,并提出了缓解策略以保障学术交流的完整性。
2025-10-09 cs.AI cs.CL
PeerQA: A Scientific Question Answering Dataset from Peer Reviews
Technical University of Darmstadt(达姆施塔特工业大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出基于同行评审问题与作者答复构建的科学文档级问答数据集 PeerQA,覆盖证据检索、不可回答问题分类和答案生成三项任务,并建立基线、验证去语境化对检索的提升及长上下文建模挑战。
2025-02-19 cs.AI cs.CL cs.IR
Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable
Indian Institute of Science(印度科学研究院);University of California, Santa Barbara(加州大学圣芭芭拉分校);Carnegie Mellon University(卡内基梅隆大学)
本研究通过模拟多级人机协作的同行评审数据集,评估五种AI文本检测器,发现它们无法可靠区分LLM润色后的评审与纯人工评审,导致误判风险,表明当前政策不可执行。
2026-06-24 cs.AI cs.CL cs.CY
Re2: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions
Zhejiang University(浙江大学)
本文提出Re2数据集,通过确保一致性解决同行评审数据多样性不足、数据不一致及反驳任务支持不足的问题,为作者提供更实用的指导以优化论文。
2026-03-13 cs.AI cs.CL cs.LG
Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI
School of Management, Anhui University(安徽大学管理学院)
本文研究大型语言模型对同行评审意见的影响,分析了评审报告在语言特征、评价重点和推荐信号方面的变化,发现评审文本变得更长、更流畅,但深入评价维度有所下降。
2026-04-21 cs.AI cs.CL cs.DL
REMOR: Automated Peer Review Generation with LLM Reasoning and Multi-Objective Reinforcement Learning
University of Colorado Boulder(科罗拉多大学博尔德分校);Department of Information Science(信息科学系);ReviewerZero AI Inc.(ReviewerZero AI公司)
本文提出REMOR框架,通过多目标强化学习训练推理大语言模型生成高质量同行评审,设计了多方面奖励函数并构建新数据集PeerRT,实验证明其性能显著优于人类评审及现有AI评审系统。
2025-06-27 cs.AI
Identity Theft in AI Conference Peer Review
Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts(马萨诸塞大学)
本文揭露AI会议同行评审中的身份盗窃案例,分析不诚实研究者利用系统漏洞操纵评审,并提出加强身份验证的缓解策略。
2025-08-06 cs.AI cs.CR cs.DL
Level Up Peer Review in Education: Investigating genAI-driven Gamification system and its influence on Peer Feedback Effectiveness
Carnegie Mellon University(卡内基梅隆大学);NASA Research Park(NASA研究园区)
本文提出了集成生成式 AI 的游戏化同伴评估平台 Socratique,通过随机对照实验证明该系统能显著提升软件工程教育中学生的同伴反馈数量与质量。
2025-04-03 cs.AI cs.SE
Calibrated Generative AI as Meta-Reviewer: A Systemic Functional Linguistics Discourse Analysis of Reviews of Peer Reviews
University of Nottingham(诺丁汉大学);University of Illinois, Urbana-Champaign and Chicago(伊利诺伊大学厄巴纳-香槟与芝加哥分校)
本研究以美国公立大学研究生在线课程为对象,基于系统功能语言学分析120份元评审,发现校准生成式AI可近似有效人类反馈特征,能提升学习者对同行评审的参与度。
2026-11-03 cs.AI cs.HC
Systematic Review of Approaches to Improve Peer Assessment at Scale
同伴互评是由同伴对学生的写作进行分析和评论的任务,是校园和MOOC所有教育组件的核心。然而,随着MOOC的规模及其固有的个性化开放式学习,自动评分和辅助评分的工具非常重要。在此之前,我们提出了调查的任务,职位分类,知识追踪和结束了简要回顾同行评价(PA),一些初步的问题。在这次审查中,我们将从改进审查进程本身的角度继续审查巴勒斯坦权力机构。因此,本综述的其余部分集中在PA的三个方面,即自动评分和同行评估工具(我们将只关注同行评审/自动评分是如何进行的),处理流氓评论的策略,使用自然语言处理的同行评审改进。所使用的综合文件和资源集在https://github.com/manikandan-ravikiran/cs6460-Survey-2上发布。
2020-01-27 cs.AI cs.CL cs.CY
Position: The AI Conference Peer Review Crisis Demands Author Feedback and Reviewer Rewards
本文针对AI会议投稿激增导致的同行评审危机,提出将单向评审改为双向反馈机制,通过作者评价评审质量和审稿人奖励认证来建立问责框架,提升评审质量。
2025-05-08 cs.AI cs.CY
GPT4 is Slightly Helpful for Peer-Review Assistance: A Pilot Study
Stanford(斯坦福大学)
该研究比较 GPT4 与人类对机器学习会议论文的评审,并用插入错误实验检验其关注点,初步表明 GPT4 可对同行评审提供有限但有效的辅助。
2023-06-16 cs.AI cs.CL cs.HC
Paper Copilot: Tracking the Evolution of Peer Review in AI Conferences
University of Southern California(南加州大学);University of Cambridge(剑桥大学);Stanford University(斯坦福大学)
Paper Copilot通过创建同行评审数字档案和开放数据集,分析人工智能会议评审实践的演变,促进同行评审系统的透明和改进。
2026-02-09 cs.AI cs.CV cs.DL
When Reviews Disagree: Fine-Grained Contradiction Analysis in Scientific Peer Reviews
Department of Computer Science and Engineering, Indian Institute of Technology Patna, India(印度理工学院帕纳瓦分校计算机科学与工程系);School of Computer Engineering, KIIT Deemed to be University, Bhubaneswar, India(比哈尔邦布尔萨大学计算机工程学院)
本文提出细粒度的同行评审矛盾分析方法,通过识别矛盾证据跨度并分配矛盾强度评分,改进了现有二元矛盾检测方法,引入RevCI基准和IMPACT框架,并通过TIDE模型实现高效部署。
2026-05-11 cs.AI cs.CL
MOPRD: A multidisciplinary open peer review dataset
School of Informatics, Xiamen University(厦门大学信息学院);Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan, Ministry of Culture and Tourism(文化和旅游部闽台非物质文化遗产数字化保护与智能处理重点实验室);College of Foreign Languages and Cultures, Xiamen University(厦门大学外文学院)
针对现有同行评审数据集覆盖不全且学科单一的问题,构建多学科开放数据集MOPRD,并提出模块化引导式评审意见生成方法,性能优于基线。
2023-11-14 cs.AI cs.CL cs.DL
EchoReview: Learning Peer Review from the Echoes of Scientific Citations
Harbin Institute of Technology, China(哈尔滨工业大学);Beijing Institute of Technology, China(北京理工大学)
EchoReview通过引用上下文驱动的数据合成方法,构建了首个大规模跨会议、跨年度的评审数据集,并训练出能提升核心评审维度的自动化评审员。
2026-01-31 cs.AI cs.CL
On Strategyproof Conference Peer Review
Carnegie Mellon University(卡内基梅隆大学)
我们考虑在会议环境中进行同行评议,在这种环境中,通常在评审者和作者之间存在重叠。这种重叠可以激励战略评论影响自己论文的最终排名。在这项工作中,我们通过社会选择的镜头来解决这个问题,并提出了一个理论框架,为strategyproof和有效的同行评议。我们首先提出并分析了一个算法的审稿人分配和聚合,保证strategyproofness和一个自然的效率属性称为quickity,当作者图满足一个简单的属性。我们的算法是基于所谓的分区方法,可以被认为是这种方法的推广会议同行评审设置。然后,我们的经验表明,必要的属性的作者图确实是满足从ICLR会议的提交数据,并进一步展示了一个简单的技巧,使分区方法更实际的呼吁会议同行评审。最后,我们补充我们的积极结果与负面的理论结果,我们证明,在各种方式的加强要求,这是不可能的任何算法是strategyproof和有效的。
2020-02-01 cs.AI cs.GT cs.LG
Position: The Artificial Intelligence and Machine Learning Community Should Adopt a More Transparent and Regulated Peer Review Process
University of Southern California(南加州大学)
本文基于Paper Copilot网站数据,分析AI/ML会议同行评审模式,倡导采用更透明、开放且受监管的评审流程,以促进社区参与和领域发展。
2025-10-15 cs.AI cs.CV cs.CY
FMMD: A multimodal multidisciplinary dataset of open peer reviews from F1000Research
School of Computer Science and Engineering, Guangzhou Institute of Science and Technology(计算机科学与工程学院,广州科学与技术研究所);College of Foreign Languages and Cultures, Xiamen University(外语学院,厦门大学);Science and Education Evaluation Lab, Guangzhou Institute of Science and Technology(科学与教育评估实验室,广州科学与技术研究所)
FMMD是一个基于F1000Research的多模态开放同行评审数据集,旨在通过整合多模态数据和版本特定的评审信息,填补现有数据集在同行评审与稿件演变关系上的空白。
2026-09-23 cs.AI cs.CL cs.DL
An Algorithm to Determine Peer-Reviewers
同行评审程序是科学界正式接受研究人员书面成果的最广泛接受的认证机制。同行评审的一个重要组成部分是确定有能力的审稿人来评审提交的稿件。本文提出了一种利用合著网络数据结构和相对秩粒子群算法自动确定最佳审稿人的算法。这种方法的新颖之处在于,它不限于预先选择的推荐人集,计算效率高,不需要人为干预,并且在某些情况下可以自动识别利益冲突情况。这种算法的一个有用的应用是开放评论同行评审系统,因为它为每个审稿人提供了一个关于他们在手稿领域的专业知识的权重。该算法是有效的,使用裁判投标数据从2005年联合会议上数字图书馆。
2008-07-15 cs.AI cs.DL cs.DS
Inducing Honest Reporting Without Observing Outcomes: An Application to the Peer-Review Process
University of Waterloo(滑铁卢大学)
在征求一组专家的意见时,用于促进诚实报告的传统手段假定有一个可观察到的未来结果。然而,在实践中,这种假设并不总是合理的。在本文中,我们提出了一种评分方法,建立在严格适当的评分规则,以诱导诚实的报告,而不假设可观察到的结果。我们的方法提供了分数的基础上成对比较的报告,由每对专家组。为了便于说明,我们介绍了我们的评分方法,说明其应用到同行评审过程。为了做到这一点,我们首先使用贝叶斯模型对同行评审过程进行建模,其中考虑了手稿质量的不确定性。此后,我们介绍了我们的评分方法来评估报告的评论。假设审稿人是贝叶斯决策者,他们不能影响其他审稿人的评论,我们表明,风险中立的审稿人严格最大限度地提高他们的期望分数诚实地披露他们的评论。我们还展示了如何组的分数可以用来找到一个共识的审查。实验结果表明,鼓励诚实的报告,通过建议的评分方法创建更准确的评论比传统的同行评审过程。
2013-10-22 cs.AI cs.DL cs.MA
Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review
Department of Electrical Engineering and Computer Science, MIT(麻省理工学院电气工程与计算机科学系);Département de Psychologie, Université de Montréal, Canada(蒙特利尔大学心理学系);Department of Experimental Psychology, University of Oxford, United Kingdom(牛津大学实验心理学系);Department of Brain and Cognitive Sciences & McGovern Institute, MIT(麻省理工学院脑科学与认知科学系)
针对传统封闭同行评审的诸多弊端,本研究基于会议数据提出开放自下而上的评审模式,通过贝叶斯方法和评审者互评机制提升论文质量评估效果,并设计激励机制以推动评审流程更高效公平透明。
2025-10-02 cs.AI cs.GT cs.SI
Reimagining Peer Review Process Through Multi-Agent Mechanism Design
University of Arkansas at Little Rock(亚拉荷马州立大学拉弗克分校)
本文提出通过多智能体机制设计解决同行评审失效问题,提出信用经济、优化分配和混合验证等干预措施,旨在实现可持续的同行评审系统。
2026-01-27 cs.AI cs.CY cs.GT
FIRSTPASS: A Multi-Domain, Multi-Round Peer Review Dataset Grounded in Real Editorial Outcomes
该研究推出首个多领域多轮同行评审数据集FIRSTPASS,填补现有数据集学科单一的空白,为跨学科AI科学判断提供可复现的基准测试资源。
2026-08-28 cs.AI cs.CL cs.LG
Argument Mining Driven Analysis of Peer-Reviews
Database Systems and Data Mining, LMU Munich(慕尼黑大学数据库系统与数据研究所);LMU Munich(慕尼黑大学)
同行评审是现代研究的核心过程,对于确保已发表作品的高质量和可靠性至关重要。与此同时,这是一个耗时的过程,对新兴领域的兴趣日益增加,往往会导致很高的审查工作量,特别是对这一领域的高级研究人员来说。如何应对这一问题是一个悬而未决的问题,在所有主要会议上都进行了生动的讨论。在这项工作中,我们提出了一种基于参数挖掘的方法,以帮助编辑,元评审员和评审员。我们证明了科学出版物领域的决策过程是由参数驱动的,自动参数识别在各种用例中都是有帮助的。我们的一个发现是,同行评审过程中使用的参数与其他领域的参数不同,这使得预训练模型的转移变得困难。因此,我们为社区提供了一个新的同行评审数据集,来自不同的计算机科学会议,并附有注释。在我们广泛的实证评估,我们表明,论证挖掘可以用来有效地提取最相关的部分,从评论,这是至关重要的出版决策。这个过程仍然是可解释的,因为提取的论点可以在评论中突出显示,而不会将它们与上下文分离。
2020-12-10 cs.AI cs.CL cs.CY