Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对AI同行评审易受多模态对抗攻击的问题，提出PaperGuard基准，包含多领域数据集、统一攻击套件和基于分块嵌入搜索的实用防御方法。
2026-06-26 cs.CL
ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review
Mila – Quebec AI Institute（魁北克AI研究所）；HEC Montréal（蒙特利尔高等商学院）；ServiceNow Research（ServiceNow研究）；Université de Montréal（蒙特利尔大学）；Canada CIFAR Chair（加拿大 CIFAR 席位）；Polytechnique Montréal（蒙特利尔理工学院）
本文提出 ReviewerToo 框架，用于研究 AI 辅助同行评审，在 ICLR 2025 数据集上验证其性能接近人类平均水平，并指出 AI 的优势与局限，提出集成指南，以提升评审的一致性和公平性。
2025-10-09 cs.AI cs.CL
Peerispect: Claim Verification in Scientific Peer Reviews
University of Toronto, Reviewerly（多伦多大学，Reviewerly）
Peerispect通过提取同行评审中的可验证声明，检索相关证据并验证其真实性，提供可视化界面帮助快速检查和解释。
2026-04-19 cs.CL cs.IR
Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future
Yale University（耶鲁大学）；New York University（纽约大学）
本文调查了同行评审流程中的生成、 rebuttals 和 meta-review 等任务，以及评估方法，探讨了 LLM 在整个同行评审流程中的应用与未来方向。
2026-05-01 cs.AI cs.CL
Are the confidence scores of reviewers consistent with the review content? Evidence from top conference proceedings in AI
该研究针对AI顶会评审中文本与置信度评分一致性缺乏细粒度分析的问题，从多层面结合深度学习方法开展评估，证实二者高度一致且高置信度与拒稿相关，验证了同行评审的公平性与专家评估的有效性。
2025-05-21 cs.AI cs.CL cs.HC
Breaking the Reviewer: Assessing the Vulnerability of Large Language Models in Automated Peer Review Under Textual Adversarial Attacks
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本研究评估了大型语言模型在自动同行评审中面对文本对抗攻击的脆弱性，发现文本操纵可显著扭曲评审结果，并提出了缓解策略以保障学术交流的完整性。
2025-10-09 cs.AI cs.CL
Causal Effect of Group Diversity on Redundancy and Coverage in Peer-Reviewing
University of Maryland（马里兰大学）；New Economic School（新经济学院）；Carnegie Mellon University（卡内基梅隆大学）
本研究探讨同行评审中审稿人群体的多样性对评审覆盖度和冗余度的因果影响，提出了评估评审效用的覆盖度和冗余度指标，并基于约5000篇论文数据揭示了不同多样性维度对评审质量和视角差异的具体作用。
2024-11-18 cs.CL cs.DL stat.AP
Examining the Cognitive Gap Between Authors and Peer Reviewers on Academic Paper Novelty
Department of Information Management, Nanjing University of Science and Technology（南京理工大学信息管理学院）
通过分析Nature Communications上15,328篇论文及其评审意见，发现作者和评审员都强调结果导向的创新，但评审员视角更全面；高创新论文受益于强宣传语言，中等创新论文的宣传语言与评审分歧显著相关。
2026-06-12 cs.CL cs.CY cs.DL
No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Independent Researcher（独立研究者）
研究通过仅修改论文的展示层面（如摘要、贡献框架等）而不改变科学内容，利用AI评审反馈进行对抗性重打包，成功提升评分，揭示AI评审易被表面印象误导的结构性缺陷。
2026-06-12 cs.CL
PaRe: A Paper-Reviewer Matching Approach Using a Common Topic Space
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
对于会议组织者来说，找到合适的评审员来评估会议提交的质量是一个耗时的过程。考虑到这一步骤的重要性，已经提出了各种自动审稿人-论文匹配解决方案来减轻负担。先前的方法，包括词袋模型和概率主题模型，已经不足以处理论文提交和审稿人的专业知识之间的词汇不匹配和部分主题重叠。我们的方法，共同的主题模型，共同建模的主题提交和审查的个人资料，同时依赖于抽象的主题向量。两个数据集上的实验和有见地的评价表明，所提出的方法实现了一致的改进相比，现有的最先进的实现论文审稿人匹配。
2019-09-25 cs.CL cs.IR cs.LG
Aspect-Guided Multi-Level Perturbation Analysis of Large Language Models in Automated Peer Review
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Information Management Department, Peking University（北京大学信息管理系）；Renmin University of China（中国人民大学）
本文提出方面引导的多层级扰动框架，系统评估 LLM 在自动同行评审中的鲁棒性，揭示论文、评审与反驳扰动在多种思维链提示下仍导致显著偏差。
2025-02-18 cs.CL
Automatic Analysis of Substantiation in Scientific Peer Reviews
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Linagora；LTCI（通信与信息处理实验室）；Télécom-Paris（巴黎电信学院）；Inria（法国国家信息与自动化研究所）
针对顶级AI会议同行评审质量控制需求，本文聚焦评审中主张是否有证据支持的论证充分性问题，将其建模为主张-证据对提取任务，构建了首个包含550篇NLP会议评审的标注数据集SubstanReview，并训练论证挖掘系统实现自动分析，揭示了近年NLP会议评审质量洞察。
2023-11-20 cs.CL
Does My Rebuttal Matter? Insights from a Major NLP Conference
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Tokyo（东京大学）
同行评审是科学过程的核心要素，特别是在以会议为中心的领域，如ML和NLP。然而，只有很少的研究评估其属性的经验。为了填补这一空白，我们提出了一个语料库，其中包含ACL-2018的超过4k条评论和1.2k条作者回复。我们定量和定性地评估语料库。这包括对审稿人提出的论文弱点和作者答复的质量进行试点研究。然后，我们专注于反驳阶段的作用，并提出了一个新的任务来预测反驳后（即，最后）从最初的评论和作者的反应得分。虽然作者的反应确实有边际（和统计上显着）的影响，特别是边缘论文的最终分数，我们的研究结果表明，一个评论家的最终分数在很大程度上取决于她的初始分数和距离其他评论家的初始分数。在这种情况下，我们讨论的一致性偏见固有的同行评审，偏见，在以前的研究中，在很大程度上被忽视了。我们希望我们的分析将有助于更好地评估反驳阶段在NLP会议中的有用性。
2019-03-28 cs.AI cs.CL
How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review
University of Maryland（马里兰大学）；University of Waterloo（滑铁卢大学）
本研究针对基于AI的同行评审，构建受控语料库测试修辞选择对AI审稿判断的影响，明确修辞敏感性的层级结构及工作流程效果，为开发鲁棒评估系统提供依据。
2026-08-11 cs.AI cs.CL
Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework
UKP Lab, Department of Computer Science and National Research Center for Applied Cybersecurity（UKP实验室、计算机科学系和应用网络安全国家研究中心）
本文提出一种反事实评估框架，揭示自动评审系统在检测研究论文中逻辑错误方面的不足，并提出未来研究建议。
2026-01-30 cs.CL
Do Methods Support the Claims? Intra-Paper Verification for Peer Review
该研究针对现有 LLM 评审系统忽视论文内部主张与方法学证据不匹配的问题，提出 intra-paper claim verification 框架，经实验验证其生成的评审意见与人类评审关注点高度契合。
2026-07-30 cs.AI cs.CL cs.DL
The Great AI Witch Hunt: Reviewers Perception and (Mis)Conception of Generative AI in Research Writing
University of Waterloo（滑铁卢大学）
本文通过调查17位顶级HCI会议审稿人，发现AI增强写作虽提升可读性但缺乏研究细节与作者反思，审稿人难以区分人机写作，据此倡导基于研究质量而非工具偏见的公正评审指南。
2025-09-18 cs.AI cs.CL cs.HC
What Makes a Scientific Paper be Accepted for Publication?
Imperial College London（帝国理工学院）
尽管自17世纪以来，同行评议一直是学术界的重要组成部分，但它因缺乏透明度和一致性而一再受到批评。我们认为，最近在机器学习和可解释的人工智能方面的工作提供了工具，可以从给定的同行评审过程中洞察决策。我们首先以语言特征的形式提取全局解释，这些语言特征影响科学论文在开放的同行评审数据集上发表的接受程度。第二，由于这种全球性的解释不证明因果解释，我们提供了一种方法来检测混杂效应的自然语言，以产生因果解释，假设下，在词汇的形式。我们提出的语言学解释方法在ICLR提交的案例数据集上表明了以下几点：a）组织委员会在很大程度上遵循审稿人的建议，b）导致审稿人建议接受发表的论文的主要特征是原创性，清晰度和实质内容。
2021-04-14 cs.CL
LLM-REVal: Can We Trust LLM Reviewers Yet?
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong Polytechnic University（香港理工大学）；StepFun AI
本研究通过模拟研究智能体与评审智能体的互动，发现LLM审稿人存在系统性抬高LLM撰写论文分数、低估含批判性陈述的人类论文的偏见，但LLM评审指导的修订能提升论文质量，揭示了其在同行评审中的风险与潜力。
2025-10-14 cs.AI cs.CL
Peerify: Benchmarking Peer-Review Claim Verification
Reviewerly；University of Toronto（多伦多大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
Peerify构建了基于真实同行评审的800条声明基准，通过分解声明、检索证据并验证支持性，证明以检索为中心的验证优于蕴含模型，自动标签与人类共识高度一致。
2026-09-23 cs.CL cs.DL
When Reviews Disagree: Fine-Grained Contradiction Analysis in Scientific Peer Reviews
Department of Computer Science and Engineering, Indian Institute of Technology Patna, India（印度理工学院帕纳瓦分校计算机科学与工程系）；School of Computer Engineering, KIIT Deemed to be University, Bhubaneswar, India（比哈尔邦布尔萨大学计算机工程学院）
本文提出细粒度的同行评审矛盾分析方法，通过识别矛盾证据跨度并分配矛盾强度评分，改进了现有二元矛盾检测方法，引入RevCI基准和IMPACT框架，并通过TIDE模型实现高效部署。
2026-05-11 cs.AI cs.CL
Modeling LLM Agent Reviewer Dynamics in Elo-Ranked Review System
University of Washington（华盛顿大学）
本文研究了在Elo排名评审系统中，通过整合Elo评分和评审者记忆提升领域主席决策准确性的LLM代理评审动态。
2026-01-13 cs.AI cs.CL
LLM-as-a-Reviewer: Benchmarking Their Ability, Divergence, and Prompt Injection Resistance as Paper Reviewers
University of South Florida（佛罗里达南大学）；Missouri University of Science and Technology（密苏里科技大学）；University of Alabama（阿拉巴马大学）；Florida International University（佛罗里达国际大学）；University of Cincinnati（辛辛那提大学）；George Mason University（乔治·梅森大学）
本研究通过一个系统基准测试，评估了12个大型语言模型在论文评审中的表现，包括评分校准、与人类审稿人的分歧以及对不可见字体映射攻击的抵抗性，发现LLMs存在系统性高估弱论文、与人类关注点不同以及易受提示注入攻击等问题。
2026-05-25 cs.CL cs.CY cs.ET
GPT4 is Slightly Helpful for Peer-Review Assistance: A Pilot Study
Stanford（斯坦福大学）
该研究比较 GPT4 与人类对机器学习会议论文的评审，并用插入错误实验检验其关注点，初步表明 GPT4 可对同行评审提供有限但有效的辅助。
2023-06-16 cs.AI cs.CL cs.HC
Generative Adversarial Reviews: When LLMs Become the Critic
Woven by Toyota（丰田编织（丰田旗下机构））
本文提出生成式智能体评审者（GAR），利用大语言模型模拟同行评审，通过图表示稿件和记忆增强架构，实现与人类相当的反馈质量和结果预测，并促进评审民主化。
2024-12-09 cs.AI cs.CL
PRE: A Peer Review Based Large Language Model Evaluator
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）
针对现有LLM评估方法成本高、泛化性低且存在偏见的问题，本文提出基于同行评审机制的自动评估框架PRE，通过资格考试选拔评审员模型并对被评估模型进行评分，实验证明其优于基线并有效减少了单一模型评估的偏见。
2024-06-03 cs.CL cs.IR
AI-assisted pre-review of open-source software submissions: an experience report from BOSC 2026
本研究针对BOSC 2026投稿激增问题，开发bosc-pre-review与Runabilly辅助评审，调查显示该预评审工具对志愿评审人员有用，需人工复核结论。
2026-07-31 cs.AI cs.CL cs.DL
What Can We Do to Improve Peer Review in NLP?
Center for Social Data Science（社会数据科学中心）；University of Copenhagen（哥本哈根大学）
同行评议是我们判断会议提交材料质量的最佳工具，但它正变得越来越虚假。我们认为，问题的一部分是，评审员和区域主席面临着一个定义不清的任务，迫使苹果到橘子的比较。有几种潜在的前进方式，但关键的困难是在NLP社区中建立一致实施的激励机制和机制。
2020-10-08 cs.AI cs.CL
PRAIB: Peer Review AI Benchmark of Behaviour of LLM-Assisted Reviewing
Department of Artificial Intelligence（人工智能系）
提出PRAIB框架，通过定义审稿特异性、风格和参与行为的指标，并基于11000条机器生成审稿与人类审稿的对比实验，揭示LLM审稿在评分、交叉引用和弱点识别方面与人类审稿的系统性差异。
2026-05-28 cs.AI cs.CL
Re2: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions
Zhejiang University（浙江大学）
本文提出Re2数据集，通过确保一致性解决同行评审数据多样性不足、数据不一致及反驳任务支持不足的问题，为作者提供更实用的指导以优化论文。
2026-03-13 cs.AI cs.CL cs.LG
AutoSupervision: Closing the Feedback Loop in Scientific Workflows with Grounded Revision Verification
Shanghai AI Laboratory（上海人工智能实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology（香港科技大学）
本研究提出AutoSupervision，利用《自然·通讯》5.6万篇文章的评审记录构建数据集，发现LLM刻画评审关切表现较好但证据验证是瓶颈，为AI辅助科学工作流提供反馈循环闭合方案。
2026-07-31 cs.AI cs.CL
RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance
Université Paris-Saclay（巴黎萨克雷大学）；ChaLearn
本文提出 RelevAI-Reviewer 基准，将综述论文与征稿提示的相关性评审建模为分类任务，并构建含 25,164 个实例的数据集；实验显示基于 BERT 的端到端分类器优于传统 ML 基线。
2024-06-13 cs.CL cs.LG
Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community
OATML, University of Oxford（OATML，牛津大学）；MBZUAI
研究发现，通过表面改写摘要即可显著操纵AI评审结果，成功率约38%，且成本低、难以区分，可能扭曲科学评估的公正性。
2026-06-08 cs.AI cs.CL cs.CY
EchoReview: Learning Peer Review from the Echoes of Scientific Citations
Harbin Institute of Technology, China（哈尔滨工业大学）；Beijing Institute of Technology, China（北京理工大学）
EchoReview通过引用上下文驱动的数据合成方法，构建了首个大规模跨会议、跨年度的评审数据集，并训练出能提升核心评审维度的自动化评审员。
2026-01-31 cs.AI cs.CL
Argument Mining Driven Analysis of Peer-Reviews
Database Systems and Data Mining, LMU Munich（慕尼黑大学数据库系统与数据研究所）；LMU Munich（慕尼黑大学）
同行评审是现代研究的核心过程，对于确保已发表作品的高质量和可靠性至关重要。与此同时，这是一个耗时的过程，对新兴领域的兴趣日益增加，往往会导致很高的审查工作量，特别是对这一领域的高级研究人员来说。如何应对这一问题是一个悬而未决的问题，在所有主要会议上都进行了生动的讨论。在这项工作中，我们提出了一种基于参数挖掘的方法，以帮助编辑，元评审员和评审员。我们证明了科学出版物领域的决策过程是由参数驱动的，自动参数识别在各种用例中都是有帮助的。我们的一个发现是，同行评审过程中使用的参数与其他领域的参数不同，这使得预训练模型的转移变得困难。因此，我们为社区提供了一个新的同行评审数据集，来自不同的计算机科学会议，并附有注释。在我们广泛的实证评估，我们表明，论证挖掘可以用来有效地提取最相关的部分，从评论，这是至关重要的出版决策。这个过程仍然是可解释的，因为提取的论点可以在评论中突出显示，而不会将它们与上下文分离。
2020-12-10 cs.AI cs.CL cs.CY
Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI
School of Management, Anhui University（安徽大学管理学院）
本文研究大型语言模型对同行评审意见的影响，分析了评审报告在语言特征、评价重点和推荐信号方面的变化，发现评审文本变得更长、更流畅，但深入评价维度有所下降。
2026-04-21 cs.AI cs.CL cs.DL
FIRSTPASS: A Multi-Domain, Multi-Round Peer Review Dataset Grounded in Real Editorial Outcomes
该研究推出首个多领域多轮同行评审数据集FIRSTPASS，填补现有数据集学科单一的空白，为跨学科AI科学判断提供可复现的基准测试资源。
2026-08-28 cs.AI cs.CL cs.LG
Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Machine Learning Department, NEC Labs America（NEC美国实验室机器学习部门）；Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系）；Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）；Graduate School of Education, Stanford University（斯坦福大学教育研究生院）；Department of Sociology, Stanford University（斯坦福大学社会学系）；Graduate School of Business, Stanford University（斯坦福大学商学院）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；Department of Computer Science, UC Santa Barbara（加州大学圣芭芭拉分校计算机科学系）
本文提出了一种方法，用于估计大规模语料库中可能被大语言模型（LLM）显著修改或生成的文本比例。通过专家撰写和AI生成的参考文本，该最大似然模型能够高效地在语料库层面考察实际的LLM使用情况。研究以ChatGPT发布后举行的AI会议同行评审（ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023）为案例，发现6.5%至16.9%的提交文本可能被LLM显著修改。生成文本的情境揭示了用户行为：在信心较低、接近截止日期或回复作者反驳较少的评审中，估计的LLM生成文本比例更高。此外，观察到语料库层面的趋势可能过于微妙，无法在个体层面检测到，并讨论了这些趋势对同行评审的影响。呼吁未来跨学科研究探讨LLM使用如何改变我们的信息和知识实践。
2026-05-19 cs.AI cs.CL cs.LG
Hidden Prompts in Manuscripts Exploit AI-Assisted Peer Review
Department of Psychology, Yonsei University（延世大学心理学系）；Department of Psychology, University of Science and Technology of China（中国科学技术大学心理学系）
研究探讨了手稿中隐藏指令对AI同行评审的影响，分析了提示注入技术及学术出版物政策的不一致，指出需加强技术筛查与政策协调。
2026-08-19 cs.AI cs.CL cs.CY
