Multimodal Peer Review Simulation with Actionable To-Do Recommendations for Community-Aware Manuscript Revisions
Hong Kong Polytechnic University（香港理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Independent Researcher（独立研究者）
本研究提出一个多模态同行评审模拟系统，通过整合文本和视觉信息，利用检索增强生成技术提升评审质量，并生成可操作的待办列表，以提高论文修订的效率和准确性。
2026-02-17 cs.CL
Large Language Models Penetration in Scholarly Writing and Peer Review
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Electronic Science and Technology of China（电子科技大学）；Wuhan University of Technology（武汉理工大学）；University of Copenhagen（哥本哈根大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对LLMs广泛使用引发的学术可信度担忧，该研究从多视角多维度评估其在学术工作流中的渗透情况，提出含ScholarLens数据集与LLMetrica评估工具的框架，实验验证工具有效性并揭示LLMs影响力增长，强调需规范其使用以维护学术可信度。
2025-02-16 cs.CL
Factored Verification: Detecting and Reducing Hallucination in Summaries of Academic Papers
Elicit（Elicit公司）
本文提出因子化验证方法，在HaluEval摘要任务上达76.2%准确率，检测出ChatGPT、GPT-4和Claude 2摘要中的幻觉，并通过因子化批评自我纠正减少幻觉，提醒谨慎使用模型综合学术论文。
2023-10-16 cs.AI cs.CL
'Quis custodiet ipsos custodes?' Who will watch the watchmen? On Detecting AI-generated peer-reviews
Indian Institute of Technology Patna（印度理工学院巴特那分校）；National Center for Computational Sciences, Oak Ridge National Laboratory（橡树岭国家实验室国家计算科学中心）；School of AI and Data Science, IIT Jodhpur（焦特布尔印度理工学院人工智能与数据科学学院）
本文提出TF和RR两种模型检测同行评审是否由ChatGPT生成，并验证其优于其他AI文本检测器，同时提出防御策略以减少释义攻击的影响。
2024-10-13 cs.AI cs.CL cs.DL
TADDLE: A Tool-Augmented Agent for Detecting Deficient LLM-Generated Peer Reviews
East China Normal University（东华大学）
针对LLM生成的同行评审难以检测缺陷的问题，提出TADDLE工具增强型代理，通过四个专用分析工具和两阶段半监督学习，在二元检测和多标签分类任务上表现优异。
2026-10-14 cs.AI
Hidden Prompts in Manuscripts Exploit AI-Assisted Peer Review
Department of Psychology, Yonsei University（延世大学心理学系）；Department of Psychology, University of Science and Technology of China（中国科学技术大学心理学系）
研究探讨了手稿中隐藏指令对AI同行评审的影响，分析了提示注入技术及学术出版物政策的不一致，指出需加强技术筛查与政策协调。
2026-08-19 cs.AI cs.CL cs.CY
NovBench: Evaluating Large Language Models on Academic Paper Novelty Assessment
School of Economics and Management, Nanjing University of Science and Technology（南京理工大学经济管理学院）；School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）；School of Management, Anhui University（安徽大学管理学院）
NovBench通过1684篇论文与评审对的基准测试，评估大语言模型在新颖性评估中的能力，揭示当前模型在科学新颖性理解上的不足，强调需改进的细调策略。
2026-04-13 cs.AI cs.CL cs.DL
Automated Novelty Evaluation of Academic Paper: A Collaborative Approach Integrating Human and Large Language Model Knowledge
Department of Information Management, Nanjing University of Science and Technology（南京理工大学信息管理学院）
本文提出一种融合人类专家与LLM知识的协作方法，通过提取评审句子和总结方法论微调PLMs，并设计新型稀疏注意力文本引导融合模块，有效预测学术论文的方法新颖性。
2025-07-16 cs.AI cs.CL cs.DL
MMReview: A Multidisciplinary and Multimodal Benchmark for LLM-Based Peer Review Automation
Shanghai Jiao Tong University（上海交通大学）
为弥补大语言模型评审任务缺乏统一评估基准的不足，提出跨多学科多模态的MMReview基准，覆盖240篇论文、13项任务，经21个模型验证，推动自动化同行评审标准化。
2025-10-08 cs.CL
Multilingual Hidden Prompt Injection Attacks on LLM-Based Academic Reviewing
International School of Athens（希腊国际学校）；Idiap Research Institute（Idiap研究 institute）
本研究发现，多语言隐藏提示注入攻击对LLM基于的学术评审系统产生显著影响，尤其在英语、日语和中文中表现明显，而阿拉伯语则影响较小。
2025-12-29 cs.AI cs.CL
Evaluating the Predictive Capacity of ChatGPT for Academic Peer Review Outcomes Across Multiple Platforms
University of Sheffield（谢菲尔德大学）
本文通过平均多次ChatGPT预测评分的方法，评估其在F1000Research、SciPost Physics和ICLR三个平台预测同行评审结果的能力，发现ChatGPT仅能提供较弱的发表前质量评估，且其有效性和最佳输入策略因平台而异。
2024-11-14 cs.CL cs.DL
PeerQA: A Scientific Question Answering Dataset from Peer Reviews
Technical University of Darmstadt（达姆施塔特工业大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出基于同行评审问题与作者答复构建的科学文档级问答数据集 PeerQA，覆盖证据检索、不可回答问题分类和答案生成三项任务，并建立基线、验证去语境化对检索的提升及长上下文建模挑战。
2025-02-19 cs.AI cs.CL cs.IR
Science Utopia? Closed-Loop LLM Simulation of Academic Research Ecosystems
Georgia Institute of Technology（佐治亚理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Chicago（芝加哥大学）；William & Mary（威廉与玛丽学院）
本文提出SciUtopia，一种闭环LLM智能体模拟框架，用于模拟学术生态系统中的研究、评审与资助等过程，并通过大规模纵向模拟揭示了评审负担放大、探索策略平衡及资源不平等的涌现机制。
2026-10-02 cs.AI cs.CL cs.CY
Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable
Indian Institute of Science（印度科学研究院）；University of California, Santa Barbara（加州大学圣芭芭拉分校）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过模拟多级人机协作的同行评审数据集，评估五种AI文本检测器，发现它们无法可靠区分LLM润色后的评审与纯人工评审，导致误判风险，表明当前政策不可执行。
2026-06-24 cs.AI cs.CL cs.CY
PRE: A Peer Review Based Large Language Model Evaluator
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）
针对现有LLM评估方法成本高、泛化性低且存在偏见的问题，本文提出基于同行评审机制的自动评估框架PRE，通过资格考试选拔评审员模型并对被评估模型进行评分，实验证明其优于基线并有效减少了单一模型评估的偏见。
2024-06-03 cs.CL cs.IR
Pre-review to Peer review: Pitfalls of Automating Reviews using Large Language Models
AllSci Corp（AllSci公司）；Sunwater Capital（Sunwater资本）；Kellogg School of Management, Northwestern University（西北大学凯洛格管理学院）；Dept. of Computer Science, Northern Illinois University（北伊利诺伊大学计算机科学系）；Institute of Foundation Models, MBZUAI（基础模型研究所，MBZUAI）
本文研究了使用大型语言模型进行学术评审的潜力与风险，发现其作为预审筛选工具具有一定效用，但存在与人类评审不一致的风险及系统性高估偏差。
2025-12-14 cs.AI cs.CY cs.DL
Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach
University of Pennsylvania（宾夕法尼亚大学）；Tencent AI Lab（腾讯人工智能实验室）；Columbia University（哥伦比亚大学）；AWS AI Labs（亚马逊云服务人工智能实验室）
双盲同行评议机制已成为包括计算机科学在内的多个学科学术研究的框架，但一些研究质疑同行评议的质量，并对该过程中潜在的偏见表示担忧。本文借助大语言模型对同行评议中的公平性差异进行了深入细致的研究。我们从2017年至今，通过聚合来自OpenReview、Google Scholar、arXiv和CSRanking的数据，并使用语言模型提取高级特征，为国际学习表征会议（ICLR）收集、组装和维护一个全面的关系数据库。我们假设和研究的公平差异的多重保护属性的利益，包括作者性别，地理，作者和机构的声望。我们观察到差异的水平不同，文本特征在减少预测建模中的偏差方面至关重要。我们从我们的分析中提炼出几个见解，在大型LM的帮助下研究同行评审过程。我们的数据库还提供了研究新的自然语言处理（NLP）方法的途径，这些方法有助于理解同行评审机制。我们研究了一个具体的例子，对自动机器审查系统，并提供基线模型的审查生成和评分任务，使数据库可以作为一个基准。
2022-11-07 cs.CL cs.CY cs.LG
AuthentiGPT: Detecting Machine-Generated Text via Black-Box Language Models Denoising
MIT EECS（麻省理工学院电气工程与计算机科学系）
AuthentiGPT利用黑盒语言模型去噪输入文本并语义比较，以单参数高效区分机器与人类文本，在领域数据集上AUROC达0.918，优于商业算法。
2023-11-13 cs.AI cs.CL cs.LG
A Multi-Task Evaluation of LLMs' Processing of Academic Text Input
Department of Decisions, Operations and Technology, CUHK（决策、运营与技术系，香港中文大学）；Department of Information Systems, Arizona State University（信息系统系，亚利桑那州立大学）
本文通过内容复现、比较、评分、反思四项任务系统评估大语言模型处理学术文本的能力，发现Gemini在摘要改写上可靠但排序、评分和反思能力不足，不建议在同行评审中不加约束地使用LLMs。
2025-08-15 cs.CL econ.GN q-fin.EC
Detecting LLM-Generated Peer Reviews
本文提出了一种通过间接提示注入在同行评审中嵌入隐蔽水印的方法，用于检测由大语言模型生成的评审，该方法具有强统计保证并能有效应对常见防御措施。
2025-05-19 cs.AI cs.CR cs.DL
Benchmarking LLMs' Judgments with No Gold Standard
School of Information University of Michigan（信息学院密歇根大学）；School of Computer Science Peking University（计算机科学学院北京大学）
本文提出无需黄金标准的评估指标GEM及基于其的GRE-bench基准，通过估计互信息评估LLM生成判断的能力，具有更强鲁棒性且能规避数据污染问题。
2025-04-29 cs.CL cs.LG
LLM-REVal: Can We Trust LLM Reviewers Yet?
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong Polytechnic University（香港理工大学）；StepFun AI
本研究通过模拟研究智能体与评审智能体的互动，发现LLM审稿人存在系统性抬高LLM撰写论文分数、低估含批判性陈述的人类论文的偏见，但LLM评审指导的修订能提升论文质量，揭示了其在同行评审中的风险与潜力。
2025-10-14 cs.AI cs.CL
We Need to Talk About Data: The Importance of Data Readiness in Natural Language Processing
RISE, Research Institutes of Sweden（瑞典RISE研究院（瑞典国家研究院））；Gavagai（Gavagai公司）；AI Sweden（AI Sweden机构）
在本文中，我们确定了数据的状态是一个重要的原因，失败的应用自然语言处理（NLP）项目。我们认为，在NLP的学术研究和它的应用到学术界以外的问题之间存在差距，这种差距的根源是学术研究人员和他们的非学术同行谁寻求将研究成果应用到他们的业务之间的相互理解差。为了促进研究成果从学术界转移到非学术环境，以及相应的需求回流到学术界，我们提出了一种方法，用于改善研究人员和外部利益相关者之间的沟通，数据的可访问性，有效性和实用性的基础上数据准备水平\cite{lawrence2017data}。虽然仍处于起步阶段，但该方法已被反复应用于与私营和公共部门的利益攸关方开展的多个创新和研究项目。最后，我们邀请研究人员和从业人员分享他们的经验，从而为旨在提高对NLP数据准备重要性的认识的工作做出贡献。
2021-10-11 cs.AI cs.CL cs.CY
Breaking the Reviewer: Assessing the Vulnerability of Large Language Models in Automated Peer Review Under Textual Adversarial Attacks
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本研究评估了大型语言模型在自动同行评审中面对文本对抗攻击的脆弱性，发现文本操纵可显著扭曲评审结果，并提出了缓解策略以保障学术交流的完整性。
2025-10-09 cs.AI cs.CL
A Critical Examination of the Ethics of AI-Mediated Peer Review
George Mason University（乔治梅森大学）
本文批判性审视AI介导的同行评审的伦理问题，指出其合法性取决于与科学精神气质及规范—反规范连续体的契合，并强调需结合认识论、社会、伦理和监管因素综合权衡其利弊。
2023-09-02 cs.AI cs.CY
From Replication to Redesign: Exploring Pairwise Comparisons for LLM-Based Peer Review
Stanford University（斯坦福大学）；Emory University（埃默里大学）
本文提出利用LLM智能体对手稿进行成对比较以替代传统评分，实验表明该方法在识别高影响力论文上更优，但也暴露出新颖性降低和机构不平衡等偏差。
2025-09-25 cs.CL
Towards Reasoning in Large Language Models via Multi-Agent Peer Review Collaboration
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；University College London（伦敦大学学院）
针对大语言模型复杂推理能力不足的问题，提出模拟学术同行评审的多智能体协作策略，通过独立解题、带置信度的互评修正提升推理效果，在多任务多数据集上准确率优于现有方法。
2023-12-17 cs.CL
Detecting AI-Generated Text in Educational Content: Leveraging Machine Learning and Explainable AI for Academic Integrity
Arab American University（阿拉伯美国大学）；Fu Foundation School of Engineering and Applied Science（傅 Foundation 工程与应用科学学院）；Columbia University（哥伦比亚大学）；Eastern Michigan University（东密歇根大学）；Texas A&M University（德克萨斯农工大学）
本文构建含1000条人类与ChatGPT文本的CyberHumanAI数据集，结合传统机器学习、深度学习与XAI识别教育场景AI生成文本，微调模型在三分类中以77.5%准确率优于GPTZero的48.5%。
2025-01-06 cs.AI cs.CL cs.CY
ReviewEval: An Evaluation Framework for AI-Generated Reviews
IIIT Delhi（德里印度理工学院）；KIIT Bhubaneswar（比哈尔理工学院）；BITS Pilani（比什努学院）
本文提出ReviewEval评估框架和ReviewAgent生成智能体，通过对齐机制与自我改进循环提升AI评审质量，在可操作见解、分析深度和指南遵循度上显著超越现有基线和专家评审。
2025-05-24 cs.AI cs.CL
Can AI Solve the Peer Review Crisis? A Large Scale Cross Model Experiment of LLMs' Performance and Biases in Evaluating over 1000 Economics Papers
Massachusetts Institute of Technology（麻省理工学院）；Nanyang Technological University（南洋理工大学）；University of Thai Chamber of Commerce（泰国商会大学）
本研究通过两项大规模实验评估了四个 LLM 在经济学论文同行评审中的表现与偏见，发现其能有效区分研究质量但会复制人类对作者身份的偏见，为整合 LLM 提升评审效率与公平性提供了实用指导。
2025-04-03 cs.AI cs.CY econ.GN
Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对AI同行评审易受多模态对抗攻击的问题，提出PaperGuard基准，包含多领域数据集、统一攻击套件和基于分块嵌入搜索的实用防御方法。
2026-06-26 cs.CL
ReviewGuard: Enhancing Deficient Peer Review Detection via LLM-Driven Data Augmentation
University of North Texas（北卡罗来纳州立大学）；North Carolina State University（北卡罗来纳州立大学）
ReviewGuard通过LLM驱动的数据增强技术，首次提出检测同行评审中缺陷评审的系统，提升检测性能并为AI治理提供依据。
2025-11-20 cs.CL
AutoPR: Let's Automate Your Academic Promotion!
LARG；Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究室）；Harbin Institute of Technology（哈尔滨工业大学）；School of Computer Science and Engineering（计算机科学与工程学院）；Central South University（中南大学）；The University of Hong Kong（香港大学）；ByteDance China (Seed)（字节跳动中国（种子））
本文提出AutoPR任务及PRAgent多智能体框架，通过内容提取、协作合成和平台适配三阶段自动将论文转化为推广内容，在PRBench基准上显著提升参与度，实现可扩展的自动化学术传播。
2025-10-15 cs.CL
Streamlining the review process: AI-generated annotations in research manuscripts
University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
针对研究论文投稿量增加导致传统同行评审体系审稿人工作量过大的问题，本研究探讨将大型语言模型（LLMs）整合到审稿流程的潜力，提出AnnotateGPT平台利用GPT-4辅助手稿注释，通过评估验证其作为AI-人类协作中间地带的可行性并提供整合见解。
2024-11-29 cs.AI
Local AI pre-screening for human triple-blind peer review in health sciences
该研究针对健康科学领域同行评审的AI滥用问题，提出三重盲多LLM本地预筛选框架，保留人类最终裁决权，可减少评审延迟且更透明合规。
2026-08-18 cs.AI cs.CY cs.DL
Examining the Cognitive Gap Between Authors and Peer Reviewers on Academic Paper Novelty
Department of Information Management, Nanjing University of Science and Technology（南京理工大学信息管理学院）
通过分析Nature Communications上15,328篇论文及其评审意见，发现作者和评审员都强调结果导向的创新，但评审员视角更全面；高创新论文受益于强宣传语言，中等创新论文的宣传语言与评审分歧显著相关。
2026-06-12 cs.CL cs.CY cs.DL
Which structure of academic articles do referees pay more attention to?: perspective of peer review and full-text of academic articles
Nanjing University of Science and Technology（南京理工大学）；Institute of Scientific and Technical Information of China（中国科学技术信息研究所）
研究目的：探讨学术论文中审稿人更关注哪些结构，审稿人关注哪些具体内容，以及PRC的分布是否与引文有关。设计/方法/途径首先，利用章节标题特征词和层次注意网络模型（HAN）识别学术文章结构。其次，根据PRC中规则提取的位置信息，分析PRC在不同结构中的分布情况。第三，分析卡方检验和TF-IDF提取的汉语特征词在不同结构中的分布情况。最后，运用四种相关分析方法，分析了PRC在不同结构中的分布与引文的相关性。结果材料、方法和结果部分的PRC数量显著多于介绍和讨论部分，说明审稿人更关注材料、方法和结果。汉语特征词在不同结构中的分布有明显的差异，可以反映出裁判员所关注的内容。PRC在不同结构中的分布与被引次数无相关性。研究限制/影响-由于裁判写同行评议报告的方式的差异，用于提取位置信息的规则不能覆盖所有中国。独创性/价值-本文发现，在不同的学术文章结构证明长期的实证理解中的分布中的中国模式。它还提供了对学术文章写作的见解：研究人员在撰写学术文章时应确保方法的科学性和结果的可靠性，以获得审稿人的高度认可。
2022-09-05 cs.CL cs.DL
IntegrityAI at GenAI Detection Task 2: Detecting Machine-Generated Academic Essays in English and Arabic Using ELECTRA and Stylometry
Qatar University（卡塔尔大学）
该研究提出融合文体计量特征的 ELECTRA 与 AraELECTRA 模型，用于检测英语和阿拉伯语机器生成学术论文，并在基准竞赛中分别取得第 2 名和第 1 名。
2025-01-07 cs.AI cs.CL
MOPRD: A multidisciplinary open peer review dataset
School of Informatics, Xiamen University（厦门大学信息学院）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan, Ministry of Culture and Tourism（文化和旅游部闽台非物质文化遗产数字化保护与智能处理重点实验室）；College of Foreign Languages and Cultures, Xiamen University（厦门大学外文学院）
针对现有同行评审数据集覆盖不全且学科单一的问题，构建多学科开放数据集MOPRD，并提出模块化引导式评审意见生成方法，性能优于基线。
2023-11-14 cs.AI cs.CL cs.DL
ALL-IN-ONE: Multi-Task Learning BERT models for Evaluating Peer Assessments
North Carolina State University（北卡罗来纳州立大学）
在过去的几十年里，同行评估在不同的学术领域得到了广泛的应用，并证明了其有效性。然而，只有通过高质量的同行审查才能发挥同行评估的优势。以前的研究发现，高质量的评论通常包括几个特征（例如，包含建议，提及问题，使用积极的语气）。因此，研究人员试图通过使用各种机器学习和深度学习模型检测不同的特征来评估同行评审评论。然而，没有一项研究使用多任务学习（MTL）模型同时检测多个特征。本文提出了两个MTL模型来评估同行评审评论，利用最先进的预训练语言表示模型BERT和Distil BERT。我们的研究结果表明，基于BERT的模型在检测单个特征的任务中，F1得分明显优于以前基于GloVe的方法约6%，MTL在减少模型大小的同时进一步提高了性能。
2021-10-08 cs.AI cs.CL
Question-type Identification for Academic Questions in Online Learning Platform
Course Hero, Inc.（课程英雄公司）
在线学习平台提供学习材料，并由专家、同行或系统回答学生的学术问题。本文探讨了在线学习平台中的问题类型识别问题。问题类型标识符的目的是使用问题文本、主题和结构特征，根据问题类型的结构和复杂性对其进行分类。我们定义了12个问题类型类，包括多项选择题（MCQ）、短文等。我们编制了一个学生问题的内部数据集，并结合使用弱监督技术和手动注释。然后，我们在这个数据集上训练了一个基于BERT的集成模型，并在一个单独的人类标记的测试集上评估了这个模型。我们的实验产生了一个F1得分为0.94 MCQ二进制分类和12类多标签分类有希望的结果。我们在我们的在线学习平台中部署了该模型，作为内容理解的关键推动因素，以增强学生的学习体验。
2022-11-24 cs.AI cs.CL cs.LG
GPT4 is Slightly Helpful for Peer-Review Assistance: A Pilot Study
Stanford（斯坦福大学）
该研究比较 GPT4 与人类对机器学习会议论文的评审，并用插入错误实验检验其关注点，初步表明 GPT4 可对同行评审提供有限但有效的辅助。
2023-06-16 cs.AI cs.CL cs.HC
Detecting and analyzing missing citations to published scientific entities
Xiamen University（厦门大学）
在学术写作中，正确的引文是积累知识、维护学术诚信的重要手段。然而，正确引用并不是一件容易的事情。对于已发表的科学实体，不断增长的学术出版物和对术语的过度熟悉很容易导致引文缺失。针对这一情况，我们设计了一种基于已发表科学实体与文献中引文共现的引文推荐方法（CRPSE）。实验结果表明，我们的方法在推荐源文件出版的科学实体的有效性。我们进一步对2020年著名计算机科学会议发表的论文中的缺失引文进行了统计分析。在所收集的12,278篇论文中，发现475篇计算机科学和数学的已发表科学实体存在引文缺失。许多没有引用的实体被认为是公认的研究成果。在中位数的基础上，提出这些缺失引用的已发表科学实体的论文是在8年前发表的，这可以被认为是已发表科学实体发展成为一个被广泛接受的概念的时间框架。对于已发表的科学实体，我们呼吁按照学术标准的要求准确和完整地引用其源论文。
2022-10-18 cs.AI cs.CL cs.DL
A Natural Language Processing Pipeline for Detecting Informal Data References in Academic Literature
ICPSR, University of Michigan（密歇根大学ICPSR（密歇根大学政治和社会研究跨大学联合会））；School of Information, University of Michigan（密歇根大学信息学院）
本研究提出一种检测学术文献中非正式数据引用的自然语言处理流水线，含新型NER模型与关联数据集，可提升文献召回率，支持大规模检测及相关领域后续研究。
2022-05-23 cs.CL cs.DL cs.LG
Librarian-in-the-Loop: A Natural Language Processing Paradigm for Detecting Informal Mentions of Research Data in Academic Literature
University of Michigan（密歇根大学）；ICPSR（校际政治与社会研究联盟）
数据引用为研究数据影响提供了基础。数据引文的收集与管理是档案学和学术交流的一个新领域。然而，研究数据引用的发现和管理是劳动密集型的。引用唯一标识符（即DOI）的数据引用很容易找到;然而，对研究数据的非正式提及更难推断。我们提出了一个自然语言处理（NLP）的范例，以支持人类的任务，确定非正式提到的研究数据集。发现非正式数据提及的工作目前由跨大学政治和社会研究联盟（ICPSR）的图书馆员及其工作人员执行，这是一个大型社会科学数据档案馆，维护着大量与数据相关的文献书目。NLP模型是从ICPSR的图书馆员积极收集的数据引用中引导出来的。该模型将模式匹配与人类注释的多次迭代相结合，以学习用于检测非正式数据提及的其他规则。然后使用这些示例来训练NLP管道。图书馆员在循环范式以ICPSR图书馆员执行的数据工作为中心，支持更广泛的努力，以建立更全面的数据相关文献书目，反映研究数据用户的学术社区。
2022-03-10 cs.CL cs.DL cs.HC
Detecting Early and Implicit Suicidal Ideation via Longitudinal and Information Environment Signals on Social Media
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia Irving Medical Center（哥伦比亚大学伊万尼兹医疗中心）；New York State Psychiatric Institute（纽约州精神医学研究所）
通过分析社交媒体用户的纵向发帖和同伴互动，利用DeBERTa-v3模型提升早期隐性自杀念头检测性能。
2026-02-21 cs.AI cs.CL cs.CY
Disparities in Peer Review Tone and the Role of Reviewer Anonymity
New York University Abu Dhabi（纽约大学阿布扎比分校）
本研究通过对两本主要期刊超过80,000条评审意见进行自然语言处理和大规模统计建模，揭示评审语气、情感和支持性语言随作者性别、种族及机构归属而变化的差异，并考察评审人匿名与署名对评价语言的影响，从而暴露同行评审中的隐性偏见并质疑匿名性在公平性中的传统作用。
2025-07-19 cs.CL
EchoReview: Learning Peer Review from the Echoes of Scientific Citations
Harbin Institute of Technology, China（哈尔滨工业大学）；Beijing Institute of Technology, China（北京理工大学）
EchoReview通过引用上下文驱动的数据合成方法，构建了首个大规模跨会议、跨年度的评审数据集，并训练出能提升核心评审维度的自动化评审员。
2026-01-31 cs.AI cs.CL
CHEAT: A Large-scale Dataset for Detecting ChatGPT-writtEn AbsTracts
Jinan University（暨南大学）
本文提出包含35,304条合成摘要的大规模数据集CHEAT，用于检测ChatGPT撰写的学术摘要，并通过分析现有检测算法表明检测难度随人类参与增加而上升。
2024-02-24 cs.CL
Identifying Aspects in Peer Reviews
Ubiquitous Knowledge Processing Lab (UKP Lab)（通用知识处理实验室）；Department of Computer Science（计算机科学系）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）
针对同行评审中方面概念形式化不足的问题，提出一种自下而上的数据驱动方法，构建了带方面标注的评审数据集，并验证了其在对社区评审分析及LLM生成评审检测等下游应用中的基础性作用。
2025-11-04 cs.CL
Argument Mining for Understanding Peer Reviews
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
同行评议在科学写作和出版生态系统中发挥着关键作用。为了评估审查进程的效率和效力，一个基本要素是了解和评价审查本身。在这项工作中，我们研究了在论点挖掘框架下的同行评议的内容和结构，通过自动检测（1）评论者提出的论点命题，（2）它们的类型（例如，评价工作或提出改进建议）。我们首先从主要的机器学习和自然语言处理场所收集14.2K评论。400篇评论中有10，386个命题和相应类型的评估，请求，事实，参考或引用。然后，我们对数据进行训练最先进的命题分割和分类模型，以评估它们的效用，并确定这个新领域的新挑战，激励未来的论点挖掘方向。进一步的实验表明，命题使用的数量，类型和主题不同的场地。
2019-03-25 cs.CL
Benchmark on Peer Review Toxic Detection: A Challenging Task with a New Dataset
Intel Lab（英特尔实验室）；Arizona State University（亚利桑那州立大学）；Mayo Clinic（梅奥诊所）
本文构建了同行评审毒性检测新数据集，并基准测试多种模型，发现细粒度提示和高置信度预测可显著提升大语言模型与人类判断的一致性。
2025-02-01 cs.CL cs.CY
