Impact of LLM-based Review Comment Generation in Practice: A Mixed Open-/Closed-source User Study
本研究通过Mozilla和Ubisoft的实证用户研究，评估了基于LLM的评审评论生成工具RevMate的实际影响，发现其评论接受率较低但有一定价值，且不显著增加评审时间负担。
2024-11-11 cs.SE
Rethinking Training Data for Generating Code Review Comments
Pontificia Universidad Católica de Chile（智利天主教庞蒂菲亚大学）；Concordia University（康考迪亚大学）
研究代码审查评论生成，指出尽管有进展但生成的评论存在问题，通过实证检查识别出不匹配训练对并得出分类法，探讨纳入分类法能否改善问题，发现仍有挑战，认为改进需更多举措而非仅数据集清理。
2026-07-29 cs.SE
Balancing Usefulness and Naturalness: An LLM-based Curation Pipeline for Code Review Comments
Queen’s University（女王大学）；Singapore Management University（新加坡管理大学）；Université de Montréal（蒙特利尔大学）
研究针对现有代码审查数据集质量问题限制大语言模型在代码审查任务中效用的情况，提出两种整理管道。一种用大语言模型重述评论生成CuREV数据集，另一种以高质量示例为指导增强评论真实性和多样性，提升了代码审查数据集质量和下游任务效果。
2026-07-13 cs.SE
Automated Classification of Human Code Review Comments with Large Language Models
Bilkent University（比尔肯特大学）
本文提出一种自动分类系统，针对代码审查评论中的具体问题类别进行分类，通过九类标签体系和手动标注数据，评估了不同模型在零样本和单样本分类中的表现。
2026-04-26 cs.SE
Hold On! Is My Feedback Useful? Evaluating the Usefulness of Code Review Comments
本研究通过文本特征和无特征方法评估代码审查评论的有用性，实验表明GPT-4o和TF-IDF词袋方法最有效，显著提升预测性能。
2025-01-12 cs.SE
CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells
Carnegie Mellon University（卡内基梅隆大学）；Language Technologies Institute（语言技术研究所）
本文提出无参考指标 CRScore，利用 LLM 与静态分析器识别的代码声明和潜在问题，从多维度细粒度评估代码审查评论，并发布 2.9k 条人工标注语料。
2025-03-16 cs.AI cs.CL cs.SE
"Go Home Copilot, You're Drunk": Understanding Developer Responses to Agent-Generated Code Review Comments
University of Saskatchewan（萨斯喀彻温大学）；Singapore Management University（新加坡管理大学）；Monash University（蒙纳士大学）
研究开发者对智能体生成的代码审查评论的回应，分析五个智能体在342个Python仓库生成的54791条评论，探讨解决率、开发者经验及影响评论有用性的特征，发现不同智能体解决率有差异，还确定未解决评论原因及影响因素，为改进相关反馈提供见解。
2026-07-31 cs.SE
Measuring the effectiveness of code review comments in GitHub repositories: A machine learning approach
本文通过人工标注13557条GitHub代码审查评论，比较七种机器学习算法的情感极性分类效果，发现线性SVC准确率最高，以帮助程序员避免误解并改进决策。
2025-08-22 cs.SE
Understanding Emojis :) in Useful Code Review Comments
研究通过分析代码审查评论中表情符号的情感与语义，结合表情符号特征与预训练嵌入构建模型，显著提升了评论有用性评估的准确率。
2024-01-23 cs.SE
Transfer Learning for Mining Feature Requests and Bug Reports from Tweets and App Store Reviews
Technical University of Munich（慕尼黑工业大学）；Qualicen GmbH（Qualicen有限公司）；Blekinge Institute of Technology（布莱金厄理工学院）；University of Cologne（科隆大学）
在用户评论中识别功能请求和错误报告对开发团队来说具有很大的潜力。然而，从社交媒体和应用商店自动挖掘RE相关信息具有挑战性，因为（1）大约70%的用户评论包含嘈杂、不相关的信息，（2）用户评论量每天都在增长，使得手动分析变得不可行，（3）用户评论是用不同语言编写的。现有的方法建立在传统的机器学习（ML）和深度学习（DL）的基础上，但无法以高召回率和可接受的精度检测特征请求和错误报告，这是该任务所必需的。在本文中，我们探讨了迁移学习（TL）的用户评论分类的潜力。具体来说，我们训练单语言和多语言BERT模型，并与最先进的方法的性能进行比较。我们发现，单语BERT模型在英语应用评论以及英语和意大利语推文的分类中优于现有的基线方法。然而，我们也观察到，重量级TL模型的应用并不一定会带来更好的性能。事实上，我们的多语言BERT模型比传统的ML方法表现更差。
2021-08-02 cs.CL cs.SE
Characterizing the Usefulness of Code Review Comments in Scientific Software for Software Quality and Scientific Rigor
University of Central Arkansas（阿肯色中央大学）；University of Tennessee（田纳西大学）
本文研究科学开源软件中代码审查评论的有用性，发现其与通用软件有相似特征，但部分评论无用，且正负情绪反应相关性不一。
2026-04-26 cs.SE
Leveraging Reward Models for Guiding Code Review Comment Generation
Université de Montréal（蒙特利尔大学）；Università della Svizzera italiana（瑞士联邦理工学院）
本文提出 CoRAL 框架，利用兼顾评论语义及其对代码精化模型可用性的强化学习奖励机制，自动生成代码审查评论，并通过定量与定性比较验证其优于最新基线。
2025-06-04 cs.LG cs.SE
Prompting and Fine-tuning Large Language Models for Automated Code Review Comment Generation
Bangladesh University of Engineering and Technology（孟加拉工程技术大学）；University of California（加利福尼亚大学）
本研究通过QLoRA微调开源LLM和利用函数调用图等语义元数据增强闭源LLM提示，有效提升了自动化代码审查注释生成的质量，在CodeReviewer数据集上取得显著性能提升并获人工评估验证。
2024-11-15 cs.CL cs.LG cs.SE
Harnessing Large Language Models for Curated Code Reviews
本文提出一种基于大型语言模型的数据集精选流水线，用于提升代码审查数据集质量，并验证其能改善评论生成与代码精化等下游任务表现。
2025-02-05 cs.SE
Exploring the Potential of Large Language Models in Fine-Grained Review Comment Classification
The University of Melbourne（墨尔本大学）
针对监督机器学习分类代码审查评论需大量人工标注的局限，本研究探索大语言模型（LLMs）对17类评论的分类能力，发现其优于最先进深度学习方法，在高低频类别上表现均衡，为代码审查分析提供了可扩展的解决方案。
2025-08-13 cs.AI cs.SE
DeepCRCEval: Revisiting the Evaluation of Code Review Comment Generation
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kuaishou Technology（快手科技）；Sinosoft Company Limited（中软公司）
本文提出 DeepCRCEval 评估框架，结合人工与 LLM 评估者，克服了传统文本相似度指标的局限，有效区分代码审查注释质量，并引入 LLM-Reviewer 基线模型以聚焦生成目标。
2025-01-25 cs.AI cs.CL cs.LG
Does AI Code Review Lead to Code Changes? A Case Study of GitHub Actions
State Key Lab for Novel Software Technology, Nanjing University（南京大学 novel software technology 国家重点实验室）；University of Heidelberg（海德堡大学）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息学院）
本文通过分析GitHub动作中的16种AI代码审查工具，探讨其使用情况、评论是否引发代码更改以及影响有效性因素，发现简洁、包含代码片段且手动触发的评论更可能引发更改。
2026-04-25 cs.SE
A Decade of Code Comment Quality Assessment: A Systematic Literature Review
本文通过系统文献综述分析近十年代码注释质量评估研究，梳理注释类型、质量属性、工具技术与评估方式，揭示 Java 偏向、属性集中及自动化不足等问题。
2022-09-16 cs.SE
Automating Patch Set Generation from Code Review Comments Using Large Language Models
Gannon University（甘农大学）
本文评估五种预训练大型语言模型根据真实代码审查评论自动生成补丁集的能力，并与人类历史补丁集对比，以衡量其准确性、相关性和深度，为自动化代码质量保证奠定基础。
2024-04-10 cs.AI cs.SE
Issue-Oriented Agent-Based Framework for Automated Review Comment Generation
Tianjin University（天津大学）；The University of Melbourne（墨尔本大学）；University of California Berkeley（加州大学伯克利分校）
提出 RevAgent，一种基于智能体的面向问题的自动化代码评审意见生成框架，通过生成、判别、训练三阶段协同显著提升意见质量与问题识别准确率。
2025-11-01 cs.SE
What Makes a Code Review Useful to OpenDev Developers? An Empirical Investigation
本研究通过混合方法调查OpenDev项目中代码评审评论的有用性，发现其受技术贡献和语言特征影响，评审经验正相关，而评审数量、文件评论量、行数及间隔负相关。
2023-06-19 cs.SE
RovoDev Code Reviewer: A Large-Scale Online Evaluation of LLM-based Code Review Automation at Atlassian
Monash University \& Atlassian Australia.；Monash University \& Atlassian
RovoDev Code Reviewer通过大规模评估展示了基于LLM的代码审查自动化在提升效率和质量方面的效果
2026-01-20 cs.AI cs.CL cs.LG
CRJudgeBench: Can AI Detect Plausible but Invalid Code Reviews?
University College London（伦敦大学学院）；Amazon（亚马逊）；Zhejiang University（浙江大学）
针对大型语言模型生成的看似合理但无效的代码审查评论，提出CRJudgeBench基准和基于仓库的智能体评判器Sentinel，通过迭代动作级学习显著提升技术可信度判断准确率。
2026-09-30 cs.AI cs.SE
Retrieval-Augmented Code Review Comment Generation
针对现有代码审查评论生成方法在低频词生成或新上下文适配性上的不足，本研究提出基于检索增强生成（RAG）的方法，在Tufano基准上取得了优于生成式和检索式方法的表现。
2025-06-13 cs.SE
SecureReviewer: Enhancing Large Language Models for Secure Code Review through Secure-aware Fine-tuning
1 State Key Laboratory of Complex \& Critical Software Environment, School of Computer Science；Engineering, Beihang University, China
提出SecureReviewer方法，通过构建定制数据集、安全感知微调策略和集成RAG技术，增强了LLM在代码审查中识别和解决安全问题的能力，并引入SecureBLEU指标，在检测准确性和评论质量上优于基线。
2025-10-30 cs.AI cs.CL cs.SE
Code Review is a Conversation: Toward Conversational AI Review Assistants
Università della Svizzera italiana (USI)（瑞士意大利大学）
研究指出当前代码审查多为一次性注释任务，忽略其对话本质。主张构建对话式人工智能审查助手，能互动交流、提问解答等。还概述了研究议程，将AI代码审查从自动化注释转变为集成前人机协作理解，带来范式转变。
2026-07-27 cs.SE
Not One to Rule Them All: Mining Meaningful Code Review Orders From GitHub
University of Hamburg（汉堡大学）；Delft University of Technology（代尔夫特理工大学）
本研究通过分析GitHub上100个热门仓库的23241个拉取请求的审查评论，发现近半数审查采用非字母顺序，存在最大差异优先等多种有意义顺序，且非字母顺序审查的文件审查率更高、批准数略少，凸显了为大型拉取请求审查提供额外支持的必要性。
2025-06-12 cs.SE
HalluJudge: A Reference-Free Hallucination Detection for Context Misalignment in Code Review Automation
Monash University Australia（墨尔本大学澳大利亚）；The University of Melbourne Australia（墨尔本大学澳大利亚）；Atlassian USA（Atlassian美国）
提出无参考幻觉检测方法HalluJudge，通过上下文对齐评估生成评论的根基性，采用多分支推理策略，在F1=0.85且成本$0.009下与开发者偏好67%一致。
2026-06-12 cs.AI cs.SE
Leveraging Reviewer Experience in Code Review Comment Generation
The University of Melbourne（墨尔本大学）；Singapore Management University（新加坡管理学院）；University of Waterloo（多伦多大学）
本文提出经验感知损失函数（ELF），利用审查者的编写和审查经验作为权重，提升代码审查注释生成质量，相比SOTA模型在准确性、信息量和注释类型上表现更优。
2025-08-13 cs.LG cs.SE
Understanding Practitioners' Expectations on Clear Code Review Comments
本研究通过定义RIE属性并构建ClearCRC模型，系统评估代码评审评论的清晰性，发现28.8%的评论存在清晰性不足，所提模型在自动评估中达到73.04%的平衡准确率与94.61%的F1分数。
2025-04-24 cs.SE
Review4Repair: Code Review Aided Automatic Program Repairing
内容：基于学习的自动程序修复技术有望为软件源代码中检测到的错误提供质量修复建议。这些工具主要利用错误和修复代码更改的历史数据，并且在应用于新代码时严重依赖错误定位器。随着代码审查的日益普及，对bug定位器的依赖可以减少。此外，基于代码评审的错误定位更值得信赖，因为评审员的专业知识和经验反映在这些建议中。目的：评审评论中的自然语言说明是关于bug的性质和预期解决方案的大量信息来源。然而，据我们所知，没有一个基于学习的工具利用评审注释来修复编程错误。在这项研究中，我们调查的性能改善修复技术使用代码审查意见。方法：我们对55,060个代码评审和相关的代码变更进行了序列到序列模型的训练。我们还介绍了新的标记化和预处理方法，这些方法有助于实现对最先进的基于学习的修复技术的显着改进。结果：我们将前1名的准确率提高了20.33%，前10名的准确率提高了34.82%。我们可以为现有技术未解决的文体和非代码错误提供建议。结论：我们相信，通过我们的方法生成的自动修复建议以及代码审查将帮助开发人员快速正确地处理审查评论，从而节省他们的时间和精力。
2020-10-06 cs.SE
AI-Assisted Fixes to Code Review Comments at Scale
Meta
本文提出MetaMateCR系统，通过微调Llama模型在64k数据点上实现代码评审意见的AI辅助修复，离线准确率达68%且生产环境ActionableToApplied比率达19.7%，并通过安全试验优化用户体验避免拖慢评审流程。
2025-07-17 cs.AI cs.PL cs.SE
LAURA: Enhancing Code Review Generation with Context-Enriched Retrieval-Augmented LLM
School of Computer Science；Technology Beijing Institute of Technology Beijing, China；Institute of Software Chinese Academy of Sciences Beijing, China；School of Computer Science Tianjin University Tianjin, China
LAURA通过整合审查范例检索、上下文增强和系统引导，提升代码审查生成的准确性和质量。
2026-02-22 cs.SE
Distilling Desired Comments for Enhanced Code Review with Large Language Models
Software Institute Nanjing University（南京大学软件学院）；Faculty of Science and Engineering Southern Cross University（南十字星大学科学与工程学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出Desiview数据集蒸馏方法，自动从代码审查数据中识别DRC，并结合KTO对齐微调LLaMA 3/3.1，显著提升LLM生成准确代码审查评论的能力。
2025-01-05 cs.AI cs.SE
