Automated Code Review In Practice
本文通过分析工业环境中基于LLM的自动化代码审查工具的使用数据与开发者反馈,发现该工具虽能提升缺陷检测和代码质量意识,但也导致拉取请求关闭时间延长并引入错误审查等问题。
2024-12-28 cs.SE
Characterizing the Usefulness of Code Review Comments in Scientific Software for Software Quality and Scientific Rigor
University of Central Arkansas(阿肯色中央大学);University of Tennessee(田纳西大学)
本文研究科学开源软件中代码审查评论的有用性,发现其与通用软件有相似特征,但部分评论无用,且正负情绪反应相关性不一。
2026-04-26 cs.SE
An Empirical Study on Code Review Activity Prediction and Its Impact in Practice
本文研究代码审查中的文件活动预测,结合代码嵌入与审查过程特征预测需评论、修改或属于热点的文件,并在开源与工业数据集上验证其优于现有方法。
2024-05-13 cs.SE
9.6 Million Links in Source Code Comments: Purpose, Evolution, and Decay
链接是万维网的基本特征,源代码库也不例外。然而,尽管有许多无可争议的好处,链接可能会受到衰减,版本控制不足和缺乏双向可追溯性的影响。在本文中,我们调查的作用,包含在源代码注释链接从这些角度来看。我们对大约960万个链接进行了大规模研究,以确定它们的流行程度,我们使用混合方法来确定链接的目标,目的,衰变和进化方面。我们发现,链接在源代码存储库中很普遍,许可证,软件主页和规范是常见的链接目标类型,并且通常包含链接以提供元数据或属性。链接很少更新,但许多链接目标会演变。在源代码注释中包含的链接中,几乎有10%是死的。然后,我们向开源软件仓库提交了一批链接修复拉取请求,导致我们的大多数修复成功合并。我们的研究结果表明,源代码注释中的链接确实是脆弱的,我们的工作为未来解决这些问题开辟了途径。
2019-02-15 cs.SE
Source Code Comments: Overlooked in the Realm of Code Clone Detection
重用代码可能会在代码存储库中产生重复或近似重复的代码克隆。目前的代码克隆检测技术,如程序依赖图,依赖于代码结构和它们的依赖关系来检测克隆。这些技术是昂贵的,使用大量的处理能力、时间和存储器。在实践中,程序员经常利用代码注释来理解和重用代码,因为注释携带重要的领域知识。但目前的代码检测技术忽略了代码注释,这主要是由于英语语言的歧义性。信息检索技术的最新进展可能具有利用代码注释进行克隆检测的潜力。我们通过在JHotDraw包上实证比较检测克隆的准确性来研究这一点,JHotDraw包包含315个类和27K行代码。为了在文件级别检测克隆,我们使用了一种主题建模技术,潜在狄利克雷分配,来分析代码注释,并使用GRAPLE(利用程序依赖关系图)来分析代码。我们的结果显示94.86召回率和84.21精度与潜在的Dirichlet分配和28.7召回率和55.39精度使用GRAPLE。我们发现潜在狄利克雷分配产生误报的情况下,程序缺乏质量的意见。但是,这种限制可以通过使用混合方法来解决:在文件级别使用代码注释来减少克隆集,然后在方法级别使用基于程序依赖图的技术来检测精确的克隆。我们进一步分析了Java和Python包,Java Swing和PyGUI,发现召回率为74.86%,准确率为84.21%。我们的研究结果要求重新审查的假设,在当前的克隆检测技术中使用的代码注释。
2020-06-25 cs.SE
How to Measure Performance in Agile Software Development? A Mixed-Method Study
本研究通过快速文献综述与单案例焦点小组的混合方法,明确敏捷软件开发绩效指标应用的挑战,构建常用指标库并给出实践与研究启示,以提升指标应用成功率。
2024-07-08 cs.SE
Too Noisy To Learn: Enhancing Data Quality for Code Review Comment Generation
本文研究代码评审数据中的噪声评论对评论生成模型的影响,提出基于大语言模型的数据清洗方法,并通过微调实验证明清洗后的模型能生成更相似、更具信息量且更相关的评审评论。
2025-02-06 cs.SE
On the Impact of Code Comments for Automated Bug-Fixing: An Empirical Study
Politecnico di Torino, University of Molise(托里尼理工大学,莫利塞大学);University of Molise(莫利塞大学)
本研究探讨了代码注释对LLM自动化修复bug的影响,发现注释能显著提升修复准确性,且训练时使用注释不影响性能。
2026-01-30 cs.AI cs.LG cs.SE
Rethinking Training Data for Generating Code Review Comments
Pontificia Universidad Católica de Chile(智利天主教庞蒂菲亚大学);Concordia University(康考迪亚大学)
研究代码审查评论生成,指出尽管有进展但生成的评论存在问题,通过实证检查识别出不匹配训练对并得出分类法,探讨纳入分类法能否改善问题,发现仍有挑战,认为改进需更多举措而非仅数据集清理。
2026-07-29 cs.SE
"Go Home Copilot, You're Drunk": Understanding Developer Responses to Agent-Generated Code Review Comments
University of Saskatchewan(萨斯喀彻温大学);Singapore Management University(新加坡管理大学);Monash University(蒙纳士大学)
研究开发者对智能体生成的代码审查评论的回应,分析五个智能体在342个Python仓库生成的54791条评论,探讨解决率、开发者经验及影响评论有用性的特征,发现不同智能体解决率有差异,还确定未解决评论原因及影响因素,为改进相关反馈提供见解。
2026-07-31 cs.SE
ML DevOps Adoption in Practice: A Mixed-Method Study of Implementation Patterns and Organizational Benefits
本研究通过问卷与访谈混合方法,揭示MLOps在金融、医疗等行业的采用趋势、实施投入与组织收益,指出其能提升部署频率、降低错误率与运营成本,并提出标准化实践与集成传统DevOps等未来方向。
2025-02-08 cs.SE
Understanding the Limits of Automated Evaluation for Code Review Bots in Practice
Bilkent University(比尔肯特大学)
研究探讨了在工业环境中自动化评估LLM驱动的代码审查机器人评论的可行性及限制,发现不同模型和评估方法在与人类标签的一致性上表现不一,揭示了静态 artifacts 难以捕捉上下文约束和优先级决策的挑战。
2026-04-27 cs.AI cs.SE
Comment Traps: How Defective Commented-out Code Augment Defects in AI-Assisted Code Generation
Sun Yat-sen University(中山大学)
本研究探讨了缺陷注释代码如何影响AI编码助手生成缺陷代码,发现其生成缺陷率高达58.17%,并指出需提升AI编码助手的鲁棒性与安全性。
2026-02-18 cs.SE
Comments on SPD-41 software licensing requirements
对科学任务理事会(SMD)政策文件41(SPD-41)的拟议修改包括要求SMD资助的软件应使用许可的软件许可证并遵循开源软件社区的最佳实践。这是一个受欢迎的变化,将导致更多的接受和采用SMD资助的软件。然而,政策文本中存在关于允许哪些许可证的模糊性。这可能会导致招标过程中出现问题,并与开源软件社区产生摩擦。此外,还需要进一步澄清软件许可证政策允许哪些例外。
2022-08-15 cs.SE physics.space-ph
A Decade of Code Comment Quality Assessment: A Systematic Literature Review
本文通过系统文献综述分析近十年代码注释质量评估研究,梳理注释类型、质量属性、工具技术与评估方式,揭示 Java 偏向、属性集中及自动化不足等问题。
2022-09-16 cs.SE
Issue-Oriented Agent-Based Framework for Automated Review Comment Generation
Tianjin University(天津大学);The University of Melbourne(墨尔本大学);University of California Berkeley(加州大学伯克利分校)
提出 RevAgent,一种基于智能体的面向问题的自动化代码评审意见生成框架,通过生成、判别、训练三阶段协同显著提升意见质量与问题识别准确率。
2025-11-01 cs.SE
BitsAI-CR: Automated Code Review via LLM in Practice
本文提出 BitsAI-CR 框架,通过结合 RuleChecker 和 ReviewFilter 的两阶段方法及数据飞轮机制实现自动化代码审查,在 ByteDance 成功部署并服务超 12,000 名周活用户。
2025-01-25 cs.SE
Code Review Comments: Language Matters
Athens University of Economics and Business(雅典经济与商业大学)
最近的研究提供了证据表明,有效的沟通,在协同软件开发有显着的影响,软件开发生命周期。尽管相关的定性和定量研究指出了格式良好的信息的语篇特征,但交织在一起的语言结构的潜在语义仍然在很大程度上被误解或忽视。特别是,关于代码质量审查的重要性,彻底的反馈,明确的理由是经常提到的,但很少与相关的语言特征。作为解决这一缺陷的第一步,我们建议将这些研究建立在语言学理论的基础上。我们特别关注连贯语音的语言结构,并解释如何在实践中利用它们。我们反映了相关的方法,并通过对四个开源项目的初步研究,现有的研究结果和方向,我们建议检测有用的代码审查的文本功能之间的可能联系进行检查。
2018-03-06 cs.CL cs.SE
Is Agentic Code Review Helpful? Mining Developers' Feedback to CodeRabbit Reviews in the Wild
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
以CodeRabbit为例对智能代码审查进行实证研究,通过大量代码审查与开发者反馈数据,揭示其审查结果及被拒原因,还探索预测审查被拒的方法,指出改进空间与不足。
2026-07-24 cs.AI cs.SE
Exploring the Potential of Large Language Models in Fine-Grained Review Comment Classification
The University of Melbourne(墨尔本大学)
针对监督机器学习分类代码审查评论需大量人工标注的局限,本研究探索大语言模型(LLMs)对17类评论的分类能力,发现其优于最先进深度学习方法,在高低频类别上表现均衡,为代码审查分析提供了可扩展的解决方案。
2025-08-13 cs.AI cs.SE
The Potential of Using Vision Videos for CrowdRE: Video Comments as a Source of Feedback
TIB – Leibniz Information Centre for Science and Technology(TIB——莱布尼茨科学技术信息中心);Leibniz University Hannover(汉诺威莱布尼茨大学)
建立愿景视频是为了征求反馈和激发需求工程(RE)实践中的讨论,例如焦点小组。不同的研究人员通过在社交媒体平台上使用视觉视频来激励将这些好处转移到基于人群的RE(CrowdRE)中。然而,到目前为止,很少有研究详细探讨将视觉视频用于CrowdRE的潜力。在本文中,我们分析和评估这种潜力,特别是,专注于视频评论作为反馈的来源。在一个案例研究中,我们分析了4505条来自YouTube的视觉视频评论。我们发现,这段视频在四天内从2660名观众那里征集了2770条评论。这是该视频四年来收到的所有评论的50%以上。尽管这些评论中只有一小部分与RE相关,但相关评论涉及用户反馈的典型意图和主题,例如功能请求或问题报告。除了典型的用户反馈类别,我们还发现了300多条关于安全的评论,这在以前的用户反馈分析中没有出现。在自动分析中,我们比较了三种机器学习算法对视频评论分类的性能。尽管存在某些差异,但算法对视频评论进行了很好的分类。基于这些发现,我们得出结论,使用视觉视频的CrowdRE有很大的潜力。尽管案例研究是初步的,但我们乐观地认为,愿景视频可以激励利益相关者积极参与人群,并征求大量视频评论作为宝贵的反馈来源。
2021-08-04 cs.AI cs.LG cs.SE