RovoDev Code Reviewer: A Large-Scale Online Evaluation of LLM-based Code Review Automation at Atlassian
Monash University \& Atlassian Australia.;Monash University \& Atlassian
RovoDev Code Reviewer通过大规模评估展示了基于LLM的代码审查自动化在提升效率和质量方面的效果
2026-01-20 cs.AI cs.CL cs.LG
Unveiling the Merits and Defects of LLMs in Automatic Review Generation for Scientific Papers
North Carolina State University(北卡罗来纳州立大学);University of North Texas(德克萨斯大学)
本研究提出综合评估框架,分析LLM生成科学论文评审的优缺点,发现其在描述性内容上表现好,但在识别弱点和质量敏感性上不足。
2025-09-13 cs.AI cs.CL
A Critical Review of "Automatic Patch Generation Learned from Human-Written Patches": Essay on the Problem Statement and the Evaluation of Automatic Software Repair
在ICSE'2013上,有史以来第一次专门用于自动程序修复的会议。在这次会议上,Kim等人介绍了PAR,这是一种用于修复Java bug的基于模板的新方法。我们强烈反对这篇文章的主要观点。我们的评论有两个目标。首先,我们的目的是解释为什么我们不同意金和同事,为什么这种分歧背后的原因是重要的自动软件修复的研究一般。其次,我们的目标是通过澄清自动软件修复背后的基本思想来为该领域做出贡献。特别讨论了软件自动修复的主要评价标准:可理解性、正确性和完整性。我们表明,根据如何设置修复方案,评估目标可能是矛盾的。最后,我们讨论了修复的可接受性的性质和它的关系,软件正确性的概念。
2014-08-09 cs.SE
Rethinking Code Review in the Age of AI: A Vision for Agentic Code Review
Microsoft(微软);Ankara University(安卡拉大学);Bilkent University(比尔肯特大学)
本文探讨了在AI时代代码审查的演变,提出了一种结合专门代理和人类控制的质量闸门的AI驱动代码审查流程,旨在提升代码审查的效率和可靠性。
2026-06-05 cs.AI cs.SE
AUGER: Automatically Generating Review Comments with Pre-training Models
代码审查是最佳实践之一,是软件质量的有力保障。在实践中,高级或高技能的评审员检查源代码并提供建设性的评论,考虑作者可能忽略的内容,例如一些特殊情况。贡献者之间的协作验证导致代码高度合格,错误的机会更少。然而,由于个人知识的有限性和多样性,代码审查实践的效率和有效性值得进一步提高。事实上,提出有用的审查意见仍然需要作出巨大和耗时的努力。本文探讨了多个实际的审查意见,以加强代码审查的协同作用,并提出了AUGER(自动生成审查意见):一个审查意见生成器与预训练模型。我们首先从11个著名的Java项目中收集经验性的评审数据,并构建了一个包含10,882个代码更改的数据集。通过利用文本到文本传输Transformer(T5)模型,该框架在训练阶段综合了有价值的知识,并在ROUGE-L中有效地超过基线37.38%。根据先前的研究,我们的自动审查评论中有29%被认为是有用的。推理仅在20秒内生成,并且还可以进一步训练。此外,在案例研究中进行了深入的分析,性能也得到了改善。
2022-08-31 cs.SE
Code Review Agent Benchmark
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
本文提出c-CRAB基准,用于评估代码审查代理的能力,发现现有代理仅能解决40%的任务,揭示了未来研究的潜力及人机协作的可能性。
2026-04-07 cs.AI cs.SE
Is Agentic Code Review Helpful? Mining Developers' Feedback to CodeRabbit Reviews in the Wild
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
以CodeRabbit为例对智能代码审查进行实证研究,通过大量代码审查与开发者反馈数据,揭示其审查结果及被拒原因,还探索预测审查被拒的方法,指出改进空间与不足。
2026-07-24 cs.AI cs.SE
Review4Repair: Code Review Aided Automatic Program Repairing
内容:基于学习的自动程序修复技术有望为软件源代码中检测到的错误提供质量修复建议。这些工具主要利用错误和修复代码更改的历史数据,并且在应用于新代码时严重依赖错误定位器。随着代码审查的日益普及,对bug定位器的依赖可以减少。此外,基于代码评审的错误定位更值得信赖,因为评审员的专业知识和经验反映在这些建议中。目的:评审评论中的自然语言说明是关于bug的性质和预期解决方案的大量信息来源。然而,据我们所知,没有一个基于学习的工具利用评审注释来修复编程错误。在这项研究中,我们调查的性能改善修复技术使用代码审查意见。方法:我们对55,060个代码评审和相关的代码变更进行了序列到序列模型的训练。我们还介绍了新的标记化和预处理方法,这些方法有助于实现对最先进的基于学习的修复技术的显着改进。结果:我们将前1名的准确率提高了20.33%,前10名的准确率提高了34.82%。我们可以为现有技术未解决的文体和非代码错误提供建议。结论:我们相信,通过我们的方法生成的自动修复建议以及代码审查将帮助开发人员快速正确地处理审查评论,从而节省他们的时间和精力。
2020-10-06 cs.SE
Automating Code Review Activities by Large-Scale Pre-training
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学);LinkedIn(领英);Microsoft DevDiv(微软开发者事业部)
代码评审是软件开发生命周期的重要组成部分,其目的是保证代码的质量。现代代码审查活动需要开发人员查看,理解甚至运行程序,以评估逻辑,功能,延迟,风格和其他因素。事实证明,开发人员不得不花费太多的时间来审查同行的代码。因此,对代码审查过程自动化的需求很大。在这项研究中,我们专注于利用预训练技术的任务,在代码审查的情况下。我们收集了一个大规模的真实世界的代码更改和代码审查的数据集,这些代码来自九种最流行的程序设计语言的开源项目。为了更好地理解代码差异和审查,我们提出了CodeReviewer,这是一个预先训练的模型,它利用了专门为代码审查场景定制的四个预先训练任务。为了评估我们的模型,我们集中在三个关键任务相关的代码审查活动,包括代码变更质量估计,审查意见的生成和代码细化。此外,我们还针对这三个任务建立了一个高质量的基准数据集,并对其进行了全面的实验,实验结果表明,我们的模型在所有任务中的性能都优于以前最先进的预训练方法。进一步的分析表明,我们提出的预训练任务和多语言预训练数据集有利于模型对代码更改和审查的理解。
2022-10-11 cs.AI cs.SE
Using Machine Intelligence to Prioritise Code Review Requests
Ericsson AB(爱立信公司);Blekinge Institute of Technology(布莱金厄理工学院)
现代代码审查(MCR)是审查需要与现有代码库合并的新代码更改的过程。作为开发人员,每天可能会收到许多代码审查请求,即,需要对审查请求进行优先排序。手动确定审查请求的优先级是一个具有挑战性且耗时的过程。为了解决上述问题,我们在爱立信进行了一项工业案例研究,旨在开发一种名为Pineapple的工具,该工具使用贝叶斯网络来优先考虑代码审查请求。为了验证我们的方法/工具,我们将其部署在爱立信的实时软件开发项目中,其中有150多名开发人员开发电信产品。我们专注于评估我们的方法的预测性能,可行性和实用性。结果表明,菠萝具有良好的预测性能(RMSE = 0.21和MAE = 0.15)。此外,大约82.6%的Pineapple用户认为该工具可以通过提供可靠的结果来支持代码审查请求优先级,大约56.5%的用户认为它有助于减少代码审查的交付时间。作为未来的工作,我们计划通过纵向调查评估菠萝的预测性能,有用性和可行性。
2021-02-11 cs.AI cs.SE
Contrastive Learning for Multi-Modal Automatic Code Review
自动代码审查(ACR)是软件工程中一项不可缺少的重要任务,其目的是减轻人工审查的成本。现有的工作仅仅利用源代码片段来预测结果,缺少对开发者注释的利用。因此,我们提出了一个多模态Apache自动代码审查数据集(MACR)的多模态ACR任务。该数据集的发布将推动该领域的研究。在此基础上,我们提出了一种基于对比学习的多模态网络(CLMN)来处理多模态ACR任务。具体地说,我们的模型包括一个代码编码模块和一个文本编码模块。对于每个模块,我们使用dropout操作作为最小的数据增强。然后,采用对比学习方法对模块参数进行预训练。最后,我们结合这两个编码器微调CLMN决定的结果多模态ACR。在MACR数据集上的实验结果表明,我们提出的模型优于最先进的方法。
2022-05-28 cs.SE
Who Evaluates the Evaluators? On Automatic Metrics for Assessing AI-based Offensive Code Generators
University of Naples Federico II(那不勒斯费德里科二世大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文系统分析了多种输出相似性自动度量标准在进攻性代码生成器评估中的适用性,通过在两个NMT模型和两个数据集上的实验与人工评估对比,揭示了各度量标准的优势与局限。
2023-04-13 cs.AI cs.SE
Listening to Users' Voice: Automatic Summarization of Helpful App Reviews
应用评论是关于应用用户体验的众包知识,为应用发布计划提供有价值的信息,例如要修复的主要错误和要添加的重要功能。存在用于发布计划的应用评论挖掘的先前探索,然而,大多数研究强烈依赖于预定义的类或手动注释的评论。此外,新的审查特征,即,以前没有考虑将评论评为有帮助的用户数量,这可以帮助捕获重要的评论。在本文中,我们提出了一个新的框架,命名为太阳能,旨在准确地总结有用的用户评论开发。该框架主要包括三个模块:评论有用性预测模块、主题情感建模模块和多因素排序模块。评论有用性预测模块评估评论的有用性,即,审查对开发人员是否有用。主题情感建模模块对有用评论的主题进行分组,并且还预测相关联的情感,并且多因素排名模块旨在优先考虑每个主题的语义代表性评论作为评论摘要。在五个流行应用上的实验表明,SOLAR是有效的评论摘要,并有希望促进应用发布计划。
2022-10-12 cs.SE
Towards a Data-Driven Requirements Engineering Approach: Automatic Analysis of User Reviews
EuroMov Digital Health in Motion(EuroMov 数字健康运动研究中心);Univ Montpellier(蒙彼利埃大学);IMT Mines Ales(法国国立高等矿业电信学校联盟阿莱斯矿业学院)
我们关注数据驱动需求工程,特别是考虑用户的评论。这些在线评论是提取新需求和改进请求的丰富信息来源。在这项工作中,我们提供了一个自动化的分析使用CamemBERT,这是一个国家的最先进的语言模型在法国。我们创建了一个多标签分类数据集,其中包含来自健康与健身领域三个应用程序的6000条用户评论。结果是令人鼓舞的,并建议它可以自动识别有关新功能的请求的评论。数据集可在以下网址获得:https://github.com/Jl-wei/APIA2022-French-user-reviews-classification-dataset。
2022-06-29 cs.CL cs.SE
Obstacles in Fully Automatic Program Repair: A survey
目前的文章是一个跨学科的尝试破译自动程序修复过程。审查是由典型的方式,以人类科学称为衍射。我们试图找出自我修复和自我修复操作的文献中的差距,并进一步研究使我们能够解决我们面临的问题的方法。作为结论,我们建议改变目前的方法,自动程序修复操作,以达到我们的目标。这次审查的重点是实现全面自动化。在当前的文章中提到了几个障碍,但所涵盖的主要不足是过拟合障碍,并且在与修复过程的全自动化相关的流中研究了这个特定问题。
2020-11-05 cs.AI cs.SE
Automatic Code Summarization: A Systematic Literature Review
背景:在软件维护和开发过程中,对程序代码的理解是成功的关键。高质量的注释可以帮助我们更好地理解程序,但在今天的程序中,它们经常被遗漏或过时。自动代码摘要就是为了解决这些问题而提出的。在过去十年中,这一领域取得了巨大进展,但缺乏最新的调查。目的:我们研究了出版物有关的代码摘要领域的程序理解,调查国家的最先进的方法。通过阅读和分析相关文献,全面了解自动代码摘要的研究现状。方法:在本文中,我们进行了系统的文献综述自动源代码摘要领域。此外,我们综合了所获得的数据,并研究了不同的方法。结果:我们成功地收集和分析了来自不同研究社区的41项研究。我们详尽地调查和描述了这些作品的数据提取技术,描述生成方法,评估方法和相关工件。结论:我们的系统综述概述了最新技术水平,并讨论了进一步的研究方向。通过充分阐述该领域目前的方法,我们的工作揭示了未来的研究方向的程序理解和评论生成。
2019-10-13 cs.SE
Finding the Needle in a Haystack: On the Automatic Identification of Accessibility User Reviews
近年来,移动可访问性已成为一个重要的趋势,其目标是允许所有用户使用任何应用程序的可能性,而没有太多限制。用户评论包括对应用程序发展有用的见解。然而,随着收到的评论数量的增加,手动分析它们是繁琐和耗时的,特别是在搜索可访问性评论时。本文的目标是支持自动识别用户评论中的可访问性,帮助技术专业人员优先处理这些评论,从而创建更具包容性的应用程序。特别是,我们设计了一个模型,作为输入的可访问性用户评论,学习他们的关键字为基础的功能,为了作出二元决策,对于一个给定的审查,它是否是关于可访问性或没有。该模型使用总共5,326个移动应用程序评论进行评估。研究结果表明:(1)我们的模型可以准确地识别可访问性评论,优于两个基线,即基于关键字的检测器和随机分类器;(2)我们的模型在相对较小的训练数据集上达到了85%的准确率;然而,随着我们增加训练数据集的大小,准确率会提高。
2022-10-18 cs.SE
Demystifying Code Snippets in Code Reviews: A Study of the OpenStack and Qt Communities and A Practitioner Survey
本文通过挖掘 OpenStack 与 Qt 社区代码评审数据并结合从业者调查,研究代码片段在评审评论中的使用场景与作用。
2024-04-04 cs.SE
Understanding Code Snippets in Code Reviews: A Preliminary Study of the OpenStack Community
代码评审是软件开发中一种成熟的软件质量保证实践,评审员通过评审员检查开发人员提交的代码,并验证代码的质量。在代码评审讨论期间,评审者和开发人员可能会使用代码片段来提供必要的信息(例如,建议或解释)。然而,很少有人知道的意图和影响的代码片段在代码审查。为此,我们进行了一项初步研究,以调查代码片段的性质及其在代码审查中的用途。我们手动收集并检查了来自OpenStack社区的Nova和Neutron项目的10,790条评论,最终获得了626条包含代码片段的评论,以供进一步分析。结果表明:(1)代码片段在代码评审中的使用并不普遍,大多数代码片段都是由评审者提供的。(2)我们确定了审阅者提供的代码片段的两个高级目的(即,建议和引用),其中,改进代码实现是最常见的目的。(3)在以建议为目的的代码评审中,大约68.1%的代码片段被开发人员接受。结果突出了在代码审查中使用代码片段的有前途的研究方向。
2022-03-30 cs.SE
Assessing the Students' Understanding and their Mistakes in Code Review Checklists -- An Experience Report of 1,791 Code Review Checklist Questions from 394 Students
代码审查是软件开发公司中广泛使用的一种识别缺陷的实践。因此,代码评审已经被包括在世界各地的大学的许多软件工程课程中。然而,教授代码审查仍然是一项具有挑战性的任务,因为代码审查的有效性取决于审查者的代码阅读和分析技能。虽然有几项研究调查了学生在代码审查期间应该使用的代码阅读技术,以发现缺陷,但很少关注涉及分析技能的学习活动。事实上,开发代码审查清单应该激励学生发展他们的分析技能,以预测潜在的问题(即,软件缺陷)。然而,由于学生在软件开发(编程,测试等)方面的经验有限,目前还不清楚他们是否能够预测潜在的问题。我们进行了定性分析,以调查学生是否能够创建代码审查清单,如果清单可以用来指导审查人员找到缺陷。此外,我们还确定了学生在开发代码审查清单时犯的常见错误。我们的研究结果表明,虽然有一些误解的学生对代码审查的目的,学生能够预测潜在的缺陷,并创建一个相对良好的代码审查清单。因此,我们的研究结果使我们得出结论,开发一个代码审查清单可以是代码审查的学习活动的一部分,以支架学生的技能。
2021-01-13 cs.SE
Code Review Comprehension: Reviewing Strategies Seen Through Code Comprehension Theories
本研究通过观察十位评审者的25次评审,基于Letovsky模型提出代码评审理解模型,揭示评审依赖机会主义策略,并建议工具优化以支持评审者理解。
2025-03-27 cs.SE
Automatic Patch Linkage Detection in Code Review Using TextualContent and File Location Features
背景:当代的代码审查工具是软件质量保证的流行选择。使用这些工具,评审员能够在评审讨论期间发布两个补丁之间的链接。使用审查然后提交模型的大型开发团队可能没有意识到这些联系。目的:我们的目标是首先探讨补丁链接如何影响审查过程。然后,我们提出和评估模型,检测补丁链接的基础上现实的时间间隔。方法:首先,我们对三个开源项目进行了探索性研究,使用942个手动分类的链接进行链接影响分析。其次,我们提出了两种技术,使用文本和文件位置相似性来构建检测模型,并评估其性能。结果:该研究提供了链接通知延迟的证据。我们表明,一个补丁与替代解决方案的联系(即,与其他链接类型相比,实现类似功能的补丁)会经历更快的审查,并避免在通知团队后进行额外的修订。我们的检测模型实验显示,替代解决方案链接的召回率很有希望(从32%到95%),但精度还有改进的空间。结论:补丁链接检测是有前途的,可能会改善,如果张贴链接的做法变得更加普遍。从我们的影响,本文奠定了基础,为未来的研究如何提高补丁链接意识,以促进有效的审查。
2021-06-04 cs.SE
A Survey of Automatic Generation of Source Code Comments: Algorithms and Techniques
作为源代码文件的一个组成部分,代码注释有助于提高程序的可读性和可理解性。然而,开发人员有时并没有对他们的程序代码进行充分的注释,这是由于额外的努力,缺乏相关知识,没有意识到代码注释的重要性或其他一些因素。因此,代码注释可能不充分、缺失甚至与源代码不匹配,影响了对软件的理解、重用和维护。为了解决代码注释的这些问题,研究人员一直关注自动生成代码注释。在这项工作中,我们的目标是进行自动代码注释研究的调查。首先,我们概括性地分析了程序注释自动生成的挑战和研究框架。其次,我们给出了代表性算法的分类,每类算法的设计原则,优缺点。同时,我们也提供了一个生成的评论的质量评估的概述。最后,我们总结了一些未来的发展方向,提高技术的自动生成代码注释和质量评估的意见。
2019-07-25 cs.SE
Automatic Detection and Analysis of Technical Debts in Peer-Review Documentation of R Packages
技术债(TD)是一个比喻,指由于优先考虑快速交付而不是完美代码而产生的代码相关问题。鉴于TD的减少可以在软件工程生命周期(SDLC)中产生长期的积极影响,TD在文献中得到了广泛的研究。然而,尽管R程序设计语言很受欢迎和使用,但现有的研究很少关注R语言的技术债务。Codabux等人最近的研究[21]发现,R包可以有10种不同的TD类型来分析同行评审文档。然而,这些发现是基于对R包审查评论的小样本的手动分析。在本文中,我们开发了一套机器学习(ML)分类器来自动检测10个TD。性能最好的分类器是基于深度ML模型BERT的,其F1得分为0.71 - 0.91。然后,我们将训练好的BERT模型应用于来自rOpenSci和BioConductor两个平台的所有可用的同行评审问题评论(来自总共1297个R包的13.5K评审评论)。我们对两个R平台中10个TD的流行和演变进行了实证研究。我们发现文件债务是所有类型的TD中最普遍的,而且它也在迅速扩大。我们还发现,R软件包的通用平台(即rOpenSci)更容易TD相比,特定领域的平台(即BioConductor)。我们的实证研究结果可以指导R包文档的未来改进机会。我们的ML模型可用于自动监控R包文档中TD的流行和演变。
2022-01-11 cs.SE
Automatic Code Documentation Generation Using GPT-3
源代码文档是高效软件开发的重要工件。代码文档可以大大受益于自动化,因为手动文档通常是劳动,资源和时间密集型的。在本文中,我们使用Codex来自动创建代码文档。Codex是一个基于GPT-3的模型,在自然语言和程序设计语言上进行了预训练。我们发现,即使在一次性学习(即,仅提供一个用于训练的示例)。Codex在六种不同的程序设计语言上获得了20.6的BLEU总分(比早期的最先进技术提高了11.2%)。因此,Codex显示了前景,并保证了未来对自动代码文档生成的深入研究,以支持各种开发任务。
2022-09-06 cs.SE
Code Review For and By Scientists
我们描述了两个试点研究的代码审查和科学家。我们的主要发现是,科学家们很热情,但需要在行动中展示代码审查,并且对小代码更改的及时审查比大规模的工作结束审查更有可能成功。
2014-09-07 cs.SE
Automatic Generation of Explainability Requirements and Software Explanations From User Reviews
本文提出一种工具支持的方法,从用户评论自动生成可解释性需求和解释,并通过与工业制造商合作的数据集评估,发现AI解释在清晰度上受青睐但正确性需人工验证。
2025-07-10 cs.SE
On The Effect Of Code Review On Code Smells
代码气味是设计质量差的症状。由于代码审查是一个过程,也旨在提高代码质量,我们调查是否以及如何影响代码气味的严重性。在这项研究中,我们分析了属于7个Java开源项目的21,000多个代码审查;我们发现,积极和参与的代码审查对降低代码气味严重程度的可能性有显着影响。这个结果似乎证实了代码审查对代码质量的影响。然而,通过人工调查365个案例,其中一个文件中的代码气味的严重性通过审查而降低,我们发现,在95%的情况下,这种降低是审查人员要求对与代码气味无关的事项进行更改的副作用。数据和材料[https://doi.org/10.5281/zenodo.3588501]。
2019-12-20 cs.SE
Automatic Bias Detection in Source Code Review
本研究提出利用目光追踪和序列建模技术自动检测代码审查中的偏见交互,以减少推诿并促进软件开发中的多样性与包容性。
2025-04-25 cs.HC cs.SE
Towards Automating Code Review Activities
代码审查在工业和开源项目中都很流行。代码审查的好处被广泛认可,包括更好的代码质量和更低的引入bug的可能性。然而,由于代码审查是一项手动活动,因此开发人员需要花费时间审查其团队成员的代码。我们的目标是朝着部分自动化代码审查流程迈出第一步,从而可能减少与之相关的手动成本。我们通过训练两种不同的深度学习架构,关注流程的贡献者和审查者。第一个学习开发人员在实际代码评审活动中执行的代码更改,从而在代码提交评审之前,为贡献者提供其代码的修订版本,实现通常在代码评审期间推荐的代码转换。第二种方法自动为审阅者提供对提交的代码的评论,并将其修改后的代码实现为以自然语言表达的评论。对这两个模型的实证评估表明,在贡献者方面,训练好的模型在高达16%的情况下成功复制了代码审查期间应用的代码转换。在评论者方面,该模型可以在高达31%的情况下正确地实现以自然语言提供的评论。虽然这些结果令人鼓舞,但需要更多的研究才能使这些模型可供开发人员使用。
2021-05-19 cs.SE
Understanding Code Smell Detection via Code Review: A Study of the OpenStack Community
代码评审在软件质量控制中起着重要的作用。一个典型的评审过程包括仔细检查一段代码,试图找到缺陷和其他质量问题/违规。可能影响软件质量的一种类型的问题是代码气味-即,可能导致缺陷或维护问题的不良编程实践。然而,我们对在代码审查过程中识别代码气味的程度知之甚少。为了研究代码审查中识别出的代码气味背后的概念,以及审查者建议和开发人员采取什么行动来响应识别出的气味,我们使用两个最活跃的OpenStack项目(Nova和Neutron)对代码审查中的代码气味进行了实证研究。我们手动检查了通过关键字搜索和随机选择获得的19,146条评论,并获得了1,190条与气味相关的评论,以研究代码气味的原因以及针对识别出的气味采取的行动。我们的分析发现:1)代码气味通常不会在代码审查中被识别出来,2)气味通常是由违反编码约定引起的,3)审查人员通常会提供建设性的反馈,包括修复(重构)建议,以帮助开发人员消除气味,4)开发人员通常会遵循这些建议并采取行动。我们的研究结果表明:1)开发人员应该在他们的项目中严格遵循编码惯例,以避免引入代码气味; 2)基于审查的代码气味检测被开发人员认为是一种值得信赖的方法,主要是因为审查是上下文敏感的(因为审查者更了解代码的上下文,因为他们是项目开发团队的一部分)。
2021-03-21 cs.SE
CodeAgent: Autonomous Communicative Agents for Code Review
针对现有自动化代码审查缺乏协作性的问题,提出多智能体LLM系统CodeAgent,通过引入监督智能体QA-Checker确保贡献质量,在多项关键代码审查任务上实现了当前最优性能。
2024-09-24 cs.SE
Recommending Code Understandability Improvements based on Code Reviews
开发人员花费70%的时间来理解代码。易于阅读的代码可以节省时间,而难以阅读的代码可能会导致引入错误。然而,很难确定是什么让代码更容易理解。尽管有关于提高代码可理解性的指南和指令,但在某些情况下,这些实践可能会产生不利影响。实际的软件开发项目经常使用代码审查来提高代码质量,包括可理解性。评审者通常是对项目有广泛贡献的高级开发人员,他们对不同解决方案对代码可理解性的影响有深入的了解。本文是一个早期的研究建议,建议基于代码评审知识的代码可理解性改进。该提案的核心包括从代码审查中提取的代码可理解性改进的数据集。该数据集将作为训练机器学习系统的基础,以推荐可理解性改进。
2021-10-02 cs.SE
Measuring Information Diffusion in Code Review at Spotify
本研究针对 Spotify 代码评审提出观察性方案,利用关联评审在参与者、组件和团队间的频率与相似性衡量信息扩散,以验证代码评审是否构成通信网络。
2024-06-18 cs.SE
Automatic Labeling of the Object-oriented Source Code: The Lotus Approach
今天,大多数开源软件系统都可以在互联网上获得。因此,我们需要自动的方法来标记软件代码。软件代码可以用一组关键字来标记。本文将这些关键词称为软件标签。本文的目的是提供一个快速查看软件代码词汇表。本文提出了一种通过对面向对象软件代码进行标注来自动生成面向对象软件文档的方法。该方法利用所有软件标识符来标记软件代码。本文介绍了ArgoUML和绘图形状的案例研究进行的研究结果。结果表明,所有代码标签都被正确识别。
2018-01-25 cs.SE
Exploring the Advances in Identifying Useful Code Review Comments
本文系统梳理了代码评审评论有用性研究的发展,涵盖定义、数据集、开发者感知、影响因素和机器学习自动预测,并指出未来面临的开放问题与挑战。
2023-07-06 cs.SE
Code Review Practices for Refactoring Changes: An Empirical Study on OpenStack
现代代码审查是工业和开源项目中广泛使用的技术,用于提高软件质量,共享知识,并确保遵守编码标准和指南。在代码评审期间,开发人员可能会在合并代码库中的代码更改之前讨论重构活动。到目前为止,代码审查已被广泛研究,以探索其一般挑战,最佳实践和结果,以及社会技术方面。然而,很少有人知道重构是如何被审查的,以及开发人员在审查重构代码时关心什么。因此,在这项工作中,我们提出了一个定量和定性的研究,以了解什么是主要的标准,开发人员依靠制定一个决定接受或拒绝提交的重构代码,是什么使这个过程具有挑战性。通过对分布在OpenStack开源项目中的11,010个重构和非重构审查的案例研究,我们发现,就代码审查工作而言,与重构相关的代码审查需要更长的时间才能得到解决。此外,在对重构代码审查讨论的重要样本进行主题分析后,我们建立了一个由28个重构审查标准组成的综合分类法。我们设想我们的研究结果重申了开发准确和有效的工具和技术的必要性,这些工具和技术可以帮助开发人员在重构的情况下进行审查。
2022-03-27 cs.SE
Are your dependencies code reviewed?: Measuring code review coverage in dependency updates
由于现代软件广泛使用免费的开源软件包作为依赖项,开发人员必须通过频繁的更新定期引入新的第三方代码。然而,如果不对每个传入的更改进行适当的审查,易受攻击的代码和恶意代码就可以通过这些依赖项潜入代码库。本研究的目标是帮助开发人员通过测量更新中的代码更改是否通过了代码审查过程,安全地接受依赖更新。我们实现了Depdive,这是一个更新审计工具,用于Crates.io,npm,PyPI和RubyGems注册表中的包。Depdive first(i)标识更新中无法追溯到软件包的源存储库的文件和代码更改,即,\textit{phantom artifacts} ;然后(i i)测量更新中的改变的哪一部分(不包括幻影工件)已经通过代码审查过程,即,\textit{code review coverage}。使用Depdive,我们提出了一个实证研究,在最近十次更新的最下载的1000个软件包在四个注册表。我们通过维护者协议调查进一步评估了我们的结果。我们发现更新通常只进行部分代码审查(52.5%的时间)。此外,在我们的数据集中,只有9.0%的软件包的所有更新都经过了完全的代码审查,这表明即使是最常用的软件包也会在软件供应链中引入未经审查的代码。我们还观察到,更新要么倾向于具有高\textit{CRC},要么倾向于具有低\textit{CRC},这表明在谱的另一端的包可能需要一组单独的处理。
2022-11-07 cs.SE
Code Smells Detection via Modern Code Review: A Study of the OpenStack and Qt Communities
代码评审在软件质量控制中起着重要的作用,它可以检测和定位缺陷和其他质量问题。可能影响软件质量的一种问题是代码气味。然而,我们对现代代码审查中代码气味的识别程度知之甚少。为了研究现代代码审查中识别出的代码气味背后的概念,以及审查者建议和开发人员采取什么行动来响应识别出的气味,我们通过分析来自OpenStack(Nova和Neutron)和Qt(Qt Base和Qt Creator)社区的四个大型开源项目的审查,对代码审查中的代码气味进行了研究。我们手动检查了通过关键字搜索和随机选择获得的总共25,415条代码审查评论,并确定了1,539条与气味相关的评论。我们的分析发现:1)代码气味在代码评审中通常不会被识别出来,2)气味通常是由违反编码约定引起的,3)评审人员通常会提供建设性的反馈,包括修复(重构)建议,以帮助开发人员消除气味,4)开发人员通常遵循这些建议并采取行动的变化,5)一旦确定由审查,开发人员通常花费不到一周的时间来修复气味,以及6)开发人员选择忽略所识别的气味的主要原因是不值得修复气味。我们的研究结果表明:1)开发人员应该在他们的项目中严格遵循编码惯例,以避免引入代码气味,2)基于审查的代码气味检测被开发人员认为是一种值得信赖的方法,主要是因为审查是上下文敏感的(由于评审人员是项目开发团队的一部分,因此他们更了解代码的上下文),以及3)需要充分考虑程序上下文以便做出是否立…
2022-05-16 cs.SE
Quo Vadis, Code Review? Exploring the Future of Code Review
Technische Hochschule Nürnberg(纽伦堡应用技术大学);Blekinge Institute of Technology(布莱金厄理工学院);fortiss;Ericsson(爱立信);JetBrains Research(JetBrains 研究)
研究探讨专业开发者对代码审查未来演变的预期,发现开发者认为代码审查仍至关重要,同时关注自动化带来的责任与信任挑战。
2026-06-12 cs.SE
Human-AI Synergy in Agentic Code Review
Queen’s University(女王大学)
研究通过分析300个开源项目27.8万次代码审查对话,比较人类与AI在代码审查中的反馈差异及建议采纳效果,发现人类提供更全面的反馈,AI建议采纳率较低且导致代码复杂度增加。
2026-11-02 cs.SE
Automatic Transformation of Natural to Unified Modeling Language: A Systematic Review
上下文:对于软件工程中的需求分析人员来说,手动处理软件需求规格说明(SRS)需要花费更长的时间。研究人员一直在努力开发一种自动方法来简化这项任务。大多数现有的方法需要分析师的一些干预,或者使用起来很有挑战性。基于启发式规则或机器学习算法的自动和半自动方法被开发出来。然而,有各种限制现有的UML生成方法,如限制歧义,长度或结构,照应,不完整性,输入文本的原子性,领域本体的要求等目的:本研究旨在更好地了解现有系统的有效性,并提供一个概念框架,进一步改进的指导方针。方法:我们进行了系统性文献综述(SLR)。我们的研究选择分为两个阶段,并选择了70篇论文。我们通过手动提取信息、交叉检查和验证我们的发现进行了定量和定性分析。结果:我们描述了现有的方法,并揭示了这些工作中观察到的问题。我们确定并聚类了所选文章的局限性和益处。结论:本研究坚持一个共同的数据集和评估框架的必要性,以扩大研究一致。它还描述了研究人员面临的自然语言处理障碍的意义。此外,它为未来的研究开辟了一条前进的道路。
2022-05-28 cs.SE
ReviewRanker: A Semi-Supervised Learning Based Approach for Code Review Quality Estimation
本文提出半监督学习系统 ReviewRanker,利用开发者提供的低代价标签为代码审查分配置信度分数,以减少人工偏见和工作量,提升代码审查质量检查效率。
2023-07-08 cs.SE
The Upper Bound of Information Diffusion in Code Review
本文量化代码审查中信息扩散的上界,通过模拟大中小系统的信息传播,发现其网络扩展性好、传播快且广,为理解和改进作为沟通网络的代码审查奠定基础。
2024-07-11 cs.SE
Interpersonal Conflicts During Code Review
代码审查包括由开发人员而不是代码作者对源代码进行手动检查、讨论和判断。由于围绕竞争性想法和小组决策过程的讨论,代码审查期间预计会出现人际冲突。本研究系统地探讨了开发人员如何感知代码审查冲突和解决人际冲突,在代码审查作为一个理论结构。通过对22名开发人员进行访谈的主题分析,我们确认代码审查期间的冲突是常见的,预期的,并被开发人员视为正常。即使冲突确实会发生,并对评审产生负面影响,但冲突如果得到建设性的解决,也可以创造价值并带来改进。此外,分析提供了关于代码审查及其上下文(即,代码、开发人员、团队、组织)交织在一起。最后,有一些方面的具体代码审查冲突,需要研究和应用定制的冲突解决和管理技术,其中一些在本文中进行了讨论。数据和材料:https://doi.org/10.5281/zenodo.5848794
2022-01-14 cs.SE
Code Reviewer Recommendation for Architecture Violations: An Exploratory Study
针对代码审查中架构违规缺乏专门审查者推荐的问题,本文结合文件路径与审查评论语义相似性检测方法开展实验,证明其性能优于基线 RevFinder。
2023-04-24 cs.SE
From Human-Centric to Agentic Code Review: The Impact of Different Generations of Generative AI Technology on Review Quality
Queen’s University(女王大学)
研究不同代际生成式人工智能技术对代码审查质量的影响,通过分析102万条GitHub拉取请求,识别三种人工智能审查者采用模式,将审查讨论建模为交互序列,发现智能体协作模式虽能提高效率,但未提升质量,为设计高效代码审查过程提供实证指导。
2026-07-16 cs.SE
Automatic Verification of LLVM Code
在这项工作中,我们提出了我们的工作,在开发一个软件验证工具的llvm-code - Lodin -它结合了显式状态模型检验,统计模型检验和符号状态模型检验算法。
2020-06-04 cs.PL cs.SE
Example Driven Code Review Explanation
背景:代码审查是软件开发的重要组成部分,以确保软件质量。然而,审评任务的繁重和审评人员工作量的繁重对审评质量产生了负面影响。简短的评论文本通常是不可操作的,这需要评论者和开发人员之间进一步的互动。这个问题在动态团队中变得更加关键,在新团队成员不太熟悉他们的评审员和观点的情况下。目的:我们提出了示例驱动评审解释(EDRE)方法,通过示例添加额外的解释来促进代码评审过程。EDRE推荐类似的代码评审作为示例,以进一步解释评审,并帮助开发人员以更少的通信开销理解收到的评审。方法:通过在工业环境中的实证研究,并通过分析三个开源项目的3,722个代码评审,我们比较了数据检索,文本分类和文本推荐的五种方法。结果如下:使用TF-IDF词嵌入和SVM分类器的EDRE可以为每个代码审查提供实际示例,F分数为92%,准确率为90%。结论:基于实例的解释是一种辅助专家解释决策的既定方法。EDRE是基于相同的理念开发的,可以准确地提供一组特定于上下文的示例,以促进软件团队中的代码评审过程。
2022-07-24 cs.SE
Does Code Review Promote Conformance? A Study of OpenStack Patches
代码评审在软件质量中起着至关重要的作用,它允许评审人员在新补丁成功集成到项目代码中之前对其进行讨论和评论。然而,不确定编码模式改变的程度(即,重复代码)从首次提交补丁时和作出决定时(即,在审查过程中)。在这项研究中,我们重新审视代码审查中的编码模式,旨在分析在审查过程中编码模式是否发生变化。比较先前提交的补丁,我们测量预审查之间编码模式的差异(即,检查前的补丁)和检查后的补丁(即,审查后的补丁),来自27,736个审查过的OpenStack补丁。结果表明,补丁审查后,往往符合类似的编码模式的接受补丁,相比,当他们第一次提交。我们还发现,接受补丁有类似的编码模式,以前接受补丁。我们的研究揭示了对审查过程的见解,支持为新人提供自动化工具支持的潜力,并为理解一致性以及如何实现高效的代码审查过程奠定了基础。
2021-03-15 cs.SE
Does AI Code Review Lead to Code Changes? A Case Study of GitHub Actions
State Key Lab for Novel Software Technology, Nanjing University(南京大学 novel software technology 国家重点实验室);University of Heidelberg(海德堡大学);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息学院)
本文通过分析GitHub动作中的16种AI代码审查工具,探讨其使用情况、评论是否引发代码更改以及影响有效性因素,发现简洁、包含代码片段且手动触发的评论更可能引发更改。
2026-04-25 cs.SE
Code Review is a Conversation: Toward Conversational AI Review Assistants
Università della Svizzera italiana (USI)(瑞士意大利大学)
研究指出当前代码审查多为一次性注释任务,忽略其对话本质。主张构建对话式人工智能审查助手,能互动交流、提问解答等。还概述了研究议程,将AI代码审查从自动化注释转变为集成前人机协作理解,带来范式转变。
2026-07-27 cs.SE
Towards debiasing code review support
本文针对代码评审中的认知偏置问题,设计了覆盖确认偏置和决策疲劳的原型,并通过可用性测试和用户体验问卷验证其有效性,为在现有工具中实现去偏置支持提供了初步方案。
2024-07-01 cs.SE
Predicting Code Review Completion Time in Modern Code Review
ETS Montreal, University of Quebec(魁北克大学蒙特利尔高等技术学院);Rochester Institute of Technology(罗切斯特理工学院)
上下文现代代码审查(MCR)在开源和商业项目中都被采用,这是一种常见的做法。MCR是一种被广泛认可的质量保证实践,它允许早期检测缺陷以及糟糕的编码实践。它还带来了其他一些好处,如知识共享,团队意识和协作。问题.在实践中,代码审查可能会由于各种社会技术因素而出现重大延迟,这些因素可能会影响项目质量和成本。对于一个成功的评审过程,同行评审员应该及时地执行他们的评审任务,同时提供关于正在评审的代码更改的相关反馈。然而,缺乏工具支持来帮助开发人员在接受或拒绝审查请求之前估计完成代码审查所需的时间。Objective.我们的目标是构建和验证一种有效的方法来预测MCR背景下的代码审查完成时间,并帮助开发人员更好地管理和优先考虑他们的代码审查任务。法我们将代码审查完成时间的预测公式化为一个学习问题。特别是,我们提出了一个基于回归模型的框架,以(i)有效地估计代码审查完成时间,(ii)了解影响代码审查完成时间的主要因素。
2021-09-30 cs.LG cs.SE