Leveraging Design-Aware Context in Large Language Models for Code Comment Generation
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);University of Leeds(利兹大学);Ashoka University(阿肖卡大学);University of Sheffield(谢菲尔德大学);TPXimpact
本研究探讨利用设计文档作为上下文,通过大语言模型生成更实用的代码注释,以提高代码维护效率。
2026-05-04 cs.SE
What Makes a Code Review Useful to OpenDev Developers? An Empirical Investigation
本研究通过混合方法调查OpenDev项目中代码评审评论的有用性,发现其受技术贡献和语言特征影响,评审经验正相关,而评审数量、文件评论量、行数及间隔负相关。
2023-06-19 cs.SE
Balancing Usefulness and Naturalness: An LLM-based Curation Pipeline for Code Review Comments
Queen’s University(女王大学);Singapore Management University(新加坡管理大学);Université de Montréal(蒙特利尔大学)
研究针对现有代码审查数据集质量问题限制大语言模型在代码审查任务中效用的情况,提出两种整理管道。一种用大语言模型重述评论生成CuREV数据集,另一种以高质量示例为指导增强评论真实性和多样性,提升了代码审查数据集质量和下游任务效果。
2026-07-13 cs.SE
On Using Stack Overflow Comment-Edit Pairs to recommend code maintenance changes
代码维护数据集通常由包含改进或修复的代码的前后版本组成。这样的数据集对于与代码维护相关的软件工程支持工具是重要的,例如程序修复、代码推荐系统或应用编程接口(API)误用检测。当前的大多数数据集都是通过挖掘版本控制系统中的提交历史或问题跟踪系统中的问题来构建的。在本文中,我们将研究Stack Overflow是否可以用作额外的数据源。Stack Overflow上的评论为开发人员提供了一种有效的方法,可以指出现有答案、替代解决方案或陷阱中的问题。在本文中,我们从Stack Overflow中挖掘评论-编辑对,并研究它们的潜在有用性。这些对具有额外的好处,即对为什么需要更改进行具体描述,并且可能需要处理的更改较少。我们首先设计了一种技术来提取相关的评论编辑对,然后调查这些对的性质。我们发现大多数评论-编辑对并不纠缠在一起,但只有27%的研究对可能对上述应用有用。我们对挖掘对的类型进行了分类,发现有用对的最高比例来自纠正,Objective,Flaw和Extension类别。为了证明我们提取的对的有效性,我们在GitHub上提交了15个pull请求,其中10个已被广泛使用的存储库(如Apache Beam和nltk)接受。我们的工作是第一个研究Stack Overflow注释-编辑对的工作,并为未来的工作打开了大门。基于我们的发现和观察,我们提供了关于如何潜在地识别更大的有用的评论-编辑…
2021-01-25 cs.SE
AUGER: Automatically Generating Review Comments with Pre-training Models
代码审查是最佳实践之一,是软件质量的有力保障。在实践中,高级或高技能的评审员检查源代码并提供建设性的评论,考虑作者可能忽略的内容,例如一些特殊情况。贡献者之间的协作验证导致代码高度合格,错误的机会更少。然而,由于个人知识的有限性和多样性,代码审查实践的效率和有效性值得进一步提高。事实上,提出有用的审查意见仍然需要作出巨大和耗时的努力。本文探讨了多个实际的审查意见,以加强代码审查的协同作用,并提出了AUGER(自动生成审查意见):一个审查意见生成器与预训练模型。我们首先从11个著名的Java项目中收集经验性的评审数据,并构建了一个包含10,882个代码更改的数据集。通过利用文本到文本传输Transformer(T5)模型,该框架在训练阶段综合了有价值的知识,并在ROUGE-L中有效地超过基线37.38%。根据先前的研究,我们的自动审查评论中有29%被认为是有用的。推理仅在20秒内生成,并且还可以进一步训练。此外,在案例研究中进行了深入的分析,性能也得到了改善。
2022-08-31 cs.SE
Enhancing Code Annotation Reliability: Generative AI's Role in Comment Quality Assessment Models
本研究提出利用生成式AI扩充代码注释数据集的方法,将新生成的1437对标注样本加入C语言数据集后,显著提升了SVM和ANN模型的代码注释质量分类性能,为软件工程领域的模型优化提供了新思路。
2024-10-29 cs.SE
Automated Classification of Human Code Review Comments with Large Language Models
Bilkent University(比尔肯特大学)
本文提出一种自动分类系统,针对代码审查评论中的具体问题类别进行分类,通过九类标签体系和手动标注数据,评估了不同模型在零样本和单样本分类中的表现。
2026-04-26 cs.SE
Improving Retrieval-Augmented Code Comment Generation by Retrieving for Generation
本文提出JOINTCOM方法,通过让检索器学习生成器的反馈来检索对生成最有利的示例,从而改进检索增强的代码注释生成,并在两个数据集上显著超越现有基线。
2024-08-07 cs.SE
Recommending Insightful Comments for Source Code using Crowdsourced Knowledge
最近,自动代码注释生成被提出来促进程序理解。现有的代码注释生成技术集中于描述源代码的功能。然而,还有其他方面,例如对代码质量或问题的见解,这些都是早期方法所忽视的。在本文中,我们描述了一种挖掘方法,建议有见地的意见的质量,缺陷或范围进一步改进的源代码。首先,我们进行了一项探索性研究,激励众包知识从堆栈溢出讨论作为源代码评论推荐的潜在资源。其次,基于探索性研究的结果,我们提出了一种基于知识的技术,从Stack Overflow Q & A站点挖掘有见地的评论,用于源代码评论推荐。对292个Stack Overflow代码段和5,039个讨论评论的实验表明,该方法具有85.42%的召回率。我们还进行了一项补充用户研究,证实了推荐评论的准确性和实用性。
2018-07-06 cs.SE
Issue Retrieval and Verification Enhanced Supplementary Code Comment Generation
针对检索增强代码注释生成的幻觉问题,提出基于issue检索与验证的IsComment方法,可生成更可靠丰富的补充代码注释,显著提升多类LLM的人工注释覆盖率。
2025-06-17 cs.SE
Leveraging Generative AI: Improving Software Metadata Classification with Generated Code-Comment Pairs
Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本研究针对代码注释有用性二分类问题,结合BERT上下文嵌入与生成式AI扩充代码-注释对数据集,测试多种机器学习算法,验证了生成式AI提升分类模型效果的潜力。
2023-10-14 cs.AI cs.CL cs.LG
"Go Home Copilot, You're Drunk": Understanding Developer Responses to Agent-Generated Code Review Comments
University of Saskatchewan(萨斯喀彻温大学);Singapore Management University(新加坡管理大学);Monash University(蒙纳士大学)
研究开发者对智能体生成的代码审查评论的回应,分析五个智能体在342个Python仓库生成的54791条评论,探讨解决率、开发者经验及影响评论有用性的特征,发现不同智能体解决率有差异,还确定未解决评论原因及影响因素,为改进相关反馈提供见解。
2026-07-31 cs.SE
Enhancing Binary Code Comment Quality Classification: Integrating Generative AI for Improved Accuracy
Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本研究通过整合生成式AI生成的代码与注释对,构建了包含9048对C语言数据的增强数据集,训练出两个二进制代码注释质量分类模型,有效提升了分类准确率。
2023-10-14 cs.AI cs.LG cs.SE
CodeCSE: A Simple Multilingual Model for Code and Comment Sentence Embeddings
针对现有文献缺乏开箱即用的代码函数嵌入模型的问题,本文提出对比学习模型CodeCSE,可在同一空间学习函数及其描述的嵌入,其多语言零样本效果媲美针对特定语言从GraphCodeBERT微调的模型,且已开源。
2024-07-08 cs.SE
We Must Have Missed This Comment: Detecting and Repairing Stale Function References in Linux Kernel Comments
Nanjing University(南京大学);Singapore Management University(新加坡管理大学);Inria(法国国家数字技术研究所)
针对 Linux 内核注释中因函数变更导致的过时引用问题,提出三阶段方法 ReCite 检测并修复此类引用,在 v6.18-rc1 上检测到 869 个过时引用,其修复建议准确率高,提交的 75 个补丁中有 50 个被接受。
2026-08-05 cs.SE
AUTOGENICS: Automated Generation of Context-Aware Inline Comments for Code Snippets on Programming Q&A Sites Using LLM
本文提出 AUTOGENICS 工具,通过从问题文本提取上下文并去除噪声,利用 LLM 为 Stack Overflow 代码片段生成上下文感知的内联注释,显著提升了注释的准确性、充分性、简洁性和有用性。
2024-08-27 cs.SE
Leveraging Reward Models for Guiding Code Review Comment Generation
Université de Montréal(蒙特利尔大学);Università della Svizzera italiana(瑞士联邦理工学院)
本文提出 CoRAL 框架,利用兼顾评论语义及其对代码精化模型可用性的强化学习奖励机制,自动生成代码审查评论,并通过定量与定性比较验证其优于最新基线。
2025-06-04 cs.LG cs.SE
Harnessing Large Language Models for Curated Code Reviews
本文提出一种基于大型语言模型的数据集精选流水线,用于提升代码审查数据集质量,并验证其能改善评论生成与代码精化等下游任务表现。
2025-02-05 cs.SE
A ML-LLM pairing for better code comment classification
Data ScienceTech Institute (DSTI)(数据科学技术学院(DSTI));Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);I3S(I3S研究所)
该研究针对代码注释分类任务,结合经典机器学习与LLM生成数据,提出双重评估方法,最佳神经网络模型在种子数据上Macro-F1达88.401%,并在LLM数据上提升1.5%,获得共享任务第二名。
2023-10-13 cs.AI cs.SE
STACC: Code Comment Classification using SentenceTransformers
Delft University of Technology(代尔夫特理工大学)
代码注释是关于软件工件信息的关键资源。根据用例的不同,只有某些类型的注释是有用的。因此,已经提出了对这些评论进行分类的自动方法。在这项工作中,我们提出,STACC,一组基于SentenceTransformers的二进制分类器,以满足这一需求。这些轻量级分类器在NLBSE Code Comment Classification工具竞赛数据集上进行了训练和测试,并以显著的优势超过了基线,实现了0.31的平均F1得分为0.74,提高了139%。复制包以及模型本身都是公开的。
2023-03-07 cs.AI cs.CL cs.SE
Deep Learning to Detect Redundant Method Comments
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
软件中的注释对于维护和重用至关重要。但除了规范性的建议,几乎没有实际的支持或量化的理解是什么使评论有用。在本文中,我们介绍了识别注释的任务,这些注释对它们要记录的代码没有信息。为了解决这个问题,我们从代码中引入了注释蕴涵的概念,高蕴涵表示注释的自然语言语义可以直接从代码中推断出来。虽然不是所有的隐含注释都是低质量的,但是太容易推断的注释,例如,重述代码的注释,被软件风格的权威人士广泛禁止。在此基础上,我们开发了一个名为CRAIC的工具,评分方法级的冗余评论。然后,开发人员可以扩展或删除高度冗余的注释。CRAIC使用深度语言模型来利用大型软件语料库,而不需要昂贵的蕴涵手动注释。我们表明,CRAIC可以执行的评论蕴涵任务与人类的判断很好的协议。我们的研究结果也对文档工具产生了影响。例如,我们发现Javadoc中的常见标记从代码中的可预测性至少是非Javadoc语句的两倍,这表明Javadoc标记的信息量比更自由的注释少
2018-06-12 cs.CL cs.SE
Detection of Technical Debt in Java Source Code
本研究通过分析974个Java项目的注释及源代码,构建了首个结合代码注释的TD数据集,并证明包含分类代码能显著提升各类技术债务预测的准确率,为后续研究提供了数据集与基线分类器。
2025-08-09 cs.SE
Associating Natural Language Comment and Source Code Entities
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
注释是软件开发中不可或缺的一部分;它们是与源代码元素相关联的自然语言描述。理解显式关联对于提高代码的可理解性和维护代码与注释之间的一致性非常有用。作为实现这一更大目标的第一步,我们解决了将Javadoc注释中的实体与Java源代码中的元素相关联的任务。我们提出了一种使用开源项目的修订历史自动提取监督数据的方法,并为这项任务提供了一个手动注释的评估数据集。我们开发了一个二元分类器和序列标签模型,通过精心制作一个丰富的功能集,其中包括代码,注释和它们之间的关系的各个方面。实验表明,我们的系统优于几个基线学习建议的监督。
2019-12-13 cs.CL cs.LG cs.SE
Automatic Comment Generation via Multi-Pass Deliberation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);York University(约克大学)
协商是人类日常生活中一种普遍而自然的行为。比如写论文或文章的时候,我们通常会先写草稿,然后反复打磨,直到满意为止。鉴于这样一个人类的认知过程中,我们提出了DECOM,这是一个多遍审议框架自动评论生成。DECOM包括多个审议模型和一个评估模型。给定一个代码片段,我们首先从代码中提取关键字,并从预定义的语料库中检索类似的代码片段。然后,我们将检索到的代码的注释作为初稿,并将其与代码和关键字一起输入到DECOM中,以开始迭代审议过程。在每次审议中,审议模型都会对草案进行润色并生成新的评论。评估模型测量新生成的评论的质量,以确定是否结束迭代过程。当迭代过程终止时,最佳生成的评论将被选为目标评论。我们的方法在Java(87K)和Python(108K)的两个真实世界的数据集上进行了评估,实验结果表明,我们的方法优于最先进的基线。一项人类评估研究也证实了DECOM生成的评论往往更具可读性,信息量更大,更有用。
2022-09-14 cs.AI cs.SE
Deep Just-In-Time Inconsistency Detection Between Comments and Source Code
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
自然语言注释传达源代码的关键方面,例如实现、用法以及前置和后置条件。当相应的代码被修改时,如果没有相应地更新注释,就会导致不一致,这会导致混乱和软件错误。在本文中,我们的目标是检测注释是否由于相应代码体的更改而变得不一致,以便及时捕获潜在的不一致,即,在它们被提交到代码库之前。为了实现这一目标,我们开发了一种深度学习方法,可以学习将注释与代码更改相关联。通过对跨越各种评论类型的评论/代码对的大型语料库进行评估,我们表明我们的模型明显优于多个基线。对于外部评估,我们展示了我们的方法的有用性,通过将其与评论更新模型相结合,构建一个更全面的自动评论维护系统,该系统可以根据代码更改检测和解决不一致的评论。
2020-12-26 cs.AI cs.CL cs.LG
Code to Comment "Translation": Data, Metrics, Baselining & Evaluation
University of California, Davis(加利福尼亚大学戴维斯分校)
注释与代码的关系,特别是在给定代码的情况下生成有用注释的任务,一直是人们感兴趣的。最早的方法是基于强大的句法理论的评论结构,并依赖于文本模板。最近,研究人员已经将深度学习方法应用于这项任务,具体来说,可训练的生成翻译模型已知对于自然语言翻译非常有效(例如,从德语到英语)。我们仔细研究了这里的基本假设:生成评论的任务与自然语言之间的翻译任务非常相似,因此可以使用类似的模型和评估指标。我们分析了几个最近的代码注释数据集:CodeNN,DeepCom,FunCom和DocString。我们将它们与WMT 19进行比较,WMT 19是一个标准数据集,经常用于训练最先进的自然语言翻译人员。我们发现代码注释数据和WMT 19自然语言数据之间存在一些有趣的差异。接下来,我们描述并进行一些研究来校准BLEU(通常用作评论质量的衡量标准)。使用来自不同项目、同一项目、同一类等的方法的“亲和对”;我们的研究表明,某些数据集的当前性能可能需要大幅提高。我们还认为,相当天真的信息检索(IR)的方法做得足够好,在这项任务被认为是一个合理的基线。最后,我们提出了一些建议,我们的研究结果可能会在未来的研究在这方面。
2020-10-03 cs.CL cs.SE
Code Review Comments: Language Matters
Athens University of Economics and Business(雅典经济与商业大学)
最近的研究提供了证据表明,有效的沟通,在协同软件开发有显着的影响,软件开发生命周期。尽管相关的定性和定量研究指出了格式良好的信息的语篇特征,但交织在一起的语言结构的潜在语义仍然在很大程度上被误解或忽视。特别是,关于代码质量审查的重要性,彻底的反馈,明确的理由是经常提到的,但很少与相关的语言特征。作为解决这一缺陷的第一步,我们建议将这些研究建立在语言学理论的基础上。我们特别关注连贯语音的语言结构,并解释如何在实践中利用它们。我们反映了相关的方法,并通过对四个开源项目的初步研究,现有的研究结果和方向,我们建议检测有用的代码审查的文本功能之间的可能联系进行检查。
2018-03-06 cs.CL cs.SE
Exploring the Potential of Large Language Models in Fine-Grained Review Comment Classification
The University of Melbourne(墨尔本大学)
针对监督机器学习分类代码审查评论需大量人工标注的局限,本研究探索大语言模型(LLMs)对17类评论的分类能力,发现其优于最先进深度学习方法,在高低频类别上表现均衡,为代码审查分析提供了可扩展的解决方案。
2025-08-13 cs.AI cs.SE
Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation
The MITRE Corporation(MITRE公司)
本文研究利用LLM为MUMPS和IBM大型机汇编等遗留代码生成注释文档,提出提示策略与评估标准,发现LLM生成注释总体质量较高但缺乏可靠的自动化评估指标。
2024-11-22 cs.LG cs.SE
API2Com: On the Improvement of Automatically Generated Code Comments Using API Documentations
University of British Columbia(英属哥伦比亚大学)
代码注释可以帮助程序理解,并被认为是帮助开发人员进行软件维护的重要工件。然而,注释大多缺失或过时,特别是在复杂的软件项目中。作为一个结果,几个自动评论生成模型的开发作为一个解决方案。最近的模型探索了外部知识资源(如统一建模语言类图)的集成,以改进生成的注释。在本文中,我们提出了API2Com,一个模型,利用应用程序编程接口文档(API文档)作为知识资源的评论生成。API接口包含了更详细的方法描述,因此可以在生成的注释中提供更好的上下文。在我们的模型中,API树与代码片段和抽象树一起使用。我们将该模型应用于包含超过130,000个方法的大型Java数据集,并使用Transformer和基于RNN的架构对其进行评估。有趣的是,当使用API接口时,性能的提高可以忽略不计。因此,我们运行不同的实验来推理结果。对于只包含一个API的方法,添加API翻译平均将结果提高4% BLEU分数(BLEU分数是机器翻译中使用的自动评估指标)。然而,随着方法中使用的API数量的增加,由于输入中使用的文档很长,模型生成注释的性能会降低。我们的研究结果证实,API接口可以在生成更好的评论是有用的,但是,需要新的技术来确定最翔实的方法,而不是同时使用所有的文档。
2021-03-19 cs.CL cs.LG cs.SE
A study of the impact of generative AI-based data augmentation on software metadata classification
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校)
本文提出一种基于机器学习的框架,利用神经上下文表示预测代码-注释对的有用性,并结合LLM生成数据进行数据增强,在FIRE IRSE 2023任务中F1分数比基线提高4%。
2023-10-14 cs.AI cs.CL cs.LG
Generative AI for Software Metadata: Overview of the Information Retrieval in Software Engineering Track at FIRE 2023
University of Leeds(利兹大学);Sheffield University(谢菲尔德大学);Jadavpur University(贾达普大学);Indian Statistical Institute(印度统计研究所)
本文概述2023年FIRE会议IRSE赛道,该赛道围绕基于人工与大模型标签的代码注释自动评估二分类任务,17支团队提交56项实验,经F1-Score等评估发现大模型生成标签会增加模型偏差但可减少过拟合。
2023-10-27 cs.AI cs.IR cs.SE
On Assessing the Relevance of Code Reviews Authored by Generative Models
Otto von Guericke University Magdeburg, Germany(奥托·冯·格里克大学马格德堡)
本文提出多主观排名方法,评估生成模型在代码审查中的表现,发现其生成评论质量优于人类,但需警惕潜在风险。
2025-12-17 cs.AI cs.SE
Software Metadata Classification based on Generative Artificial Intelligence
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(卢蒙巴大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本文提出利用生成式AI和OpenAI API生成代码注释数据集,将其整合至现有语料库后,显著提升了SVM和ANN模型在代码注释质量分类上的精确率与召回率。
2023-10-14 cs.AI cs.IR cs.LG