Enhancing Binary Code Comment Quality Classification: Integrating Generative AI for Improved Accuracy
Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本研究通过整合生成式AI生成的代码与注释对,构建了包含9048对C语言数据的增强数据集,训练出两个二进制代码注释质量分类模型,有效提升了分类准确率。
2023-10-14 cs.AI cs.LG cs.SE
Exploring the Advances in Identifying Useful Code Review Comments
本文系统梳理了代码评审评论有用性研究的发展,涵盖定义、数据集、开发者感知、影响因素和机器学习自动预测,并指出未来面临的开放问题与挑战。
2023-07-06 cs.SE
Performance Comparison of Binary Machine Learning Classifiers in Identifying Code Comment Types: An Exploratory Study
代码注释对源代码至关重要,因为它们有助于开发人员完成程序理解任务。代码注释是用自然语言(通常是英语)编写的,它传达各种不同的信息,这些信息被分组到特定的类别中。在这项研究中,我们构建了19个二进制机器学习分类器的代码注释类别,属于三种不同的程序设计语言。我们提出了不同类型的机器学习分类器的性能分数的比较,并表明线性SVC分类器具有最高的平均F1分数0.5474。
2023-03-03 cs.SE
NeSy is alive and well: A LLM-driven symbolic approach for better code comment data generation and classification
Data ScienceTech Institute (DSTI)(数据科学技术学院(DSTI));Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);I3S(信息科学与系统实验室)
提出一种结合符号学习与 LLM 智能体的神经符号工作流,生成合成数据以修复 LLM 生成弱点,提升代码注释分类性能,最佳模型 Macro-F1 达 91.412%。
2024-05-24 cs.AI cs.SE
RepliComment: Identifying Clones in Code Comments
代码注释是记录实现和促进程序理解的主要手段。因此,它们的质量应该是改进程序维护的主要关注点。虽然很多工作都致力于检测不良气味,如代码中的克隆,但很少有工作集中在注释上。在本文中,我们提出了我们的解决方案来检测开发人员应该修复的评论中的克隆。<$Comment可以自动分析Java项目并报告注释中的复制粘贴错误实例,并可以向开发人员指出应该修复哪些注释。此外,当克隆是写得不好的评论的迹象时,它可以报告。开发人员也应该修复这些实例,以提高代码文档的质量。我们对10个著名的开源Java项目进行了评估,发现了超过11000个注释克隆实例,其中超过1,300个是潜在的关键。我们改进了我们自己以前的工作,在同一个数据集中只能找到36个问题。我们对<$Comment报告的412个问题进行了手动检查,结果显示它在报告关键评论克隆方面的准确率为79%。手动检查200个额外的评论克隆,<$Comment过滤出合法的,不能证明任何假阴性。
2021-08-25 cs.SE
Identifying Algorithm Names in Code Comments
对于最近基于机器学习的任务,如API序列生成,注释生成和文档生成,需要大量数据。当软件开发人员在代码中实现算法时,我们发现他们经常在代码注释中提到算法名称。用这样的算法名称注释的代码可以是有价值的数据源。本文提出了一种算法名自动识别的方法。其关键思想是在最后提取包含“algorithm”一词的重要N-gram词。我们还考虑部分语音模式,以获得适当的算法名称识别的规则。我们的规则评估的结果产生了较高的精度和召回值(超过0.70)。我们应用我们的规则提取大量的注释中的算法名称,从活跃的FLOSS项目写在七种程序设计语言,C,C++,Java,JavaScript,Python,PHP和Ruby,并报告在代码注释中经常提到的算法名称。
2019-07-10 cs.SE
A ML-LLM pairing for better code comment classification
Data ScienceTech Institute (DSTI)(数据科学技术学院(DSTI));Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);I3S(I3S研究所)
该研究针对代码注释分类任务,结合经典机器学习与LLM生成数据,提出双重评估方法,最佳神经网络模型在种子数据上Macro-F1达88.401%,并在LLM数据上提升1.5%,获得共享任务第二名。
2023-10-13 cs.AI cs.SE
Identifying Inaccurate Descriptions in LLM-generated Code Comments via Test Execution
针对LLM生成的代码注释事实准确性难评估、现有一致性检测技术无效的问题,提出基于LLM生成测试用例并执行的文档测试方法,验证Java注释时与准确性有显著统计关联,为该问题提供了新解决路径。
2024-06-21 cs.SE
Leveraging Generative AI: Improving Software Metadata Classification with Generated Code-Comment Pairs
Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本研究针对代码注释有用性二分类问题,结合BERT上下文嵌入与生成式AI扩充代码-注释对数据集,测试多种机器学习算法,验证了生成式AI提升分类模型效果的潜力。
2023-10-14 cs.AI cs.CL cs.LG
High-quality data augmentation for code comment classification
Free University of Bozen-Bolzano(博洛尼亚-博兹纳自由大学)
本文提出Q-SYNTH技术,通过高质量数据生成增强数据集,提升代码注释分类的准确率。
2026-01-27 cs.LG cs.SE
Optimizing Deep Learning Models to Address Class Imbalance in Code Comment Classification
本文通过损失函数加权策略和超参数搜索微调 RoBERTa 模型,在 NLBSE'25 数据集上比 STACC 基线平均 F1c 提升 8.9 个百分点,有效缓解代码注释分类中的类别不平衡问题。
2025-01-27 cs.SE
LoRA-MME: Multi-Model Ensemble of LoRA-Tuned Encoders for Code Comment Classification
Islamic University of Technology(伊斯兰科技大学)
本文提出LoRA-MME,通过LoRA微调四个编码器并结合加权集成策略,提升多标签分类性能,但在计算成本与效率间取得平衡。
2026-04-15 cs.LG cs.SE
Comments on Comments: Where Code Review and Documentation Meet
代码评审的一个核心功能是增加理解;帮助评审者理解代码更改有助于知识转移和发现bug。代码中的注释在很大程度上起到了类似的作用,帮助未来的读者理解程序。因此,研究当这两种理解形式发生冲突时会发生什么是很自然的。我们要问:评审员会对文档做出什么样的评论,这些评论如何影响对稿件的理解?我们分析了2,000个(Java和Python)GitHub项目的约70万条评论,并提出了几个过滤器来识别哪些评论可能是对文档更改的响应和/或对此类更改的要求。我们发现了65000个这样的案例。接下来,我们开发了一个“评论评论”背后的评论者意图的分类。我们发现,实现对代码的共同理解是关键:评审员的评论通常集中在澄清,其次是指出需要修复的问题,例如错别字和过时的评论。奇怪的是,评审员经常建议(通常是逐字逐句)澄清注释,这表明他们希望坚持在代码评审期间获得的理解。最后,我们讨论了我们的评论评论数据集对改进代码审查的研究的影响,包括自动化代码审查的潜在好处。
2022-03-31 cs.SE
Exploring the Potential of Large Language Models in Fine-Grained Review Comment Classification
The University of Melbourne(墨尔本大学)
针对监督机器学习分类代码审查评论需大量人工标注的局限,本研究探索大语言模型(LLMs)对17类评论的分类能力,发现其优于最先进深度学习方法,在高低频类别上表现均衡,为代码审查分析提供了可扩展的解决方案。
2025-08-13 cs.AI cs.SE
Are your comments outdated? Towards automatically detecting code-comment consistency
本文提出基于学习的 CoCC 方法,通过提取代码与注释变更前后特征及其关系来自动检测过时注释,精确率超过90%,并验证了跨语言适用性和实际项目有效性。
2024-03-01 cs.SE
Analyzing Code Comments to Boost Program Comprehension
我们正在尝试寻找源代码注释,帮助程序员理解源代码的重要部分。这样的例子之一是解释分配零作为"清除"缓冲区的一种方式。这样的注释对程序员来说是无价的,正确地识别它们将有很大的帮助。为了实现这一目标,我们开发了一种方法来发现源代码中的解释性代码注释。我们首先提出了11种不同的代码注释类别。然后,我们开发了一个基于决策树的分类器,可以识别解释性评论,准确率为60%,召回率为80%。我们分析了2,000个GitHub项目,这些项目都是用两种语言编写的:Java和Python。这个任务是新颖的,因为它关注于方法或函数中的微观注释("本地注释"),而不是之前关注于API或方法级注释的工作。我们还研究了如何在不同的项目中使用不同类别的注释。我们的主要发现是,有两种主要类型的评论:前置条件和后置条件。我们的研究结果还表明,许多英语代码注释具有一定的语法结构,在不同的项目中是一致的。
2022-03-17 cs.SE
Towards Automated Detection of Inline Code Comment Smells
本文通过增强已标注行内注释数据集,比较七种ML模型与GPT 4的注释坏味分类性能,Random Forest以69%准确率和0.44 MCC建立基线。
2025-08-29 cs.SE
What Makes a Good TODO Comment?
本研究针对开源项目中大量低质量TODO注释的问题,调研了TODO注释质量的四个维度,提出高质量TODO识别标准,构建的深度学习方法可有效评估注释质量,助力提升开发效率与代码质量。
2025-03-19 cs.SE
Enhancing Code Annotation Reliability: Generative AI's Role in Comment Quality Assessment Models
本研究提出利用生成式AI扩充代码注释数据集的方法,将新生成的1437对标注样本加入C语言数据集后,显著提升了SVM和ANN模型的代码注释质量分类性能,为软件工程领域的模型优化提供了新思路。
2024-10-29 cs.SE
A First Look at Duplicate and Near-duplicate Self-admitted Technical Debt Comments
自我承认的技术债务(SATD)是指由开发人员故意引入并明确记录在代码注释或其他软件工件中的技术债务(例如,问题报告)来注释开发人员在软件开发过程中做出的次优决策。在这项工作中,我们首先研究了五个流行的Apache OSS项目中重复和近似重复的SATD注释的存在和特征,即,JSPWiki、Hacker、Jackrabbit、Archiva和SystemML。我们设计了一种方法来自动识别组的重复和接近重复的SATD评论,并跟踪其演变的软件系统中挖掘的提交历史的软件项目。利用所提出的方法,我们从目标项目中识别出3,520条重复和近似重复的SATD评论,这些评论属于1,141组。我们手动分析了1,505条SATD评论的内容和上下文(每个项目抽取100组),并确定它们是否注释了相同的根本原因。我们还调查了重复的SATD注释是否存在于代码克隆中,它们是否共存于同一个文件中,以及它们是否同时被引入和删除。我们的初步研究揭示了几个令人惊讶的发现,这将有助于未来的研究,旨在改善重复SATD评论的管理。例如,在常规代码克隆中,只有48.5%的具有相同根本原因的重复SATD注释组存在,并且只有33.9%的重复SATD注释对在同一提交中引入。
2022-03-30 cs.SE
A Survey of Automatic Generation of Source Code Comments: Algorithms and Techniques
作为源代码文件的一个组成部分,代码注释有助于提高程序的可读性和可理解性。然而,开发人员有时并没有对他们的程序代码进行充分的注释,这是由于额外的努力,缺乏相关知识,没有意识到代码注释的重要性或其他一些因素。因此,代码注释可能不充分、缺失甚至与源代码不匹配,影响了对软件的理解、重用和维护。为了解决代码注释的这些问题,研究人员一直关注自动生成代码注释。在这项工作中,我们的目标是进行自动代码注释研究的调查。首先,我们概括性地分析了程序注释自动生成的挑战和研究框架。其次,我们给出了代表性算法的分类,每类算法的设计原则,优缺点。同时,我们也提供了一个生成的评论的质量评估的概述。最后,我们总结了一些未来的发展方向,提高技术的自动生成代码注释和质量评估的意见。
2019-07-25 cs.SE
Towards Automated Classification of Code Review Feedback to Support Analytics
本文提出基于DNN和代码上下文的代码审查评论自动分类方法,使用CodeBERT在1,828条评论上达到59.3%准确率,比Fregnan等人方法高18.7%,可支持审查反馈优先级排序和审查者选择。
2023-07-07 cs.SE
Speculative Analysis for Quality Assessment of Code Comments
以前的研究表明,高质量的代码注释有助于开发人员理解和维护程序。然而,评论的半结构化性质,编写好评论的不明确约定,以及缺乏针对评论各个方面的质量评估工具,使得评论的评估和维护成为一个重要问题。为了实现高质量的注释,我们需要更深入地理解代码注释的特征和开发人员遵循的实践。在这篇论文中,我们从三个不同的角度来探讨评价评论质量的问题:开发人员对评论实践的要求,他们在评论中写了什么,以及研究人员如何支持他们评价评论质量。我们的初步发现表明,开发人员在跨程序设计语言的类注释中嵌入了各种信息。尽管如此,他们仍然面临着寻找相关指南以撰写一致和信息丰富的评论,验证他们的评论是否符合指南以及评估评论质量的整体状态的问题。为了帮助开发人员和研究人员构建评论质量评估工具,我们提供:(i)来自各种社区论坛的评论约定相关问题的经验验证的分类法,(ii)来自各种程序设计语言的评论信息类型的经验验证的分类法,(iii)自动识别信息类型的独立于语言的方法,以及(iv)从系统的文献综述中准备的评论质量分类。
2021-02-18 cs.SE
Prevalence, Contents and Automatic Detection of KL-SATD
当开发人员在源代码注释中使用不同的关键字(如TODO和FIXME)来描述自我承认的技术债务(SATD)时,我们将其称为关键字标记的SATD(KL-SATD)。我们研究了来自33个软件库的KL-SATD,其中包含13,588条KL-SATD评论。我们发现KL-SATD评论在所有评论中的百分比中位数仅为1.52%。我们发现KL-SATD的注释内容包括表示代码更改和不确定性的词语,如remove、fix、maybe和probably。这使得他们与其他评论不同。KL-SATD注释内容类似于先前工作的手动标记的SATD注释。我们使用逻辑Lasso回归的机器学习分类器在检测KL-SATD评论方面具有良好的性能(AUC-ROC 0.88)。最后,我们证明了使用机器学习,我们可以识别当前缺少的评论,但其中应该有一个SATD关键字。自动SATD识别缺少SATD关键字的注释可以取代手动识别注释,从而节省时间和精力。使用KL-SATD提供了一个潜在的引导一个完整的SATD检测器。
2020-08-12 cs.SE
A study of the impact of generative AI-based data augmentation on software metadata classification
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校)
本文提出一种基于机器学习的框架,利用神经上下文表示预测代码-注释对的有用性,并结合LLM生成数据进行数据增强,在FIRE IRSE 2023任务中F1分数比基线提高4%。
2023-10-14 cs.AI cs.CL cs.LG
What do class comments tell us? An investigation of comment evolution and practices in Pharo Smalltalk
先前的研究已经描述了各种程序设计语言中的代码注释,以支持更好的程序理解活动和维护任务。然而,很少有研究关注于理解开发人员编写注释的实践。他们都没有将这些开发人员的做法与标准评论指南进行比较,以研究开发人员遵循指南的程度。本文报道了第一个实证研究调查的评论实践中的Pharo Smalltalk。首先,我们分析了七个Pharo版本的类注释演化。然后,我们研究嵌入类注释中的信息类型。最后,我们研究了开发人员评论实践的遵守官方类评论模板的Pharo版本。这项研究的结果表明,在最初的三个Pharo版本中,类注释迅速增加,而在随后的版本中,开发人员向新类和旧类添加了注释,从而保持了类似的代码注释比例。我们还发现,课堂注释中的信息类型是模板所建议的信息类型的三倍。然而,模板所建议的信息类型往往比其他类型的信息更频繁地出现。此外,我们发现相当一部分的注释在书写这些信息类型时遵循模板的书写风格,但它们的书写和格式并不统一。这表明需要标准化文本格式的注释指南,并为不同的信息类型提供标题,以确保一致的风格并易于识别信息。考虑到高质量代码注释的重要性,我们为开发人员和研究人员提供了许多建议,以提高对注释质量评估工具的支持。
2021-06-15 cs.SE
Deep Learning to Detect Redundant Method Comments
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
软件中的注释对于维护和重用至关重要。但除了规范性的建议,几乎没有实际的支持或量化的理解是什么使评论有用。在本文中,我们介绍了识别注释的任务,这些注释对它们要记录的代码没有信息。为了解决这个问题,我们从代码中引入了注释蕴涵的概念,高蕴涵表示注释的自然语言语义可以直接从代码中推断出来。虽然不是所有的隐含注释都是低质量的,但是太容易推断的注释,例如,重述代码的注释,被软件风格的权威人士广泛禁止。在此基础上,我们开发了一个名为CRAIC的工具,评分方法级的冗余评论。然后,开发人员可以扩展或删除高度冗余的注释。CRAIC使用深度语言模型来利用大型软件语料库,而不需要昂贵的蕴涵手动注释。我们表明,CRAIC可以执行的评论蕴涵任务与人类的判断很好的协议。我们的研究结果也对文档工具产生了影响。例如,我们发现Javadoc中的常见标记从代码中的可预测性至少是非Javadoc语句的两倍,这表明Javadoc标记的信息量比更自由的注释少
2018-06-12 cs.CL cs.SE
Commenting with Copilot: A Taxonomy and Multi-Year Analysis of Student Code-Generation Specifications
University of Auckland(奥克兰大学);University of New South Wales(新南威尔士大学)
研究人工智能代码工具融入编程环境下学生代码生成规范,通过分析四年数据集,引入涵盖注释类型、代码表达水平和代码结构的分类法,用自动分类研究维度变化及学生反思,发现学生注释特点及关注点。
2026-07-14 cs.AI cs.CY cs.SE
Software Metadata Classification based on Generative Artificial Intelligence
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(卢蒙巴大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本文提出利用生成式AI和OpenAI API生成代码注释数据集,将其整合至现有语料库后,显著提升了SVM和ANN模型在代码注释质量分类上的精确率与召回率。
2023-10-14 cs.AI cs.IR cs.LG
Detection, Classification and Prevalence of Self-Admitted Aging Debt
University of Oulu(奥卢大学);University of Helsinki(赫尔辛基大学)
本文提出软件老化债务(AD)概念,通过分析源代码注释中的自我承认老化债务(SAAD),构建分类体系并量化9000多个开源仓库,发现超21%存在SAAD且休眠型为主,助力主动维护。
2025-04-24 cs.AI cs.CE cs.GL