An Exploratory Study on LLM-Generated Code and Comments in Code Repositories
School of Computing and Mathematical Sciences, University of Leicester(利兹大学计算与数学科学学院)
本研究通过检测工具分析2021-2025年公司和社区维护的仓库,发现LLM生成的代码随时间减少且多出现在测试用例中,注释则相对稳定;公司仓库中LLM生成内容比例更高,且仅少数人工标记的bug与LLM生成代码相关。
2026-07-03 cs.AI cs.SE
BugsRepo: A Comprehensive Curated Dataset of Bug Reports, Comments and Contributors Information from Bugzilla
为解决缺陷报告信息不完整影响软件维护预测系统的问题,本文提出了源自Mozilla项目的综合数据集BugsRepo,包含119,585条缺陷报告元数据、19,351名贡献者信息及10,351条结构化缺陷报告,以支持自动化缺陷分析并提升软件维护效率。
2025-04-26 cs.SE
Enhancing Code Intelligence Tasks with ChatGPT
本研究利用ChatGPT生成代码注释重建预训练数据集,通过无参考指标验证其语义一致性,并证明基于该数据集预训练的CodeT5在多项代码智能任务上性能更优。
2023-12-23 cs.SE
A Qualitative Investigation into LLM-Generated Multilingual Code Comments and Automatic Evaluation Metrics
Delft University of Technology(代尔夫特理工大学)
本研究针对大语言模型训练以英语为中心的问题,分析五种前沿代码模型在五门语言下生成代码注释的错误,构建26类错误分类体系与1.25万条标注数据集,发现现有神经评估指标无法可靠判定多语言代码注释的正确性。
2025-05-21 cs.AI cs.SE
Do Automatic Comment Generation Techniques Fall Short? Exploring the Influence of Method Dependencies on Code Understanding
针对自动注释生成技术忽略方法依赖的问题,提出依赖感知技术HelpCOM,通过引入辅助方法信息提升注释质量,实验与调查证明其显著优于基线方法并增强了代码可理解性。
2025-04-28 cs.SE
Enhancing Binary Code Comment Quality Classification: Integrating Generative AI for Improved Accuracy
Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本研究通过整合生成式AI生成的代码与注释对,构建了包含9048对C语言数据的增强数据集,训练出两个二进制代码注释质量分类模型,有效提升了分类准确率。
2023-10-14 cs.AI cs.LG cs.SE
API2Com: On the Improvement of Automatically Generated Code Comments Using API Documentations
University of British Columbia(英属哥伦比亚大学)
代码注释可以帮助程序理解,并被认为是帮助开发人员进行软件维护的重要工件。然而,注释大多缺失或过时,特别是在复杂的软件项目中。作为一个结果,几个自动评论生成模型的开发作为一个解决方案。最近的模型探索了外部知识资源(如统一建模语言类图)的集成,以改进生成的注释。在本文中,我们提出了API2Com,一个模型,利用应用程序编程接口文档(API文档)作为知识资源的评论生成。API接口包含了更详细的方法描述,因此可以在生成的注释中提供更好的上下文。在我们的模型中,API树与代码片段和抽象树一起使用。我们将该模型应用于包含超过130,000个方法的大型Java数据集,并使用Transformer和基于RNN的架构对其进行评估。有趣的是,当使用API接口时,性能的提高可以忽略不计。因此,我们运行不同的实验来推理结果。对于只包含一个API的方法,添加API翻译平均将结果提高4% BLEU分数(BLEU分数是机器翻译中使用的自动评估指标)。然而,随着方法中使用的API数量的增加,由于输入中使用的文档很长,模型生成注释的性能会降低。我们的研究结果证实,API接口可以在生成更好的评论是有用的,但是,需要新的技术来确定最翔实的方法,而不是同时使用所有的文档。
2021-03-19 cs.CL cs.LG cs.SE
A Survey of Automatic Generation of Source Code Comments: Algorithms and Techniques
作为源代码文件的一个组成部分,代码注释有助于提高程序的可读性和可理解性。然而,开发人员有时并没有对他们的程序代码进行充分的注释,这是由于额外的努力,缺乏相关知识,没有意识到代码注释的重要性或其他一些因素。因此,代码注释可能不充分、缺失甚至与源代码不匹配,影响了对软件的理解、重用和维护。为了解决代码注释的这些问题,研究人员一直关注自动生成代码注释。在这项工作中,我们的目标是进行自动代码注释研究的调查。首先,我们概括性地分析了程序注释自动生成的挑战和研究框架。其次,我们给出了代表性算法的分类,每类算法的设计原则,优缺点。同时,我们也提供了一个生成的评论的质量评估的概述。最后,我们总结了一些未来的发展方向,提高技术的自动生成代码注释和质量评估的意见。
2019-07-25 cs.SE
Automatic Comment Generation via Multi-Pass Deliberation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);York University(约克大学)
协商是人类日常生活中一种普遍而自然的行为。比如写论文或文章的时候,我们通常会先写草稿,然后反复打磨,直到满意为止。鉴于这样一个人类的认知过程中,我们提出了DECOM,这是一个多遍审议框架自动评论生成。DECOM包括多个审议模型和一个评估模型。给定一个代码片段,我们首先从代码中提取关键字,并从预定义的语料库中检索类似的代码片段。然后,我们将检索到的代码的注释作为初稿,并将其与代码和关键字一起输入到DECOM中,以开始迭代审议过程。在每次审议中,审议模型都会对草案进行润色并生成新的评论。评估模型测量新生成的评论的质量,以确定是否结束迭代过程。当迭代过程终止时,最佳生成的评论将被选为目标评论。我们的方法在Java(87K)和Python(108K)的两个真实世界的数据集上进行了评估,实验结果表明,我们的方法优于最先进的基线。一项人类评估研究也证实了DECOM生成的评论往往更具可读性,信息量更大,更有用。
2022-09-14 cs.AI cs.SE
Leveraging Generative AI: Improving Software Metadata Classification with Generated Code-Comment Pairs
Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本研究针对代码注释有用性二分类问题,结合BERT上下文嵌入与生成式AI扩充代码-注释对数据集,测试多种机器学习算法,验证了生成式AI提升分类模型效果的潜力。
2023-10-14 cs.AI cs.CL cs.LG
The Quiet Contributions: Insights into AI-Generated Silent Pull Requests
Idaho State University(爱达荷州立大学)
研究首次分析了AI生成的静默拉取请求对代码质量和安全的影响,揭示其接受或拒绝的潜在原因。
2026-01-28 cs.SE
Evaluating the Quality of Code Comments Generated by Large Language Models for Novice Programmers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估了GPT-4、GPT-3.5-Turbo和Llama2为新手程序员生成代码注释的教学质量,发现GPT-4在清晰度、概念阐释等方面与专家注释相当,且在复杂度讨论和对新手支持度上显著优于其他模型,突出了LLMs为新手生成定制化代码注释的潜力。
2024-09-22 cs.AI cs.HC cs.SE
AUTOGENICS: Automated Generation of Context-Aware Inline Comments for Code Snippets on Programming Q&A Sites Using LLM
本文提出 AUTOGENICS 工具,通过从问题文本提取上下文并去除噪声,利用 LLM 为 Stack Overflow 代码片段生成上下文感知的内联注释,显著提升了注释的准确性、充分性、简洁性和有用性。
2024-08-27 cs.SE
SmartDoc: A Context-Aware Agentic Method Comment Generation Plugin
Independent Researcher Shiraz Iran;Independent Researcher
本文提出名为SmartDoc的IntelliJ IDEA插件,作为AI智能体利用方法上下文和DFS遍历调用图丰富LLM提示,生成上下文感知的Java方法注释,在BERTScore等指标上达到0.80-0.90的准确率。
2025-11-01 cs.SE
Large Language Models are Qualified Benchmark Builders: Rebuilding Pre-Training Datasets for Advancing Code Intelligence Tasks
College of Computer, National University of Defense Technology(计算机学院,国防科技大学);Sun Yat-sen University(中山大学);College of Banking and Financial Studies(金融学院)
本文提出用LLM生成的注释替换人工注释来重建预训练数据集,通过无参考评估任务验证其更优的语义一致性,并在CodeSearchNet上重新预训练CodeT5,显著提升了代码摘要、生成和翻译任务的性能。
2025-04-28 cs.CL cs.SE
Investigating the Impact of Code Comment Inconsistency on Bug Introducing
本研究利用GPT-3.5探究代码注释不一致对缺陷引入的影响,验证了GPT-3.5在不一致检测上的优越性,发现不一致变更引发缺陷提交的概率约为一致变更的1.5倍,且影响随时间推移减弱。
2024-09-16 cs.SE
Incivility in Open Source Projects: A Comprehensive Annotated Dataset of Locked GitHub Issue Threads
本文构建了一个包含 404 个锁定议题线程和 5961 条评论的标注数据集,用于分析开源项目中的不文明行为,并识别其常见特征、触发因素、目标和后果,为自动检测工具提供资源。
2024-02-06 cs.SE
Code Comments for Quantum Software Development Kits: An Empirical Study on Qiskit
Beihang University(北京航空航天大学)
本文通过Qiskit提出首个量子计算代码注释数据集CC4Q,分析了量子软件注释的结构、开发者意图及量子主题,揭示了经典与量子软件注释的关键差异。
2025-11-30 cs.SE
APIContext2Com: Code Comment Generation by Incorporating Pre-Defined API Documentation
University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
代码注释对理解软件程序有很大的帮助,也可以帮助开发人员节省大量的软件维护时间。代码注释生成的目的是自动预测给定代码片段的自然语言中的注释。一些作品调查的影响,整合外部知识的质量生成的评论。在这项研究中,我们提出了一个解决方案,即APIContext 2Com,通过将预定义的应用程序编程接口(API)上下文,以提高生成的评论的有效性。API上下文包括在代码片段中使用的预定义API的定义和描述。由于详细的API信息表达了代码段的功能,因此它有助于更好地生成代码摘要。我们引入了一个seq-2-seq编码器-解码器神经网络模型,该模型具有不同的多个编码器集合,以有效地将不同的输入转换为目标评论。还开发了一个排名机制来排除非信息性的API,以便我们可以过滤掉不相关的API。我们使用CodeSearchNet的Java数据集来评估我们的方法。结果表明,该模型对BLEU 1、BLEU 2、BLEU 3、BLEU 4、METEOR、ROUGE-L的最佳基线分别提高了1.88(8.24%)、2.16(17.58%)、1.38(18.3%)、0.73(14.17%)、1.58(14.98%)和1.9(6.92%)。人类评估和消融研究证实了生成的评论的质量以及架构和排名API的效果。
2023-03-03 cs.CL cs.LG cs.SE
HalluJudge: A Reference-Free Hallucination Detection for Context Misalignment in Code Review Automation
Monash University Australia(墨尔本大学澳大利亚);The University of Melbourne Australia(墨尔本大学澳大利亚);Atlassian USA(Atlassian美国)
提出无参考幻觉检测方法HalluJudge,通过上下文对齐评估生成评论的根基性,采用多分支推理策略,在F1=0.85且成本$0.009下与开发者偏好67%一致。
2026-06-12 cs.AI cs.SE
Issue Retrieval and Verification Enhanced Supplementary Code Comment Generation
针对检索增强代码注释生成的幻觉问题,提出基于issue检索与验证的IsComment方法,可生成更可靠丰富的补充代码注释,显著提升多类LLM的人工注释覆盖率。
2025-06-17 cs.SE
Bash-Commenter: Leveraging Syntax-Aware Preference Optimization to Reinforce Large Language Model for Bash Code Comment Generation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
针对Bash脚本注释缺乏问题,提出基于LLaMA-3.1-8B的Bash-Commenter方法,通过构建高质量数据集、持续预训练和监督微调,并引入语法感知偏好优化(SAPO)利用抽象语法树构造偏好对,显著提升注释生成质量。
2026-06-29 cs.SE
DocChecker: Bootstrapping Code Large Language Model for Detecting and Resolving Code-Comment Inconsistencies
本文提出DocChecker,一种基于深度学习的工具,用于检测和纠正代码-注释不一致,并生成合成注释,在ICCD任务上达到72.3%准确率,在代码摘要任务上BLEU-4为33.64,超越GPT 3.5和CodeLlama。
2024-02-03 cs.SE
Source Code Comments: Overlooked in the Realm of Code Clone Detection
重用代码可能会在代码存储库中产生重复或近似重复的代码克隆。目前的代码克隆检测技术,如程序依赖图,依赖于代码结构和它们的依赖关系来检测克隆。这些技术是昂贵的,使用大量的处理能力、时间和存储器。在实践中,程序员经常利用代码注释来理解和重用代码,因为注释携带重要的领域知识。但目前的代码检测技术忽略了代码注释,这主要是由于英语语言的歧义性。信息检索技术的最新进展可能具有利用代码注释进行克隆检测的潜力。我们通过在JHotDraw包上实证比较检测克隆的准确性来研究这一点,JHotDraw包包含315个类和27K行代码。为了在文件级别检测克隆,我们使用了一种主题建模技术,潜在狄利克雷分配,来分析代码注释,并使用GRAPLE(利用程序依赖关系图)来分析代码。我们的结果显示94.86召回率和84.21精度与潜在的Dirichlet分配和28.7召回率和55.39精度使用GRAPLE。我们发现潜在狄利克雷分配产生误报的情况下,程序缺乏质量的意见。但是,这种限制可以通过使用混合方法来解决:在文件级别使用代码注释来减少克隆集,然后在方法级别使用基于程序依赖图的技术来检测精确的克隆。我们进一步分析了Java和Python包,Java Swing和PyGUI,发现召回率为74.86%,准确率为84.21%。我们的研究结果要求重新审查的假设,在当前的克隆检测技术中使用的代码注释。
2020-06-25 cs.SE
Rethinking Training Data for Generating Code Review Comments
Pontificia Universidad Católica de Chile(智利天主教庞蒂菲亚大学);Concordia University(康考迪亚大学)
研究代码审查评论生成,指出尽管有进展但生成的评论存在问题,通过实证检查识别出不匹配训练对并得出分类法,探讨纳入分类法能否改善问题,发现仍有挑战,认为改进需更多举措而非仅数据集清理。
2026-07-29 cs.SE
TranS^3: A Transformer-based Framework for Unifying Code Summarization and Code Search
代码摘要和代码搜索在软件开发和维护中得到了广泛的应用。然而,很少有研究探讨了统一它们的效果。在本文中,我们提出了一个基于transformer的框架,将代码摘要与代码搜索集成在一起。具体来说,对于代码摘要,Trans^3启用了一个Actor-Critic网络,在Actor网络中,我们通过基于Transformer和基于树的Transformer编码器对收集的代码片段进行编码,并对给定的代码片段进行解码以生成其注释。同时,我们通过评论家网络的反馈迭代地调整演员网络,以提高生成评论的质量。此外,我们将生成的注释导入代码搜索,以提高其准确性。为了评估TranS^3的有效性,我们进行了一系列实验研究和案例研究,实验结果表明,TranS^3在代码摘要和代码搜索方面都明显优于多种最先进的方法,并且从开发人员的角度来看,研究结果进一步加强了TranS^3的有效性。
2020-03-09 cs.SE
Measuring the effectiveness of code review comments in GitHub repositories: A machine learning approach
本文通过人工标注13557条GitHub代码审查评论,比较七种机器学习算法的情感极性分类效果,发现线性SVC准确率最高,以帮助程序员避免误解并改进决策。
2025-08-22 cs.SE
Analysing Developers Affectiveness through Markov chain Models
在本文中,我们提出了一个分析超过50万的意见,从开源软件系统存储库。我们的目标是实证地确定开发者如何在一定的心理条件下相互作用的礼貌,情绪和情感表达的开发者的评论。参与开源项目的开发人员通常彼此并不认识;他们主要通过邮件列表、聊天室和问题跟踪系统等工具进行交流。他们沟通的方式会影响开发过程和参与项目的人员的生产力。我们评估了开发人员发布的评论的礼貌,情感和情绪,并研究了沟通流程,以了解他们在不礼貌和负面评论的情况下如何互动(反之亦然)。我们的分析表明,当出现不礼貌或负面评论时,下一个评论是不礼貌或负面的概率分别为14%和25%;然而,愤怒之后有40%的概率是进一步的愤怒评论。结果可以帮助管理人员控制系统的开发阶段,因为社会方面会严重影响开发人员的生产力。在分布式环境中,这可能具有特定的共振。
2018-03-17 cs.SE
Automating Patch Set Generation from Code Review Comments Using Large Language Models
Gannon University(甘农大学)
本文评估五种预训练大型语言模型根据真实代码审查评论自动生成补丁集的能力,并与人类历史补丁集对比,以衡量其准确性、相关性和深度,为自动化代码质量保证奠定基础。
2024-04-10 cs.AI cs.SE
Enhancing Code Annotation Reliability: Generative AI's Role in Comment Quality Assessment Models
本研究提出利用生成式AI扩充代码注释数据集的方法,将新生成的1437对标注样本加入C语言数据集后,显著提升了SVM和ANN模型的代码注释质量分类性能,为软件工程领域的模型优化提供了新思路。
2024-10-29 cs.SE
"TODO: Fix the Mess Gemini Created": Towards Understanding GenAI-Induced Self-Admitted Technical Debt
Missouri University of Science and Technology(密苏里科技大学)
本文研究了GenAI在软件开发中导致的技术债务问题,提出GIST概念框架,分析开发者在使用AI生成代码时的自我承认行为及技术债务的产生原因。
2026-01-12 cs.SE
Leveraging Reward Models for Guiding Code Review Comment Generation
Université de Montréal(蒙特利尔大学);Università della Svizzera italiana(瑞士联邦理工学院)
本文提出 CoRAL 框架,利用兼顾评论语义及其对代码精化模型可用性的强化学习奖励机制,自动生成代码审查评论,并通过定量与定性比较验证其优于最新基线。
2025-06-04 cs.LG cs.SE
Comment Traps: How Defective Commented-out Code Augment Defects in AI-Assisted Code Generation
Sun Yat-sen University(中山大学)
本研究探讨了缺陷注释代码如何影响AI编码助手生成缺陷代码,发现其生成缺陷率高达58.17%,并指出需提升AI编码助手的鲁棒性与安全性。
2026-02-18 cs.SE
Adversarial Robustness of Deep Code Comment Generation
本文针对深度代码注释生成模型的对抗脆弱性问题,提出ACCENT方法,通过标识符替换构造语法正确、语义相近的对抗样本实现攻击,同时配套新型训练方法提升模型鲁棒性,经实验验证了攻击有效性、样本可迁移性及训练方法的鲁棒性提升效果。
2021-11-30 cs.SE
We Must Have Missed This Comment: Detecting and Repairing Stale Function References in Linux Kernel Comments
Nanjing University(南京大学);Singapore Management University(新加坡管理大学);Inria(法国国家数字技术研究所)
针对 Linux 内核注释中因函数变更导致的过时引用问题,提出三阶段方法 ReCite 检测并修复此类引用,在 v6.18-rc1 上检测到 869 个过时引用,其修复建议准确率高,提交的 75 个补丁中有 50 个被接受。
2026-08-05 cs.SE
Deep Just-In-Time Inconsistency Detection Between Comments and Source Code
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
自然语言注释传达源代码的关键方面,例如实现、用法以及前置和后置条件。当相应的代码被修改时,如果没有相应地更新注释,就会导致不一致,这会导致混乱和软件错误。在本文中,我们的目标是检测注释是否由于相应代码体的更改而变得不一致,以便及时捕获潜在的不一致,即,在它们被提交到代码库之前。为了实现这一目标,我们开发了一种深度学习方法,可以学习将注释与代码更改相关联。通过对跨越各种评论类型的评论/代码对的大型语料库进行评估,我们表明我们的模型明显优于多个基线。对于外部评估,我们展示了我们的方法的有用性,通过将其与评论更新模型相结合,构建一个更全面的自动评论维护系统,该系统可以根据代码更改检测和解决不一致的评论。
2020-12-26 cs.AI cs.CL cs.LG
Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation
The MITRE Corporation(MITRE公司)
本文研究利用LLM为MUMPS和IBM大型机汇编等遗留代码生成注释文档,提出提示策略与评估标准,发现LLM生成注释总体质量较高但缺乏可靠的自动化评估指标。
2024-11-22 cs.LG cs.SE
Enhancing Code Generation via Bidirectional Comment-Level Mutual Grounding
Purdue University(普渡大学)
本文提出以可编辑代码注释为媒介的双向互证交互框架,通过代码、行内注释与用户反馈迭代对齐意图,显著提升LLM代码生成准确率与开发者任务表现。
2025-05-12 cs.AI cs.CL cs.SE
How to Identify Class Comment Types? A Multi-language Approach for Class Comment Classification
本文针对Python、Java和Smalltalk类注释实践差异及注释不足问题,结合NLP与文本分析自动识别类注释语义类型,并构建跨语言分类体系,实现高准确率分类。
2021-07-25 cs.PL cs.SE
Revisiting the Role of Natural Language Code Comments in Code Translation
Indian Institute of Technology, New Delhi, India(印度理工学院德里分校);IBM Research - India, India(IBM印度研究)
本文研究了自然语言代码注释对代码翻译准确性的影响,提出COMMENTRA方法,证明其能将LLM代码翻译性能翻倍。
2026-01-23 cs.AI cs.SE
MESIA: Understanding and Leveraging Supplementary Nature of Method-level Comments for Automatic Comment Generation
Peking University(北京大学);Key Lab of HCST (PKU), MOE(教育部HCST重点实验室(北京大学))
本文提出名为MESIA的新指标评估方法级注释的补充信息量,发现减少训练集中低补充信息注释可提升模型生成高补充信息注释的能力,并指出当前评估缺乏合适真实基准的问题。
2024-03-26 cs.AI cs.SE
Commenting with Copilot: A Taxonomy and Multi-Year Analysis of Student Code-Generation Specifications
University of Auckland(奥克兰大学);University of New South Wales(新南威尔士大学)
研究人工智能代码工具融入编程环境下学生代码生成规范,通过分析四年数据集,引入涵盖注释类型、代码表达水平和代码结构的分类法,用自动分类研究维度变化及学生反思,发现学生注释特点及关注点。
2026-07-14 cs.AI cs.CY cs.SE
A study of the impact of generative AI-based data augmentation on software metadata classification
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校)
本文提出一种基于机器学习的框架,利用神经上下文表示预测代码-注释对的有用性,并结合LLM生成数据进行数据增强,在FIRE IRSE 2023任务中F1分数比基线提高4%。
2023-10-14 cs.AI cs.CL cs.LG
StRuCom: A Novel Dataset of Structured Code Comments in Russian
MTS AI(MTS人工智能研究所);ITMO University(ITMO大学);IITU University(IITU大学)
针对俄语代码注释生成模型表现差的问题,提出首个俄语大规模结构化代码注释数据集StRuCom,整合人工与合成注释并验证多语言规范,微调模型后相关指标显著提升。
2025-05-16 cs.AI cs.CL cs.LG
Generative AI for Software Metadata: Overview of the Information Retrieval in Software Engineering Track at FIRE 2023
University of Leeds(利兹大学);Sheffield University(谢菲尔德大学);Jadavpur University(贾达普大学);Indian Statistical Institute(印度统计研究所)
本文概述2023年FIRE会议IRSE赛道,该赛道围绕基于人工与大模型标签的代码注释自动评估二分类任务,17支团队提交56项实验,经F1-Score等评估发现大模型生成标签会增加模型偏差但可减少过拟合。
2023-10-27 cs.AI cs.IR cs.SE
CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells
Carnegie Mellon University(卡内基梅隆大学);Language Technologies Institute(语言技术研究所)
本文提出无参考指标 CRScore,利用 LLM 与静态分析器识别的代码声明和潜在问题,从多维度细粒度评估代码审查评论,并发布 2.9k 条人工标注语料。
2025-03-16 cs.AI cs.CL cs.SE
DeepCRCEval: Revisiting the Evaluation of Code Review Comment Generation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技);Sinosoft Company Limited(中软公司)
本文提出 DeepCRCEval 评估框架,结合人工与 LLM 评估者,克服了传统文本相似度指标的局限,有效区分代码审查注释质量,并引入 LLM-Reviewer 基线模型以聚焦生成目标。
2025-01-25 cs.AI cs.CL cs.LG