ATOM: Commit Message Generation Based on Abstract Syntax Tree and Hybrid Ranking
提交消息记录代码更改（例如，功能修改和错误修复），并且对于程序理解很有用。在自然语言中。由于软件的频繁更新和时间成本，开发人员通常没有动力为代码更改编写提交消息。因此，自动化消息写入过程是必要的。以往对提交消息生成的研究都是从生成模型或检索模型中获益，但改变了代码的代码结构，即，AST对于捕获代码语义可能很重要，但尚未显式涉及。此外，虽然生成模型具有为新代码更改合成提交消息的优点，但它们不容易弥合代码和自然语言之间的语义鸿沟，而检索模型可以减轻这种鸿沟。在本文中，我们提出了一种新的提交消息生成模型，命名为ATOM，显式地采用抽象语法树表示代码的变化，并通过混合排名集成检索和生成的消息。具体地，混合排名模块可以从关于一个代码改变的检索到的消息和生成的消息中优先考虑最准确的消息。我们评估我们的数据集从56个流行的Java存储库爬上提出的模型ATOM。实验结果表明，在BLEU-4（一种广泛用于评估文本生成系统的准确性度量）方面，ATOM将最先进的模型提高了30.72%。定性分析也证明了ATOM在生成准确的代码提交消息方面的有效性。
2020-11-11 cs.SE
Consider What Humans Consider: Optimizing Commit Message Leveraging Contexts Considered By Human
针对自动化 CMG 遗漏开发者实际依赖上下文的问题，提出 CMO，从人工提交信息出发，结合 LLM、搜索优化、关键上下文与外部评估反馈迭代改进，显著优于现有方法及人工信息。
2025-03-18 cs.SE
An Empirical Study on Commit Message Generation using LLMs via In-Context Learning
本研究通过实证方法探索利用大语言模型和上下文学习生成提交信息，验证其优于现有方法并具备更强泛化能力，为相关研究提供方向。
2025-02-26 cs.SE
Context Conquers Parameters: Outperforming Proprietary LLM in Commit Message Generation
本文研究开源 LLM 能否替代 GPT-4 生成高质量提交信息，并提出基于 4 位量化 8B 开源模型的 OMEGA 方法，通过上下文细化在从业者偏好上超越 GPT-4。
2024-11-01 cs.SE
Using Large Language Models for Commit Message Generation: A Preliminary Study
本文通过实验评估Llama 2和ChatGPT在提交信息生成中的表现，发现大语言模型在人工评估中显著优于现有方法，并揭示了常用自动评估指标的局限性。
2024-01-13 cs.SE
Evaluating Generated Commit Messages with Large Language Models
本研究针对自动生成提交信息评估的难题，提出利用大型语言模型作为自动评估器，实验证明结合思维链推理与少样本演示的LLM评估器能显著优于传统指标并达到接近人类的评估水平，提供了一种可扩展的替代方案。
2025-07-15 cs.SE
CoCoRerank: Towards Conventional Commit Message Generation by Component and Candidate Consistency Reranking
National Key Laboratory for Novel Software Technology, School of Artificial Intelligence, Nanjing University（南京大学人工智能学院新型软件技术国家重点实验室）
CoCoRerank提出基于组件与候选一致性的重排序框架，利用完整CCS格式监督，提升LLM生成提交信息的结构预测与主题质量。
2026-09-28 cs.SE
Rationale Dataset and Analysis for the Commit Messages of the Linux Kernel Out-of-Memory Killer
本文构建了 Linux 内核 OOM Killer 组件提交信息的带标签数据集，分析理由信息的存在、演变与结构，发现 98.9% 的提交包含理由且经验丰富开发者约 60% 的句子报告理由。
2024-02-06 cs.SE
What Does It Mean and Why Should I Bother? Motivating Students to Write Better Commit Messages
University of Szeged（塞格德大学）；AENSys Ltd.（AENSys有限公司）
本研究针对学生提交信息沟通失效的教学问题，设计了教育游戏WDYM，可提升相关意识与反思，但对提交信息编写实践的改善证据有限，仅适用于研究场景。
2026-08-19 cs.SE
Towards Automatic Generation of Short Summaries of Commits
提交到版本控制系统意味着向系统提交软件更改。每个提交都可以有一个消息来描述提交。已经提出了几种方法来自动生成这样的消息的内容。然而，自动生成的信息的质量远远低于人类所写的。在研究自动生成的信息和人类书写的信息之间的差异时，我们发现82%的人类书写的信息只有一句话，而自动生成的信息通常有多行。此外，我们发现提交消息通常以动词开头，后跟直接宾语。这一发现启发我们在本文中使用“动词+对象”格式来生成简短的提交摘要。我们将方法分为两个部分：动词生成和对象生成。作为我们的第一次尝试，我们训练了一个分类器来将diff分类为动词。在我们继续为提交生成直接对象之前，我们正在寻求社区的反馈。
2017-03-28 cs.SE
On the Informativeness of Security Commit Messages: A Large-scale Replication Study
LTCI, Télécom Paris, Institut Polytechnique de Paris（电信巴黎学院，巴黎理工学院）
研究评估了安全相关提交信息的信息量，发现其通常不足以支持安全补丁的快速分发，且随时间推移信息量持续下降，不同生态系统间存在显著差异。
2026-04-22 cs.SE
Delving into Commit-Issue Correlation to Enhance Commit Message Generation Models
针对提交信息生成缺乏变更原因的问题，本文构建提交-问题关联数据集，并提出 \ ool 训练范式，将问题中的理据引入多种 CMG 模型且显著提升性能。
2023-09-28 cs.SE
Context-Encoded Code Change Representation for Automated Commit Message Generation
本文提出一种结合变更代码及其程序依赖的未变更代码的上下文编码表示方法，克服了现有代码变更表示的局限，显著提升了5种最先进自动化提交信息生成方法的性能。
2023-06-26 cs.SE
Automated Generation of Commit Messages in Software Repositories
针对开发人员因时间和技能问题忽视有效提交信息编写的问题，提出基于ML/NLP的自动化生成方法，采用TF-IDF与Word2Vec的逻辑回归、LSTM等模型，在Liu等人数据集上训练评估，最高BLEU得分为16.82，为提交信息生成提供有效自动化方案。
2025-04-17 cs.SE
On the Relevance of Cross-project Learning with Nearest Neighbours for Commit Message Generation
提交消息在软件维护和演化中起着重要的作用。尽管如此，开发人员通常不会产生高质量的消息。近年来已经提出了许多提交消息生成方法来解决这个问题。这些方法中的一些基于神经机器翻译（NMT）技术。研究表明，最近邻算法（NNGen）优于现有的基于NMT的方法，虽然NNGen比NMT更简单，更快。在本文中，我们表明，NNGen不利用跨项目学习的大多数情况下。我们还表明，现有的NNGen方法有一个更简单，更快的变化，在BLEU_4评分方面优于它，而不使用跨项目学习。
2020-10-05 cs.SE
CoRaCMG: Contextual Retrieval-Augmented Framework for Commit Message Generation
School of Computer Science, Wuhan University（武汉大学计算机学院）
本文提出CoRaCMG框架，通过检索相似diff-消息对增强LLM生成提交信息的精度和信息量，实验表明其在BLEU、ROUGE-L、METEOR和CIDEr四项指标上显著提升性能。
2026-04-27 cs.SE
On the Use of Commit Messages for Corrective Software Maintenance: A Systematic Mapping Study
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）
本文通过系统映射研究97篇2004至2025年发表的文献，探讨提交信息在纠正性维护中的应用，发现提交信息在 bug 分析和修复识别中作用显著，但其他领域如自动程序修复研究较少。
2026-03-31 cs.SE
What Makes a Good Commit Message?
协作软件开发中的一个关键问题是开发人员之间的沟通。一种通信方式是提交消息，开发人员在其中描述他们在存储库中所做的更改。因此，提交消息作为一种“审计跟踪”，开发人员可以通过它了解项目的源代码是如何更改的以及更改的原因。因此，提交消息的质量会影响开发人员之间通信的有效性。提交消息通常质量很差，因为开发人员缺乏时间和动力来制作好的消息。已经提出了几种自动方法来生成提交消息。然而，这些都是基于未经策划的数据集，包括相当大比例的措辞拙劣的提交消息。在这个多方法研究中，我们首先定义什么是“好”的提交消息，然后使用来自五个高度活跃的开源项目的近1,600条消息的样本来确定提交消息中缺少信息的比例。我们发现，平均约44%的消息可以得到改进，这表明使用未经策划的数据集可能是使用此类数据训练提交消息生成器时的主要威胁。我们还观察到，以前的工作没有考虑提交消息的语义，并且令人惊讶的是，编写好的提交消息的指导很少。为此，我们开发了一个基于提交消息表达式中重复出现的模式的分类法。最后，我们调查是否可以自动识别“好”的提交消息，这样的自动化可以促使开发人员编写更好的提交消息。
2022-02-07 cs.HC cs.SE
Contextual Code Retrieval for Commit Message Generation: A Preliminary Study
本文提出 C3Gen，通过从仓库检索提交相关代码片段补充 diff 上下文，提升多模型提交信息生成质量，并结合主客观与人工评估验证其效果。
2025-07-23 cs.SE
RAG-Enhanced Commit Message Generation
本文提出REACT框架，通过混合检索器检索代码差异与提交信息示例，结合微调与上下文学习增强PLMs和LLMs的提交信息生成性能，显著超越基线。
2024-10-03 cs.SE
Evaluating a bot detection model on git commit messages
为了防止大规模社会技术实证分析中的偏见，检测分布式软件开发活动中机器人的存在是非常重要的。在以前的工作中，我们提出了一个分类模型，根据GitHub帐户的pull请求和issue评论来检测GitHub存储库中的机器人。目前的研究基于提交消息对git贡献者进行了概括。我们在一个包含6，922个git贡献者的大型数据集上对分类模型进行了训练和评估。基于pull request和issue comments的原始模型在此数据集上获得了0.77的精度。在git commit消息上重新训练分类模型将精度提高到0.80。作为概念验证，我们在BoDeGiC中实现了这个模型，BoDeGiC是一个开源命令行工具，用于检测git存储库中的机器人。
2021-03-22 cs.SE
Brevity is the Soul of Wit: Condensing Code Changes to Improve Commit Message Generation
本文提出用包含概括变更、提炼注释和强调标识符的简洁模板压缩代码变更，并微调CodeLlama-7B生成提交信息，在多个指标上显著优于基线。
2025-09-19 cs.SE
From Commit Message Generation to History-Aware Commit Message Completion
JetBrains Research（JetBrains研究院）；JetBrains（JetBrains公司）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出历史感知的提交信息补全任务，构建涵盖20种语言、1070万次提交的 CommitChronicle 数据集，并验证历史上下文可提升 CMG 模型与 GPT-3.5-turbo 的表现。
2023-08-15 cs.LG cs.SE
Towards Understanding and Analyzing Rationale in Commit Messages using a Knowledge Graph Approach
本研究构建Kantara端到端设计rationale重构流水线，通过知识图谱结构化提交消息中的rationale信息并提取分类，同时构建Linux内核OOM组件标注数据集，评估显示XGBoost等NLP分类技术效果良好。
2023-09-04 cs.SE
Automatically Generating Commit Messages from Diffs using Neural Machine Translation
University of Notre Dame（圣母大学）
提交消息是理解软件演化的宝贵资源，因为它们提供了诸如功能添加和错误修复之类的更改记录。不幸的是，程序员经常忽视编写好的提交消息。已经提出了不同的技术来帮助程序员自动编写这些消息。这些技术在描述变更内容方面是有效的，但通常是冗长的，并且缺乏理解变更背后的基本原理的上下文。相比之下，人类写的信息很短，总结了高层次的理由。在本文中，我们采用神经机器翻译（NMT）来自动“翻译”差异到提交消息。我们使用来自前1k个Github项目的差异和人类编写的提交消息的语料库训练了一个NMT算法。我们设计了一个过滤器来帮助确保我们只在更高质量的提交消息上训练算法。我们的评估揭示了一种模式，在这种模式中，我们生成的消息往往要么质量很高，要么质量很低。因此，我们创建了一个质量保证过滤器来检测我们无法生成好消息的情况，并返回一个警告。
2017-08-30 cs.CL cs.SE
18 Million Links in Commit Messages: Purpose, Evolution, and Decay
本文大规模研究了23110个GitHub仓库提交中1820万条链接，发现链接引用普遍但易衰减，70%的不同链接遭受衰减，与代码中链接命运相同。
2023-05-26 cs.SE
RACE: Retrieval-Augmented Commit Message Generation
Xi’an Jiaotong University（西安交通大学）；Sun Yat-sen University（中山大学）；Fudan University（复旦大学）；Microsoft Research（微软研究院）；The University of Newcastle（纽卡斯尔大学）
提交消息对于软件开发和维护非常重要。许多基于神经网络的方法已经被提出并在自动提交消息生成方面显示出有希望的结果。但是，生成的提交消息可能是重复的或冗余的。在本文中，我们提出了RACE，一种新的检索增强神经提交消息生成方法，它将检索到的类似提交作为范例，并利用它来生成准确的提交消息。由于检索到的提交消息可能并不总是准确地描述当前代码差异的内容/意图，我们还提出了一个范例引导器，它学习检索到的和当前代码差异之间的语义相似性，然后基于相似性引导提交消息的生成。我们在一个大型公共数据集上用五种程序设计语言进行了广泛的实验。实验结果表明，RACE算法的性能优于所有的基线算法。此外，RACE可以提高现有Seq 2Seq模型在提交消息生成中的性能。
2022-10-22 cs.AI cs.LG cs.SE
LLM-Enhanced Commit Message Generation via Issue Information: An Exploratory Study
School of Computer Science, Wuhan University（武汉大学计算机学院）
该研究提出ISAC框架，将代码差异与问题信息结合作为LLM输入生成提交消息，经实验验证其性能优于现有基线，且纳入问题信息可提升CMG效果。
2026-08-25 cs.SE
CommitBench: A Benchmark for Commit Message Generation
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
针对现有提交消息生成数据集存在的质量差、有偏差等问题，研究构建了遵循最佳实践的大规模基准数据集CommitBench，实验验证源代码预训练的Transformer模型表现最优，并开源代码以推动领域研究。
2024-03-08 cs.CL cs.SE
AI-Powered Commit Explorer (APCE)
Department of Mathematics, Computer Science, and Data Science, Belmont University（数学、计算机科学与数据科学系，贝尔蒙特大学）；Department of Computer Science, Drexel University（计算机科学系，德雷塞尔大学）；Department of Computer Science, Florida State University（计算机科学系，佛罗里达州立大学）
本文提出APCE工具，支持存储多种LLM提示词、通过额外评估提示词增强提交信息，并提供自动化与人工评估机制，以帮助开发者和研究人员更好地使用和研究LLM生成的提交信息。
2025-07-21 cs.AI cs.SE
ComSum: Commit Messages Summarization and Meaning Preservation
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Acumen Labs
我们提出了ComSum，一个用于文本摘要的700万条提交消息的数据集。在记录提交、软件代码更改时，会发布消息及其摘要。我们收集并过滤这些数据，以管理开发人员的工作总结数据集。随着其规模的不断扩大，实用性和具有挑战性的语言领域，数据集受益于经验软件工程的生活领域。由于提交遵循一种类型学，我们建议不仅通过Rouge评估输出，而且通过它们的含义保存来评估输出。
2021-08-23 cs.CL cs.LG cs.SE
SECOMlint: A linter for Security Commit Messages
透明和有效的漏洞和补丁披露仍然是安全社区的一个挑战，主要是因为缺乏标准导致的低质量文档。SECOM是最近提出的安全提交消息的标准约定，它支持为安全补丁编写结构良好且完整的提交消息。该公约规定了不同的安全相关信息，这些信息对于人类和工具更好地了解漏洞至关重要。SECOMlint是一个自动化和可配置的解决方案，可帮助安全和维护团队在提交源版本控制系统中安全漏洞的补丁时推断是否符合SECOM标准。该工具利用自然语言处理技术命名实体识别（NER）从提交消息中提取与安全相关的信息，并使用它来匹配所设计的合规性标准。我们在https：//youtu.be/-1hzpMN_uFI上演示了SECOMlint;在https://tqrg.github.io/secomlint/上演示了文档及其源代码。
2023-01-17 cs.CR cs.SE
Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond
本研究首次全面评估大语言模型在自动提交信息生成任务中的表现，提出高效检索增强的上下文学习框架ERICommiter，显著提升生成质量与检索效率。
2024-11-06 cs.SE
On the Evaluation of Commit Message Generation Models: An Experimental Study
Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）；Xi’an Jiaotong University（西安交通大学）；The University of Newcastle（纽卡斯尔大学）
提交消息是代码更改的自然语言描述，对于程序理解和维护非常重要。然而，手动编写提交消息是费时费力的，特别是当代码频繁更新时。已经提出了利用生成或检索技术来自动生成提交消息的各种方法。为了更好地理解现有方法在解决这一问题时的表现，本文对最先进的模型和数据集进行了系统和深入的分析。我们发现：（1）在以前的工作中使用了BLEU度量的不同变体，这影响了对现有方法的评估和理解。(2)大多数现有的数据集只从Java存储库中抓取，而其他程序设计语言的存储库没有得到充分的探索。(3)数据集分割策略可以在很大程度上影响现有模型的性能。一些模型在按提交拆分数据集时表现出更好的性能，而其他模型在按时间戳或项目拆分数据集时表现更好。根据我们的研究结果，我们进行了人工评估，并找到了与任务的人类得分最相关的BLEU指标。我们还收集了一个大规模的、信息丰富的、多语言的提交消息数据集MCMD，并在这个数据集上评估了现有的模型。此外，我们在不同的数据集分割策略下进行了大量的实验，并提出了不同场景下合适的模型。基于实验结果和发现，我们提供了可行的建议，全面评估提交消息生成模型，并讨论可能的未来研究方向。我们相信这项工作可以帮助从业者和研究人员更好地评估和选择自动提交消息生成的模型。
2021-07-26 cs.AI cs.SE
CommitLLM: A Fine-Tuned Pipeline for Git Commit Message Generation
University of Illinois at Chicago（伊利诺伊大学香槟分校）
针对开发人员编写的信息不足的Git提交消息问题，提出CommitLLM管道，通过微调小语言模型、约束解码和后处理，从代码差异生成合规消息，经评估效果良好，后处理对质量提升贡献更大。
2026-07-21 cs.AI cs.SE
A Sketch-Based Neural Model for Generating Commit Messages from Diffs
University Politehnica of Bucharest（布加勒斯特理工大学）
提交消息在软件开发中有着重要的影响，特别是在大型团队中工作时。具有不同写作风格的多个开发人员可能经常参与同一个项目。出于这个原因，可能很难保持编写信息性提交消息的严格模式，最常见的问题是这些消息的描述性不够。在本文中，我们应用神经机器翻译（NMT）技术，将代码差异转换为提交消息，我们提出了一个改进的基于草图的编码器，这项任务。我们将方法分为三个部分。首先，我们专注于找到一个更合适的NMT基线这个问题。其次，我们证明了NMT模型的性能可以通过对包含特定文件类型的示例进行训练来提高。最后，我们介绍了一种新的基于草图的神经模型的灵感来自最近的方法用于代码生成，我们表明，基于草图的编码器显着优于现有的最先进的解决方案。结果突出表明，这种改进是相关的，特别是Java源代码文件，通过检查两个不同的数据集，近年来介绍了这项任务。
2021-04-08 cs.CL cs.SE
COMET: Generating Commit Messages using Delta Graph Context Representation
Dalhousie University（达尔豪斯大学）
针对提交消息生成中上下文捕获不足的问题，提出基于增量图表示和Transformer的Comet方法，在多个指标上优于现有技术及GPT模型，可用于生成上下文感知的提交消息。
2024-02-02 cs.AI cs.CL cs.SE
CoreGen: Contextualized Code Representation Learning for Commit Message Generation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；Sun Yat-Sen University（中山大学）；Nanyang Technological University（南洋理工大学）
为代码提交自动生成高质量的提交消息可以大大方便软件开发人员的工作和协调。然而，源代码和自然语言之间的语义鸿沟给这项任务带来了重大挑战。已经提出了一些研究来减轻挑战，但没有明确涉及提交消息生成过程中的代码上下文信息。具体来说，现有的研究采用静态嵌入代码令牌，它将令牌映射到相同的向量，而不管其上下文。在本文中，我们提出了一种新的上下文代码表示学习策略的提交消息生成（CoreGen）。CoreGen首先学习利用代码提交序列背后的上下文信息的上下文化代码表示。在Transformer上构建的代码提交的学习表示然后被微调以用于下游提交消息生成。在基准数据集上的实验表明，我们的模型在BLEU-4评分方面至少提高了28.18%，优于基线模型。此外，我们还强调了未来的机会，在更大的代码语料库作为解决方案，以低资源的任务和适应上下文的代码表示框架，以其他代码到文本生成任务训练上下文的代码表示。
2021-06-21 cs.CL cs.LG cs.SE
KADEL: Knowledge-Aware Denoising Learning for Commit Message Generation
Fudan University（复旦大学）；University of Macau（澳门大学）；Sun Yat-sen University（中山大学）；Chongqing University（重庆大学）；Tongji University（同济大学）
本文提出知识感知去噪学习方法 KADEL，利用少量良好实践提交学习提交知识，并通过动态去噪训练为其余样本补充信息，在 MCMD 数据集上取得了最先进的提交信息生成性能。
2024-01-16 cs.AI cs.SE
CodeFuse-CommitEval: Towards Benchmarking LLM's Power on Commit Message and Code Change Inconsistency Detection
Ant Group（蚂蚁集团）；The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；The University of New South Wales（新南威尔士大学）
CodeFuse-CommitEval是首个用于评估LLM检测提交信息与代码变更不一致能力的基准，通过生成七类不一致消息并验证样本，评估六种开源LLM在不同增强策略下的表现，揭示了不同增强方法对模型性能的影响及不同类型不一致的检测差异。
2025-11-25 cs.AI cs.SE
Understanding Emotions of Developer Community Towards Software Documentation
开源项目的可用性促进了开发人员在广泛的项目上做出贡献和协作。因此，为此类开源项目做出贡献的开发人员社区也在增加。许多项目都涉及频繁更新和广泛重复使用。一个更新良好的文档有助于更好地理解软件项目，也有助于有效的贡献和重用。虽然软件文档在软件开发和维护过程中扮演着重要的角色，但它也存在着诸如不充分、不一致、可维护性差等问题，探讨开发人员对文档的看法有助于理解软件文档中普遍存在的问题背后的原因。它可以进一步帮助决定可以向开发人员社区提供的培训，以便为社会建立更可持续的项目。分析项目贡献者的情绪可以为理解开发人员的看法提供见解。因此，作为朝着这个方向迈出的第一步，我们分析了特定于软件项目文档的提交消息的情感。为此，我们考虑了GHTorrent数据集中998个GitHub项目的提交历史，并确定了10，996个提交对应于存储库的文档。此外，我们应用情感分析技术来获得对所选提交的提交消息中表达的情感类型的见解。我们观察到，大约45%的已识别提交消息表达了信任情绪。
2021-03-01 cs.SE
PatchSeeker: Mapping NVD Records to their Vulnerability-fixing Commits with LLM Generated Commits and Embeddings
PatchSeeker利用大语言模型生成提交摘要和嵌入，将NVD漏洞记录映射到修复提交，在基准上比Prospector提升59.3% MRR和27.9% Recall@10。
2025-09-09 cs.CR cs.SE
Lore: Repurposing Git Commit Messages as a Structured Knowledge Protocol for AI Coding Agents
本文提出Lore协议，通过Git trailers重构提交信息，生成包含约束、拒绝替代方案、代理指令和验证元数据的自包含决策记录，以解决AI编码代理在代码生产与消费中机构知识流失的问题。
2026-03-16 cs.AI cs.SE cs.SY
Code Change Characteristics and Description Alignment: A Comparative Study of Agentic versus Human Pull Requests
Trent University（特伦特大学）
研究比较了代理与人类生成的拉取请求在代码变更特征和描述质量上的差异，发现代理在提交级消息质量上表现更好，但在PR级总结上不如人类，揭示了代理在微观精确性与宏观沟通之间的差距。
2026-01-24 cs.SE
The Corrective Commit Probability Code Quality Metric
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了一个代码质量度量，纠正提交概率（CCP），测量的概率，提交反映纠正性维护。我们表明，这个指标符合开发人员的质量，信息和稳定的概念。通过将语言模型应用于提交消息来识别纠正提交。通过将语言模型应用于提交消息来识别纠正提交。我们计算了所有大型活跃GitHub项目的CCP（2019年至少有200个提交的7，557个项目）。这导致了一个质量等级的创建，表明质量最低的10%的项目在修复bug上花费的精力至少是前10%的6倍。对项目属性的分析表明，较低的CCP（较高的质量）与较小的文件，较低的耦合，使用JavaScript和C#等语言而不是PHP和C++，更少的开发人员，更低的开发人员流失，更好的入门和更高的生产力有关。除其他外，这些结果支持“质量是免费的”的说法，并建议实现更高的质量不需要更高的费用。
2020-07-21 cs.LG cs.SE
Evaluating LLM-Based Regression Test Generation
MPI-SP（Max Planck Institute for Software Process Engineering）；University of California at Los Angeles（加州大学洛杉矶分校）；University of Padua（帕多瓦大学）
研究利用大语言模型为特定程序即时生成回归测试，将其作为机器翻译任务，通过对多个项目测试，反馈导向的零样本原型Cleverest表现良好，还探讨了提交消息对其效果的影响。
2026-07-07 cs.AI cs.SE
Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings
JetBrains Research（JetBrains研究院）；University of Colorado（科罗拉多大学）
本文提出以用户提交前编辑次数为在线标准，构建并扩展656对GPT-4生成与专家编辑提交信息数据集，评估离线相似度指标，发现编辑距离最贴合真实用户偏好。
2025-01-08 cs.HC cs.LG cs.SE
ReleaseEval: A Benchmark for Evaluating Language Models in Automated Release Note Generation
The Leiden Institute of Advanced Computer Science (LIACS), Leiden University（莱顿大学高级计算机科学研究所）
本文提出ReleaseEval基准，包含94,987份发行说明，支持三种输入粒度任务，系统评估语言模型在自动化发行说明生成中的表现，发现大模型在利用结构化信息上优于传统基线但在长代码差异抽象上仍有挑战。
2025-11-04 cs.SE
Toward the Automatic Classification of Self-Affirmed Refactoring
Rochester Institute of Technology（罗切斯特理工学院）；ETS Montreal, University of Quebec（魁北克大学蒙特利尔工程技术学院）
自我确认重构（SAR）的概念被引入来探索开发人员如何在提交消息中记录他们的重构活动，即，开发人员在代码更改期间有意引入的重构操作的显式文档。在我们之前的研究中，我们已经手动识别了重构模式，并定义了三个主要的常见质量改进类别，包括内部质量属性，外部质量属性和代码气味，只考虑重构相关的提交。然而，这种方法严重依赖于提交消息的手动检查。在本文中，我们提出了一个两步的方法，首先确定一个提交是否描述了开发人员相关的重构事件，然后根据重构常见的质量改进类别进行分类。具体来说，我们结合了N-Gram TF-IDF特征选择与二进制和多类分类器，建立一个新的模型来自动分类的重构的基础上，他们的质量改进类别。我们使用从精心设计的开源Java项目中提取的总共2，867条提交消息来挑战我们的模型。我们的研究结果表明，（1）我们的模型能够准确地分类SAR提交，优于基于模式和随机分类器的方法，并允许发现40个更相关的SAR模式，（2）即使使用相对较小的训练数据集，我们的模型也达到了高达90%的F-测量。
2020-09-19 cs.LG cs.SE
Path-Sensitive Atomic Commit: Local Coordination Avoidance for Distributed Transactions
内容：具有异步消息传递的并发对象是构造高可用性、高性能、大规模软件系统的一种越来越流行的方法。为了保证数据的一致性和支持对象间的同步，这类系统通常使用分布式事务，使用两阶段锁（2 PL）进行并发控制，使用两阶段提交（2 PC）作为原子提交协议。然而，在高可用性、高吞吐量的系统中，例如大型银行基础设施，当对象高度竞争时，当对象由于锁定而排队大量消息时，2 PL成为瓶颈。方法：在本文中，我们引入路径敏感的原子提交（PSAC）来解决这种情况。我们从消息处理程序（或方法）开始，它用前置和后置条件装饰，描述它们的保护和效果。知识：这允许PSAC锁定机制检查同时传入的两个消息的效果是否独立，并且如果是这种情况则避免锁定。结果，更多的消息被直接接受或拒绝，并获得更高的总吞吐量。基础：我们已经为一个名为Rebel的基于状态机的DSL实现了PSAC，它是在基于Akka actor框架的运行时之上。我们的性能评估表明，PSAC表现出相同的可扩展性和延迟特性的标准2 PL/2 PC，并获得高达1.8倍的平均吞吐量在拥塞的情况下。重要性：我们相信PSAC是使组织能够构建可扩展的分布式应用程序的一个步骤，即使他们的一致性要求并不是非常并行的。
2020-06-09 cs.DC cs.PL cs.SE
A Full-fledged Commit Message Quality Checker Based on Machine Learning
Innoopract GmbH（Innoopract有限责任公司）；QPR Technologies（QPR科技公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文针对缺乏自动评估提交信息质量工具的问题，基于机器学习训练模型检查CM质量规则，开发了开源框架，最差任务F$_1$达82.9%，有效提升软件可维护性。
2023-09-09 cs.AI cs.LG cs.SE
On the Documentation of Refactoring Types
提交消息是软件文档的原子级。它们提供代码更改及其目的的自然语言描述。消息对于软件维护和程序理解是至关重要的。与记录功能更新和错误修复不同，开发人员如何记录他们的重构活动知之甚少。开发人员可以出于各种原因执行多个重构操作，包括移动方法、提取类。然而，没有系统的研究，分析在何种程度上重构的文档准确地描述了重构操作在源代码级别执行。因此，本文挑战重构文档的能力，充分预测重构类型，在提交级别执行。我们的分析依赖于提交消息的文本挖掘来提取更好地代表每个类的相应特征。提取特定于每个重构的文本模式允许设计一个模型，该模型验证这些模式与其相应重构的一致性。这样的验证过程可以通过自动预测所应用的重构的方法级别类型来实现，即提取方法、内联方法、移动方法、上拉方法、下推方法和嵌入方法。我们使用5,004个提交的数据集，比较了各种分类器和基于关键字的基线方法的预测性能。我们的主要发现表明，重构类型预测的复杂性因类型而异。研究发现，重构方法和提取方法是记录最好的重构活动，而上拉方法和下推方法是最难通过文本描述来识别的。这些发现使开发人员注意到更加关注这些类型的文档的必要性。
2021-12-02 cs.SE
What really changes when developers intend to improve their source code: a commit-level study of static metric value and static analysis warning changes
许多软件度量被设计用来度量那些被认为与软件质量相关的方面。静态软件度量，例如，规模、复杂性和耦合性被用于缺陷预测研究以及软件质量模型来评估软件质量。虽然这表明了质量和软件度量之间的关系，但它的程度还没有得到很好的理解。此外，最近的研究发现，复杂性度量可能是源代码可理解性的不可靠指标。为了探索这种关系，我们利用开发人员的意图，即什么构成了他们自己代码库的质量改进。我们通过检查提交消息，将来自54个Java开源项目的2，533个提交的随机样本手动分类为质量改进，这取决于开发人员的意图。我们通过预定义的指导方针区分完美和纠正性维护，并将这些数据用作基础事实，用于微调自然语言处理的最先进的深度学习模型。我们使用该模型将数据集增加到125，482次提交。基于由此产生的数据集，我们调查的差异大小和14静态源代码指标之间的变化，提高质量，由开发人员表示，和其他变化。我们发现，质量改善提交比其他提交更小。完美的更改对静态源代码指标有积极的影响，而纠正性更改则倾向于增加复杂性。此外，我们发现，文件的目标是完善的维护已经有一个较低的中位数比其他文件的复杂性。我们的研究结果提供了经验证据，静态源代码度量捕获质量改进从开发人员的角度来看。这对程序理解以及代码气味检测和推荐系统都有影响。
2022-05-30 cs.SE
Automatic Identification of Self-Admitted Technical Debt from Four Different Sources
University of Groningen（格罗宁根大学）
本文提出整合代码注释、提交消息、拉取请求和问题跟踪系统四类来源的 SATD 自动识别方法，F1 达 0.611，并基于 103 个开源项目揭示其分布、关键词与跨来源关系。
2023-04-21 cs.AI cs.SE
