Finding Regressions in Projects under Version Control Systems
版本控制系统(Version Control Systems,缩写为VCS)通常用于支持大型软件项目的开发。一个典型的大型项目的MySQL存储库可以包含由大量提交组成的各种相互交织的分支。如果在项目中发现了某种不想要的行为(例如代码中的bug),那么最好找到引入它的提交。这样的提交被称为回归点。关于回归点有两个主要问题。首先,在某个提交之后检测项目是否正确可能是非常昂贵的,因为它可能包括大规模测试和/或一些其他形式的验证。因此,期望最小化这种查询的数量。第二,在实际提交之前可能有几个回归点;也许在某个提交中引入了一个bug,后来无意中修复了几个提交,然后在更晚的提交中重新引入。为了修复实际的提交,通常需要找到最新的回归点。目前使用的分布式递归包含回归识别的方法,例如git bisect工具。在本文中,我们提出了一个新的回归识别算法,通过减少有效性查询的数量,优于当前的工具。同时,我们的算法倾向于找到最新的回归点,这是最先进的算法中缺少的功能。本文提供了一个实验评估所提出的算法,并将其与最先进的工具git bisect在一个真实的数据集。
2017-08-22 cs.SE
An empirical evaluation of the usefulness of Tree Kernels for Commit-time Defect Detection in large software systems
在提交签入时进行缺陷检测可以防止缺陷引入软件系统。目前的缺陷检测方法依赖于基于度量的模型,这些模型不是很准确,并且其结果对开发人员没有直接的用处。我们提出了一种方法来检测bug诱导提交通过比较传入的更改与项目中所有过去的提交,同时考虑那些引入缺陷和那些没有。我们的方法在方法级的粒度上单独考虑提交中的单个更改。这样做有助于开发人员,因为他们被告知需要进一步关注的特定方法,而不是被告知整个提交都有问题。我们的方法将源代码表示为抽象语法树,并使用树内核来估计代码与以前提交的相似性。我们使用子树内核(STK),子集树内核(SSTK)或部分树内核(PTK)进行实验。然后使用K-NN分类器对过去的更改进行分类。我们使用NiCad克隆检测器作为基线,在BigCloneBench基准和Technical Debt数据集上评估我们的方法。我们的BigCloneBench基准测试的实验表明,树内核的方法可以检测克隆与NiCad的MAP相当。此外,在使用Technical Debt数据集进行缺陷检测时,树核的效率最低,MRR、F分数和准确度分别为0.87、0.80和0.82。
2021-06-21 cs.SE
20-MAD -- 20 Years of Issues and Commits of Mozilla and Apache Development
长期和高知名度项目的数据对于研究野外成功的软件工程是有价值的。拥有一个包含这些项目的不同链接软件库的数据集,可以进行更深入的潜水调查。本文介绍了20-MAD,一个链接Mozilla和Apache项目的提交和发布数据的数据集。它包含了超过20年的765个项目的信息,340万次提交,230万次问题和1730万次问题评论,其压缩大小超过6 GB。数据包含有关源代码提交的所有典型信息(例如,添加和删除的行、消息和提交时间)和问题(状态、严重性、投票和摘要)。问题评论已经过自然语言处理和情感分析的预处理。这包括表情符号、效价和唤醒分数。链接代码存储库和问题跟踪器信息,允许在两种类型的存储库中研究个人,并为问题跟踪器提供更准确的时区信息。据我们所知,这是不基于GitHub的项目生命周期中最大的链接数据集。
2020-03-31 cs.SE
How to Gain Commit Rights in Modern Top Open Source Communities?
本研究通过主题分析构建顶级开源社区提交者资质分类体系,结合生存分析探究政策与实践的匹配情况,为社区权限分配和开发者发展提供参考。
2024-05-16 cs.SE
Multi-Programming-Language Commits in OSS: An Empirical Study on Apache Projects
Spark等现代软件系统通常使用多种程序设计语言(PL)编写。除了从代码重用中受益外,这些系统还可以利用特定PL来实现某些功能,以满足各种质量需求,并提高开发效率。在这种情况下,对这样的系统的改变可能需要修改在不同PL中写入的源文件。我们在版本控制系统中定义了多编程语言提交(MPLC)(例如,Git)作为提交,该提交涉及在两个或更多PL中写入的修改的源文件。据我们所知,在软件开发中的MPLCs现象还没有被探索过。鉴于多层次可编程逻辑控制器对开发难度和软件质量的潜在影响,我们进行了一项实证研究,以了解多层次可编程逻辑控制器的状态,其变化的复杂性,以及它们对问题的开放时间和源文件在现实生活中的软件项目的错误倾向的影响。通过对20个非平凡Apache项目205,994次提交中的MPLCs进行研究,我们发现:(1)所有项目中9%的提交是MPLCs,并且80%的项目中MPLCs的比例处于相对稳定的水平;(2)所有项目中超过90%的MPLCs涉及两个PL编写的源文件;(3)在所有项目中,多媒体可编程逻辑控制器的变更复杂度明显高于非多媒体可编程逻辑控制器;(4)在80%的项目中,多媒体可编程逻辑控制器中修复的问题比非多媒体可编程逻辑控制器中修复的问题需要更长的时间来解决;以及(5)在多媒体可编程逻辑控制器中修改过的源文件往往比从未在多媒体可编程逻辑控制器中修改过的源文件更容易出现错误。这些发现为…
2021-03-22 cs.SE
An Empirical Study on the Impact of Change Granularity in Refactoring Detection
School of Computing, Institute of Science Tokyo(东京科学大学计算学院)
通过实证研究32个Java项目,发现跨提交的粗粒度重构和短暂重构普遍存在,并分析了其特征、成因及提交消息关联,建议扩展检测器以识别粗粒度重构。
2026-09-09 cs.SE
Boosting Automatic Commit Classification Into Maintenance Activities By Utilizing Source Code Changes
背景资料:了解在源代码存储库中执行的维护活动可以帮助从业人员减少不确定性,并通过提前规划和预分配资源来提高成本效益。研究界使用3个主要的分类类别进行维护活动:纠正:故障修复;完善:系统改进;适应:新功能引入。以前在这方面的工作主要集中在评估提交分类(到维护活动)模型在一个单一的软件项目的范围。目的:在这项工作中,我们试图设计一个提交分类模型,能够提供高精度和Kappa在不同的项目。此外,我们希望比较利用词频分析、源代码变化及其组合的分类模型的准确性和Kappa特性。方法:我们提出了一种新的方法,自动分类到维护活动的提交,利用源代码的变化(例如,语句添加,方法删除等)。我们报告的结果是基于研究来自不同专业领域的11个流行的开源项目,我们手动分类了1151个提交,每个研究项目超过100个。我们的模型使用85%的数据集进行训练,而剩下的15%用作测试集。结果如下:我们的方法显示了76%的准确率和63%的科恩kappa(在这种情况下被认为是“好”)的测试数据集,超过20个百分点的改进,以及在跨项目分类的背景下相对提升约40%。结论:我们表明,通过使用源代码更改与提交消息词频分析相结合,我们能够以项目不可知的方式大大提高分类质量。
2017-11-14 cs.SE
An Empirical Analysis of Git Commit Logs for Potential Inconsistency in Code Clones
本研究针对代码克隆对提交日志分析不足的问题,通过git-log分析Apache基金会45个仓库的克隆提交情况,发现克隆变更频率低、共同变更占比约一半且存在大量潜在不一致克隆对,凸显了克隆全周期一致性管理的必要性。
2024-09-13 cs.SE
Evaluating SZZ Implementations: An Empirical Study on the Linux Kernel
本文在Linux内核76,046对缺陷修复与引入提交上实证评估六种SZZ算法,揭示其召回率显著下降且差异缩小,并提出TC-SZZ方法以追踪变更历史,提升缺陷引入提交识别能力。
2024-06-07 cs.SE
Understanding Emotions of Developer Community Towards Software Documentation
开源项目的可用性促进了开发人员在广泛的项目上做出贡献和协作。因此,为此类开源项目做出贡献的开发人员社区也在增加。许多项目都涉及频繁更新和广泛重复使用。一个更新良好的文档有助于更好地理解软件项目,也有助于有效的贡献和重用。虽然软件文档在软件开发和维护过程中扮演着重要的角色,但它也存在着诸如不充分、不一致、可维护性差等问题,探讨开发人员对文档的看法有助于理解软件文档中普遍存在的问题背后的原因。它可以进一步帮助决定可以向开发人员社区提供的培训,以便为社会建立更可持续的项目。分析项目贡献者的情绪可以为理解开发人员的看法提供见解。因此,作为朝着这个方向迈出的第一步,我们分析了特定于软件项目文档的提交消息的情感。为此,我们考虑了GHTorrent数据集中998个GitHub项目的提交历史,并确定了10,996个提交对应于存储库的文档。此外,我们应用情感分析技术来获得对所选提交的提交消息中表达的情感类型的见解。我们观察到,大约45%的已识别提交消息表达了信任情绪。
2021-03-01 cs.SE
An Empirical Study of Token-based Micro Commits
本研究针对现有小型变更定义丢失行内token信息的局限,提出基于变更token的微提交概念,通过四个OSS项目实证其特征,并提出用token级信息支撑相关软件工程方法。
2024-05-15 cs.SE
Commit-Aware Learning-Based Test Case Prioritization for Continuous Integration
University of Sannio(桑尼奥大学)
提出一种结合代码变更结构、测试覆盖和历史执行的提交感知学习模型,用于持续集成中的测试优先级排序,显著提升回归缺陷检测效果。
2026-06-11 cs.SE
Exploring Multi-Programming-Language Commits and Their Impacts on Software Quality: An Empirical Study on Apache Projects
本研究通过对18个Apache项目的197,566次提交进行实证分析,发现多编程语言提交(MPLCs)显著增加开发复杂度、延长问题解决时间并引入更多缺陷,从而降低软件质量。
2023-11-12 cs.SE
A Model of the Commit Size Distribution of Open Source
编程中的一个基本工作单元是开发人员对工作中的项目的代码库做出的代码贡献(“提交”)。我们使用统计方法来推导出一个模型的概率分布的提交大小在开源项目中,我们表明,该模型适用于不同的项目规模。我们使用图形和统计方法来验证我们的模型的拟合优度。通过测量和建模编程的基本维度,我们帮助改进软件开发工具和我们对软件开发的理解。
2014-08-21 cs.SE
Was It Never Collected, or Rewritten Away? A Commit-Provenance Dataset Separating Ingestion Gaps from Upstream History Edits across the World of Code
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
通过比较同一提交图的两种视图,即GHArchive事件流和世界代码(WoC)V2604对象数据库,分离提交缺失的不同原因,构建数据集,分析不同情况比例,发布相关数据及处理结果。
2026-07-07 cs.SE
The best defense is a good defense: adapting negotiation methods for tackling pressure over software project estimates
软件评估是软件项目成功的关键,也是一项具有挑战性的活动。我们认为,估计问题不仅限于产生的估计,而且还使用承诺建立:项目利益相关者的压力估计改变他们的估计或接受不切实际的承诺,以实现业务目标。在这项研究中,我们采用了设计科学研究(DSR)的方法来设计一个基于谈判方法的工件,使软件评估人员能够在面对压力时捍卫他们的估计和寻找不切实际的承诺的替代方案。该人工制品是在实践者中传播谈判软技能的具体步骤。我们提出了初步的结果,从一个焦点小组,表明从业者从软件行业可以使用的工件在一个具体的情况下,估计和建立有关软件项目的承诺。我们未来的步骤包括根据焦点小组参与者的建议改进工件,并在行业中的实际软件项目中对其进行经验评估。
2022-03-25 cs.SE
From Commits to Confidence: Towards Stability-Informed Risk Assessment in Open Source Software
George Mason University(乔治梅森大学);Queen’s University(女王大学)
本文研究了开源软件项目稳定性与韧性,发现稳定提交模式能反映项目治理和开发流程,提出需结合社区参与等指标进行稳定性导向的风险评估。
2026-01-05 cs.SE
The Corrective Commit Probability Code Quality Metric
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出了一个代码质量度量,纠正提交概率(CCP),测量的概率,提交反映纠正性维护。我们表明,这个指标符合开发人员的质量,信息和稳定的概念。通过将语言模型应用于提交消息来识别纠正提交。通过将语言模型应用于提交消息来识别纠正提交。我们计算了所有大型活跃GitHub项目的CCP(2019年至少有200个提交的7,557个项目)。这导致了一个质量等级的创建,表明质量最低的10%的项目在修复bug上花费的精力至少是前10%的6倍。对项目属性的分析表明,较低的CCP(较高的质量)与较小的文件,较低的耦合,使用JavaScript和C#等语言而不是PHP和C++,更少的开发人员,更低的开发人员流失,更好的入门和更高的生产力有关。除其他外,这些结果支持“质量是免费的”的说法,并建议实现更高的质量不需要更高的费用。
2020-07-21 cs.LG cs.SE
Detecting Refactoring Commits in Machine Learning Python Projects: A Machine Learning-Based Approach
本文提出 MLRefScanner,利用机器学习检测 Python ML 项目中的通用与 ML 特有重构提交,在 199 个项目上显著优于现有工具。
2024-04-09 cs.SE
Using Source Code Density to Improve the Accuracy of Automatic Commit Classification into Maintenance Activities
Linnaeus University(林奈大学)
源代码因某种原因而更改,例如,这个原因可以为开发过程提供有价值的见解,但是当更改提交到源代码存储库时,很少明确记录。自动提交分类使用从提交中提取的特征来估计此原因。我们介绍了源代码密度,一个提交的净大小的度量,并展示了它如何提高自动提交分类的准确性相比,以前的大小为基础的分类。我们还研究了前几代提交如何影响提交的类,以及是否考虑到以前提交的代码密度可以进一步提高准确性。对于跨项目提交分类,我们实现了高达89%的准确率和0.82的Kappa,其中模型在一个项目上训练并应用于其他项目。在单个项目上训练的模型的准确率高达93%,Kappa接近0.90。自动提交分类的准确性对利用分类的软件(过程)质量分析有直接影响,因此我们对准确性的改进也将提高此类分析的置信度。
2020-05-28 cs.LG cs.SE
Are Coding Agents Generating Over-Mocked Tests? An Empirical Study
UFMG(米纳斯吉拉斯联邦大学);Univ. Bordeaux, CNRS, Bordeaux INP, LaBRI(波尔多大学、法国国家科学研究中心、波尔多国立高等电子与计算机学院、拉布里实验室)
本文研究了编码代理生成测试中模拟的使用情况,发现代理更倾向于修改测试并添加模拟,同时指出模拟测试可能更容易自动生成但验证效果较弱。
2026-01-30 cs.SE
Do the Fix Ingredients Already Exist? An Empirical Inquiry into the Redundancy Assumptions of Program Repair Approaches
许多关于自动程序修复的初步研究都集中在实验结果上,以探索它们找到补丁和减少开发工作的潜力。相对较少的努力已经投入到了解如何和为什么这样的方法。例如,GenProg技术的一个关键假设是,某些错误可以通过复制和重新排列现有代码来修复。换句话说,GenProg假设修复成分已经存在于代码中的其他地方。在本文中,我们围绕“时间冗余”的概念形式化了这些假设。一个时间冗余的提交仅仅是由先前提交中已经存在的内容组成的。我们的实验表明,添加现有代码的提交中有很大一部分是时间冗余的。这验证了GenProg的基本冗余假设。
2014-03-25 cs.SE
Developer Belief vs. Reality: The Case of the Commit Size Distribution
软件开发工具的设计遵循这些工具的开发人员对软件开发的信念。这种信念的一个关键方面是对软件项目的代码贡献(提交)的大小。在本文中,我们表明,工具开发人员认为是真实的代码贡献的大小是不同的,从现实中超过一个数量级。我们为开源和选定的闭源项目的大样本呈现了这个现实,称为提交大小分布。我们认为,这些新的经验性的见解将有助于提高软件开发工具,调整基本的设计假设更接近现实。
2014-08-20 cs.SE
Characterizing the Roles of Contributors in Open-source Scientific Software Projects
科学软件的开发对科学实践比以往任何时候都更加重要,并且伴随着更加开放和协作的趋势。不幸的是,很少有人调查是谁在推动这种科学软件的发展,或者这种合作是如何发生的。在本文中,我们解决这个问题。我们提出了一个广泛的分析,七个开源科学软件项目,以开发一个开发过程的知识模型。这项分析得到了对72名科学软件开发人员的调查的补充。在大多数项目中,我们发现高级研究人员(例如教授)负责一半或更多的提交(平均提交份额为72%),并大量参与架构问题(高级人员更有可能与构建系统,项目元数据和开发人员文档相关的文件进行交互)。大三学生(例如研究生)也做出了很大的贡献--在一个研究项目中,大三学生几乎完成了100%的提交。尽管如此,研究生在大三学生中的贡献时间最长(1.72年,博士后为0.98年,本科生为4个月)。此外,我们还发现,第三方贡献者很少,仅为项目贡献了一天。本研究的结果旨在帮助科学家更好地了解他们自己的项目、社区和贡献者的行为,同时为未来的软件工程研究铺平道路
2020-03-23 cs.SE
Commitment to Software Process improvement Development of Diagnostic Tool to Facilitate Improvement1
本文建议,通过操作的承诺的概念,在一个模型的形状,提供了一个新的见解,在改进软件过程-一个更以人为本的方法,而不是各种技术方法。在这样做的过程中,SPI经理/变更代理能够更好地计划软件过程改进计划,并对成功的项目(以及失败的项目)进行基准测试。从五个SPI专业人士的访谈结果的建议基于行为的承诺模型的报告,连同早期的实证测试结果在14个软件过程改进项目。早期的结果表明,在模型中引入的行为是相关的SPI倡议,模型的使用提高了人们对改进过程中的人的问题的认识,该模型可以使用旁边的CMM,SPICE或其他过程改进模型。关键词:软体过程改善、承诺、诊断工具、自我知觉理论。
2019-03-26 cs.SE
Towards Exploring the Code Reuse from Stack Overflow during Software Development
作为最知名的程序员问答网站之一,Stack Overflow(即,SO)每天为数万名开发者提供服务。以前的工作表明,许多开发人员在SO上重用代码片段,当他们找到一个答案(来自SO),功能上匹配他们在开发活动中遇到的编程问题。为了研究程序员在项目开发过程中如何重用SO上的代码,我们进行了全面的实证研究。首先,为了捕捉程序员的开发活动,我们从793个开源Java项目的提交中收集了342,148个修改过的代码片段,这些修改过的代码可以反映开发过程中遇到的编程问题。我们还从SO上的1,355,617个帖子中收集了代码片段。然后,我们使用CCBACK来检测提交的修改代码与SO的代码之间的代码克隆,并进一步分析程序员在开发过程中解决编程问题时的代码重用。我们统计了不同年份每个项目提交中修改后的代码片段的代码重用率,结果显示代码重用率平均为6.32%,最高为8.38%。项目提交中的代码复用率逐年上升,新成立项目的代码复用比例高于老项目。我们还发现有些项目重用了很多年前的代码片段。此外,我们发现,有经验的开发人员似乎更有可能重用SO上的知识。此外,我们发现,在bug相关的提交(6.67%)的代码重用率略高于在非bug相关的提交(6.59%)。此外,我们还发现,代码重用率(14.44%)在Java类文件中,经历了多次修改是两倍以上的整体代码重用率(6.32%)。
2022-04-27 cs.SE
Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond
本研究首次全面评估大语言模型在自动提交信息生成任务中的表现,提出高效检索增强的上下文学习框架ERICommiter,显著提升生成质量与检索效率。
2024-11-06 cs.SE
Systematic Detection of Energy Regression and Corresponding Code Patterns in Java Projects
University of Namur(南纳穆尔大学);Delft University of Technology(代尔夫特理工大学)
本文提出EnergyTrackr方法,用于检测Java项目中多提交的能源回归,识别潜在增加软件能耗的代码反模式,帮助开发者优化代码以减少能耗。
2026-04-21 cs.SE
A Task-Level Evaluation of AI Agents in Open-Source Projects
Idaho State University(爱达荷州立大学)
本文评估了五个AI代理在开源项目中的表现,发现Codex在PR接受率上表现优异,而Copilot在审查讨论量上领先,但提交质量因任务类型而异。
2026-02-02 cs.SE
The Technical Debt Dataset
技术债分析越来越受欢迎,因为现在的研究人员和行业正在采用各种静态代码分析工具来评估他们的代码质量。尽管如此,软件项目的实证研究是昂贵的,因为需要时间来分析项目。此外,由于研究通常考虑不同的项目,因此很难比较结果。在这项工作中,我们提出了技术债务数据集,这是一组来自Apache软件基金会的33个Java项目的项目测量数据。在Technical Debt Dataset中,我们使用SonarQube分析了单独定义的时间范围内的所有提交,以收集Technical Debt信息,并使用Ptidej检测代码气味。此外,我们从git日志中提取了所有可用的提交信息,使用Refactoring Miner应用的重构,以及问题跟踪器(Jira)中报告的错误信息。使用这些信息,我们执行SZZ算法来识别错误诱导和修复提交。我们分析了来自选定的33个项目的78K提交,检测到180万个SonarQube问题,38K个代码气味,28K个错误和57K个重构。项目分析花了200多天。在本文中,我们描述了数据检索管道以及用于分析的工具。该数据集通过CSV文件和SQLite数据库提供,以方便对数据的查询。技术债务数据集旨在为技术债务研究开辟多种机会,使研究人员能够比较常见项目的结果。
2019-08-02 cs.SE
Characterizing The Influence of Continuous Integration. Empirical Results from 250+ Open Source and Proprietary Projects
持续集成(CI)工具通过在提交代码更改时自动编译、构建和执行测试用例来集成代码更改。CI工具的使用越来越受欢迎,但专有项目如何获得CI的好处仍然是未知的。为了研究CI对软件开发的影响,我们分析了150个开源软件(OSS)项目和123个专有项目。对于OSS项目,我们观察到采用CI后的预期收益,例如,在bug和问题解决方面的改进。然而,对于专有项目,我们不能做出类似的观察。我们的研究结果表明,只有采用CI可能不足以改善软件开发过程。如果实践者有效地使用CI的反馈机制,通过应用频繁提交的实践,CI可以有效地用于软件开发。对于我们的专有项目,我们观察到实践者提交的频率较低,因此不能有效地使用CI来获得对提交的代码更改的反馈。根据我们的研究结果,我们建议行业从业者采用CI的最佳实践,以获得CI工具的好处,例如,频繁提交。
2018-09-14 cs.SE
An Approach and Benchmark to Detect Behavioral Changes of Commits in Continuous Integration
本研究提出名为DCI的自动化方法,通过断言扩增和基于搜索的输入空间探索生成测试变体,以检测CI中提交的行为变更,构建了首个真实行为变更数据集并验证了方法有效性,同时指出其适用范围局限。
2019-12-16 cs.SE
Requirements and the baseline plan
对于每个软件项目,根据文件化的过程,制定一个涵盖软件活动和承诺的计划。分配给软件的需求构成了软件开发计划的基础。对关键计算机资源的估算进行记录、审查和同意。所有受影响的团体和个人都理解这些估计和计划,并承诺支持它们。高级管理层于作出对外承担前审阅估计及计划。识别和评估与项目的成本、资源、进度和技术方面相关的软件风险,并记录意外事件。收集规划和估算数据,用于规划后续项目,并作为管理监督审查会议的投入。
2012-01-21 cs.SE
An Exploratory Study of Project Activity Changepoints in Open Source Software Evolution
为了探索开源项目活动中突然变化(变化点)的普遍性,我们收集了来自代码世界的8,919个项目的数据集。项目是根据年龄,提交数量和作者数量选择的。使用非参数PELT算法,我们确定了项目活动时间序列中的变点,发现超过90%的项目有一到六个变点。项目活动的增加和减少频率大致相同。虽然大多数变化都相对较小,大约每月只有几个作者或几十个提交,但项目活动的变化却很大。在未来的工作中,我们计划将重点放在更大的变化上,以搜索常见的开源生命周期模式以及对外部事件的常见响应。
2021-03-19 cs.SE
The Co-Evolution of Test Maintenance and Code Maintenance through the lens of Fine-Grained Semantic Changes
自动化测试是一种被广泛采用的提高软件质量的技术。作为软件开发过程的一部分,以及在初始发布后的演变阶段,软件开发人员添加、删除和更新测试方法和测试类。在这项工作中,我们进行了大规模的研究,61个流行的开源项目,并报告之间的关系,我们已经建立了测试维护,生产代码维护,语义变化(例如,语句添加,方法删除等)。在开发人员的提交中执行。我们建立了预测模型,并表明软件项目中的测试数量可以通过使用代码维护配置文件(即,在每个维护活动中执行了多少次提交:纠正、完善、自适应)。我们的研究结果还表明,开发人员在同一提交中执行代码修复而不执行补充测试维护(例如,更新现有测试或添加新测试)。当开发人员执行测试维护时,很可能会受到他们作为提交的一部分执行的语义更改的影响。我们的工作是基于研究61个流行的开源项目,包括超过240,000个提交,其中包括超过16,000,000个语义更改类型实例,由超过4,000名软件工程师执行。
2017-09-26 cs.SE
A Purpose-oriented Study on Open-source Software Commits and Their Impacts on Software Quality
本研究针对不同类别提交对开源软件质量影响的研究不足,对提交进行分类并训练预测模型实现自动化分类,进而探究不同目的提交对质量的影响,最终建立新的提交更改指南以提升软件质量。
2025-03-04 cs.SE
Mind the Gap: An Empirical Study of Synchronization Gaps, Delays, and Missed Opportunities in Software Forks
Nanyang Technological University(南洋理工大学)
本研究针对GitHub分支家族开展大规模实证研究,开发监控平台挖掘分支提交,发现同步悖论等关键结果,揭示分支开发同步的核心问题与原因。
2026-08-18 cs.SE
On Relating Technical, Social Factors, and the Introduction of Bugs
随着协作编码环境使软件项目更容易做出贡献,参与这些项目的开发人员数量不断增加。这种增加使得代码审查者更难处理有bug的贡献。像GitHub这样的协作环境提供了关于开发人员贡献的丰富数据源。这样的数据可以用于提取关于开发者的关于技术的信息(例如,他们的经验)和社会(例如,的相互作用)因素。最近的研究分析了这些因素对软件开发的不同活动的影响。然而,在这些因素与错误引入之间的关系方面仍有改进的余地。我们提出了一个更广泛的研究,包括来自不同领域的8个项目和6,537个错误报告,涉及五个技术因素,三个社会因素和错误的介绍。结果表明,技术和社会因素可以区分错误和干净的承诺。但是,技术因素比社会因素更具决定性。特别是,开发人员不遵守技术贡献规范的习惯和开发人员的提交缺陷与提交缺陷的增加有关。另一方面,项目的建立、开发者提交的所有权级别和社会影响力与引入错误的机会较低有关。
2020-04-07 cs.SE
What Makes a Good Commit Message?
协作软件开发中的一个关键问题是开发人员之间的沟通。一种通信方式是提交消息,开发人员在其中描述他们在存储库中所做的更改。因此,提交消息作为一种“审计跟踪”,开发人员可以通过它了解项目的源代码是如何更改的以及更改的原因。因此,提交消息的质量会影响开发人员之间通信的有效性。提交消息通常质量很差,因为开发人员缺乏时间和动力来制作好的消息。已经提出了几种自动方法来生成提交消息。然而,这些都是基于未经策划的数据集,包括相当大比例的措辞拙劣的提交消息。在这个多方法研究中,我们首先定义什么是“好”的提交消息,然后使用来自五个高度活跃的开源项目的近1,600条消息的样本来确定提交消息中缺少信息的比例。我们发现,平均约44%的消息可以得到改进,这表明使用未经策划的数据集可能是使用此类数据训练提交消息生成器时的主要威胁。我们还观察到,以前的工作没有考虑提交消息的语义,并且令人惊讶的是,编写好的提交消息的指导很少。为此,我们开发了一个基于提交消息表达式中重复出现的模式的分类法。最后,我们调查是否可以自动识别“好”的提交消息,这样的自动化可以促使开发人员编写更好的提交消息。
2022-02-07 cs.HC cs.SE
Traceability in the Wild: Automatically Augmenting Incomplete Trace Links
Technical University Ilmenau(伊尔梅瑙工业大学);University of Notre Dame(圣母大学);McGill University(麦吉尔大学)
本文针对提交与问题之间追溯链接缺失的问题,提出利用过程与文本特征训练分类器自动识别缺失的问题标签,在六个开源项目上取得平均96%召回率和33%精确率,并能有效扩充现有追溯链接。
2018-04-06 cs.SE
Model Contribution Rate Theory: An Empirical Examination
本文提出 mhMCR 方法,通过聚类、提交时间差和贡献规模识别持续开发工作,并在多个商业仓库中验证其能更准确地衡量开发者生产率。
2024-12-08 cs.SE
Finding Relationships between Socio-Technical Aspects and Personality Traits by Mining Developer E-mails
人格特质影响着大多数(如果不是全部的话)人类活动,从人们走路、说话、穿衣和写作的方式,到与他人互动的方式。最重要的是,个性会影响人们做决定的方式,包括在开发人员的情况下,他们在选择他们想要参与的软件项目时所考虑的标准。大多数研究软件开发项目中社会、技术和人为因素的影响的工作都集中在软件质量中沟通的影响上。例如,在发布软件产品的增强版本之前,识别预测器以检测可能包含错误的文件。这些作品中只有少数关注自由/自由和开源软件项目中具有提交权限的开发人员(提交者)的个性特征及其与他们交互的软件工件的关系。本文提出了一种方法,自动识别的基础上,从电子邮件发送的提交人在FLOSS项目的个性特征,揭示在软件开发过程中发生的社会和技术方面之间的关系。我们的实验结果表明,提交者通过他们的电子邮件和他们进行的社会(沟通)和技术活动所投射的人格特质之间存在一些关系。这项工作是一个初步的研究,旨在支持建立有效的工作团队,在软件开发项目的基础上,考虑到他们的个性特征的利益相关者的适当组合。
2016-03-03 cs.SE
Evaluation of Software Quality Through Refactoring Commit-Impact Analysis
Islamic University of Technology(伊斯兰技术大学)
本研究通过检查重构提交前后代码变更的影响,结合软件度量与GitHub开源软件的静态代码分析,探究代码修改与软件质量的相关性。
2026-10-12 cs.SE
Silent Vulnerability-fixing Commit Identification Based on Graph Neural Networks
提出VFFINDER,一种基于图神经网络的自动化静默漏洞修复识别方法,通过带注释的AST捕获代码结构变化,在精确率、召回率和F1上显著优于现有方法并加速识别过程。
2023-09-15 cs.SE
Mutation Testing in Evolving Systems: Studying the relevance of mutants to code evolution
当软件发展时,引入错误的机会出现了。因此,在每个演化周期中测试演化后的程序行为是非常重要的。我们进行了一项探索性研究,以调查提交相关突变体的性质,即,提交感知突变测试的测试元素,通过提供一般定义和实验方法来识别它们。因此,我们的目标是调查随着时间的推移,提交感知突变测试的流行率、位置、比较优势(即,程序演化)和几个与提交相关的特征的预测能力,以理解其尽力而为应用案例的基本属性。我们的方法利用突变体的影响和一个突变体对另一个突变体的影响来捕获和分析改变和未改变的代码部分之间的隐式交互。该研究分析了数百万个突变体(超过1000万),288个提交,五(5)个不同的开源软件项目,涉及超过68,213个CPU日的计算,并设置了我们执行分析的基础事实。我们的分析表明,提交相关的突变体主要位于程序提交更改之外(81%),而有效选择提交相关的突变体可以减少高达93%的突变体数量。此外,我们证明了提交相关的突变测试比最先进的基线更有效和高效。我们对突变体和提交相关特征在预测提交相关突变体中的预测能力的分析发现,大多数代理特征不能可靠地预测提交相关突变体。这项实证研究突出了提交相关的突变体的属性,并证明了识别和选择提交相关的突变体时,测试不断发展的软件系统的重要性。
2021-12-29 cs.SE
Systematic Detection of Energy Regressions in Software Version Histories
University of Namur(那慕尔大学);Delft University of Technology(代尔夫特理工大学)
本文提出EnergyTrackr方法,通过对5个Java项目1932次提交的评估,验证其可高效检测提交间能量退化,二分算法效率优于线性算法,可助力开发者优化软件能耗。
2026-10-14 cs.SE
Compilation of Commit Changes within Java Source Code Repositories
本文提出 JESS 方法,通过仅编译提交中修改的相关代码并自动推断存根,解决了 Java 项目中修复提交难以编译为字节码的问题,显著提升了漏洞补丁字节码的获取效率。
2024-07-25 cs.PL cs.SE
Detecting the Root Cause Code Lines in Bug-Fixing Commits by Heterogeneous Graph Learning
本文提出 RC_Detector,通过构建缺陷修复异构图、聚合代码语义并保留跨行依赖,在 87 个项目的 675 个提交上显著提升根因代码行检测性能。
2025-05-13 cs.SE
PR-SZZ: How pull requests can support the tracing of defects in software repositories
SZZ算法代表了一种标准的方法来识别bug修复提交以及诱导对应提交。它构成了许多实证研究中使用的数据集的基础。自创建以来,已提出多个扩展以提高其性能。由于历史原因,相关的工作依赖于提交消息来将错误票据映射到可能相关的代码,而没有额外的数据用于跟踪这些修复引起的提交。因此,我们提出了一个更新版本的SZZ利用拉请求,这是广泛采用的今天。我们评估我们的方法相比,现有的SZZ变种进行实验和分析使用的拉请求,内部提交,合并策略。我们的结果基于6个开源项目,超过50k提交和35k拉取请求。关于bug修复提交,平均18%的bug票据可以额外映射到修复提交,导致整体F分数为0.75,提高了40个百分点。通过选择诱导提交,我们设法减少了误报,并与现有方法相比平均提高了16个百分点的精度。
2022-06-20 cs.SE
An Empirical Validation of Open Source Repository Stability Metrics
本研究针对开源软件供应链依赖度提升的背景,对基于控制理论提出的综合稳定性指数(CSI)开展首次实证验证,通过100个高排名GitHub仓库实验优化了采样方式与统计方法,为开源项目健康监控提供了实证支撑的应用方案。
2025-08-02 cs.SE
Towards Software Analytics: Modeling Maintenance Activities
雷曼定律告诉我们,随着时间的推移,软件系统将越来越不令用户满意,除非它不断地适应新的需求。了解软件维护可以潜在地减轻行业从业者目前经历的许多痛苦,并有助于减少不确定性、提高成本效益、可靠性等。研究界将软件维护分为3个主要活动:纠正:故障修复;完善:系统改进;适应:新功能引入。在这项工作中,我们试图模拟软件维护活动和设计一个提交分类方法能够产生一个高质量的分类模型。我们对我们的方法和现有技术进行了比较分析,基于11个流行的开源项目,我们手动分类了1151个提交,每个研究项目中有超过100个提交。我们设计的模型能够为测试数据集实现76%的准确度和63%的Kappa(在此上下文中被认为是“良好”),提高了20个百分点以上,在跨项目分类的背景下相对提高了约40%。然后,我们利用我们的提交分类方法来演示两个应用程序:(1)一个工具,旨在提供一个直观的可视化软件维护活动随着时间的推移,(2)深入分析维护活动和单元测试之间的关系。
2019-03-09 cs.SE
ComSum: Commit Messages Summarization and Meaning Preservation
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Acumen Labs
我们提出了ComSum,一个用于文本摘要的700万条提交消息的数据集。在记录提交、软件代码更改时,会发布消息及其摘要。我们收集并过滤这些数据,以管理开发人员的工作总结数据集。随着其规模的不断扩大,实用性和具有挑战性的语言领域,数据集受益于经验软件工程的生活领域。由于提交遵循一种类型学,我们建议不仅通过Rouge评估输出,而且通过它们的含义保存来评估输出。
2021-08-23 cs.CL cs.LG cs.SE
A Global Author-Identity Map for the World of Code:62.7M Developer Identities from 106.8M Author Strings over 5.87B Commits
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
研究全球软件仓库作者身份映射难题,提出含四个工件的方法,构建无巨型集群映射,提高人工身份提交覆盖率,揭示聚类问题及映射精度真相,与黄金集对比有一定召回率和精度,工件随版本发布。
2026-07-08 cs.SE
Debt Behind the AI Boom: A Large-Scale Empirical Study of AI-Generated Code in the Wild
Adelaide University(阿德莱德大学);University of Victoria(维多利亚大学);Huazhong University of Science and Technology(华中科技大学);Singapore Management University(新加坡管理大学)
本文研究了AI生成代码在真实软件项目中的技术债务影响,发现代码异味是最常见的问题,且部分问题长期存在,凸显了AI辅助开发中质量保障的必要性。
2026-10-13 cs.SE