Growth and Duplication of Public Source Code over Time: Provenance Tracking at Scale
我们研究了最大的已知公开源代码语料库的演变,即,软件遗产档案(4B唯一的源代码文件,1B提交捕获了50M软件项目的开发历史)。在这样的语料库中,我们量化了原始的、从未见过的源代码文件和提交的增长率。我们发现,在40多年的时间里,增长率呈指数增长。然后,我们估计了倍增因子,即,多少相同的伪像(例如,文件或提交)出现在不同的上下文中(例如,提交或源代码分发位置)。我们观察到在不同提交中相同源代码文件的倍增中的组合爆炸。我们讨论了这些发现对跟踪源代码工件的起源问题的影响(例如,在何处以及何时给定的源代码文件或提交已经在野外被观察到)。为此,我们对不同的数据模型进行基准测试,以捕获这种规模和增长率下的软件起源信息。我们确定了一个可行的解决方案,是部署在商品硬件,似乎是可预见的未来维护。
2019-06-19 cs.SE
Utilizing Source Code Syntax Patterns to Detect Bug Inducing Commits using Machine Learning Models
本研究提出从源代码语法模式中提取特征来检测引入缺陷的提交,实验表明该方法在多种机器学习模型上提升了缺陷检测性能,并提供了更好的可解释性。
2022-12-07 cs.SE
CoMRAT: Commit Message Rationale Analysis Tool
针对开源提交消息理由研究有限的问题,提出CoMRAT工具,可分析提交消息中的决策与理由句,支持研究人员生成Github模块理由指标、开发者自查理由含量,初步验证其实用性与易用性。
2025-02-27 cs.SE
What really changes when developers intend to improve their source code: a commit-level study of static metric value and static analysis warning changes
许多软件度量被设计用来度量那些被认为与软件质量相关的方面。静态软件度量,例如,规模、复杂性和耦合性被用于缺陷预测研究以及软件质量模型来评估软件质量。虽然这表明了质量和软件度量之间的关系,但它的程度还没有得到很好的理解。此外,最近的研究发现,复杂性度量可能是源代码可理解性的不可靠指标。为了探索这种关系,我们利用开发人员的意图,即什么构成了他们自己代码库的质量改进。我们通过检查提交消息,将来自54个Java开源项目的2,533个提交的随机样本手动分类为质量改进,这取决于开发人员的意图。我们通过预定义的指导方针区分完美和纠正性维护,并将这些数据用作基础事实,用于微调自然语言处理的最先进的深度学习模型。我们使用该模型将数据集增加到125,482次提交。基于由此产生的数据集,我们调查的差异大小和14静态源代码指标之间的变化,提高质量,由开发人员表示,和其他变化。我们发现,质量改善提交比其他提交更小。完美的更改对静态源代码指标有积极的影响,而纠正性更改则倾向于增加复杂性。此外,我们发现,文件的目标是完善的维护已经有一个较低的中位数比其他文件的复杂性。我们的研究结果提供了经验证据,静态源代码度量捕获质量改进从开发人员的角度来看。这对程序理解以及代码气味检测和推荐系统都有影响。
2022-05-30 cs.SE
How to Gain Commit Rights in Modern Top Open Source Communities?
本研究通过主题分析构建顶级开源社区提交者资质分类体系,结合生存分析探究政策与实践的匹配情况,为社区权限分配和开发者发展提供参考。
2024-05-16 cs.SE
Using Source Code Density to Improve the Accuracy of Automatic Commit Classification into Maintenance Activities
Linnaeus University(林奈大学)
源代码因某种原因而更改,例如,这个原因可以为开发过程提供有价值的见解,但是当更改提交到源代码存储库时,很少明确记录。自动提交分类使用从提交中提取的特征来估计此原因。我们介绍了源代码密度,一个提交的净大小的度量,并展示了它如何提高自动提交分类的准确性相比,以前的大小为基础的分类。我们还研究了前几代提交如何影响提交的类,以及是否考虑到以前提交的代码密度可以进一步提高准确性。对于跨项目提交分类,我们实现了高达89%的准确率和0.82的Kappa,其中模型在一个项目上训练并应用于其他项目。在单个项目上训练的模型的准确率高达93%,Kappa接近0.90。自动提交分类的准确性对利用分类的软件(过程)质量分析有直接影响,因此我们对准确性的改进也将提高此类分析的置信度。
2020-05-28 cs.LG cs.SE
Context Conquers Parameters: Outperforming Proprietary LLM in Commit Message Generation
本文研究开源 LLM 能否替代 GPT-4 生成高质量提交信息,并提出基于 4 位量化 8B 开源模型的 OMEGA 方法,通过上下文细化在从业者偏好上超越 GPT-4。
2024-11-01 cs.SE
Megadiff: A Dataset of 600k Java Source Code Changes Categorized by Diff Size
本文介绍了Megadiff,源代码差异的数据集。它专注于Java,具有严格的基于提交消息和diff大小的包含标准。Megadiff包含663 029个Java差异,可用于研究提交理解、故障定位、自动程序修复和代码更改的机器学习。
2021-08-10 cs.SE
Anomalicious: Automated Detection of Anomalous and Potentially Malicious Commits on GitHub
安全性对于采用开源软件(OSS)至关重要,但目前很少有自动化解决方案可以帮助检测和防止恶意贡献感染开源存储库。在GitHub上,OSS的主要主机,存储库不仅包含代码,还包含大量与提交相关的上下文元数据-如果这些元数据可以用于自动识别恶意OSS贡献呢?在这项工作中,我们将展示如何仅使用提交日志和存储库元数据来自动检测异常和潜在的恶意提交。我们识别并评估了几个相关因素,这些因素可以从这些数据中自动计算出来,例如敏感文件的修改,异常值更改属性,或对提交作者缺乏信任。我们的工具Anomalicious自动计算这些因素,并使用基于规则的决策模型全面考虑它们。在对15个受恶意软件感染的存储库的数据集进行评估时,Anomalicious显示出令人鼓舞的结果,并识别出53.33%的恶意提交,而大多数存储库的提交标记率不到1%。此外,该工具在分析没有已知恶意提交的存储库时发现了其他与恶意提交无关的有趣异常。
2021-03-09 cs.SE
Analyzing the Effects of CI/CD on Open Source Repositories in GitHub and GitLab
许多文章强调了在软件开发中实现持续集成和交付(CI/CD)管道的好处。这些管道有望提高项目的声誉,并减少存储库中的提交和问题数量。虽然CI/CD的采用最初可能会很慢,但从长远来看,它可以加速服务的交付和部署。本研究旨在调查CI/CD对两个开源存储库GitLab和GitHub中的提交速度和问题数量的影响。通过分析超过12,000个存储库并记录每个提交和问题,我们发现CI/CD将提交速度提高了141.19%,但问题数量也增加了321.21%。
2023-03-29 cs.SE
20-MAD -- 20 Years of Issues and Commits of Mozilla and Apache Development
长期和高知名度项目的数据对于研究野外成功的软件工程是有价值的。拥有一个包含这些项目的不同链接软件库的数据集,可以进行更深入的潜水调查。本文介绍了20-MAD,一个链接Mozilla和Apache项目的提交和发布数据的数据集。它包含了超过20年的765个项目的信息,340万次提交,230万次问题和1730万次问题评论,其压缩大小超过6 GB。数据包含有关源代码提交的所有典型信息(例如,添加和删除的行、消息和提交时间)和问题(状态、严重性、投票和摘要)。问题评论已经过自然语言处理和情感分析的预处理。这包括表情符号、效价和唤醒分数。链接代码存储库和问题跟踪器信息,允许在两种类型的存储库中研究个人,并为问题跟踪器提供更准确的时区信息。据我们所知,这是不基于GitHub的项目生命周期中最大的链接数据集。
2020-03-31 cs.SE
Multi-Programming-Language Commits in OSS: An Empirical Study on Apache Projects
Spark等现代软件系统通常使用多种程序设计语言(PL)编写。除了从代码重用中受益外,这些系统还可以利用特定PL来实现某些功能,以满足各种质量需求,并提高开发效率。在这种情况下,对这样的系统的改变可能需要修改在不同PL中写入的源文件。我们在版本控制系统中定义了多编程语言提交(MPLC)(例如,Git)作为提交,该提交涉及在两个或更多PL中写入的修改的源文件。据我们所知,在软件开发中的MPLCs现象还没有被探索过。鉴于多层次可编程逻辑控制器对开发难度和软件质量的潜在影响,我们进行了一项实证研究,以了解多层次可编程逻辑控制器的状态,其变化的复杂性,以及它们对问题的开放时间和源文件在现实生活中的软件项目的错误倾向的影响。通过对20个非平凡Apache项目205,994次提交中的MPLCs进行研究,我们发现:(1)所有项目中9%的提交是MPLCs,并且80%的项目中MPLCs的比例处于相对稳定的水平;(2)所有项目中超过90%的MPLCs涉及两个PL编写的源文件;(3)在所有项目中,多媒体可编程逻辑控制器的变更复杂度明显高于非多媒体可编程逻辑控制器;(4)在80%的项目中,多媒体可编程逻辑控制器中修复的问题比非多媒体可编程逻辑控制器中修复的问题需要更长的时间来解决;以及(5)在多媒体可编程逻辑控制器中修改过的源文件往往比从未在多媒体可编程逻辑控制器中修改过的源文件更容易出现错误。这些发现为…
2021-03-22 cs.SE
From Commits to Confidence: Towards Stability-Informed Risk Assessment in Open Source Software
George Mason University(乔治梅森大学);Queen’s University(女王大学)
本文研究了开源软件项目稳定性与韧性,发现稳定提交模式能反映项目治理和开发流程,提出需结合社区参与等指标进行稳定性导向的风险评估。
2026-01-05 cs.SE
JavaVFC: Java Vulnerability Fixing Commits from Open-source Software
本文构建并发布 JavaVFC 与 JavaVFC-extended 数据集,利用关键词启发式、多轮人工标注和大规模仓库筛选,为漏洞修复提交识别与自动修复研究提供数据基础。
2024-09-09 cs.SE
Using Large Language Models for Commit Message Generation: A Preliminary Study
本文通过实验评估Llama 2和ChatGPT在提交信息生成中的表现,发现大语言模型在人工评估中显著优于现有方法,并揭示了常用自动评估指标的局限性。
2024-01-13 cs.SE
Evolution of repositories and privacy laws: commit activities in the GDPR and CCPA era
University of Cyprus(塞浦路斯大学)
研究分析了GDPR和CCPA时代软件仓库的提交活动,发现隐私相关术语在提交信息中出现,但对用户权利的引用较少,提出需加强隐私教育和工具开发。
2025-05-28 cs.SE
A Task-Level Evaluation of AI Agents in Open-Source Projects
Idaho State University(爱达荷州立大学)
本文评估了五个AI代理在开源项目中的表现,发现Codex在PR接受率上表现优异,而Copilot在审查讨论量上领先,但提交质量因任务类型而异。
2026-02-02 cs.SE
Was It Never Collected, or Rewritten Away? A Commit-Provenance Dataset Separating Ingestion Gaps from Upstream History Edits across the World of Code
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
通过比较同一提交图的两种视图,即GHArchive事件流和世界代码(WoC)V2604对象数据库,分离提交缺失的不同原因,构建数据集,分析不同情况比例,发布相关数据及处理结果。
2026-07-07 cs.SE
Improving the Quality of Commit Messages in Students' Projects
针对学生项目提交消息质量低的问题,研究通过修改GitHub Desktop应用加入提交消息需含“做什么”“为什么”的要求,实验证实该方式可从信息含量、清晰度和长度三方面提升提交消息质量。
2023-04-27 cs.SE
Engineering Reliable Commit Gates for Agentic AI: Cost-Aware Verification Portfolios under Common-Mode Data Failures
Washington University in St. Louis(华盛顿大学圣路易斯分校);Southern Methodist University(南方卫理公会大学)
针对智能体提交门控,提出VP-CONTROL框架,通过2×2实验和组合控制器,证明证据来源多样性比模型多样性更关键,并验证了原子防护与幂等标识符的有效性。
2026-09-11 cs.SE
On the Use of Commit Messages for Corrective Software Maintenance: A Systematic Mapping Study
Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎理工学院)
本文通过系统映射研究97篇2004至2025年发表的文献,探讨提交信息在纠正性维护中的应用,发现提交信息在 bug 分析和修复识别中作用显著,但其他领域如自动程序修复研究较少。
2026-03-31 cs.SE
18 Million Links in Commit Messages: Purpose, Evolution, and Decay
本文大规模研究了23110个GitHub仓库提交中1820万条链接,发现链接引用普遍但易衰减,70%的不同链接遭受衰减,与代码中链接命运相同。
2023-05-26 cs.SE
Automated Mapping of Vulnerability Advisories onto their Fix Commits in Open Source Repositories
Eindhoven University of Technology - JADS(埃因霍温理工大学-JADS);SAP Security Research(思爱普安全研究院);University of Trento(特伦托大学);University of Salerno(萨勒诺大学)
本文提出结合启发式规则与NLP的三阶段方法,并通过FixFinder自动将漏洞通告映射到开源仓库中的修复提交,在1,248条通告上Top-10命中率达84.03%。
2023-05-10 cs.CR cs.LG cs.SE
What Makes a Good Commit Message?
协作软件开发中的一个关键问题是开发人员之间的沟通。一种通信方式是提交消息,开发人员在其中描述他们在存储库中所做的更改。因此,提交消息作为一种“审计跟踪”,开发人员可以通过它了解项目的源代码是如何更改的以及更改的原因。因此,提交消息的质量会影响开发人员之间通信的有效性。提交消息通常质量很差,因为开发人员缺乏时间和动力来制作好的消息。已经提出了几种自动方法来生成提交消息。然而,这些都是基于未经策划的数据集,包括相当大比例的措辞拙劣的提交消息。在这个多方法研究中,我们首先定义什么是“好”的提交消息,然后使用来自五个高度活跃的开源项目的近1,600条消息的样本来确定提交消息中缺少信息的比例。我们发现,平均约44%的消息可以得到改进,这表明使用未经策划的数据集可能是使用此类数据训练提交消息生成器时的主要威胁。我们还观察到,以前的工作没有考虑提交消息的语义,并且令人惊讶的是,编写好的提交消息的指导很少。为此,我们开发了一个基于提交消息表达式中重复出现的模式的分类法。最后,我们调查是否可以自动识别“好”的提交消息,这样的自动化可以促使开发人员编写更好的提交消息。
2022-02-07 cs.HC cs.SE
Commit-Aware Learning-Based Test Case Prioritization for Continuous Integration
University of Sannio(桑尼奥大学)
提出一种结合代码变更结构、测试覆盖和历史执行的提交感知学习模型,用于持续集成中的测试优先级排序,显著提升回归缺陷检测效果。
2026-06-11 cs.SE
Exploring Multi-Programming-Language Commits and Their Impacts on Software Quality: An Empirical Study on Apache Projects
本研究通过对18个Apache项目的197,566次提交进行实证分析,发现多编程语言提交(MPLCs)显著增加开发复杂度、延长问题解决时间并引入更多缺陷,从而降低软件质量。
2023-11-12 cs.SE
CommitShield: Tracking Vulnerability Introduction and Fix in Version Control Systems
本文提出 CommitShield,融合静态分析与 LLM 的代码及自然语言理解能力,利用提交描述和补丁上下文检测漏洞引入与修复,并在 CommitVulFix 等数据集上显著提升召回率和 F1 分数。
2025-01-07 cs.SE
VulCurator: A Vulnerability-Fixing Commit Detector
Singapore Management University(新加坡管理大学);University of Melbourne(墨尔本大学)
开源软件(OSS)漏洞管理过程是当今重要的,因为随着时间的推移,发现的OSS漏洞的数量正在增加。监控可修复性提交是防止漏洞利用的标准流程的一部分。然而,手动检测修复提交是非常耗时的,因为可能有大量的提交需要审查。最近,已经提出了许多技术来使用机器学习来自动检测可修复性提交。这些解决方案要么:(1)没有使用深度学习,要么(2)只在有限的信息源上使用深度学习。本文提出了VulCurator,这是一种利用深度学习更丰富信息源的工具,包括提交消息、代码更改和问题报告,用于修复提交分类的可扩展性。我们的实验结果表明,VulCurator在F1分数方面优于最先进的基线高达16.1%。VulCurator工具可在https://github.com/ntgiang71096/VFDetector和https://zenodo.org/record/7034132#.Yw3MN-xBzDI上公开获得,演示视频可在https://youtu.be/uMlFmWSJYOE上获得。
2022-09-07 cs.AI cs.CR cs.SE
SPI: Automated Identification of Security Patches via Commits
开源软件中的安全补丁,为已识别的漏洞提供安全修复,对于防范网络攻击至关重要。尽管国家漏洞数据库(NVD)发布了已识别的漏洞,但绝大多数漏洞及其相应的安全补丁仍然无法公开,例如,开发者非常依赖的开源库中。一个广泛的安全补丁数据集可以帮助最终用户,如安全公司,建立安全知识库,或研究人员,例如,协助脆弱性研究。为了以大规模和低成本管理包括未公开补丁在内的安全补丁,我们提出了一种基于开源库提交的基于深度神经网络的方法。我们构建了安全补丁数据集,其中包括来自四个C库的38,291个安全相关提交和1,045个CVE补丁。我们手动验证38,291个与安全相关的提交中的每个提交,以确定它们是否与安全相关。我们设计了一个基于深度学习的安全补丁识别系统,该系统由两个神经网络组成:一个是提交消息神经网络,它利用从我们的提交数据集学习的预训练单词表示;另一个是代码修订神经网络,它在修订之前和之后获取代码,并学习语句级别上的区别。我们的评估结果表明,我们的系统优于SVM和K-折叠堆叠算法,实现高达87.93%的F1分数和精度为86.24%。我们在工业生产环境中部署了我们的管道和学习模型,以评估我们的方法的泛化能力。工业数据集由来自410个新库的298,917个提交组成,这些库的功能范围很广。我们的实验结果和观察证明,我们的方法可以有效地识别开源项目中的安全补丁。
2021-06-06 cs.CR cs.SE
Compilation of Commit Changes within Java Source Code Repositories
本文提出 JESS 方法,通过仅编译提交中修改的相关代码并自动推断存根,解决了 Java 项目中修复提交难以编译为字节码的问题,显著提升了漏洞补丁字节码的获取效率。
2024-07-25 cs.PL cs.SE
Characterizing the Roles of Contributors in Open-source Scientific Software Projects
科学软件的开发对科学实践比以往任何时候都更加重要,并且伴随着更加开放和协作的趋势。不幸的是,很少有人调查是谁在推动这种科学软件的发展,或者这种合作是如何发生的。在本文中,我们解决这个问题。我们提出了一个广泛的分析,七个开源科学软件项目,以开发一个开发过程的知识模型。这项分析得到了对72名科学软件开发人员的调查的补充。在大多数项目中,我们发现高级研究人员(例如教授)负责一半或更多的提交(平均提交份额为72%),并大量参与架构问题(高级人员更有可能与构建系统,项目元数据和开发人员文档相关的文件进行交互)。大三学生(例如研究生)也做出了很大的贡献--在一个研究项目中,大三学生几乎完成了100%的提交。尽管如此,研究生在大三学生中的贡献时间最长(1.72年,博士后为0.98年,本科生为4个月)。此外,我们还发现,第三方贡献者很少,仅为项目贡献了一天。本研究的结果旨在帮助科学家更好地了解他们自己的项目、社区和贡献者的行为,同时为未来的软件工程研究铺平道路
2020-03-23 cs.SE
Context-Encoded Code Change Representation for Automated Commit Message Generation
本文提出一种结合变更代码及其程序依赖的未变更代码的上下文编码表示方法,克服了现有代码变更表示的局限,显著提升了5种最先进自动化提交信息生成方法的性能。
2023-06-26 cs.SE
Evaluation of Software Quality Through Refactoring Commit-Impact Analysis
Islamic University of Technology(伊斯兰技术大学)
本研究通过检查重构提交前后代码变更的影响,结合软件度量与GitHub开源软件的静态代码分析,探究代码修改与软件质量的相关性。
2026-10-12 cs.SE
Code-centric Learning-based Just-In-Time Vulnerability Detection
本文提出基于代码中心学习的即时漏洞检测方法CodeJIT,通过图神经网络建模提交中代码变更的结构与依赖语义,在20K+真实提交数据集上显著超越现有方法,并具备识别修复漏洞但引入新问题的提交的能力。
2023-04-17 cs.SE
CommitBART: A Large Pre-trained Model for GitHub Commits
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
GitHub提交是一种以自然语言消息描述的方式记录代码变更的提交,对于软件开发人员理解软件演化具有重要作用。为了促进开源软件社区的发展,我们收集了一个提交基准,其中包括7种程序设计语言的超过799万次提交。基于这个基准,我们提出了CommitBART,一个用于GitHub提交的大型预训练编码器-解码器Transformer模型。该模型通过三个类别进行预训练(即,去噪目标、交叉模态生成和对比学习)来学习提交片段表示。此外,我们统一了一个“提交智能”框架,一个理解任务和三个生成任务的提交。这些任务的综合实验表明,CommitBART显着优于以前的代码预训练的作品。进一步的分析还表明,每个预训练任务都提高了模型的性能。
2023-01-22 cs.AI cs.SE
Mutation Testing in Evolving Systems: Studying the relevance of mutants to code evolution
当软件发展时,引入错误的机会出现了。因此,在每个演化周期中测试演化后的程序行为是非常重要的。我们进行了一项探索性研究,以调查提交相关突变体的性质,即,提交感知突变测试的测试元素,通过提供一般定义和实验方法来识别它们。因此,我们的目标是调查随着时间的推移,提交感知突变测试的流行率、位置、比较优势(即,程序演化)和几个与提交相关的特征的预测能力,以理解其尽力而为应用案例的基本属性。我们的方法利用突变体的影响和一个突变体对另一个突变体的影响来捕获和分析改变和未改变的代码部分之间的隐式交互。该研究分析了数百万个突变体(超过1000万),288个提交,五(5)个不同的开源软件项目,涉及超过68,213个CPU日的计算,并设置了我们执行分析的基础事实。我们的分析表明,提交相关的突变体主要位于程序提交更改之外(81%),而有效选择提交相关的突变体可以减少高达93%的突变体数量。此外,我们证明了提交相关的突变测试比最先进的基线更有效和高效。我们对突变体和提交相关特征在预测提交相关突变体中的预测能力的分析发现,大多数代理特征不能可靠地预测提交相关突变体。这项实证研究突出了提交相关的突变体的属性,并证明了识别和选择提交相关的突变体时,测试不断发展的软件系统的重要性。
2021-12-29 cs.SE
Understanding Emotions of Developer Community Towards Software Documentation
开源项目的可用性促进了开发人员在广泛的项目上做出贡献和协作。因此,为此类开源项目做出贡献的开发人员社区也在增加。许多项目都涉及频繁更新和广泛重复使用。一个更新良好的文档有助于更好地理解软件项目,也有助于有效的贡献和重用。虽然软件文档在软件开发和维护过程中扮演着重要的角色,但它也存在着诸如不充分、不一致、可维护性差等问题,探讨开发人员对文档的看法有助于理解软件文档中普遍存在的问题背后的原因。它可以进一步帮助决定可以向开发人员社区提供的培训,以便为社会建立更可持续的项目。分析项目贡献者的情绪可以为理解开发人员的看法提供见解。因此,作为朝着这个方向迈出的第一步,我们分析了特定于软件项目文档的提交消息的情感。为此,我们考虑了GHTorrent数据集中998个GitHub项目的提交历史,并确定了10,996个提交对应于存储库的文档。此外,我们应用情感分析技术来获得对所选提交的提交消息中表达的情感类型的见解。我们观察到,大约45%的已识别提交消息表达了信任情绪。
2021-03-01 cs.SE
Detecting Security Fixes in Open-Source Repositories using Static Code Analyzers
Tilburg University(蒂尔堡大学);SAP Security Research(SAP安全研究院);Eindhoven University of Technology(埃因霍温理工大学)
关于影响开放源码软件(OSS)的脆弱性的可靠的代码级信息的来源很少,这阻碍了广泛采用提供脆弱的OSS依赖性的代码级检测和评估的高级工具。在本文中,我们研究了在何种程度上现成的静态代码分析器的输出可以被用作一个来源的功能,以代表提交机器学习(ML)的应用程序。特别是,我们研究如何使用这些功能来构建嵌入和训练ML模型,以自动识别包含漏洞修复的源代码提交。我们分析了安全相关和非安全相关提交的嵌入,我们表明,尽管孤立地看,它们在统计上没有显著差异,我们还发现,我们的方法与commit2vec的结合代表了对自动化领域现有技术的切实改进。识别修复漏洞提交:我们构建的ML模型和commit2vec是互补的,前者更普遍适用,尽管不那么准确。
2021-05-07 cs.CR cs.LG cs.SE
Can LLMs Extract Architectural Design Decisions from Source Code Commits? - A Preliminary Exploratory Study
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术学院);Paderborn University(帕德博恩大学)
该研究以30个开源项目的ADDs为样本,测试4种LLMs提取ADDs的效果,发现少样本提示可提升对齐度,但生成结果常缺失决策原理,为架构感知LLM系统研究提供了方向。
2026-09-04 cs.AI cs.SE
Characterizing The Influence of Continuous Integration. Empirical Results from 250+ Open Source and Proprietary Projects
持续集成(CI)工具通过在提交代码更改时自动编译、构建和执行测试用例来集成代码更改。CI工具的使用越来越受欢迎,但专有项目如何获得CI的好处仍然是未知的。为了研究CI对软件开发的影响,我们分析了150个开源软件(OSS)项目和123个专有项目。对于OSS项目,我们观察到采用CI后的预期收益,例如,在bug和问题解决方面的改进。然而,对于专有项目,我们不能做出类似的观察。我们的研究结果表明,只有采用CI可能不足以改善软件开发过程。如果实践者有效地使用CI的反馈机制,通过应用频繁提交的实践,CI可以有效地用于软件开发。对于我们的专有项目,我们观察到实践者提交的频率较低,因此不能有效地使用CI来获得对提交的代码更改的反馈。根据我们的研究结果,我们建议行业从业者采用CI的最佳实践,以获得CI工具的好处,例如,频繁提交。
2018-09-14 cs.SE
The Co-Evolution of Test Maintenance and Code Maintenance through the lens of Fine-Grained Semantic Changes
自动化测试是一种被广泛采用的提高软件质量的技术。作为软件开发过程的一部分,以及在初始发布后的演变阶段,软件开发人员添加、删除和更新测试方法和测试类。在这项工作中,我们进行了大规模的研究,61个流行的开源项目,并报告之间的关系,我们已经建立了测试维护,生产代码维护,语义变化(例如,语句添加,方法删除等)。在开发人员的提交中执行。我们建立了预测模型,并表明软件项目中的测试数量可以通过使用代码维护配置文件(即,在每个维护活动中执行了多少次提交:纠正、完善、自适应)。我们的研究结果还表明,开发人员在同一提交中执行代码修复而不执行补充测试维护(例如,更新现有测试或添加新测试)。当开发人员执行测试维护时,很可能会受到他们作为提交的一部分执行的语义更改的影响。我们的工作是基于研究61个流行的开源项目,包括超过240,000个提交,其中包括超过16,000,000个语义更改类型实例,由超过4,000名软件工程师执行。
2017-09-26 cs.SE
An Approach and Benchmark to Detect Behavioral Changes of Commits in Continuous Integration
本研究提出名为DCI的自动化方法,通过断言扩增和基于搜索的输入空间探索生成测试变体,以检测CI中提交的行为变更,构建了首个真实行为变更数据集并验证了方法有效性,同时指出其适用范围局限。
2019-12-16 cs.SE
ZeroIn: Characterizing the Data Distributions of Commits in Software Repositories
现代软件开发是基于一系列快速增量更改,这些更改由具有不同经验和专业知识水平的开发人员对大型源代码存储库进行协作。ZeroIn项目旨在分析这些动态现象的元数据,包括关于存储库、提交和开发人员的数据,以快速准确地标记提交到达存储库时的质量。在这种情况下,本文提出了一个表征的软件开发元数据的分布数据,最好的捕捉趋势的数据集。为此,我们分析了多个数据集,包括开发人员特性的Stack Overflow和超过4.52亿个存储库的GitHub数据,其中包含1600万次提交。这种表征旨在使生成多个合成数据集成为可能,这些数据集可用于训练和测试基于机器学习的新解决方案,以提高软件的可靠性,即使它在发展。它还旨在服务于开发过程,以利用跨存储库和开发人员的聚合空间的许多关键特征向量之间的潜在相关性。本文的数据特征化旨在为ZeroIn的机器学习组件提供信息,包括应用二进制分类器来早期标记有缺陷的软件提交,以及开发基于图的学习方法来利用存储库、提交和开发人员之间的稀疏连接。
2022-04-16 cs.SE
An Exploratory Study of Project Activity Changepoints in Open Source Software Evolution
为了探索开源项目活动中突然变化(变化点)的普遍性,我们收集了来自代码世界的8,919个项目的数据集。项目是根据年龄,提交数量和作者数量选择的。使用非参数PELT算法,我们确定了项目活动时间序列中的变点,发现超过90%的项目有一到六个变点。项目活动的增加和减少频率大致相同。虽然大多数变化都相对较小,大约每月只有几个作者或几十个提交,但项目活动的变化却很大。在未来的工作中,我们计划将重点放在更大的变化上,以搜索常见的开源生命周期模式以及对外部事件的常见响应。
2021-03-19 cs.SE
Analysis of Commit Signing on Github
University of Tennessee(田纳西大学)
研究分析GitHub提交签名的使用情况,发现签名率 misleading,开发者难以保持一致性,签名 lapse率随账户年龄增加,开发者管理签名密钥不当,导致供应链安全框架假设不成立。
2026-07-27 cs.CR cs.SE
Impact of Change Granularity in Refactoring Detection
检测提交历史中的重构对于提高代码评审中代码更改的理解以及为软件演化的实证研究提供有价值的信息至关重要。已经提出了几种技术来在单个提交的粒度级别上准确地检测重构。然而,由于代码复杂性或其他实际开发问题,重构可能会在多个提交上执行,这就是为什么试图在单次提交粒度下检测重构是不够的。我们观察到,一些重构只能在较粗的粒度上被检测到,也就是说,更改分布在多个提交中。在这里,这种类型的重构被称为粗粒度重构(CGR)。我们比较了在19个开源仓库中不同粒度的提交中检测到的重构。结果表明,CGR是常见的,其频率随着粒度变粗而增加。此外,我们发现与移动相关的重构往往是最常见的CGR。分析了CGR产生的原因,并指出CGR在重构研究中的应用价值。
2022-04-24 cs.SE
Automated Generation of Commit Messages in Software Repositories
针对开发人员因时间和技能问题忽视有效提交信息编写的问题,提出基于ML/NLP的自动化生成方法,采用TF-IDF与Word2Vec的逻辑回归、LSTM等模型,在Liu等人数据集上训练评估,最高BLEU得分为16.82,为提交信息生成提供有效自动化方案。
2025-04-17 cs.SE
Exploiting Token and Path-based Representations of Code for Identifying Security-Relevant Commits
University of Waterloo(滑铁卢大学);SAP Security Research(SAP安全研究院)
公共漏洞数据库(如CVE和NVD)仅占开源项目中存在的安全漏洞的60%,并且已知质量不一致。在过去的两年中,在NPM和Maven Central等各种存储库中可用的项目中,已知漏洞的数量有了相当大的增长。这种日益增加的风险要求建立一种机制,以及时推断安全威胁的存在。我们提出了新的分层深度学习模型,用于从提交差异或Java类的源代码中识别安全相关的提交。通过将我们的模型与code2vec(一种从基于路径的代码表示中学习的最先进的模型)和逻辑回归基线进行比较,我们发现深度学习模型在识别安全相关的提交方面显示出有希望的结果。我们还对各种深度学习模型如何在不同的输入表示中学习以及正则化对模型泛化的影响进行了比较分析。
2019-11-15 cs.CL cs.SE
Leveraging Structural Properties of Source Code Graphs for Just-In-Time Bug Prediction
University of Saskatchewan(萨斯喀彻温大学)
数据可视化最常见的用途是最大限度地减少正确理解的复杂性。图是理解关系数据最常用的表示之一。它产生了一种简化的数据表示,如果以文本格式保存,则很难理解。在这项研究中,我们提出了一种方法来利用源代码的关系属性的形式的图形,以确定在不同版本的软件演化和维护的软件系统中的即时(JIT)错误预测。提出了一种将提交补丁的源代码转换为等价图表示的方法,并将其命名为源代码图(SCG)。为了理解和比较多个源代码图,我们提取了这些图的几个结构属性,如密度,周期数,节点,边缘等,然后我们利用这些SCG的属性值来可视化和检测错误的软件提交。我们处理超过246K的软件提交从12个主题系统在本次调查中。我们对这12个用C++和Java程序设计语言编写的开源软件项目的调查表明,如果我们将SCG的特征与类似研究中使用的传统特征相结合,我们将获得基于机器学习(ML)的错误提交检测模型的性能提高。使用Wilcoxon符号秩检验,我们还发现在预测有缺陷和无缺陷提交时F1分数的增加具有统计学显著性。由于基于SCG的特征值代表了软件系统中源代码更新或更改的风格或结构属性,因此它表明了仔细维护源代码风格或结构以保持软件系统无错误的重要性。
2022-01-25 cs.LG cs.SE
On the Prevalence and Usage of Commit Signing on GitHub: A Longitudinal and Cross-Domain Study
本文对 GitHub 上提交签名的普及程度进行纵向跨领域实证分析,发现 60 个开源库中仅约 10% 的提交通过验证,并提出基于 Events API 的提交所有权识别方法以应对提交伪造问题。
2025-04-27 cs.CR cs.SE
Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories
提出多层面检测框架,整合配置扫描、提交消息分析等四种方法,发现单一信号低估AI代理活动达30倍,揭示不同检测渠道捕获的代理群体几乎不重叠。
2026-06-24 cs.AI cs.SE
Exploring the Security Awareness of the Python and JavaScript Open Source Communities
软件安全性无疑是当今软件工程的一个主要关注点。虽然人们对安全问题的认识水平往往很高,但实际经验表明,预防行动和对可能出现的问题的反应在现实中并不总是得到适当处理。通过分析开源社区中的大量提交,我们可以对开发人员缓解的漏洞进行分类,并研究其分布,解决时间等,以学习和改进安全管理流程和实践。在软件遗产图数据集的帮助下,我们调查了两种最流行的脚本语言- Python和JavaScript -从公共存储库收集的项目的提交,并确定了那些减轻代码中某个漏洞的提交(即漏洞解决提交)。一方面,我们确定了提交消息中提到的漏洞类型(根据CWE组),并比较了两个社区中的漏洞数量。另一方面,我们检查了漏洞发布日期与提交中首次引用漏洞之间的平均时间。我们发现,两个社区缓解的漏洞类型有很大的交集,但最普遍的漏洞是特定于语言的。此外,无论是JavaScript还是Python社区都不会对出现的安全漏洞做出快速反应,只有一些CWE组例外。
2020-06-24 cs.PL cs.SE
Commit2Vec: Learning Distributed Representations of Code Changes
SAP Security Research(SAP安全研究)
深度学习方法已经在图像分类和自然语言处理等领域获得了成功的应用,最近也被应用于源代码分析,这是由于大量的免费源代码(例如,开源软件库)。在这项工作中,我们详细阐述了一种最先进的方法来表示源代码,该方法使用有关其语法结构的信息,并且我们使其适应于表示源代码更改(即,提交)。我们使用这种表示来对安全相关的提交进行分类。因为我们的方法使用迁移学习(即,我们在“借口任务”上训练网络,对于该“借口任务”,有丰富的标记数据可用,然后我们将这样的网络用于提交分类的目标任务,对于该目标任务,有较少的标记实例可用),我们研究了使用两个不同的借口任务与随机初始化模型预训练网络的影响。我们的研究结果表明,表示,利用通过代码语法获得的结构信息优于基于标记的表示。此外,当在较小的数据集($>10^4$样本)上进行预训练时,在具有非常大的数据集($>10^6$样本)的松散相关的借口任务上进行预训练时获得的性能指标被超过,但是对于与目标任务更密切相关的借口任务。
2021-11-17 cs.AI cs.LG cs.SE
Automatic Identification of Self-Admitted Technical Debt from Four Different Sources
University of Groningen(格罗宁根大学)
本文提出整合代码注释、提交消息、拉取请求和问题跟踪系统四类来源的 SATD 自动识别方法,F1 达 0.611,并基于 103 个开源项目揭示其分布、关键词与跨来源关系。
2023-04-21 cs.AI cs.SE