SZZ Unleashed: An Open Implementation of the SZZ Algorithm -- Featuring Example Usage in a Study of Just-in-Time Bug Prediction for the Jenkins Project
许多经验性的软件工程研究依赖于关于错误的详细信息。虽然问题跟踪器通常包含有关错误何时被修复的信息,但有关错误何时被引入系统的详细信息通常不存在。作为一种补救措施,研究人员经常依赖SZZ算法作为一种启发式方法来识别引入错误的软件更改。不幸的是,正如最近的系统性文献综述所报道的那样,很少有研究人员公开他们的SZZ实现。因此,有一种风险,即研究工作被浪费,因为基于SZZ输出的新项目最初需要重新实施该方法。此外,新开发的(封闭源代码)SZZ实现还没有经过适当的测试,因此基于其输出进行研究可能会对有效性造成威胁。我们介绍SZZ Unleashed,一个用于git仓库的SZZ算法的开放实现。本文描述了我们的实现以及Jenkins项目的使用示例,并以即时错误预测的说明性研究作为结论。我们希望继续在GitHub上发展SZZ Unleashed,并热情邀请社区做出贡献。
2019-08-19 cs.SE
Comparative Analysis of Quantum and Classical Support Vector Classifiers for Software Bug Prediction: An Exploratory Study
University of Saskatchewan(萨斯喀彻温大学);University of Prince Edward Island(爱德华王子岛大学)
本研究探讨了量子支持向量分类器(QSVC和PQSVC)在14个开源项目中检测有缺陷软件提交的应用,提出数据集划分、预测聚合和增量测试方法以克服量子特征映射挑战,证明了QML在缺陷预测中的有效性。
2025-01-08 cs.LG cs.SE
READU: Inconsistency-Driven Just-in-Time Detection and Repair of README Bugs
CISPA Helmholtz Center for Information Security(CISPA 赫尔姆霍兹信息安全中心);University of Stuttgart(斯图加特大学)
研究针对仓库级文档 README 错误,提出不一致驱动技术 READU,通过高召回率提交过滤器、并行一致性检查器等方法,能即时检测并修复错误,在六个流行仓库的提交测试中表现良好,检测到多个真阳性并成功修复部分错误。
2026-07-20 cs.SE
GitBugs: Bug Reports for Duplicate Detection, Retrieval Augmented Generation, Triage, and More
Hewlett Packard Enterprise(惠普企业);Heinz College of Information Systems and Public Policy Carnegie Mellon University(卡内基梅隆大学海因茨信息系统与公共政策学院)
GitBugs包含15万余条bug报告,提供标准化分类字段和预定义训练测试集,支持重复检测、检索增强生成、自动分拣等软件工程研究任务。
2026-04-28 cs.SE
An Exploratory Study of the Relationship between SATD and Other Software Development Activities
本文通过分析77个开源Java项目,研究SATD的添加与移除同重构、缺陷修复等开发活动的共现关系,发现SATD移除与重构在95%的项目中同时发生,并识别出三类与SATD关联更频繁的重构操作。
2024-04-02 cs.SE
Large Language Models are Few-shot Testers: Exploring LLM-based General Bug Reproduction
针对现有测试生成技术难以从通用缺陷报告复现缺陷的问题,提出基于大语言模型的LIBRO框架,通过后处理排序测试有效性,在Defects4J等基准上取得良好效果,可提升开发效率。
2023-07-25 cs.SE
Leveraging Structural Properties of Source Code Graphs for Just-In-Time Bug Prediction
University of Saskatchewan(萨斯喀彻温大学)
数据可视化最常见的用途是最大限度地减少正确理解的复杂性。图是理解关系数据最常用的表示之一。它产生了一种简化的数据表示,如果以文本格式保存,则很难理解。在这项研究中,我们提出了一种方法来利用源代码的关系属性的形式的图形,以确定在不同版本的软件演化和维护的软件系统中的即时(JIT)错误预测。提出了一种将提交补丁的源代码转换为等价图表示的方法,并将其命名为源代码图(SCG)。为了理解和比较多个源代码图,我们提取了这些图的几个结构属性,如密度,周期数,节点,边缘等,然后我们利用这些SCG的属性值来可视化和检测错误的软件提交。我们处理超过246K的软件提交从12个主题系统在本次调查中。我们对这12个用C++和Java程序设计语言编写的开源软件项目的调查表明,如果我们将SCG的特征与类似研究中使用的传统特征相结合,我们将获得基于机器学习(ML)的错误提交检测模型的性能提高。使用Wilcoxon符号秩检验,我们还发现在预测有缺陷和无缺陷提交时F1分数的增加具有统计学显著性。由于基于SCG的特征值代表了软件系统中源代码更新或更改的风格或结构属性,因此它表明了仔细维护源代码风格或结构以保持软件系统无错误的重要性。
2022-01-25 cs.LG cs.SE
An Exploratory Study on Refactoring Documentation in Issues Handling
理解重构文档的实践在学术界和工业界都是至关重要的。大多数软件项目都使用问题跟踪系统,使开发人员,质量保证,管理人员和用户能够提交功能请求和其他任务,如错误修复和代码审查。虽然最近的研究探索了如何在提交消息中记录重构,但很少有人知道开发人员如何在问题中描述他们的重构需求。在这项研究中,我们的目标是探索开发人员报告的问题中的重构变化,以更好地了解开发人员认为他们的代码中存在什么问题以及他们如何处理它。我们的方法依赖于文本挖掘45,477个重构相关问题,并通过调查与15,833重构操作和开发者的显式重构意图。我们的研究结果表明:(1)开发人员大多使用与重构相关的术语/短语来解决重构相关的问题;(2)开发人员倾向于明确提到特定质量属性的改进,并专注于重复代码的删除。我们设想我们的研究结果使工具构建者能够支持开发人员自动记录问题中的重构更改。
2022-03-19 cs.SE
Directed Test Program Generation for JIT Compiler Bug Localization
针对 JIT 编译器缺陷定位中测试程序生成效果不佳的问题,提出依据种子程序结构定向生成相似通过输入与相异失败输入的方法,实验证明可显著提升定位效果。
2023-07-17 cs.SE
Ammonia: An Approach for Deriving Project-specific Bug Patterns
查找和修复错误代码是一项重要且成本高昂的维护任务,而静态分析(SA)是开发人员用来执行该任务的方法之一。SA工具通过扫描开发人员的源代码以查找常见的错误模式来警告开发人员潜在的错误,从而使这些开发人员有机会在发布软件之前修复警告(潜在的错误)。通常,SA工具扫描任何软件项目常见的一般错误模式(如空指针取消引用),而不是项目特定的模式。然而,过去的研究指出,这种缺乏可定制性的严重限制问题SA。因此,在本文中,我们提出了一种称为氨的方法,它是基于静态分析整个项目的开发历史的变化,作为一种手段来识别特定于项目的错误模式。此外,我们的工具识别的错误模式不仅仅与一个开发人员或一个特定的提交有关,它们反映了整个项目,并补充了其他SA工具识别一般错误模式的警告。在这里,我们报告的应用程序,我们实现的工具和方法的四个Java项目:蚂蚁,骆驼,POI和Wicket。结果表明,我们的工具可以在这四个项目中检测到19个项目特定的错误模式。接下来,通过手动分析,我们确定这些更改模式中有六个是实际的bug,并根据这些bug模式提交了pull请求。结果,合并了五个拉取请求。
2020-03-14 cs.SE
Understanding and Finding JIT Compiler Performance Bugs
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种轻量级技术,用于自动检测JIT编译器性能错误,并通过Jittery工具发现了12个新错误。
2026-03-06 cs.SE
ApacheJIT: A Large Dataset for Just-In-Time Defect Prediction
University of Waterloo(滑铁卢大学)
在本文中,我们介绍了ApacheJIT,一个用于即时缺陷预测的大型数据集。ApacheJIT由流行的Apache项目中的干净的和引起bug的软件更改组成。ApacheJIT总共有106,674次提交(28,239次bug诱导提交和78,435次干净提交)。拥有大量的提交使ApacheJIT成为机器学习模型的合适数据集,特别是需要大型训练集的深度学习模型,以有效地将历史数据中存在的模式推广到未来数据。
2022-04-30 cs.AI cs.LG cs.PL
Automated Bug Frame Retrieval from Gameplay Videos Using Vision-Language Models
本文提出一种自动化流水线,利用FFmpeg提取关键帧并由GPT-4o视觉-语言模型排序,从游戏视频中检索与缺陷描述最匹配的帧,显著减少人工审查,实现F1分数0.79。
2025-08-06 cs.SE
Adversarial Bug Reports as a Security Risk in Language Model-Based Automated Program Repair
Nicolaus Copernicus University(尼古拉·哥白尼大学);TU Wien(维也纳工业大学)
本文研究对抗性错误报告对基于大语言模型的自动程序修复系统的安全威胁,通过实证分析发现现有防御措施不足,并提出自动化生成对抗性错误报告的原型框架。
2026-01-26 cs.SE
CodeFlowLM: Incremental Just-In-Time Defect Prediction with Pretrained Language Models and Exploratory Insights into Defect Localization
cin.ufpe.br(佛罗里达大学佩德罗斯分校计算机学院);Recife-PE – Brazil(巴西佩德罗斯)
CodeFlowLM通过增量学习提升即时软件缺陷预测性能,同时探索LLMs在缺陷定位中的潜力与局限。
2025-11-28 cs.AI cs.SE
Refactoring $\neq$ Bug-Inducing: Improving Defect Prediction with Code Change Tactics Analysis
该研究提出 CAT 分析识别代码重构及其传播,修正 JIT-Defects4J 标注并增强六种 JIT-DP 基线,证明忽视重构会显著损害预测性能。
2025-07-25 cs.SE
IRJIT: A Simple, Online, Information Retrieval Approach for Just-In-Time Software Defect Prediction
本文提出 IRJIT,利用源代码信息检索和历史提交相似性实现在线、可解释的 JIT-SDP,在 10 个开源数据集上性能可比且速度最高提升 112 倍。
2024-06-12 cs.SE
A multi-label, dual-output deep neural network for automated bug triaging
Intel PSG(英特尔PSG);University of Toronto(多伦多大学);University of Göttingen(哥廷根大学)
缺陷跟踪可以监控和解决组织内的问题和缺陷。错误分类,或将错误分配给将解决它们的所有者,是这个过程的关键组成部分,因为有许多不正确的分配浪费了开发人员的时间并降低了错误解决的吞吐量。在这项工作中,我们探索使用一种新的双输出深度神经网络架构(Dual DNN),同时将错误分类到单个团队和开发人员。Dual DNN通过利用自己对团队类的猜测来利用这种同步预测,以帮助开发人员分配。多标签分类方法用于两个输出中的每一个,以向所有临时所有者学习,而不仅仅是最后一个关闭错误的人。我们利用启发式组合的临时业主(业主重要性加权标签),这是转换成一个概率质量函数(pmf)。我们采用了两阶段的学习方案,即首先训练模型的团队部分,然后保持静态,以训练团队-开发人员和bug-开发人员关系。用于编码团队-开发人员关系的方案基于组织结构图(组织结构图),该结构图使模型对组织变化具有鲁棒性,因为它可以适应组织内的角色变化。与传统的多类分类方法相比,利用所有者加权标签的Dual DNN的11倍增量学习交叉验证(IL-CV)准确性的平均提升(相对于团队和开发人员分配)为13%。此外,具有所有者加权标签的Dual DNN在具有236,865个条目的专有数据集上实现了76%(团队分配)和55%(开发人员分配)的平均11倍IL-CV准确率,分别优于参考模型14%和25%。
2019-10-13 cs.LG cs.SE
Just-in-Time Catching Test Generation at Meta
Meta Platforms(Meta平台)
元宇宙设计即时捕捉测试生成技术,通过代码变更感知方法提高测试效率,减少假阳性,防止严重故障进入生产。
2026-01-30 cs.AI cs.SE
Improving LLM-Based Fault Localization with External Memory and Project Context
MemFL通过外部记忆整合项目静态摘要与动态调试见解,将LLM故障定位简化为三步,在Defects4J上以更低时间和成本显著提升缺陷定位准确率。
2025-06-04 cs.SE
Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models
The University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学);The University of Sydney(悉尼大学);New York University(纽约大学)
本文通过在四类NLP任务及两个代码生成数据集上评估十二种不确定性估计方法与四个LLM,验证不确定性可揭示错误、非事实性输出及缺陷程序。
2025-01-05 cs.AI cs.CL cs.SE
An AST-based Code Change Representation and its Performance in Just-in-time Vulnerability Prediction
软件漏洞的存在是软件开发中日益严重的问题。在大多数情况下,当易受攻击的片段被添加到代码库时,期望尽可能早地检测到易受攻击性,优选地以及时的方式。业界很难解决这个问题,因为人工检查成本高昂,而且传统的方法(如基于规则的漏洞检测)不够强大,无法跟上新漏洞出现的步伐。积极研究的机器学习领域可以帮助在这种情况下,模型可以被训练来检测脆弱的模式。然而,机器学习模型只有在数据被适当地表示时才能很好地工作。在我们的工作中,我们提出了一种新的方式来表示源代码中的变化(即代码提交),代码更改树,一种形式,旨在只保留Java源代码的两个抽象语法树之间的差异。我们比较了它在预测代码更改是否会针对多种表示类型引入漏洞方面的有效性,并通过许多机器学习模型作为基线对其进行了评估。评估是在一个新的数据集上完成的,我们使用2阶段数据集生成器方法将其作为我们贡献的一部分。根据我们的评估,我们得出结论,使用代码更改树是一个有效的和有效的选择,以表示源代码的变化,因为它提高了性能。
2023-03-29 cs.SE
Human-in-the-loop online just-in-time software defect prediction
针对现有在线即时软件缺陷预测忽略SQA人员交互的问题,提出人在回路方法并设计结合k折分布式自助法与Wilcoxon检验的评估框架,经10个GitHub项目验证可提升预测性能与评估可信度。
2023-08-25 cs.SE
Assessing Practitioner Beliefs about Software Defect Prediction
仅仅因为软件开发人员说他们相信“X”,并不一定意味着“X”是真的。正如这里所示,在最近的软件工程文献中列出了许多信念,这些信念只得到一小部分可用数据的支持。因此,我们要问,信念和证据之间的这种脱节的根源是什么?为了回答这个问题,我们在数十个开源项目中看到的30万多个变化中寻找十个信念的证据。其中一些信念在所有项目中都得到了强有力的支持;特别是,“涉及更多添加和删除行的提交更容易出现bug”和“由其所有者(贡献最多更改的人)贡献较少行的文件更容易出现bug”。大多数被研究的广泛持有的信念在数据中只得到零星的支持;即大的影响可能出现在项目数据中,然后在随后的发布中消失。这种零星的支持解释了为什么开发人员相信与他们以前的工作相关的东西,但不一定是他们当前的工作。我们的结论是,我们需要改变与软件工程争论的性质。具体而言,虽然报告当前有效的影响很重要,但报告随着时间的推移会发生哪些影响也很重要。
2020-04-08 cs.SE
An Exploratory Study on Code Attention in BERT
University of British Columbia(不列颠哥伦比亚大学);Singapore Management University(新加坡管理大学)
软件工程中的许多最新模型都引入了基于Transformer架构的深度神经模型,或者使用基于transformer的预训练语言模型(PLM)。虽然这些模型实现了许多下游任务(如代码摘要和错误检测)的最新技术水平,但它们是基于Transformer和PLM的,这些模型主要在自然语言处理(NLP)领域进行研究。尽管自然语言和程序设计语言之间存在差异,但目前的研究依赖于NLP对代码中这些模型的推理和实践。关于解释代码如何建模的文献也很有限。在这里,我们调查的注意力行为的PLM的代码,并比较它与自然语言。我们对BERT(一个基于Transformer的PLM)进行了代码预训练,并探索了它学习的信息类型,包括语义和语法。我们运行了几个实验来分析代码构造对彼此的注意力值以及BERT在每一层中学习到的内容。我们的分析表明,BERT更关注语法实体,特别是标识符和分隔符,而不是NLP中最受关注的标记[CLS]。这一观察促使我们在用于代码克隆检测时利用标识符来表示代码序列,而不是[CLS]标记。我们的研究结果表明,采用嵌入标识符的BERT的性能提高了605%和4%的F1分数在其较低的层和上层,分别。在基于代码的PLM CodeBERT中使用标识符的嵌入,克隆检测的F1得分提高了21-24%。这些发现可以通过使用特定于代码的表示而不是应用NLP中使用的常见嵌入来使研究社区受益,并为开发具有类似性能的较小模…
2022-04-05 cs.AI cs.CL cs.PL
Automating Just-In-Time Python Type Annotation Updating
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);Shanghai Institute for Advanced Study, Zhejiang University(浙江大学上海高等研究院);College of Education, Zhejiang University(浙江大学教育学院)
研究Python项目中类型注释易过时问题,提出基于大语言模型的TypeUp方法自动更新类型注释,能依据旧注释和代码更改生成新注释,性能优于现有方法,在实际项目评估中展现实用价值。
2026-07-13 cs.SE
Deep Just-In-Time Inconsistency Detection Between Comments and Source Code
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
自然语言注释传达源代码的关键方面,例如实现、用法以及前置和后置条件。当相应的代码被修改时,如果没有相应地更新注释,就会导致不一致,这会导致混乱和软件错误。在本文中,我们的目标是检测注释是否由于相应代码体的更改而变得不一致,以便及时捕获潜在的不一致,即,在它们被提交到代码库之前。为了实现这一目标,我们开发了一种深度学习方法,可以学习将注释与代码更改相关联。通过对跨越各种评论类型的评论/代码对的大型语料库进行评估,我们表明我们的模型明显优于多个基线。对于外部评估,我们展示了我们的方法的有用性,通过将其与评论更新模型相结合,构建一个更全面的自动评论维护系统,该系统可以根据代码更改检测和解决不一致的评论。
2020-12-26 cs.AI cs.CL cs.LG
A Defect is Being Born: How Close Are We? A Time Sensitive Forecasting Approach
University of Oulu(奥卢大学);University of Salerno(萨勒诺大学);University of Milano-Bicocca(米兰-布雷拉大学);University of Southern Denmark(南部丹麦大学)
本文提出一种时间敏感的缺陷预测方法,旨在通过训练多种预测技术,提前识别软件缺陷的早期迹象并评估其有效性。
2026-01-05 cs.AI cs.IR cs.LG
ReDef: Do Code Language Models Truly Understand Code Changes for Just-in-Time Software Defect Prediction?
Jeonbuk National University(全北国立大学)
ReDef通过高置信度的函数级修改数据集评估代码语言模型对代码变更的理解,发现紧凑的diff编码在所有模型中表现最佳,但反事实测试显示性能稳定,表明模型依赖于表面线索而非真实语义理解。
2026-04-02 cs.AI cs.SE