DeepDebug: Fixing Python Bugs Using Stack Traces, Backtranslation, and Code Skeletons
Microsoft Cloud and AI(微软云与人工智能部门)
缺陷定位和程序修复的联合任务是软件开发过程中不可或缺的一部分。在这项工作中,我们提出了Deepcraft,一种使用大型预训练Transformers进行自动调试的方法。我们首先在反向提交数据上训练一个错误创建模型,以生成合成错误。我们把这些合成的虫子应用到两个方面。首先,我们直接对来自20万存储库的所有函数进行反向翻译模型的训练。接下来,我们将关注10K存储库,我们可以对这些存储库执行测试,并在这些存储库中创建通过测试的所有函数的错误版本。这为我们提供了丰富的调试信息,如堆栈跟踪和打印语句,我们使用这些信息来微调我们在原始源代码上预训练的模型。最后,我们通过将上下文窗口扩展到有缺陷的函数本身之外,并添加由该函数的父类、导入、签名、文档字符串和方法体(按优先级顺序)组成的骨架来增强所有模型。在菜Bugs基准测试中,我们将发现的修复总数增加了50%以上,同时将误报率从35%降低到5%,并将超时时间从6小时减少到1分钟。在我们自己的可执行测试基准上,我们的模型在不使用跟踪的情况下第一次尝试就修复了68%的错误,在添加跟踪后,它在第一次尝试时修复了75%的错误。我们将开源我们的框架和验证集,用于评估可执行测试。
2021-05-19 cs.LG cs.SE
Debt-Prone Bugs: Technical Debt in Software Maintenance
修复bug是软件开发和维护的一个重要阶段。在实践中,bug修复的过程可能会与发布时间表相冲突。这种冲突导致了软件质量和发布进度之间的权衡,这被称为技术债务隐喻。在这篇文章中,我们提出了债务倾向的错误的概念,在软件维护中的技术债务模型。我们确定了三种类型的债务倾向的错误,即标签错误,重新打开的错误,和重复的错误。对Mozilla进行了案例研究,以检查软件产品中容易产生债务的错误的影响。我们调查债务倾向的错误和产品质量之间的相关性。对于正在开发的产品,我们基于历史产品构建预测模型来预测修复错误的时间成本。结果表明,识别债务倾向的错误可以帮助监控和提高软件质量。
2017-04-16 cs.SE
PanicFI: An Infrastructure for Fixing Panic Bugs in Real-World Rust Programs
针对Rust程序panic缺陷修复难的问题,提出PanicFI基础设施,构建含102个真实缺陷的Panic4R数据集,挖掘Rust特有修复模式,开发首款自动化修复工具PanicKiller,已修复28个开源缺陷,验证了模式有效性。
2024-11-04 cs.SE
Fast Fixes and Faulty Drivers: An Empirical Analysis of Regression Bug Fixing Times in the Linux Kernel
本文实证分析Linux内核回归缺陷修复时间,发现修复速度快于以往报告,设备驱动为最易受影响子系统,且代码审查与测试不能解释修复时间差异。
2024-11-04 cs.SE
DABT: A Dependency-aware Bug Triaging Method
Ryerson University(瑞尔森大学)
在软件工程实践中,及时修复错误可以降低相关成本。另一方面,手动错误修复过程可能是耗时的,繁琐的,并且容易出错。在这项工作中,我们引入了一种错误分类方法,称为依赖性感知错误分类(DABT),它利用自然语言处理和整数编程将错误分配给适当的开发人员。与以往的工作,主要集中在一个方面的错误报告,DABT考虑的文本信息,成本与每个错误,以及它们之间的依赖关系。因此,这个全面的制定涵盖了以前的作品中最重要的方面,同时考虑到了错误的阻塞效果。我们报告了三个开源软件系统上的算法性能,即,支持JDT、LibreOffice和Mozilla。我们的结果表明,DABT能够将逾期错误的数量减少高达12%。它还将bug的平均修复时间减少了一半。此外,它通过优先考虑阻塞错误来降低错误依赖图的复杂性。
2021-04-26 cs.LG cs.SE
An End-to-End Approach for Fixing Concurrency Bugs via SHB-Based Context Extractor
本文提出ConFixAgent,一种基于LLM的端到端并发bug修复工具,通过静态发生前图识别相关代码段,提升修复准确性。
2026-04-07 cs.SE
Automatically finding atomic regions for fixing bugs in Concurrent programs
本文提出了一种技术,用于自动构建一个修复错误的并发程序:给定一个并发程序,不满足用户提供的断言,我们推断原子块修复程序。原子块保护一段代码,并确保它在不受其他线程中断的情况下运行。我们的技术使用一个验证工具作为一个子程序,以找到最小的原子区域,消除所有的错误在一个给定的程序。保持原子区域较小可以实现最大的并发性。我们已经在一个名为AtomicInf的工具中实现了我们的方法。AtomicInf的用户可以为推断的修复在强和弱原子性语义之间进行选择。虽然前者更容易找到,但后者提供了有关修复的错误的更多信息。我们在几个基准测试中运行了AtomicInf,并在所有基准测试中找到了最小和最精确的原子区域。我们在我们的设置中实现了一种早期的技术,并观察到AtomicInf的平均速度是早期方法的1.7倍。
2014-03-07 cs.SE
RaceFixer -- An Automated Data Race Fixer
提出自动化修复单变量原子性违规并发缺陷的工具 RaceFixer,结合 ThreadSanitizer 报告与静态分析生成并合并补丁,提升修复质量、性能与代码可读性。
2024-01-08 cs.PL cs.SE
DEAR: A Novel Deep Learning-based Approach for Automated Program Repair
现有的基于深度学习(DL)的自动程序修复(APR)模型在修复一般软件缺陷方面受到限制。我们提出了{ \tool },这是一种基于DL的方法,支持修复一般错误,这些错误需要立即对一个或多个代码块中的一个或多个连续语句进行相关更改。我们首先设计了一种新的故障定位(FL)技术,用于多块、多语句修复,该技术将传统的基于频谱(SB)的FL与深度学习和数据流分析相结合。它接受SBFL模型返回的错误语句,检测出要立即修复的错误块,并扩展块中的错误语句$s$,以包括$s$周围的其他可疑语句。我们设计了一个基于树的两层LSTM模型,该模型结合了循环训练,并使用分治策略来学习适当的代码转换,以便在由周围子树组成的适当固定上下文中固定多个语句。我们在三个数据集上进行了几次实验来评估{ \tool }:Defects 4J(395个错误)、BigFix(+26k个错误)和CPatMiner(+44k个错误)。在Defects 4J数据集上,{ \tool }在仅使用前1个修补程序自动修复的错误数量方面优于基线,从42\%到683\ %。在BigFix数据集上,它比现有的基于DL的APR模型多修复了31- 145个错误。在CPatMiner数据集中,在667个修复的bug中,有169个(25.3%)多块/多语句bug。与最先进的基于DL的APR模型相比,{ \tool }分别多修复了71个和164个错误,其…
2022-05-04 cs.SE
Extracting Concise Bug-Fixing Patches from Human-Written Patches in Version Control Systems
高质量、大规模的真实bug库和从实际应用中收集的简洁补丁是软件工程研究的关键。在这样的存储库中,每个真正的bug都明确地与它的修复相关联。因此,一方面,真实的错误和它们的修复可以启发用于发现、定位和修复软件错误的新方法;另一方面,真实的错误和它们的修复对于软件测试、故障定位和程序修复的方法的严格和有意义的评估是不可缺少的。为此,许多这样的储存库,例如,第4J章已经被发现了然而,这种储存库相当小,因为它们的建造涉及昂贵的人工干预。虽然错误修复代码提交以及相关的测试用例可以从版本控制系统自动检索,现有的方法还不能自动提取简明的错误修复补丁从错误修复提交,因为这样的提交往往涉及错误无关的更改。在本文中,我们提出了一个自动的方法,称为BugBuilder,提取完整和简洁的错误修复补丁从人类编写的补丁在版本控制系统。它通过检测bug修复提交中涉及的重构来排除重构,并在错误版本上重新应用检测到的重构。它枚举剩余部分的所有子集,并在测试用例上验证它们。如果没有一个子集有可能成为一个完整的bug修复补丁,则剩余部分作为一个整体被视为一个完整和简洁的bug修复补丁。对Defects 4J中809个真实bug修复提交的评估结果表明,BugBuilder成功地为40%的bug修复提交生成了完整而简洁的bug修复补丁,其准确率(99%)甚至高于人类专家。
2021-02-27 cs.SE
A Quantitative Study of Security Bug Fixes of GitHub Repositories
软件容易出现错误和故障。安全漏洞是那些违反软件要求而暴露或共享特权信息和访问的漏洞。考虑到安全漏洞的严重性,存在用于跨多个产品支持和跟踪这些漏洞的集中机制,其中一种机制是通用漏洞和暴露(CVE)ID描述。当一个bug获得一个CVE时,它是通过它的CVE ID引用的。因此,我们在Github上探索了数千个自由/自由开源软件(FLOSS)项目,以确定开发人员是否在他们的代码,提交和问题中引用或讨论CVE。CVE通常会引用项目的第三方软件依赖项,因此错误不会出现在实际产品本身中。我们研究这些引用中有多少是故意的CVE引用,以及有多少是项目本身的相关错误。我们研究如何修复引用CVE的错误以及修复这些错误需要多长时间。我们对250个错误报告进行手动分类的结果显示,88个(35%)、32个(13%)和130个(52%)被分类为“版本更新”、“修复代码”和“讨论”。为了了解修复这些错误需要多长时间,我们比较了两个时间段,报告期,CVE存储库中漏洞信息的披露日期和项目中错误报告的创建日期之间的时间段,以及修复期,错误报告的创建日期和错误报告的修复日期之间的时间段。我们发现,44%的bug报告被归类为“版本更新”或“修复代码”,报告期比修复期长。这表明,那些提交CVE的人应该更直接地通知受影响的项目。
2020-12-15 cs.SE
Towards the Generalizability of Leveraging ChatGPT in APR via Self-enhancing: An Empirical Study
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室)
本研究通过三个基准和两个模型实证评估ChatGPT增强APR方法的泛化性,发现收益因基准和模型而异,直接提供修复特定外部信息可能更有效。
2026-09-22 cs.SE
MultiFixer: A Coordinator-Proposer Based Multi-Agent Framework For Fixing Multi-Hunk Bugs
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);Singapore Management University(新加坡管理大学)
该研究针对现有LLM-based APR方法难以修复多块漏洞的问题,提出MultiFixer多智能体框架,经多基准测试,其在Defects4J等数据集上达到最优修复效果,能有效修复多块漏洞。
2026-07-30 cs.SE
S-DABT: Schedule and Dependency-Aware Bug Triage in Open-Source Bug Tracking Systems
Ryerson University(瑞尔森大学)
及时修复错误可以降低软件维护中的各种潜在成本。然而,手动的bug修复调度可能是耗时的,麻烦的,并且容易出错。在本文中,我们提出了时间表和依赖性意识的错误分类(S-DABT),一个错误分类方法,利用整数规划和机器学习技术分配错误到合适的开发人员。与以前的工作,主要集中在一个单一的组件的错误报告,我们的方法考虑到文本数据,错误修复成本,和错误的依赖关系。我们进一步将开发人员的时间表纳入我们的制定中,以便为这个多方面的问题提供更全面的模型。因此,这个完整的公式考虑了开发人员的时间表和错误的阻塞效应,同时涵盖了以前提出的方法的最重要的方面。我们对四个开源软件系统,即OpenSeJDT,LibreOffice,GCC和Mozilla的数值研究表明,考虑到开发人员的时间表减少了平均错误修复时间。我们发现,S-DABT导致开发人员利用率高,通过公平分配的开发人员之间的任务和有效地利用他们的时间表中的空闲点。通过问题跟踪系统的模拟,我们还展示了如何将计划在模型制定减少了错误修复时间,提高了分配的准确性,并利用每个开发人员的能力,而没有太多的模型运行时间。我们发现,S-DABT降低了错误依赖图的复杂性,通过优先级阻塞错误,并有效地降低了不可行的分配率,由于错误的依赖关系。因此,我们建议在自动化bug分类时考虑开发人员的时间表。
2022-04-12 cs.LG cs.SE
Hints Help Finding and Fixing Bugs Differently in Python and Text-based Program Representations
本研究通过753人众包实验发现,提示类型和程序表示(Python与文本)显著影响用户发现和修复错误的准确性,文本表示更有利,提示效果因用户理解而异,为个性化编程工具设计提供启示。
2024-12-17 cs.SE
Gradient-Based Program Repair: Fixing Bugs in Continuous Program Spaces
KTH Royal Institute of Technology(皇家理工学院)
本文提出基于梯度的程序修复方法,通过在可微数值程序空间中进行连续优化,有效修复符号程序中的错误,首次将程序修复视为数值空间中的连续优化问题。
2026-03-25 cs.LG cs.PL cs.SE
Mea culpa: How developers fix their own simple bugs differently from other developers
基于SStuBs数据集研究代码作者身份对漏洞修复提交的影响,发现原作者修复简单漏洞的速度更快且提交规模更大,而其他开发者的修复更小且专注,为定制化修复工具提供了依据。
2021-03-22 cs.SE
AVATAR : Fixing Semantic Bugs with Fix Patterns of Static Analysis Violations
基于修复模式的补丁生成是自动程序修复(APR)的一个重要研究方向。值得注意的是,它已被证明比通过遗传编程用变异算子获得的补丁产生更可接受和正确的补丁。然而,基于模式的APR系统的性能取决于从开发历史中的修复变化中挖掘的修复成分。不幸的是,在存储库中收集一组可靠的错误修复可能是一个挑战。在本文中,我们建议调查的可能性,在APR的情况下,利用代码的变化,解决违反静态错误检测工具。为此,我们建立了AVATAR APR系统,它利用修复模式的静态分析违规的成分补丁生成。在Defects 4J基准上进行评估,我们表明,假设完美的故障定位,AVATAR可以生成正确的补丁来修复34/39个错误。我们进一步发现,AVATAR产生的性能指标,在文献中的密切相关的方法。虽然AVATAR优于许多最先进的基于模式的APR系统,但它主要是对当前方法的补充。总的来说,我们的研究突出了静态错误发现工具的相关性,作为解决功能测试用例识别的代码缺陷的修复成分的间接贡献者。
2019-02-15 cs.SE
BUGSPHP: A dataset for Automated Program Repair in PHP
本文提出面向 PHP 的自动化程序修复基准数据集 BUGSPHP,包含超60万条训练提交和513条经人工验证并附带测试用例的测试提交,以填补 PHP 缺陷修复研究的数据空白。
2024-01-21 cs.SE
GitHub-OSS Fixit: Fixing bugs at scale in a Software Engineering Course
许多研究表明,将开源项目引入软件工程(SE)课程教学的好处。然而,现有的研究有几个局限性,限制了开源项目在课堂环境中的广泛适应,包括(1)所选择的项目仅限于一个特定的项目,(2)大多数研究只调查了它对教授特定SE概念的影响,以及(3)学生可能会在他们的贡献中犯错误,导致质量差的代码。与此同时,软件公司已经成功推出了Google Summer of Code(GSoC)和FindBugs“fixit”等项目,为开源项目做出贡献。受这些项目成功的启发,我们提出了GitHub-OSS Fixit,这是一个课程项目,通过修复GitHub中报告的错误,教导学生为开源Java项目做出贡献。我们描述了我们的课程大纲,通过鼓励使用几个自动化的程序分析工具来教授学生SE概念。我们还提供了精心设计的指导,供学生参与GitHub-OSS Fixit。由于所有的讲座和实验都是在线进行的,我们认为我们的课程设计可以帮助指导未来的在线SE课程。总体而言,我们的调查结果显示,学生认为GitHub-OSS Fixit可以帮助他们提高许多技能,并应用课堂上教授的知识。总共有154名学生向24个不同的Java项目提交了214个pull request,其中59个项目被合并,82个项目被开发人员关闭。
2021-02-14 cs.SE
Bug shallowness in open-source, Macintosh software
开源软件的核心力量是bug的浅薄性,即相对容易找到和修复bug。开源运动始于Unix软件,因此许多用户也是能够找到并修复源代码错误的程序员。但随着开源运动进入Macintosh平台,漏洞可能并不浅,因为Macintosh用户中很少有程序员。然而,根据开源开发人员的报告,我得出结论,开源Macintosh软件中的漏洞与任何其他开源软件中的漏洞一样浅。
2004-07-29 cs.SE
Fixing 7,400 Bugs for 1$: Cheap Crash-Site Program Repair
本文提出崩溃点修复和模板引导补丁生成方法,实现低成本自动程序修复,结合CodeRover-S将令牌成本降低45.9%,修复率提升至73.5%,并支持本地模型运行。
2025-05-24 cs.CR cs.SE
Getafix: Learning to Fix Bugs Automatically
静态分析器通过对反复出现的bug类别发出警告来帮助早期发现bug。虽然修复这些bug在实践中仍然是一项主要的手动任务,但我们观察到,对特定bug类别的修复通常是重复的。本文讨论了通过从过去的修复中学习来自动修复常见错误的问题。我们提出Getafix,一种方法,产生类似人类的修复,同时足够快,建议修复的时间成比例的时间,需要获得静态分析结果摆在首位。Getafix是基于一种新的层次聚类算法,总结修复模式到一个层次结构,从一般到特定的模式。Getafix使用一种简单而有效的排名技术,使用代码更改的上下文来为给定的错误选择最合适的修复,而不是对潜在的大空间候选修复进行计算上昂贵的探索。我们的评估将Getafix应用于流行的Java静态分析器报告的六个错误类别的1,268个错误修复,包括空引用,不正确的API调用和特定语言结构的误用。该方法准确地预测了人类编写的修复程序在12%到91%的时间内是最重要的建议,这取决于bug类别。排名前5位的建议包含1,268个错误中的526个。此外,我们还报告了在Facebook内部部署该方法的情况,该方法有助于提高数十亿人使用的软件的可靠性。据我们所知,Getafix是第一个工业部署的自动化错误修复工具,它从过去的人类编写的修复程序中学习修复模式,以产生类似人类的修复程序。
2019-11-20 cs.SE
Mining Crash Fix Patterns
在软件开发的生存周期中,开发人员必须修复测试人员或最终用户报告的各种错误。修复bug的效率和有效性对软件的可靠性以及开发团队的生产力有着巨大的影响。软件公司通常在测试和错误修复部门花费大量的资金和人力资源。因此,他们非常希望有一种更好、更可靠的方法来修复bug。为了实现这一目标,有必要深入研究维护良好的、高度流行的软件项目的错误修复特征。在本文中,我们研究了从Eclipse项目中提取的错误修复历史,Eclipse项目是一个维护良好,非常流行的开源项目。在分析了属于三种主要异常类型的36,000多个错误之后,我们能够揭示一些常见的修复类型,这些类型经常用于修复某些类型的程序异常。我们的分析表明,几乎所有属于某个异常的异常都可以通过不到10种修复类型来修复。我们的研究结果表明,软件项目中的大多数错误可以而且应该只通过几个常见的修复模式来修复。
2013-11-11 cs.SE
A Comprehensive Study of Bug Fixes in Quantum Programs
随着量子编程的发展,越来越多的量子编程语言正在开发中。因此,调试和测试量子程序变得越来越重要。虽然经典程序中的错误修复已经走过了很长的路,但在量子程序中缺乏研究。为此,本文提出了一个全面的研究量子程序中的错误修复。我们收集和调查了来自四种流行的量子编程语言Qiskit,Cirq,Q#和ProjectQ的96个真实世界的错误及其修复。我们的研究表明,量子程序中的错误有很大比例是量子特定的错误(超过80%),这需要在错误修复领域进行进一步的研究。我们还总结和扩展了量子程序中的错误模式,并对最关键的部分--数学相关错误进行了细分,使其更适用于量子程序的研究。我们的研究结果总结了量子程序中缺陷的特征,为研究量子程序的测试和调试提供了基础。
2022-01-21 cs.PL cs.SE quant-ph
Can LLMs Find Bugs in Code? An Evaluation from Beginner Errors to Security Vulnerabilities in Python and C++
1 Dept. of Computer Information Systems, Texas A\&M University - Central Texas, TX, 76549 USA.;2 LSU Center for Computation \& Technology, Louisiana State University, Baton Rouge, LA, 70803 USA.;3 Department of Physics;Astronomy, Louisiana State University, Baton Rouge, LA, 70803 USA.;4 Applied Computer Science (CCS-7), Los Alamos National Laboratory, Los Alamos, NM 87545 USA.
本文评估了三个主流LLM在检测Python和C++中基础错误、经典安全漏洞及生产级bug的有效性,发现其在语法和语义问题上表现良好,但在复杂安全漏洞和大规模代码中性能下降。
2026-02-09 cs.LG cs.SE
RAPGen: An Approach for Fixing Code Inefficiencies in Zero-Shot
Microsoft Corporation(微软公司)
本文提出RAPGen,通过检索历史性能缺陷修复知识生成提示并驱动LLM零样本修复代码低效问题,实验显示其约60%建议达到或超过开发者水平。
2025-01-09 cs.AI cs.SE
Towards Understanding Bugs in Distributed Training and Inference Frameworks for Large Language Models
本文针对大语言模型分布式训练与推理框架的Bug问题,首次对3个主流框架的308个已修复Bug开展大规模实证分析,揭示Bug特征与低代码修复规律,为框架可靠性提升与自动化调试提供了方向。
2025-06-12 cs.SE
Coffee: Boost Your Code LLMs by Fixing Bugs with Feedback
Yonsei University(延世大学);Seoul National University(首尔大学)
本文提出 Coffee 数据集和 CoffeePots 框架,通过偏好优化调优与选择为开源代码大语言模型生成高质量修复反馈,在 HumanEvalFix 上取得最优性能。
2024-02-23 cs.CL cs.SE
ThinkRepair: Self-Directed Automated Program Repair
本文提出自导向自动程序修复方法ThinkRepair,通过收集阶段自动收集思维链,修复阶段结合少样本学习与LLM交互修复bug,在Defects4J和QuixBugs上显著优于12个SOTA方法。
2024-07-30 cs.SE
Whence Is A Model Fair? Fixing Fairness Bugs via Propensity Score Matching
North Carolina State University(北卡罗来纳州立大学);Cornell University(康奈尔大学)
针对训练与测试数据同源采样导致的公平性评估偏差问题,提出后处理方法 FairMatch,通过倾向得分匹配定位无偏子集并调整决策阈值,结合概率校准显著减轻剩余数据偏差且不牺牲预测性能。
2025-05-01 cs.CY cs.LG cs.SE
Fight Fire with Fire: How Much Can We Trust ChatGPT on Source Code-Related Tasks?
针对ChatGPT在软件开发中应用时生成代码质量验证的问题,本文通过实证研究评估其在代码生成、补全和修复任务中的自我验证能力,发现其存在误判和幻觉等问题,且引导性问题可增强该能力,为相关研究提供启示。
2024-11-28 cs.SE
XRFix: Exploring Performance Bug Repair of Extended Reality Applications with Large Language Models
Hong Kong Baptist University(香港浸会大学);Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学)
该研究针对XR应用性能缺陷修复的技术挑战,提出基于大语言模型的XRFix框架,构建缺陷数据集与定制检测工具,经实验验证其修复性能优于SOTA APR方法。
2026-08-25 cs.SE
LLM Critics Help Catch LLM Bugs
OpenAI
本文提出用RLHF训练的LLM批评模型辅助人类评估代码,实验表明其比人类评审更能发现LLM生成代码中的缺陷,并能识别ChatGPT训练数据中被标为无瑕疵的错误,人机协作还可减少幻觉。
2024-06-28 cs.LG cs.SE
Demystifying Regular Expression Bugs: A comprehensive study on regular expression bug causes, fixes, and testing
正则表达式会导致与字符串相关的错误和DOS攻击的开放安全漏洞。然而,除了ReDoS(正则表达式拒绝服务)之外,人们对正则表达式问题影响软件开发的程度以及如何在实践中解决这些问题知之甚少。我们对来自Apache,Mozilla,Facebook和Google GitHub存储库的356个合并regex相关的pull request bug进行了实证研究。我们识别正则表达式问题的性质、修复以及测试代码中的相关更改并对其进行分类。本文最重要的发现如下:1)不正确的正则表达式行为是正则表达式错误的主要根源(165/356,46.3%)。其余的根本原因是不正确的API使用(9.3%)和其他需要在修复中更改正则表达式的代码问题(29.5%),2)修复正则表达式错误并不简单,因为与一般的拉取请求相比,修复正则表达式错误需要更多的时间和更多的代码行,3)大多数(51%)与正则表达式相关的拉取请求不包含测试代码更改。某些正则表达式错误类型(例如,编译错误,性能问题,正则表达式表示)不太可能包括测试代码更改,4)在正则表达式相关的拉取请求中,测试代码更改的主要类型是测试用例添加(75%)。本研究的结果有助于更广泛地理解开发人员在使用、修复和测试正则表达式时所面临的实际问题。
2021-04-19 cs.SE
Untangling Knots: Leveraging LLM for Error Resolution in Computational Notebooks
JetBrains Research(JetBrains研究院)
本文提出一种基于大语言模型的迭代式智能体方法,用于解决非线性计算笔记本中的错误,并发布了一个含缺陷的计算笔记本数据集以支持相关研究。
2024-03-26 cs.LG cs.SE
Identifying Root Cause of bugs by Capturing Changed Code Lines with Relational Graph Neural Networks
针对缺陷预测中变更代码行缺乏有效图信息整合与语义关系的问题,提出基于关系图卷积网络的RC-Detection方法,通过捕获变更代码行语义关系识别Bug根本原因,在多项指标上显著优于现有方法。
2025-05-02 cs.SE
Agentic Harness for Real-World Compilers
Southern University of Science and Technology(南方科技大学);ETH Zurich(苏黎世联邦理工学院);The Chinese University of Hong Kong(香港中文大学)
本文提出llvm-autofix,首个专为修复编译器bug设计的代理工具,通过专用工具和基准测试展示其在处理复杂编译器bug时的性能优势。
2026-08-03 cs.AI cs.SE
DeepFix: Debugging and Fixing Machine Learning Workflow using Agentic AI
Technical University of Munich(慕尼黑工业大学)
本文提出DeepFix,利用代理AI框架实现机器学习全流程自动化测试,通过Deepchecks检测潜在bug并生成详尽报告,提供修复建议,支持多种ML系统并集成到开发流程中,展示如何发现传统测试无法检测的隐藏故障模式。
2026-03-14 cs.SE
A Critical Review of Large Language Model on Software Engineering: An Example from ChatGPT and Automated Program Repair
该研究构建了ChatGPT训练截止时间后的全新APR基准,评估其漏洞修复能力,验证了不同提示词及对话式修复流程的效果,指出需重新评估黑盒大模型在软件工程任务中的成果。
2024-04-17 cs.SE
A Software-Repair Robot based on Continual Learning
软件缺陷是常见的,纠正它们占软件开发和维护过程中成本的很大一部分。这就需要自动技术来处理它们。实现这一目标的一个有希望的方向是从历史错误修复示例中获得修复知识。随着机器学习范式的不断发展和通过持续集成(CI)生成的“大”错误修复数据的激增,从软件开发历史中检索见解特别有吸引力。在本文中,我们提出了R-Hero,一种新的软件修复机器人,适用于持续学习,以获得错误修复策略,从连续流的源代码更改,实现了单一的开发平台Github/Travis CI。我们描述了R-Hero,我们的新系统,用于学习如何在持续培训的基础上修复错误,我们发现了初步的成功以及社区面临的新的研究挑战。
2021-12-06 cs.SE
A Fine-grained Data Set and Analysis of Tangling in Bug Fixing Commits
上下文:纠结提交是对软件的更改,可以同时解决多个问题。对于对bug感兴趣的研究人员来说,纠结的提交意味着他们实际上不仅研究bug,还研究与bug研究无关的其他问题。目标:我们希望提高我们对纠缠的流行程度以及在bug修复提交中纠缠的更改类型的理解。方法:我们使用众包方法进行手动标记,以验证哪些更改有助于bug修复提交中每行的bug修复。每条线由四个参与者标记。如果至少有三个参与者同意相同的标签,我们就达成了共识。结果:我们估计,在bug修复提交的所有更改中,有17%到32%修改了源代码以修复潜在问题。然而,当我们只考虑对生产代码文件的更改时,这一比例增加到66%到87%。我们发现,大约11%的线路很难标记,导致参与者之间的积极分歧。由于确认的缠结和我们数据中的不确定性,我们估计3%到47%的数据在没有手动解开的情况下是有噪声的,这取决于用例。结论:缠结提交在bug修复中具有很高的流行率,并且可能导致数据中的大量噪声。先前的研究表明,这种噪音可能会改变结果。作为研究人员,我们应该持怀疑态度,并假设未经验证的数据可能非常嘈杂,直到证明不是这样。
2021-10-13 cs.SE
PerfBench: Can Agents Resolve Real-World Performance Bugs?
Microsoft Corporation(微软公司)
PerfBench通过引入新的基准测试,评估代理解决性能缺陷的能力,发现现有代理在性能优化任务上表现不佳,但通过改进工具和指导可提升至20%的成功率。
2025-12-02 cs.AI cs.PF cs.SE
PATCH: Empowering Large Language Model with Programmer-Intent Guidance and Collaborative-Behavior Simulation for Automatic Bug Fixing
针对现有大语言模型(LLMs)自动漏洞修复方法忽视协作性、仅以漏洞代码为输入的局限,提出分阶段框架PATCH,通过补充依赖上下文与意图信息、模拟程序员协作的四阶段任务流程,在BFP基准上性能优于现有LLMs。
2025-02-16 cs.SE
Q&A MAESTRO: Q&A Post Recommendation for Fixing Java Runtime Exceptions
针对新手程序员难以为Java运行时异常搜索合适问答帖、需在IDE与浏览器间切换的问题,提出利用问答站代码结构信息自动推荐相关帖的Q&A MAESTRO方法,介绍了其IDE插件实现与用户研究结果。
2021-08-23 cs.SE
Learning to Generate Corrective Patches using Neural Machine Translation
Bug修复通常是一项手工密集型任务。然而,最近的工作提出了自动程序修复的想法,其目的是修复(至少是一个子集)的错误,以不同的方式,如代码突变等以下在同一行的工作自动修复错误,在本文中,我们的目标是利用过去的修复,提出修复当前/未来的错误。具体来说,我们提出了棘轮,一个纠正补丁生成系统,使用神经机器翻译。通过使用神经序列到序列模型学习过去修复中相应的预校正和后校正代码,Ratchet能够为给定的容易出错的代码查询生成修复代码。我们进行了实证研究与五个开源项目,即Ambari,骆驼,Hadoop,Jetty和Wicket,评估棘轮的有效性。我们的研究结果表明,棘轮可以生成语法有效的语句98.7%的时间,并实现F1的措施之间的0.29 - 0.83的实际修复采用的代码库。此外,我们使用20名参与者进行定性验证,看看生成的语句是否有助于纠正错误。我们的调查显示,Ratchet的输出被认为在许多情况下有助于修复错误,即使修复不是100%正确。
2019-07-04 cs.SE
The Fact Selection Problem in LLM-Based Program Repair
针对LLM程序修复中事实数量非单调有效的问题,本文定义事实选择问题并提出统计模型Maniple,针对特定bug选择事实,在157个bug测试集上修复88个,较最佳配置提升17%。
2024-08-27 cs.SE
ContrastRepair: Enhancing Conversation-Based Automated Program Repair via Contrastive Test Case Pairs
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学);Monash University(蒙纳士大学);Tianjin University(天津大学)
ContrastRepair通过对比测试对提升基于对话的自动程序修复效果,显著优于现有方法。
2024-03-07 cs.SE
From Empirical Evaluation to Context-Aware Enhancement: Repairing Regression Errors with LLMs
The University of Melbourne(墨尔本大学);Singapore University of Technology and Design(新加坡科技与设计大学)
通过构建回归错误基准RegressionBug4APR,评估传统APR和基于LLM的APR方法,发现上下文感知增强(引入错误诱导变更信息)使LLM-based APR修复成功率提升1.6倍。
2026-10-14 cs.AI cs.SE
Can GPT-O1 Kill All Bugs? An Evaluation of GPT-Family LLMs on QuixBugs
Alibaba Cloud(阿里云);Nanjing University(南京大学);Chongqing University(重庆大学);University Sains Malaysia(马来西亚理科大学)
本研究首次系统比较了GPT系列模型在自动程序修复中的性能,发现O1模型修复能力最强,在QuixBugs基准上成功修复全部40个Bug,为GPT模型在APR领域的应用奠定了基础。
2024-12-17 cs.AI cs.SE
Multi-Location Program Repair Strategies Learned from Past Successful Experience
自动程序修复(Automated program repair,APR)在减少软件维护工作量和时间消耗方面具有巨大的潜力,近年来成为软件工程的研究热点,提出了许多方法。多位置程序修复由于其逻辑和结构的复杂性一直是该领域的一个挑战。虽然一些方法并不声称具有解决多位置错误的功能,但它们在实践中为这些缺陷生成正确的补丁。在本文中,我们首先对Defects4J中的多位置错误进行了观察,并将其分为两类(即,相似的和相关的多位置错误)基于其补丁中的修复动作。然后,我们总结了当前工具修复Defects4J中多位置错误的情况。我们分析了当前工具生成的22个补丁,并提出了两个可行的策略来修复多位置错误,通过两个详细的案例研究来说明它们。最后,通过修复两个从未修复过的漏洞,验证了该方法的可行性。通过借鉴以往的成功经验,指出了多位置程序修复的可能途径。
2019-01-07 cs.SE
Using LLM such as ChatGPT for Designing and Implementing a RISC Processor: Execution,Challenges and Limitations
New York University(纽约大学)
本文通过设计 RISC 处理器评估 ChatGPT 等大语言模型生成代码的可行性,发现生成代码错误显著且需人工修复,表明 LLM 更适合辅助而非替代程序员。
2024-01-18 cs.AR cs.LG cs.SE
BloomAPR: A Bloom's Taxonomy-based Framework for Assessing the Capabilities of LLM-Powered APR Solutions
York University(约克大学);Polytechnique Montréal(蒙特利尔高等工程学院);Concordia University(麦考瑞大学)
BloomAPR是基于布鲁姆教育目标分类学的动态评估框架,评估了ChatRepair、CigaR等APR方案在不同LLM及布鲁姆分类层级下的漏洞修复能力,发现其存在性能差异并指出基准演进的必要性。
2026-08-06 cs.SE
Practical Program Repair via Bytecode Mutation
软件调试本身是乏味的、耗时的,甚至容易出错。因此,在文献中已经提出了各种自动化调试技术来促进调试过程。自动程序修复(APR)是自动调试的最新进展之一,它可以直接为有缺陷的程序生成补丁,只需最少的人为干预。尽管已经提出了各种先进的APR技术(包括基于搜索或基于语义的技术),但是简单化的基于变异的APR技术,其简单地使用预定义的变异算子(例如,将a>=b改变为a>b)来改变程序以寻找补丁,还没有被彻底研究。在本文中,我们实现了第一个实用的字节码级APR技术,PraPR,并提出了第一个关于修复现实世界错误的广泛研究(例如,defects4J bugs)使用字节码突变。实验结果表明,令人惊讶的是,即使只有基本的传统突变体的PraPR也可以为18个错误生成真正的补丁。此外,使用我们的增强突变器,PraPR能够为43个错误生成真正的补丁,显著优于最先进的APR。它也快了一个数量级,表明基于字节码突变的APR有着光明的未来。
2018-07-10 cs.SE