An Analysis of the Search Spaces for Generate and Validate Patch Generation Systems
我们提出了第一个系统的分析补丁搜索空间的自动补丁生成系统的特点。我们分析了搜索空间的两个当前国家的最先进的系统,SPR和先知,16个不同的搜索空间配置。我们的结果来自1104个不同的搜索空间和768补丁生成执行的分析。这些实验在Amazon EC2上总共消耗了超过9000小时的CPU时间。分析表明:1)正确的补丁在搜索空间中是稀疏的(通常每个缺陷每个搜索空间最多一个正确的补丁),2)通过验证测试套件中所有测试用例的不正确补丁通常数量级更丰富,以及3)因此利用测试套件以外的信息对于使系统能够成功隔离正确补丁至关重要。我们还描述了一个关键的权衡结构的搜索空间。包含更多缺陷的正确补丁的更大和更丰富的搜索空间实际上会导致系统找到更少而不是更多的正确补丁。我们确定了这种现象的两个原因:1)由于存在更多候选补丁而增加了验证时间,2)通过测试套件并阻止发现正确补丁的更多不正确补丁。这些基本属性都是本文首次描述的,它们有助于解释为什么过去的系统通常无法生成正确的补丁,并有助于确定该领域的挑战、机遇和富有成效的未来方向。
2016-02-18 cs.SE
CI-Repair-Bench: A Repository-Aware Benchmark for Automated Patch Validation via CI Workflows
Software Performance, Analysis, and Reliability (SPEAR) Lab, Concordia University(康科迪亚大学软件性能、分析与可靠性实验室)
CI-Repair-Bench通过真实GitHub Actions执行构建,提供仓库级程序修复基准,包含567个CI失败实例,细粒度评估12种CI错误类型,揭示自动化修复在局部和工具强制失败上效果最佳,但环境依赖等问题仍具挑战。
2026-04-29 cs.SE
Program Repair by Fuzzing over Patch and Input Space
提出将基于搜索的程序修复视为补丁级模糊测试,通过适配 AFL 在补丁空间探索并结合输入级模糊测试排除候选,采用免编译验证方法实现高吞吐量,共同探索输入与补丁空间以找到更高质量的补丁。
2023-08-01 cs.SE
Conversational Automated Program Repair
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自动程序修复(APR)可以帮助开发人员自动生成bug补丁。由于使用大型预训练语言模型(LLM)在许多代码相关任务上获得了令人印象深刻的性能,研究人员已经开始直接使用LLM进行APR。然而,先前的方法简单地重复采样LLM,给出从原始错误代码创建的相同构造的输入/提示,这不仅导致重复生成相同的错误补丁,而且还错过了测试用例中的关键信息。为了解决这些局限性,我们提出了会话式APR,一种新的模式,程序修复,交替补丁生成和验证之间的对话方式。在会话式APR中,我们通过将先前生成的补丁与验证反馈相结合来迭代地构建模型的输入。因此,我们利用LLM的长期上下文窗口,不仅可以避免生成以前不正确的补丁,而且还可以结合验证反馈,以帮助模型理解被测程序的语义含义。我们评估了10种不同的LLM,包括新开发的ChatGPT模型,以证明会话式APR比APR方法的先前LLM的改进。
2023-01-30 cs.LG cs.SE
Experimental Settings in LLM-Based Program Repair: A Study of Inputs, Tool Access, Feedback, and Validation
Pennsylvania State University(宾夕法尼亚州立大学)
本研究针对基于LLM的程序修复实验设置不明确的问题,提出显式规范框架和机器可读模式,以提升可复现性和跨系统比较的清晰度。
2026-09-17 cs.SE
On the acceptance by code reviewers of candidate security patches suggested by Automated Program Repair tools
工作背景:对自动程序修复(APR)工具提供的补丁的语义正确性进行测试和验证已受到广泛关注。然而,人类补丁评审员最终接受或拒绝现实世界项目的建议补丁受到了有限的关注。目的:为了解决这个问题,我们计划调查APR工具建议的(可能不正确的)安全补丁是否被人类审查者识别。我们还想调查是否知道一个补丁是由一个所谓的专门工具产生的,并改变了人类评审员的决定。方法:在第一阶段,使用平衡设计,我们向人类评审员提出APR工具针对不同漏洞提出的补丁组合,并要求评审员采用或拒绝提出的补丁。在第二阶段,我们告诉参与者,一些建议的补丁是由安全专用工具生成的(即使该工具实际上是一个“正常”的APR工具),并衡量人类审查者是否会改变他们的决定,采用或拒绝补丁。局限性:该实验将在学术环境中进行,为了保持力量,它将集中在流行的APR工具和流行的漏洞类型的有限样本上。
2022-09-16 cs.SE
Abstain and Validate: A Dual-LLM Policy for Reducing Noise in Agentic Program Repair
Google, USA(谷歌公司);Meta, USA(Meta公司)
本文提出双LLM策略,通过bug回避和补丁验证减少代理程序修复中的噪声,提升修复成功率和可靠性。
2026-01-29 cs.AI cs.SE
PracRepair: LLM-Empowered Automated Program Repair Inspired by Human-Like Debugging Practices
Zhejiang University(浙江大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61);Jiangxi Normal University(江西师范大学)
提出PracRepair框架,通过构建按需静态-动态上下文、进行问题驱动的故障诊断并迭代细化补丁,利用动态信息提升LLM在程序修复中的效果,在Defects4J和真实世界漏洞上取得最优性能。
2026-06-17 cs.SE
REACCEPT: Automated Co-evolution of Production and Test Code Based on Dynamic Validation and Large Language Models
本文提出REACCEPT方法,结合大型语言模型、动态验证与检索增强生成技术,实现生产与测试代码的自动化协同演化,在537个Java项目实验中更新准确率达60.16%,显著优于现有方法。
2024-11-17 cs.SE
Patch Space Exploration using Static Analysis Feedback
本研究提出一种利用静态分析(不正确性分离逻辑)反馈指导自动程序修复的方法,通过创建等效补丁类减少验证次数,在无测试用例下高效修复内存安全问题。
2023-08-01 cs.SE
Co-PatcheR: Collaborative Software Patching with Component(s)-specific Small Reasoning Models
University of California, Santa Barbara(加州大学圣芭芭拉分校);University of California, Los Angeles(加州大学洛杉矶分校)
Co-PatcheR通过组件特定的小推理模型实现协作软件修补,提升修补效率并减少训练资源消耗。
2025-11-25 cs.AI cs.CR cs.SE
Graph-Based ECO and Patch Generation for High-Level Synthesis
University of New Brunswick(新不伦瑞克大学);Google(谷歌)
本文提出基于图的ECO方法,用于Google XLS,通过图编辑距离检测IR差异并生成补丁,保留语义正确性与调度约束,实验显示高重用率和功能正确性。
2026-04-15 cs.SE
Dynamic Patch Generation for Null Pointer Exceptions using Metaprogramming
空指针异常(NPE)是生产中未捕获的崩溃异常的首要原因。在本文中,我们的目标是探索元编程中空指针异常的可能补丁的搜索空间。我们的思想是用自动代码转换来转换修复中的程序,从而得到一个元程序。这个元程序包含自动注入的钩子,可以激活它们来模拟空指针异常补丁。这使我们能够对空指针异常的运行时上下文执行细粒度分析。我们设置了一个实验,在现场发生了16个真实的空指针异常。我们比较我们的元编程方法对简单的模板修复空指针异常的有效性。
2018-12-02 cs.SE
MultiMend: Multilingual Program Repair with Context Augmentation and Multi-Hunk Patch Generation
Shiraz University(设拉子大学)
MultiMend通过上下文增强和多补丁生成技术,提升多语言程序修复效率,修复了2227个bug,其中1545个与开发者补丁一致,121个为多补丁bug。
2025-12-27 cs.SE
Towards Practical and Useful Automated Program Repair for Debugging
针对现有自动化程序修复(APR)依赖测试用例、需重跑程序、修复复杂缺陷能力弱等实用性不足问题,提出交互式IDE修复系统PracAPR,通过无测试缺陷定位、结合大模型与策略的补丁生成、模拟轨迹验证实现无需测试和程序重跑的修复,推动APR实用化。
2024-07-12 cs.SE
RESTORE: Retrospective Fault Localization Enhancing Automated Program Repair
本文提出回顾式故障定位技术,通过复用失败补丁验证结果进行基于变异的动态分析,并在RESTORE工具中实现,在Defects4J基准上以更高效率修复了41个缺陷,显著优于现有Java自动修复工具。
2020-03-31 cs.SE
AI-Assisted Fixes to Code Review Comments at Scale
Meta
本文提出MetaMateCR系统,通过微调Llama模型在64k数据点上实现代码评审意见的AI辅助修复,离线准确率达68%且生产环境ActionableToApplied比率达19.7%,并通过安全试验优化用户体验避免拖慢评审流程。
2025-07-17 cs.AI cs.PL cs.SE
PRF: A Framework for Building Automatic Program Repair Prototypes for JVM-Based Languages
PRF是一个基于Java的框架,允许研究人员通过简单地使用补丁生成插件扩展它来构建JVM语言的基于测试的生成和验证自动程序修复技术的原型。该框架还提供了用于构造自动程序修复工具的其他有用组件,例如,一个故障定位组件,提供不同粒度级别的基于频谱的故障定位信息;一个可配置且安全的补丁验证组件,比普通测试快11倍以上;以及一个可定制的后处理组件,用于生成修复报告。PRF的演示视频可在https://bit.ly/3ehduSS上获得。
2020-09-15 cs.SE
iFixR: Bug Report driven Program Repair
问题跟踪系统通常用于现代软件开发中,用于收集来自用户和开发人员的反馈。软件维护的最终自动化目标是系统化的补丁生成用户报告的错误。虽然这一雄心与自动程序修复的势头一致,但到目前为止,文献大多集中在生成和验证设置上,其中故障定位和补丁生成由定义良好的测试套件驱动。然而,一方面,对于大多数开发环境,存在相关测试用例的常见(但很强)假设在实践中并不成立:许多错误报告没有可用的测试套件能够揭示它们。另一方面,对于许多项目,bug报告的数量通常超过了可用于分类它们的资源。为了增加从业者采用补丁生成工具,我们调查了一个新的修复管道,iFixR,驱动的错误报告:(1)错误报告被馈送到一个基于IR的故障定位器;(2)补丁生成的修复模式,并通过回归测试验证;(3)优先级列表生成的补丁,建议开发人员。我们在我们丰富的Defects 4J数据集上评估iFixR(即,故障被链接到错误报告)并仔细地重新组织(即,测试用例的时间轴自然地被分割)。iFixR使用其基于IR的故障定位器为21/44 Defects 4J故障生成真实/合理的补丁。iFixR准确地将真实/合理的补丁置于其对这些故障中的8/13的前5个建议中(在生成和验证中不使用未来的测试用例)。
2019-07-12 cs.SE
A Bayesian Framework for Automated Debugging
这占用了开发人员很大一部分时间。因此,包括故障定位(FL)和自动程序修复(APR)的自动调试技术由于其在调试任务中帮助开发人员的潜力而获得了显著的关注。尽管对这些主题进行了深入的研究,但我们并不知道一个理论框架,它强调了自动调试背后的原则,并允许对技术进行抽象分析。这样一个框架将提高我们对这一努力的理解,并提供一种正式分析技术和方法的方法。为此,我们首先提出了一个贝叶斯框架的理解自动化修复,并发现,结合具体声明的目标,自动化调试,我们可以恢复最大的故障定位公式从以前的工作,以及分析现有的APR技术和他们的基本假设。作为一种手段,实证证明我们的框架,我们进一步提出BAPP,贝叶斯补丁优先级技术,采用中间程序值来分析可能的补丁位置和修复行动,其核心方程是由我们的贝叶斯框架。我们发现,将程序值允许BAPP更精确地识别正确的补丁:当应用到kPAR生成的补丁,排名产生的BAPP减少了68%的补丁验证所需的数量,从而减少了平均34分钟的修复时间。此外,BAPP提高了FL的精度,将所研究的错误的acc@5从8增加到11。这些结果突出了价值认知自动调试技术的潜力,并进一步验证了我们的理论框架。最后,提供了框架建议的未来方向。
2022-12-29 cs.SE
Invalidator: Automated Patch Correctness Assessment via Semantic and Syntactic Reasoning
The University of Melbourne(墨尔本大学);Hanoi University of Science and Technology(河内理工大学);Singapore Management University(新加坡管理大学)
自动程序修复(APR)面临着测试过拟合的挑战,其中生成的补丁通过验证测试,但未能推广。现有的补丁评估方法涉及生成新的测试或手动检查,这可能是耗时的或有偏见的。在本文中,我们提出了一种新的技术,INVALIDATOR,通过语义和语法推理自动评估APR生成的补丁的正确性。INVALIDATOR利用程序不变量来推理程序语义,同时还通过使用预训练的语言模型从大型代码语料库中学习的语言语义来捕获程序语法。给定一个有缺陷的程序和开发人员修补的程序,INVALIDATOR推断出这两个程序上可能的不变量。然后,INVALIDATOR确定一个APR生成的补丁过拟合,如果:(1)它违反了正确的规范或(2)保持了原始错误程序的错误行为。如果我们的方法无法基于不变量确定过拟合补丁,INVALIDATOR将利用来自标记补丁的训练模型来基于程序语法评估补丁正确性。INVALIDATOR的好处有三方面。首先,INVALIDATOR利用语义和句法推理来增强其区分能力。其次,INVALIDATOR不需要生成新的测试用例,而是只依赖于当前的测试套件,并使用不变式推理来概括程序行为。第三,INVALIDATOR是完全自动化的。实验结果表明,INVALIDATOR优于现有的方法在准确性和F-措施,正确识别79%的过拟合补丁和检测23%以上的过拟合补丁比最好的基线。
2023-03-17 cs.LG cs.SE
Exploring Plausible Patches Using Source Code Embeddings in JavaScript
MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE人工智能研究组);University of Szeged(塞格德大学)
尽管自动程序修复(APR)领域非常受欢迎,但补丁验证的问题仍然是开放的。目前的大多数方法都遵循所谓的生成和验证方法,首先生成候选解决方案,然后根据Oracle进行验证。然而,后者可能不会给出可靠的结果,因为这样的预言机中存在缺陷;其中之一通常是测试套件。尽管(重新)运行测试套件是在人们的眼皮底下,但在现实生活中的应用程序中,过度拟合和欠拟合的问题经常发生,导致补丁不足。解决这个问题的努力包括补丁过滤,测试套件扩展,仔细的补丁制作等等。迄今为止,大多数方法使用后过滤依赖于测试执行跟踪或利用一些相似性的概念上产生的补丁测量。我们的目标是调查这些基于相似性的方法的性质。为此,我们在一个开源JavaScript项目上训练了一个Doc 2 Vec模型,并为其中的10个bug生成了465个补丁。然后,根据与原始程序的相似性,将这些看似合理的补丁与开发人员修复一起进行排名。我们分析了这些相似性列表,发现普通的文档嵌入可能会导致错误分类-它无法捕获细微差别的代码语义。然而,在某些情况下,它也提供了有用的信息,从而有助于更好地理解自动程序修复领域。
2021-03-31 cs.AI cs.SE
ContraFix: Skill-Enhanced Contrastive Runtime Analysis for Vulnerability Repair
Beihang University(北京航空航天大学);The University of Hong Kong(香港大学)
本文提出ContraFix框架,通过差分运行时证据和可重用的修复技能,解决大型语言模型代理在自动漏洞修复中的语义误解问题,实现了在SEC-Bench和PatchEval上的高准确率。
2026-07-03 cs.AI cs.CL cs.CR
app.build: A Production Framework for Scaling Agentic Prompt-to-App Generation with Environment Scaffolding
Databricks;THWS University of Applied Sciences Würzburg-Schweinfurt (CAIRO)(THWS应用科学大学沃尔夫斯堡-施维林(CAIRO))
app.build通过结构化环境和系统验证提升基于代理的应用程序生成效率,实现高可行性与质量,为生产级代理系统提供参考实现。
2026-01-09 cs.AI cs.SE
Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug?
Georgia Institute of Technology(佐治亚理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究以BSG-VA方法分析LLM修复智能体的验证证据,发现近半数阳性测试无缺陷区分信息,缺陷对比反馈可减少证据不足的部署,其效果幅度仍需进一步验证。
2026-08-03 cs.AI cs.SE
Developing an AI-enabled IIoT platform -- Lessons learned from early use case validation
University of Hildesheim(希尔德斯海姆大学);University of Hannover(汉诺威大学);Phoenix Contact(菲尼克斯电气)
为了在工业生产中更广泛地采用人工智能,足够的基础设施能力至关重要。这包括简化人工智能与工业设备的集成,支持分布式部署,监控和一致的系统配置。现有的IIoT平台仍然缺乏以开放的、基于生态系统的方式灵活集成可重用AI服务和相关标准(如资产管理Shell或OPC UA)所需的能力。这正是我们的下一级智能工业生产生态圈(IIP-Ecosphere)平台所解决的问题,采用高度可配置的低代码方法。在本文中,我们介绍了这个平台的设计,并讨论了一个早期的评估,在一个示范的AI启用的视觉质量检测。在这一早期评价活动中获得的深刻见解和经验教训对此进行了补充。
2022-07-10 cs.AI cs.SE
SWE-Doctor: Guiding Software Engineering Agents with Runtime Diagnosis from Multi-Faceted Bug Reproduction Tests
提出SWE-Doctor,通过生成多面缺陷复现测试并执行调试,构建运行时诊断记录,结合定位信息指导补丁生成,在SWE-bench Verified和Pro上平均解决率分别达75.7%和59.4%。
2026-07-02 cs.AI cs.SE
Understanding Automated Program Repair Agents Through the Lens of Traceability: An Empirical Study
Columbia University(哥伦比亚大学);IBM Research(IBM研究院)
本文通过追踪五个最先进的自动化程序修复智能体在500个真实世界修复任务中的决策流程,揭示了它们在逻辑密集型错误修复、测试生成和回归测试选择方面的关键局限性,并提出了改进方向。
2026-09-01 cs.AI cs.SE