Wayback Machine: A tool to capture the evolutionary behaviour of the bug reports and their triage process in open-source software systems
问题跟踪系统（ITS）是数据驱动决策的丰富数据源。错误的不同特征，如严重性、优先级和修复时间，提供了ITS的清晰图像。然而，这些信息可能会误导。例如，花在bug上的确切时间和精力可能与实际的报告时间和修复时间有很大的不同。类似地，这些值可以是主观的，例如，严重性和优先级值是基于用户或开发者的直觉而不是基于结构化和明确定义的过程来分配的。因此，我们将探索bug依赖图的演变以及优先级和严重性级别，以探索实际的分类过程。受万维网的“Wayback Machine”概念的启发，我们的目标是重建ITS中的历史决策。因此，任何错误优先级或错误分类算法/场景可以应用在相同的环境中使用我们提出的ITS Wayback Machine。更重要的是，当采用自定义分类/优先级策略时，我们跟踪ITS中的进化指标。我们使用从三个开源项目中提取的数据测试所提出的算法的效率。我们的实证研究揭示了被忽视的进化指标-例如，过期的错误和开发人员的负载-这是通过我们提出的过去事件再生器促进。
2022-03-15 cs.SE
Streamlining Security Vulnerability Triage with Large Language Models
提出CASEY方法，利用大语言模型结合提示工程和上下文信息，自动识别安全漏洞的CWE并评估严重性，准确率分别达68%和73.6%，有效提升漏洞分类效率。
2025-01-31 cs.SE
LLMs are Bug Replicators: An Empirical Study on LLMs' Capability in Completing Bug-prone Code
本文通过 7 个 LLM 在 Defects4J 上的实证研究，发现模型完成易含缺陷代码时准确率低且常复制历史缺陷，现有后处理也难以显著降错。
2025-03-14 cs.SE
On The Relation Between Outdated Docker Containers, Severity Vulnerabilities and Bugs
将软件打包到容器中正在成为在云和其他环境中部署服务时的常见做法。Docker镜像是用于构建和部署容器的最流行的容器技术之一。容器映像通常包括软件包的集合，这些软件包可能具有影响容器健康的错误和安全漏洞。我们的目标是通过分析过时的容器和安装在其中的脆弱和错误的包之间的关系来支持容器部署者。我们使用容器的技术滞后的概念作为给定容器与最新容器之间的差异，该最新容器可能具有相同包集合的最新版本。对于7，380个基于Debian Linux发行版的官方和社区Docker镜像，我们确定其中安装了哪些软件包，并测量它们在版本更新、安全漏洞和错误方面的技术滞后。我们发现，没有一个版本是没有漏洞的，因此部署者即使部署了最新的软件包也无法避免漏洞。我们为容器开发人员提供了一些关于他们可以遵循的策略的经验教训，以尽量减少漏洞的数量。我们认为，Docker容器扫描和安全管理工具应该通过添加有关其他类型错误的数据来改进其平台，并包括技术滞后的测量，以便为部署人员提供何时更新的信息。
2018-11-30 cs.PL cs.SE
A Study of Using Multimodal LLMs for Non-Crash Functional Bug Detection in Android Apps
针对传统GUI测试难以检测非崩溃功能性（NCF）Bug的问题，本研究实证探索了利用多模态LLM作为测试预言机检测Android应用NCF Bug的有效性，发现其检测率达49%并新发现24个未知Bug，揭示了该方法的潜力与局限。
2024-07-26 cs.SE
Can LLMs Demystify Bug Reports?
本研究针对现有工具难以自动处理自然语言Bug报告的问题，用Defects4J基准测试ChatGPT，发现其能复现50%的报告Bug，展现了人机协同处理Bug的应用潜力。
2023-10-10 cs.SE
An Empirical Study on the Capability of LLMs in Decomposing Bug Reports
本研究实证评估了ChatGPT和DeepSeek在分解复杂Bug报告中的能力，发现少样本提示能显著提升LLM的真实分解率，但整体准确性和理解能力仍需改进。
2025-04-29 cs.SE
Bug Classification in Quantum Software: A Rule-Based Framework and Its Evaluation
National Institute of Technology Srinagar（斯利那加国家技术学院）
本文提出了一种基于规则的框架，用于分类量子软件中的缺陷，通过评估发现经典缺陷占主导，量子特定缺陷占比高，且在严重性分类上仍有改进空间。
2025-06-12 cs.CY cs.DC cs.SE
LLMs as Evaluators: A Novel Approach to Evaluate Bug Report Summarization
本研究探索用 GPT-4o、LLaMA-3 和 Gemini 等 LLM 自动评估缺陷报告摘要，实验表明 LLM 表现良好且 GPT-4o 最优，同时可避免人类评估者的疲劳问题，具备规模化评估潜力。
2024-09-01 cs.SE
PATCH: Empowering Large Language Model with Programmer-Intent Guidance and Collaborative-Behavior Simulation for Automatic Bug Fixing
针对现有大语言模型（LLMs）自动漏洞修复方法忽视协作性、仅以漏洞代码为输入的局限，提出分阶段框架PATCH，通过补充依赖上下文与意图信息、模拟程序员协作的四阶段任务流程，在BFP基准上性能优于现有LLMs。
2025-02-16 cs.SE
Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction
针对缺陷复现难以自动化的问题，提出结合LLM生成测试用例与后处理筛选的LIBRO技术，在Defects4J基准复现约三分之一缺陷，并评估多类LLM的复现性能差异与规模影响。
2023-11-09 cs.SE
LLPut: Investigating Large Language Models for Bug Report-Based Input Generation
Jahangirnagar University（贾汉吉尔纳加尔大学）；Missouri University of Science and Technology（密苏里科技大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
本文提出LLPut技术，评估三种开源生成式LLMs在从bug报告中提取相关输入方面的性能，探讨生成式LLMs在自动bug诊断中的能力和限制。
2025-12-15 cs.SE
Integrating Crash Report Mining and LLMs for Bug Localization and Repair: An Industrial Report
Federal University of Rio Grande do Norte（北里奥格兰德联邦大学）；Singapore Management University（新加坡管理大学）；Federal University of Pernambuco（伯南布哥联邦大学）
本研究整合崩溃报告挖掘技术与大语言模型，经对5种LLMs的评估后，在38个Java企业系统崩溃缺陷上验证，最优配置可定位71%、修复52%的缺陷，为工业调试提供有效方案。
2026-09-07 cs.SE
A Deep Dive into Large Language Models for Automated Bug Localization and Repair
本文提出 Toggle 框架，利用不同 LLM 分阶段实现 token 级缺陷定位与程序修复，并通过提示优化在 CodeXGLUE 上达到 SOTA。
2024-05-10 cs.SE
STEAM: Simulating the InTeractive BEhavior of ProgrAMmers for Automatic Bug Fixing
本文提出名为STEAM的分阶段框架，通过模拟多个程序员在缺陷报告、诊断、补丁生成与验证四个阶段的交互协作行为，利用ChatGPT显著提升了大型语言模型的自动缺陷修复能力，达到了最先进的性能水平。
2023-08-28 cs.SE
HAFix: History-Augmented Large Language Models for Bug Fixing
Queen’s University（女王大学）；Lahore University of Management Sciences（拉合尔管理科学大学）
HAFix通过整合历史启发式方法提升LLM在缺陷修复中的性能，实验表明其在缺陷修复率上显著优于基线方法。
2026-02-18 cs.SE
If It's Not Buggy, Don't Fix It: On the Dynamics of Iterative Bug-fixing with LLMs
University of Warwick（华威大学）；UnlikelyAI
本研究探讨LLM迭代式盲目修复缺陷的动态，发现其常误报无缺陷程序并陷入伪修复循环，机制探针揭示存在控制编辑倾向的引导向量，为自主修复系统提供见解。
2026-09-10 cs.CL cs.SE
FlexFL: Flexible and Effective Fault Localization with Open-Source Large Language Models
针对现有基于LLM的故障定位方法灵活性有限（依赖测试用例）、基于专有LLM存在隐私风险的问题，提出FlexFL框架，可灵活利用多类型bug信息、适配开源LLM，在Defects4J上性能优于AutoFL和AgentFL等基线。
2025-02-18 cs.SE
Bug In the Code Stack: Can LLMs Find Bugs in Large Python Code Stacks
University of Waterloo（滑铁卢大学）
本研究提出评估LLM在大型Python代码栈中识别简单语法Bug能力的BICS基准，发现代码环境检索难度高于文本环境，不同模型性能差异大，且上下文越长性能普遍越差。
2024-06-21 cs.AI cs.SE
Characterizing Bugs and Quality Attributes in Quantum Software: A Large-Scale Empirical Study
NIT Srinagar（印度国立技术学院斯利那加分校）
本研究通过大规模分析量子软件缺陷，揭示了全栈库和编译器的高缺陷率及自动化测试对减少缺陷的重要性。
2026-01-02 cs.SE
InferFix: End-to-End Program Repair with LLMs
软件开发的生存周期深受bug的影响：它们的引入、识别和最终的解决方案占软件成本的很大一部分。这促使软件工程研究人员和从业人员提出不同的方法来自动识别和修复软件缺陷。通过Few-Shot演示学习和指令提示，大语言模型已经适应了程序修复任务，将其视为填充任务。然而，这些模型只专注于学习从公共存储库中挖掘的未分类错误的一般错误修复模式。在本文中，我们提出了InferFix：一个基于transformer的程序修复框架与最先进的静态分析器配对，以修复关键的安全和性能错误。InferFix结合了检索器-通过对比学习目标预训练的Transformer编码器模型，其目的是搜索语义等效的错误和相应的修复;和生成器-一个大语言模型（Codex Cushman）对监督错误修复数据进行微调，并通过错误类型注释和从外部非参数存储器检索的语义相似的修复来增强提示。为了训练和评估我们的方法，我们策划了InferredBugs，这是一个新颖的、元数据丰富的bug数据集，通过对数千个Java和C#存储库的更改历史执行Infer静态分析器来提取。我们的评估表明，InferFix优于强大的LLM基线，在C#中生成修复的前1准确率为65.6%，在Java中为76.8%。我们将讨论InferFix与Infer在微软的部署，Infer提供了一个端到端的解决方案，用于检测，分类和定位错误，以及修复和验证候选补丁，集成在持续集…
2023-03-13 cs.SE
Developers perception on the severity of test smells: an empirical study
单元测试是软件开发生命周期的重要组成部分。通过创建和运行单元测试，开发人员可以轻松快速地捕获和修复源代码中引入的软件错误。尽管单元测试很重要，但它会受到糟糕的设计或实现决策的影响，即所谓的测试气味。这些可能会从各个方面降低软件系统的质量，使其更难理解，更复杂的维护，更容易出现错误和bug。许多研究讨论了测试气味对测试代码的可能影响。然而，缺乏研究，捕捉开发人员对这些问题的看法。本研究实证分析了开发人员如何在他们开发的测试代码中感知测试气味的严重性。严重性是指测试气味可能对测试代码产生负面影响的程度。我们从GitHub中选择了六个开源软件项目，并采访了他们的开发人员，以了解测试气味是否以及如何影响测试代码。尽管大多数受访的开发人员认为测试气味对他们的代码的严重性很低，但他们表示测试气味可能会对项目产生负面影响，特别是在测试代码的可维护性和演化方面。此外，从测试代码中检测和移除测试气味可能对项目有积极意义。
2021-07-29 cs.SE
Cross-Ecosystem Bug Classification in Quantum Software
NIT Srinagar（印度国立技术学院斯利那加分校）
本研究对Qiskit等12个量子软件仓库的17523个缺陷开展跨生态系统比较，采用基于规则的分类框架，发现经典缺陷占比67%，所提框架在细粒度量子缺陷检测上优于机器学习基线。
2026-08-05 cs.SE
Large Language Models Based JSON Parser Fuzzing for Bug Discovery and Behavioral Analysis
本研究提出利用大语言模型生成测试用例与变异体，对开源JSON解析器开展模糊测试，以发现潜在漏洞并识别、化解不同解析器间的行为差异，提升JSON解析器的可靠性。
2024-10-30 cs.SE
LLM-Powered Silent Bug Fuzzing in Deep Learning Libraries via Versatile and Controlled Bug Transfer
Hong Kong University of Science and Technology（香港科技大学）；Lingnan University（岭南大学）；Huawei（华为）；Central University of Finance and Economics（中央财经大学）
利用大语言模型实现深度学习库中无声bug的模糊测试，通过多功能且可控的bug转移技术发现79个新bug。
2026-02-27 cs.SE
AssertFlip: Reproducing Bugs via Inversion of LLM-Generated Passing Tests
University of Waterloo（滑铁卢大学）
AssertFlip通过翻转LLM生成的通过测试来复现错误，有效提升错误复现效率。
2026-01-07 cs.SE
DiffSpec: Differential Testing with LLMs using Natural Language Specifications and Code Artifacts
DiffSpec框架利用自然语言规范与代码工件引导大语言模型生成差分测试，在eBPF运行时和Wasm验证器中发现多个已确认缺陷。
2025-05-06 cs.SE
Beyond Bug Fixes: An Empirical Investigation of Post-Merge Code Quality Issues in Agent-Generated Pull Requests
University of Saskatchewan（萨斯喀彻温大学）
本研究通过分析代理生成的bug修复PR合并后代码质量问题，发现代码异味主导，且合并成功不等于代码质量高，需系统化质量检查。
2026-01-27 cs.SE
How Do LLMs Read Bug Reports? An Empirical Study of Attention in LLMs for Automated Program Repair
Drexel University（德雷塞尔大学）；IBM Research（IBM研究院）
研究基于大语言模型的自动程序修复中模型注意力模式，通过分析319个真实错误，探究其在错误报告各部分的分布、成功与失败修复的注意力差异及与开发者重视信息的比较，发现注意力分配错误是失败关键因素，为改进系统提供见解。
2026-07-29 cs.AI cs.SE
The Hitchhiker's Guide to Program Analysis, Part III: Mostly Harmless LLMs
University of California, Riverside（加州大学河滨分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Indiana University Bloomington（印第安纳大学布鲁明顿分校）
提出Evident系统，将LLM用于构建分析框架，后端形式化验证错误状态不可达，在151个真实警告中正确分类，未漏报任何确认漏洞。
2026-10-22 cs.SE
LLM-Based Detection of Tangled Code Changes for Higher-Quality Method-Level Bug Datasets
University of Manitoba（曼尼托巴大学）
本研究利用LLM结合提交信息与代码差异，通过少样本和思维链提示检测方法级纠缠代码变更，F1达0.883，并验证了该方法对提升缺陷数据集质量的贡献。
2025-10-25 cs.SE
Characterizing and Mitigating False-Positive Bug Reports in the Linux Kernel
School of Computer Software, Tianjin University（天津大学计算机科学与技术学院）；School of Artificial Intelligence, Tianjin University（天津大学人工智能学院）
本文研究Linux内核中虚假正例缺陷报告的问题，通过构建2006份报告数据集，发现虚假正例需与真实缺陷同等努力，主要出现在文件系统和驱动程序中，采用RAG策略可实现91%召回率和88%F1分数。
2026-05-08 cs.SE
Hierarchical Knowledge Injection for Improving LLM-based Program Repair
Drexel University（德雷塞尔大学）；Belmont University（贝尔蒙特大学）；Florida State University（佛罗里达州立大学）
本文提出分层知识注入框架，通过逐步提供结构化上下文提高LLM在程序修复中的表现，实现79%的修复率，展示不同bug类型对上下文层次的需求差异。
2025-10-03 cs.SE
Can We Enhance Bug Report Quality Using LLMs?: An Empirical Study of LLM-Based Bug Report Generation
University of Calgary（卡尔加里大学）
本文探讨利用指令微调LLM将非结构化缺陷报告自动转化为结构化报告，发现微调Qwen 2.5在CTQRS等指标上优于ChatGPT等模型，并能有效泛化至未见项目，显著降低开发人员手工成本。
2025-04-26 cs.AI cs.SE
Lost in Translation: A Study of Bugs Introduced by Large Language Models while Translating Code
本文通过大规模实证研究系统评估了大语言模型在C、C++、Go、Java和Python间代码翻译中的表现，识别出15类翻译缺陷，并提出基于错误症状的提示构造方法，将翻译性能平均提升5.5%。
2024-01-16 cs.SE
ThinkRepair: Self-Directed Automated Program Repair
本文提出自导向自动程序修复方法ThinkRepair，通过收集阶段自动收集思维链，修复阶段结合少样本学习与LLM交互修复bug，在Defects4J和QuixBugs上显著优于12个SOTA方法。
2024-07-30 cs.SE
Diff-Based Code Corruption using LLMs for Large-Scale Bugfix Benchmarking
Eötvös Loránd University（罗兰大学）；Faculty of Informatics（信息学学院）
提出MegaBugFix，一个包含12,629个由LLM通过差异生成的有缺陷Python程序的大规模基准，用于评估模型错误修复能力，发现现有模型在此基准上表现更差。
2026-07-02 cs.AI cs.SE
When Agents Fail: A Comprehensive Study of Bugs in LLM Agents with Automated Labeling
Oakland University（奥克兰大学）；Texas State University（德克萨斯州立大学）；Tulane University（杜兰大学）
本文通过分析1187个bug相关帖子和代码片段，研究LLM代理中的bug类型、根本原因及影响，并构建BugReAct代理自动标记bug。
2026-08-20 cs.SE
Advaita: Bug Duplicity Detection System
Cisco Systems, Inc（思科系统公司）
bug在软件开发中很普遍。为了提高软件质量，使用错误跟踪系统对错误进行归档。报告的bug的属性包括标题、描述、项目、产品、受bug影响的组件以及bug的严重性。根据产品成熟度、代码大小和项目工程师数量，重复错误率（重复错误的百分比）在个位数（1 - 9%）到两位数（40%）之间。在Eclipse、Firefox等开源项目中，重复的bug范围在9%到39%之间。这种重复检测有助于重复数据消除。检测重复的bug有助于减少分类工作，并为开发人员节省修复问题的时间。传统的自然语言处理技术在识别句子之间的相似性方面不太准确。使用缺陷跟踪系统中存在的缺陷数据，探索了各种方法，包括几种机器学习算法，以获得一种可行的方法，该方法可以识别重复的缺陷，给定一对句子（即，相应的缺陷描述）。该方法考虑多组特征，即基本文本统计特征、语义特征和上下文特征。这些特征从标题、描述和组件中提取，并且随后用于训练分类算法。
2020-01-24 cs.AI cs.SE
When Large Language Models Confront Repository-Level Automatic Program Repair: How Well They Done?
本文构建含124个仓库级缺陷的RepoBugs基准，揭示LLM仓库级APR表现不足，并提出通用RLCE上下文提取方法，使修复率最高提升160%。
2024-03-01 cs.SE
Effective Test Generation Using Pre-trained Large Language Models and Mutation Testing
本文提出MuTAP方法，利用变异测试增强大语言模型生成测试用例的缺陷检测能力，在多个基准上检测出更多缺陷，并达到93.57%的变异得分。
2023-08-31 cs.SE
GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
The University of Hong Kong（香港大学）；Independent Researcher（独立研究者）；Westlake University（西湖大学）；Datawhale Org（Datawhale组织）
本文提出GBQA基准，通过30款游戏和124个经人类验证的bug测试LLM自主发现软件缺陷的能力，实验表明最佳模型仅能识别48.39%的bug。
2026-04-03 cs.AI cs.SE
Empirical evaluation of LLMs in predicting fixes of Configuration bugs in Smart Home System
该研究通过四种提示设计评估GPT-4、GPT-4o和Claude 3.5 Sonnet修复智能家居配置缺陷的能力，发现结合缺陷描述与原始脚本时策略预测准确率最高可达80%。
2025-02-16 cs.AI cs.SE
SelfHeal: Empirical Fix Pattern Analysis and Bug Repair in LLM Agents
Oakland University（奥克兰大学）
本文研究LLM代理中的故障修复模式，提出首个基准数据集AgentDefect，并设计SelfHeal多智能体系统，利用ReAct代理结合内部和外部知识实现高效故障修复。
2026-04-20 cs.SE
From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs
Department of EECS, University of Tennessee, Knoxville, TN, USA（田纳西大学诺克斯维尔分校电气与计算机工程系）
研究大语言模型能否从自然语言业务需求生成测试预言机，提出基于Defects4J的流程，对10个实际错误进行实验，评估预言机在与需求衍生预言机及被测系统一致性上表现，发现大语言模型有泛化但存在差异，为后续研究提供可行性参考。
2026-07-14 cs.SE
XRFix: Exploring Performance Bug Repair of Extended Reality Applications with Large Language Models
Hong Kong Baptist University（香港浸会大学）；Sun Yat-sen University（中山大学）；The Hong Kong Polytechnic University（香港理工大学）
该研究针对XR应用性能缺陷修复的技术挑战，提出基于大语言模型的XRFix框架，构建缺陷数据集与定制检测工具，经实验验证其修复性能优于SOTA APR方法。
2026-08-25 cs.SE
Improving IR-based Bug Localization with Semantics-Driven Query Reduction
Dalhousie University（达尔豪斯大学）
本文提出IQLoc方法，结合信息检索与大语言模型的优势，通过语义理解优化查询，提升Bug定位的准确性和效率，实验结果表明其在多个评估指标上均优于现有方法。
2026-03-17 cs.SE
BenchChecker: Assessing the Credibility of Bug-Fixing Benchmarks for LLMs
George Mason University（乔治梅森大学）；Palo Alto Networks, Inc.（帕洛阿尔托网络公司）
提出BenchChecker框架检测大语言模型漏洞修复基准的数据污染，经实验验证可实现稳健检测，过滤污染样本能显著降低LLMs的报告解决率。
2026-10-14 cs.SE
An Empirical Evaluation of Locally Deployed LLMs for Bug Detection in Python Code
Independent Researcher Master of Electrical（独立研究者 电气工程硕士）
本文评估了本地部署的LLaMA 3.2和Mistral在Python bug检测中的性能，发现其准确率在43%-45%之间，但难以精确定位修复。
2026-04-25 cs.AI cs.LG cs.SE
Model See, Model Do? Exposure-Aware Evaluation of Bug-vs-Fix Preference in Code LLMs
Delft University of Technology（代尔夫特理工大学）；University of California at Davis（加州大学戴维斯分校）
研究发现LLM在生成代码时更倾向于重复bug而非修复，暴露于bug的示例加剧了这一倾向，而修复暴露则仅有微小改进，揭示了LLM可能传播记忆错误的风险。
2026-01-15 cs.AI cs.SE
LLM-Guided Issue Generation from Uncovered Code Segments
Concordia University（康考迪亚大学）
本文提出IssueSpecter工具，通过结合代码覆盖分析与大语言模型缺陷识别，生成优先级高的问题报告，验证其在Python项目中有效检测多种类型漏洞，且比传统方法在准确率和召回率上表现更优。
2026-04-28 cs.SE
ImproBR: Bug Report Improver Using LLMs
Bilkent University（比尔肯特大学）
ImproBR通过结合DistilBERT、启发式分析和LLM分析，提升bug报告的结构完整性、可执行性及可复现性，显著提高质量。
2026-04-28 cs.AI cs.SE
Improving Compiler Bug Isolation by Leveraging Large Language Models
针对编译器缺陷隔离难题，提出AutoCBI方法，利用大语言模型总结文件功能并重排可疑文件，在GCC和LLVM上显著优于现有方法。
2025-06-21 cs.SE
MarsCode Agent: AI-native Automated Bug Fixing
ByteDance（字节跳动）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出 AI 原生框架 MarsCode Agent，通过结合 LLM 与代码分析，并按规划、复现、定位、补丁生成及验证流程自动修复缺陷；其在 SWE-bench 上优于多数现有自动化方法。
2024-09-04 cs.AI cs.SE
