Toward Interactive Bug Reporting for (Android App) End-Users
许多软件错误都是手动报告的,特别是在用户界面中以视觉方式表现出来的错误。最终用户通常通过应用审查网站、问题跟踪器或应用内置的错误报告工具(如果可用)报告这些错误。虽然这些系统具有促进错误报告的各种特征(例如,文本模板或表单),它们通常向最终用户提供有限的指导、具体的反馈或质量验证,这些最终用户通常在报告bug方面缺乏经验,并且提交低质量的bug报告,这导致开发人员在bug报告管理任务中花费过多的精力。我们提出了一个交互式的错误报告系统的最终用户(伯特),实现为一个面向任务的聊天机器人。与现有的错误报告系统不同,Burt提供了基本错误报告元素的指导报告(即,观察到的行为、预期的行为和重现bug的步骤)、即时质量验证以及这些元素的图形化建议。我们为Android实现了一个版本的Burt,并对最终用户进行了实证评估研究,他们报告了先前工作中研究的六个Android应用程序中的12个错误。报告者发现,Burt的指导和自动化建议/澄清是有用的,而且Burt很容易使用。我们发现Burt报告包含的信息质量比通过基于模板的错误报告系统收集的报告更高。报告者告知对Burt的改进包括支持各种措辞来描述bug报告元素和改进的质量验证。我们的工作标志着一个重要的范式转变,从静态到交互式的错误报告的最终用户。
2022-09-21 cs.SE
Getafix: Learning to Fix Bugs Automatically
静态分析器通过对反复出现的bug类别发出警告来帮助早期发现bug。虽然修复这些bug在实践中仍然是一项主要的手动任务,但我们观察到,对特定bug类别的修复通常是重复的。本文讨论了通过从过去的修复中学习来自动修复常见错误的问题。我们提出Getafix,一种方法,产生类似人类的修复,同时足够快,建议修复的时间成比例的时间,需要获得静态分析结果摆在首位。Getafix是基于一种新的层次聚类算法,总结修复模式到一个层次结构,从一般到特定的模式。Getafix使用一种简单而有效的排名技术,使用代码更改的上下文来为给定的错误选择最合适的修复,而不是对潜在的大空间候选修复进行计算上昂贵的探索。我们的评估将Getafix应用于流行的Java静态分析器报告的六个错误类别的1,268个错误修复,包括空引用,不正确的API调用和特定语言结构的误用。该方法准确地预测了人类编写的修复程序在12%到91%的时间内是最重要的建议,这取决于bug类别。排名前5位的建议包含1,268个错误中的526个。此外,我们还报告了在Facebook内部部署该方法的情况,该方法有助于提高数十亿人使用的软件的可靠性。据我们所知,Getafix是第一个工业部署的自动化错误修复工具,它从过去的人类编写的修复程序中学习修复模式,以产生类似人类的修复程序。
2019-11-20 cs.SE
Automatic Repair of Real Bugs: An Experience Report on the Defects4J Dataset
Defects4J是一个大型的、同行评审的、结构化的Java bug数据集。Defects4J中的每个bug都提供了一个测试套件和至少一个触发bug的失败测试用例。在本文中,我们报告了一个实验,以探讨自动修复缺陷4J的有效性。我们的实验结果表明,缺陷4J数据集的47个错误可以通过最先进的修复自动修复。这为Java自动修复的未来研究奠定了基础。我们手动分析了84个不同的补丁,以评估它们的真实正确性。总的来说,9个真正的Java bug可以通过基于测试套件的修复来正确修复。该分析表明,基于测试套件的修复遭受未指定的错误,其中琐碎和不正确的补丁仍然通过测试套件。就实用性而言,找到一个补丁平均需要14.8分钟。实验是在科学网格上进行的,总共计算时间为17.6天。他们所有的系统和实验结果都在Github上公开,以方便未来对自动修复的研究。
2015-12-23 cs.SE
Automatically Reproducing Android Bug Reports Using Natural Language Processing and Reinforcement Learning
作为解决用户通过错误报告提交的问题的过程的一部分,Android开发人员尝试重现和观察错误报告中描述的故障。由于bug报告的低质量和现代应用程序的复杂性,复制过程是不平凡和耗时的。因此,非常需要能够帮助重现Android错误报告的自动方法。然而,当前帮助开发人员自动再现错误报告的方法仅能够处理有限形式的自然语言文本,并且难以成功再现初始错误报告缺少或不精确步骤的故障。在本文中,我们将介绍一种新的全自动Android错误报告再现方法,以解决这些限制。我们的方法通过利用自然语言处理技术来更全面、更准确地分析Android错误报告中的自然语言,并基于强化学习设计新技术来指导搜索成功的再现步骤,从而实现了这一目标。我们对77个真实世界的错误报告进行了实证评估。我们的方法在准确地从错误报告中提取再现步骤方面实现了67%的精确度和77%的召回率,并再现了74%的错误报告,显着优于最先进的技术。
2023-01-18 cs.SE
Automatic Bug Triage using Semi-Supervised Text Classification
针对现有有监督文本分类方法中标注错误报告的不足,提出了一种半监督文本分类方法。这种新方法结合了朴素贝叶斯分类器和期望最大化,以利用标记和未标记的错误报告。这种方法用一小部分标记的bug报告来训练分类器。然后,该方法迭代地标记大量未标记的错误报告,并训练一个新的分类器与所有的错误报告的标签。我们还采用了一个加权推荐列表,通过在训练分类器时施加多个开发人员的权重来提高性能。Eclipse的错误报告的实验结果表明,我们的新方法优于现有的监督方法的分类精度。
2017-04-16 cs.SE
Bears: An Extensible Java Bug Benchmark for Automatic Program Repair Studies
错误基准测试对于经验性地评估自动程序修复工具是必不可少的。在本文中,我们提出了熊,一个项目收集和存储错误到一个可扩展的错误基准自动修复研究在Java中。bug的收集依赖于持续集成(CI)的提交构建状态,以从GitHub上托管的开源项目中找到潜在的bug和补丁程序版本对。每一对程序版本都通过一个管道,在管道中尝试复制一个错误及其补丁。再现流水线的核心步骤是在两个程序版本上执行程序的测试套件。如果在有缺陷的程序版本候选中发现测试失败,并且在其修补程序版本候选中没有发现测试失败,则错误及其修补程序成功再现。Bears的独特之处在于使用CI(构建)来识别有缺陷和打补丁的程序版本候选者,这在过去几年中已被广泛采用在开源项目中。这种方法允许我们从各种各样的项目中收集bug,而不仅仅是使用bug跟踪系统的成熟项目。此外,Bears被设计为公开可用,并通过在给定的GitHub存储库中自动创建带有bug的分支来轻松扩展研究社区,这些分支可用于Bears存储库中的拉取请求。我们在本文中介绍的方法所采用的熊,我们提供了版本1.0的熊,其中包含251个可重复的错误收集72个项目,使用特拉维斯CI和Maven构建环境。
2019-01-17 cs.SE
Read It, Don't Watch It: Captioning Bug Recordings Automatically
移动应用程序的屏幕记录很容易捕获,并包含丰富的信息,使其成为用户通知开发人员错误报告中遇到的问题的流行机制。然而,对于开发人员来说,查看bug记录并有效地理解用户操作的语义可能是耗时且乏味的。受电影行业中视频字幕概念的启发,本文提出了一种轻量级的方法CAPdroid来自动标注视频中的bug。CAPdroid是一种纯粹基于图像的非侵入式方法,通过使用图像处理和卷积深度学习模型来分割bug记录,推断用户动作属性并生成字幕描述。自动化的实验证明了良好的性能CAPdroid在推断用户的动作从录音,和用户的研究证实了我们生成的步骤描述,以协助开发人员与错误重放的有用性。
2023-02-02 cs.SE
STEAM: Simulating the InTeractive BEhavior of ProgrAMmers for Automatic Bug Fixing
本文提出名为STEAM的分阶段框架,通过模拟多个程序员在缺陷报告、诊断、补丁生成与验证四个阶段的交互协作行为,利用ChatGPT显著提升了大型语言模型的自动缺陷修复能力,达到了最先进的性能水平。
2023-08-28 cs.SE
Buggin: Automatic intrinsic bugs classification model using NLP and ML
本文提出Buggin方法,利用NLP技术(seBERT和TF-IDF)结合机器学习算法自动识别缺陷报告中的内在缺陷,实验表明TF-IDF与决策树结合在缺陷标题上取得78%的F1最高分。
2025-04-02 cs.SE
Automatic Static Bug Detection for Machine Learning Libraries: Are We There Yet?
本文在四个机器学习库的410个已知缺陷上评估五种静态缺陷检测器,发现其整体检出率极低,仅 Flawfinder 和 RATS 相对有效,并据此提出改进静态检测工具实用性的方向。
2023-07-09 cs.SE
Nopol: Automatic Repair of Conditional Statement Bugs in Java Programs
我们提出了NOPOL,一种自动修复错误条件语句的方法(即,if-then-else语句)。这种方法将一个有缺陷的程序和一个测试套件作为输入,并生成一个带有条件表达式的补丁作为输出。测试套件需要包含通过测试用例,以模拟程序的预期行为,以及至少一个失败的测试用例,以揭示要修复的错误。NOPOL的过程包括三个主要阶段。首先,NOPOL采用天使修复本地化,以确定在测试执行过程中的条件的预期值。其次,运行时跟踪收集用于收集变量及其实际值,包括原始数据类型和面向对象的特征(例如,空性检查),以用作补丁生成的构建块。第三,NOPOL将这些收集的数据编码成可满足性模理论(SMT)问题的实例,然后将SMT实例的可行解翻译回代码补丁。我们评估NOPOL的22个真实世界的错误(16个错误与错误的IF条件和6个错误与缺少先决条件)在两个大型开源项目,即Apache Commons Math和Apache Commons Lang。这些错误的实证分析表明,我们的方法可以有效地修复错误的IF条件和缺少先决条件。我们说明了NOPOL的能力和局限性,使用真正的错误修复的案例研究。
2018-11-10 cs.SE
AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems
The University of Chicago(芝加哥大学);Fudan University(复旦大学);TensorBlock, Inc.(TensorBlock公司);Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 AgentBug-Smith 自动复现智能体系统中的真实 harness 缺陷,并构建 Live-Harness-Bench 基准(含 200 个缺陷),显著提升缺陷修复率,为递归自我改进智能体奠定基础。
2026-09-30 cs.AI cs.SE
PATCH: Empowering Large Language Model with Programmer-Intent Guidance and Collaborative-Behavior Simulation for Automatic Bug Fixing
针对现有大语言模型(LLMs)自动漏洞修复方法忽视协作性、仅以漏洞代码为输入的局限,提出分阶段框架PATCH,通过补充依赖上下文与意图信息、模拟程序员协作的四阶段任务流程,在BFP基准上性能优于现有LLMs。
2025-02-16 cs.SE
Automatic Repair of Real Bugs in Java: A Large-Scale Experiment on the Defects4J Dataset
Defects4J是一个大型的、同行评审的、结构化的Java bug数据集。Defects4J中的每个bug都有一个测试套件和至少一个触发bug的失败测试用例。在本文中,我们报告了一个实验,以探讨基于自动测试套件的缺陷4J修复的有效性。我们的实验结果表明,所考虑的国家的最先进的修复方法可以生成补丁的224个错误中的47。然而,这些补丁仅适用于测试套件,这意味着它们通过了测试套件,并且可能在测试套件满足正确性标准之外是不正确的。我们手动分析了84个不同的补丁,以评估它们的真实正确性。总的来说,9个真正的Java bug可以通过基于测试套件的修复来正确修复。该分析表明,基于测试套件的修复遭受未指定的错误,其中微不足道或不正确的补丁仍然通过测试套件。在实用性方面,找到一个补丁平均需要14.8分钟。实验是在科学网格上进行的,总共计算时间为17.6天。所有的修复系统和实验结果都在Github上公开,以方便将来对自动修复的研究。
2018-11-04 cs.SE
Automatically Enhancing the Quality of Android App Bug Reports
William & Mary(威廉与玛丽学院);University of Central Florida(中佛罗里达大学);George Mason University(乔治梅森大学)
本文提出通过提供具体应用相关信息帮助LLM自动生成清晰详细的缺陷报告,提出BugScribe方法,通过评估显示其生成的报告质量更高且更准确。
2026-07-03 cs.SE
Automatic Bug Detection in LLM-Powered Text-Based Games Using LLMs
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Salesforce Research(Salesforce研究院);Harvard University(哈佛大学)
针对LLM驱动的文本游戏中逻辑与设计缺陷缺乏自动检测的问题,提出基于LLM的系统方法,从玩家日志自动识别缺陷,在DejaBoom!上验证有效。
2024-06-06 cs.AI cs.CL cs.HC
Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction
针对缺陷复现难以自动化的问题,提出结合LLM生成测试用例与后处理筛选的LIBRO技术,在Defects4J基准复现约三分之一缺陷,并评估多类LLM的复现性能差异与规模影响。
2023-11-09 cs.SE
Automatic Detection of Reference Counting Bugs in Linux Kernel Drivers
The University of Tokyo(东京大学)
本文提出DrvHorn工具,通过将引用计数验证转化为断言检查问题,检测Linux内核驱动中的引用计数错误,发现545个错误,其中424个为新发现,且误报率较低。
2026-05-15 cs.CR cs.SE
Automatic Generation of Test Cases based on Bug Reports: a Feasibility Study with Large Language Models
本研究针对现有自动测试生成方法的局限性,探索利用大语言模型以缺陷报告为输入生成复杂场景测试用例的可行性,实验验证了其效果及在故障定位、补丁验证等任务中的实用价值。
2023-10-10 cs.SE
Bugfix: a standard language, database schema and repository for research on bugs and automatic program repair
针对自动程序修复领域缺乏统一参照框架的问题,提出Bugfix框架,包括标准语言、数据库和仓库,以支持APR社区试验和比较结果。
2025-02-27 cs.SE
RAPGen: An Approach for Fixing Code Inefficiencies in Zero-Shot
Microsoft Corporation(微软公司)
本文提出RAPGen,通过检索历史性能缺陷修复知识生成提示并驱动LLM零样本修复代码低效问题,实验显示其约60%建议达到或超过开发者水平。
2025-01-09 cs.AI cs.SE
An Analysis of the Automatic Bug Fixing Performance of ChatGPT
为了支持软件开发人员发现和修复软件错误,已经引入了几种自动程序修复技术。给定一个测试套件,标准方法通常要么合成一个修复,要么导航一个软件编辑的搜索空间来找到测试套件通过的变体。最近的程序修复方法基于深度学习方法。ChatGPT是这些新方法中的一种,它主要不是用于自动程序修复,但仍然适用于它。然而,到目前为止,ChatGPT的bug修复性能还不清楚。因此,在本文中,我们评估ChatGPT的标准错误修复基准集,菜错误,并比较性能与其他几种方法的结果在文献中报道。我们发现ChatGPT的错误修复性能与常见的深度学习方法CoCoNut和Codex相比具有竞争力,并且明显优于标准程序修复方法的结果。与以前的方法相比,ChatGPT提供了一个对话系统,通过该系统,可以输入特定输入的预期输出或观察到的错误消息。通过向ChatGPT提供这样的提示,它的成功率可以进一步提高,修复了40个错误中的31个,超过了最先进的水平。
2023-01-20 cs.SE
Harvesting Fix Hints in the History of Bugs
在软件开发中,修复错误是一项耗时且成本敏感的重要任务。虽然已经提出了许多方法来自动检测和修补软件代码,但这些策略仅限于一组经过深入研究以定义其属性的已识别错误。因此,它们设法覆盖了一小部分故障,如无限循环。我们建立在错误和相关用户错误报告是重复的假设之上,并提出了一种基于错误历史及其相关修复的修复建议新方法。在我们的方法中,一旦报告了一个错误,它会自动使用信息检索技术和机器学习分类与所有以前修复的错误进行比较。基于此比较,我们推荐从过去的修复示例中识别的顶级{ \em k}修复操作,这些操作可能适合作为软件开发人员解决新错误的提示。
2015-07-21 cs.SE
Bugsplainer: Leveraging Code Structures to Explain Software Bugs with Neural Machine Translation
针对软件缺陷自动解释研究不足的问题,提出网页端调试工具Bugsplainer,利用代码结构推理缺陷,结合微调后的CodeT5模型从缺陷修复提交语料中学习,生成自然语言缺陷解释。
2023-08-23 cs.SE
Extracting Concise Bug-Fixing Patches from Human-Written Patches in Version Control Systems
高质量、大规模的真实bug库和从实际应用中收集的简洁补丁是软件工程研究的关键。在这样的存储库中,每个真正的bug都明确地与它的修复相关联。因此,一方面,真实的错误和它们的修复可以启发用于发现、定位和修复软件错误的新方法;另一方面,真实的错误和它们的修复对于软件测试、故障定位和程序修复的方法的严格和有意义的评估是不可缺少的。为此,许多这样的储存库,例如,第4J章已经被发现了然而,这种储存库相当小,因为它们的建造涉及昂贵的人工干预。虽然错误修复代码提交以及相关的测试用例可以从版本控制系统自动检索,现有的方法还不能自动提取简明的错误修复补丁从错误修复提交,因为这样的提交往往涉及错误无关的更改。在本文中,我们提出了一个自动的方法,称为BugBuilder,提取完整和简洁的错误修复补丁从人类编写的补丁在版本控制系统。它通过检测bug修复提交中涉及的重构来排除重构,并在错误版本上重新应用检测到的重构。它枚举剩余部分的所有子集,并在测试用例上验证它们。如果没有一个子集有可能成为一个完整的bug修复补丁,则剩余部分作为一个整体被视为一个完整和简洁的bug修复补丁。对Defects 4J中809个真实bug修复提交的评估结果表明,BugBuilder成功地为40%的bug修复提交生成了完整而简洁的bug修复补丁,其准确率(99%)甚至高于人类专家。
2021-02-27 cs.SE
Automatically Matching Bug Reports With Related App Reviews
应用商店允许用户对应用程序提供有价值的反馈,开发人员可以找到这些反馈并将其用于软件发展。然而,在问题跟踪器中找到与现有错误报告相匹配的用户反馈是一项挑战,因为用户和开发人员通常使用不同的语言。在这项工作中,我们介绍了DeepMatcher,这是一种自动方法,使用最先进的深度学习方法将应用程序评论中的问题报告与问题跟踪器中的错误报告相匹配。我们用四个开源应用程序对DeepMatcher进行了定量和定性评估。DeepMatcher的平均命中率为0.71,平均精度为0.55。对于91个问题报告,DeepMatcher没有找到任何匹配的bug报告。当手动分析这91个问题报告和所研究应用的问题跟踪器时,我们发现在47个案例中,用户实际上在开发人员发现并记录在问题跟踪器中之前就描述了问题。我们讨论了我们的发现和DeepMatcher的不同用例。
2021-02-14 cs.IR cs.SE
Automatic Repair of Infinite Loops
软件自动修复的研究主要是开发能够自动检测和修复缺陷的系统。一个著名的bug是无限循环。每个计算机程序员或用户都至少经历过一次这种类型的错误。我们陈述了在基于测试集的软件修复的上下文中修复无限循环的问题:给定至少一个失败测试的测试集,生成使所有测试用例通过的补丁。因此,修复无限循环意味着至少有一个测试用例通过触发无限循环而挂起。我们自动修复无限循环的系统称为$Infinitel$。我们开发了一种技术来操纵循环,以便可以动态地分析循环的迭代次数;决定中断循环执行;并动态地检查循环的状态在每个迭代的基础上。然后,为了合成新的循环条件,我们使用基于可满足性模理论(SMT)的技术将这组程序状态编码为代码合成问题。我们评估我们的技术在七个种子错误和七个真正的错误。$Infinitel$能够在标准笔记本电脑配置上在几秒钟到一个小时内修复所有这些问题。
2015-04-20 cs.SE
Can LLMs Demystify Bug Reports?
本研究针对现有工具难以自动处理自然语言Bug报告的问题,用Defects4J基准测试ChatGPT,发现其能复现50%的报告Bug,展现了人机协同处理Bug的应用潜力。
2023-10-10 cs.SE
Automatic Classification of Bug Reports Based on Multiple Text Information and Reports' Intention
Northeast Electric Power University(东北电力大学)
随着软件规模和复杂性的快速增长,大量的缺陷报告被提交到缺陷跟踪系统中。为了加快缺陷修复,需要对这些报告进行准确分类,以便将其发送给相应的开发人员。然而,现有的分类方法只利用了bug报告的文本信息,导致分类性能低下。针对上述问题,提出了一种新的缺陷报告自动分类方法。创新之处在于,在对bug报告进行分类时,除了使用报告的文本信息外,还考虑了报告的意图(即建议或解释),从而提高了分类的性能。首先,我们从四个生态系统(Apache,Eclipse,Gentoo,Mozilla)收集错误报告,并手动注释它们以构建实验数据集。然后,我们使用自然语言处理技术对数据进行预处理。在此基础上,分别采用BERT和TF-IDF对文本的意图特征和多文本信息进行提取。最后,特征被用来训练分类器。在K-近邻分类器、朴素贝叶斯分类器、逻辑回归分类器、支持向量机和随机森林分类器上的实验结果表明,该方法取得了较好的分类效果,其F-测度达到了87.3%~ 95.5%。
2022-08-02 cs.CL cs.LG cs.SE
CURE: Code-Aware Neural Machine Translation for Automatic Program Repair
Purdue University(普渡大学);University of Waterloo(滑铁卢大学)
自动程序修复(APR)是提高软件可靠性的关键.最近,神经机器翻译(NMT)技术已被用于自动修复软件错误。虽然这些方法很有前途,但有两个主要的局限性。它们的搜索空间通常不包含正确的修复,并且它们的搜索策略忽略了软件知识,例如严格的代码语法。由于这些限制,现有的基于NMT的技术表现不如最好的基于模板的方法。我们提出了CURE,一种新的基于NMT的APR技术,具有三个主要的新颖性。首先,CURE在大型软件代码库上预训练程序设计语言(PL)模型,以便在APR任务之前学习类似于开发人员的源代码。其次,CURE设计了一个新的代码感知搜索策略,通过关注可编译的补丁和长度接近错误代码的补丁来找到更多正确的修复。最后,CURE使用子字标记化技术来生成包含更多正确修复的较小搜索空间。我们对两个广泛使用的基准测试的评估表明,CURE正确地修复了57个Defects4J错误和26个菜错误,在这两个基准测试上优于所有现有的APR技术。
2021-09-02 cs.AI cs.LG cs.SE
TSSB-3M: Mining single statement bugs at massive scale
单语句错误是评价现代错误检测和自动程序修复方法的最重要的成分之一。通过只影响单个语句,单语句bug代表了一种经常被开发人员忽视的bug,同时仍然足够小,可以通过自动方法检测和修复。随着数据驱动的自动修复的兴起,百万分之一规模的单个语句错误的可用性比以往任何时候都更加重要;不仅是为了测试这些方法,而且还为训练提供足够的真实世界的例子。为了提供对这种规模的错误修复数据集的访问,我们发布了两个名为SSB-9 M和TSSB-3 M的数据集。SSB-9 M提供了对来自超过50万个开源Python项目的超过900万个一般单语句错误修复的访问,TSSB-3 M专注于超过300万个单语句错误,这些错误可以通过单个语句更改来修复。为了便于未来的研究和实证调查,我们用Python典型的20种单语句错误(SStuB)模式之一注释了每个错误修复,并将代码更改描述为AST修改序列。我们的初步调查表明,所挖掘的所有单语句错误修复中至少有40%符合至少一种SStuB模式,并且72%的错误中的大多数可以通过与修复SStuB所需相同的语法修改来修复。
2022-01-28 cs.PL cs.SE
Bug or not bug? That is the question
如今,开发团队经常依赖Jira或Bugzilla等工具来管理待解决的问题的积压,以开发或维护软件。虽然它们涉及许多不同的问题(例如,错误修复、新特征开发、体系结构重构),除了可以手动地与这些问题相关联的非强制性标签之外,很少有方法被提出来识别和分类这些不同种类的问题。这可能导致问题分类缺失或问题分类错误,从而影响自动问题管理(计划、分配)或问题衍生指标。因此,自动问题分类是辅助积压管理的相关主题。本文提出了一个二元分类的解决方案,区分错误和非错误的问题。该解决方案结合了自然语言处理(TF-IDF)和分类(多层感知器)技术,在比较了常用的解决方案后选择对问题进行分类。此外,神经网络的超参数优化使用遗传算法。所获得的结果,与现有的作品相比,常用的基准,显示所有数据集的F1措施显着改善。
2021-03-22 cs.SE
Automatic Testing and Improvement of Machine Translation
本文介绍了TransRepair,一个全自动的方法来测试和修复的一致性机器翻译系统。TransRepair将突变与变形测试相结合,以检测不一致的错误(无需访问人类神谕)。然后采用概率参照或交叉参照的方法对译文进行后处理,以灰盒或黑盒的方式对不一致进行修正。我们对两个最先进的翻译器Google Translate和Transformer的评估表明,TransRepair在生成具有一致翻译的输入对方面具有很高的精度(99%)。通过这些测试,使用自动一致性指标和手动评估,我们发现Google翻译和Transformer有大约36%和40%的不一致性错误。黑盒修复平均修复了Google翻译和Transformer 28%和19%的错误。灰箱修复平均为Transformer修复30%的错误。手动检查表明,我们的方法修复的翻译在87%的情况下提高了一致性(2%的情况下降低了一致性),并且我们的修复在27%的情况下具有更好的翻译可接受性(8%的情况下较差)。
2019-12-25 cs.SE
Explaining Software Bugs Leveraging Code Structures in Neural Machine Translation
提出基于transformer的生成模型Bugsplainer,利用源代码结构信息和缺陷模式自动生成软件缺陷的自然语言解释,评估与开发者研究表明其优于多个基线。
2025-01-28 cs.SE
How do Copilot Suggestions Impact Developers' Frustration and Productivity?
本文提出并计划通过准实验研究检验两个对立理论:自动代码建议可能因无关建议降低有经验开发者的生产力,但可能通过减少新手陷入困境的挫败感而提升其生产力,并采用 IDE 监控、屏幕录制和生理数据测量进行验证。
2025-04-09 cs.SE
Wherefore Art Thou? Provenance-Guided Automatic Online Debugging with Lumos
Princeton University(普林斯顿大学);ByteDance(字节跳动)
本文提出Lumos框架,通过静态分析引导依赖追踪,实现低开销的在线调试,帮助开发者快速定位分布式系统中的根本原因。
2026-06-08 cs.DC cs.SE
Enriching Automatic Test Case Generation by Extracting Relevant Test Inputs from Bug Reports
针对自动化测试用例生成中输入相关性不足的问题,提出结合大语言模型与传统技术的BRMiner方法,从错误报告提取相关输入,提升测试生成的覆盖率与缺陷检测能力。
2025-03-19 cs.SE
TreeMind: Automatically Reproducing Android Bug Reports via LLM-empowered Monte Carlo Tree Search
Anhui University(安徽大学);University of Science and Technology of China(中国科学技术大学)
TreeMind结合LLM与MCTS算法,通过语义推理和反馈导航,高效重现Android bug报告。
2026-02-01 cs.SE
Empirical Review of Java Program Repair Tools: A Large-Scale Experiment on 2,141 Bugs and 23,551 Repair Attempts
在过去的十年中,基于测试套件的自动程序修复的研究有了显着增长。每年,新的方法和实现都会出现在主要的软件工程场所。然而,大多数这些方法都是在单一的bug基准上进行评估的,其他研究人员也很少复制这些bug。在本文中,我们提出了一个大规模的实验,使用11个Java测试套件为基础的修复工具和5个基准的错误。我们的目标是更好地了解自动程序修复工具在大量基准测试中的现状。我们的调查是指导的假设,修复工具的可修复性可能不会在不同的基准程序错误的一般化。我们发现,这11个工具1)能够为5个基准测试中21%的bug生成补丁,2)与其他基准测试相比,在Defects 4J上具有更好的性能,通过为Defects 4J中47%的bug生成补丁,而其他基准测试中的bug只有10-30%。我们的实验总共包括23,551次修复尝试,我们用来找到非补丁生成的原因。本文对这些原因进行了分析,有助于维修工具设计人员改进技术和工具。
2019-05-28 cs.SE
ImproBR: Bug Report Improver Using LLMs
Bilkent University(比尔肯特大学)
ImproBR通过结合DistilBERT、启发式分析和LLM分析,提升bug报告的结构完整性、可执行性及可复现性,显著提高质量。
2026-04-28 cs.AI cs.SE
Automated Duplicate Bug Report Detection in Large Open Bug Repositories
Department of Computer Science University of Colorado Colorado Springs United States(计算机科学系,科罗拉多州立大学,美国);George Mason University, Fairfax, VA, United States(乔治·马歇尔大学,弗吉尼亚州 Fairfax,美国)
本文提出基于机器学习的自动检测重复bug报告方法,通过多种技术提升准确率,应用于Eclipse开源项目数据集。
2025-04-21 cs.AI cs.SE
Can We Enhance Bug Report Quality Using LLMs?: An Empirical Study of LLM-Based Bug Report Generation
University of Calgary(卡尔加里大学)
本文探讨利用指令微调LLM将非结构化缺陷报告自动转化为结构化报告,发现微调Qwen 2.5在CTQRS等指标上优于ChatGPT等模型,并能有效泛化至未见项目,显著降低开发人员手工成本。
2025-04-26 cs.AI cs.SE
Bugs in Large Language Models Generated Code: An Empirical Study
Polytechnique Montréal(蒙特利尔理工学院)
本研究通过分析333个来自主流LLM的代码缺陷,识别出10种缺陷模式,并通过调查验证,为提升LLM生成代码质量提供指导。
2024-03-18 cs.AI cs.SE
HLSDebugger: Identification and Correction of Logic Bugs in HLS Code with LLM Solutions
Hong Kong University of Science and Technology(香港科学与技术大学)
针对HLS代码调试难度大、训练数据稀缺等问题,本研究提出HLSDebugger方案,发布30万条标注数据集,采用单编码器-解码器模型完成多任务调试,性能显著优于先进LLM。
2025-07-29 cs.AI cs.SE
ENCORE: Ensemble Learning using Convolution Neural Machine Translation for Automatic Program Repair
University of Waterloo(滑铁卢大学);Purdue University(普渡大学)
针对传统生成-验证程序修复技术规则固化、适配语言有限的问题,提出基于卷积神经机器翻译集成学习的ENCORE方法,可跨多语言修复缺陷,在多个基准上修复效果优于现有技术。
2024-03-10 cs.LG cs.SE
DeepDiagnosis: Automatically Diagnosing Faults and Recommending Actionable Fixes in Deep Learning Programs
Iowa State University(爱荷华州立大学)
深度神经网络(DNN)被用于各种各样的应用中。然而,与任何软件应用程序一样,基于DNN的应用程序也存在漏洞。以前的工作观察到DNN错误修复模式与传统的错误修复模式不同。此外,这些有缺陷的模型是不平凡的诊断和修复,由于不明确的错误,有几个选项来修复它们。为了支持开发人员定位和修复错误,我们提出了DeepDiagnosis,这是一种新的调试方法,可以定位故障,报告错误症状并为DNN程序提供修复建议。在第一阶段,我们的技术监控训练模型,定期检查八种类型的错误条件。然后,在出现问题的情况下,它会报告包含足够信息的消息,以对模型执行可操作的修复。在评估中,我们彻底检查了444个模型-53个来自GitHub和Stack Overflow的真实世界,391个由AUTOTRAINER策划。与UMLUAT和DeepLocalize相比,DeepDiagnosis提供了更高的准确性。我们的技术比AUTOTRAINER更快的故障定位。结果表明,我们的方法可以支持其他类型的模型,而最先进的只能处理分类的。我们的技术能够报告在训练过程中不表现为数值错误的错误。此外,它可以为修复提供可操作的见解,而DeepLocalize只能报告在训练期间导致数值错误的错误。与其他方法相比,DeepDiagnosis表现出故障检测,错误定位和症状识别的最佳功能。
2021-12-07 cs.LG cs.SE
When Large Language Models Confront Repository-Level Automatic Program Repair: How Well They Done?
本文构建含124个仓库级缺陷的RepoBugs基准,揭示LLM仓库级APR表现不足,并提出通用RLCE上下文提取方法,使修复率最高提升160%。
2024-03-01 cs.SE
Characterizing and Detecting CUDA Program Bugs
虽然CUDA已经成为通用GPU计算的主要并行计算平台和编程模型,但CUDA引起的错误模式尚未得到很好的探索。在本文中,我们进行了第一次实证研究,以揭示基于GitHub中5个流行CUDA项目中识别的319个错误的CUDA程序错误模式的重要类别。我们的研究结果表明,CUDA特定的特征可能会导致程序错误,如同步错误,而难以检测。为了有效地检测此类同步错误,我们建立了第一个轻量级通用CUDA错误检测框架,即Simulee,通过解释相应的llvm字节码并收集内存访问信息来自动检测CUDA同步错误,从而模拟CUDA程序执行。为了评估Simulee的有效性和效率,我们进行了一组实验,实验结果表明,Simulee可以检测出27个研究的同步错误中的20个,并成功检测到26个以前未知的同步错误,其中10个已被开发人员确认。
2019-05-29 cs.SE
Predicting Bugs' Components via Mining Bug Reports
复杂软件中的bug报告数量急剧增加。现在bug是手动分类的,bug分类或分配是一项劳动密集型和耗时的任务。在不了解软件结构的情况下,测试人员经常错误地指定新bug的组件。同时,故障诊断人员很难仅通过描述来确定故障的组成部分。我们在Eclipse Bug项目中挖掘出28,829个Bug的组件被错误指定并至少修改过一次。这导致这些错误必须重新分配,并延迟了错误修复的过程。错误指定的bug的平均修复时间比正确指定的bug的平均修复时间长。为了自动解决这个问题,我们使用历史的固定的错误报告作为训练语料库,并建立基于支持向量机和朴素贝叶斯分类器来预测一个新的错误的组件。在Eclipse项目的验证语料上,最佳预测准确率达到81.21%。平均而言,我们的预测模型可以为Triagers和开发人员节省大约54.3天的时间来修复bug。关键词:错误报告;错误分类;文本分类;预测模型
2011-04-14 cs.SE
BushraDBR: An Automatic Approach to Retrieving Duplicate Bug Reports
本文提出 BushraDBR,利用 LSI 与 FCA 计算新缺陷报告和仓库报告的文本相似度,以自动检索并提前拦截重复缺陷报告。
2024-05-04 cs.SE
Better Automatic Program Repair by Using Bug Reports and Tests Together
自动程序修复已经在工业中部署,但对修复质量的担忧仍然存在。最近的研究表明,修复工具产生不正确的(但似乎是正确的)补丁的主要原因之一是不完善的故障定位(FL)。本文表明,结合自然语言的错误报告和测试执行时,本地化故障的信息可以有显着的积极影响修复质量。例如,具有这种FL的现有修复工具能够正确地修复Defects 4J基准中的7个缺陷,而现有工具没有正确地修复这些缺陷。我们开发,蓝调,第一个信息检索为基础的,语句级FL技术,不需要训练数据。我们进一步开发RAFL,第一个无监督的方法结合多种FL技术,它优于监督的方法。使用RAFL,我们通过将蓝光与基于频谱(SBFL)的技术相结合来创建SBIR。在对815个真实缺陷进行评估后,SBIR始终将错误语句的排名高于其底层技术。然后,我们修改三个国家的最先进的修复工具,Arja,SequenceR,和SimFix,使用SBIR,SBFL,和蓝调作为其内部FL。我们评估了689个真实世界的缺陷所产生的补丁的质量。Arja和SequenceR显著受益于SBIR:使用SBIR的Arja正确修复了28个缺陷,但使用SBFL时只有21个,使用Blues时只有15个;使用SBIR的SequenceR正确修复了12个缺陷,但使用SBFL时只有10个,使用Blues时只有4个。SimFix(具有克服不良FL的内部机制)使用SBIR和SBFL正确修复了30个缺陷,…
2023-02-06 cs.SE
GitBug-Java: A Reproducible Benchmark of Recent Java Bugs
针对现有漏洞修复基准数据集缺乏近期案例与可复现性的问题,研究提出包含199个2023年Java漏洞的可复现基准GitBug-Java,为APR与FL研究提供更贴合当前实践的评估基础。
2024-02-06 cs.SE
HyperPUT: Generating Synthetic Faulty Programs to Challenge Bug-Finding Tools
本文提出 HyperPUT,从种子缺陷出发通过增量程序变换自动生成可扩展规模的带缺陷 C 程序,用于多方面挑战现代缺陷发现工具并支持实证评估。
2024-02-02 cs.CR cs.SE
Fuzzing: Randomness? Reasoning! Efficient Directed Fuzzing via Large Language Models
Security Technology Inc.(360安全技术公司);School of Science Edith Cowan University(科学学院,埃迪斯科文大学)
针对模糊测试中随机性导致效率低下的问题,提出融合大语言模型的定向模糊测试框架RandLuzz,通过生成可达种子、构建漏洞专属变异器提升测试效率,实验验证其相较现有工具速度提升显著。
2025-06-30 cs.AI cs.CR cs.PL