Towards Automated Performance Bug Identification in Python
内容:软件性能是一个关键的非功能性需求,出现在许多领域,如关键任务应用程序,金融和实时的系统。在这项工作中,我们专注于早期检测的性能错误,我们的软件在研究中是一个实时的系统中使用的广告/营销领域。目标:找到一个简单且易于实现的解决方案,预测性能错误。方法:我们使用四种机器学习方法构建了几个模型,通常用于缺陷预测:C4.5决策树,朴素贝叶斯,贝叶斯网络和逻辑回归。结果如下:我们的实证结果表明,C4.5模型,使用行的代码更改,文件的年龄和大小作为解释变量,可以用来预测性能错误(召回=0.73,准确率=0.85,精度=0.96)。我们表明,减少提交时交付的更改数量,可以降低性能错误注入的机会。结论:我们相信我们的方法可以帮助从业者在开发周期的早期消除性能错误。我们的研究结果也感兴趣的理论家,建立一个功能性错误和(非功能性)性能错误之间的联系,并明确表明,用于预测的功能性错误的属性可以用于预测的性能错误。
2016-07-28 cs.SE
A Comprehensive Study of Native Code Bugs in Python Applications
Washington State University(华盛顿州立大学)
本文对GitHub真实Python项目的216个本地代码漏洞开展首次深入研究,剖析其多方面特征,获取了此类漏洞发生机制与修复策略的新见解。
2026-09-01 cs.CR cs.SE
Can Automated Program Repair Refine Fault Localization?
软件缺陷在现代软件系统中普遍存在,并且众所周知难以手动调试。因此,大量的研究工作一直致力于自动化软件调试,包括自动故障定位和程序修复。然而,现有的故障定位技术通常是无效的,即使是最先进的程序修复技术,也只能修复一小部分真实世界的错误。虽然故障定位和程序修复是内在联系的,但我们观察到,在文献中,它们唯一的联系是程序修复技术通常使用现成的故障定位技术(例如,Ochiai)来确定用于修补的潜在候选语句/元素。在这项工作中,我们探索他们在另一个方向的联系,即,程序修复是否反过来有助于故障定位?通过这种方式,我们不仅为更强大的故障定位开辟了一个新的维度,而且将程序修复的应用范围扩展到所有可能的错误(而不仅仅是可以直接自动修复的错误)。我们设计了ProFL,一种简单的方法,使用补丁执行结果(来自程序修复)作为故障定位的反馈信息。在广泛使用的Defects 4J基准上的实验结果表明,基本的ProFL已经可以在Top-1内定位395个研究错误中的161个,而最先进的基于频谱和突变的故障定位技术最多在Top-1内定位117个。我们还证明了ProFL在不同设置下的有效性。最后,我们表明,ProFL可以通过无监督和监督学习进一步提高最先进的故障定位。
2019-10-03 cs.SE
Are SonarQube Rules Inducing Bugs?
背景技术债务分析工具的普及,特别是SonarQube的普及,正在迅速增长。SonarQube提出了一组编码规则,这些规则表示代码中的错误,这些错误很快就会反映在故障中,或者会增加维护工作。然而,我们当地的公司对SonarQube提出的规则的有用性没有信心,并委托我们调查这些规则的错误倾向。Objective.在这项工作中,我们的目标是了解哪些SonarQube规则实际上是容易出错的,并了解哪些机器学习模型可以用来准确地识别容易出错的规则。法我们设计并对21个知名的成熟开源项目进行了实证研究。我们应用SZZ算法来标记导致错误的提交。我们通过比较七种机器学习模型的分类能力来分析故障倾向。结果.在SonarQube为Java定义的202条规则中,只有25条可以被认为具有相对较低的错误倾向。此外,被SonarQube视为“错误”的违规行为通常不容易出错,因此,SonarQube提出的模型的故障预测能力极低。结论SonarQube计算技术债务的规则应该彻底调查,其危害性需要进一步确认。因此,公司应该仔细考虑他们真正需要应用哪些规则,特别是如果他们的目标是减少错误倾向。
2019-12-19 cs.SE
From Logic to Toolchains: An Empirical Study of Bugs in the TypeScript Ecosystem
Simon Fraser University(西蒙菲莎大学)
本文通过实证研究揭示TypeScript生态系统中错误的主要来源,发现工具配置和异步处理问题占主导,同时指出静态类型虽减少传统错误,但增加了构建系统脆弱性。
2026-01-29 cs.SE
Hints Help Finding and Fixing Bugs Differently in Python and Text-based Program Representations
本研究通过753人众包实验发现,提示类型和程序表示(Python与文本)显著影响用户发现和修复错误的准确性,文本表示更有利,提示效果因用户理解而异,为个性化编程工具设计提供启示。
2024-12-17 cs.SE
Data Poisoning: Lightweight Soft Fault Injection for Python
本文介绍并探讨了数据投毒的思想,这是一种轻量级的对等体系结构技术,用于将错误注入Python程序。这种方法只需要对原始程序进行很小的修改,这有助于评估在Python中原型化或建模的系统的灵敏度。我们提出了不同的故障情况下,可以注入程序使用数据投毒。我们使用Dijkstra的自稳定环算法来说明这种方法。
2016-11-04 cs.SE
PyResBugs: A Dataset of Residual Python Bugs for Natural Language-Driven Fault Injection
University of Naples Federico II(那不勒斯费德里科二世大学)
本文提出 PyResBugs 数据集,收集 Python 框架中传统测试未发现但生产环境暴露的残余缺陷,并配以自然语言描述,用于支持自然语言驱动的真实故障注入和 AI 自动化测试研究。
2025-05-09 cs.AI cs.SE
FuzzerAid: Grouping Fuzzed Crashes Based On Fault Signatures
Fuzzing已经成为发现程序中错误和漏洞的重要方法。工业中部署的许多模糊器每天都在运行,可能会产生大量的崩溃。诊断这种崩溃可能非常具有挑战性和耗时。现有的模糊器通常采用诸如代码覆盖或调用堆栈散列之类的算法来消除错误的重复报告。虽然这些漏洞分析很便宜,但它们通常不精确,最终仍然报告了许多对应于同一个bug的“独特”崩溃。在本文中,我们提出了FuzzerAid,使用故障签名组崩溃报告的模糊。错误签名是一个小的可执行程序,由从原始程序中选择的可以重现错误的必要语句组成。在我们的方法中,我们首先使用给定的崩溃生成故障签名。然后,我们使用其他崩溃诱导输入执行故障签名。如果故障再现,我们将崩溃分类到标有故障特征的组中;如果没有,我们生成一个新的故障特征。在对所有导致崩溃的输入进行分类之后,我们进一步将相同根本原因的故障特征合并到一个组中。我们在一个名为FuzzerAid的工具中实现了我们的方法,并在15个真实世界的错误和4个大型开源项目中产生的3020个崩溃中对其进行了评估。我们的评估表明,我们能够正确地对99.1%的崩溃进行分组,并且仅报告了17个(+2)“独特”错误,优于最先进的模糊器。
2022-09-02 cs.SE
FauxPy: A Fault Localization Tool for Python
本文提出FauxPy,一个支持七种错误定位技术、兼容Pytest等框架的Python开源错误定位工具,并验证了其在135个真实错误上的适用性。
2024-04-29 cs.SE
The Inversive Relationship Between Bugs and Patches: An Empirical Study
软件缺陷是开发人员一直关注的问题,修补这些缺陷需要通过复杂的操作花费相当大的成本。相比之下,引入bug可能是一项毫不费力的工作,因为即使是一个简单的突变也可以很容易地破坏被测程序(PUT)。现有的研究已经考虑了这两个对立的活动在很大程度上分开,要么试图自动生成现实的补丁,以帮助开发人员,或找到现实的错误,以模拟和防止未来的缺陷。尽管它们之间有根本的差异,但是,我们假设当简单地考虑代码更改时,它们在语法上并没有彼此不同。为了系统地研究这一假设,我们研究了补丁和错误提交之间的关系,手动和自动生成,使用聚类和模式分析。一个大规模的实证评估表明,高达70%的补丁和故障可以聚集在一起的词汇模式之间的相似性的基础上,进一步,44%的代码更改可以抽象成相同的变化模式。此外,我们调查是否代码变异工具可以被用作自动程序修复(APR)工具,和APR工具作为代码变异工具。在这两种情况下,突变和APR工具的反向使用可以表现得令人惊讶地好,甚至更好,当与它们最初的预期用途相比时。例如,基于深度学习的APR工具SequenceR发现的89%的补丁也可以通过其反演来发现,即,用错误而不是补丁训练的模型。同样,真正的故障耦合突变体的研究表明,TBar,基于模板的APR工具,可以产生14%和3%以上的故障耦合比传统的突变工具,PIT和主要,分别作为一个突变工具。
2023-03-01 cs.SE
Bugs in Machine Learning-based Systems: A Faultload Benchmark
Polytechnique Montréal(蒙特利尔综合理工学院);York University(约克大学)
随着机器学习(ML)在各个领域的应用迅速升级,ML组件的质量越来越受到关注。然后,技术和工具的增长旨在提高ML组件的质量并将其安全地集成到基于ML的系统中。虽然这些工具大多使用bug的生命周期,但没有标准的bug基准来评估它们的性能,比较它们并讨论它们的优点和缺点。在这项研究中,我们首先调查的可重复性和可验证性的错误在ML为基础的系统,并显示在每一个最重要的因素。然后,我们探讨了在基于ML的软件系统中生成bug基准的挑战,并提供了一个bug基准,即defect4ML,满足标准基准的所有标准,即相关性,再现性,公平性,可验证性和可用性。这个faultload基准测试包含了GitHub和Stack Overflow中ML开发人员报告的100个bug,使用了两个最流行的ML框架:TensorFlow和Keras。defect4ML还解决了基于ML的软件系统的软件可靠性工程中的重要挑战,例如:1)框架的快速变化,通过为不同版本的框架提供各种错误,2)代码可移植性,通过在不同的ML框架中提供类似的错误,3)错误可再现性,通过提供完全可再现的错误以及关于所需依赖关系和数据的完整信息,以及4)缺乏关于错误的详细信息,通过提供错误来源的链接。基于ML的系统从业者和研究人员可能会对defect4ML感兴趣,以评估他们的测试工具和技术。
2023-01-16 cs.LG cs.SE
Agentic Property-Based Testing: Finding Bugs Across the Python Ecosystem
MATS, Anthropic(MATS,Anthropic);Northeastern University(东北大学);Anthropic
本文提出一种基于LLM的智能体,通过分析代码与文档推断属性,自动合成并执行基于属性的测试(PBT)以确认Bug。在100个Python包的评估中,其高分Bug报告有效率达86%,并成功向NumPy等提交合并了补丁,证明该方法严格且可扩展。
2025-10-10 cs.AI cs.SE
How effective are traditional test criteria at detecting bugs in large language models generated code?
SnT, University of Luxembourg(卢森堡大学 SnT);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过实证评估5个LLM和4个基准中的6000多个故障实例,发现传统测试准则对LLM生成代码的缺陷检测率极低,变异测试优势有限,需手动推理断言。
2026-09-10 cs.SE
An Empirical Study of Fault Localization in Python Programs
本文首次对真实 Python 程序开展多系列大规模故障定位实证研究,基于 BugsInPy 的 135 个故障评估七类技术,并通过 FauxPy 工具复现和比较 Java 相关结论。
2024-03-20 cs.SE
CharmFL: A Fault Localization Tool for Python
故障定位是软件调试中最耗时、最容易出错的部分之一。有几种工具可以帮助开发人员进行故障定位过程,但是,它们主要针对用Java和C/C++程序设计语言编写的程序。虽然这些工具本身就很出色,但我们不能忽视Python是一种流行的程序设计语言的事实,仍然缺乏易于使用和方便的Python开发人员故障定位工具。在本文中,我们提出了一个名为“CharmFL”的软件故障定位工具作为PyCharm IDE的插件。该工具采用基于频谱的故障定位(SBFL)来帮助Python开发人员自动分析他们的程序,并在运行时生成有用的数据,然后生成潜在故障程序元素的排名列表(即,语句、函数和类)。因此,我们提出的工具支持不同的代码覆盖类型的可能性,以调查这些类型的分层方法。我们的工具的适用性已通过使用一组实验用例。结果表明,我们的工具可以帮助开发人员有效地找到不同类型的错误在他们的程序中的位置。
2021-08-27 cs.SE
Are We Testing the Wrong Quantum Bugs? A Study of Fault Representation Gaps in Quantum Software Testing
Tulane University(杜兰大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of California, Riverside(加州大学河滨分校)
本研究对比量子突变测试工具、基准漏洞与真实量子软件漏洞,发现86.3%真实漏洞未被覆盖,指出需关注编译器等组件的故障测试,为构建更贴合实际的量子软件测试基准提供实证依据。
2026-10-19 cs.PL cs.SE
Using a Sledgehammer to Crack a Nut? Revisiting Automated Compiler Fault Isolation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室)
本研究比较了基于BIC的Basic策略与SBFL技术在编译器故障定位中的性能,发现Basic在关键指标上表现优异。
2025-12-18 cs.SE
Towards Fault Localization via Probabilistic Software Modeling
软件测试帮助开发人员识别bug。然而,意识到bug只是第一步。找到并纠正错误的程序组件对于高质量的软件来说同样困难和必要。错误定位自动地精确定位程序中现有的错误。这是一个难题,现有的方法还不够精确,无法在工业上广泛采用。我们建议通过概率软件建模(PSM)的故障定位。PSM分析程序的结构和行为,并综合概率模型(PM)的网络。每个PM用它的输入和输出对方法进行建模,并且能够评估运行时数据的可能性。我们使用这种可能性评估,以找到故障位置及其对相关代码元素的影响。结果表明,PSM是一个强大的框架,准确的故障定位。
2020-03-04 cs.SE
Hybrid Fault-Driven Mutation Testing for Python
Simon Fraser University(西蒙菲莎大学);University of Ottawa(渥太华大学)
本文提出了一种基于静态和动态分析混合技术的Python变异测试方法,通过七种新的变异算子生成补充现有工具的变异体,提高测试覆盖率和发现缺陷的能力。
2026-07-22 cs.SE
SBEST: Spectrum-Based Fault Localization Without Fault-Triggering Tests
Concordia University(康科迪亚大学);University of Alberta(阿尔伯塔大学)
本研究提出SBEST方法,利用崩溃报告中的堆栈跟踪替代缺失的故障触发测试,结合测试覆盖数据进行故障定位,在Defects4J上使MAP提升32.22%,MRR提升17.43%。
2025-10-27 cs.SE
A Benchmark of Data Loss Bugs for Android Apps
Android应用必须能够处理停止事件和启动事件,停止事件要求立即停止应用的执行而不丢失状态信息,启动事件要求在应用停止的同一点恢复应用的执行。对这类事件的支持必须由开发人员显式实现,不幸的是,开发人员经常无法实现用于保存和恢复应用程序状态的正确逻辑。因此,应用程序在移动到后台然后返回前台时可能会丢失数据(例如,以应答呼叫)或者当屏幕简单地旋转时。这些错误可能是恼人的可用性问题和意外崩溃的原因。本文介绍了Android应用程序中的110个数据丢失故障的公共基准,我们系统地收集了这些故障,以促进对这些问题的研究和实验。该基准测试可在GitLab上获得,包括错误的应用程序,修复的应用程序(可用时),自动重现问题的测试用例,以及可能有助于研究人员完成任务的其他信息。
2019-05-27 cs.SE
A Variability Fault Localization Approach for Software Product Lines
软件故障定位是程序调试中最昂贵、最繁琐、最耗时的活动之一。在软件产品线(SPL)系统中,由于故障的可变性,此活动变得更具挑战性。这些意外的行为是由可变性故障引起的,这些可变性故障只能在系统特征的某些组合下暴露。这些特征之间的相互作用导致了系统的故障。尽管单系统工程中的缺陷定位已经得到了深入的研究,但SPL系统中的可变性故障定位仍然没有得到很大程度的探索。在这篇文章中,我们提出了VarCop,一种新的和有效的可变性故障定位方法。对于因可变性错误而失败的SPL系统,VarCop通过分析采样产品及其源代码的总体测试结果来隔离可疑的代码语句。孤立的可疑语句是与系统中bug可见性所必需的功能之间的交互相关的语句。根据包含语句的产品的总体测试结果以及这些产品中语句执行的测试用例的详细结果,评估每个孤立语句的可疑性。在一个大的数据集的缺陷SPL系统,实证评估表明,VarCop显着提高了两个国家的最先进的故障定位技术的33%和50%,在排名中的不正确的陈述,每个包含一个单一的错误的系统。在大约三分之二的情况下,VarCop将错误陈述排在结果列表的前三位。对于多个错误的情况下,VarCop优于国家的最先进的方法2倍和10倍的错误定位在前1位的比例。在22%和65%的bug版本中,VarCop正确地将系统中至少一个bug排在前1和前5位。
2021-09-21 cs.SE
Repairing Bugs in Python Assignments Using Large Language Models
Yale University(耶鲁大学);Microsoft(微软)
作为学习过程的一部分,学生经常在介绍性编程作业中犯错误。不幸的是,为这些错误提供自定义修复可能需要大量的时间和精力,从课堂教师。自动程序修复(APR)技术可用于合成这样的修复。先前的工作已经探索了在教育领域中使用符号和神经技术进行APR。这两种方法都需要大量的工程努力或大量的数据和培训。我们建议使用一个经过代码训练的大语言模型,比如Codex,来构建一个APR系统--MMAPR--用于介绍Python编程作业。我们的系统可以修复语法和语义错误相结合的多模态提示,迭代查询,基于测试用例的选择少数镜头,和程序分块。我们在286个真实的学生程序上评估了MMAPR,并将其与通过结合最先进的Python语法修复引擎BIFI和最先进的Python语义修复引擎Refactory构建的基线进行了比较。我们发现,MMAPR可以修复更多的程序,并产生更小的补丁平均。
2022-09-29 cs.AI cs.SE
Tailored Mutants Fit Bugs Better
突变分析测量测试套件的充分性,测试套件检测种子故障的程度:如果检测到更多的突变,则一个测试套件比另一个测试套件更好。突变分析的有效性依赖于突变体与真实故障耦合的假设,即突变体检测与真实故障检测密切相关。验证这一点的工作也表明,很大一部分缺陷仍然无法触及。我们引入量身定制的突变算子来达到和捕获这些缺陷。定制的变异操作符是从现有的代码库及其历史构建的,并应用于现有的代码库及其历史。例如,他们可以识别和重放特定于项目的错误。作为我们的出发点,我们为标识符定义了定制的变异操作符,变异分析在很大程度上忽略了这些操作符,因为有太多的方法可以对它们进行变异。在Defects 4J数据集上进行评估,与传统的突变算子相比,我们的新突变算子创建的突变体与14%以上的错误相耦合。然而,这些新的突变算子使突变体的数量增加了四倍。为了解决这个问题,我们提出了一种新的方法,突变选择集中在应用突变算子的位置和突变代码的不自然性。结果表明,位置选择算法产生的突变更紧密地耦合到真正的故障,对于一个给定的预算的突变算子的应用程序。总之,本文定义并探索了定制的突变算子,从两个方面推进了突变测试的发展水平:1)它建议突变标识符和文字的突变算子,将突变分析扩展到一类新的故障; 2)它表明,选择应用突变算子的位置可以减少生成的突变体的数量,而不会影响突变体和实际突变体的耦合。断层
2016-11-08 cs.SE
Mutation-based Fault Localization of Deep Neural Networks
Iowa State University(爱荷华州立大学)
本文提出一种名为deepmufl的基于变异的深度神经网络故障定位新技术,在109个StackOverflow漏洞测试中检测出53个,优于现有方法,并通过变异选择将定位时间减半且仅损失7.55%的top-1定位率。
2023-09-10 cs.LG cs.SE
Real-World Fault Detection for C-Extended Python Projects with Automated Unit Test Generation
University of Namur(南纳穆尔大学);University of Passau(帕绍大学);JetBrains Research(JetBrains研究院);Delft University of Technology(代尔夫特理工大学)
本研究提出通过分离测试生成过程的生成与执行阶段,利用子进程执行技术提升C扩展Python项目中故障检测的覆盖率和准确性。
2026-03-06 cs.SE
ConFL: Explainable Concurrent Fault Localization via Hierarchy-Guided LLM Reasoning
University of Connecticut(康涅狄格大学)
ConFL是一种可解释的并发故障定位框架,通过构建并发知识库与LLM引导的层次检索,在8个Java项目的并发漏洞实验中,其MRR达0.503、MAP达0.486,性能优于同类基线方法且鲁棒性良好。
2026-08-05 cs.SE
Debug Like a Human: Scaling LLM-based Fault Localization to Processor Design via Block-Level Instruction-Oriented Slicing
National University of Defense Technology(国防科技大学);Academy of Military Sciences(军事科学院);Chongqing University(重庆大学)
本文提出BluesFL框架,通过块级指令导向切片算法,利用LLM模拟人类调试过程,有效定位处理器设计中的故障,相比现有方法提升了242.9%的定位准确率。
2026-05-17 cs.SE
A Generic and Efficient Python Runtime Verification System and its Large-scale Evaluation
本文提出PyMOP,一个通用高效的Python运行时验证系统,支持多种逻辑与算法,在29万多个测试中比现有系统快千倍以上,并已帮助发现并修复多个真实错误。
2025-09-08 cs.SE
Back to the Future! Studying Data Cleanness in Defects4J and its Impact on Fault Localization
本文分析 Defects4J 故障触发测试的时间线与开发者知识污染,发现去除该知识后 SBFL 性能显著下降,并发布洁净缺陷数据集。
2024-08-08 cs.SE
Bug In the Code Stack: Can LLMs Find Bugs in Large Python Code Stacks
University of Waterloo(滑铁卢大学)
本研究提出评估LLM在大型Python代码栈中识别简单语法Bug能力的BICS基准,发现代码环境检索难度高于文本环境,不同模型性能差异大,且上下文越长性能普遍越差。
2024-06-21 cs.AI cs.SE
DeepDebug: Fixing Python Bugs Using Stack Traces, Backtranslation, and Code Skeletons
Microsoft Cloud and AI(微软云与人工智能部门)
缺陷定位和程序修复的联合任务是软件开发过程中不可或缺的一部分。在这项工作中,我们提出了Deepcraft,一种使用大型预训练Transformers进行自动调试的方法。我们首先在反向提交数据上训练一个错误创建模型,以生成合成错误。我们把这些合成的虫子应用到两个方面。首先,我们直接对来自20万存储库的所有函数进行反向翻译模型的训练。接下来,我们将关注10K存储库,我们可以对这些存储库执行测试,并在这些存储库中创建通过测试的所有函数的错误版本。这为我们提供了丰富的调试信息,如堆栈跟踪和打印语句,我们使用这些信息来微调我们在原始源代码上预训练的模型。最后,我们通过将上下文窗口扩展到有缺陷的函数本身之外,并添加由该函数的父类、导入、签名、文档字符串和方法体(按优先级顺序)组成的骨架来增强所有模型。在菜Bugs基准测试中,我们将发现的修复总数增加了50%以上,同时将误报率从35%降低到5%,并将超时时间从6小时减少到1分钟。在我们自己的可执行测试基准上,我们的模型在不使用跟踪的情况下第一次尝试就修复了68%的错误,在添加跟踪后,它在第一次尝试时修复了75%的错误。我们将开源我们的框架和验证集,用于评估可执行测试。
2021-05-19 cs.LG cs.SE
DeepLocalize: Fault Localization for Deep Neural Networks
深度神经网络(DNN)正在成为大多数软件系统的组成部分。以前的工作表明DNN有bug。不幸的是,现有的调试技术不支持本地化DNN错误,因为缺乏对模型行为的理解。整个DNN模型显示为一个黑盒子。为了解决这些问题,我们提出了一种方法,自动确定模型是否有缺陷,并确定根本原因。我们的关键见解是,可以分析层之间传播的值的历史趋势,以识别故障,并定位故障。为此,我们首先启用深度学习应用程序的动态分析:将其转换为命令式表示,或者使用回调机制。这两种机制都允许我们插入探针,在DNN根据训练数据进行训练的同时,对DNN产生的轨迹进行动态分析。然后,我们对迹线进行动态分析,以识别导致错误的故障层。我们提出了一种算法,通过捕获任何数值错误并在训练过程中监控模型并查找DNN结果中每一层的相关性来识别根本原因。我们从Stack Overflow和GitHub收集了一个基准测试,其中包含40个错误模型和补丁,这些模型和补丁包含深度学习应用程序中的实际错误。我们的基准可以用来评估自动调试工具和修复技术。我们已经使用这个DNN bug和补丁基准测试对我们的方法进行了评估,结果表明我们的方法比实践Keras库中使用的现有调试方法有效得多。对于40个案例中的34个,我们的方法能够检测到错误,而Keras提供的最佳调试方法检测到40个错误中的32个。我们的方法能够定位40个错误中的21个,而Keras没有定位任何错误。
2021-03-04 cs.SE
AgentFL: Scaling LLM-based Fault Localization to Project-Level Context
针对现有大语言模型故障定位难以处理大代码范围的问题,提出模拟人类开发者调试流程的多智能体系统AgentFL,在Defects4J基准上取得优于同类方法的Top-1定位效果,且成本较低。
2025-02-24 cs.SE
You Cannot Fix What You Cannot Find! An Investigation of Fault Localization Bias in Benchmarking Automated Program Repair Systems
适当的基准测试自动程序修复(APR)系统应有助于开发和采用的研究成果的从业者。为此,研究界必须通过可靠地比较最先进的工具,以更好地了解它们的优缺点,确保达到重要的里程碑。在这项工作中,我们确定和调查的故障定位(FL)在修复管道的步骤所造成的实际偏差。我们建议强调文献中使用的不同故障定位配置,以及它们在应用于Defects 4J基准测试时对APR系统的影响。然后,我们探讨的性能变化,可以通过“调整”FL步骤。最终,我们希望创造一个新的动力:(1)关于FL的APR实验程序的全面披露,(2)修复Defects 4J中错误的现实期望,以及(3)最先进的APR系统之间的可靠性能比较,以及我们彻底评估的kPAR修复工具的基线性能结果。我们的主要发现包括:(a)目前只有缺陷4J缺陷的一个子集可以通过常用的FL技术定位;(b)比较最先进的APR系统的当前实践(即,计算已修复错误的数量)由于FL配置的偏差而潜在地具有误导性;以及(c)APR作者没有适当地限定他们关于在APR系统中实现的不同调谐参数的性能成就。
2019-02-15 cs.SE
scicode-lint: Detecting Methodology Bugs in Scientific Python Code with LLM-Generated Patterns
Authentic Research Partners, Princeton, NJ(真实研究伙伴,新泽西州普林斯顿)
提出scicode-lint,通过两级架构(构建时使用前沿模型生成模式,运行时使用小型本地模型执行)自动检测科学Python代码中的方法论错误,如数据泄露、交叉验证错误和缺失随机种子。
2026-06-01 cs.AI cs.LG cs.SE
Efficient Mutation Testing via Pre-Trained Language Models
变异测试是一种成熟的基于故障的测试技术。它通过在被测程序中播种错误并要求开发人员编写揭示这些错误的测试来运行。这些测试有可能揭示大量的故障-那些与种子故障耦合的故障-因此被认为是重要的。为了达到这个目的,突变测试应该播种那些在开发人员容易理解的意义上是“自然的”和强的(有很高的机会揭示错误)。为了实现这一点,我们建议使用预先训练的生成语言模型(即CodeBERT),这些模型能够生成类似于开发人员的代码,这些代码的操作与目标代码类似,但不完全相同。这意味着模型有能力播种自然故障,从而提供执行突变测试的机会。我们实现了这个想法,通过实施$μ$ BERT,突变测试技术,执行突变测试使用CodeBert和经验评估它使用689错误的程序版本。我们的研究结果表明,$μ$ BERT的故障揭示能力是高于一个国家的最先进的突变测试(PiTest),产生的测试,有高达17%的故障检测潜力比PiTest。此外,我们观察到$μ$ BERT可以补充PiTest,能够检测到PiTest遗漏的47个错误,而与此同时,PiTest可以找到$μ$ BERT遗漏的13个错误。
2023-01-09 cs.SE
Deriving and Evaluating a Detailed Taxonomy of Game Bugs
本文通过多源文献综述和从业者调查,构建并验证了一个包含63个类别、8个一级类别的游戏缺陷分类体系,揭示了手动测试仍占主导、声音缺陷研究稀缺以及机器学习与游戏平衡成为趋势等现状。
2023-11-28 cs.SE
Will It Break in Production? Metric-Driven Prediction of Residual Defects in Python Systems
University of Naples Federico II(那不勒斯费德里科二世大学);IMT School for Advanced Studies Lucca(卢卡高等研究IMT学院)
本文研究了如何利用现代机器学习和深度学习预测Python系统发布后的残余缺陷,发现基于度量的监督模型在预测召回率上表现优异,且过程指标和代码规模是关键预测因素。
2026-04-29 cs.SE
Can LLMs Find Bugs in Code? An Evaluation from Beginner Errors to Security Vulnerabilities in Python and C++
1 Dept. of Computer Information Systems, Texas A\&M University - Central Texas, TX, 76549 USA.;2 LSU Center for Computation \& Technology, Louisiana State University, Baton Rouge, LA, 70803 USA.;3 Department of Physics;Astronomy, Louisiana State University, Baton Rouge, LA, 70803 USA.;4 Applied Computer Science (CCS-7), Los Alamos National Laboratory, Los Alamos, NM 87545 USA.
本文评估了三个主流LLM在检测Python和C++中基础错误、经典安全漏洞及生产级bug的有效性,发现其在语法和语义问题上表现良好,但在复杂安全漏洞和大规模代码中性能下降。
2026-02-09 cs.LG cs.SE
A Fault Localization and Debugging Support Framework driven by Bug Tracking Data
Graz University of Technology(格拉茨工业大学)
故障定位已被确定为软件开发生存周期中的主要资源因素。学术故障定位技术大多是未知的,在专业环境中使用。虽然手动调试方法可以根据错误类型(例如内存错误或语义错误)而显着变化,但这些差异并没有反映在大多数现有的故障定位工具中。很少有研究自动识别错误类型,以优化故障定位过程。此外,现有的故障定位技术仅利用历史数据来增强可疑性排名。本论文的目的是提供一个错误定位的框架,结合来自不同来源的数据,以帮助开发人员在错误定位过程中。为了实现这一目标,引入了一个错误分类模式,基准创建,并提出了一种新的故障定位方法的基础上的历史数据。
2021-03-03 cs.AI cs.SE
Automatic Program Repair with OpenAI's Codex: Evaluating QuixBugs
OpenAI的Codex是一个在大型代码语料库上训练的类似GPT-3的模型,已经成为学术界内外的头条新闻。给定用户提供的简短描述,它能够合成在大多数情况下语法和语义上有效的代码段。在这项工作中,我们要调查法典是否能够本地化和修复错误,在自动程序修复领域的中心感兴趣的任务。我们的初始评估使用多语言菜Bugs基准测试(Python和Java中有40个bug)。我们发现,尽管没有接受过APR培训,Codex是令人惊讶的有效,并与最近的最先进的技术竞争。我们的研究结果还表明,Codex在修复Python方面比Java稍微成功一些。
2021-11-06 cs.SE
Understanding Bugs in Modern Agentic Frameworks: A Study of Symptoms, Root Causes, and Triggering Conditions
Concordia University(康科迪亚大学)
本文研究现代代理框架中的缺陷,通过分析409个修复的bug,提出五层抽象模型,揭示独特的症状和根本原因,并识别可转移的bug触发模式,提升代理系统的可靠性。
2026-07-30 cs.SE
GitBug-Java: A Reproducible Benchmark of Recent Java Bugs
针对现有漏洞修复基准数据集缺乏近期案例与可复现性的问题,研究提出包含199个2023年Java漏洞的可复现基准GitBug-Java,为APR与FL研究提供更贴合当前实践的评估基础。
2024-02-06 cs.SE
HyperPUT: Generating Synthetic Faulty Programs to Challenge Bug-Finding Tools
本文提出 HyperPUT,从种子缺陷出发通过增量程序变换自动生成可扩展规模的带缺陷 C 程序,用于多方面挑战现代缺陷发现工具并支持实证评估。
2024-02-02 cs.CR cs.SE
Fault Localization from the Semantic Code Search Perspective
针对故障定位(FL)有效性低于代码搜索(CS)的问题,提出CosFL方法,将FL分解为基于LLMs的查询生成和多粒度CS故障检索,在23个Java项目的835个真实缺陷上Top-1定位324个,优于现有方法26.6%-57.3%。
2024-11-26 cs.SE
An Empirical Evaluation of Locally Deployed LLMs for Bug Detection in Python Code
Independent Researcher Master of Electrical(独立研究者 电气工程硕士)
本文评估了本地部署的LLaMA 3.2和Mistral在Python bug检测中的性能,发现其准确率在43%-45%之间,但难以精确定位修复。
2026-04-25 cs.AI cs.LG cs.SE
fault: A Python Embedded Domain-Specific Language For Metaprogramming Portable Hardware Verification Components
虽然硬件生成器大大提高了设计生产力,但它们也为验证任务带来了新的挑战。为了有效地覆盖复杂生成器的功能,验证工程师需要提供元编程灵活性的工具。然而,仅有灵活性是不够的;组件还必须是可移植的,以鼓励验证库的扩散并启用新的方法。本文介绍了一种Python嵌入式硬件验证语言Fault,旨在使设计团队能够充分发挥发电机的潜力。
2020-06-20 cs.AR cs.SE
Rethinking Automated Program Repair: The Impact of Bug Complexity, Fault Localization, and LLM Cost-efficiency
Colorado State University(科罗拉多州立大学)
本研究通过实证分析,发现中等复杂度缺陷可超50%由低成本LLM修复,不精确缺陷定位会扩大APR技术差距,高成本LLM与强推理设置并非总能提升成本效率,DeepSeek-V3.2成本效率最优。
2026-08-18 cs.AI cs.SE
Human Attention During Localization of Memory Bugs in C Programs
University of Notre Dame(圣母大学);Vanderbilt University(范德堡大学)
研究人类在 C 程序中定位内存错误时的视觉注意力,招募 21 名程序员在三个程序中定位内存错误,收集 31 小时观察数据,分析成功率等任务结果、总体视觉注意力模式及成败案例中视觉注意力模式差异。
2026-07-20 cs.SE
Test Case Purification for Improving Fault Localization
在软件开发中,查找和修复bug是非常耗时的活动。基于谱的故障定位是指根据测试用例的执行轨迹来确定源代码中的故障位置。失败的测试用例和它们的断言形成了被分析系统的失败行为的测试预言。本文提出了一种新的频谱驱动测试用例净化的概念,以提高故障定位。测试用例纯化的目标是将现有的测试用例分成小部分(称为纯化的测试用例),并增强测试预言机以进一步定位故障。结合原始故障定位技术(例如,Tarantula),测试用例净化结果更好地对程序语句进行排名。通过对6个开放源代码Java程序中的1800个错误的实验表明,测试用例净化可以有效地改进现有的错误定位技术。
2014-09-10 cs.SE
DeepDiagnosis: Automatically Diagnosing Faults and Recommending Actionable Fixes in Deep Learning Programs
Iowa State University(爱荷华州立大学)
深度神经网络(DNN)被用于各种各样的应用中。然而,与任何软件应用程序一样,基于DNN的应用程序也存在漏洞。以前的工作观察到DNN错误修复模式与传统的错误修复模式不同。此外,这些有缺陷的模型是不平凡的诊断和修复,由于不明确的错误,有几个选项来修复它们。为了支持开发人员定位和修复错误,我们提出了DeepDiagnosis,这是一种新的调试方法,可以定位故障,报告错误症状并为DNN程序提供修复建议。在第一阶段,我们的技术监控训练模型,定期检查八种类型的错误条件。然后,在出现问题的情况下,它会报告包含足够信息的消息,以对模型执行可操作的修复。在评估中,我们彻底检查了444个模型-53个来自GitHub和Stack Overflow的真实世界,391个由AUTOTRAINER策划。与UMLUAT和DeepLocalize相比,DeepDiagnosis提供了更高的准确性。我们的技术比AUTOTRAINER更快的故障定位。结果表明,我们的方法可以支持其他类型的模型,而最先进的只能处理分类的。我们的技术能够报告在训练过程中不表现为数值错误的错误。此外,它可以为修复提供可操作的见解,而DeepLocalize只能报告在训练期间导致数值错误的错误。与其他方法相比,DeepDiagnosis表现出故障检测,错误定位和症状识别的最佳功能。
2021-12-07 cs.LG cs.SE
Variability Fault Localization: A Benchmark
软件故障定位是程序调试中最昂贵、最繁琐、最耗时的活动之一。由于软件产品线(SPL)系统中故障的可变性,该活动在SPL系统中变得更具挑战性。这些意外行为是由可变性故障引起的,这些故障只能在系统功能的某些组合下暴露。虽然在不可配置的代码中的错误定位已被深入研究,在SPL系统中的可变性故障定位仍然是大多未被探索。为了应对这一挑战,我们提出了一个基准的可变性故障定位与一大套1,570错误版本的六SPL系统和基线可变性故障定位性能的结果。我们的希望是让社区提出新的和更好的方法来解决SPL系统中的可变性故障定位问题。
2021-09-21 cs.SE