Automatically Learning a Precise Measurement for Fault Diagnosis Capability of Test Cases
本文提出基于强化学习的结果无关度量RLFDC,利用故障定位反馈自动学习测试用例的故障诊断能力,并在Defects4J上验证其在测试选择与生成中优于现有结果无关度量。
2025-01-04 cs.SE
Automatic Failure Explanation in CPS Models
信息物理系统(CPS)模型可能非常复杂。事实上,仅仅检测到一个故障是不足以知道如何纠正一个错误的模型。故障可以在时间和空间上传播,在与故障位置完全不同的位置产生可观察到的异常行为。理解观察到的故障的原因通常是留给设计者的经验和领域知识的具有挑战性和费力的任务。\n在本文中,我们提出了CPSstroke,一种新的方法,通过结合测试,规格挖掘,和故障分析,可以自动解释故障的Simulink/Stateflow模型。我们评估两个案例研究,涉及两个使用场景和几类故障,展示了我们的方法的潜在价值。
2019-03-29 cs.LO cs.SE
DEFT: Differentiable Automatic Test Pattern Generation
Carnegie Mellon University(卡内基梅隆大学)
本文提出DEFT,一种将离散ATPG问题重新表述为连续优化任务的新ATPG方法,通过数学基础的重参数化对齐连续目标与离散故障检测语义,从而提高对难检测故障的测试有效性,实验表明其在多个基准上减少了测试模式数量并提高了故障检测能力。
2026-05-18 cs.SE
GenMorph: Automatically Generating Metamorphic Relations via Genetic Programming
本文提出GenMorph技术,利用进化算法和双适应度函数为Java方法自动生成蜕变关系,有效缓解预言机问题,并在多项实验中显著提升了软件故障检测能力,优于现有工具。
2024-06-05 cs.SE
Validating HTTP Semantics in REST APIs With Constructed Call Sequence Scenarios
Erciyes University(埃尔吉耶斯大学);Kristiania University of Applied Sciences(克里斯蒂安应用科学大学);Oslo Metropolitan University(奥斯陆大都会大学)
本文扩展EvoMaster新增9个预言机,通过构造HTTP调用序列场景,成功检测出9个人工API的所有注入故障及36个现实API的166个HTTP语义层面故障。
2026-08-18 cs.SE
The Search for the Laws of Automatic Random Testing
我们能估计出软件系统中剩余的错误数量吗?一个可靠的评估技术对项目经理和客户都是非常有用的。作为软件工程的一般规律,它也具有理论意义。我们调查可能的答案的自动化随机测试的背景下,一种方法,越来越多地被接受为一种有效的方法来发现故障。我们的实验结果,来自各种数学函数的最佳拟合分析,基于大量的自动化测试的图书馆代码配备了自动化的神谕的形式的合同,建议一个多对数定律。虽然在不同的代码基础和测试技术上仍然需要进一步确认,但我们认为,了解测试的规律可能会为估计可检测故障的数量和比较不同的项目和实践带来显着的好处。
2012-11-14 cs.SE
Automatic Fault Detection for Deep Learning Programs Using Graph Transformations
K. N. Toosi University of Technology(K.N.托西理工大学);Polytechnique Montreal(蒙特利尔理工大学)
如今,我们看到企业和学术界对利用深度学习(DL)解决复杂现实问题的需求越来越大。DL程序编码期望DL模型的网络结构和模型从训练数据集学习的过程。像任何软件一样,DL程序可能会出错,这意味着软件质量保证面临巨大挑战,特别是在安全关键领域。因此,为深度学习开发团队配备高效的故障检测技术和工具至关重要。在本文中,我们提出了NeuraLint,基于模型的故障检测方法DL程序,使用元建模和图形转换。首先,我们设计了一个元模型DL程序,包括其基本骨架和基本属性。然后,我们构建了一个基于图的验证过程,该过程涵盖了在元模型之上定义的23条规则,并作为图变换来实现,以检测生成的模型中的故障和设计效率低下(即,元模型的实例)。首先,所提出的方法进行评估,发现故障和设计效率低下,在28个合成的例子,从文献中报道的常见问题。然后,NeuraLint成功地从Stack Overflow帖子和GitHub存储库中提取了34个真实的DL程序中发现了64个错误和设计效率低下。结果表明,NeuraLint在合成和真实世界的例子中有效地检测故障和设计问题,召回率为70.5%,准确率为100%。虽然所提出的元模型是为前馈神经网络设计的,但它可以扩展到支持其他神经网络架构,例如递归神经网络。研究人员还可以扩展我们的验证规则集,以涵盖DL程序中的更多类型的问题。
2021-05-31 cs.LG cs.SE
DeepDiagnosis: Automatically Diagnosing Faults and Recommending Actionable Fixes in Deep Learning Programs
Iowa State University(爱荷华州立大学)
深度神经网络(DNN)被用于各种各样的应用中。然而,与任何软件应用程序一样,基于DNN的应用程序也存在漏洞。以前的工作观察到DNN错误修复模式与传统的错误修复模式不同。此外,这些有缺陷的模型是不平凡的诊断和修复,由于不明确的错误,有几个选项来修复它们。为了支持开发人员定位和修复错误,我们提出了DeepDiagnosis,这是一种新的调试方法,可以定位故障,报告错误症状并为DNN程序提供修复建议。在第一阶段,我们的技术监控训练模型,定期检查八种类型的错误条件。然后,在出现问题的情况下,它会报告包含足够信息的消息,以对模型执行可操作的修复。在评估中,我们彻底检查了444个模型-53个来自GitHub和Stack Overflow的真实世界,391个由AUTOTRAINER策划。与UMLUAT和DeepLocalize相比,DeepDiagnosis提供了更高的准确性。我们的技术比AUTOTRAINER更快的故障定位。结果表明,我们的方法可以支持其他类型的模型,而最先进的只能处理分类的。我们的技术能够报告在训练过程中不表现为数值错误的错误。此外,它可以为修复提供可操作的见解,而DeepLocalize只能报告在训练期间导致数值错误的错误。与其他方法相比,DeepDiagnosis表现出故障检测,错误定位和症状识别的最佳功能。
2021-12-07 cs.LG cs.SE
Debugging Tool for Localizing Faulty Processes in Message Passing Programs
在消息传递程序中,一旦进程因意外错误而终止,终止的进程可以通过通信依赖性将错误传播到其余进程,从而导致程序失败。因此,为了定位故障,开发人员必须识别原始错误中涉及的进程组和激活故障的故障进程。本文提出了一种新的调试工具,命名为MPI-Prejugger(MPI-PD),定位错误的消息传递程序的进程。MPI-PD通过检查程序执行期间的通信错误来自动区分原始错误和传播错误。如果MPI-PD观察到任何通信错误,它会回溯通信依赖关系,并在时间轴视图中指出潜在的故障流程。我们还介绍了三个案例研究,其中MPI-PD已被证明在其调试中发挥关键作用。从这些研究中,我们相信MPI-PD可以帮助开发人员定位错误,并允许他们集中精力纠正他们的程序。
2003-10-09 cs.SE
Combining Logic with Large Language Models for Automatic Debugging and Repair of ASP Programs
本文提出 FormHe,融合逻辑故障定位、程序变异与 LLM,自动识别并修复学生提交的错误 ASP 程序,实验显示故障检测准确率达 94%、修复成功率达 58%。
2024-10-28 cs.LO cs.SE
Model-Based Debugging using Multiple Abstract Models
本文介绍了一个自动调试框架,它依赖于基于模型的推理技术来定位程序中的错误。特别是,基于模型的诊断,连同一个抽象的解释为基础的冲突检测机制来推导诊断,这对应于可能的故障程序。设计信息和部分规范应用于指导模型修订过程,该过程允许自动检测和校正结构故障。
2003-09-17 cs.AI cs.SE
Data Loss Detector: Automatically Revealing Data Loss Bugs in Android Apps
Android应用程序必须正常工作,即使它们的执行被外部事件中断。例如,即使接到电话,或者因为智能手机旋转而重新绘制布局后,应用程序也必须正常工作。由于这些事件可能需要在执行中断时销毁应用的前台Activity,并在执行恢复时重新创建应用的前台Activity,因此防止状态信息丢失的唯一方法是保存和恢复状态信息。此行为必须由应用开发人员显式实现,他们经常无法正确实现,从而释放受数据丢失问题影响的应用,即,应用程序在执行中断时可能会丢失状态信息。虽然有几种技术可用于自动生成Android应用程序的测试用例,但所获得的测试用例很少包括执行和显示数据丢失故障所需的交互和检查。为了解决这个问题,本文提出了数据丢失检测器(DLD),一个测试用例生成技术,集成了探索策略,数据丢失揭示行动,和两个定制的oracle策略,用于检测数据丢失故障。DLD已经能够在受110个已知数据丢失故障影响的54个Android应用程序版本的基准测试中发现75%的故障。DLD还揭示了未知的数据丢失问题,优于竞争方法。
2020-10-12 cs.SE
Automatic Generation of RAMS Analyses from Model-based Functional Descriptions using UML State Machines
在当今的工业实践中,安全性、可靠性或可用性工件(如故障树、马尔可夫模型或FMEA)主要由专家手动创建,通常与系统工程活动分离。进行所需的分析需要付出巨大的努力、费用和及时的要求。在本文中,我们描述了一种新的集成的基于模型的方法,系统工程和可靠性分析。系统组件的行为由UML状态机指定,确定预期/正确和不期望/错误的行为。基于这些信息,我们的方法自动生成不同的可靠性分析的故障树的形式。因此,可以很容易地评估替代系统布局。这同样适用于诸如控制器之类的逻辑单元的逻辑输入-输出关系的简单变化。我们说明了我们的方法的可行性与简单的例子的帮助下,使用所提出的概念的原型实现。
2021-06-03 cs.SE cs.SY eess.SY
CharmFL: A Fault Localization Tool for Python
故障定位是软件调试中最耗时、最容易出错的部分之一。有几种工具可以帮助开发人员进行故障定位过程,但是,它们主要针对用Java和C/C++程序设计语言编写的程序。虽然这些工具本身就很出色,但我们不能忽视Python是一种流行的程序设计语言的事实,仍然缺乏易于使用和方便的Python开发人员故障定位工具。在本文中,我们提出了一个名为“CharmFL”的软件故障定位工具作为PyCharm IDE的插件。该工具采用基于频谱的故障定位(SBFL)来帮助Python开发人员自动分析他们的程序,并在运行时生成有用的数据,然后生成潜在故障程序元素的排名列表(即,语句、函数和类)。因此,我们提出的工具支持不同的代码覆盖类型的可能性,以调查这些类型的分层方法。我们的工具的适用性已通过使用一组实验用例。结果表明,我们的工具可以帮助开发人员有效地找到不同类型的错误在他们的程序中的位置。
2021-08-27 cs.SE
FetaFix: Automatic Fault Localization and Repair of Deep Learning Model Conversions
University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学)
本文提出自动化故障定位与修复方法 FetaFix,通过迭代比较源模型与目标模型的输出标签差异,修复深度学习框架间模型转换时在输入、参数、超参数和模型图中引入的故障,在 755 个故障中成功修复 462 个。
2025-04-26 cs.AI cs.CV cs.LG
Path Conditions Help to Locate and Localize Faults from Programs
准确、自动地检测程序中的错误,是软件工程的梦想。在这方面的每一次努力都使我们离实现这一目标更近了一步。这些地区的人们在测试、验证和调试方面付出了许多努力。我们正在为这个领域的研究社区提出这样的努力是使用路径条件来生成PLOFC(可能的错误代码行)的最小集合。这是一种运行时间方法,它将通过路径条件和一些相关的算法的帮助,有效地产生最小可能的错误代码行集。在本文中,我们产生可能的故障位置,从程序使用路径条件,可以把积极的影响,程序的静态分析。在此基础上,我们讨论了关于路径条件的基本思想、理论和初步分析结果。这项工作是基于以前的工作,使用的变量依赖故障检测。最后给出了一些应用实例,对软件验证有一定的参考价值。
2013-08-12 cs.SE
Automatically Generating Single-Responsibility Unit Tests
本文研究基于单一职责原则为自动生成的单元测试引入预处理结构,以提升测试可理解性,同时保持覆盖率与故障检测能力。
2025-04-10 cs.SE
On the Integration of Spectrum-Based Fault Localization Tools into IDEs
本文基于调研和自身经验,为将基于频谱的故障定位工具集成到IDE中提供功能性和非功能性需求建议清单。
2024-03-18 cs.SE
Introducing Ensemble Machine Learning Algorithms for Automatic Test Case Generation using Learning Based Testing
本文研究在基于学习的测试中结合集成方法与基础分类器进行模型推断,实验证明Boosting生成故障检测测试用例的总体效果优于随机生成。
2024-09-06 cs.SE
Dynamic Code Coverage with Progressive Detail Levels
如今,定位软件组件负责观察到的故障是软件开发过程中最昂贵和最容易出错的任务之一。为了提高调试过程的效率,已经做出了一些努力来自动辅助检测和定位软件故障。这导致了统计调试工具的创建,如Tarantula,Zoltar和GZoltar。这些工具使用从代码覆盖率数据中收集的信息和测试执行的结果来返回潜在错误位置的列表。虽然有帮助,但故障定位工具有一些缩放问题,因为它们需要细粒度的覆盖数据来执行故障定位分析。在某些情况下可能高达50%的仪器开销是其效率低下的主要原因。本文提出了一种新的方法来解决这个问题,尽可能避免高层次的覆盖细节,同时仍然使用这些故障定位工具采用的成熟技术。这种方法称为DCC,包括使用较粗的初始检测,仅获得大组件的覆盖跟踪。然后,基于由当前故障定位工具中采用的相同技术提供的中间结果,逐步增加某些部件的仪表细节。为了评估我们所提出的方法的有效性,进行了实证评估,在四个现实世界的软件项目中注入故障。实证评估表明,DCC方法减少了执行开销,存在于基于频谱的故障定位,甚至提出了一个更简洁的潜在故障排名给用户。我们观察到执行时间平均减少27%,诊断报告大小平均减少63%。
2013-06-19 cs.SE
Formally expressing the semantics of observer-based fault detection software
其目的是创建可靠和可验证的故障检测软件,以检测安全关键动态系统中的突变。故障检测方法在监视和控制系统的数字计算机上以软件的形式实现。我们实现了三个基于故障检测方法的3自由度(3DOF)的实验室直升机,在软件的形式。我们研究这些方法的性能,以检测不同的故障在飞行过程中的闭环设置。所有选定的方法显示出可接受的检测性能。但是,不可能对每种可能的条件、输入和故障情况重复测试。在本文中,我们翻译成一个形式语言,以前用于软件验证和确认的故障检测性能和数学证明。我们将翻译后的属性以不可执行的注释的形式包含在软件中,这些注释可以被机器读取。因此,代码的一些高级功能属性可以通过自动软件验证工具进行验证。这证明了故障检测软件的一组有界数据,并在实践中增加了可靠性。
2013-12-03 cs.SE math.OC
The Inversive Relationship Between Bugs and Patches: An Empirical Study
软件缺陷是开发人员一直关注的问题,修补这些缺陷需要通过复杂的操作花费相当大的成本。相比之下,引入bug可能是一项毫不费力的工作,因为即使是一个简单的突变也可以很容易地破坏被测程序(PUT)。现有的研究已经考虑了这两个对立的活动在很大程度上分开,要么试图自动生成现实的补丁,以帮助开发人员,或找到现实的错误,以模拟和防止未来的缺陷。尽管它们之间有根本的差异,但是,我们假设当简单地考虑代码更改时,它们在语法上并没有彼此不同。为了系统地研究这一假设,我们研究了补丁和错误提交之间的关系,手动和自动生成,使用聚类和模式分析。一个大规模的实证评估表明,高达70%的补丁和故障可以聚集在一起的词汇模式之间的相似性的基础上,进一步,44%的代码更改可以抽象成相同的变化模式。此外,我们调查是否代码变异工具可以被用作自动程序修复(APR)工具,和APR工具作为代码变异工具。在这两种情况下,突变和APR工具的反向使用可以表现得令人惊讶地好,甚至更好,当与它们最初的预期用途相比时。例如,基于深度学习的APR工具SequenceR发现的89%的补丁也可以通过其反演来发现,即,用错误而不是补丁训练的模型。同样,真正的故障耦合突变体的研究表明,TBar,基于模板的APR工具,可以产生14%和3%以上的故障耦合比传统的突变工具,PIT和主要,分别作为一个突变工具。
2023-03-01 cs.SE
Faults in Deep Reinforcement Learning Programs: A Taxonomy and A Detection Approach
Polytechnique Montréal(蒙特利尔理工学院)
在工业界和学术界,越来越多的人需要在各个领域使用深度学习(DL)来解决现实世界的问题。深度强化学习(DRL)是深度学习在强化学习(RL)领域的应用。像任何软件系统一样,DRL应用程序可能会因为程序中的错误而失败。在本文中,我们提出了第一次尝试分类故障发生在DRL程序。我们手动分析了使用知名DRL框架(OpenAI Gym,Dopamine,Keras-rl,Tensorforce)开发的761个DRL程序工件(来自Stack Overflow帖子和GitHub问题),并确定了开发人员/用户报告的错误。通过几轮讨论,我们对识别出的故障进行了标记和分类。由此产生的分类验证使用在线调查与19开发人员/研究人员。为了允许DRL程序中的故障的自动检测,我们已经定义了一个元模型的DRL程序和开发DRLinter,基于模型的故障检测方法,利用静态分析和图形转换。DRLinter的执行流程包括解析DRL程序以生成符合我们的元模型的模型,并在模型上应用检测规则来识别故障发生。DRLinter的有效性进行了评估,使用15个合成DRL程序,我们注入故障中观察到的分析工件的分类。结果表明,DRLinter能够成功地检测出所有合成故障程序中的故障。
2021-11-28 cs.LG cs.SE
An Empirical Study of Fault Localisation Techniques for Deep Learning
Software Institute(软件学院);Università della Svizzera italiana (USI)(意大利语瑞士大学);King’s College London(伦敦国王学院);School of Computing(计算机学院);KAIST(韩国科学技术院)
本研究实证评估了基于动态和静态分析的深度学习故障定位技术,发现单一地面真值评估性能较低,而\dfd工具在基准上表现最佳,平均召回率0.61、精确率0.41。
2024-12-17 cs.AI cs.LG cs.SE
DeepMutation: A Neural Mutation Tool
Microsoft(微软);William & Mary(威廉玛丽学院);Washington and Lee University(华盛顿与李大学);Università della Svizzera italiana (USI)(瑞士意大利语大学);University of Sannio(萨尼奥大学)
变异测试可以用来评估给定测试套件的故障检测能力。为了实现这一目标,突变测试框架的两个特征是至关重要的:(i)它们应该生成代表真实故障的突变体;(ii)它们应该提供能够自动生成、注入和测试突变体的完整工具链。为了解决第一点,我们最近提出了一种使用递归神经网络编码器-解码器架构的方法,从从真实程序中挖掘的约787 k个故障中学习突变体。这种方法的实证评估证实了它的能力,以产生代表真正的故障突变。在本文中,我们解决了第二点,提出DeepMutation,一个将我们的深度学习模型包装成一个全自动工具链的工具,能够生成,注入和测试从真实故障中学习到的突变体。视频:https://sites.google.com/view/learning-mutation/deepmutation
2020-02-13 cs.CL cs.LG cs.SE