Fault Injection in OpenAPI Specifications for Evaluating Black-Box Testing Effectiveness
University of Helsinki(赫尔辛基大学)
研究针对OpenAPI规范常存在的问题,引入故障分类法,在不同严重级别注入故障,用三种测试工具在两个微服务基准上评估,通过多种指标衡量故障影响,揭示规范故障对黑盒测试有效性的作用及相关评估的不足。
2026-07-15 cs.SE
Model-Based Diagnosis with Multiple Observations: A Unified Approach for C Software and Boolean Circuits
Department of Computer Science, University of Oxford(计算机科学系,牛津大学);Czech Technical University in Prague(布拉格捷克技术大学)
CFaults通过结合多观测的模型驱动诊断方法,为C语言软件和布尔电路提供更高效的故障定位,确保诊断的一致性和最小性。
2025-12-02 cs.AI cs.LO cs.SC
Themis: Automatic and Efficient Deep Learning System Testing with Strong Fault Detection Capability
针对深度学习系统测试需手动指定神经元激活值、故障检测率低的问题,提出自动测试系统Themis,通过自动挖掘扰动下神经元输出变化显著的致错数据流实现高覆盖检测,实验证明其故障检出量和重训练后的准确率提升均大幅优于现有方法。
2024-08-16 cs.SE
Non Homogeneous Poisson Process Model based Optimal Modular Software Testing using Fault Tolerance
在软件开发过程中,我们会遇到各种模块。提出了软件不同模块优先级的思想,使重要模块优先测试。这种方法是可取的,因为由于时间和成本的限制,不可能对每个模块进行回归测试。本文讨论了在非齐次Poisson过程的基础上,对软件的几个模块进行优先级排序所需的参数,给出了测试时间和成本最优的度量。
2009-05-10 cs.SE
Hybrid Fault-Driven Mutation Testing for Python
Simon Fraser University(西蒙菲莎大学);University of Ottawa(渥太华大学)
本文提出了一种基于静态和动态分析混合技术的Python变异测试方法,通过七种新的变异算子生成补充现有工具的变异体,提高测试覆盖率和发现缺陷的能力。
2026-07-22 cs.SE
Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity
针对机器学习程序判定器缺失及现有蜕变关系优先排序成本高或不准确的问题,提出一种基于语句中心性并利用执行剖面多样性的MR优先排序方法,显著提升了故障检测有效性与测试效率。
2024-11-14 cs.SE
Can My Microservice Tolerate an Unreliable Database? Resilience Testing with Fault Injection and Visualization
本文扩展 Filibuster 以在数据库客户端注入故障,支持多种 SQL/NoSQL 系统,并通过 IntelliJ 插件可视化故障类型、位置与影响,从而补足微服务数据库韧性测试工具。
2024-04-03 cs.SE
Can Pairwise Testing Perform Comparably to Manually Handcrafted Testing Carried Out by Industrial Engineers?
测试是工业软件工程中的一项重要活动。对于这样的软件,测试通常是手动执行的手工制作测试套件的基础上特定的设计技术和特定领域的经验。为了支持开发人员进行测试,已经提出了不同的方法来生成良好的测试套件。在过去的几年中,组合测试已经被探索,其目标是基于一定的策略自动组合软件的输入值。成对测试是一种组合技术,用于通过改变系统的每对输入参数的值直到创建这些参数的所有可能组合来生成测试套件。有一些证据表明,这类技术是有效的,相对较好地检测软件故障。不幸的是,几乎没有实验证据的比较,这些组合测试技术,被认为是严格的手工制作的测试。在这项研究中,我们比较成对的测试套件与手动创建的测试套件的工程师为45个工业程序。测试套件进行了评价的故障检测,代码覆盖率和测试数量。这项研究的结果表明,成对测试,而实现高代码覆盖率和故障检测的大多数程序是有用的,几乎是有效的手动测试在故障检测方面。结果还表明,在64%的程序中,成对测试在故障检测方面与手动测试一样好。
2017-06-06 cs.SE
muPRL: A Mutation Testing Pipeline for Deep Reinforcement Learning based on Real Faults
本文提出了muPRL,一个基于真实故障的深度强化学习变异测试流水线,通过代码库挖掘构建真实RL故障分类体系并推导出变异算子,实验证明其能有效区分强弱测试生成器,为开发者提供测试场景充分性的反馈。
2024-08-27 cs.SE
Improving the Testability of Object-oriented Software during Testing and Debugging Processes
可测试性是在程序中存在错误的情况下,测试是否会检测到错误的概率。如何有效地发现故障取决于软件的可测试性。许多研究人员提出了定性和定量的技术来提高和衡量软件的可测试性。在文献中,大量的可靠性增长模型已被用于评估和衡量软件在测试和运行阶段的定量质量评估。了解软件故障分布及其复杂性可以提高软件的可测试性。通过了解故障分布和故障复杂度,可以使测试工作量的分配变得容易,这将简化从软件中发现故障的过程。因此,软件的可测试性将得到改善。文中给出了该模型的参数以及不同复杂度的故障在软件中所占的比例,并利用在开源环境下开发的两个面向对象软件MySQL for python和Squirrel SQL Client的故障数据进行了估计
2013-08-15 cs.SE
Towards the Systematic Testing of Virtual Reality Programs (extended version)
软件测试是确保软件符合其规范的关键活动。然而,目前的软件测试活动往往是不完全有效的,当应用在特定的软件领域在虚拟现实(VR),具有几种新的类型的功能,如图像,声音,视频,和差异化的互动,这可能成为新的故障的来源。本文概述了可能对验证、确认和测试(VV&T)产生影响的主要VR特征。此外,它还分析了一些最成功的VR开源项目,以了解缺乏软件测试活动的危险。我们比较了开源VR项目中软件测试实践的现状,并评估了缺乏测试如何损害产品的开发。我们评估了代码气味的发生率,并验证了这些项目如何表现出故障的倾向。结果表明,软件测试的实践在虚拟现实应用程序的开发中还没有得到广泛的应用。研究还发现,VR项目中代码气味的发生率很高。关于故障倾向,结果显示,在VR项目中分析的类中,约有12.2%是故障倾向。关于软件测试技术在VR项目中的应用,据观察,只有少数项目关注为VR项目开发测试用例,可能是因为我们仍然没有必要的工具来帮助这一方向。关于气味,我们得出的结论是,在VR项目中有很高的发生率,特别是在实施气味方面,这种高发生率可能会对故障产生重大影响。最后,与故障倾向相关的研究指出,缺乏软件测试活动是项目成功的一个重大风险。
2020-09-18 cs.SE
IBIR: Bug Report driven Fault Injection
软件工程和软件测试的许多研究依赖于基于故障注入的实验研究。然而,故障注入并不经常与模拟真实世界的软件故障相关,因为它“盲目地”注入大量的故障。它仍然确实具有挑战性,注入少数但现实的故障,目标是一个特定的功能,在一个程序。在这项工作中,我们引入IBIR,故障注入工具,通过探索与用户报告的故障相关的变化模式来解决这一挑战。为了注入真实的错误,我们通过重定向错误报告驱动的自动程序修复系统来创建突变体,即,反转其代码转换模板。IBIR在实践中更有吸引力,因为它既不需要深入了解代码也不需要深入了解测试,而只需要了解程序的相关错误报告。因此,我们的方法将故障注入的重点放在功能的缺陷报告。我们通过考虑Defects4J数据集来评估IBIR。实验结果表明,我们的方法优于传统的突变测试进行的故障注入与原始错误的语义相似性,当应用在系统或类级别的粒度,并提供更好的,统计上显着的,测试有效性(故障检测)的估计。此外,当注入100个错误时,IBIR在36%的情况下注入与真实错误耦合的错误,而突变测试中的突变注入不到1%。总的来说,IBIR的目标是真正的功能,并注入现实和多样化的故障。
2020-12-11 cs.SE
Fault Detection Effectiveness of Metamorphic Relations Developed for Testing Supervised Classifiers
在机器学习中,监督分类器用于通过使用标记数据推断预测函数来获得对未标记数据的预测。监督分类器广泛应用于计算生物学、计算物理学和医疗保健等领域,以做出关键决策。然而,由于期望的答案是未知的,因此通常很难测试监督分类器。这通常被称为\emph{oracle problem},变形测试(MT)已被用于测试这样的程序。在机器翻译中,变形关系(MR)是从被测软件(SUT)的内在特征发展而来的。这些MR用于生成测试数据,并在不存在测试预言的情况下验证测试结果的正确性。MT的有效性在很大程度上取决于用于测试的MR。在本文中,我们已经进行了广泛的实证研究,以评估故障检测的有效性MR已被用于多个以前的研究,以测试监督分类。我们的研究共使用了709个可达突变体产生的多个突变引擎,并使用具有不同特征的数据集来测试SUT。我们的研究结果表明,只有14.8%的这些突变体被检测到使用MR和故障检测的有效性,这些MR不规模与突变体的数量增加时,在以前的研究中报道的相比。
2019-04-15 cs.SE
Constrained Detecting Arrays: Mathematical Structures for Fault Identification in Combinatorial Interaction Testing
检测阵列是一种数学结构,其目的是在组合交互测试中识别故障。然而,它们不能直接应用于在测试参数之间具有约束的系统。这样的约束在现实世界的系统中是普遍存在的。目的:本文提出了约束检测阵列(CDA),检测阵列的扩展,可用于系统的约束。方法:本文通过严格的论证来考察CDA的性质和能力。本文还提出了两种构造CDA的算法:一种是以生成最小CDA为目标的算法,另一种是以快速生成CDA为目标的启发式算法。通过实验使用基准数据集的算法进行评估。结果如下:实验结果表明,第一种算法可以在足够长的生成时间内生成最小的CDA,第二种算法可以在合理的时间内生成最小或接近最小的CDA。结论:CDAs增强了检测阵列在有约束系统中的应用。这两种算法在数组大小和生成时间上具有不同的优势
2021-10-13 cs.SE
Effortless Fault Localisation: Conformance Testing of Real-Time Systems in Ecdar
实时的【形】系统的模型检验已经发展了很多年。最近,使用定时I/O自动机的模型检查器Ecdar被用于执行组合验证。然而,为了将实时的【形】系统的模型检验完全集成到工业开发中,我们需要一种有效且可靠的方法来测试这样的系统是否符合其相应的模型。因此,我们提出了一个扩展的Ecdar集成到一个新的IDE,现在功能建模,验证和测试的一致性测试。新的工具使用基于模型的突变测试,只需要模型和测试中的系统,定位故障,并证明某些类型的故障的存在。它支持使用实时的【形】或模拟时间进行测试。它将测试用例生成和测试执行并行化,以提供显著的加速。我们还引入了新的变异算子,提高了检测和定位故障的能力。最后,我们进行了一个案例研究与140故障系统,其中Ecdar检测所有故障。
2018-09-10 cs.LO cs.SE
Does mutation testing improve testing practices?
已经定义了测试质量的各种代理度量,以便在编写测试时指导开发人员。代码覆盖率在实践中特别好地建立起来,尽管覆盖率如何与测试质量相关的问题是一个正在进行的辩论。突变测试提供了一个有希望的替代方案:人工缺陷可以识别测试套件中的漏洞,从而为额外的测试提供具体的建议。尽管突变检测有明显的优势,但在实践中还没有很好地建立起来。直到最近,突变测试工具和技术还不能扩展到复杂的系统。虽然他们现在做规模,剩下的障碍是缺乏证据表明,编写测试的突变体实际上提高测试质量。在本文中,我们的目标是填补这一空白:通过分析近1500万个突变体的大型数据集,我们研究了这些突变体如何随着时间的推移影响开发人员,以及这些突变体如何与真正的故障相关。我们的分析表明,使用突变测试的开发人员编写更多的测试,并积极改善他们的测试套件与高质量的测试,使更少的突变。通过分析一个数据集的过去修复真正的高优先级的故障,我们的分析进一步提供证据,突变体确实与真正的故障。换句话说,如果突变测试被用于引入错误的更改,它将报告一个可以防止错误的活突变体。
2021-03-12 cs.SE
Classifying and Qualifying GUI Defects
图形用户界面(GUI)是软件系统的组成部分,需要用户进行交互。在过去的十年中,软件测试人员特别关注GUI测试,并设计了有效发现几种GUI错误的技术。然而,在GUI中引入新类型的交互(例如,直接操作)呈现了当前测试技术没有针对的新类型的错误。我们相信,为了推进GUI测试,社区需要一个全面的、高层次的GUI故障模型,它包含了所有类型的交互。本文的主要工作包括以下四个方面:1)建立了GUI故障模型,对GUI故障进行识别和分类。2)一个实证分析,用于评估所提出的故障模型对实际GUI中发现的故障的相关性。3)针对这些故障,对两种GUI测试工具(即GUITAR和Jubula)进行了实证评估。4)我们根据故障模型开发的GUI变种人。这些突变体是免费提供的,并且可以被开发人员重用,用于对他们的GUI测试工具进行基准测试。
2017-03-28 cs.SE
On the Risks of using LLM-Generated Tests for Regression Testing
SnT, University of Luxembourg(卢森堡大学科学与技术研究中心)
该研究针对145个开源项目拉取请求,发现8%-17%的LLM生成回归测试为漏洞强化测试,未经人工验证会引发新型技术债务。
2026-10-09 cs.SE
Searching for Multi-Fault Programs in Defects4J
Defects4J自引入以来已经实现了许多软件测试和调试研究工作。其贡献的很大一部分,以及由此产生的流行程度,在于基于仔细的手动分析,明确分离和提炼每个单独测试失败的根本原因,这反过来又使研究人员能够轻松地孤立地研究单个故障。然而,在实际的调试场景中,多个故障可能共存并共同影响测试结果。自动调试技术的研究,这些情况下,如故障集群或故障定位多个故障,将显着受益于一个可靠的基准多个共存的故障。我们搜索包含多个故障的Defects4J主题的版本,通过迭代地移植故障揭示测试用例跨越Defects4J版本。在326个研究版本的Defects4J主题,我们报告说,超过95%(311个版本)实际上包含从两个到24个故障。我们希望扩展后的多故障Defects4J可以为将来多故障程序的测试和调试技术的研究提供一个平台。
2021-08-10 cs.SE
An Empirical Study on Failed Error Propagation in Java Programs with Real Faults
在测试过程中,开发人员可以在方法的外部或内部放置Oracle。给定错误的执行状态,即,一个与预期的错误不同的错误,如果它被放置在不能访问不正确的程序状态或程序状态不再被破坏的程序点处,则Oracle可能无法暴露该错误。在这种情况下,oracle会受到失败的错误传播的影响。我们进行了一项实证研究,以衡量失败的错误传播缺陷4J,参考基准的Java程序与真正的故障,考虑所有6个项目(386个真正的错误和459个固定的方法)。我们的研究结果表明,失败的错误传播的流行是可以忽略不计的测试时,在单元级。然而,当提供系统级输入时,失败的错误传播的发生率大幅增加。这表明,方法后置条件仅根据外部可观察状态/数据进行预测就足够了,并且在系统级测试时应检查中间步骤。
2020-11-21 cs.SE
Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing
自动化测试生成有助于降低软件测试的成本。然而,为这些自动生成的测试输入开发有效的测试预言机是一项具有挑战性的任务。因此,大多数自动化测试生成工具使用的是一些琐碎的预言机,这些预言机降低了这些自动生成的测试用例的故障检测效率。在这项工作中,我们提供了一个实证研究的结果表明,利用变形关系可以提高自动生成的测试用例的故障检测效率。
2020-04-18 cs.SE
Enabling Mutation Testing for Android Apps
变异测试已被广泛用于评估测试套件的故障检测有效性,以及指导测试用例生成或优先级排序。经验研究表明,虽然突变体通常代表真实故障,但突变测试的有效应用需要为程序设计语言设计的“传统”运算符用特定于应用领域和/或技术的运算符来扩充。本文提出了MDroid+,一个有效的Android应用程序的突变测试框架。首先,我们通过手动分析来自不同来源的2,023个软件工件(例如,错误报告、提交)。然后,我们确定了一组38个变异算子,并实现了一个基础设施,用其中的35个算子在Android应用程序中自动播种变异。的分类和建议的运营商进行了评估方面的死产/平凡的突变体产生和他们的能力,代表真正的故障在Android应用程序中,相比其他众所周知的突变工具。
2017-08-01 cs.SE
Are We Testing the Wrong Quantum Bugs? A Study of Fault Representation Gaps in Quantum Software Testing
Tulane University(杜兰大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of California, Riverside(加州大学河滨分校)
本研究对比量子突变测试工具、基准漏洞与真实量子软件漏洞,发现86.3%真实漏洞未被覆盖,指出需关注编译器等组件的故障测试,为构建更贴合实际的量子软件测试基准提供实证依据。
2026-10-19 cs.PL cs.SE
Using Source Code Metrics and Ensemble Methods for Fault Proneness Prediction
软件故障预测模型通过在测试阶段之前识别易故障类来优化测试资源分配。一些研究人员已经验证了使用不同的分类技术来开发用于故障预测的预测模型。统计模型的性能被证明是由训练和测试数据集的影响。包围法学习算法已被广泛使用,因为它结合了其组成模型对数据集的能力,从而与单个模型相比具有潜在的更高性能(提高了泛化能力)。在本文提出的研究中,三种不同的集成方法已被应用到开发一个模型预测故障倾向。故障预测模型的有效性和有用性还取决于被视为模型输入的源代码度量。在本文中,我们提出了一个框架来验证源代码的度量,并选择正确的一组度量的目标,以提高故障预测模型的性能。故障预测模型,然后使用成本评估框架进行验证。我们在45个开源项目数据集上进行了一系列实验。实验的主要结论是:(1)多数投票增强(MVE)方法的性能优于其他方法;(2)使用验证框架作为输入的源代码度量的选择集与所有其他度量相比取得了更好的结果;(3)故障预测方法对于故障类百分比低于阈值的软件项目是有效的(低-54.82%,中-41.04%,高- 28.10%)
2017-04-14 cs.SE
The Search for the Laws of Automatic Random Testing
我们能估计出软件系统中剩余的错误数量吗?一个可靠的评估技术对项目经理和客户都是非常有用的。作为软件工程的一般规律,它也具有理论意义。我们调查可能的答案的自动化随机测试的背景下,一种方法,越来越多地被接受为一种有效的方法来发现故障。我们的实验结果,来自各种数学函数的最佳拟合分析,基于大量的自动化测试的图书馆代码配备了自动化的神谕的形式的合同,建议一个多对数定律。虽然在不同的代码基础和测试技术上仍然需要进一步确认,但我们认为,了解测试的规律可能会为估计可检测故障的数量和比较不同的项目和实践带来显着的好处。
2012-11-14 cs.SE
Metamorphic Relation Prioritization for Effective Regression Testing
Montana State University(蒙大拿州立大学);University of North Florida(北佛罗里达大学)
变形测试(MT)被广泛用于测试面临预言机问题的程序。它使用一组变形关系(MR),这是多个输入之间的关系,并相应的输出,以确定是否被测程序是错误的。典型地,MR在它们检测被测程序中的故障的能力方面变化,并且一些MR倾向于检测相同的故障集合。在本文中,我们提出了优先考虑MR的方法,以提高回归测试的MT的效率和有效性。我们提出了两种MR优先级排序方法:(1)基于故障和(2)基于覆盖率。为了评估这些MR优先化方法,我们在三个复杂的开源软件系统上进行实验。我们的研究结果表明,我们开发的MR优先级的方法显着优于目前的做法,执行的源和后续测试用例的MR在一个特设的方式在故障检测的有效性。此外,基于故障的MR优先化导致减少需要执行的源和后续测试用例的数量,以及减少检测故障所花费的平均时间,这将导致在测试过程期间节省时间和成本。
2021-09-20 cs.LG cs.SE
Boundary Value Test Input Generation Using Prompt Engineering with LLMs: Fault Detection and Coverage Analysis
本文提出框架,通过提示工程评估大语言模型生成边界值测试输入的有效性,比较故障检测率与覆盖率,揭示其优势与挑战。
2025-01-24 cs.SE
MOTIF: A tool for Mutation Testing with Fuzzing
MOTIF利用灰盒模糊测试生成C语言单元测试用例,克服了符号执行的局限性,能有效检测变异体中的注入故障,在安全关键CPS软件测试中表现更优。
2024-06-04 cs.SE
Combining LLM and Dynamic Analysis for Universal Testing of Static Application Security Testing Tools
The University of Hong Kong(香港大学);the Hong Kong Polytechnic University(香港理工大学);Concordia University(康考迪亚大学)
本文提出LLM4SAST框架,结合LLM与动态分析测试SAST工具,可高效检测SAST工具故障,减少误报,检测故障数量为现有方法3.4倍,仅需39.8%的变体,66个故障中32个获开发者确认修复。
2026-10-16 cs.CR cs.SE
Test Case Generation using Mutation Operators and Fault Classification
软件测试是软件开发过程的重要阶段。但是,软件开发人员很容易错过这个阶段,因为他们完成项目的时间有限。因为,软件开发人员在接近交付时间时完成了他们的软件;他们没有足够的时间通过创建有效的测试用例来测试他们的程序。.软件测试的主要困难之一是生成满足给定充分性准则的测试用例。此外,在最后的高峰时间,手工创建测试用例对于软件开发人员来说是一项繁琐的工作。一种新的生成测试用例的方法可以帮助软件开发人员在软件开发的早期阶段(编码之前)从软件规格说明中创建测试用例,以及从软件开发之后(编码之后)的程序执行跟踪中创建测试用例。启发式技术可以用于创建高质量的测试用例。变异测试是一种对软件单元进行测试的技术,对于提高测试质量、保证软件的高可靠性有着巨大的潜力。本文提出了一种基于变异测试的测试用例生成技术,从程序执行轨迹中生成测试用例,使测试用例可以在编码后生成。本文详细介绍了变异测试生成测试用例的实现方法。该算法已被证明是一个例子。
2010-02-10 cs.SE
Feedback-based, Automated Failure Testing of Microservice-based Applications
现代分布式应用程序正在向微服务架构发展,其中每个服务都是独立开发和管理的,并且不断提供新功能和更新。微服务架构的一个指导原则是,它必须被构建为预测和减轻各种硬件和软件故障。为了测试微服务的故障处理能力,本文提出了一种基于反馈的自动化故障测试技术,用于基于微服务的应用程序,旨在快速暴露故障处理逻辑中的缺陷。在一个中等规模的微服务基准测试系统上的初步实验结果表明了该方法的有效性。
2019-08-20 cs.SE
How effective are traditional test criteria at detecting bugs in large language models generated code?
SnT, University of Luxembourg(卢森堡大学 SnT);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过实证评估5个LLM和4个基准中的6000多个故障实例,发现传统测试准则对LLM生成代码的缺陷检测率极低,变异测试优势有限,需手动推理断言。
2026-09-10 cs.SE
Assessing Test Case Prioritization on Real Faults and Mutants
测试用例优先级(TCP)是回归测试的一个重要组成部分,它允许更早地检测故障或帮助减少测试时间和成本。虽然研究文献中存在几种TCP方法,但越来越多的研究已经针对称为突变体的合成软件缺陷对其进行了评估。因此,目前尚不清楚在何种程度上突变体上的TCP性能将代表在真实故障上实现的性能。为了回答这个基本问题,我们进行了第一次实证研究,比较TCP技术应用于现实世界和突变故障的性能。我们的研究背景包括八种经过充分研究的TCP方法,35k+突变故障和Defects4J数据集中五个Java系统的357个真实故障。我们的研究结果表明,所研究的TCP技术突变体的相对性能可能不会强烈相关的性能上真正的故障,这取决于属性的主题程序。这表明,在某些情况下,在一组突变体上表现最好的技术在实际应用于实际故障时可能不是最好的技术。我们还说明,这些相关性不同的突变体所产生的不同运营商,这取决于所选择的运营商是否反映一个主题程序的典型故障。这突出了开发针对特定程序域的变异算子的重要性,特别是对于TCP。
2018-09-18 cs.SE
Quantum Circuit Mutants: Empirical Analysis and Recommendations
针对量子软件测试缺乏系统性基准的问题,本研究通过变异382个真实量子电路生成超70万故障基准进行大规模实证分析,揭示电路与算法等特征对变异体检测的影响,并提供变异体推荐工具与可用故障基准。
2025-05-02 cs.SE
Model Driven Mutation Applied to Adaptative Systems Testing
动态自适应系统根据其周围环境的变化并根据自适应逻辑来修改其属性和结构。关键系统越来越多地包含动态适应能力,例如救灾和空间探索系统。在本文中,我们专注于自适应逻辑的突变测试。我们提出了一个故障模型的适应逻辑,分为环境的完整性和适应正确性的故障。由于有几种自适应逻辑语言依赖于相同的底层概念,故障模型表示独立于特定的自适应语言。利用模型驱动工程技术,我们表达这些共同的概念在一个元模型,并定义在这个级别上的变异算子的操作语义。突变被应用于模型元素和模型转换被用来传播这些变化到一个给定的适应政策,在所选择的形式主义。在自适应Web服务器上的初步结果突出了自适应系统杀死突变体的困难,因此难以生成有效的测试。
2012-05-25 cs.SE
High-Dimensional Fault Tolerance Testing of Highly Automated Vehicles Based on Low-Rank Models
Tongji University(同济大学)
本文针对高度自动驾驶车辆容错测试中测试空间高维、关键故障罕见及评估成本高的问题,提出基于低秩平滑正则化矩阵分解(SRMF)的故障注入测试加速方法,在跟车和切入场景中实现了高精度关键故障预测与显著加速。
2024-07-28 cs.AI cs.LG cs.RO
Learning-Based Testing for Deep Learning: Enhancing Model Robustness with Adversarial Input Prioritization
University of Tennessee(田纳西大学)
本文提出融合假设检验与变异测试的LBT方法,对对抗输入进行优先级排序,以更快揭示DNN故障并指导重训练、增强鲁棒性。
2025-09-28 cs.LG cs.SE
Automatic Property-based Testing of GraphQL APIs
近年来,GraphQL已成为公开Web API的流行方式。随着GraphQL API在工业中的应用越来越多,它的质量也必须像软件系统的任何部分一样进行评估,并且最好是以自动化的方式进行评估。然而,目前缺乏自动生成测试以执行GraphQL API的方法。在本文中,我们提出了一种自动生成GraphQL查询来测试GraphQL API的方法。这是使用基于属性的方法来实现的,该方法基于被测系统的GraphQL模式为查询创建生成器。我们对一个真实世界的软件系统的评估表明,这种方法是有效的,在寻找真正的错误,和效率,因为一个完整的模式可以在几秒钟内覆盖。此外,我们评估的故障发现能力的方法时,播种已知的故障。73%的种子错误被发现,在特定于领域的行为方面还有改进的空间,这是自动测试生成中常见的Oracle挑战。
2020-12-14 cs.SE
Generating Realistic, Diverse, and Fault-Revealing Inputs with Latent Space Interpolation for Testing Deep Neural Networks
The University of Queensland(昆士兰大学);University of Virginia(弗吉尼亚大学)
针对现有DNN测试方法生成的对抗样本真实性不足、故障暴露概率低的问题,提出黑盒测试方法ARGUS,通过潜在空间插值等技术生成优质对抗样本,性能优于基线方法且可用于提升模型分类准确率。
2025-03-22 cs.LG cs.SE
When Knowledge Changes: Metamorphic Testing of RAG Systems with Mutations
Università della Svizzera italiana(瑞士意大利语大学)
针对现有RAG系统评估方法无法检测语料库演变带来的故障问题,提出含11个变异算子的体态测试框架,实验显示其F1分数远优于RAGAS,可有效评估RAG系统在语料库变化下的一致性。
2026-07-30 cs.SE
New Fault Domains for Conformance Testing of Finite State Machines
针对传统FSM一致性测试m-完全测试用例集仅适用于m-n较小场景的局限,提出基于状态可达假设的新型大故障域,证明Wp、HSI方法满足其k-A完全性,解决了Hennie提出的长期挑战。
2025-06-11 cs.FL cs.SE
Mutation Testing of Deep Reinforcement Learning Based on Real Faults
Polytechnique Montréal(蒙特利尔工程学院)
测试深度学习(DL)系统是一项复杂的任务,因为它们的行为与传统系统不同,特别是因为它们的随机性。尽管如此,能够使现有的测试技术(如突变测试(MT))适应DL设置将大大提高其潜在的可验证性。虽然已经做出了一些努力来将MT扩展到监督学习范式,但很少有工作将其扩展到强化学习(RL),RL也是DL生态系统的重要组成部分,但其行为与SL非常不同。本文建立在现有的MT方法,以提出一个框架,RLMutation,MT应用于RL。值得注意的是,我们使用现有的故障分类法来构建一组与RL相关的变异算子,并使用一个简单的启发式算法来生成RL的测试用例。这使我们能够比较基于现有方法的不同突变杀死定义,以及分析所获得的突变算子及其称为高阶突变(HOM)的潜在组合的行为。我们发现,突变杀死定义的设计选择可以影响是否突变被杀死以及生成的测试用例。此外,我们发现,即使有一个相对较少的测试用例和运营商,我们管理生成HOM有趣的属性,可以提高RL系统的测试能力。
2023-01-13 cs.LG cs.SE
QMutBench: A Dataset of Quantum Circuit Mutants
Simula Research Laboratory(Simula研究实验室);Oslo Metropolitan University(奥斯陆城市大学);Trinity College Dublin, School of Computer Science and Statistics(都柏林三一学院计算机科学与统计学院);National Institute of Informatics(日本国立情报学研究所)
本文提出QMutBench数据集,包含70万+量子电路变体,用于评估量子软件测试技术的有效性及开发新测试方法。
2026-04-17 cs.DB cs.SE
Spreadsheet Debugging
本文针对电子表格程序的质量问题,在基于区间的测试方法基础上提出一种故障追踪技术,利用数据流信息和单元格标记定位最具影响力的故障单元格。
2008-01-28 cs.PL cs.SE
Testing the Fault-Tolerance of Multi-Sensor Fusion Perception in Autonomous Driving Systems
Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Nanyang Technological University(南洋理工大学);University of CAS, Nanjing(中国科学院大学南京分校);Nanjing Institute of Software Technology, University of CAS, Nanjing(中国科学院南京软件技术研究所);Continental-NTU Corporate Lab(Continental-NTU企业实验室);University of Science and Technology of China(中国科学技术大学)
针对现有多传感器融合(MSF)测试缺乏传感器故障对自动驾驶系统(ADSs)系统级行为影响研究的问题,首次探索基于MSF感知的ADS容错性,构建故障模型并设计反馈引导差分模糊测试器,在百度Apollo上验证了方法有效性并通过物理实验体现发现意义。
2025-04-18 cs.RO cs.SE
PyResBugs: A Dataset of Residual Python Bugs for Natural Language-Driven Fault Injection
University of Naples Federico II(那不勒斯费德里科二世大学)
本文提出 PyResBugs 数据集,收集 Python 框架中传统测试未发现但生产环境暴露的残余缺陷,并配以自然语言描述,用于支持自然语言驱动的真实故障注入和 AI 自动化测试研究。
2025-05-09 cs.AI cs.SE
A Two-phase Metamorphic Approach for Testing Industrial Control Systems
我们详细介绍了一种用于测试工业控制系统的变形方法。所提出的方法包括两个阶段:一个探索阶段,我们了解故障模式的测试下的系统和开发阶段,观察到的故障模式用于有针对性的测试。我们的方法提取的变形关系和输入空间的系统从它的要求。用于测试的种子输入从系统的执行日志中提取,并用于自动生成源测试和后续测试。变形的输入基于种子输入来构造,并使用一组约束来细化。以位置控制系统为例,结果表明该方法能有效地发现故障,提高了系统的自动化水平。
2022-08-19 cs.SE cs.SY eess.SY
Feature Map Testing for Deep Neural Networks
The University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对现有深度学习测试指标侧重神经元、无法检测致错特征图的问题,本文提出从特征图层面测试DNN的DeepFeature方法,实验证明其在脆弱特征图检测、故障检测率和模糊测试效率上均优于现有技术。
2023-07-21 cs.AI cs.SE
SETA: Statistical Fault Attribution for Compound AI Systems
International Institute of Information Technology Bangalore(国际信息科技学院班加罗尔)
SETA提出了一种模块化鲁棒性测试框架,用于分析复合人工智能系统的故障归因,通过组件级分析和错误传播推理,实现细粒度的鲁棒性评估。
2026-01-27 cs.AI cs.LG cs.SE
Efficient Fairness Testing in Large Language Models: Prioritizing Metamorphic Relations for Bias Detection
Computer Science Department East Carolina University(东卡罗来纳大学计算机科学系);Computer Science Department University of North Florida(北佛罗里达大学计算机科学系)
本文提出基于句子多样性的蜕变关系优先排序方法,以提升大型语言模型公平性测试效率,实验表明其显著提高故障检测率并降低计算成本。
2025-05-09 cs.AI cs.CL cs.SE
Exposing Previously Undetectable Faults in Deep Neural Networks
University of Oxford(牛津大学);Amazon, Inc.(亚马逊公司)
用于测试DNN的现有方法通过将原始特征(例如图像像素值)约束在已知期望DNN输出的数据集示例的小距离内来解决oracle问题。但这限制了这些方法能够检测到的故障类型。在本文中,我们介绍了一种新的DNN测试方法,该方法能够发现DNN中其他方法无法找到的故障。关键在于,通过利用生成式机器学习,我们可以生成新的测试输入,这些输入在其高级特征(对于图像,这些特征包括对象形状,位置,纹理和颜色)方面有所不同。我们证明了我们的方法能够检测到故意注入的故障以及最先进的DNN中的新故障,并且在这两种情况下,现有方法都无法找到这些故障。
2021-06-01 cs.CV cs.LG cs.SE
Faster and Better Quantum Software Testing through Specification Reduction and Projective Measurements
针对量子软件测试中样本空间指数增长及相位翻转等故障难检测的问题,提出规约约简与混合Hadamard基投影测量方法,在143个量子程序上显著缩短测试时间并提高变异得分。
2024-10-28 cs.SE quant-ph