Fault Injection in OpenAPI Specifications for Evaluating Black-Box Testing Effectiveness
University of Helsinki(赫尔辛基大学)
研究针对OpenAPI规范常存在的问题,引入故障分类法,在不同严重级别注入故障,用三种测试工具在两个微服务基准上评估,通过多种指标衡量故障影响,揭示规范故障对黑盒测试有效性的作用及相关评估的不足。
2026-07-15 cs.SE
Themis: Automatic and Efficient Deep Learning System Testing with Strong Fault Detection Capability
针对深度学习系统测试需手动指定神经元激活值、故障检测率低的问题,提出自动测试系统Themis,通过自动挖掘扰动下神经元输出变化显著的致错数据流实现高覆盖检测,实验证明其故障检出量和重训练后的准确率提升均大幅优于现有方法。
2024-08-16 cs.SE
Non Homogeneous Poisson Process Model based Optimal Modular Software Testing using Fault Tolerance
在软件开发过程中,我们会遇到各种模块。提出了软件不同模块优先级的思想,使重要模块优先测试。这种方法是可取的,因为由于时间和成本的限制,不可能对每个模块进行回归测试。本文讨论了在非齐次Poisson过程的基础上,对软件的几个模块进行优先级排序所需的参数,给出了测试时间和成本最优的度量。
2009-05-10 cs.SE
Hybrid Fault-Driven Mutation Testing for Python
Simon Fraser University(西蒙菲莎大学);University of Ottawa(渥太华大学)
本文提出了一种基于静态和动态分析混合技术的Python变异测试方法,通过七种新的变异算子生成补充现有工具的变异体,提高测试覆盖率和发现缺陷的能力。
2026-07-22 cs.SE
Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity
针对机器学习程序判定器缺失及现有蜕变关系优先排序成本高或不准确的问题,提出一种基于语句中心性并利用执行剖面多样性的MR优先排序方法,显著提升了故障检测有效性与测试效率。
2024-11-14 cs.SE
Can My Microservice Tolerate an Unreliable Database? Resilience Testing with Fault Injection and Visualization
本文扩展 Filibuster 以在数据库客户端注入故障,支持多种 SQL/NoSQL 系统,并通过 IntelliJ 插件可视化故障类型、位置与影响,从而补足微服务数据库韧性测试工具。
2024-04-03 cs.SE
Can Pairwise Testing Perform Comparably to Manually Handcrafted Testing Carried Out by Industrial Engineers?
测试是工业软件工程中的一项重要活动。对于这样的软件,测试通常是手动执行的手工制作测试套件的基础上特定的设计技术和特定领域的经验。为了支持开发人员进行测试,已经提出了不同的方法来生成良好的测试套件。在过去的几年中,组合测试已经被探索,其目标是基于一定的策略自动组合软件的输入值。成对测试是一种组合技术,用于通过改变系统的每对输入参数的值直到创建这些参数的所有可能组合来生成测试套件。有一些证据表明,这类技术是有效的,相对较好地检测软件故障。不幸的是,几乎没有实验证据的比较,这些组合测试技术,被认为是严格的手工制作的测试。在这项研究中,我们比较成对的测试套件与手动创建的测试套件的工程师为45个工业程序。测试套件进行了评价的故障检测,代码覆盖率和测试数量。这项研究的结果表明,成对测试,而实现高代码覆盖率和故障检测的大多数程序是有用的,几乎是有效的手动测试在故障检测方面。结果还表明,在64%的程序中,成对测试在故障检测方面与手动测试一样好。
2017-06-06 cs.SE
muPRL: A Mutation Testing Pipeline for Deep Reinforcement Learning based on Real Faults
本文提出了muPRL,一个基于真实故障的深度强化学习变异测试流水线,通过代码库挖掘构建真实RL故障分类体系并推导出变异算子,实验证明其能有效区分强弱测试生成器,为开发者提供测试场景充分性的反馈。
2024-08-27 cs.SE
Software-Based Fault Recovery via Adaptive Diversity for COTS Multi-Core Processors
嵌入式系统对高性能和高性价比的要求越来越高,这导致了使用商用现成硬件的趋势。然而,由于其高度集成的设计,它们变得越来越容易受到硬件错误(例如,由辐射引起的软错误或磨损效应引起的)的影响。由于这种故障无法完全预防,系统必须应对其影响。与此同时,嵌入式系统中也出现了多核处理器的趋势。文献中已经提出了通过使用多核来建立冗余来实现容错的方法。然而,通常仅考虑同构冗余技术来容忍软错误。然而,在永久性硬件故障的情况下,缺乏用于恢复系统的适当反应机制。在这里,我们提出了一个具有成本效益的自动引入多样性的执行软件副本,以提高多核冗余技术的基本思想。最近,这些自动化的软件多样性技术在安全领域引起了人们的注意。我们建议使用这些技术从永久性硬件故障中恢复。这是通过以减轻永久性故障的方式调整软件执行来实现的。
2015-11-21 cs.ET cs.SE
Improving the Testability of Object-oriented Software during Testing and Debugging Processes
可测试性是在程序中存在错误的情况下,测试是否会检测到错误的概率。如何有效地发现故障取决于软件的可测试性。许多研究人员提出了定性和定量的技术来提高和衡量软件的可测试性。在文献中,大量的可靠性增长模型已被用于评估和衡量软件在测试和运行阶段的定量质量评估。了解软件故障分布及其复杂性可以提高软件的可测试性。通过了解故障分布和故障复杂度,可以使测试工作量的分配变得容易,这将简化从软件中发现故障的过程。因此,软件的可测试性将得到改善。文中给出了该模型的参数以及不同复杂度的故障在软件中所占的比例,并利用在开源环境下开发的两个面向对象软件MySQL for python和Squirrel SQL Client的故障数据进行了估计
2013-08-15 cs.SE
Empirically Evaluating the Use of Bytecode for Diversity-Based Test Case Prioritisation
针对回归测试资源消耗大的问题,本文首次提出将字节码作为测试用例优先级排序(TCP)中多样性的基础,相比传统基于文本的方法,其故障检测率提高2.3-7.8%,速度提升显著,且过滤特定指令可进一步优化效率。
2025-04-17 cs.SE
Towards the Systematic Testing of Virtual Reality Programs (extended version)
软件测试是确保软件符合其规范的关键活动。然而,目前的软件测试活动往往是不完全有效的,当应用在特定的软件领域在虚拟现实(VR),具有几种新的类型的功能,如图像,声音,视频,和差异化的互动,这可能成为新的故障的来源。本文概述了可能对验证、确认和测试(VV&T)产生影响的主要VR特征。此外,它还分析了一些最成功的VR开源项目,以了解缺乏软件测试活动的危险。我们比较了开源VR项目中软件测试实践的现状,并评估了缺乏测试如何损害产品的开发。我们评估了代码气味的发生率,并验证了这些项目如何表现出故障的倾向。结果表明,软件测试的实践在虚拟现实应用程序的开发中还没有得到广泛的应用。研究还发现,VR项目中代码气味的发生率很高。关于故障倾向,结果显示,在VR项目中分析的类中,约有12.2%是故障倾向。关于软件测试技术在VR项目中的应用,据观察,只有少数项目关注为VR项目开发测试用例,可能是因为我们仍然没有必要的工具来帮助这一方向。关于气味,我们得出的结论是,在VR项目中有很高的发生率,特别是在实施气味方面,这种高发生率可能会对故障产生重大影响。最后,与故障倾向相关的研究指出,缺乏软件测试活动是项目成功的一个重大风险。
2020-09-18 cs.SE
IBIR: Bug Report driven Fault Injection
软件工程和软件测试的许多研究依赖于基于故障注入的实验研究。然而,故障注入并不经常与模拟真实世界的软件故障相关,因为它“盲目地”注入大量的故障。它仍然确实具有挑战性,注入少数但现实的故障,目标是一个特定的功能,在一个程序。在这项工作中,我们引入IBIR,故障注入工具,通过探索与用户报告的故障相关的变化模式来解决这一挑战。为了注入真实的错误,我们通过重定向错误报告驱动的自动程序修复系统来创建突变体,即,反转其代码转换模板。IBIR在实践中更有吸引力,因为它既不需要深入了解代码也不需要深入了解测试,而只需要了解程序的相关错误报告。因此,我们的方法将故障注入的重点放在功能的缺陷报告。我们通过考虑Defects4J数据集来评估IBIR。实验结果表明,我们的方法优于传统的突变测试进行的故障注入与原始错误的语义相似性,当应用在系统或类级别的粒度,并提供更好的,统计上显着的,测试有效性(故障检测)的估计。此外,当注入100个错误时,IBIR在36%的情况下注入与真实错误耦合的错误,而突变测试中的突变注入不到1%。总的来说,IBIR的目标是真正的功能,并注入现实和多样化的故障。
2020-12-11 cs.SE
Fault Detection Effectiveness of Metamorphic Relations Developed for Testing Supervised Classifiers
在机器学习中,监督分类器用于通过使用标记数据推断预测函数来获得对未标记数据的预测。监督分类器广泛应用于计算生物学、计算物理学和医疗保健等领域,以做出关键决策。然而,由于期望的答案是未知的,因此通常很难测试监督分类器。这通常被称为\emph{oracle problem},变形测试(MT)已被用于测试这样的程序。在机器翻译中,变形关系(MR)是从被测软件(SUT)的内在特征发展而来的。这些MR用于生成测试数据,并在不存在测试预言的情况下验证测试结果的正确性。MT的有效性在很大程度上取决于用于测试的MR。在本文中,我们已经进行了广泛的实证研究,以评估故障检测的有效性MR已被用于多个以前的研究,以测试监督分类。我们的研究共使用了709个可达突变体产生的多个突变引擎,并使用具有不同特征的数据集来测试SUT。我们的研究结果表明,只有14.8%的这些突变体被检测到使用MR和故障检测的有效性,这些MR不规模与突变体的数量增加时,在以前的研究中报道的相比。
2019-04-15 cs.SE
Constrained Detecting Arrays: Mathematical Structures for Fault Identification in Combinatorial Interaction Testing
检测阵列是一种数学结构,其目的是在组合交互测试中识别故障。然而,它们不能直接应用于在测试参数之间具有约束的系统。这样的约束在现实世界的系统中是普遍存在的。目的:本文提出了约束检测阵列(CDA),检测阵列的扩展,可用于系统的约束。方法:本文通过严格的论证来考察CDA的性质和能力。本文还提出了两种构造CDA的算法:一种是以生成最小CDA为目标的算法,另一种是以快速生成CDA为目标的启发式算法。通过实验使用基准数据集的算法进行评估。结果如下:实验结果表明,第一种算法可以在足够长的生成时间内生成最小的CDA,第二种算法可以在合理的时间内生成最小或接近最小的CDA。结论:CDAs增强了检测阵列在有约束系统中的应用。这两种算法在数组大小和生成时间上具有不同的优势
2021-10-13 cs.SE
Effortless Fault Localisation: Conformance Testing of Real-Time Systems in Ecdar
实时的【形】系统的模型检验已经发展了很多年。最近,使用定时I/O自动机的模型检查器Ecdar被用于执行组合验证。然而,为了将实时的【形】系统的模型检验完全集成到工业开发中,我们需要一种有效且可靠的方法来测试这样的系统是否符合其相应的模型。因此,我们提出了一个扩展的Ecdar集成到一个新的IDE,现在功能建模,验证和测试的一致性测试。新的工具使用基于模型的突变测试,只需要模型和测试中的系统,定位故障,并证明某些类型的故障的存在。它支持使用实时的【形】或模拟时间进行测试。它将测试用例生成和测试执行并行化,以提供显著的加速。我们还引入了新的变异算子,提高了检测和定位故障的能力。最后,我们进行了一个案例研究与140故障系统,其中Ecdar检测所有故障。
2018-09-10 cs.LO cs.SE
Does mutation testing improve testing practices?
已经定义了测试质量的各种代理度量,以便在编写测试时指导开发人员。代码覆盖率在实践中特别好地建立起来,尽管覆盖率如何与测试质量相关的问题是一个正在进行的辩论。突变测试提供了一个有希望的替代方案:人工缺陷可以识别测试套件中的漏洞,从而为额外的测试提供具体的建议。尽管突变检测有明显的优势,但在实践中还没有很好地建立起来。直到最近,突变测试工具和技术还不能扩展到复杂的系统。虽然他们现在做规模,剩下的障碍是缺乏证据表明,编写测试的突变体实际上提高测试质量。在本文中,我们的目标是填补这一空白:通过分析近1500万个突变体的大型数据集,我们研究了这些突变体如何随着时间的推移影响开发人员,以及这些突变体如何与真正的故障相关。我们的分析表明,使用突变测试的开发人员编写更多的测试,并积极改善他们的测试套件与高质量的测试,使更少的突变。通过分析一个数据集的过去修复真正的高优先级的故障,我们的分析进一步提供证据,突变体确实与真正的故障。换句话说,如果突变测试被用于引入错误的更改,它将报告一个可以防止错误的活突变体。
2021-03-12 cs.SE
Classifying and Qualifying GUI Defects
图形用户界面(GUI)是软件系统的组成部分,需要用户进行交互。在过去的十年中,软件测试人员特别关注GUI测试,并设计了有效发现几种GUI错误的技术。然而,在GUI中引入新类型的交互(例如,直接操作)呈现了当前测试技术没有针对的新类型的错误。我们相信,为了推进GUI测试,社区需要一个全面的、高层次的GUI故障模型,它包含了所有类型的交互。本文的主要工作包括以下四个方面:1)建立了GUI故障模型,对GUI故障进行识别和分类。2)一个实证分析,用于评估所提出的故障模型对实际GUI中发现的故障的相关性。3)针对这些故障,对两种GUI测试工具(即GUITAR和Jubula)进行了实证评估。4)我们根据故障模型开发的GUI变种人。这些突变体是免费提供的,并且可以被开发人员重用,用于对他们的GUI测试工具进行基准测试。
2017-03-28 cs.SE
On the Risks of using LLM-Generated Tests for Regression Testing
SnT, University of Luxembourg(卢森堡大学科学与技术研究中心)
该研究针对145个开源项目拉取请求,发现8%-17%的LLM生成回归测试为漏洞强化测试,未经人工验证会引发新型技术债务。
2026-10-09 cs.SE
Searching for Multi-Fault Programs in Defects4J
Defects4J自引入以来已经实现了许多软件测试和调试研究工作。其贡献的很大一部分,以及由此产生的流行程度,在于基于仔细的手动分析,明确分离和提炼每个单独测试失败的根本原因,这反过来又使研究人员能够轻松地孤立地研究单个故障。然而,在实际的调试场景中,多个故障可能共存并共同影响测试结果。自动调试技术的研究,这些情况下,如故障集群或故障定位多个故障,将显着受益于一个可靠的基准多个共存的故障。我们搜索包含多个故障的Defects4J主题的版本,通过迭代地移植故障揭示测试用例跨越Defects4J版本。在326个研究版本的Defects4J主题,我们报告说,超过95%(311个版本)实际上包含从两个到24个故障。我们希望扩展后的多故障Defects4J可以为将来多故障程序的测试和调试技术的研究提供一个平台。
2021-08-10 cs.SE
The Multiple Facets of Software Diversity: Recent Developments in Year 2000 and Beyond
在20世纪70年代中期,早期的软件多样性实验研究了N版本编程和恢复块,以提高嵌入式系统的可靠性。40年后,关于软件多样性的文献在多个方向上扩展:目标(容错、安全、软件工程);手段(管理或自动化多样性)和分析研究(多样性及其影响的量化)。我们的论文有助于软件多样性领域的第一篇论文,采用了该领域的包容性视野,重点是该领域的最新进展。该调查包括关于容错设计和数据多样性的经典工作,以及研究不同系统级别随机化的网络安全文献。它扩大了多样性的标准范围,包括对自然多样性的研究和利用以及对不同软件产品的管理。我们的调查包括最近的作品,重点是2000年至今。目标受众是调查领域之一的研究人员和从业人员,他们错过了软件多样性的大局。集合这个迷人主题的多个方面,为该领域提供了新的视角。
2014-09-25 cs.SE
An Empirical Study on Failed Error Propagation in Java Programs with Real Faults
在测试过程中,开发人员可以在方法的外部或内部放置Oracle。给定错误的执行状态,即,一个与预期的错误不同的错误,如果它被放置在不能访问不正确的程序状态或程序状态不再被破坏的程序点处,则Oracle可能无法暴露该错误。在这种情况下,oracle会受到失败的错误传播的影响。我们进行了一项实证研究,以衡量失败的错误传播缺陷4J,参考基准的Java程序与真正的故障,考虑所有6个项目(386个真正的错误和459个固定的方法)。我们的研究结果表明,失败的错误传播的流行是可以忽略不计的测试时,在单元级。然而,当提供系统级输入时,失败的错误传播的发生率大幅增加。这表明,方法后置条件仅根据外部可观察状态/数据进行预测就足够了,并且在系统级测试时应检查中间步骤。
2020-11-21 cs.SE
Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing
自动化测试生成有助于降低软件测试的成本。然而,为这些自动生成的测试输入开发有效的测试预言机是一项具有挑战性的任务。因此,大多数自动化测试生成工具使用的是一些琐碎的预言机,这些预言机降低了这些自动生成的测试用例的故障检测效率。在这项工作中,我们提供了一个实证研究的结果表明,利用变形关系可以提高自动生成的测试用例的故障检测效率。
2020-04-18 cs.SE
Enabling Mutation Testing for Android Apps
变异测试已被广泛用于评估测试套件的故障检测有效性,以及指导测试用例生成或优先级排序。经验研究表明,虽然突变体通常代表真实故障,但突变测试的有效应用需要为程序设计语言设计的“传统”运算符用特定于应用领域和/或技术的运算符来扩充。本文提出了MDroid+,一个有效的Android应用程序的突变测试框架。首先,我们通过手动分析来自不同来源的2,023个软件工件(例如,错误报告、提交)。然后,我们确定了一组38个变异算子,并实现了一个基础设施,用其中的35个算子在Android应用程序中自动播种变异。的分类和建议的运营商进行了评估方面的死产/平凡的突变体产生和他们的能力,代表真正的故障在Android应用程序中,相比其他众所周知的突变工具。
2017-08-01 cs.SE
Are We Testing the Wrong Quantum Bugs? A Study of Fault Representation Gaps in Quantum Software Testing
Tulane University(杜兰大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of California, Riverside(加州大学河滨分校)
本研究对比量子突变测试工具、基准漏洞与真实量子软件漏洞,发现86.3%真实漏洞未被覆盖,指出需关注编译器等组件的故障测试,为构建更贴合实际的量子软件测试基准提供实证依据。
2026-10-19 cs.PL cs.SE
Metamorphic Relation Prioritization for Effective Regression Testing
Montana State University(蒙大拿州立大学);University of North Florida(北佛罗里达大学)
变形测试(MT)被广泛用于测试面临预言机问题的程序。它使用一组变形关系(MR),这是多个输入之间的关系,并相应的输出,以确定是否被测程序是错误的。典型地,MR在它们检测被测程序中的故障的能力方面变化,并且一些MR倾向于检测相同的故障集合。在本文中,我们提出了优先考虑MR的方法,以提高回归测试的MT的效率和有效性。我们提出了两种MR优先级排序方法:(1)基于故障和(2)基于覆盖率。为了评估这些MR优先化方法,我们在三个复杂的开源软件系统上进行实验。我们的研究结果表明,我们开发的MR优先级的方法显着优于目前的做法,执行的源和后续测试用例的MR在一个特设的方式在故障检测的有效性。此外,基于故障的MR优先化导致减少需要执行的源和后续测试用例的数量,以及减少检测故障所花费的平均时间,这将导致在测试过程期间节省时间和成本。
2021-09-20 cs.LG cs.SE
Using Source Code Metrics and Ensemble Methods for Fault Proneness Prediction
软件故障预测模型通过在测试阶段之前识别易故障类来优化测试资源分配。一些研究人员已经验证了使用不同的分类技术来开发用于故障预测的预测模型。统计模型的性能被证明是由训练和测试数据集的影响。包围法学习算法已被广泛使用,因为它结合了其组成模型对数据集的能力,从而与单个模型相比具有潜在的更高性能(提高了泛化能力)。在本文提出的研究中,三种不同的集成方法已被应用到开发一个模型预测故障倾向。故障预测模型的有效性和有用性还取决于被视为模型输入的源代码度量。在本文中,我们提出了一个框架来验证源代码的度量,并选择正确的一组度量的目标,以提高故障预测模型的性能。故障预测模型,然后使用成本评估框架进行验证。我们在45个开源项目数据集上进行了一系列实验。实验的主要结论是:(1)多数投票增强(MVE)方法的性能优于其他方法;(2)使用验证框架作为输入的源代码度量的选择集与所有其他度量相比取得了更好的结果;(3)故障预测方法对于故障类百分比低于阈值的软件项目是有效的(低-54.82%,中-41.04%,高- 28.10%)
2017-04-14 cs.SE
The Search for the Laws of Automatic Random Testing
我们能估计出软件系统中剩余的错误数量吗?一个可靠的评估技术对项目经理和客户都是非常有用的。作为软件工程的一般规律,它也具有理论意义。我们调查可能的答案的自动化随机测试的背景下,一种方法,越来越多地被接受为一种有效的方法来发现故障。我们的实验结果,来自各种数学函数的最佳拟合分析,基于大量的自动化测试的图书馆代码配备了自动化的神谕的形式的合同,建议一个多对数定律。虽然在不同的代码基础和测试技术上仍然需要进一步确认,但我们认为,了解测试的规律可能会为估计可检测故障的数量和比较不同的项目和实践带来显着的好处。
2012-11-14 cs.SE
Using mutation testing to measure behavioural test diversity
多样性被认为是提高测试有效性和效率的一个关键标准。它可以用于优化大型测试库,也可以用于可视化测试维护问题,并提高从业者对测试工件和过程中浪费的认识。尽管这些基于多样性的测试技术旨在测试系统(SUT)中的多样性行为,但多样性主要是在人工制品上和人工制品之间测量的(例如,输入、输出或测试脚本)。在这里,我们介绍了一个家庭的措施来捕捉行为多样性(B-div)的测试用例,通过比较他们的执行和失败的结果。使用故障信息捕捉SUT行为已被证明可以提高基于历史的测试优先级排序方法的有效性。然而,基于历史的技术需要可靠的测试执行日志,这往往是不可用的,或者很难获得,由于可重复测试,稀缺的测试执行,等等。为了普遍适用,我们建议使用突变测试,而不是通过运行测试用例集的各种突变版本的SUT来衡量行为的多样性。具体地说,我们提出了两个具体的B-div措施(基于准确性和马修的相关系数,分别),并将它们与基于人工制品的多样性(A-div)进行比较,以优先考虑6个不同的开源项目的测试套件。我们的研究结果表明,我们的b-div措施优于a-div和随机选择在所有的研究项目。改进是实质性的,平均检测到的故障百分比(APFD)的平均增长在19%到31%之间,这取决于优先级测试子集的大小。
2020-10-19 cs.SE
Boundary Value Test Input Generation Using Prompt Engineering with LLMs: Fault Detection and Coverage Analysis
本文提出框架,通过提示工程评估大语言模型生成边界值测试输入的有效性,比较故障检测率与覆盖率,揭示其优势与挑战。
2025-01-24 cs.SE
Combining LLM and Dynamic Analysis for Universal Testing of Static Application Security Testing Tools
The University of Hong Kong(香港大学);the Hong Kong Polytechnic University(香港理工大学);Concordia University(康考迪亚大学)
本文提出LLM4SAST框架,结合LLM与动态分析测试SAST工具,可高效检测SAST工具故障,减少误报,检测故障数量为现有方法3.4倍,仅需39.8%的变体,66个故障中32个获开发者确认修复。
2026-10-16 cs.CR cs.SE
A Survey of the Metrics, Uses, and Subjects of Diversity-Based Techniques in Software Testing
本文系统综述软件测试中基于多样性的技术(DBT),分析144篇论文的70种相似性指标、24类软件制品及11类测试问题,总结趋势、应用领域与工具,指出未来挑战。
2023-11-16 cs.SE
NovaQ: Improving Quantum Program Testing through Diversity-Guided Test Case Generation
针对量子程序可靠性保障需求,本文提出多样性引导测试框架NovaQ,结合分布式生成器与新颖性评估模块,实验显示其在多样性和bug检测上优于现有基线。
2025-09-05 cs.SE
MOTIF: A tool for Mutation Testing with Fuzzing
MOTIF利用灰盒模糊测试生成C语言单元测试用例,克服了符号执行的局限性,能有效检测变异体中的注入故障,在安全关键CPS软件测试中表现更优。
2024-06-04 cs.SE
Test Case Generation using Mutation Operators and Fault Classification
软件测试是软件开发过程的重要阶段。但是,软件开发人员很容易错过这个阶段,因为他们完成项目的时间有限。因为,软件开发人员在接近交付时间时完成了他们的软件;他们没有足够的时间通过创建有效的测试用例来测试他们的程序。.软件测试的主要困难之一是生成满足给定充分性准则的测试用例。此外,在最后的高峰时间,手工创建测试用例对于软件开发人员来说是一项繁琐的工作。一种新的生成测试用例的方法可以帮助软件开发人员在软件开发的早期阶段(编码之前)从软件规格说明中创建测试用例,以及从软件开发之后(编码之后)的程序执行跟踪中创建测试用例。启发式技术可以用于创建高质量的测试用例。变异测试是一种对软件单元进行测试的技术,对于提高测试质量、保证软件的高可靠性有着巨大的潜力。本文提出了一种基于变异测试的测试用例生成技术,从程序执行轨迹中生成测试用例,使测试用例可以在编码后生成。本文详细介绍了变异测试生成测试用例的实现方法。该算法已被证明是一个例子。
2010-02-10 cs.SE
Feedback-based, Automated Failure Testing of Microservice-based Applications
现代分布式应用程序正在向微服务架构发展,其中每个服务都是独立开发和管理的,并且不断提供新功能和更新。微服务架构的一个指导原则是,它必须被构建为预测和减轻各种硬件和软件故障。为了测试微服务的故障处理能力,本文提出了一种基于反馈的自动化故障测试技术,用于基于微服务的应用程序,旨在快速暴露故障处理逻辑中的缺陷。在一个中等规模的微服务基准测试系统上的初步实验结果表明了该方法的有效性。
2019-08-20 cs.SE
Rethinking Diversity in Deep Neural Network Testing
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Visa Research(维萨研究中心)
本文提出将深度神经网络测试从多样性导向转为定向测试,推导六种定向度量,并证明其在发现错误行为上始终优于多样性度量。
2024-02-26 cs.AI cs.SE
Automatic Map Generation for Autonomous Driving System Testing
高清(HD)地图在测试自动驾驶系统(ADS)时至关重要。高清地图基本上决定了测试场景的潜在多样性。然而,当前的HD地图遭受两个主要限制:在公开可用的HD地图中缺乏交叉点多样性和构建新的HD地图的成本消耗。因此,在本文中,我们提出,FEAT2MAP,自动生成简洁的高清地图,场景多样性的保证。FEAT2MAP侧重于路口,因为它们显著影响场景多样性,特别是在城市道路网络中。FEAT2MAP首先定义了一组特征来表征连接。然后,FEAT2MAP从输入HD地图或用户定义的要求列表中提取并采样具体的交叉点特征。每个交汇点要素都会生成一个交汇点。最后,FEAT2MAP通过在网格布局中连接交叉点来构建地图。为了证明FEAT2MAP的有效性,我们使用SVL和开源ADS Apollo的公共高清地图进行实验。结果表明,FEAT2MAP可以(1)生成新的地图,减少尺寸,同时保持场景多样性的代码覆盖率和运动状态的ADS测试,(2)生成新的地图,增加场景多样性的合并交叉功能从多个地图或用户输入。
2022-06-19 cs.SE
How effective are traditional test criteria at detecting bugs in large language models generated code?
SnT, University of Luxembourg(卢森堡大学 SnT);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过实证评估5个LLM和4个基准中的6000多个故障实例,发现传统测试准则对LLM生成代码的缺陷检测率极低,变异测试优势有限,需手动推理断言。
2026-09-10 cs.SE
High-Dimensional Fault Tolerance Testing of Highly Automated Vehicles Based on Low-Rank Models
Tongji University(同济大学)
本文针对高度自动驾驶车辆容错测试中测试空间高维、关键故障罕见及评估成本高的问题,提出基于低秩平滑正则化矩阵分解(SRMF)的故障注入测试加速方法,在跟车和切入场景中实现了高精度关键故障预测与显著加速。
2024-07-28 cs.AI cs.LG cs.RO
Learning-Based Testing for Deep Learning: Enhancing Model Robustness with Adversarial Input Prioritization
University of Tennessee(田纳西大学)
本文提出融合假设检验与变异测试的LBT方法,对对抗输入进行优先级排序,以更快揭示DNN故障并指导重训练、增强鲁棒性。
2025-09-28 cs.LG cs.SE
Generating Realistic, Diverse, and Fault-Revealing Inputs with Latent Space Interpolation for Testing Deep Neural Networks
The University of Queensland(昆士兰大学);University of Virginia(弗吉尼亚大学)
针对现有DNN测试方法生成的对抗样本真实性不足、故障暴露概率低的问题,提出黑盒测试方法ARGUS,通过潜在空间插值等技术生成优质对抗样本,性能优于基线方法且可用于提升模型分类准确率。
2025-03-22 cs.LG cs.SE
Model Driven Mutation Applied to Adaptative Systems Testing
动态自适应系统根据其周围环境的变化并根据自适应逻辑来修改其属性和结构。关键系统越来越多地包含动态适应能力,例如救灾和空间探索系统。在本文中,我们专注于自适应逻辑的突变测试。我们提出了一个故障模型的适应逻辑,分为环境的完整性和适应正确性的故障。由于有几种自适应逻辑语言依赖于相同的底层概念,故障模型表示独立于特定的自适应语言。利用模型驱动工程技术,我们表达这些共同的概念在一个元模型,并定义在这个级别上的变异算子的操作语义。突变被应用于模型元素和模型转换被用来传播这些变化到一个给定的适应政策,在所选择的形式主义。在自适应Web服务器上的初步结果突出了自适应系统杀死突变体的困难,因此难以生成有效的测试。
2012-05-25 cs.SE
Automatic Property-based Testing of GraphQL APIs
近年来,GraphQL已成为公开Web API的流行方式。随着GraphQL API在工业中的应用越来越多,它的质量也必须像软件系统的任何部分一样进行评估,并且最好是以自动化的方式进行评估。然而,目前缺乏自动生成测试以执行GraphQL API的方法。在本文中,我们提出了一种自动生成GraphQL查询来测试GraphQL API的方法。这是使用基于属性的方法来实现的,该方法基于被测系统的GraphQL模式为查询创建生成器。我们对一个真实世界的软件系统的评估表明,这种方法是有效的,在寻找真正的错误,和效率,因为一个完整的模式可以在几秒钟内覆盖。此外,我们评估的故障发现能力的方法时,播种已知的故障。73%的种子错误被发现,在特定于领域的行为方面还有改进的空间,这是自动测试生成中常见的Oracle挑战。
2020-12-14 cs.SE
When Knowledge Changes: Metamorphic Testing of RAG Systems with Mutations
Università della Svizzera italiana(瑞士意大利语大学)
针对现有RAG系统评估方法无法检测语料库演变带来的故障问题,提出含11个变异算子的体态测试框架,实验显示其F1分数远优于RAGAS,可有效评估RAG系统在语料库变化下的一致性。
2026-07-30 cs.SE
New Fault Domains for Conformance Testing of Finite State Machines
针对传统FSM一致性测试m-完全测试用例集仅适用于m-n较小场景的局限,提出基于状态可达假设的新型大故障域,证明Wp、HSI方法满足其k-A完全性,解决了Hennie提出的长期挑战。
2025-06-11 cs.FL cs.SE
Mutation Testing of Deep Reinforcement Learning Based on Real Faults
Polytechnique Montréal(蒙特利尔工程学院)
测试深度学习(DL)系统是一项复杂的任务,因为它们的行为与传统系统不同,特别是因为它们的随机性。尽管如此,能够使现有的测试技术(如突变测试(MT))适应DL设置将大大提高其潜在的可验证性。虽然已经做出了一些努力来将MT扩展到监督学习范式,但很少有工作将其扩展到强化学习(RL),RL也是DL生态系统的重要组成部分,但其行为与SL非常不同。本文建立在现有的MT方法,以提出一个框架,RLMutation,MT应用于RL。值得注意的是,我们使用现有的故障分类法来构建一组与RL相关的变异算子,并使用一个简单的启发式算法来生成RL的测试用例。这使我们能够比较基于现有方法的不同突变杀死定义,以及分析所获得的突变算子及其称为高阶突变(HOM)的潜在组合的行为。我们发现,突变杀死定义的设计选择可以影响是否突变被杀死以及生成的测试用例。此外,我们发现,即使有一个相对较少的测试用例和运营商,我们管理生成HOM有趣的属性,可以提高RL系统的测试能力。
2023-01-13 cs.LG cs.SE
QMutBench: A Dataset of Quantum Circuit Mutants
Simula Research Laboratory(Simula研究实验室);Oslo Metropolitan University(奥斯陆城市大学);Trinity College Dublin, School of Computer Science and Statistics(都柏林三一学院计算机科学与统计学院);National Institute of Informatics(日本国立情报学研究所)
本文提出QMutBench数据集,包含70万+量子电路变体,用于评估量子软件测试技术的有效性及开发新测试方法。
2026-04-17 cs.DB cs.SE
Round-Trip Mutation Testing: Translating Code to Natural Language Intent and back
University of Luxembourg(卢森堡大学);ENSI, University of Manouba(马努巴大学ENS学院)
提出往返变异测试,利用大语言模型在程序代码和意图间的生成能力,通过预测意图生成变异体,还可人工制造错误翻译产生变异体,评估显示其能产生多样变异体,检测传统方法未揭示的错误。
2026-07-07 cs.SE
LLMs-Powered Real-Time Fault Injection: An Approach Toward Intelligent Fault Test Cases Generation
Technische Universität Clausthal(Clausthal工业大学)
本文提出一种利用大语言模型生成实时故障测试用例的方法,通过分析功能安全需求提高测试效率和安全性。
2025-11-24 cs.SE
BehAVExplor: Behavior Diversity Guided Testing for Autonomous Driving Systems
针对自动驾驶测试用例冗余、失效多样性不足的问题,提出 BehAVExplor,通过 BehaviorMiner 行为抽象与能量引导的种子选择、变异发现更多样的安全违规。
2023-07-14 cs.SE
Coverage Isn't Enough: SBFL-Driven Insights into Manually Created vs. Automatically Generated Tests
The University of Osaka(大阪大学)
本研究通过比较SBFL得分和覆盖率,揭示自动测试与手动测试在故障定位中的优劣,为测试方法的结合提供依据。
2025-12-12 cs.SE
Does Road Diversity Really Matter in Testing Automated Driving Systems? -- A Registered Report
背景/背景。在现实世界中使用自动驾驶系统(ADS)需要进行严格的测试以确保安全。为了增加信任,ADS应该在大量不同的道路场景中进行测试。文献表明,如果车辆沿着一组几何形状不同的道路行驶(使用各种多样性测量(DM)进行测量),则会在各种行为中做出反应,从而增加观察到故障(如果有)的机会,或者如果没有观察到故障,则会增强对其安全性的信心。然而,据我们所知,这一假设从来没有被测试过,也没有道路DM的属性进行了评估。目的/目标。我们的目标是对47个目前使用的和新的,有潜力的道路DM进行探索性研究。具体而言,我们的研究问题着眼于道路DM本身,分析其属性(例如单调性,计算效率),并测试DM之间的相关性。此外,我们看看使用道路DM调查是否假设,不同的测试套件的道路暴露不同的驾驶行为举行。法我们的实证分析依赖于最先进的开源ADS测试基础设施,并使用包含超过97,000个单独道路几何形状的数据集以及使用两个驾驶代理收集的匹配模拟数据。通过对不同规模的随机测试集进行抽样并测量其道路的几何多样性,我们研究了道路DM属性、道路DM之间的相关性以及道路DM与所观察到的行为之间的相关性。
2022-09-13 cs.SE
$μ$BERT: Mutation Testing using Pre-Trained Language Models
我们介绍$μ$ BERT,一个突变测试工具,使用预先训练的语言模型(代码BERT)来生成突变体。这是通过从作为输入的表达式中屏蔽一个标记并使用CodeBERT对其进行预测来完成的。因此,通过用预测的标记替换屏蔽的标记来生成突变体。我们评估$μ$ BERT的40个真正的故障从Defects4J,它可以检测到27的40个故障,而基线(PiTest)检测到26个。我们还表明,$μ$ BERT可以是2倍的成本效益比PiTest,当相同数量的突变体进行分析。此外,我们评估$μ$ BERT的突变体的影响时,使用程序断言推理技术,并表明它们可以帮助产生更好的规范。最后,我们讨论了在我们的实验评估过程中$μ$ BERT产生的一些有趣的突变体的质量和自然性。
2022-03-07 cs.SE