Using Fourier Analysis and Mutant Clustering to Accelerate DNN Mutation Testing
Auburn University(奥本大学);Google Research(谷歌研究)
针对DNN变异测试成本高的问题,提出DM#技术,通过傅里叶分析量化变异体行为并聚类,选取组代表测试复用结果,在低变异得分误差下实现显著加速,效果优于多种基线方法。
2025-10-03 cs.SE
Assessing and Improving the Mutation Testing Practice of PIT
突变测试被广泛用于支持软件工程研究的实验。由于现代工具可以自动化整个突变分析过程,因此它可以应用于现实世界的项目。然而,流行的突变测试工具使用一组限制性的突变体,不符合突变测试文献所支持的社区标准。这可能是有问题的,因为突变的有效性取决于它的突变体。因此,我们研究如何有效的突变体的一个流行的突变测试工具,命名为PIT,相比全面的,从文献和个人经验。我们表明,全面的突变体是很难杀死和编码的故障没有被捕获的突变体的PIT的范围为11%至62%的Java类的考虑项目。
2016-01-11 cs.SE
Mutation Testing in Evolving Systems: Studying the relevance of mutants to code evolution
当软件发展时,引入错误的机会出现了。因此,在每个演化周期中测试演化后的程序行为是非常重要的。我们进行了一项探索性研究,以调查提交相关突变体的性质,即,提交感知突变测试的测试元素,通过提供一般定义和实验方法来识别它们。因此,我们的目标是调查随着时间的推移,提交感知突变测试的流行率、位置、比较优势(即,程序演化)和几个与提交相关的特征的预测能力,以理解其尽力而为应用案例的基本属性。我们的方法利用突变体的影响和一个突变体对另一个突变体的影响来捕获和分析改变和未改变的代码部分之间的隐式交互。该研究分析了数百万个突变体(超过1000万),288个提交,五(5)个不同的开源软件项目,涉及超过68,213个CPU日的计算,并设置了我们执行分析的基础事实。我们的分析表明,提交相关的突变体主要位于程序提交更改之外(81%),而有效选择提交相关的突变体可以减少高达93%的突变体数量。此外,我们证明了提交相关的突变测试比最先进的基线更有效和高效。我们对突变体和提交相关特征在预测提交相关突变体中的预测能力的分析发现,大多数代理特征不能可靠地预测提交相关突变体。这项实证研究突出了提交相关的突变体的属性,并证明了识别和选择提交相关的突变体时,测试不断发展的软件系统的重要性。
2021-12-29 cs.SE
Empirical Evaluation of Mutation-based Test Prioritization Techniques
我们提出了一种新的测试用例优先级技术,结合了基于变异和多样性的方法。我们的多样性感知突变技术依赖于突变体识别的概念,其目的是将一个突变体的行为与另一个区别开来,而不是与原始程序区别开来。我们经验性地研究了基于突变的优先化技术的相对成本和有效性(即,使用传统的突变体杀死和所提出的突变体消除),具有352个真实故障和553,477个开发人员编写的测试用例。经验评估考虑了传统的和多样性意识的突变标准在各种设置:单目标贪婪,混合动力和多目标优化。结果表明,在所研究的所有故障中,不存在单一的主导技术。为此,\rev {我们使用称为突变区分图(MDG)的图形模型来显示基于突变的优先级排序标准中的每一个执行不佳的时间和原因,该图形模型展示了故障检测测试用例关于突变杀死和突变的分布。
2018-01-23 cs.SE
METFORD -- Mutation tEsTing Framework fOR anDroid
本文提出 Android 变异测试框架 METFORD,利用变异体模式集成传统与 Android 专用算子,显著降低时间、磁盘和碳足迹成本。
2025-01-12 cs.SE
An Empirical Evaluation of Manually Created Equivalent Mutants
本研究针对变异测试中等价变异体的人工生成与识别问题,在Code Defenders游戏场景下开展实证研究,发现人工生成变异体的等价率不足10%,且多数开发者难以准确识别等价变异体,凸显了优化检测机制和开展相关培训的必要性。
2024-04-14 cs.SE
PITMuS: A Tool for Automated Bug Dataset Generation via Source-Level Mutant Reconstruction
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出PITMuS工具,通过源级变异体重建生成自动化bug数据集,解决现有工具生成的变异体难以复现和利用的问题,为bug定位和修复技术提供结构化数据支持。
2026-08-04 cs.SE
MuRS: Mutant Ranking and Suppression using Identifier Templates
针对手动制定变异测试抑制规则成本高的问题,提出基于源代码模式分组、结合历史开发者反馈自动排序抑制变异体的MuRS方法,A/B测试显示其负面反馈率显著低于手动规则基线,可降低服务维护成本。
2023-06-15 cs.SE
QCRMut: Quantum Circuit Random Mutant generator tool
Universidad Complutense de Madrid(马德里康普顿斯大学)
提出QCRMut工具,通过不可变位置保留电路结构并生成随机变异体,在稳定Qiskit版本上实现高效、代表性的变异测试,与穷举变异相比得分相当且更稳定。
2026-06-09 cs.SE
Does mutation testing improve testing practices?
已经定义了测试质量的各种代理度量,以便在编写测试时指导开发人员。代码覆盖率在实践中特别好地建立起来,尽管覆盖率如何与测试质量相关的问题是一个正在进行的辩论。突变测试提供了一个有希望的替代方案:人工缺陷可以识别测试套件中的漏洞,从而为额外的测试提供具体的建议。尽管突变检测有明显的优势,但在实践中还没有很好地建立起来。直到最近,突变测试工具和技术还不能扩展到复杂的系统。虽然他们现在做规模,剩下的障碍是缺乏证据表明,编写测试的突变体实际上提高测试质量。在本文中,我们的目标是填补这一空白:通过分析近1500万个突变体的大型数据集,我们研究了这些突变体如何随着时间的推移影响开发人员,以及这些突变体如何与真正的故障相关。我们的分析表明,使用突变测试的开发人员编写更多的测试,并积极改善他们的测试套件与高质量的测试,使更少的突变。通过分析一个数据集的过去修复真正的高优先级的故障,我们的分析进一步提供证据,突变体确实与真正的故障。换句话说,如果突变测试被用于引入错误的更改,它将报告一个可以防止错误的活突变体。
2021-03-12 cs.SE
Effectively Sampling Higher Order Mutants Using Causal Effect
高阶变异(HOM)已经被提出来避免等价的突变体,提高变异测试的可扩展性,但产生有用的HOM本身仍然是一个昂贵的搜索问题。我们提出了一种新的方法来产生强包容高阶突变体(SSHOM)使用最近推出的因果程序依赖分析(CPDA)。CPDA本身是基于程序突变的,并且提供了对一个程序元素的值的改变将引起另一个程序元素的值的改变的频率的定量估计。我们的SSHOM生成方法使用基于CPDA分析的启发式方法选择程序元素对,对所选对执行一阶变异,并通过组合两个FOM生成HOM。
2021-04-22 cs.SE
Search-Based Generation of Undetected Quantum Circuit Mutants
Simula Research Laboratory(Simula研究实验室);Oslo Metropolitan University(奥斯陆城市大学);Trinity College Dublin, School of Computer Science and Statistics(都柏林三一学院计算机科学与统计学院);National Institute of Informatics(信息学研究所)
针对现有量子变异分析工具生成的变异体易检测的问题,提出QUMUG方法,通过搜索算法生成更具挑战性的未被检测的量子电路变异体,提升测试套件评估效果。
2026-08-11 cs.SE
Intent-Based Mutation Testing: From Naturally Written Programming Intents to Mutants
SnT, University of Luxembourg(卢森堡大学 SnT);Medtech, South Mediterranean University(南地中海大学 Medtech)
提出基于意图的变异测试,通过改变被测程序实现的编程意图来生成变异体,与传统测试不同,能捕获不同类型故障,用大语言模型实现并评估,可补充传统变异测试。
2026-07-07 cs.SE
An Empirical Study of the Realism of Mutants in Deep Learning
Institute of Computer Science, University of Goettingen(哥廷根大学计算机科学研究所)
本研究通过实证分析比较深度学习中预训练与后训练突变方法的真实性,发现预训练突变体在耦合强度和行为相似性上更优,但其高计算成本促使需开发更高效的后训练操作符。
2026-10-12 cs.SE
Mutant reduction evaluation: what is there and what is missing?
背景已经提出了许多旨在减少突变体数量的突变减少策略。问题.度量一个变异约简策略保持测试用例集有效性的能力是非常重要的。然而,现有的评价指标无法衡量“保序能力”。Objective.我们的目标是提出评估指标来衡量突变减少策略的“保序能力”,这是很重要的,但在我们的社会缺失。法给定一个测试套件上的被测软件(SUT)与一组原始的突变体,我们利用测试套件生成一组测试套件,有一个偏序关系的故障检测潜力。在评估约简策略时,我们首先在生成的测试集之间构建两个偏序关系,一个与原始突变体,另一个与约简突变体。然后,我们衡量的程度,这两个偏序关系是一致的。两种偏序关系越一致,变异约简策略的保序性越强,约简策略越有效。此外,我们提出了努力意识的相对顺序保持(EROP)来衡量有多少增益的变异减少策略可以提供相比,随机减少策略。结果.实验结果表明,OP和EROP能够有效地衡量变异约简策略的“保序能力”。结果表明,与现有的评价指标相比,它们具有更好的区分各种变异减少策略的能力。结论我们建议研究人员使用OP和EROP来衡量突变减少策略的有效性。
2021-02-05 cs.SE
$μ$BERT: Mutation Testing using Pre-Trained Language Models
我们介绍$μ$ BERT,一个突变测试工具,使用预先训练的语言模型(代码BERT)来生成突变体。这是通过从作为输入的表达式中屏蔽一个标记并使用CodeBERT对其进行预测来完成的。因此,通过用预测的标记替换屏蔽的标记来生成突变体。我们评估$μ$ BERT的40个真正的故障从Defects4J,它可以检测到27的40个故障,而基线(PiTest)检测到26个。我们还表明,$μ$ BERT可以是2倍的成本效益比PiTest,当相同数量的突变体进行分析。此外,我们评估$μ$ BERT的突变体的影响时,使用程序断言推理技术,并表明它们可以帮助产生更好的规范。最后,我们讨论了在我们的实验评估过程中$μ$ BERT产生的一些有趣的突变体的质量和自然性。
2022-03-07 cs.SE
Efficiently Finding Higher-Order Mutants
高阶变异具有改善传统一阶变异的主要缺点的潜力,例如通过模拟更真实的故障或改进测试优化技术。尽管人们对研究有希望的高阶突变体感兴趣,但由于突变组合的指数搜索空间,很难找到这样的突变体。最先进的方法依赖于遗传搜索,由于其随机性,这通常是不完整和昂贵的。首先,我们提出了一种新的方法,找到一套完整的高阶突变体,通过使用变分执行,一种技术,可以在许多情况下,探索大搜索空间完全,往往有效。其次,我们使用已识别的高阶突变体的完整集合来研究它们的特征。最后,我们使用所确定的特性来设计和评估一个新的搜索策略,独立于变的执行,这是非常有效的,即使在大型代码库中找到高阶突变体。
2020-04-04 cs.SE
New Formulation of DNN Statistical Mutation Killing for Ensuring Monotonicity: A Technical Report
针对DeepCrime统计变异杀死标准违反单调性的问题,提出基于Fisher精确检验的新公式化方法,在保持统计严谨性的同时确保单调性。
2025-07-15 cs.SE
What It Would Take to Use Mutation Testing in Industry--A Study at Facebook
传统上,突变测试会产生大量的程序小偏差,称为突变体。在Facebook这样规模的工业系统中,这样做是不可行的。我们不应该创建测试套件可能会失败的突变体,或者不给开发人员可操作的信号。为了解决这个问题,在本文中,我们半自动地从常见的Java编码错误语料库中学习错误诱导模式,并从导致Facebook操作异常的变化中学习。我们将突变与测量哪些测试恰好访问了突变的代码片段的检测相结合。超过15,000个生成的突变体的结果显示,超过一半的生成的突变体通过了Facebook严格的单元测试,集成测试和系统测试。此外,在一个有26名开发人员的案例研究中,除了两名开发人员之外,所有人都发现了自动检测到的测试漏洞的信息。因此,26人中几乎有一半会通过调整现有测试或创建新测试来对呈现给他们的突变体采取行动。其他人没有因为各种各样的原因,通常超出了突变测试的范围。如何将这些外部信息纳入突变体研究,以提高突变体的真实可操作性,这仍然是一个实际的挑战。
2021-01-27 cs.SE
Dynamic Mutant Subsumption Analysis using LittleDarwin
在软件测试领域的许多学术研究都依赖于变异测试作为他们的比较标准。然而,最近的研究表明,冗余突变体对其结果的准确性有显著影响。这个问题的一个解决方案是使用突变体包容来检测冗余突变体。因此,为了促进该领域的研究,需要能够检测冗余突变体的突变测试工具。在本文中,我们描述了我们如何改进我们的工具,LittleDarwin,以满足这一要求。
2018-09-07 cs.SE
LittleDarwin: a Feature-Rich and Extensible Mutation Testing Framework for Large and Complex Java Systems
变异测试是一种被广泛研究的提高测试套件质量的方法。我们设计LittleDarwin作为一个突变测试框架,能够应付大型和复杂的Java软件系统,同时仍然很容易扩展新的实验组件。LittleDarwin解决了突变测试领域中存在的两个问题:拥有一个能够在工业环境中工作的工具,并且可以扩展学术界提供的尖端技术。LittleDarwin已经提供了高阶突变、空型突变体、突变体采样、手动突变和突变体包容分析。目前还没有一款工具具备所有这些功能,能够与典型的工业软件系统一起工作。
2017-07-04 cs.SE
Assertion Inferring Mutants
规范推理技术的目的是(自动)推断一组断言,通过动态测试执行和突变测试生成和过滤断言,捕获所展示的软件行为。虽然功能强大,但由于需要执行大量的断言,测试用例和变异版本,因此这些技术在计算上是昂贵的。为了克服这个问题,我们证明了一个小的子集,即,突变测试工具使用的12.95%的突变体足以用于断言推断,该子集显著不同,即,71.59%的差异,包含突变测试文献中经常引用的突变集,并可以通过基于学习的方法进行静态近似。特别是,我们提出了AIMS,一种选择断言推断突变体的方法,即,一组非常适合断言推理的突变体,具有0.58 MCC,0.79精度和0.49召回率。我们评估AIMS的46个程序,并证明它具有相当的推理能力与完整的突变分析(错过12.49%的断言),同时显着限制执行成本(运行速度快46.29倍)。与随机选择的突变体集的比较,显示了AIMS的优越性,推断36%以上的断言,同时需要大约等量的执行时间。我们还表明,AIMS的推断能力几乎是完整的,因为它推断了96. 15%的地面事实断言,(即,一套完整的断言,手动构建),而随机突变体选择推断其中的19.23%。更重要的是,AIMS使断言推理技术能够在完全突变测试过于昂贵且随机突变选择不会导致任何断言的受试者上扩展。
2023-01-28 cs.SE
Finding Higher Order Mutants Using Variational Execution
变异测试是一种有效但耗时的测试方法。它通过重复地对源代码进行更改(称为突变体)并检查测试套件是否失败(即,突变体是否被杀死)。最近的研究表明,应用多个变化(称为高阶突变)比单个变化(称为一阶突变)更难杀死。具体来说,一种特殊的高阶变异,称为强包容高阶变异(SSHOM),可以使相同的准确性,在评估测试集的质量与较少的测试执行。人们对这些SSHOM知之甚少,因为它们很难找到。我们在这项研究中的目标是确定一个更快,更可靠的方法来寻找SSHOMs,以便在未来表征它们。我们提出了一种基于变分执行的方法来找到SSHOMs。初步的结果表明,变分执行比现有的遗传算法的速度和结果的完整性。在一组33个一阶突变中,我们的变分执行方法在4.5秒内找到所有38个SSHOM,而遗传算法在50秒内只找到38个SSHOM中的36个。
2018-09-12 cs.SE
Mutation-driven Test Case Generation Using Short-lived Concurrent Mutants -- First Results
在黑盒测试的背景下,通过模型变异生成测试用例可以产生强大的测试套件,但通常具有昂贵的缺点。本文提出了一个新版本的工具MoMuT::UML(www.momut.org),它实现了一个可扩展版本的突变驱动的测试用例生成(MDTCG)。它能够处理工业规模的UML模型,包括网络,例如,2800个交互状态机。为了实现所需的可扩展性,实现的算法利用MDTCG中的并发性,并将其与基于搜索的生成策略相结合。为了进行评估,我们使用七个不同的应用领域的案例研究,难度越来越大,停在奥地利国家铁路网的火车站模型。
2016-12-21 cs.SE
Timed Model-Based Mutation Operators for Simulink Models
基于模型的突变分析是最近的研究领域,实时系统测试可以受益于使用模型突变。基于模型的变异测试(MBMT)是基于模型测试的一个特殊分支。它使用变异算子生成模型的错误版本,以评估和改进测试用例。变异测试是保证软件正确性的一种有效方法,已被应用到各个应用领域。Simulink是一种重要的实时系统建模语言。本文介绍了Simulink模型突变分析,以改善模型在环(MIL)测试。提出了一组基于AUTOSAR的Simulink变异算子,该算子反映了Simulink模型映射到操作系统任务时的时间正确性。我们实现了一个突变框架,产生隐式时钟Simulink模型的突变体。最后,我们展示了这个框架如何产生突变体,以揭示模拟中的任务干扰问题。我们的工作集成了Simulink模型与定时系统,以更好地支持突变测试自动化。
2023-01-02 cs.SE
A Declarative Framework for Hand-Crafted Mutation Analysis and Management
University of Maryland, College Park(马里兰大学帕克分校)
本文提出了一种声明式框架,用于管理和分析手工变异,通过定义多种变异表示和代数,提升变异实验的效率和表达性。
2026-03-07 cs.SE
Quantum Mutant Equivalence via Transpilation
Faculdade de Engenharia, Universidade do Porto(波尔图大学工程学院);LASIGE, Faculdade de Ciências, Universidade de Lisboa(里斯本大学理学院LASIGE);Toronto Metropolitan University(多伦多都会大学)
针对量子软件变异测试中的等价变异体问题,提出基于转译的等价性检测方法TBE,通过比较转译后的OpenQASM代码识别等价变异体,在34.8万变异体上达到100%精确率和82%准确率。
2026-06-26 cs.SE
Toward Speeding up Mutation Analysis by Memoizing Expensive Methods
变异分析有许多应用,如评估测试用例的质量,故障定位,测试输入生成,安全分析等,这些应用涉及到运行测试套件对大量的程序突变体,导致可扩展性差。许多研究旨在加速这一过程,重点是减少突变体的数量,执行测试的数量或突变体的执行时间。本文提出了一种新的方法,命名为MeMu,减少突变体的执行时间,通过记忆系统中最昂贵的方法。记忆化是一种优化技术,当检测到重复输入时,它允许绕过执行昂贵的方法。MeMu可以与现有的加速技术结合使用。我们实现MeMu上的PITest,一个著名的JVM字节码级的突变分析系统,并获得了平均18.15%的速度比PITest,在执行时间的突变体为12个现实世界的程序。这些有希望的结果以及MeMu也可以用于涉及重复执行测试的其他应用程序的事实(例如,自动程序修复和回归测试),有力地支持未来的研究,以提高其效率。
2021-02-23 cs.SE
Using Constraints for Equivalent Mutant Detection
在突变测试中,为了计算正确的突变分数,突变体是否等价于其程序的问题很重要。不幸的是,回答这个问题并不总是可能的,并且很难通过查看程序的结构来获得。在本文中,我们介绍了一种方法来解决等价的突变问题,使用的约束表示的程序和它的突变。特别地,该方法基于区分测试用例,即,测试输入,迫使程序及其突变体以不同的方式运行。除了该方法的基础,在本文中,我们还提出了算法和第一个实证结果。
2012-07-10 cs.SE
Exploring the Potential of Large Language Models in Simulink-Stateflow Mutant Generation
Mondragon University(蒙德拉贡大学);Simula Research Laboratory(西穆拉研究实验室);Oslo Metropolitan University(奥斯陆都会大学)
本文利用大型语言模型生成高质量的Simulink-Stateflow变异体,显著提高了生成效率和变异体质量。
2026-02-12 cs.SE
On Accelerating Deep Neural Network Mutation Analysis by Neuron and Mutant Clustering
Auburn University(奥本大学)
提出DEEPMAACC工具,通过神经元聚类和突变体聚类加速DNN变异分析,在保持变异得分的同时分别提速69.77%和35.31%,验证了速度与精度间的权衡。
2025-01-22 cs.LG cs.NE cs.SE
Source Code Optimization using Equivalent Mutants
一个变种是通过语法修改程序的源代码获得的程序;一个等价变种是一个变种,它在功能上等价于原始程序。突变体主要用于\emph{mutation testing},在推导试验套件时,获得等效突变体被认为是高度阴性的,尽管这些等效突变体可用于其他目的。我们提出了一种方法,认为等价突变体的价值,并利用它们的源代码优化。源代码优化增强程序的源代码,保持其行为。我们展示了一个程序,以实现源代码优化的基础上等价的突变体,并讨论适当的变异算子。Java和C程序的实验评估证明了所提出的方法的适用性。提出了一种基于等价突变体的源代码优化算法。它表明,只要适用,该方法可以优于传统的编译器优化。
2018-07-02 cs.SE
Round-Trip Mutation Testing: Translating Code to Natural Language Intent and back
University of Luxembourg(卢森堡大学);ENSI, University of Manouba(马努巴大学ENS学院)
提出往返变异测试,利用大语言模型在程序代码和意图间的生成能力,通过预测意图生成变异体,还可人工制造错误翻译产生变异体,评估显示其能产生多样变异体,检测传统方法未揭示的错误。
2026-07-07 cs.SE
Mutation Analysis with Execution Taints
针对变异分析中变异后阶段仍存在冗余计算的问题,提出 execution taints 技术并结合记忆化,消除程序变体间冗余执行以提升效率。
2024-03-02 cs.SE
Mutant Density: A Measure of Fault-Sensitive Complexity
软件代码复杂度是一个研究得很好的属性,以确定软件组件的健康。然而,现有的代码复杂性度量没有直接考虑代码的易出错性方面。我们提出了一个称为突变密度的指标,其中我们使用突变作为在代码中引入人为错误的方法,并计算每行可能的突变数量。我们将展示如何使用此度量标准来对现实生活中的软件项目进行有用的分析。
2021-04-25 cs.SE
Hybrid Fault-Driven Mutation Testing for Python
Simon Fraser University(西蒙菲莎大学);University of Ottawa(渥太华大学)
本文提出了一种基于静态和动态分析混合技术的Python变异测试方法,通过七种新的变异算子生成补充现有工具的变异体,提高测试覆盖率和发现缺陷的能力。
2026-07-22 cs.SE
WITNESS: A lightweight and practical approach to fine-grained predictive mutation testing
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);University of Luxembourg(卢森堡大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
针对现有细粒度预测变异测试依赖深度学习导致计算成本高、仅处理方法内部变异体的局限,提出轻量级方法WITNESS,支持方法内外变异体预测,提升效率且性能先进。
2025-11-15 cs.SE
Quantum Circuit Mutants: Empirical Analysis and Recommendations
针对量子软件测试缺乏系统性基准的问题,本研究通过变异382个真实量子电路生成超70万故障基准进行大规模实证分析,揭示电路与算法等特征对变异体检测的影响,并提供变异体推荐工具与可用故障基准。
2025-05-02 cs.SE
Assessing Test Case Prioritization on Real Faults and Mutants
测试用例优先级(TCP)是回归测试的一个重要组成部分,它允许更早地检测故障或帮助减少测试时间和成本。虽然研究文献中存在几种TCP方法,但越来越多的研究已经针对称为突变体的合成软件缺陷对其进行了评估。因此,目前尚不清楚在何种程度上突变体上的TCP性能将代表在真实故障上实现的性能。为了回答这个基本问题,我们进行了第一次实证研究,比较TCP技术应用于现实世界和突变故障的性能。我们的研究背景包括八种经过充分研究的TCP方法,35k+突变故障和Defects4J数据集中五个Java系统的357个真实故障。我们的研究结果表明,所研究的TCP技术突变体的相对性能可能不会强烈相关的性能上真正的故障,这取决于属性的主题程序。这表明,在某些情况下,在一组突变体上表现最好的技术在实际应用于实际故障时可能不是最好的技术。我们还说明,这些相关性不同的突变体所产生的不同运营商,这取决于所选择的运营商是否反映一个主题程序的典型故障。这突出了开发针对特定程序域的变异算子的重要性,特别是对于TCP。
2018-09-18 cs.SE
Robust Mutation Analysis of Quantum Programs Under Noise
King’s College London(伦敦国王学院);Simula Research Laboratory(西穆拉研究实验室);Oslo Metropolitan University(奥斯陆都会大学);National Institute of Informatics(日本情报学研究所)
本文研究了量子程序在噪声环境下的变异分析,通过41个程序在无噪声和有噪声模拟器上的实验,比较了不同距离度量和阈值策略,发现噪声显著影响程序与变异体的行为距离,输出分布度量在实际应用中表现最佳。
2026-05-13 cs.SE
Goal-Oriented Mutation Testing with Focal Methods
变异测试是评估测试集故障检测能力的最新技术。不幸的是,突变测试消耗了巨大的计算资源,因为它为每个注入的突变体运行整个测试套件。在本文中,我们探讨细粒度的可追溯性链接在方法级(命名为焦点方法),以减少执行时间的突变测试,并验证每个单独的方法的测试用例的质量,而不是通常验证的整体测试套件的质量。我们的方法在开源Apache Ant项目上的验证显示,位于焦点方法中的突变体的速度提高了573.5倍,质量得分为80%。
2018-10-09 cs.SE
A Theoretical Framework for Understanding Mutation-Based Testing Methods
在突变分析领域,突变是突变程序的系统生成(即,变种人)从一个原始程序。变异的概念已被广泛应用于各种测试问题,包括测试集选择,故障定位和程序修复。然而,令人惊讶的是,很少有人关注基于突变的测试方法的理论基础,使得难以理解,组织和描述各种基于突变的测试方法。本文的目的是考虑一个理论框架来理解基于突变的测试方法。虽然一般测试有一个坚实的测试框架,但这与基于变异的测试方法不一致,因为它关注的是测试程序的正确性,而基于变异的测试的本质是测试程序(包括突变体)之间的差异。在本文中,我们开始我们的框架的建设,定义了一个新的测试因素,称为测试区分,转换测试的范式从正确性的概念,差异的概念。我们正式定义一组测试的程序的行为差异作为一个数学向量,称为d-向量。我们探索了由d-向量表示的多维空间,并提供了一个描述空间的图形模型。基于我们的框架和形式化,我们解释现有的基于突变的故障定位方法和突变集最小化的应用,并确定新的影响,为未来的工作。
2016-01-25 cs.SE
Mutation-Guided Unit Test Generation with a Large Language Model
University of Limerick(利默里克大学);Research Ireland Lero Centre for Software, University of Limerick(爱尔兰研究莱罗软件中心,利默里克大学);University of Ottawa(渥太华大学);Software Engineering Application Technology Lab Huawei(华为软件工程应用技术实验室)
本文提出MUTGEN方法,利用突变反馈提升测试覆盖率,优于EvoSuite和传统提示方法,在突变分数上表现更优,并探讨了LLM生成的局限性。
2026-04-15 cs.SE
Formal Analysis of Reachability, Infection and Propagation Conditions in Mutation Testing
本文提出一种基于Dijkstra最弱前置条件和rc函数的形式化方法,用于计算变异测试中的RIP条件,并通过四个程序案例验证其适用性。
2024-10-29 cs.SE
Contextual Predictive Mutation Testing
提出MutationBERT,通过同时编码源方法变异体和测试方法捕获上下文,提升预测性变异测试精度,节省33%验证时间,并在同项目与跨项目设置中优于现有技术。
2023-09-05 cs.SE
Learning Test-Mutant Relationship for Accurate Fault Localisation
本文提出 SIMFL,利用历史变异分析结果和统计推断建模测试-变异体关系,实现及时且低成本的精确故障定位,并在 Defects4J 上优于现有 MBFL 方法。
2023-06-04 cs.SE
Mutation Testing via Iterative Large Language Model-Driven Scientific Debugging
本文提出利用科学调试方法让大语言模型通过迭代假设与改进来生成针对变异体的测试,实验表明其缺陷检测能力和覆盖率均优于Pynguin等基线方法。
2025-03-11 cs.SE
Cerebro: Static Subsuming Mutant Selection
突变测试研究表明,其应用成本的主要部分是由于它引入了大量的低效用突变体。虽然以前的研究已经发现了这个问题,但没有以前的研究提出任何有效的解决方案。因此,仍然不清楚如何以最佳努力的方式改变和测试给定的代码片段,即,在投入的努力和测试有效性之间实现良好的权衡。为了实现这一点,我们提出了Cerebro,一种静态选择包含突变体的机器学习方法,即,基于突变体周围的代码上下文,位于包容层次结构顶部的突变体集合。我们分别使用48个和10个用C和Java编写的程序对Cerebro进行了评估,并证明它保留了突变测试的优势,同时限制了应用成本,即,降低了所有的成本应用因素,例如等效突变体、突变体执行和需要分析的突变体。我们证明,Cerebro具有很强的项目间预测能力,这是显着高于两个基线方法,即,对最先进的特征进行监督学习,以及随机突变选择。更重要的是,我们的研究结果表明,Cerebro选择的突变体导致了强有力的测试,当选择相同数量的突变体时,这些测试分别能够杀死比基线杀死的包含突变体数量高2倍的数量。与此同时,Cerebro减少了成本相关因素,因为它选择的等效突变体平均减少了68%,而需要的测试执行比基线减少了90%。
2022-03-01 cs.SE
Quality-Driven Selective Mutation for Deep Learning
Institute of Computer Science, University of Göttingen(哥廷根大学计算机科学研究所)
本文提出一种概率框架,通过电阻和现实性两个维度量化突变体质量,用于选择高质突变操作符配置,减少突变体生成和执行成本,同时保持突变体的有效性。
2026-04-24 cs.LG cs.SE
Predictive Mutation Analysis via Natural Language Channel in Source Code
突变分析可以为被测系统(SUT)及其测试套件提供有价值的见解。然而,由于构建和测试大量突变体的成本,它不可扩展。预测突变测试(PMT)已经被提出来降低突变测试的成本,但它只能提供关于突变体是否会被整个测试套件杀死的统计推断。我们提出了Seshat,一种预测突变分析(PMA)技术,可以准确地预测整个杀伤矩阵,而不仅仅是给定测试套件的突变得分。Seshat利用代码中的自然语言通道,并从给定的kill矩阵中学习每个测试用例的语法和语义概念与它可以杀死的突变体之间的关系。学习后的模型可以用于预测程序后续版本的杀伤矩阵,即使在源代码和测试代码都发生了重大变化之后。使用Defects 4J中的程序进行的经验评估表明,Seshat可以预测相隔数年的版本的平均F分数为0.83的杀伤矩阵。这是一个改进的F-分数由0.14和0.45点,比国家的最先进的预测突变测试技术,和一个简单的覆盖率为基础的启发式,分别。Seshat在预测突变分数方面也表现得和PMT一样好。一旦Seshat使用具体的突变分析训练其模型,Seshat随后做出的预测平均比实际的基于测试的分析快39倍。
2022-01-04 cs.SE
Towards Safety-Aware Mutation Testing for Autonomous Driving Systems
The University of Sheffield(谢菲尔德大学)
提出安全感知变异测试(SAMT),通过注入模块间消息故障模拟交互失效,基于STPA生成突变体,评估测试充分性并指导场景生成与系统修复。
2026-06-26 cs.SE
An Energy-aware Mutation Testing Framework for EAST-ADL Architectural Models
嵌入式系统的早期设计工件,如体系结构模型,表示方便的抽象推理系统的结构和功能。一个这样的例子是电子架构和软件工具-架构描述语言(EAST-ADL),一种针对汽车行业的特定领域架构语言。EAST-ADL用于表示硬件和软件元素,以及相关的功能外信息(例如,定时属性、触发信息、资源消耗)。建筑模型的测试是大规模工业系统工程中的一项重要活动,引起了越来越多的研究兴趣。本文的主要贡献是:(i)为EAST-ADL架构模型创建能量相关突变体的方法,(ii)克服等效突变问题的方法(即,的问题,找到一个测试用例,它可以区分从原来的一个突变体的可观察的行为),(iii)一个测试生成方法的基础上UPPAAL统计模型(SMC),和(iv)一个测试选择标准的基础上突变分析使用我们的MATS工具。
2018-02-04 cs.SE
Mutation Testing with Hyperproperties
提出了一种基于模型的变异驱动测试用例生成方法。通过对被测系统的模型或源代码进行小的语法修改来生成突变体。如果在运行测试时,突变体的行为偏离了原始系统,则测试用例会杀死该突变体。在这项工作中,我们使用hyperproperties-它允许表达多个执行之间的关系-正式确定性和非确定性模型的杀戮的不同概念。由此产生的超性质是普遍的,因为它们适用于任意的反应模型和突变体。此外,一个现成的超属性模型检验工具可以用来生成测试用例。我们评估我们的方法在两种不同的建模语言表示的模型数量生成测试使用一个国家的最先进的突变测试工具。
2019-07-17 cs.LO cs.SE
PRIMG : Efficient LLM-driven Test Generation Using Mutant Prioritization
Polytechnique Montréal(蒙特利尔理工学院);Quantstamp, Inc(Quantstamp公司)
本文提出 PRIMG 框架,结合基于变异体包含图训练的 ML 优先级排序与 LLM 迭代测试精化,为 Solidity 合约生成高覆盖率且更精简的测试。
2025-05-08 cs.LG cs.SE