Finding Higher Order Mutants Using Variational Execution
变异测试是一种有效但耗时的测试方法。它通过重复地对源代码进行更改(称为突变体)并检查测试套件是否失败(即,突变体是否被杀死)。最近的研究表明,应用多个变化(称为高阶突变)比单个变化(称为一阶突变)更难杀死。具体来说,一种特殊的高阶变异,称为强包容高阶变异(SSHOM),可以使相同的准确性,在评估测试集的质量与较少的测试执行。人们对这些SSHOM知之甚少,因为它们很难找到。我们在这项研究中的目标是确定一个更快,更可靠的方法来寻找SSHOMs,以便在未来表征它们。我们提出了一种基于变分执行的方法来找到SSHOMs。初步的结果表明,变分执行比现有的遗传算法的速度和结果的完整性。在一组33个一阶突变中,我们的变分执行方法在4.5秒内找到所有38个SSHOM,而遗传算法在50秒内只找到38个SSHOM中的36个。
2018-09-12 cs.SE
Generator-Based Fuzzers with Type-Based Targeted Mutation
University of Minnesota(明尼苏达大学);Ain Shams University(艾因夏姆斯大学)
本文提出了一种基于类型的突变启发式方法,用于提升Java生成器基于模糊测试器的覆盖率,实验显示在AWSLambda应用测试中覆盖率提升了约20%。
2026-01-18 cs.SE
Toward Speeding up Mutation Analysis by Memoizing Expensive Methods
变异分析有许多应用,如评估测试用例的质量,故障定位,测试输入生成,安全分析等,这些应用涉及到运行测试套件对大量的程序突变体,导致可扩展性差。许多研究旨在加速这一过程,重点是减少突变体的数量,执行测试的数量或突变体的执行时间。本文提出了一种新的方法,命名为MeMu,减少突变体的执行时间,通过记忆系统中最昂贵的方法。记忆化是一种优化技术,当检测到重复输入时,它允许绕过执行昂贵的方法。MeMu可以与现有的加速技术结合使用。我们实现MeMu上的PITest,一个著名的JVM字节码级的突变分析系统,并获得了平均18.15%的速度比PITest,在执行时间的突变体为12个现实世界的程序。这些有希望的结果以及MeMu也可以用于涉及重复执行测试的其他应用程序的事实(例如,自动程序修复和回归测试),有力地支持未来的研究,以提高其效率。
2021-02-23 cs.SE
Fuzzing for CPS Mutation Testing
本文提出利用模糊测试为安全攸关CPS的C/C++软件生成变异测试数据,并通过在轨卫星组件实证表明其显著优于或可补充符号执行。
2023-08-15 cs.SE
A Declarative Framework for Hand-Crafted Mutation Analysis and Management
University of Maryland, College Park(马里兰大学帕克分校)
本文提出了一种声明式框架,用于管理和分析手工变异,通过定义多种变异表示和代数,提升变异实验的效率和表达性。
2026-03-07 cs.SE
Mutation Testing Optimisations using the Clang Front-end
变异测试是评估测试集故障检测能力的最新技术。不幸的是,一个完整的突变分析往往是昂贵的。例如,CppCheck项目在我们的台式计算机上需要5.8分钟的构建时间和17秒的测试执行时间。对55,000个生成的突变体进行未优化的突变分析总共花费了11.8天,其中4.3天用于(重新)编译项目。在本文中,我们提出了一个可行性研究,调查如何一些优化策略可以实施的Clang前端。这些优化策略允许消除编译和执行开销,以支持C语言家族的有效突变测试。我们提供了一个概念验证工具,可以实现2倍到30倍的加速。我们对优化引起的加速进行了详细的分析,详细阐述了经验教训,并指出了进一步改进的途径。
2022-10-31 cs.SE
MOTIF: A tool for Mutation Testing with Fuzzing
MOTIF利用灰盒模糊测试生成C语言单元测试用例,克服了符号执行的局限性,能有效检测变异体中的注入故障,在安全关键CPS软件测试中表现更优。
2024-06-04 cs.SE
Fuzzing-based Mutation Testing of C/C++ Software in Cyber-Physical Systems
本文提出用模糊测试替代符号执行对 CPS 中 C/C++ 软件进行变异测试,并在卫星系统组件上验证其可检测 40%-90% 开发者测试遗漏的变异体,结合 Clang、内存消毒器和 laf-intel 插桩效果最佳,检测率比符号执行最高提升 50 个百分点。
2025-07-03 cs.SE
ParityFuzz: Finding Inconsistencies across Solidity Compilers via Fine-Grained Mutation and Differential Analysis
School of Software Engineering, Sun Yat-sen University(中山大学软件学院)
ParityFuzz通过细粒度变异和差分分析,发现Solidity编译器间的不一致,提升编译成功率和代码覆盖率,发现64个新问题,其中11个已修复,获得Polkadot社区奖金。
2026-05-09 cs.SE
Goal-Oriented Mutation Testing with Focal Methods
变异测试是评估测试集故障检测能力的最新技术。不幸的是,突变测试消耗了巨大的计算资源,因为它为每个注入的突变体运行整个测试套件。在本文中,我们探讨细粒度的可追溯性链接在方法级(命名为焦点方法),以减少执行时间的突变测试,并验证每个单独的方法的测试用例的质量,而不是通常验证的整体测试套件的质量。我们的方法在开源Apache Ant项目上的验证显示,位于焦点方法中的突变体的速度提高了573.5倍,质量得分为80%。
2018-10-09 cs.SE
Leveraging Mutation Analysis for LLM-based Repair of Quantum Programs
The University of Osaka(大阪大学);Kyushu University(九州大学)
本文提出利用突变分析提升基于大语言模型的量子程序修复效果,通过设计不同提示配置实验,发现突变分析能显著提高修复成功率和解释质量。
2026-01-18 cs.SE
Assertion Inferring Mutants
规范推理技术的目的是(自动)推断一组断言,通过动态测试执行和突变测试生成和过滤断言,捕获所展示的软件行为。虽然功能强大,但由于需要执行大量的断言,测试用例和变异版本,因此这些技术在计算上是昂贵的。为了克服这个问题,我们证明了一个小的子集,即,突变测试工具使用的12.95%的突变体足以用于断言推断,该子集显著不同,即,71.59%的差异,包含突变测试文献中经常引用的突变集,并可以通过基于学习的方法进行静态近似。特别是,我们提出了AIMS,一种选择断言推断突变体的方法,即,一组非常适合断言推理的突变体,具有0.58 MCC,0.79精度和0.49召回率。我们评估AIMS的46个程序,并证明它具有相当的推理能力与完整的突变分析(错过12.49%的断言),同时显着限制执行成本(运行速度快46.29倍)。与随机选择的突变体集的比较,显示了AIMS的优越性,推断36%以上的断言,同时需要大约等量的执行时间。我们还表明,AIMS的推断能力几乎是完整的,因为它推断了96. 15%的地面事实断言,(即,一套完整的断言,手动构建),而随机突变体选择推断其中的19.23%。更重要的是,AIMS使断言推理技术能够在完全突变测试过于昂贵且随机突变选择不会导致任何断言的受试者上扩展。
2023-01-28 cs.SE
Efficiently Finding Higher-Order Mutants
高阶变异具有改善传统一阶变异的主要缺点的潜力,例如通过模拟更真实的故障或改进测试优化技术。尽管人们对研究有希望的高阶突变体感兴趣,但由于突变组合的指数搜索空间,很难找到这样的突变体。最先进的方法依赖于遗传搜索,由于其随机性,这通常是不完整和昂贵的。首先,我们提出了一种新的方法,找到一套完整的高阶突变体,通过使用变分执行,一种技术,可以在许多情况下,探索大搜索空间完全,往往有效。其次,我们使用已识别的高阶突变体的完整集合来研究它们的特征。最后,我们使用所确定的特性来设计和评估一个新的搜索策略,独立于变的执行,这是非常有效的,即使在大型代码库中找到高阶突变体。
2020-04-04 cs.SE
Hybrid Fault-Driven Mutation Testing for Python
Simon Fraser University(西蒙菲莎大学);University of Ottawa(渥太华大学)
本文提出了一种基于静态和动态分析混合技术的Python变异测试方法,通过七种新的变异算子生成补充现有工具的变异体,提高测试覆盖率和发现缺陷的能力。
2026-07-22 cs.SE
Accelerating Patch Validation for Program Repair with Interception-Based Execution Scheduling
本文提出基于拦截的执行调度方法,解决变异测试技术适配通用补丁验证时的等价分析与状态捕获难题,并实现ExpressAPR验证器,将补丁验证加速137.1倍,使其不再成为APR的时间瓶颈。
2024-01-26 cs.SE
Robust Mutation Analysis of Quantum Programs Under Noise
King’s College London(伦敦国王学院);Simula Research Laboratory(西穆拉研究实验室);Oslo Metropolitan University(奥斯陆都会大学);National Institute of Informatics(日本情报学研究所)
本文研究了量子程序在噪声环境下的变异分析,通过41个程序在无噪声和有噪声模拟器上的实验,比较了不同距离度量和阈值策略,发现噪声显著影响程序与变异体的行为距离,输出分布度量在实际应用中表现最佳。
2026-05-13 cs.SE
An Exploratory Survey of Hybrid Testing Techniques Involving Symbolic Execution and Fuzzing
最近在实际符号执行方面的努力已经成功地在一定程度上缓解了路径爆炸问题,基于搜索的算法和组合方法。类似地,由于廉价多核商品计算机的性能提高,模糊作为一种可行的基于随机变异的测试方法也有希望。然而,结合符号执行和模糊,从而提供一个机会,以减轻彼此的缺点的可能性,还没有得到充分的探讨。例如,模糊可以加速符号执行中的路径探索,符号执行可以使模糊中的种子输入生成更有效。在我们看来,只有很少的混合解决方案提案以象征性的执行和模糊为中心。通过对77篇相关文献的分析,本文(1)对符号执行和模糊化的混合解决方案进行了综述,(2)分析了改进普通符号执行和模糊化的混合技术研究的差距,(3)提出了混合测试用例生成技术的新思路。
2017-12-19 cs.SE
Mutation Testing via Iterative Large Language Model-Driven Scientific Debugging
本文提出利用科学调试方法让大语言模型通过迭代假设与改进来生成针对变异体的测试,实验表明其缺陷检测能力和覆盖率均优于Pynguin等基线方法。
2025-03-11 cs.SE
Mutation Testing with Hyperproperties
提出了一种基于模型的变异驱动测试用例生成方法。通过对被测系统的模型或源代码进行小的语法修改来生成突变体。如果在运行测试时,突变体的行为偏离了原始系统,则测试用例会杀死该突变体。在这项工作中,我们使用hyperproperties-它允许表达多个执行之间的关系-正式确定性和非确定性模型的杀戮的不同概念。由此产生的超性质是普遍的,因为它们适用于任意的反应模型和突变体。此外,一个现成的超属性模型检验工具可以用来生成测试用例。我们评估我们的方法在两种不同的建模语言表示的模型数量生成测试使用一个国家的最先进的突变测试工具。
2019-07-17 cs.LO cs.SE
Cerebro: Static Subsuming Mutant Selection
突变测试研究表明,其应用成本的主要部分是由于它引入了大量的低效用突变体。虽然以前的研究已经发现了这个问题,但没有以前的研究提出任何有效的解决方案。因此,仍然不清楚如何以最佳努力的方式改变和测试给定的代码片段,即,在投入的努力和测试有效性之间实现良好的权衡。为了实现这一点,我们提出了Cerebro,一种静态选择包含突变体的机器学习方法,即,基于突变体周围的代码上下文,位于包容层次结构顶部的突变体集合。我们分别使用48个和10个用C和Java编写的程序对Cerebro进行了评估,并证明它保留了突变测试的优势,同时限制了应用成本,即,降低了所有的成本应用因素,例如等效突变体、突变体执行和需要分析的突变体。我们证明,Cerebro具有很强的项目间预测能力,这是显着高于两个基线方法,即,对最先进的特征进行监督学习,以及随机突变选择。更重要的是,我们的研究结果表明,Cerebro选择的突变体导致了强有力的测试,当选择相同数量的突变体时,这些测试分别能够杀死比基线杀死的包含突变体数量高2倍的数量。与此同时,Cerebro减少了成本相关因素,因为它选择的等效突变体平均减少了68%,而需要的测试执行比基线减少了90%。
2022-03-01 cs.SE
Quality-Driven Selective Mutation for Deep Learning
Institute of Computer Science, University of Göttingen(哥廷根大学计算机科学研究所)
本文提出一种概率框架,通过电阻和现实性两个维度量化突变体质量,用于选择高质突变操作符配置,减少突变体生成和执行成本,同时保持突变体的有效性。
2026-04-24 cs.LG cs.SE
Sentinel: A Hyper-Heuristic for the Generation of Mutant Reduction Strategies
University College London(伦敦大学学院);Federal University of Paraná(巴拉那联邦大学)
变异测试是评价和增强软件测试集的一种有效方法,但变异体的执行计算代价限制了其应用。已经提出了几种策略来降低这种成本(a.k.a.突变成本降低策略),然而,它们中没有一个被证明对所有场景都有效,因为它们通常需要根据被测软件(SUT)进行专门的手动选择和配置。在本文中,我们提出了一种新的多目标进化超启发式方法,称为哨兵,自动生成的最佳成本降低策略,为每一个新的SUT。我们通过进行一项全面的实证研究来评估Sentinel,该研究涉及10个开源真实世界软件系统的40个版本,并将基线和最先进的策略作为基准。我们总共执行了4,800个实验,并根据文献中最新的最佳实践,使用质量指标和统计显著性检验来评估其结果。结果表明,在95%的情况下,Sentinel生成的策略优于基线策略,并且总是具有较大的效应量。在88%的病例中,它们还获得了统计学上显著优于最先进策略的结果,其中95%的病例具有较大的效应量。此外,我们的研究表明,在95%的情况下,Sentinel为给定软件版本生成的突变策略可以用于随后开发的版本,而不会造成任何质量损失。这些结果表明,Sentinel能够自动生成突变策略,降低突变测试成本,而不影响其测试有效性(即突变分数),从而从测试人员的肩膀上卸下手动选择和配置每个SUT策略的负担。
2021-03-12 cs.AI cs.SE
FuzzerGym: A Competitive Framework for Fuzzing and Learning
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
Fuzzing是一种常用的技术,旨在通过自动制作程序输入来测试软件。目前,最成功的模糊算法强调简单,低开销的策略,在执行过程中有效地监视程序状态的能力。通过编译时插装,这些方法可以访问程序状态的许多方面,包括覆盖率、数据流以及异构故障检测和分类。然而,现有的方法在生成测试输入时利用盲随机变异策略。我们提出了一种不同的方法,使用这种状态信息来优化变异算子,使用强化学习(RL)。通过将OpenAI Gym与libFuzzer集成,我们能够同时利用强化学习和模糊化的进步,在多个不同的基准测试中实现更深入的覆盖。我们的技术将LLVM算法提供的丰富、高效的程序监控器与深度神经网络连接起来,直接从输入数据中学习突变选择策略。我们开发的跨语言异步架构使我们能够将任何OpenAI Gym兼容的深度强化学习算法应用于任何模糊问题,并且速度最小。
2018-07-19 cs.AI cs.LG cs.SE
ExecRetrieval: Measuring the Functional-Correctness Gap in Code-Embedding Retrieval
Kennesaw State University(肯尼索州立大学)
本研究提出 ExecRetrieval 基准,含 939 个 Python 任务及配对的规范实现与有缺陷干扰项,评估代码嵌入检索系统,发现其功能正确性差距显著,exec@1 仅 0.331,多数排名第 1 的缺失项为有缺陷变体。
2026-09-04 cs.AI cs.CL cs.IR