Cerebro: Static Subsuming Mutant Selection
突变测试研究表明,其应用成本的主要部分是由于它引入了大量的低效用突变体。虽然以前的研究已经发现了这个问题,但没有以前的研究提出任何有效的解决方案。因此,仍然不清楚如何以最佳努力的方式改变和测试给定的代码片段,即,在投入的努力和测试有效性之间实现良好的权衡。为了实现这一点,我们提出了Cerebro,一种静态选择包含突变体的机器学习方法,即,基于突变体周围的代码上下文,位于包容层次结构顶部的突变体集合。我们分别使用48个和10个用C和Java编写的程序对Cerebro进行了评估,并证明它保留了突变测试的优势,同时限制了应用成本,即,降低了所有的成本应用因素,例如等效突变体、突变体执行和需要分析的突变体。我们证明,Cerebro具有很强的项目间预测能力,这是显着高于两个基线方法,即,对最先进的特征进行监督学习,以及随机突变选择。更重要的是,我们的研究结果表明,Cerebro选择的突变体导致了强有力的测试,当选择相同数量的突变体时,这些测试分别能够杀死比基线杀死的包含突变体数量高2倍的数量。与此同时,Cerebro减少了成本相关因素,因为它选择的等效突变体平均减少了68%,而需要的测试执行比基线减少了90%。
2022-03-01 cs.SE
Search-Based Generation of Undetected Quantum Circuit Mutants
Simula Research Laboratory(Simula研究实验室);Oslo Metropolitan University(奥斯陆城市大学);Trinity College Dublin, School of Computer Science and Statistics(都柏林三一学院计算机科学与统计学院);National Institute of Informatics(信息学研究所)
针对现有量子变异分析工具生成的变异体易检测的问题,提出QUMUG方法,通过搜索算法生成更具挑战性的未被检测的量子电路变异体,提升测试套件评估效果。
2026-08-11 cs.SE
Exploring the Potential of Large Language Models in Simulink-Stateflow Mutant Generation
Mondragon University(蒙德拉贡大学);Simula Research Laboratory(西穆拉研究实验室);Oslo Metropolitan University(奥斯陆都会大学)
本文利用大型语言模型生成高质量的Simulink-Stateflow变异体,显著提高了生成效率和变异体质量。
2026-02-12 cs.SE
Effectively Sampling Higher Order Mutants Using Causal Effect
高阶变异(HOM)已经被提出来避免等价的突变体,提高变异测试的可扩展性,但产生有用的HOM本身仍然是一个昂贵的搜索问题。我们提出了一种新的方法来产生强包容高阶突变体(SSHOM)使用最近推出的因果程序依赖分析(CPDA)。CPDA本身是基于程序突变的,并且提供了对一个程序元素的值的改变将引起另一个程序元素的值的改变的频率的定量估计。我们的SSHOM生成方法使用基于CPDA分析的启发式方法选择程序元素对,对所选对执行一阶变异,并通过组合两个FOM生成HOM。
2021-04-22 cs.SE
Hybrid Fault-Driven Mutation Testing for Python
Simon Fraser University(西蒙菲莎大学);University of Ottawa(渥太华大学)
本文提出了一种基于静态和动态分析混合技术的Python变异测试方法,通过七种新的变异算子生成补充现有工具的变异体,提高测试覆盖率和发现缺陷的能力。
2026-07-22 cs.SE
Finding Higher Order Mutants Using Variational Execution
变异测试是一种有效但耗时的测试方法。它通过重复地对源代码进行更改(称为突变体)并检查测试套件是否失败(即,突变体是否被杀死)。最近的研究表明,应用多个变化(称为高阶突变)比单个变化(称为一阶突变)更难杀死。具体来说,一种特殊的高阶变异,称为强包容高阶变异(SSHOM),可以使相同的准确性,在评估测试集的质量与较少的测试执行。人们对这些SSHOM知之甚少,因为它们很难找到。我们在这项研究中的目标是确定一个更快,更可靠的方法来寻找SSHOMs,以便在未来表征它们。我们提出了一种基于变分执行的方法来找到SSHOMs。初步的结果表明,变分执行比现有的遗传算法的速度和结果的完整性。在一组33个一阶突变中,我们的变分执行方法在4.5秒内找到所有38个SSHOM,而遗传算法在50秒内只找到38个SSHOM中的36个。
2018-09-12 cs.SE
An Energy-aware Mutation Testing Framework for EAST-ADL Architectural Models
嵌入式系统的早期设计工件,如体系结构模型,表示方便的抽象推理系统的结构和功能。一个这样的例子是电子架构和软件工具-架构描述语言(EAST-ADL),一种针对汽车行业的特定领域架构语言。EAST-ADL用于表示硬件和软件元素,以及相关的功能外信息(例如,定时属性、触发信息、资源消耗)。建筑模型的测试是大规模工业系统工程中的一项重要活动,引起了越来越多的研究兴趣。本文的主要贡献是:(i)为EAST-ADL架构模型创建能量相关突变体的方法,(ii)克服等效突变问题的方法(即,的问题,找到一个测试用例,它可以区分从原来的一个突变体的可观察的行为),(iii)一个测试生成方法的基础上UPPAAL统计模型(SMC),和(iv)一个测试选择标准的基础上突变分析使用我们的MATS工具。
2018-02-04 cs.SE
Robust Mutation Analysis of Quantum Programs Under Noise
King’s College London(伦敦国王学院);Simula Research Laboratory(西穆拉研究实验室);Oslo Metropolitan University(奥斯陆都会大学);National Institute of Informatics(日本情报学研究所)
本文研究了量子程序在噪声环境下的变异分析,通过41个程序在无噪声和有噪声模拟器上的实验,比较了不同距离度量和阈值策略,发现噪声显著影响程序与变异体的行为距离,输出分布度量在实际应用中表现最佳。
2026-05-13 cs.SE
Mutation Testing via Iterative Large Language Model-Driven Scientific Debugging
本文提出利用科学调试方法让大语言模型通过迭代假设与改进来生成针对变异体的测试,实验表明其缺陷检测能力和覆盖率均优于Pynguin等基线方法。
2025-03-11 cs.SE
Beyond Rule-Based Mutation Testing: Test-Aware Mutant Generation Using Large Language Models
University of Calgary(卡尔加里大学)
提出测试感知变异体生成方法,让LLM在提示中同时看到问题、解和基础测试,生成通过基础测试但被扩展测试捕获的真实缺陷,在HumanEval和MBPP上显著优于测试盲目提示和规则工具。
2026-09-30 cs.AI cs.SE
A Comprehensive Study on Large Language Models for Mutation Testing
Beijing Jiaotong University(北京交通大学);University College London(伦敦大学学院);University of Luxembourg(卢森堡大学);King’s College London(伦敦国王学院)
本文研究了大型语言模型在变异测试中的性能,发现其在故障检测率上有显著提升,但同时也带来了非可编译性等指标的下降。
2026-01-22 cs.SE
MUCOCO: Automated Consistency Testing of Code LLMs
Singapore University of Technology and Design(新加坡科技设计大学);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
本文提出MUCOCO方法,通过语义保持变异分析自动发现代码大语言模型中的不一致行为,实验表明其在暴露不一致性和性能上优于现有基准。
2026-09-03 cs.SE
Mutation-Guided LLM-based Test Generation at Meta
Meta Platforms(元平台公司);FAIR, Meta Platforms(元平台公司FAIR实验室)
Meta的ACH系统通过LLM生成针对特定问题的突变体及测试,强化代码防回归,应用于7个平台,生成9095个突变体和571个测试,工程师接受率达73%。
2025-01-22 cs.AI cs.LG cs.SE
Minimum Complete MR Subsets under Semantic-Mutation Fault Models: A Support-Set Domination Boundary
School of Computing, University of South China(南华大学计算机学院);Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment(智能装备软件评测与测试湖南省工程研究中心);CNNC Key Laboratory on High Trusted Computing(中核集团高可信计算重点实验室)
本文提出基于变异覆盖的层相对完整性准则,通过支持集支配边界确定何时类级抽象安全、何时需要变异级MR最小化,并证明Min-MR-Complete问题等价于集合覆盖问题。
2026-06-06 cs.DS cs.SE
Grounding Deep Learning Framework Testing in Data Flow
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);UNIST(蔚山科学技术院)
该研究提出基于数据流的FlowMuT测试方法,通过TFG捕获运行时信息,在PyTorch和MindSpore上测试发现55个基线遗漏bug,提升了数据流多样性与合法变异体率。
2026-10-14 cs.LG cs.SE
DSpec2Test: Specification-Driven Test Generation in Dafny
INESC TEC, Faculdade de Engenharia, Universidade do Porto(波尔图大学工程科学学院)
DSpec2Test 提出一种基于规范的黑盒测试生成工具,利用 DNF 等价类划分和 BVA 扩展 Dafny,通过 Z3 合成输入输出,在 131 个变异体上达到 93.9% 的杀死率,优于现有 Block 模式。
2026-09-25 cs.SE
Provably Lossless Acceleration of DNN Mutation Testing via Memoization
Auburn University(奥本大学);University of Utah(犹他大学);Google Research(谷歌研究院);Texas State University(德克萨斯州立大学)
研究针对深度神经网络变异测试成本高的问题,提出Mure框架,通过记忆化仅执行突变体变异后缀并重用原始模型公共前缀,实现可证明无损加速,实验证明其能有效降低计算成本,在高变异率下也有显著加速效果。
2026-07-22 cs.SE
Enhancing Reuse of Constraint Solutions to Improve Symbolic Execution
约束求解重用是节省符号执行中约束求解时间的有效途径。大多数现有的重用方法是基于语法或语义等价的约束;例如,绿色框架是能够重用的约束,具有不同的表示,但语义等价,通过规范化的约束到语法等价的范式。然而,语法/语义等价并不是重用的必要条件--有些约束在语法或语义上并不等价,但它们的解决方案仍然具有重用的潜力。现有的方法无法识别和重用这些约束。在本文中,我们提出了GreenTrie,一个扩展的绿色框架,它支持约束重用的基础上的逻辑蕴涵关系的约束。GreenTrie提供了一个名为L-Trie的组件,它将约束和解决方案存储到try中,并通过约束的隐含偏序图进行索引。L-Trie能够对给定的约束进行逻辑约简和逻辑子集和超集查询,以检查先前解决的约束的重用。我们报告的GreenTrie对原来的绿色框架,这表明我们的扩展实现了更好的重用约束求解结果,节省了显着的符号执行时间的实验评估结果。
2015-01-28 cs.SE
Mutation Testing of Simulink Cyber-Physical System Models: Challenges and Solutions in Practice
Universiteit Antwerpen(安特卫普大学);Flanders Make VZW(弗拉芒制造中心);DUCO (NV)(DUCO公司);Ege University(伊兹密尔经济大学)
本文结合建筑通风系统企业DUCO的试点项目,分析了将变异测试融入Simulink网络物理系统模型测试时面临的等价变异体等特殊挑战,为工业界应用该技术提供了实践参考。
2026-08-26 cs.SE
Duplicate-sensitivity Guided Transformation Synthesis for DBMS Correctness Bug Detection
数据库管理系统(DBMS)在从移动应用程序到网上银行的现代软件中发挥着核心作用。DBMS应该为所有应用程序提供正确的数据是至关重要的。当DBMS返回不正确的数据时,就会触发正确性错误。目前的生产级数据库管理系统仍然遭受不足的测试,由于有限的手写测试用例。最近几个作品提出了自动生成许多测试用例的查询转换,一个过程中产生一个等价的查询对和测试的DBMS,通过检查系统是否返回相同的结果集的两个查询。然而,它们仍然严重依赖于手工工作来提供转换,这在很大程度上限制了它们对有效输入查询空间的探索。本文介绍了重复灵敏度指导的变换合成,自动发现新的转换,首先合成许多候选人,然后过滤不等价的。我们的自动合成是通过变异的查询,同时保持其重复的敏感性,这是查询等价的必要条件。在候选合成之后,我们使用查询等价检查器来保持与给定查询等价的突变查询。此外,我们已经实现了我们的想法在一个工具Eqsql,并使用它来测试生产级DBMS。在两个月内,我们在MySQL、TiDB和CynosDB中总共检测到30个新确认的独特错误。
2021-07-08 cs.DB cs.PL cs.SE
Data-driven Mutation Analysis for Cyber-Physical Systems
信息物理系统(CPS)通常由一组广泛的集成,异构组件,因此,他们的大部分关键故障涉及到这些组件的互操作性。不幸的是,大多数CPS测试自动化技术是初步的,行业仍然严重依赖于手工测试。对于可能不完整的、手动生成的测试套件,评估其质量是至关重要的。虽然变异分析已被证明是一种有效的手段来评估测试套件的质量在某些特定的情况下,我们缺乏的方法,CPS。事实上,现有的方法不针对互操作性问题,不能在黑箱或模拟组件的存在下执行,这是CPS的典型情况。在本文中,我们介绍了数据驱动的突变分析,一种方法,包括在评估测试套件的质量,验证它是否检测到互操作性故障模拟突变的数据交换的软件组件。为此,我们描述了一种数据驱动的突变分析技术(DaMAT),自动改变通过数据缓冲区交换的数据。我们的技术是由故障模型驱动的表格形式,工程师指定如何通过选择和配置一组变异运算符变异数据项。我们在空间领域用CPS对DaMAT进行了评估;具体而言,是去年在轨道上发射的微型卫星和纳米卫星软件系统的测试套件。我们的研究结果表明,该方法有效地检测测试套件的缺点,是不受等效和冗余突变,并需要可接受的成本。
2022-10-05 cs.SE
Verifying Data Constraint Equivalence in FinTech Systems
数据约束在金融科技系统中被广泛用于监控数据一致性和诊断异常数据操作。然而,在开发周期中会产生许多冗余的等效数据约束,从而减慢了金融科技系统的速度,并导致不必要的警报。我们提出了EqDAC,一个有效的决策过程,以确定数据约束等价。我们首先提出了语义编码的符号表示,然后引入两个轻量级的分析来反驳和证明的等价性,分别,这被证明是在多项式时间内实现。我们在金融科技系统中对30,801个数据约束进行了EqDAC评估。结果表明,EqDAC在三个小时内检测到11,538个等效数据约束。它还支持高效的等价搜索,平均时间成本为1.22秒,使系统能够在提交时检查新的数据约束。
2023-01-26 cs.PL cs.SE
Generating Equivalent Representations of Code By A Self-Reflection Approach
School of Computer Science, Peking University(北京大学计算机学院)
本文提出一种自反思方法,让两个大语言模型相互协作生成代码的等价表示,并在开放和受限两种设置下验证其有效性,以支持多种软件工程任务。
2024-10-04 cs.CL cs.PL cs.SE