Tailored Mutants Fit Bugs Better
突变分析测量测试套件的充分性,测试套件检测种子故障的程度:如果检测到更多的突变,则一个测试套件比另一个测试套件更好。突变分析的有效性依赖于突变体与真实故障耦合的假设,即突变体检测与真实故障检测密切相关。验证这一点的工作也表明,很大一部分缺陷仍然无法触及。我们引入量身定制的突变算子来达到和捕获这些缺陷。定制的变异操作符是从现有的代码库及其历史构建的,并应用于现有的代码库及其历史。例如,他们可以识别和重放特定于项目的错误。作为我们的出发点,我们为标识符定义了定制的变异操作符,变异分析在很大程度上忽略了这些操作符,因为有太多的方法可以对它们进行变异。在Defects 4J数据集上进行评估,与传统的突变算子相比,我们的新突变算子创建的突变体与14%以上的错误相耦合。然而,这些新的突变算子使突变体的数量增加了四倍。为了解决这个问题,我们提出了一种新的方法,突变选择集中在应用突变算子的位置和突变代码的不自然性。结果表明,位置选择算法产生的突变更紧密地耦合到真正的故障,对于一个给定的预算的突变算子的应用程序。总之,本文定义并探索了定制的突变算子,从两个方面推进了突变测试的发展水平:1)它建议突变标识符和文字的突变算子,将突变分析扩展到一类新的故障; 2)它表明,选择应用突变算子的位置可以减少生成的突变体的数量,而不会影响突变体和实际突变体的耦合。断层
2016-11-08 cs.SE
Finding Higher Order Mutants Using Variational Execution
变异测试是一种有效但耗时的测试方法。它通过重复地对源代码进行更改(称为突变体)并检查测试套件是否失败(即,突变体是否被杀死)。最近的研究表明,应用多个变化(称为高阶突变)比单个变化(称为一阶突变)更难杀死。具体来说,一种特殊的高阶变异,称为强包容高阶变异(SSHOM),可以使相同的准确性,在评估测试集的质量与较少的测试执行。人们对这些SSHOM知之甚少,因为它们很难找到。我们在这项研究中的目标是确定一个更快,更可靠的方法来寻找SSHOMs,以便在未来表征它们。我们提出了一种基于变分执行的方法来找到SSHOMs。初步的结果表明,变分执行比现有的遗传算法的速度和结果的完整性。在一组33个一阶突变中,我们的变分执行方法在4.5秒内找到所有38个SSHOM,而遗传算法在50秒内只找到38个SSHOM中的36个。
2018-09-12 cs.SE
Practical Mutation Testing at Scale
突变分析通过测量测试集检测系统地植入到被测程序中的小的人工错误的能力来评估测试集的充分性。突变分析被认为是最强的测试充分性标准之一。突变测试建立在突变分析之上,是一种使用突变体作为测试目标来创建或改进测试套件的测试技术。突变测试长期以来一直被认为是棘手的,因为可以创建的突变体的绝对数量代表了一个不可逾越的问题-无论是在人力还是计算方面。这阻碍了突变测试作为行业标准的采用。例如,Google拥有20亿行代码的代码库,每天执行超过5亿个测试。传统的突变测试方法无法扩展到这样的环境。为了解决这些问题,本文提出了一种基于以下主要思想的可扩展的突变测试方法:(1)突变测试是增量式的,在代码评审过程中只对更改的代码进行突变,而不是对整个代码库进行突变;(2)突变体被过滤,去除可能与开发人员无关的突变体,并限制每行代码和每个代码评审过程中的突变体数量;(3)根据突变算子的历史表现选择突变体,进一步剔除无关突变体,提高突变体质量。在一个基于代码审查的环境中,超过24,000名开发人员对1,000多个项目进行了评估,结果表明,所提出的方法产生的突变体数量级减少,基于上下文的突变体过滤和选择提高了突变体的质量和可操作性。总的来说,所提出的方法代表了一个突变测试框架,无缝集成到软件开发工作流程,适用于大规模的工业环境。
2021-02-26 cs.SE
Does mutation testing improve testing practices?
已经定义了测试质量的各种代理度量,以便在编写测试时指导开发人员。代码覆盖率在实践中特别好地建立起来,尽管覆盖率如何与测试质量相关的问题是一个正在进行的辩论。突变测试提供了一个有希望的替代方案:人工缺陷可以识别测试套件中的漏洞,从而为额外的测试提供具体的建议。尽管突变检测有明显的优势,但在实践中还没有很好地建立起来。直到最近,突变测试工具和技术还不能扩展到复杂的系统。虽然他们现在做规模,剩下的障碍是缺乏证据表明,编写测试的突变体实际上提高测试质量。在本文中,我们的目标是填补这一空白:通过分析近1500万个突变体的大型数据集,我们研究了这些突变体如何随着时间的推移影响开发人员,以及这些突变体如何与真正的故障相关。我们的分析表明,使用突变测试的开发人员编写更多的测试,并积极改善他们的测试套件与高质量的测试,使更少的突变。通过分析一个数据集的过去修复真正的高优先级的故障,我们的分析进一步提供证据,突变体确实与真正的故障。换句话说,如果突变测试被用于引入错误的更改,它将报告一个可以防止错误的活突变体。
2021-03-12 cs.SE
What It Would Take to Use Mutation Testing in Industry--A Study at Facebook
传统上,突变测试会产生大量的程序小偏差,称为突变体。在Facebook这样规模的工业系统中,这样做是不可行的。我们不应该创建测试套件可能会失败的突变体,或者不给开发人员可操作的信号。为了解决这个问题,在本文中,我们半自动地从常见的Java编码错误语料库中学习错误诱导模式,并从导致Facebook操作异常的变化中学习。我们将突变与测量哪些测试恰好访问了突变的代码片段的检测相结合。超过15,000个生成的突变体的结果显示,超过一半的生成的突变体通过了Facebook严格的单元测试,集成测试和系统测试。此外,在一个有26名开发人员的案例研究中,除了两名开发人员之外,所有人都发现了自动检测到的测试漏洞的信息。因此,26人中几乎有一半会通过调整现有测试或创建新测试来对呈现给他们的突变体采取行动。其他人没有因为各种各样的原因,通常超出了突变测试的范围。如何将这些外部信息纳入突变体研究,以提高突变体的真实可操作性,这仍然是一个实际的挑战。
2021-01-27 cs.SE
Quantum Mutant Equivalence via Transpilation
Faculdade de Engenharia, Universidade do Porto(波尔图大学工程学院);LASIGE, Faculdade de Ciências, Universidade de Lisboa(里斯本大学理学院LASIGE);Toronto Metropolitan University(多伦多都会大学)
针对量子软件变异测试中的等价变异体问题,提出基于转译的等价性检测方法TBE,通过比较转译后的OpenQASM代码识别等价变异体,在34.8万变异体上达到100%精确率和82%准确率。
2026-06-26 cs.SE
QCRMut: Quantum Circuit Random Mutant generator tool
Universidad Complutense de Madrid(马德里康普顿斯大学)
提出QCRMut工具,通过不可变位置保留电路结构并生成随机变异体,在稳定Qiskit版本上实现高效、代表性的变异测试,与穷举变异相比得分相当且更稳定。
2026-06-09 cs.SE
Goal-Oriented Mutation Testing with Focal Methods
变异测试是评估测试集故障检测能力的最新技术。不幸的是,突变测试消耗了巨大的计算资源,因为它为每个注入的突变体运行整个测试套件。在本文中,我们探讨细粒度的可追溯性链接在方法级(命名为焦点方法),以减少执行时间的突变测试,并验证每个单独的方法的测试用例的质量,而不是通常验证的整体测试套件的质量。我们的方法在开源Apache Ant项目上的验证显示,位于焦点方法中的突变体的速度提高了573.5倍,质量得分为80%。
2018-10-09 cs.SE
Beyond Rule-Based Mutation Testing: Test-Aware Mutant Generation Using Large Language Models
University of Calgary(卡尔加里大学)
提出测试感知变异体生成方法,让LLM在提示中同时看到问题、解和基础测试,生成通过基础测试但被扩展测试捕获的真实缺陷,在HumanEval和MBPP上显著优于测试盲目提示和规则工具。
2026-09-30 cs.AI cs.SE
New Formulation of DNN Statistical Mutation Killing for Ensuring Monotonicity: A Technical Report
针对DeepCrime统计变异杀死标准违反单调性的问题,提出基于Fisher精确检验的新公式化方法,在保持统计严谨性的同时确保单调性。
2025-07-15 cs.SE
PRIMG : Efficient LLM-driven Test Generation Using Mutant Prioritization
Polytechnique Montréal(蒙特利尔理工学院);Quantstamp, Inc(Quantstamp公司)
本文提出 PRIMG 框架,结合基于变异体包含图训练的 ML 优先级排序与 LLM 迭代测试精化,为 Solidity 合约生成高覆盖率且更精简的测试。
2025-05-08 cs.LG cs.SE
PITMuS: A Tool for Automated Bug Dataset Generation via Source-Level Mutant Reconstruction
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出PITMuS工具,通过源级变异体重建生成自动化bug数据集,解决现有工具生成的变异体难以复现和利用的问题,为bug定位和修复技术提供结构化数据支持。
2026-08-04 cs.SE
Mutation Analysis with Execution Taints
针对变异分析中变异后阶段仍存在冗余计算的问题,提出 execution taints 技术并结合记忆化,消除程序变体间冗余执行以提升效率。
2024-03-02 cs.SE
Hybrid Fault-Driven Mutation Testing for Python
Simon Fraser University(西蒙菲莎大学);University of Ottawa(渥太华大学)
本文提出了一种基于静态和动态分析混合技术的Python变异测试方法,通过七种新的变异算子生成补充现有工具的变异体,提高测试覆盖率和发现缺陷的能力。
2026-07-22 cs.SE
Contextual Predictive Mutation Testing
提出MutationBERT,通过同时编码源方法变异体和测试方法捕获上下文,提升预测性变异测试精度,节省33%验证时间,并在同项目与跨项目设置中优于现有技术。
2023-09-05 cs.SE
Mutation-driven Test Case Generation Using Short-lived Concurrent Mutants -- First Results
在黑盒测试的背景下,通过模型变异生成测试用例可以产生强大的测试套件,但通常具有昂贵的缺点。本文提出了一个新版本的工具MoMuT::UML(www.momut.org),它实现了一个可扩展版本的突变驱动的测试用例生成(MDTCG)。它能够处理工业规模的UML模型,包括网络,例如,2800个交互状态机。为了实现所需的可扩展性,实现的算法利用MDTCG中的并发性,并将其与基于搜索的生成策略相结合。为了进行评估,我们使用七个不同的应用领域的案例研究,难度越来越大,停在奥地利国家铁路网的火车站模型。
2016-12-21 cs.SE
TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications
ETH Zurich(苏黎世联邦理工学院)
本研究推出TestSuiteBench基准,发现前沿编码智能体虽能生成有效代码,但难以根据规范生成高质量测试套件,凸显自主软件开发中代码与验证能力的缺口。
2026-10-12 cs.SE
Property-Based Mutation Testing
变异测试是一种成熟的软件质量保证技术,用于评估测试套件。虽然它非常适合于估计测试套件的一般故障揭示能力,但当被测软件必须针对特定需求进行验证时,它并不实用和提供信息。这通常是嵌入式软件的情况,其中软件通常根据严格指定的安全属性进行验证。在这种情况下,(i)只有当突变体可以影响测试特性的满足时,突变体才是相关的,以及(ii)只有当突变体导致违反该特性时,突变体才被有意义地杀死。为了解决这些限制的突变测试,我们介绍了基于属性的突变测试,一种方法,用于评估测试套件的能力,行使软件相对于一个给定的属性。我们评估我们的基于属性的突变测试框架的Simulink模型的安全关键的网络物理系统(CPS)从汽车和航空电子领域,并演示如何基于属性的突变测试比常规突变测试更翔实。这些结果为CPS的突变测试和测试用例生成开辟了新的视角。
2023-01-31 cs.SE
Toward Speeding up Mutation Analysis by Memoizing Expensive Methods
变异分析有许多应用,如评估测试用例的质量,故障定位,测试输入生成,安全分析等,这些应用涉及到运行测试套件对大量的程序突变体,导致可扩展性差。许多研究旨在加速这一过程,重点是减少突变体的数量,执行测试的数量或突变体的执行时间。本文提出了一种新的方法,命名为MeMu,减少突变体的执行时间,通过记忆系统中最昂贵的方法。记忆化是一种优化技术,当检测到重复输入时,它允许绕过执行昂贵的方法。MeMu可以与现有的加速技术结合使用。我们实现MeMu上的PITest,一个著名的JVM字节码级的突变分析系统,并获得了平均18.15%的速度比PITest,在执行时间的突变体为12个现实世界的程序。这些有希望的结果以及MeMu也可以用于涉及重复执行测试的其他应用程序的事实(例如,自动程序修复和回归测试),有力地支持未来的研究,以提高其效率。
2021-02-23 cs.SE
Predictive Mutation Analysis via Natural Language Channel in Source Code
突变分析可以为被测系统(SUT)及其测试套件提供有价值的见解。然而,由于构建和测试大量突变体的成本,它不可扩展。预测突变测试(PMT)已经被提出来降低突变测试的成本,但它只能提供关于突变体是否会被整个测试套件杀死的统计推断。我们提出了Seshat,一种预测突变分析(PMA)技术,可以准确地预测整个杀伤矩阵,而不仅仅是给定测试套件的突变得分。Seshat利用代码中的自然语言通道,并从给定的kill矩阵中学习每个测试用例的语法和语义概念与它可以杀死的突变体之间的关系。学习后的模型可以用于预测程序后续版本的杀伤矩阵,即使在源代码和测试代码都发生了重大变化之后。使用Defects 4J中的程序进行的经验评估表明,Seshat可以预测相隔数年的版本的平均F分数为0.83的杀伤矩阵。这是一个改进的F-分数由0.14和0.45点,比国家的最先进的预测突变测试技术,和一个简单的覆盖率为基础的启发式,分别。Seshat在预测突变分数方面也表现得和PMT一样好。一旦Seshat使用具体的突变分析训练其模型,Seshat随后做出的预测平均比实际的基于测试的分析快39倍。
2022-01-04 cs.SE
METFORD -- Mutation tEsTing Framework fOR anDroid
本文提出 Android 变异测试框架 METFORD,利用变异体模式集成传统与 Android 专用算子,显著降低时间、磁盘和碳足迹成本。
2025-01-12 cs.SE
Test vs Mutant: Adversarial LLM Agents for Robust Unit Test Generation
Shanghai Jiao Tong University(上海交通大学)
AdverTest通过对抗性代理提升单元测试生成的鲁棒性,提高故障检测率和覆盖率
2026-09-02 cs.SE
Mutation-Guided Unit Test Generation with a Large Language Model
University of Limerick(利默里克大学);Research Ireland Lero Centre for Software, University of Limerick(爱尔兰研究莱罗软件中心,利默里克大学);University of Ottawa(渥太华大学);Software Engineering Application Technology Lab Huawei(华为软件工程应用技术实验室)
本文提出MUTGEN方法,利用突变反馈提升测试覆盖率,优于EvoSuite和传统提示方法,在突变分数上表现更优,并探讨了LLM生成的局限性。
2026-04-15 cs.SE
Learning How to Mutate Source Code from Bug-Fixes
变异测试作为一种指导测试用例生成或评估测试集有效性的方法已被广泛接受。实证研究表明,突变体是真正的故障的代表,但他们也表明了一个明确的需要更好的,可能定制的,突变算子和策略。虽然存在从实际错误中设计特定于域或通用的变异操作符的方法,但它们容易出错,并且不能帮助测试人员决定是否以及如何变异给定的源代码元素。我们提出了一种新的方法来自动学习突变体的故障在真正的程序。首先,我们的方法使用细粒度的差异,代码抽象和变更聚类来处理错误修复变更。然后,它使用深度学习策略学习突变模型。我们已经在一组从GitHub挖掘的~ 787 k错误修复上训练和评估了我们的技术。我们的经验评估表明,我们的模型能够预测在9%到45%的情况下类似于实际修复错误的突变体,并且超过98%的自动生成的突变体在词汇和语法上是正确的。
2019-07-29 cs.SE
Generating Class-Level Integration Tests Using Call Site Information
基于搜索的方法已经在文献中被用于自动化创建单元测试用例的过程。然而,相关的工作已经表明,生成的具有高代码覆盖率的单元测试可能是无效的,即,它们可能不会检测到所有故障或杀死所有注入的突变体。在本文中,我们提出了CLING,一个集成级的测试用例生成方法,利用一对类,调用者和被调用者,通过方法调用相互作用。特别是,CLING生成集成级测试用例,最大化耦合分支准则(CBC)。耦合分支是一对分支,包含调用者的分支和被调用者的分支,这样执行前者的集成测试也会执行后者。CBC是一种新的集成级覆盖标准,用于度量测试套件执行调用者和被调用者类之间交互的程度。我们实现了CLING,并对来自五个不同开源Java项目的140对类进行了评估。我们的研究结果表明:(1)CLING生成的测试集具有高CBC覆盖率,这要归功于将测试集生成定义为多目标问题,其中每对分支都是独立的目标;(2)这样生成的测试集触发不同的类交互,平均可以杀死7.7%(最多50%)在单位水平上生成的测试未检测到的突变体;(3)CLING可以检测到由于对被调用类的使用的错误假设而导致的集成错误。(对于我们的主题系统为32个),在使用自动生成的单元级测试套件时仍然无法检测到。
2022-09-13 cs.SE
Assessing Exception Handling Testing Practices in Open-Source Libraries
现代程序设计语言(例如,Java和C#)提供了将错误处理代码与常规代码分离的功能,旨在增强软件的可理解性和可维护性。然而,异常处理(EH)代码的结构,在这样的语言可能会导致多个,不同的,复杂的控制流,这可能会影响软件的可测试性。以前的研究报告,EH代码通常被忽视,没有得到很好的测试,它的误用可能导致可靠性下降和灾难性的故障。然而,很少有人知道测试实践和EH测试有效性之间的关系。在这项探索性研究中,我们(i)测量了EH测试关于代码覆盖(指令,分支和方法)标准的充分程度;(ii)通过测量其检测人工注入故障(即,突变体)。我们的研究是使用来自开源生态系统的27个长寿Java库的测试套件进行的。我们的研究结果表明,指令和分支内的$\mathtt{catch}$块和$\mathtt{throw}$指令覆盖较少,与整体指令和分支的统计意义。尽管如此,大多数研究的图书馆提出的测试套件能够检测到超过70%的注入故障。在这项研究中创建的总共12,331个突变体中,测试套件能够检测到其中的68%。
2021-05-02 cs.SE
Discriminating Fixture Coverage in Agent-Infrastructure Verification Suites
Carnegie Mellon University(卡内基梅隆大学);Eragon(埃拉贡)
本文通过变异分析评估智能体验证套件的判别力,发现标准验证可能遗漏关键缺陷,提出基于判别性维度覆盖的夹具补充方法,有效提升套件杀死变异体的能力。
2026-10-05 cs.AI cs.LG cs.SE
Mutation Testing via Iterative Large Language Model-Driven Scientific Debugging
本文提出利用科学调试方法让大语言模型通过迭代假设与改进来生成针对变异体的测试,实验表明其缺陷检测能力和覆盖率均优于Pynguin等基线方法。
2025-03-11 cs.SE
STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation
Lamar University(拉马尔大学)
针对IEC 61131-3结构化文本程序缺乏公开变异测试基准的问题,构建了包含108个一阶变异体的数据集STMutants,涵盖七类变异算子,并评估了三个大语言模型在测试套件生成和变异检测中的性能。
2026-06-03 cs.SE
DeepMutation: A Neural Mutation Tool
Microsoft(微软);William & Mary(威廉玛丽学院);Washington and Lee University(华盛顿与李大学);Università della Svizzera italiana (USI)(瑞士意大利语大学);University of Sannio(萨尼奥大学)
变异测试可以用来评估给定测试套件的故障检测能力。为了实现这一目标,突变测试框架的两个特征是至关重要的:(i)它们应该生成代表真实故障的突变体;(ii)它们应该提供能够自动生成、注入和测试突变体的完整工具链。为了解决第一点,我们最近提出了一种使用递归神经网络编码器-解码器架构的方法,从从真实程序中挖掘的约787 k个故障中学习突变体。这种方法的实证评估证实了它的能力,以产生代表真正的故障突变。在本文中,我们解决了第二点,提出DeepMutation,一个将我们的深度学习模型包装成一个全自动工具链的工具,能够生成,注入和测试从真实故障中学习到的突变体。视频:https://sites.google.com/view/learning-mutation/deepmutation
2020-02-13 cs.CL cs.LG cs.SE
Test suite effectiveness metric evaluation: what do we know and what should we do?
测试集有效性度量的比较一直是研究的热点。然而,以前的研究有不同的结论,甚至相互矛盾的比较不同的测试套件的有效性指标。我们发现最困扰我们社区的问题是,研究人员倾向于过度简化他们所使用的基本事实的描述。例如,一个常见的表达是“我们研究了真实故障和要评估的度量(MTE)之间的相关性”。然而,“真正的错误”的含义并不明确。因此,有必要仔细研究“真正的过失”的含义。如果没有这一点,它将对结论一知半解。为了应对这一挑战,我们提出了一个框架ASSENT(评估测试套件竞争力Ness meTrics),以指导后续研究。本质上,ASSENT由三个基本组件组成:地面实况,基准测试套件和协议指示器。首先,具体化地面真相,以确定测试套件之间的有效性的真实顺序。其次,生成一组基准测试集,并推导出它们的有效性的地面真值顺序。第三,对于基准测试套件,根据评估指标(MTE)生成有效性MTE顺序。最后,计算两个订单之间的一致性指标。在ASSENT下,我们能够比较不同测试套件有效性度量的准确性。我们应用ASSENT评估代表性的测试套件的有效性指标,包括突变评分指标和代码覆盖率指标。我们的研究结果表明,基于真实的故障,突变分数和包容突变分数是最好的度量,以量化测试套件的有效性。同时,通过使用突变体而不是真正的故障,MTEs将被高估超过20%的值。
2022-04-19 cs.SE
Many Independent Objective (MIO) Algorithm for Test Suite Generation
自动生成测试套件本质上是一个多目标问题,因为任何测试目标(例如,要执行的语句或要杀死的突变体)本身就是一个目标。测试套件生成的特点是完全不同于其他更经常的优化问题。例如,给定一个现有的测试套件,可以添加更多的测试来覆盖剩余的目标。人们希望最小数量的小测试能够覆盖尽可能多的目标,但是与首先覆盖这些目标相比,这是一个次要目标。此外,软件测试中的目标数量可能很快变得难以管理,数量级为(数万/数十万),特别是对于工业规模系统的系统测试。传统的多目标优化算法已经可以开始与四个或五个目标进行优化。为了克服这些问题,已经提出了不同的技术,例如整体测试套件(WTS)方法和多目标排序算法(MOSA)。然而,这些技术可能无法很好地扩展到非常大量的目标和有限的搜索预算(系统测试中的典型情况)。在本文中,我们提出了一种新的算法,称为多独立目标(MIO)算法。该算法是根据测试用例集生成的特点设计和裁剪的。在一组人工软件和实际软件上的实证研究表明,MIO算法可以实现更高的覆盖率相比,WTS和MOSA,因为它可以更好地利用测试套件生成的特点。
2019-01-06 cs.SE
Data-driven Mutation Analysis for Cyber-Physical Systems
信息物理系统(CPS)通常由一组广泛的集成,异构组件,因此,他们的大部分关键故障涉及到这些组件的互操作性。不幸的是,大多数CPS测试自动化技术是初步的,行业仍然严重依赖于手工测试。对于可能不完整的、手动生成的测试套件,评估其质量是至关重要的。虽然变异分析已被证明是一种有效的手段来评估测试套件的质量在某些特定的情况下,我们缺乏的方法,CPS。事实上,现有的方法不针对互操作性问题,不能在黑箱或模拟组件的存在下执行,这是CPS的典型情况。在本文中,我们介绍了数据驱动的突变分析,一种方法,包括在评估测试套件的质量,验证它是否检测到互操作性故障模拟突变的数据交换的软件组件。为此,我们描述了一种数据驱动的突变分析技术(DaMAT),自动改变通过数据缓冲区交换的数据。我们的技术是由故障模型驱动的表格形式,工程师指定如何通过选择和配置一组变异运算符变异数据项。我们在空间领域用CPS对DaMAT进行了评估;具体而言,是去年在轨道上发射的微型卫星和纳米卫星软件系统的测试套件。我们的研究结果表明,该方法有效地检测测试套件的缺点,是不受等效和冗余突变,并需要可接受的成本。
2022-10-05 cs.SE
Sentinel: A Hyper-Heuristic for the Generation of Mutant Reduction Strategies
University College London(伦敦大学学院);Federal University of Paraná(巴拉那联邦大学)
变异测试是评价和增强软件测试集的一种有效方法,但变异体的执行计算代价限制了其应用。已经提出了几种策略来降低这种成本(a.k.a.突变成本降低策略),然而,它们中没有一个被证明对所有场景都有效,因为它们通常需要根据被测软件(SUT)进行专门的手动选择和配置。在本文中,我们提出了一种新的多目标进化超启发式方法,称为哨兵,自动生成的最佳成本降低策略,为每一个新的SUT。我们通过进行一项全面的实证研究来评估Sentinel,该研究涉及10个开源真实世界软件系统的40个版本,并将基线和最先进的策略作为基准。我们总共执行了4,800个实验,并根据文献中最新的最佳实践,使用质量指标和统计显著性检验来评估其结果。结果表明,在95%的情况下,Sentinel生成的策略优于基线策略,并且总是具有较大的效应量。在88%的病例中,它们还获得了统计学上显著优于最先进策略的结果,其中95%的病例具有较大的效应量。此外,我们的研究表明,在95%的情况下,Sentinel为给定软件版本生成的突变策略可以用于随后开发的版本,而不会造成任何质量损失。这些结果表明,Sentinel能够自动生成突变策略,降低突变测试成本,而不影响其测试有效性(即突变分数),从而从测试人员的肩膀上卸下手动选择和配置每个SUT策略的负担。
2021-03-12 cs.AI cs.SE
Oracles That Cannot Fail: Anchoring and the Expectation That Moves With the Fault
该研究提出预言机锚定概念,以空中交通管制模拟器为对象,测量锚定对突变体检测的影响,发现重新锚定可恢复部分突变体,调整比较大小对恢复突变体作用显著。
2026-08-19 cs.SE
Testuary: Agentic Test Generation with Zero-Shot Parallelism
Johannes Gutenberg University Mainz(约翰内斯·古腾堡美因茨大学);paluno – The Ruhr Institute for Software Technology, University of Duisburg-Essen(杜伊斯堡-埃森大学鲁尔软件技术研究所)
Testuary是具备零样本并行性的智能体式测试生成工具,通过并行零样本生成、结构合并等技术优化测试套件,在覆盖率、突变分数等指标上显著优于现有基线方法,且效率更高。
2026-10-14 cs.SE
Are Production Cloud Skills Adequately Tested? Measuring and Governing Skill Test Adequacy in Practice
Alibaba Cloud(阿里云);Columbia University(哥伦比亚大学);Aalto University(阿尔托大学)
研究生产云技能测试覆盖率问题,开发测量管道恢复操作义务、映射测试用例并生成覆盖报告,结合模型辅助与专家评审确保覆盖率基于证据,将覆盖差距转化为测试改进建议。
2026-08-13 cs.SE
Automatic Repair of Real Bugs in Java: A Large-Scale Experiment on the Defects4J Dataset
Defects4J是一个大型的、同行评审的、结构化的Java bug数据集。Defects4J中的每个bug都有一个测试套件和至少一个触发bug的失败测试用例。在本文中,我们报告了一个实验,以探讨基于自动测试套件的缺陷4J修复的有效性。我们的实验结果表明,所考虑的国家的最先进的修复方法可以生成补丁的224个错误中的47。然而,这些补丁仅适用于测试套件,这意味着它们通过了测试套件,并且可能在测试套件满足正确性标准之外是不正确的。我们手动分析了84个不同的补丁,以评估它们的真实正确性。总的来说,9个真正的Java bug可以通过基于测试套件的修复来正确修复。该分析表明,基于测试套件的修复遭受未指定的错误,其中微不足道或不正确的补丁仍然通过测试套件。在实用性方面,找到一个补丁平均需要14.8分钟。实验是在科学网格上进行的,总共计算时间为17.6天。所有的修复系统和实验结果都在Github上公开,以方便将来对自动修复的研究。
2018-11-04 cs.SE
Freeing Testers from Polluting Test Objectives
测试是检测软件缺陷的主要方法。测试人员面临的一个主要挑战在于制作有效的测试套件,能够以可管理的努力检测最大数量的错误。为了做到这一点,他们依赖于覆盖标准,它定义了一些精确的测试目标。然而,许多常见的标准指定了大量的目标,这些目标在实践中是不可行的或多余的,比如覆盖死代码或语义相等的突变体。众所周知,这样的目标对测试套件的设计是有害的,会影响测试人员工作的效率和精度。这项工作引入了一个健全的和可扩展的正式技术,能够修剪出一个大的白盒标准面板产生的不可行和冗余的目标的重要组成部分。简而言之,我们将这个具有挑战性的问题简化为证明测试代码中逻辑断言的有效性。该技术是在一个工具中实现的,该工具依赖于最弱前提演算和SMT求解来证明断言。该工具构建在Frama-C验证平台之上,我们根据特定的可扩展性需求对其进行了仔细调整。实验表明,该工具可以修剪出高达27%的测试目标在一个程序和规模的应用程序的20万行代码。
2017-08-29 cs.SE
Small-Amp: Test Amplification in a Dynamically Typed Language
一些测试放大工具使用额外的测试用例来扩展手动创建的测试套件,以增加代码覆盖率。该技术是有效的,在这个意义上,它建议强大的和可理解的测试用例,通常采用的软件工程师。不幸的是,目前的测试放大技术严重依赖于程序分析技术,这些技术从静态类型语言中的显式类型声明中受益匪浅。在动态类型语言中,这种类型声明是不可用的,因此测试放大还没有找到适合程序设计语言的方法,如Smalltalk,Python,Ruby和JavaScript。我们建议利用分析信息-容易获得的执行相关的测试套件-推断必要的类型信息创建特殊的测试输入与相应的断言。我们在从包含大约400种测试方法的Pharo生态系统中的13个成熟项目中选择的52个测试类上评估了这种方法。我们在52个测试类别中的28个(53%)中至少显示了杀死新突变体和突变覆盖率的改进。此外,这些生成的测试是人类可以理解的:提交的11个pull请求中有8个被合并到主代码库中(72%)。这些结果与最先进的测试方法相当,因此我们得出结论,测试放大对于动态类型语言是可行的。
2022-04-14 cs.SE
E-Test: E'er-Improving Test Suites
Università della Svizzera Italiana (USI)(瑞士意大利语大学);Università Milano-Bicocca(米兰比可卡大学);Constructor Institute of Technology (CIT)(Constructor技术学院)
E-Test通过利用大型语言模型识别未测试的执行场景,有效提升测试套件质量并减少维护成本。
2025-10-21 cs.SE
SWE-Mutation: Can LLMs Generate Reliable Test Suites in Software Engineering?
State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);University of Science and Technology of China(中国科学技术大学);Beihang University(北航);School of Mathematical Sciences, Peking University(北京大学数学科学学院);NeoShell AI;Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
本文提出SWE-Mutation基准,用于评估LLM生成的测试套件质量,通过系统性地变异解决方案来测试测试套件的可靠性,并发现当前LLM在生成可靠且具有判别力的测试套件方面存在不足。
2026-05-21 cs.AI cs.SE
Mutation Testing Optimisations using the Clang Front-end
变异测试是评估测试集故障检测能力的最新技术。不幸的是,一个完整的突变分析往往是昂贵的。例如,CppCheck项目在我们的台式计算机上需要5.8分钟的构建时间和17秒的测试执行时间。对55,000个生成的突变体进行未优化的突变分析总共花费了11.8天,其中4.3天用于(重新)编译项目。在本文中,我们提出了一个可行性研究,调查如何一些优化策略可以实施的Clang前端。这些优化策略允许消除编译和执行开销,以支持C语言家族的有效突变测试。我们提供了一个概念验证工具,可以实现2倍到30倍的加速。我们对优化引起的加速进行了详细的分析,详细阐述了经验教训,并指出了进一步改进的途径。
2022-10-31 cs.SE
Do Code Language Models Follow Tests? Paired Interventions on Program Behavior
Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Multidisciplinary Research for Advanced Materials (IMRAM), Tohoku University(东北大学先进材料多学科研究所);Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology(深圳先进技术研究院人工智能研究所)
该研究以Qwen2.5-Coder-7B和Qwen3.6-27B为对象,针对多个代码生成任务探究代码语言模型对测试的利用情况,发现测试通过语义引导和上下文扰动影响模型,仅表征变化不代表有效利用测试。
2026-07-30 cs.SE
SN4KE: Practical Mutation Testing at Binary Level
变异分析是一种有效的技术,以评估测试套件的充分性,揭示不可预见的软件错误。传统的源或IR级突变分析不适用于仅以二进制格式提供的软件。本文提出了一个实用的二进制变异分析,通过二进制重写,随着丰富的变异算子,以代表更现实的错误。我们实现了我们的方法,使用两个国家的最先进的二进制重写工具,并评估其有效性和可扩展性,通过将它们应用到SPEC CPU基准测试。我们的分析表明,更丰富的突变算子有助于产生更多样化的突变体,这与以前的作品相比,导致更高的突变得分的测试线束。我们还得出结论,realizable反汇编重写产生更好的可扩展性相比,提升到一个中间表示,并执行一个完整的翻译。
2021-02-13 cs.CR cs.SE
Combining Dynamic Symbolic Execution, Machine Learning and Search-Based Testing to Automatically Generate Test Cases for Classes
本文讨论了一种自动生成面向对象程序测试用例的新技术。在现有技术中,生成足够多的完整测试用例集的问题尚未得到满意的解决。有多种技术可以自动生成测试用例(随机测试、基于搜索的测试等)。但每个人都有自己的弱点本文提出了一种结合动态符号执行、基于搜索的测试和机器学习的方法,有效地生成完整的类级测试集。通过一些实验获得的初步数据证实,我们正朝着正确的方向前进。
2020-05-19 cs.SE
Characterizing High-Quality Test Methods: A First Empirical Study
为了评估测试套件的质量,可以依赖于突变测试,它计算整个测试用例是否充分地使用了覆盖的行。然而,这种高级别的粒度可能会掩盖单个测试方法的质量。在本文中,我们提出了一个实证研究,以评估质量的测试方法,依靠突变测试的方法级。我们发现高质量和低质量的测试方法在大小、断言数量和修改方面没有重大差异。相比之下,高质量的测试方法受关键测试气味的影响较小。最后,我们讨论了研究人员和从业人员的实际意义。
2022-03-24 cs.SE
What Are We Really Testing in Mutation Testing for Machine Learning? A Critical Reflection
变异测试是一种成熟的技术,用于通过将人工错误注入到生产代码中来评估测试套件的质量。近年来,突变测试已经扩展到机器学习(ML)系统,特别是深度学习(DL);研究人员已经提出了方法,工具和统计上合理的方法来确定DL系统中的突变体是否被杀死。然而,正如我们将在这项工作中讨论的那样,可以提出的问题是,目前在DL中使用的突变测试技术在多大程度上实际上符合突变测试的经典解释。我们观察到ML模型开发类似于测试驱动的开发(TDD)过程,其中训练算法(“程序员”)生成一个模型(程序),该模型将数据点(测试数据)拟合到标签(隐式断言),直到某个阈值。然而,考虑到在这种TDD隐喻下提出的ML系统的突变测试技术,在当前的方法中,生产代码和测试代码之间的区别是模糊的,并且突变操作符的现实性可能受到挑战。我们还考虑了经典突变测试的基本假设:有能力的程序员假设和耦合效应假设。正如我们将要说明的那样,这些假设并不能简单地转化为ML系统开发,需要更有意识和明确的范围和概念映射才能真正得出相似之处。根据我们的观察,我们提出了几个行动点,以便更好地将ML的突变测试技术与经典突变测试的范式和词汇表对齐。
2021-03-01 cs.SE
SOTIF-Compliant Scenario Generation Using Semi-Concrete Scenarios and Parameter Sampling
本文提出半具体场景结合参数采样的方法,通过组合生成与反馈驱动采样平衡场景空间探索和利用,从而生成高覆盖、高故障发现能力的 SOTIF 合规测试套件。
2023-08-14 cs.SE cs.SY eess.SY