A Survey of the Metrics, Uses, and Subjects of Diversity-Based Techniques in Software Testing
本文系统综述软件测试中基于多样性的技术(DBT),分析144篇论文的70种相似性指标、24类软件制品及11类测试问题,总结趋势、应用领域与工具,指出未来挑战。
2023-11-16 cs.SE
NovaQ: Improving Quantum Program Testing through Diversity-Guided Test Case Generation
针对量子程序可靠性保障需求,本文提出多样性引导测试框架NovaQ,结合分布式生成器与新颖性评估模块,实验显示其在多样性和bug检测上优于现有基线。
2025-09-05 cs.SE
Automatic Map Generation for Autonomous Driving System Testing
高清(HD)地图在测试自动驾驶系统(ADS)时至关重要。高清地图基本上决定了测试场景的潜在多样性。然而,当前的HD地图遭受两个主要限制:在公开可用的HD地图中缺乏交叉点多样性和构建新的HD地图的成本消耗。因此,在本文中,我们提出,FEAT2MAP,自动生成简洁的高清地图,场景多样性的保证。FEAT2MAP侧重于路口,因为它们显著影响场景多样性,特别是在城市道路网络中。FEAT2MAP首先定义了一组特征来表征连接。然后,FEAT2MAP从输入HD地图或用户定义的要求列表中提取并采样具体的交叉点特征。每个交汇点要素都会生成一个交汇点。最后,FEAT2MAP通过在网格布局中连接交叉点来构建地图。为了证明FEAT2MAP的有效性,我们使用SVL和开源ADS Apollo的公共高清地图进行实验。结果表明,FEAT2MAP可以(1)生成新的地图,减少尺寸,同时保持场景多样性的代码覆盖率和运动状态的ADS测试,(2)生成新的地图,增加场景多样性的合并交叉功能从多个地图或用户输入。
2022-06-19 cs.SE
BehAVExplor: Behavior Diversity Guided Testing for Autonomous Driving Systems
针对自动驾驶测试用例冗余、失效多样性不足的问题,提出 BehAVExplor,通过 BehaviorMiner 行为抽象与能量引导的种子选择、变异发现更多样的安全违规。
2023-07-14 cs.SE
Does Road Diversity Really Matter in Testing Automated Driving Systems? -- A Registered Report
背景/背景。在现实世界中使用自动驾驶系统(ADS)需要进行严格的测试以确保安全。为了增加信任,ADS应该在大量不同的道路场景中进行测试。文献表明,如果车辆沿着一组几何形状不同的道路行驶(使用各种多样性测量(DM)进行测量),则会在各种行为中做出反应,从而增加观察到故障(如果有)的机会,或者如果没有观察到故障,则会增强对其安全性的信心。然而,据我们所知,这一假设从来没有被测试过,也没有道路DM的属性进行了评估。目的/目标。我们的目标是对47个目前使用的和新的,有潜力的道路DM进行探索性研究。具体而言,我们的研究问题着眼于道路DM本身,分析其属性(例如单调性,计算效率),并测试DM之间的相关性。此外,我们看看使用道路DM调查是否假设,不同的测试套件的道路暴露不同的驾驶行为举行。法我们的实证分析依赖于最先进的开源ADS测试基础设施,并使用包含超过97,000个单独道路几何形状的数据集以及使用两个驾驶代理收集的匹配模拟数据。通过对不同规模的随机测试集进行抽样并测量其道路的几何多样性,我们研究了道路DM属性、道路DM之间的相关性以及道路DM与所观察到的行为之间的相关性。
2022-09-13 cs.SE
Adaptive Metamorphic Testing with Contextual Bandits
变形测试是一种软件测试范式,其目的是利用被测系统的必要属性(称为变形关系)来检查其预期输出或生成新的测试用例。变形测试已经成功地测试程序,其中一个完整的预言是不可用的,或测试程序,有不确定性的预期输出,如学习系统。在这篇文章中,我们提出了自适应变形测试作为一个简单而强大的强化学习技术,即上下文强盗,选择一个程序可用的多个变形关系的推广。通过使用上下文强盗,自适应变形测试学习哪些变形关系可能改变源测试用例,从而具有更高的发现错误的机会。我们目前的实验结果在机器学习的两个主要案例研究,即图像分类和目标检测,并确定弱点和鲁棒性边界。自适应变形测试有效地识别了源测试用例中被测系统的弱点。
2020-03-13 cs.SE
An Autonomous Performance Testing Framework using Self-Adaptive Fuzzy Reinforcement Learning
RISE Research Institutes of Sweden(瑞典RISE研究院);Mälardalen University(梅拉达伦大学)
测试自动化带来了降低成本和人力的潜力,但是软件测试的几个方面仍然具有自动化的挑战。一个这样的例子是自动化性能测试,以找到性能突破点。目前的性能测试用例自动生成方法主要涉及使用源代码或系统模型分析或基于用例的技术。但是,源代码和系统模型在测试时可能并不总是可用的。另一方面,如果测试系统可以学习测试过程中针对预期目标的最佳性能测试策略,则可以在没有高级性能模型的情况下实现测试自动化。此外,学习的策略可以在以后被重用于类似的软件系统中,从而导致更高的测试效率。我们提出了SaFReL,一个自适应模糊强化学习为基础的性能测试框架。SaFReL通过初始学习阶段学习最优策略以生成性能测试用例,然后在迁移学习阶段重用它,同时保持学习运行并长期更新策略。通过在模拟环境中的多次实验,我们证明了我们的方法比典型的测试过程更有效地为不同的程序生成目标性能测试用例,并且在不访问源代码和性能模型的情况下自适应地执行。
2020-07-30 cs.AI cs.PF cs.SE
A Survey on Adaptive Random Testing
随机测试(RT)是一种被广泛研究的测试方法,已被广泛应用于许多应用程序的测试,包括嵌入式软件系统,SQL数据库系统和Android应用程序。自适应随机测试(ART)旨在通过在输入域上更均匀地分布测试用例来增强RT的故障检测能力。自2001年推出以来,对ART的发展做出了许多贡献,包括各种方法,实施,评估和评价方法以及应用。本文提供了一个全面的调查ART,分类技术,总结应用领域,并分析实验评价。本文还讨论了一些误解ART,并确定了开放的研究挑战,在未来的工作中进一步调查。
2020-07-14 cs.SE
An Adaptive Testing Approach Based on Field Data
针对生产环境下现场测试的挑战及现有SATF研究不足的问题,提出面向体域网的新型SATF策略AdapTA,采用离体方法结合现场真实数据在内部实验模拟患者行为,支撑发布后系统测试。
2025-03-19 cs.SE
Searching for test data with feature diversity
在软件测试中有一个隐含的假设,即为了有效的测试和实现不同类型和级别的覆盖,需要更多样化和变化的测试数据。还提出了基于信息论的通用方法来测量,从而隐含地创建不同的数据。然而,如果测试者能够识别测试数据的对于其中执行测试的特定域或上下文重要的特征,则使用诸如此类的通用多样性度量对于创建在这些特征方面示出多样性的测试输入可能是不充分的也是不高效的。在这里,我们调查不同的方法来找到不同的数据,根据一组特定的功能,如长度,递归的深度等,即使这些功能将比基于信息论的措施一般,他们的使用可能会提供一个测试人员更直接的控制类型的多样性,是目前在测试数据。我们的实验是在一个通用的测试数据生成框架的背景下进行的,该框架可以生成数值和高度结构化的数据。我们比较随机抽样的功能多样性不同的方法的基础上搜索,发现爬山搜索是有效的。这些实验强调了在寻找多样性时需要考虑的许多权衡。我们认为,经常性的测试数据生成激励建立统计模型,然后可以帮助更快地实现功能的多样性。
2017-09-18 cs.SE
Diversity-Guided Search-Based Testing of Large Language Model Applications
Technical University of Munich(慕尼黑工业大学);BMW Group(宝马集团);relAI – Konrad Zuse School for Reliable AI(relAI – 康拉德·楚泽可靠人工智能学院);fortiss GmbH(fortiss有限公司)
本文提出一种以失败多样性为优化目标的搜索测试框架,通过档案库奖励和重新填充操作符,在多个LLM应用上检测到更多失败并覆盖更广失败类型,其中贪婪重新填充权衡最佳。
2026-09-22 cs.SE
Detecting Non-Optimal Decisions of Embodied Agents via Diversity-Guided Metamorphic Testing
National Supercomputing Center(国家超算中心);School of Computer(计算机学院);Singapore Management University(新加坡国立大学);College of Information Engineering(信息工程学院);School of Computer Science and Technology(计算机科学与技术学院);College of Computing and Data Science(计算与数据科学学院)
通过多样性引导的元形态测试检测具身代理的非最优决策,提出NoD-DGMT框架,有效识别规划中的效率低下问题。
2025-12-23 cs.RO cs.SE
Enhancing Path-Oriented Test Data Generation Using Adaptive Random Testing Techniques
在本文中,我们已经开发了一种方法来产生测试数据的路径覆盖为基础的测试。这类测试的主要挑战在于它是否能够有效地构建这样一个测试套件,以尽量减少拒绝的数量。我们解决这个问题,一个新的分治的方法,基于自适应随机测试策略。我们的方法作为输入的可执行路径的约束,并计算一个紧密的过近似的相关子域使用动态域分区的方法。我们实现了这种方法,并得到了实验结果,显示了实际的好处相比,现有的方法。我们的方法产生较少的无效输入,并能够获得许多复杂的约束子域。
2017-11-29 cs.SE
Situation Coverage Testing for a Simulated Autonomous Car -- an Initial Case Study
由于AR必须处理的外部情况(地形,障碍物,人类,对等机器人)的范围和多样性,因此很难测试自主机器人(AR)软件。测试充分性的通用措施可能无法解决这种多样性。明确的情况覆盖已被提出作为一种解决方案,但很少有实证研究其有效性。在本文中,我们描述了一个实现的情况覆盖测试一个简单的模拟自动驾驶汽车,并评估其能力,找到种子故障相比,随机测试生成方法。在我们的实验中,这两种方法的性能是相似的,情况覆盖率有一个非常轻微的优势。我们的结论是,对于这里使用的简单的研究级AR软件,情况覆盖可能没有比随机生成更大的好处。当应用于更复杂和成熟的软件时,它可能是有价值的。
2019-11-15 cs.SE
SEAByTE: A Self-adaptive Micro-service System Artifact for Automating A/B Testing
微服务是当今软件开发的常见架构方法。开发微服务系统不可或缺的工具是A/B测试。在A/B测试中,两个变量A和B被应用于实验环境中。通过测量评估标准的结果,开发人员可以做出基于证据的决策来指导他们的软件的发展。最近的研究强调,需要提高自动化时,这样的实验进行迭代。为此,我们贡献了一个新的工件,旨在提高依赖于自适应原则的微服务系统的实验管道的自动化。具体来说,我们提出了SEAByTE,一个实验框架,用于测试新的自适应解决方案,以提高基于微服务的系统的连续A/B测试的自动化。我们用一个具体的例子来说明SEAByTE工件的使用。
2022-04-04 cs.SE
Artificial table testing dynamically adaptive systems
动态自适应系统(DAS)是一种根据周围环境的变化而改变其行为和结构的系统。关键任务系统越来越多地纳入对环境的适应和反应;实例包括救灾和空间探索系统。这些系统可以分解为两个部分:适应策略,它指定系统必须如何根据环境变化做出反应,以及一组可能的变量来重新配置系统。测试这些系统的一个主要挑战是系统必须应对的变量和环境条件的组合爆炸。在本文中,我们专注于测试的自适应政策,并提出了一个战略的选择环境变化,可以揭示错误的政策。人工振动台试验(ASTT)是受振动台试验(STT)的启发而发展起来的一种方法。ASTT利用人工地震模拟环境条件的剧烈变化,强调系统的适应能力。我们将人工地震的产生建模为一个搜索问题,其目标是优化不同类型的环境变化。
2009-03-05 cs.SE
Adaptive and AI-Augmented Security Testing: A Systematic Survey of Program Analysis, Feedback-Driven Testing, and Hybrid Learning-Based Approaches
Mississippi State University(密西西比州立大学)
本文系统综述了自适应和AI增强的安全测试研究,探讨了程序分析、DevSecOps、反馈驱动模糊测试、LLM自动化测试生成及混合系统等五个领域,揭示了结构化程序表示与自适应测试机制之间的断层,并提出五个开放研究挑战。
2026-04-29 cs.CR cs.PL cs.SE
Software-Based Fault Recovery via Adaptive Diversity for COTS Multi-Core Processors
嵌入式系统对高性能和高性价比的要求越来越高,这导致了使用商用现成硬件的趋势。然而,由于其高度集成的设计,它们变得越来越容易受到硬件错误(例如,由辐射引起的软错误或磨损效应引起的)的影响。由于这种故障无法完全预防,系统必须应对其影响。与此同时,嵌入式系统中也出现了多核处理器的趋势。文献中已经提出了通过使用多核来建立冗余来实现容错的方法。然而,通常仅考虑同构冗余技术来容忍软错误。然而,在永久性硬件故障的情况下,缺乏用于恢复系统的适当反应机制。在这里,我们提出了一个具有成本效益的自动引入多样性的执行软件副本,以提高多核冗余技术的基本思想。最近,这些自动化的软件多样性技术在安全领域引起了人们的注意。我们建议使用这些技术从永久性硬件故障中恢复。这是通过以减轻永久性故障的方式调整软件执行来实现的。
2015-11-21 cs.ET cs.SE
Failure-Based Testing for Deep Reinforcement Learning Agents
Beihang University(北京航空航天大学)
针对深度强化学习智能体测试中奖励信号失效的问题,提出一种基于任务失败洞察的黑盒测试方法PRT,通过优先测试高难度任务来提升故障检测效率,在四个基准上测试成本降低超50%。
2026-07-01 cs.SE
A Testing Scheme for Self-Adaptive Software Systems with Architectural Runtime Models
自适应软件系统(SASS)配备有反馈回路,以自主地适应软件或环境的变化。在已建立的领域,如嵌入式软件,已经开发出复杂的方法来系统地研究反馈回路早期在开发过程中。为了涵盖反馈的特殊性,包括单向和在环仿真和测试等技术。然而,目前缺乏系统测试SASS的相关方法。因此,在本文中,我们提出了一个系统的测试方案,SASS,允许工程师测试的反馈回路在开发早期利用建筑运行时模型。这些在开发早期可用的模型通常在运行时由反馈循环的活动使用,并且它们提供了合适的高级抽象来描述测试输入以及预期的测试结果。我们通过一个小的案例研究,进一步概述了我们的想法与一些初步的评估结果。
2018-05-17 cs.SE
Adaptive Random Testing with Q-grams: The Illusion Comes True
针对传统自适应随机测试距离计算开销大、可扩展性差的问题,提出基于q-gram聚合的ART框架,将复杂度从二次降为线性,在6个Web应用基准上的目标覆盖能力显著优于随机测试和传统距离法ART。
2025-02-22 cs.SE
Toward Cost-effective Adaptive Random Testing: An Approximate Nearest Neighbor Approach
针对自适应随机测试的高计算成本问题,提出基于近似最近邻的LSH-ART方法,通过局部敏感哈希高效识别近似最近邻,平衡测试有效性与效率。
2024-03-19 cs.SE
Test Agents: Adaptive, Autonomous and Intelligent Test Cases
软件规模的增长、执行回归测试的资源的缺乏以及无法更快地检测错误,都使得对持续集成和测试自动化的依赖增加。即使有更多的硬件和软件资源专用于测试自动化,软件测试也面临着巨大的挑战,导致越来越依赖于作为持续集成框架的一部分的自动测试用例选择和优先级排序的复杂机制。这些机制目前使用称为测试用例的简单实体,这些实体具体实现为可执行脚本。我们的核心思想是通过使用智能软件代理的概念,提供更多的推理,自适应行为和学习能力的测试用例。我们把这样的测试用例称为测试代理。作为测试代理基础的模型能够灵活和自主地采取行动,以满足总体测试目标。我们的目标是增加回归测试的分散性,让测试代理自己知道什么时候应该执行,他们应该如何更新他们的目的,以及什么时候应该相互交互。在本文中,我们设想软件测试代理,显示这种自适应的自主行为。新兴的发展和挑战,关于使用测试代理,特别是,新的研究,旨在使用自适应自主智能体在软件测试。
2018-02-12 cs.SE
SWFC-ART: A Cost-effective Approach for Fixed-Size-Candidate-Set Adaptive Random Testing through Small World Graphs
自适应随机测试(ART)通过利用大多数故障程序的故障导致输入的聚类特性来提高随机测试的故障检测效率:ART使用一种在软件输入域中均匀分布测试用例的采样机制。广泛使用的固定大小数据集ART(FSCS-ART)采样策略面临着二次时间开销,且随着软件输入域维数的增加而增加。在本文中,我们提出了一种基于小世界图的方法,可以提高计算效率的FSCS-ART:SWFC-ART。为了有效地执行最近邻查询的候选测试用例,SWFC-ART增量构造一个层次化的可导航的小世界图先前执行的,非故障引起的测试用例。此外,SWFC-ART在高维输入域的程序中表现出一致性。我们的模拟和实证研究表明,SWFC-ART减少了FSCS-ART的计算开销从二次到对数线性顺序,同时保持FSCS-ART的故障检测有效性,并在高维输入域保持一致。我们建议在实际的软件测试场景中使用SWFC-ART,在这些场景中,真实的程序通常具有高维输入域和低故障率。
2021-05-12 cs.SE
Adaptive Testing for Specification Coverage
确保网络物理系统(CPS)的正确性是一项极具挑战性的任务,在实践中通常通过基于仿真的测试来解决。正式的规约语言,如信号时序逻辑(STL),用于数学表达CPS的要求,从而使仿真活动更系统和原则。我们提出了一种新的方法,自适应生成测试规格覆盖STL。为了实现这一目标,我们设计了合作的可达性游戏,我们结合数值优化来创建测试,探索系统的方式,行使规范的各个部分。据我们所知,我们的方法是第一个自适应测试方法,可以直接应用到MATLAB \texttrademark \; Simulink/Stateflow模型。我们实现了我们的方法在一个原型工具,并评估了几个说明性的例子和案例研究,从航空电子领域,证明了自适应测试的有效性(1)逐步建立一个测试用例,达到测试目标,(2)生成一个测试套件,增加规范的覆盖范围,(3)推断规范的哪一部分实际上是实现的。
2021-01-26 cs.FL cs.GT cs.LO
Testing with Fewer Resources: An Adaptive Approach to Performance-Aware Test Case Generation
测试用例自动生成是生成高覆盖测试集的有效技术。虽然大部分研究工作都致力于满足覆盖标准,但最近出现了优化其他非覆盖方面的趋势。在这方面,运行时和内存使用是两个基本的维度:较便宜的测试减少了生成过程和后期回归测试阶段的资源需求。这项研究表明,性能感知的测试用例生成需要解决两个主要的挑战:提供一个很好的近似的资源使用以最小的开销,并避免对最终的覆盖率和故障检测有效性的不利影响。为了应对这些挑战,我们构思了一组性能代理--受先前性能测试工作的启发--提供了测试执行成本的合理估计(即,运行时和内存使用)。因此,我们提出了一个自适应的策略,称为aDynaMOSA,它利用这些代理扩展DynaMOSA,一个国家的最先进的进化算法在单元测试。我们的实证研究--涉及110个非平凡的Java类--表明,与DynaMOSA相比,我们的自适应方法生成的测试套件在运行时(-25%)和堆内存消耗(-15%)方面有统计学上的显着改进。此外,aDynaMOSA在七个不同的覆盖标准和类似的故障检测有效性上具有与DynaMOSA相当的结果。我们的实证调查还强调了性能代理的使用(即,没有自适应性)不足以在不损害整体覆盖的情况下生成更高性能的测试用例。
2019-11-08 cs.NE cs.SE
Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种将配置分配重构为序列决策问题的强化学习框架,首次结合Q学习与混合奖励设计,并开发自适应在线-离线训练方案,在模拟中优于静态基线,接近最优性能。
2025-10-02 cs.LG cs.SE stat.ML
HarnessLLM: Automatic Testing Harness Generation via Reinforcement Learning
UC Santa Barbara(加州大学圣巴巴拉分校);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);MIT CSAIL(麻省理工CSAIL)
提出HarnessLLM两阶段训练流水线,利用SFT和RLVR训练LLM编写测试套件代码,在错误发现与测试多样性上优于传统方法,并提升代码生成性能。
2025-11-02 cs.CL cs.SE