Constrained locating arrays for combinatorial interaction testing
本文介绍了约束定位阵列(CLAs)的概念,它是一种可用于软件测试中故障定位的数学对象。CLA扩展了普通的定位数组,使其适用于测试参数有约束的系统的测试。这样的限制是常见的,在现实世界的系统,因此CLA增强了定位阵列的实际测试问题的适用性。本文还提出了一种构造CLAs的算法。实验结果表明,该算法可扩展到实际规模的问题。
2019-05-31 cs.DM cs.SE
Systematic Training and Testing for Machine Learning Using Combinatorial Interaction Testing
National Security Institute, Virginia Tech(弗吉尼亚理工学院国家安全研究所);The MITRE Corporation(米特雷公司)
本文演示了系统地使用组合覆盖来选择和表征机器学习模型的测试和训练集。所提出的工作适应组合交互测试,这已成功地利用在软件测试中识别故障,表征数据用于机器学习。MNIST手写数字数据用于证明组合覆盖可用于选择强调机器学习模型性能的测试集,选择导致鲁棒模型性能的训练集,以及选择用于微调模型到新领域的数据。因此,结果证明了组合覆盖作为机器学习训练和测试的整体方法。与以前的工作集中在使用覆盖方面的内部神经网络,本文认为覆盖简单的功能来自输入和输出。因此,本文解决了机器学习模型的测试和训练集的供应商对模型本身没有知识产权的情况。最后,本文解决了先前的批评组合覆盖,并提供了一个反驳,主张在机器学习应用程序中使用的覆盖度量。
2022-01-28 cs.LG cs.SE stat.ML
Towards a Benchmark and a Comparison Framework for Combinatorial Interaction Testing of Software Product Lines
随着软件产品线(SPL)成为一种更普遍的开发实践,其有效的测试正成为一个更重要的关注。在过去的几年中,许多SPL测试方法已被提出,其中,是那些支持组合交互测试(CIT)的前提是选择一组产品的故障,由于功能的相互作用,更容易发生。目前国内外已提出了多种声压级CIT测试技术,但还没有对它们进行系统、全面的比较。为了实现这样的目标,两个项目是重要的:一个共同的基准的功能模型,和一个适当的比较框架。在这篇研究进展中的论文中,我们提出了19个特征模型作为基准的基础,我们将其应用于三种不同的技术,以分析Perrouin等人提出的比较框架。我们确定了这个框架的缺点,并阐述了进一步研究的替代方案。
2014-01-21 cs.SE
Reinforcement learning guided fuzz testing for a browser's HTML rendering engine
University of Glasgow(格拉斯哥大学)
本文首次将训练好的测试用例生成深度学习模型与双重深度Q网络(DDQN)相结合,基于代码覆盖率信号引导测试用例创建,使Firefox HTML渲染引擎的代码覆盖率较基线语法模糊测试器提升了多达18.5%。
2023-07-27 cs.AI cs.SE
Combinatorial Modeling and Test Case Generation for Industrial Control Software using ACTS
组合测试被认为是一种以较低成本创建测试用例的有效方法。然而,用于建模和组合测试生成的工业实用工具仍然稀缺。作为一个直接的影响,组合测试在工业上的应用有限,这使得人们对其实际用途提出了质疑。如果我们考虑将组合测试生成用于工业安全关键控制软件,例如在火车、飞机和发电厂中发现的软件,这种证据的缺乏就特别麻烦。为了研究组合测试的工业应用,我们评估了组合建模和测试生成的流行工具,在工业规模的IEC 61131-3工业控制软件上运行的可编程逻辑控制器(PLC)的适用性和测试效率。我们评估了IEC 61131-3工业软件组合建模的直接适用性,以及在生成时间和测试套件大小方面的效率。我们使用了瑞典庞巴迪运输公司提供的17个工业控制程序,并用于训练控制管理系统。我们的研究结果表明,并不是所有的算法和交互强度的组合可以在一个现实的截止时间内生成一个测试套件。的建模过程和效率评估的结果是有用的从业者考虑使用组合测试的工业控制软件,以及研究人员试图提高使用这种组合测试技术。
2018-06-11 cs.SE
QuCAT: A Combinatorial Testing Tool for Quantum Software
本文提出量子软件组合测试工具QuCAT,生成指定或递增强度的测试套件,使用双预言检查输出,实验表明低强度测试成本低可发现故障,高强度触发难故障但成本高。
2023-08-31 cs.SE
Handling Constraints in Combinatorial Interaction Testing in the presence of Multi Objective Particle Swarm and Multithreading
背景:组合测试策略最近由于其不同的应用而受到了广泛的关注。在其简单的形式中,组合策略可以基于它们的相互作用(或组合)将系统的几个输入参数(配置)减少到一个小集合中。在实践中,软件系统的输入配置受到约束,特别是在高度可配置的系统的情况下。要在策略中实现这一功能,会给构造带来许多困难。虽然现在有很多组合交互测试策略,但很少有支持约束的。目的:本文提出了一种新的策略,在存在约束条件的情况下构造组合交互测试集。方法:给出了详细的设计和算法.为了克服多个判断标准的最优解,多目标粒子群优化和多线程。该战略及其相关的算法进行了广泛的评估,使用不同的基准和比较。结果:我们的结果是有前途的评价结果显示了每个算法的效率和性能的战略。基准测试的结果也表明,该策略可以有效地生成约束测试套件相比,国家的最先进的战略。结论:该策略为约束组合交互测试集的构建提供了一种新的思路。该战略可为今后的执行工作奠定新的有效基础。
2018-04-20 cs.SE
JUGE: An Infrastructure for Benchmarking Java Unit Test Generators
研究人员和实践者已经设计并实现了各种自动化测试用例生成器来支持有效的软件测试。这样的生成器存在于各种语言(例如,Java、C#或Python)和各种平台(例如,桌面、网络或移动应用程序)。这种发生器表现出不同的有效性和效率,这取决于它们旨在满足的测试目标(例如,库的单元测试与整个应用程序的系统测试)以及它们实现的底层技术。在这种情况下,从业人员需要能够比较不同的发电机,以确定最适合他们的要求,而研究人员寻求确定未来的研究方向。这可以通过系统地对不同发电机进行大规模评估来实现。然而,进行这种经验性评价并非易事,需要作出大量努力来收集基准,建立评价基础设施,并收集和分析结果。在本文中,我们介绍了我们的JUnit生成基准测试基础设施(JUGE)支持生成器(例如,基于搜索、基于随机、符号执行等)寻求自动化用于各种目的的单元测试的产生(例如,验证、回归测试、故障定位等)。其主要目标是通过标准化评估和比较过程,减少总体工作量,简化几个发电机的比较,并加强学术界和工业界之间的知识转移。自2013年以来,与基于搜索的软件测试研讨会一起举办的单元测试工具竞赛已经举办了八届,并使用和更新了JUGE。因此,越来越多来自学术界和工业界的工具(超过十种)在JUGE上进行了评估,这些工具多年来已经成熟,并可以确定未来的研究方向。
2022-10-28 cs.SE
Achievement of Minimized Combinatorial Test Suite for Configuration-Aware Software Functional Testing Using the Cuckoo Search Algorithm
软件已经成为当今科学和工程中许多应用和方法的创新解决方案。确保软件的质量和正确性具有挑战性,因为每个程序都有不同的配置和输入域。为了确保软件的质量,所有可能的配置和输入组合都需要根据其预期输出进行评估。然而,由于输入和配置的大范围所导致的时间和资源限制,这种详尽的测试是不切实际的。因此,不同的采样技术已被用于对这些输入域和配置进行采样。目的:组合测试可以有效地检测被测软件中的错误。该技术使用组合优化概念,通过考虑输入的组合来系统地最小化测试用例的数量。提出了一种利用布谷鸟搜索概念生成组合测试用例集的新策略。方法:布谷鸟搜索用于设计和实现的策略,以构建优化的组合集。该策略由不同的构造算法组成。这些算法结合起来为布谷鸟搜索服务。结果:通过不同的实验组证明了新技术的效率和性能。该策略的有效性进行评估,通过应用所生成的测试套件对一个真实世界的案例研究功能测试的目的。结论:结果表明,生成的测试集可以有效地检测故障。此外,该策略还为布谷鸟搜索在软件工程背景下的应用开辟了新的方向。
2019-03-25 cs.SE
Generalized Coverage Criteria for Combinatorial Sequence Testing
针对以动作与断言序列为测试向量的系统,提出广义序列覆盖准则、测试套件生成工具及贝叶斯风险量化框架,并实证验证其缺陷发现、风险评估与覆盖效果。
2023-10-31 cs.SE
Constrained Detecting Arrays: Mathematical Structures for Fault Identification in Combinatorial Interaction Testing
检测阵列是一种数学结构,其目的是在组合交互测试中识别故障。然而,它们不能直接应用于在测试参数之间具有约束的系统。这样的约束在现实世界的系统中是普遍存在的。目的:本文提出了约束检测阵列(CDA),检测阵列的扩展,可用于系统的约束。方法:本文通过严格的论证来考察CDA的性质和能力。本文还提出了两种构造CDA的算法:一种是以生成最小CDA为目标的算法,另一种是以快速生成CDA为目标的启发式算法。通过实验使用基准数据集的算法进行评估。结果如下:实验结果表明,第一种算法可以在足够长的生成时间内生成最小的CDA,第二种算法可以在合理的时间内生成最小或接近最小的CDA。结论:CDAs增强了检测阵列在有约束系统中的应用。这两种算法在数组大小和生成时间上具有不同的优势
2021-10-13 cs.SE
Code-Aware Combinatorial Interaction Testing
组合交互测试(CIT)是解决软件系统中输入参数交互的有效测试技术。在许多应用中,该技术已被用作一种系统的抽样技术,对测试用例的巨大可能性进行抽样。在过去的十年中,大多数的研究活动集中在CIT测试套件的生成,因为它是一个计算复杂的问题。虽然有希望,但在应用CIT方面付出的努力较少。一般来说,要应用CIT,从业者必须确定被测软件(SUT)的输入参数,将这些参数提供给CIT工具以生成测试套件,然后在应用程序上运行这些测试,并使用某些通过和失败标准进行验证。使用这种方法,CIT被用作黑盒测试技术,而不知道内部代码的效果。虽然有用,但实际上,并非所有参数对SUT具有相同的影响。本文介绍了一种不同的方法来使用CIT作为一个灰盒测试技术,通过考虑内部代码结构的SUT知道每个输入参数的影响,从而使用这种影响在测试生成阶段。我们将我们的方法应用于五个可靠的案例研究。结果表明,该方法将有助于检测新的故障相比,等影响参数的方法。
2019-07-21 cs.SE
Causally Perturbed Fairness Testing
IDEAS Lab, University of Birmingham(比利亚大学IDEAS实验室)
针对现有公平性测试方法忽略数据特征知识、扰动效率有限的问题,提出通用框架CausalFT,通过因果推断提取关联非敏感特征指导扰动,可适配多种生成器,在多数测试用例中显著提升公平性缺陷揭示效果与效率,增强偏差鲁棒性。
2025-10-21 cs.AI cs.SE
An Extensive Empirical Study on Evaluation Metrics for Combinatorial Interaction Testing
School of Computer Science and Engineering, Macau University of Science and Technology(澳门科技大学计算机科学与工程学院);Macau University of Science and Technology Zhuhai MUST Science and Technology Research Institute(澳门科技大学珠海澳门科技大学研究院);School of Information Science and Technology, Dalian Maritime University(大连海事大学信息科学与技术学院);School of Science, University of Tokyo(东京大学理学部);Department of Electrical and Computer Engineering, University of Alberta(阿尔伯塔大学电气与计算机工程系)
本研究系统综述组合交互测试的黑盒评估指标,并通过涵盖32个测试场景和295,624个测试套件的实证分析,发现值组合覆盖率(VCC)是有效的预测指标,且基于分布的指标计算成本更低,最终为从业者提供了指标选择指南。
2026-10-05 cs.SE
Can Pairwise Testing Perform Comparably to Manually Handcrafted Testing Carried Out by Industrial Engineers?
测试是工业软件工程中的一项重要活动。对于这样的软件,测试通常是手动执行的手工制作测试套件的基础上特定的设计技术和特定领域的经验。为了支持开发人员进行测试,已经提出了不同的方法来生成良好的测试套件。在过去的几年中,组合测试已经被探索,其目标是基于一定的策略自动组合软件的输入值。成对测试是一种组合技术,用于通过改变系统的每对输入参数的值直到创建这些参数的所有可能组合来生成测试套件。有一些证据表明,这类技术是有效的,相对较好地检测软件故障。不幸的是,几乎没有实验证据的比较,这些组合测试技术,被认为是严格的手工制作的测试。在这项研究中,我们比较成对的测试套件与手动创建的测试套件的工程师为45个工业程序。测试套件进行了评价的故障检测,代码覆盖率和测试数量。这项研究的结果表明,成对测试,而实现高代码覆盖率和故障检测的大多数程序是有用的,几乎是有效的手动测试在故障检测方面。结果还表明,在64%的程序中,成对测试在故障检测方面与手动测试一样好。
2017-06-06 cs.SE
Solsmith: Solidity Random Program Generator for Compiler Testing
本文提出并实现Solidity编译器测试程序生成器Solsmith,通过独特程序生成策略和差分测试验证其有效性,发现四个已确认编译器缺陷。
2025-06-04 cs.SE
Complexity Theory of Randomised Testing
Imperial College London(帝国理工学院);Kaihong(开鸿)
研究随机测试的复杂性理论,将生成器建模为图灵变换器,给出理论可生成语言与递归可枚举语言的关系,探讨高效生成及空间有界复杂性,刻画高效可生成性,还研究了基于属性测试库的相关情况。
2026-07-14 cs.CC cs.PL cs.SE
PlayTest: A Gamified Test Generator for Games
本文提出 Playtest,将游戏测试过程游戏化,在玩家无感知的情况下基于其操作自动生成测试用例,并通过众包方式在开发试玩阶段完成游戏测试。
2023-10-30 cs.SE
Tuning Random Generators: Property-Based Testing as Probabilistic Programming
University of Washington(华盛顿大学);University of California, Los Angeles(加州大学洛杉矶分校);University of Maryland(马里兰大学);University of Pennsylvania(宾夕法尼亚大学)
针对基于属性测试中生成器手动调优繁琐、分布受限的问题,提出基于概率编程的自动离线调优技术,实现Loaded Dice系统,可有效优化生成器分布,将漏洞发现速度提升3.1-7.4倍。
2025-11-16 cs.PL cs.SE
Automated Database Testing via LLM-Synthesized SQL Features
National University of Singapore(新加坡国立大学)
该研究提出ShQveL方法,通过LLM合成SQL特征增强SQL生成器,在5个DBMS上发现55个新漏洞,其中50个已被修复,提升了自动化数据库测试的漏洞发现能力。
2026-08-06 cs.DB cs.SE
Fuzzy Adaptive Tuning of a Particle Swarm Optimization Algorithm for Variable-Strength Combinatorial Test Suite Generation
组合交互测试是一种重要的软件测试技术,近年来引起了广泛的关注。它可以通过考虑输入参数组合之间的相互作用来减少测试用例的数量。经验证据表明,它可以有效地检测故障,特别是高度可配置的软件系统。在实际的软件测试中,输入变量之间的交互作用可能会有所不同,变强度组合交互测试(VS-CIT)可以利用这一点来提高测试效率。变强度测试集的生成是一个非确定性的多项式时间(NP)计算难题\cite{BestounKamalFuzzy2017}。研究表明,与VS-CIT问题的替代方案相比,粒子群优化(PSO)等基于随机种群的算法可能是有效的。然而,它们需要对开发和探索权衡进行详细控制,以避免过早收敛(即陷入局部最优)以及提高解决方案的多样性。在这里,我们提出了一个新的变种的PSO Mamdani模糊推理系统\cite{Camastra2015,TSAKIRIDIS2017257,KHOSRAVANIAN2016280}的基础上,允许自适应选择其全局和局部搜索操作。我们详细介绍了这种组合算法的设计,并通过多个合成和基准问题的实验进行评估。我们的结论是,模糊自适应选择的全局和局部搜索操作,至少是可行的,因为它只执行第二个最好的离散变异的PSO,称为DPSO。在获得最佳平均测试集规模方面,模糊自适应有时甚至优于DPSO。我们讨论了这种性能背后的原因,并概述了未来工作的相关领域。
2018-10-13 cs.SE
Scaling Automated Database System Testing
National University of Singapore(新加坡国立大学)
SQLancer++通过自适应SQL生成器实现自动数据库测试的扩展,发现并修复了196个新错误。
2026-01-26 cs.DB cs.SE
Using binary decision diagrams for constraint handling in combinatorial interaction testing
组合交互测试中测试参数之间的约束关系对测试用例生成的性能有着重要的影响。本文研究了使用二元决策图(BDD)的约束处理的有效性。BDD是一种用于表示和操作布尔函数的数据结构。约束处理程序的核心作用是执行检查,以确定具有未指定参数值的部分测试用例是否满足约束。在生成测试套件的过程中,这种检查会被执行多次;因此,检查的效率会显著影响测试用例生成所需的总时间。在本文中,我们研究了两种不同的方法。第一种方法通过计算布尔函数的逻辑与来执行这种检查,布尔函数代表所有满足约束的完整测试用例和给定的部分测试用例。第二种方法使用一种新的技术来构造一个BDD,表示所有的约束满足部分测试用例。使用此BDD,可以通过简单地从根到接收器遍历BDD来执行检查。我们开发了一个程序,将这两种方法到IPOG,一个著名的测试用例生成算法。使用这个程序,我们经验性地评估这些基于BDD的约束处理方法的性能,共使用62个问题的实例。在评估中,这两种方法进行了比较,三种不同的约束处理方法,即基于布尔可满足性(SAT)解决,最小禁止元组(MFTs),和约束满足问题(CSP)解决。评估结果表明,这两个BDD为基础的方法通常优于其他约束处理技术和BDD为基础的方法,使用新的技术表现出最好的性能。
2019-07-03 cs.SE
Generating Pairwise Combinatorial Interaction Test Suites Using Single Objective Dragonfly Optimisation Algorithm
组合交互测试作为一种有效的软件测试技术,近年来得到了广泛的关注。它显示了它的能力,以减少测试用例的数量,必须考虑的被测软件的参数的组合作为一个相互作用的输入。这种组合可以被认为是不同软件系列的输入配置。成对组合测试集考虑了两个输入参数的交互作用,而不是多个参数的交互作用。有证据表明,该测试套件可以检测到大多数的故障在测试中的软件相比,更高的相互作用。本文提出了一种生成两两组合测试集的新技术。并对一种新的群智能优化算法--龙飞算法(DF)进行了评价.文中详细介绍了算法的设计和自适应过程。该算法通过不同的实验和基准测试进行了广泛的评估。评估表明,所提出的技术的效率测试套件生成和DF优化算法的有用性,为今后的调查。
2019-04-09 cs.SE
MLIR-Smith: A Novel Random Program Generator for Evaluating Compiler Pipelines
ETH Zurich(苏黎世联邦理工学院)
MLIR-Smith是一种新型随机程序生成器,用于评估基于MLIR的编译器优化,通过差异测试发现多个编译器流水线中的错误。
2026-01-05 cs.PL cs.SE
Recurrent Neural Networks for Fuzz Testing Web Browsers
University of Glasgow(格拉斯哥大学)
基于生成的模糊测试是一种软件测试方法,能够发现软件中不同类型的错误和漏洞。然而,它是已知的是非常耗时的设计和微调经典的模糊,以实现可接受的覆盖范围,即使是小规模的软件系统。为了解决这个问题,我们研究了一种基于机器学习的模糊测试方法,在该方法中,我们概述了一系列基于循环神经网络(RNN)的测试用例生成器,并训练那些现成的数据集上的测试用例生成器,其中最少的人为微调。与以前的工作相比,所提出的生成器不依赖于启发式采样策略,而是从预测分布中进行有原则的采样。我们提供了一个详细的分析,以证明在一个具有挑战性的Web浏览器测试场景的特点和有效性的建议发电机。实验结果表明,基于RNN的生成器能够提供更好的覆盖率比基于变异的方法,并能够发现路径没有发现一个经典的模糊。我们的研究结果补充了其他领域的研究结果,表明基于RNN的模糊生成是一种可行的途径,可以在使用合适的模型选择/分析程序的条件下提高软件质量。
2018-12-12 cs.CR cs.LG cs.SE
A Novel HDL Code Generator for Effectively Testing FPGA Logic Synthesis Compilers
本文提出LegoHDL,一种基于抽象语法树和功能块库生成复杂多样HDL代码的新方法,用于有效测试FPGA逻辑综合编译器,其缺陷触发能力显著优于现有方法,三个月内报告20个新缺陷,16个已确认。
2024-07-01 cs.AR cs.SE
Towards API Testing Across Cloud and Edge
IBM Research(IBM研究院);IBM Services(IBM服务部);IBM Systems(IBM系统部)
API经济正在推动混合云和边缘环境中业务应用的数字化转型。为了使这种转换成功,需要对应用程序API组合进行端到端测试。即使在集中式云环境中,API组合的测试也具有挑战性,因为它需要覆盖功能和可靠性要求。场景的组合空间是巨大的,例如,API输入参数、API执行顺序和网络故障。混合云和边缘环境加剧了API测试的挑战,因为需要在动态广域网(可能跨越网络边界)之间协调测试执行。为了应对这一挑战,我们设想了一个测试框架,名为分布式软件测试工具包(DSTK)。DSTK利用组合测试设计(CTD)来满足功能需求,然后通过测试执行反馈和基于人工智能的搜索算法之间的幕后闭环自动满足可靠性需求。在闭环的每一次迭代中,搜索算法生成更多的可靠性测试场景以供下一步执行。具体而言,设想了五种可靠性测试:API的乱序执行、网络延迟和故障、API性能和吞吐量、API调用图模式的变化以及应用拓扑的变化。
2021-09-06 cs.AI cs.DC cs.SE
Towards Statistical Prioritization for Software Product Lines Testing
由于要考虑的产品数量的组合爆炸,软件产品线(SPL)本质上很难测试。为了减少要测试的产品的数量,已经提出了诸如组合交互作用测试的采样技术。它们通常从特征模型开始,并应用覆盖标准(例如成对特征交互或相异性)来生成易于处理的、故障查找的待测试配置列表。优先级也可以用于排序/生成这样的列表,优化覆盖标准或分配给特征的权重。然而,目前的采样/优先级技术几乎没有考虑到产品的行为。我们探讨如何统计测试的想法,使用模型(马尔可夫链)的基础上,可以用来提取配置的兴趣,根据他们的执行的可能性。这些执行被收集在特征转换系统中,紧凑地表示SPL行为。我们讨论了可能的情况下,并给出了一个例子说明的优先顺序的程序。
2014-01-23 cs.SE
Bridging the Gap between Unit Test Generation and System Test Generation
常见的测试生成器分为两类。在单元级别生成测试输入是快速的,但是当使用系统上下文中不会出现的输入调用函数时,可能会导致错误警报。如果在系统级生成的输入导致故障,这是一个真正的警报,因为输入也可能来自用户或第三方;但系统测试要慢得多。在本文中,我们引入了测试生成桥的概念,它将系统测试的准确性与单元测试的速度联系起来。测试生成桥允许将任意系统测试生成器与任意单元测试生成器组合。它通过从系统(测试)执行中分割参数化的单元测试来实现。这些单元测试在从系统测试记录的上下文中运行,但是单独的参数留给单元测试生成器系统地探索。这允许符号测试生成器(如KLEE)在记录的系统上下文中对单个函数进行操作。如果测试发生器检测到故障,我们将故障诱导参数提升回系统输入;如果故障可以在系统级重现,则将其报告为真报警。我们的BASILISK原型可以从复杂系统中提取和测试单元,例如Web/Python/SQLite/C堆栈;在其评估中,它实现了比最先进的系统测试生成器更高的覆盖率。
2019-06-04 cs.SE
Distributed, Cross-Platform, and Regression Testing Architecture for Service-Oriented Architecture
根据领先的IT专家的说法,当今的大型企业正在经历业务转型。他们采用基于服务的IT模型(如SOA)来开发企业信息系统和应用程序。事实上,SOA是松散耦合的可互操作组件的集成,可能使用异构软件技术和硬件平台构建。因此,传统的测试架构不足以验证和确认SOA系统的质量以及它们是否按照规范运行。本文首先讨论了各种最先进的SOA应用程序测试方法,然后提出了一种新的自动化,分布式,跨平台,面向SOA系统的回归测试架构。该测试体系结构由测试引擎、测试代码生成器、测试用例生成器、测试执行器和测试监控器等测试单元组成。实验结果表明,所提出的测试架构管理使用并行代理测试异构Web服务的技术是不兼容的测试框架。作为未来的工作,测试SOA应用程序的非功能方面进行调查,以便允许测试性能,安全性,可用性和可伸缩性等属性。
2012-03-24 cs.SE
QuanFuzz: Fuzz Testing of Quantum Program
目前,量子程序得到了广泛的应用和迅速的发展.然而,缺乏测试方法限制了它们的质量。与传统程序不同的输入格式和运算符使得这个问题很难解决。在本文中,我们提出了QuanFuzz,一个基于搜索的测试输入生成器的量子程序。我们定义了量子敏感信息来评估量子程序的测试输入,并使用矩阵生成器来生成具有更高覆盖率的测试用例。首先,我们从量子源代码中提取量子敏感信息--对这些量子寄存器的测量操作以及与这些测量结果相关联的敏感分支。然后,我们使用敏感信息引导的算法变异的初始输入矩阵,并选择那些提高量子寄存器的值的概率权重的矩阵来触发敏感分支。该进程一直迭代,直到敏感分支被触发。我们在基准测试上测试了QuanFuzz,与传统的测试输入生成相比,覆盖率提高了20% - 60%。
2018-10-16 cs.SE
Bypassing the Combinatorial Explosion: Using Similarity to Generate and Prioritize T-wise Test Suites for Large Software Product Lines
软件产品线(SPLs)是一系列产品,其共性和可变性可以通过特征模型(FM)来捕获。t-wise测试旨在发现由t个特征之间的所有交互触发的错误,从而大大减少要测试的产品数量。SPL的T-方式测试方法仅限于小的t值-这会错过错误的交互-或者受到FM大小的限制。此外,它们既没有对要测试的产品进行优先级排序,也没有提供精细控制生成过程的方法。本文提供了(a)一种基于搜索的方法,能够生成大型SPL的产品,形成一个可扩展的和灵活的替代目前的技术和(b)优先级算法的任何一组产品。在124个功能模块(包括Linux内核等大型功能模块)上进行的实验证明了该方法的可行性和实用性。
2012-11-23 cs.SE
A Practical Approach to Combinatorial Test Design
本书系统介绍组合测试设计(CTD)方法,涵盖建模、约束定义、覆盖需求及工具构建算法,并通过练习帮助读者掌握高效测试设计。
2024-10-25 cs.SE
Agentic Evolution of SQL Test Generators
National University of Singapore(新加坡国立大学)
本文提出Gungnir方法,利用编码智能体进化DBMS测试生成器,通过见证重放机制验证能力,在SQLite等3款DBMS中发现44个已确认缺陷,34个已修复,该机制可推广至其他系统。
2026-10-14 cs.SE
Automatic WSDL-guided Test Case Generation for PropEr Testing of Web Services
随着Web服务已经成为现代Web系统的关键组成部分,自动和易于使用,但同时强大和富有表现力的Web服务测试框架变得越来越重要。我们的工作目标是Web服务的全自动测试:理想情况下,用户只指定Web服务预期满足的属性,以输入输出关系的形式,系统处理所有其余的。在本文中,我们详细介绍了该系统的核心组成部分:如何使用Web服务的WSDL规范自动创建测试用例生成器,可以馈送到PropEr,一个基于属性的测试工具,创建结构有效的随机测试用例的操作和检查其响应。虽然这个过程是全自动的,但我们的工具允许用户轻松地修改其输出,以便向生成器添加语义信息或编写测试Web服务更多功能的属性。
2012-10-23 cs.NI cs.SE