QuCAT: A Combinatorial Testing Tool for Quantum Software
本文提出量子软件组合测试工具QuCAT,生成指定或递增强度的测试套件,使用双预言检查输出,实验表明低强度测试成本低可发现故障,高强度触发难故障但成本高。
2023-08-31 cs.SE
Handling Constraints in Combinatorial Interaction Testing in the presence of Multi Objective Particle Swarm and Multithreading
背景:组合测试策略最近由于其不同的应用而受到了广泛的关注。在其简单的形式中,组合策略可以基于它们的相互作用(或组合)将系统的几个输入参数(配置)减少到一个小集合中。在实践中,软件系统的输入配置受到约束,特别是在高度可配置的系统的情况下。要在策略中实现这一功能,会给构造带来许多困难。虽然现在有很多组合交互测试策略,但很少有支持约束的。目的:本文提出了一种新的策略,在存在约束条件的情况下构造组合交互测试集。方法:给出了详细的设计和算法.为了克服多个判断标准的最优解,多目标粒子群优化和多线程。该战略及其相关的算法进行了广泛的评估,使用不同的基准和比较。结果:我们的结果是有前途的评价结果显示了每个算法的效率和性能的战略。基准测试的结果也表明,该策略可以有效地生成约束测试套件相比,国家的最先进的战略。结论:该策略为约束组合交互测试集的构建提供了一种新的思路。该战略可为今后的执行工作奠定新的有效基础。
2018-04-20 cs.SE
Achievement of Minimized Combinatorial Test Suite for Configuration-Aware Software Functional Testing Using the Cuckoo Search Algorithm
软件已经成为当今科学和工程中许多应用和方法的创新解决方案。确保软件的质量和正确性具有挑战性,因为每个程序都有不同的配置和输入域。为了确保软件的质量,所有可能的配置和输入组合都需要根据其预期输出进行评估。然而,由于输入和配置的大范围所导致的时间和资源限制,这种详尽的测试是不切实际的。因此,不同的采样技术已被用于对这些输入域和配置进行采样。目的:组合测试可以有效地检测被测软件中的错误。该技术使用组合优化概念,通过考虑输入的组合来系统地最小化测试用例的数量。提出了一种利用布谷鸟搜索概念生成组合测试用例集的新策略。方法:布谷鸟搜索用于设计和实现的策略,以构建优化的组合集。该策略由不同的构造算法组成。这些算法结合起来为布谷鸟搜索服务。结果:通过不同的实验组证明了新技术的效率和性能。该策略的有效性进行评估,通过应用所生成的测试套件对一个真实世界的案例研究功能测试的目的。结论:结果表明,生成的测试集可以有效地检测故障。此外,该策略还为布谷鸟搜索在软件工程背景下的应用开辟了新的方向。
2019-03-25 cs.SE
Generalized Coverage Criteria for Combinatorial Sequence Testing
针对以动作与断言序列为测试向量的系统,提出广义序列覆盖准则、测试套件生成工具及贝叶斯风险量化框架,并实证验证其缺陷发现、风险评估与覆盖效果。
2023-10-31 cs.SE
Constrained Detecting Arrays: Mathematical Structures for Fault Identification in Combinatorial Interaction Testing
检测阵列是一种数学结构,其目的是在组合交互测试中识别故障。然而,它们不能直接应用于在测试参数之间具有约束的系统。这样的约束在现实世界的系统中是普遍存在的。目的:本文提出了约束检测阵列(CDA),检测阵列的扩展,可用于系统的约束。方法:本文通过严格的论证来考察CDA的性质和能力。本文还提出了两种构造CDA的算法:一种是以生成最小CDA为目标的算法,另一种是以快速生成CDA为目标的启发式算法。通过实验使用基准数据集的算法进行评估。结果如下:实验结果表明,第一种算法可以在足够长的生成时间内生成最小的CDA,第二种算法可以在合理的时间内生成最小或接近最小的CDA。结论:CDAs增强了检测阵列在有约束系统中的应用。这两种算法在数组大小和生成时间上具有不同的优势
2021-10-13 cs.SE
Constrained locating arrays for combinatorial interaction testing
本文介绍了约束定位阵列(CLAs)的概念,它是一种可用于软件测试中故障定位的数学对象。CLA扩展了普通的定位数组,使其适用于测试参数有约束的系统的测试。这样的限制是常见的,在现实世界的系统,因此CLA增强了定位阵列的实际测试问题的适用性。本文还提出了一种构造CLAs的算法。实验结果表明,该算法可扩展到实际规模的问题。
2019-05-31 cs.DM cs.SE
An Extensive Empirical Study on Evaluation Metrics for Combinatorial Interaction Testing
School of Computer Science and Engineering, Macau University of Science and Technology(澳门科技大学计算机科学与工程学院);Macau University of Science and Technology Zhuhai MUST Science and Technology Research Institute(澳门科技大学珠海澳门科技大学研究院);School of Information Science and Technology, Dalian Maritime University(大连海事大学信息科学与技术学院);School of Science, University of Tokyo(东京大学理学部);Department of Electrical and Computer Engineering, University of Alberta(阿尔伯塔大学电气与计算机工程系)
本研究系统综述组合交互测试的黑盒评估指标,并通过涵盖32个测试场景和295,624个测试套件的实证分析,发现值组合覆盖率(VCC)是有效的预测指标,且基于分布的指标计算成本更低,最终为从业者提供了指标选择指南。
2026-10-05 cs.SE
Systematic Training and Testing for Machine Learning Using Combinatorial Interaction Testing
National Security Institute, Virginia Tech(弗吉尼亚理工学院国家安全研究所);The MITRE Corporation(米特雷公司)
本文演示了系统地使用组合覆盖来选择和表征机器学习模型的测试和训练集。所提出的工作适应组合交互测试,这已成功地利用在软件测试中识别故障,表征数据用于机器学习。MNIST手写数字数据用于证明组合覆盖可用于选择强调机器学习模型性能的测试集,选择导致鲁棒模型性能的训练集,以及选择用于微调模型到新领域的数据。因此,结果证明了组合覆盖作为机器学习训练和测试的整体方法。与以前的工作集中在使用覆盖方面的内部神经网络,本文认为覆盖简单的功能来自输入和输出。因此,本文解决了机器学习模型的测试和训练集的供应商对模型本身没有知识产权的情况。最后,本文解决了先前的批评组合覆盖,并提供了一个反驳,主张在机器学习应用程序中使用的覆盖度量。
2022-01-28 cs.LG cs.SE stat.ML
Can Pairwise Testing Perform Comparably to Manually Handcrafted Testing Carried Out by Industrial Engineers?
测试是工业软件工程中的一项重要活动。对于这样的软件,测试通常是手动执行的手工制作测试套件的基础上特定的设计技术和特定领域的经验。为了支持开发人员进行测试,已经提出了不同的方法来生成良好的测试套件。在过去的几年中,组合测试已经被探索,其目标是基于一定的策略自动组合软件的输入值。成对测试是一种组合技术,用于通过改变系统的每对输入参数的值直到创建这些参数的所有可能组合来生成测试套件。有一些证据表明,这类技术是有效的,相对较好地检测软件故障。不幸的是,几乎没有实验证据的比较,这些组合测试技术,被认为是严格的手工制作的测试。在这项研究中,我们比较成对的测试套件与手动创建的测试套件的工程师为45个工业程序。测试套件进行了评价的故障检测,代码覆盖率和测试数量。这项研究的结果表明,成对测试,而实现高代码覆盖率和故障检测的大多数程序是有用的,几乎是有效的手动测试在故障检测方面。结果还表明,在64%的程序中,成对测试在故障检测方面与手动测试一样好。
2017-06-06 cs.SE
A Review of Pair-wise Testing
在软件测试中,输入域的大尺寸使得详尽地测试输入成为一项令人望而生畏且常常是不可能的任务。成对测试是解决组合测试问题的一种常用方法。本文回顾了成对测试及其历史,优点,缺点和生成测试用例的工具。
2016-06-01 cs.SE
A Benchmark Generator for Combinatorial Testing
Universitat de Lleida(莱里达大学)
组合测试(CT)工具对于正确测试各种系统(训练系统、图形用户界面(GUI)、自动驾驶系统等)至关重要。虽然有一个积极的研究社区致力于开发CT工具,矛盾的是,很少有人注意到提供足够的资源来测试CT工具本身。特别是,评估其正确性、有效性和效率的一套可用基准相当有限。在本文中,我们介绍了一个新的生成器的CT基准,基本上借用了结构中包含的过多的可用组合问题从其他研究社区,以创建有意义的基准。我们还使用这些新的基准对CT工具进行了广泛的评估。由于这项研究,我们提供了一些见解,在何种情况下应使用特定的CT工具。
2023-01-24 cs.AI cs.SE
Combinatorial Testing for Deep Learning Systems
Harbin Institute of Technology(哈尔滨工业大学);Nanyang Technological University(南洋理工大学);New York University Shanghai(上海纽约大学);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Kyushu University(九州大学)
深度学习(DL)在过去十年中取得了显著的进展,并被广泛应用于许多安全关键型应用。然而,DL系统的鲁棒性最近受到了极大的关注,例如对抗计算机视觉系统的示例,这可能会导致严重的后果。采用测试技术可以帮助评估DL系统的健壮性,从而在早期阶段发现漏洞。测试这类系统的主要挑战是它的运行时状态空间太大:如果我们将每个神经元视为DL的运行时状态,那么DL系统通常包含大量状态,几乎不可能测试每个状态。对于传统的软件来说,组合测试(CT)是一种有效的测试技术,它可以在获得较高缺陷检测能力的同时减少测试空间。在本文中,我们进行了探索性的研究CT DL系统。我们适应CT的概念,并提出了一套覆盖标准的DL系统,以及CT覆盖引导的测试生成技术。我们的评估表明,CT提供了一个很有前途的途径测试DL系统。我们进一步提出了几个开放的问题和有趣的方向DL系统的组合测试。
2018-06-20 cs.AI cs.CR cs.SE
Fuzzy Adaptive Tuning of a Particle Swarm Optimization Algorithm for Variable-Strength Combinatorial Test Suite Generation
组合交互测试是一种重要的软件测试技术,近年来引起了广泛的关注。它可以通过考虑输入参数组合之间的相互作用来减少测试用例的数量。经验证据表明,它可以有效地检测故障,特别是高度可配置的软件系统。在实际的软件测试中,输入变量之间的交互作用可能会有所不同,变强度组合交互测试(VS-CIT)可以利用这一点来提高测试效率。变强度测试集的生成是一个非确定性的多项式时间(NP)计算难题\cite{BestounKamalFuzzy2017}。研究表明,与VS-CIT问题的替代方案相比,粒子群优化(PSO)等基于随机种群的算法可能是有效的。然而,它们需要对开发和探索权衡进行详细控制,以避免过早收敛(即陷入局部最优)以及提高解决方案的多样性。在这里,我们提出了一个新的变种的PSO Mamdani模糊推理系统\cite{Camastra2015,TSAKIRIDIS2017257,KHOSRAVANIAN2016280}的基础上,允许自适应选择其全局和局部搜索操作。我们详细介绍了这种组合算法的设计,并通过多个合成和基准问题的实验进行评估。我们的结论是,模糊自适应选择的全局和局部搜索操作,至少是可行的,因为它只执行第二个最好的离散变异的PSO,称为DPSO。在获得最佳平均测试集规模方面,模糊自适应有时甚至优于DPSO。我们讨论了这种性能背后的原因,并概述了未来工作的相关领域。
2018-10-13 cs.SE
Using binary decision diagrams for constraint handling in combinatorial interaction testing
组合交互测试中测试参数之间的约束关系对测试用例生成的性能有着重要的影响。本文研究了使用二元决策图(BDD)的约束处理的有效性。BDD是一种用于表示和操作布尔函数的数据结构。约束处理程序的核心作用是执行检查,以确定具有未指定参数值的部分测试用例是否满足约束。在生成测试套件的过程中,这种检查会被执行多次;因此,检查的效率会显著影响测试用例生成所需的总时间。在本文中,我们研究了两种不同的方法。第一种方法通过计算布尔函数的逻辑与来执行这种检查,布尔函数代表所有满足约束的完整测试用例和给定的部分测试用例。第二种方法使用一种新的技术来构造一个BDD,表示所有的约束满足部分测试用例。使用此BDD,可以通过简单地从根到接收器遍历BDD来执行检查。我们开发了一个程序,将这两种方法到IPOG,一个著名的测试用例生成算法。使用这个程序,我们经验性地评估这些基于BDD的约束处理方法的性能,共使用62个问题的实例。在评估中,这两种方法进行了比较,三种不同的约束处理方法,即基于布尔可满足性(SAT)解决,最小禁止元组(MFTs),和约束满足问题(CSP)解决。评估结果表明,这两个BDD为基础的方法通常优于其他约束处理技术和BDD为基础的方法,使用新的技术表现出最好的性能。
2019-07-03 cs.SE
Generating Pairwise Combinatorial Interaction Test Suites Using Single Objective Dragonfly Optimisation Algorithm
组合交互测试作为一种有效的软件测试技术,近年来得到了广泛的关注。它显示了它的能力,以减少测试用例的数量,必须考虑的被测软件的参数的组合作为一个相互作用的输入。这种组合可以被认为是不同软件系列的输入配置。成对组合测试集考虑了两个输入参数的交互作用,而不是多个参数的交互作用。有证据表明,该测试套件可以检测到大多数的故障在测试中的软件相比,更高的相互作用。本文提出了一种生成两两组合测试集的新技术。并对一种新的群智能优化算法--龙飞算法(DF)进行了评价.文中详细介绍了算法的设计和自适应过程。该算法通过不同的实验和基准测试进行了广泛的评估。评估表明,所提出的技术的效率测试套件生成和DF优化算法的有用性,为今后的调查。
2019-04-09 cs.SE
Revisiting "Revisiting Neuron Coverage for DNN Testing: A Layer-Wise and Distribution-Aware Criterion": A Critical Review and Implications on DNN Coverage Testing
Università della Svizzera italiana(瑞士意大利语大学);King’s College London(伦敦国王学院);KAIST(韩国科学技术院)
本文对神经覆盖标准进行了批判性回顾,指出其偏离核心原则,并提出改进方向,影响DNN覆盖测试方法。
2026-01-13 cs.SE
Alternatives for Testing of Context-Aware Contemporary Software Systems in industrial settings: Results from a Rapid review
上下文感知的当代软件系统(CACSS)是主流。此外,它们对当前的工程实践提出了挑战。这些挑战在测试CACSS时尤为突出,因为上下文的变化加深了现有软件测试实践和技术的局限性。目的:了解行业在测试CACSS时如何应对上下文的变化。方法:委托进行快速审查,以发现实现目标所需的证据。结果如下:我们的研究结果表明,目前的研究计划的目的是生成或改进测试套件,可以处理上下文的变化和测试输入的可能性的绝对量。为了实现这一目标,他们主要依赖于对系统的动态行为进行建模并增加计算资源来生成测试输入。我们没有发现旨在通过测试生命周期过程管理上下文变化的研究结果的证据。结论:我们讨论了如何确定的解决方案还没有准备好主流采用。它们都是特定领域的,虽然这些想法和方法可以在不同的环境中复制,但这些技术必须重新设计并适应特定的CACSS。
2021-04-14 cs.SE
KAT: Dependency-aware Automated API Testing with Large Language Models
针对传统API测试工具处理依赖关系的局限性,研究提出AI驱动的KAT方法,结合GPT与提示技术自主生成RESTful API测试相关内容,经12个真实服务验证,在覆盖率、缺陷检测和误报率上均优于现有先进工具。
2024-07-14 cs.SE
Towards Safety-Aware Mutation Testing for Autonomous Driving Systems
The University of Sheffield(谢菲尔德大学)
提出安全感知变异测试(SAMT),通过注入模块间消息故障模拟交互失效,基于STPA生成突变体,评估测试充分性并指导场景生成与系统修复。
2026-06-26 cs.SE
A Fully Automated, Deployment-Aware Testing Pipeline for IoT-Based Automotive Applications
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Institute for Architecture of Application Systems, University of Stuttgart(斯图加特大学应用系统架构研究所)
针对物联网汽车应用的测试难题,提出结合LLM、VLM及人在回路机制的感知部署测试流水线,经CPDS案例验证可实现全需求覆盖与高准确率,适配OEM-供应商测试工作流。
2026-08-21 cs.SE
Towards Statistical Prioritization for Software Product Lines Testing
由于要考虑的产品数量的组合爆炸,软件产品线(SPL)本质上很难测试。为了减少要测试的产品的数量,已经提出了诸如组合交互作用测试的采样技术。它们通常从特征模型开始,并应用覆盖标准(例如成对特征交互或相异性)来生成易于处理的、故障查找的待测试配置列表。优先级也可以用于排序/生成这样的列表,优化覆盖标准或分配给特征的权重。然而,目前的采样/优先级技术几乎没有考虑到产品的行为。我们探讨如何统计测试的想法,使用模型(马尔可夫链)的基础上,可以用来提取配置的兴趣,根据他们的执行的可能性。这些执行被收集在特征转换系统中,紧凑地表示SPL行为。我们讨论了可能的情况下,并给出了一个例子说明的优先顺序的程序。
2014-01-23 cs.SE
Fill in the Blank: Context-aware Automated Text Input Generation for Mobile GUI Testing
自动化GUI测试被广泛用于帮助确保移动应用程序的质量。然而,许多GUI需要适当的文本输入才能进入下一页,这仍然是测试覆盖率的一个突出障碍。考虑到有效输入的多样性和语义要求(例如,航班起飞、电影名称),但是使文本输入生成自动化具有挑战性。受预先训练好的大语言模型(LLM)在文本生成方面取得显著进展的启发,提出了一种基于LLM的QTypist方法,用于根据GUI上下文智能地生成语义输入文本。为了提高LLM在移动测试场景中的性能,我们开发了一种基于数据库的数据构建和调优方法,该方法自动提取模型调优的提示和答案。我们对来自Google Play的106个应用程序进行了QTypist评估,结果显示QTypist的通过率为87%,比最佳基线高出93%。我们还将QTypist与自动化GUI测试工具集成,与原始工具相比,它可以覆盖42%的应用程序活动,52%的页面,并随后帮助揭示122%的错误。
2022-12-09 cs.SE
Bypassing the Combinatorial Explosion: Using Similarity to Generate and Prioritize T-wise Test Suites for Large Software Product Lines
软件产品线(SPLs)是一系列产品,其共性和可变性可以通过特征模型(FM)来捕获。t-wise测试旨在发现由t个特征之间的所有交互触发的错误,从而大大减少要测试的产品数量。SPL的T-方式测试方法仅限于小的t值-这会错过错误的交互-或者受到FM大小的限制。此外,它们既没有对要测试的产品进行优先级排序,也没有提供精细控制生成过程的方法。本文提供了(a)一种基于搜索的方法,能够生成大型SPL的产品,形成一个可扩展的和灵活的替代目前的技术和(b)优先级算法的任何一组产品。在124个功能模块(包括Linux内核等大型功能模块)上进行的实验证明了该方法的可行性和实用性。
2012-11-23 cs.SE
Make LLM a Testing Expert: Bringing Human-like Interaction to Mobile GUI Testing via Functionality-aware Decisions
本文提出 GPTDroid 框架,将移动 GUI 测试转化为问答任务,让 LLM 与应用交互生成测试脚本,并引入功能感知记忆提示机制指导长期探索,在 93 个应用上测试覆盖率提升 32%,发现更多 bug 并识别出 53 个新 bug。
2023-10-24 cs.SE
Testing SSD Firmware with State Data-Aware Fuzzing: Accelerating Coverage in Nondeterministic I/O Environments
针对SSD固件在非确定性I/O环境下传统测试覆盖率提升缓慢的问题,提出状态数据感知模糊测试方法,利用内部状态引导输入生成,实验证明在保持相同覆盖率和缺陷检测能力的同时可减少约67%的命令开销。
2025-05-05 cs.SE
A Practical Approach to Combinatorial Test Design
本书系统介绍组合测试设计(CTD)方法,涵盖建模、约束定义、覆盖需求及工具构建算法,并通过练习帮助读者掌握高效测试设计。
2024-10-25 cs.SE
TATG: Tracking-Aware Testing Objective for LLM-based Test Generation
University of Limerick(利默里克大学);University of Ottawa(渥太华大学)
针对复杂Java方法自动化单元测试生成难的问题,TATG提出基于大语言模型的单元测试生成方法,引入统一目标表示跟踪测试需求,采用两阶段工作流程,实验证明其相比其他方法有显著提升。
2026-11-09 cs.SE
CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems
School of EECS, University of Ottawa(渥太华大学电气与计算机工程学院);Centre for Software Excellence, Huawei Canada(华为加拿大软件卓越中心)
针对基于LLM系统回归测试的独特挑战,提出CASPER框架,通过进化切片识别与基于执行日志行为信息的优先级排序,实现更优的回归切片处理效果。
2026-08-04 cs.SE
An Energy-aware Mutation Testing Framework for EAST-ADL Architectural Models
嵌入式系统的早期设计工件,如体系结构模型,表示方便的抽象推理系统的结构和功能。一个这样的例子是电子架构和软件工具-架构描述语言(EAST-ADL),一种针对汽车行业的特定领域架构语言。EAST-ADL用于表示硬件和软件元素,以及相关的功能外信息(例如,定时属性、触发信息、资源消耗)。建筑模型的测试是大规模工业系统工程中的一项重要活动,引起了越来越多的研究兴趣。本文的主要贡献是:(i)为EAST-ADL架构模型创建能量相关突变体的方法,(ii)克服等效突变问题的方法(即,的问题,找到一个测试用例,它可以区分从原来的一个突变体的可观察的行为),(iii)一个测试生成方法的基础上UPPAAL统计模型(SMC),和(iv)一个测试选择标准的基础上突变分析使用我们的MATS工具。
2018-02-04 cs.SE
Random Grammar-based Testing for Covering All Non-Terminals
在软件测试的上下文中,生成复杂的数据输入经常使用基于语法的规范来执行。由于组合的原因,详尽地生成给定大小的数据实际上是不可能的,大多数方法要么基于随机技术,要么基于覆盖标准。在本文中,我们将展示如何结合这两种技术,通过偏置随机生成,以优化满足覆盖标准的概率。
2013-11-26 cs.SE
Log-based, Business-aware REST API Testing
Nanjing University(南京大学);Tencent(腾讯)
本文提出LoBREST,通过利用历史请求日志和业务约束,有效测试复杂业务功能,优于现有工具,在17个真实服务中检测到108个5XX错误。
2026-04-09 cs.SE
CA2: Code-Aware Agent for Automated Game Testing
CA2通过利用调用栈信息提升游戏测试效率,相比传统方法更有效定位目标函数,实现更精准的测试策略学习。
2026-05-13 cs.LG cs.SE
WRTester: Differential Testing of WebAssembly Runtimes via Semantic-aware Binary Generation
提出 WRTester 差异测试框架,利用真实 Wasm 二进制的反汇编与汇编生成语义丰富且语法正确的测试用例,并定位运行时缺陷,发现33个缺陷、25个获确认。
2023-12-16 cs.SE
Causality-aware Safety Testing for Autonomous Driving Systems
本文提出因果感知模糊测试工具 Causal-Fuzzer,利用因果图建模场景、运动指令与违规关系并指导场景生成和变异,在 Apollo 上提升了违规多样性、因果覆盖率与关键场景发现效率。
2025-06-14 cs.SE
Backend-Aware Graph Learning for Denoising Outcome Distributions in Quantum Program Testing
Polytechnique Montreal(蒙特利尔理工学院);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所)
针对量子程序测试因噪声干扰结果分布的问题,提出基于图学习的Q-BRIDGE方法,利用图变换器架构编码电路,结合FiLM层整合噪声观测,在多后端和电路族测试中表现优异,提升了噪声感知量子程序测试的可靠性。
2026-07-28 cs.SE
MultiTest: Physical-Aware Object Insertion for Testing Multi-sensor Fusion Perception Systems
本文提出MultiTest,一种物理感知的适应度引导蜕变测试方法,通过在多传感器融合感知系统的图像和点云中插入逼真多模态对象来生成测试用例,实验证明其能有效检测大量故障并提升系统鲁棒性。
2024-01-25 cs.SE
SAGE: Semantic-Aware Gray-Box Game Regression Testing with Large Language Models
Waseda University(早稻田大学);City University of Hong Kong(香港城市大学);Southwest University(西南大学);Institute of Science Tokyo(东京科学大学)
提出SAGE框架,利用LLM引导强化学习自动生成测试套件,通过语义多目标优化精简测试,并基于更新日志语义分析优先排序,在Overcooked Plus和Minecraft中实现高效回归测试。
2026-06-19 cs.SE
Supplementary Material for the Information Sciences Paper: An Experimental Study of Hyper-Heuristic Selection and Acceptance Mechanism for Combinatorial t-way Test Suite Generation
软件测试涉及到根据某些定义的规范访问程序功能的过程。为了确保一致性,测试工程师通常会生成一组测试用例来验证用户需求。由于软件的复杂性不断增加,并且越来越多地扩散到各种应用领域,软件项目在多个地点甚至分布在多个大陆上的测试团队已经不再罕见。由于许多软件开发活动的相互依赖性及其地理和时间问题,可能会有许多重叠的测试用例,这可能会导致共享模块之间的不必要的冗余(即,一项要求的测试可能被多项测试覆盖)。在本文中,我们探讨了我们新开发的超启发式,称为模糊推理选择(FIS),解决测试冗余减少问题的应用。本文介绍了对发表在《信息科学》上的论文《超启发式选择和接受机制在组合测试集生成中的实验研究》的补充结果。
2017-02-15 cs.SE
Distribution Awareness for AI System Testing
Nanyang Technological University(南洋理工大学)
随着深度学习(DL)在许多安全关键应用中的不断采用,其质量和可靠性开始引起人们的关注。与传统的软件开发过程类似,在早期阶段测试DL软件以发现其缺陷是降低部署后风险的有效方法。尽管最近在设计用于DL软件的新颖测试技术方面取得了进展,但是没有考虑生成的测试数据的分布。因此,很难判断所识别的错误是否确实是对DL应用有意义的错误。因此,我们提出了一种新的面向对象指导的测试技术,其目的是产生新的看不见的测试用例相关的底层DL系统任务。我们的结果表明,该技术是能够过滤高达55.44%的错误的测试用例CIFAR-10和10.05%的有效提高鲁棒性。
2021-05-06 cs.AI cs.SE
Code Coverage Aware Test Generation Using Constraint Solver
代码覆盖率已用于软件测试环境中,主要作为评估生成的测试套件质量的指标。最近,代码覆盖分析被用作测试优化的白盒测试技术。大多数的研究活动集中在使用代码覆盖率的测试优先级和自动化测试策略中的选择。在文献中,使用代码覆盖率进行测试生成的努力较少。本文提出了一种新的基于代码覆盖率的测试用例生成(CCTG)的概念,通过在测试生成过程中利用代码覆盖率分析来改变现有的做法。CCTG使用代码覆盖率数据来计算输入参数对约束求解器的影响,以自动生成有效的测试套件。我们将这种方法应用于一些现实世界的案例研究。实验结果表明,新的测试生成方法能够生成有效的测试用例,并能检测出新的故障。
2020-09-07 cs.SE
Dynasto: Validity-Aware Dynamic-Static Parameter Optimization for Autonomous Driving Testing
Polytechnique Montréal(蒙特利尔理工学院);The Open University(开放大学)
Dynasto通过联合优化初始场景参数和动态对抗行为,发现更多真实安全关键故障,揭示自动驾驶系统中的弱点。
2026-03-22 cs.SE
Data-driven Test Generation for Fuzzing AI Compiler
School of Computer Software, Tianjin University(天津大学计算机学院)
本文提出了一种数据驱动的模糊测试生成框架,用于提高AI编译器的测试覆盖率和有效性,检测了266个之前未知的错误。
2026-01-24 cs.SE
RippleGUItester: Change-Aware Exploratory Testing
Technical University of Munich(慕尼黑工业大学);CISPA Helmholtz Center for Information Security(CISPA 赫尔姆霍兹信息安全中心)
RippleGUItester通过基于大语言模型的变更影响分析,结合多模态bug检测,发现由代码变更引入的bug,提升测试效率和准确性。
2026-03-03 cs.SE
TestWeaver: Execution-aware, Feedback-driven Regression Testing Generation with Large Language Models
FPT Software AI Center(FPT软件人工智能中心);VinUniversity(越南-新加坡大学);Nanyang Tech. University(南洋理工大学);Univ. of Texas at Dallas(德克萨斯大学达拉斯分校)
TestWeaver通过整合轻量级程序分析和针对性执行上下文,提升LLM在回归测试生成中的覆盖率和效率。
2026-01-27 cs.SE
Bayesian Sequential Verification for Budget-Aware Quantum Program Testing
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文提出一种基于预算的量子程序测试方法,通过贝叶斯假设检验流程减少测量成本,适用于高成功概率的量子程序。
2026-05-15 cs.SE quant-ph
On the Unusual Effectiveness of Type-Aware Operator Mutations for Testing SMT Solvers
我们提出了类型感知算子变异,一个简单的,但异常有效的方法来测试SMT求解器。其关键思想是在种子公式中对符合类型的运算符进行变异,以生成良好类型的变异公式。这些突变的公式,然后用作SMT求解器的测试用例。我们在OpFuzz工具中实现了类型感知的操作符变异,并使用它对两个最先进的SMT求解器Z3和CVC 4进行了压力测试。类型感知的操作符突变异常有效:在一年的OpFuzz广泛测试中,我们在Z3和CVC 4的GitHub问题跟踪器上报告了1,092个错误,其中819个独特的错误得到了确认,685个确认的错误被开发人员修复。检测到的错误是高度多样化的-我们发现了许多不同类型的错误(健全错误,无效模型错误,崩溃等),逻辑和求解器配置。我们进一步对OpFuzz发现的bug进行了深入研究。研究结果表明,OpFuzz发现的错误质量较高。其中许多影响SMT求解器代码库的核心组件,并且一些需要开发人员进行重大更改来修复。在OpFuzz发现的819个确认的bug中,184个是SMT求解器中最关键的bug,489个是求解器的默认模式。值得注意的是,OpFuzz在CVC 4中发现了27个关键的可靠性错误,这已经被证明是一个非常稳定的SMT解决方案。
2020-11-12 cs.PL cs.SE
Test Scenario Generation for Context-Oriented Programs
它们的高度适应性和可能配置的组合爆炸使得测试面向上下文的程序变得困难。我们提出了一种方法来自动生成测试场景的开发人员的功能为基础的面向上下文的程序。通过使用组合交互测试,我们生成一个覆盖数组,从其中可以推断出一个小的,但有代表性的测试场景集。通过利用这种面向上下文的程序中上下文和功能的明确分离,我们可以进一步重新排列生成的测试场景,以最大限度地减少后续场景之间的重新配置成本。最后,我们将探讨如何在系统发展到新版本时,逐步适应先前生成的测试套件。通过在一个小的用例上验证这些算法,我们的初步结果表明,所提出的测试生成方法是有效的,有利于开发人员测试和改进面向上下文的程序的设计。
2021-09-24 cs.SE
Distribution-Aware Testing of Neural Networks Using Generative Models
University of Virginia(弗吉尼亚大学)
鉴于越来越多的关键应用部署了深度神经网络(DNN),因此,具有深度神经网络(DNN)作为组件的软件的可靠性在今天变得非常重要。对可靠性的需求提出了对这些系统的安全性和可靠性进行严格测试的需要。在过去的几年里,有许多研究工作集中在测试DNN上。然而,目前提出的测试生成技术缺乏检查,以确定他们正在生成的测试输入是否有效,从而产生无效的输入。为了说明这种情况,我们探讨了三种最近的DNN测试技术。使用基于深度生成模型的输入验证,我们证明了所有这三种技术都会生成大量的无效测试输入。我们进一步分析了DNN测试技术生成的测试输入所实现的测试覆盖率,并展示了无效的测试输入如何错误地夸大测试覆盖率指标。为了克服测试中包含无效输入的问题,我们提出了一种技术,将测试中的DNN模型的有效输入空间纳入测试生成过程。我们的技术使用基于模型的深度生成算法来仅生成有效输入。我们的实证研究结果表明,我们的技术是有效的,在消除无效的测试和提高有效的测试输入生成的数量。
2021-02-26 cs.LG cs.SE
Testing with Fewer Resources: An Adaptive Approach to Performance-Aware Test Case Generation
测试用例自动生成是生成高覆盖测试集的有效技术。虽然大部分研究工作都致力于满足覆盖标准,但最近出现了优化其他非覆盖方面的趋势。在这方面,运行时和内存使用是两个基本的维度:较便宜的测试减少了生成过程和后期回归测试阶段的资源需求。这项研究表明,性能感知的测试用例生成需要解决两个主要的挑战:提供一个很好的近似的资源使用以最小的开销,并避免对最终的覆盖率和故障检测有效性的不利影响。为了应对这些挑战,我们构思了一组性能代理--受先前性能测试工作的启发--提供了测试执行成本的合理估计(即,运行时和内存使用)。因此,我们提出了一个自适应的策略,称为aDynaMOSA,它利用这些代理扩展DynaMOSA,一个国家的最先进的进化算法在单元测试。我们的实证研究--涉及110个非平凡的Java类--表明,与DynaMOSA相比,我们的自适应方法生成的测试套件在运行时(-25%)和堆内存消耗(-15%)方面有统计学上的显着改进。此外,aDynaMOSA在七个不同的覆盖标准和类似的故障检测有效性上具有与DynaMOSA相当的结果。我们的实证调查还强调了性能代理的使用(即,没有自适应性)不足以在不损害整体覆盖的情况下生成更高性能的测试用例。
2019-11-08 cs.NE cs.SE
Bridging the Interpretation Gap in Accessibility Testing: Empathetic and Legal-Aware Bug Report Generation via Large Language Models
Institute of Science Tokyo(东京科学大学);The University of Osaka(大阪大学);Palangka Raya University(帕朗卡拉亚大学);Waseda University(早稻田大学)
本文提出HEAR框架,通过语义切片和视觉定位重建UI上下文,注入残疾导向的人设并多层推理,生成共情且法律意识的缺陷报告,提升非专业人士对用户伤害和合规风险的认知。
2026-03-25 cs.HC cs.SE
Flow-A11y: Flow-Aware Accessibility Testing
University of Luxembourg(卢森堡大学)
研究现代网页应用因交互流程产生的无障碍性问题,提出Flow-A11y系统,通过在真实浏览器执行流程、记录运行时跟踪等方法,贡献为提高测试准确性及实现动态WCAG标准自动化评估。
2026-07-07 cs.AI cs.SE
Program Structure-aware Language Models: Targeted Software Testing beyond Textual Semantics
New Jersey Institute of Technology(新泽西理工学院)
本文提出GLMTest框架,通过整合代码属性图和语义,利用图神经网络和语言模型生成针对性测试用例,提升分支覆盖和漏洞发现能力。
2026-04-20 cs.LG cs.SE
Towards API Testing Across Cloud and Edge
IBM Research(IBM研究院);IBM Services(IBM服务部);IBM Systems(IBM系统部)
API经济正在推动混合云和边缘环境中业务应用的数字化转型。为了使这种转换成功,需要对应用程序API组合进行端到端测试。即使在集中式云环境中,API组合的测试也具有挑战性,因为它需要覆盖功能和可靠性要求。场景的组合空间是巨大的,例如,API输入参数、API执行顺序和网络故障。混合云和边缘环境加剧了API测试的挑战,因为需要在动态广域网(可能跨越网络边界)之间协调测试执行。为了应对这一挑战,我们设想了一个测试框架,名为分布式软件测试工具包(DSTK)。DSTK利用组合测试设计(CTD)来满足功能需求,然后通过测试执行反馈和基于人工智能的搜索算法之间的幕后闭环自动满足可靠性需求。在闭环的每一次迭代中,搜索算法生成更多的可靠性测试场景以供下一步执行。具体而言,设想了五种可靠性测试:API的乱序执行、网络延迟和故障、API性能和吞吐量、API调用图模式的变化以及应用拓扑的变化。
2021-09-06 cs.AI cs.DC cs.SE
Applied Awareness: Test-Driven GUI Development using Computer Vision and Cryptography
图形化用户界面测试是一项非常具有挑战性的工作,而自动化测试更是如此。测试驱动的开发是不切实际的:它通常需要GUI的初始实现来生成黄金映像或构建交互式测试场景,并且后续的维护成本很高。虽然计算机视觉已被应用到GUI测试的几个方面,我们展示了一种新的和立即适用的方法来解释GUI演示文稿的后端通信,建模“意识”的方式采用加密的安全证明。这种对后端通信的关注避免了依赖于平台相关UI启示或可访问性特性的典型测试方法的缺陷。我们的跨学科工作已经为现成的实践做好了准备:我们报告了在线和离线验证的独立实用的实现,在一开始就使用简单的设计师规范,特别是避免了对引导实现或黄金映像的任何要求。除了实际的实现,在密码学中的形式化验证方法的关系进行了探索和解释,在UI和AI的可解释性的保证提供肥沃的前景。
2020-06-05 cs.CV cs.SE