Enhancing Path-Oriented Test Data Generation Using Adaptive Random Testing Techniques
在本文中,我们已经开发了一种方法来产生测试数据的路径覆盖为基础的测试。这类测试的主要挑战在于它是否能够有效地构建这样一个测试套件,以尽量减少拒绝的数量。我们解决这个问题,一个新的分治的方法,基于自适应随机测试策略。我们的方法作为输入的可执行路径的约束,并计算一个紧密的过近似的相关子域使用动态域分区的方法。我们实现了这种方法,并得到了实验结果,显示了实际的好处相比,现有的方法。我们的方法产生较少的无效输入,并能够获得许多复杂的约束子域。
2017-11-29 cs.SE
Fairness Testing: A Comprehensive Survey and Analysis of Trends
本文针对机器学习软件不公平行为问题,对100篇公平性测试研究按测试工作流与组件分类梳理,分析领域研究重点、趋势及前景方向,明确了常用数据集与开源工具。
2024-03-06 cs.SE
A Survey on Software Testing Techniques using Genetic Algorithm
软件行业的总体目标是确保向最终用户交付高质量的软件。为了保证软件的高质量,需要对软件进行测试。测试确保软件满足用户规范和要求。然而,软件测试领域存在许多需要解决的潜在问题,例如测试用例的有效生成、测试用例的优先级排序等。这些问题需要测试的努力,时间和成本。已经提出了不同的技术和方法来处理这些问题。利用进化算法自动生成测试一直是许多研究人员感兴趣的领域。遗传算法(GA)就是这样一种进化算法。在这篇研究论文中,我们提出了一个调查的GA方法来解决软件测试过程中遇到的各种问题。
2014-11-05 cs.SE
Survey on software testing techniques in cloud computing
云计算是互联网发展的下一个阶段。它依靠资源共享来实现网络的一致性。它作为一种新的计算标准正在影响着包括软件测试在内的多个不同的研究领域。有各种软件技术用于测试应用程序。它不仅改变了计算资源的获取方式,也改变了计算服务、技术和解决方案的管理和交付方式,同时也给软件测试带来了新的问题、挑战和需求。云中的软件测试可以减少对硬件和软件资源的需求,并为传统的软件测试过程提供灵活有效的替代方案。本文概述了云测试和基于云的应用的趋势、机遇、挑战、问题和需求。
2014-02-09 cs.SE
SEAByTE: A Self-adaptive Micro-service System Artifact for Automating A/B Testing
微服务是当今软件开发的常见架构方法。开发微服务系统不可或缺的工具是A/B测试。在A/B测试中,两个变量A和B被应用于实验环境中。通过测量评估标准的结果,开发人员可以做出基于证据的决策来指导他们的软件的发展。最近的研究强调,需要提高自动化时,这样的实验进行迭代。为此,我们贡献了一个新的工件,旨在提高依赖于自适应原则的微服务系统的实验管道的自动化。具体来说,我们提出了SEAByTE,一个实验框架,用于测试新的自适应解决方案,以提高基于微服务的系统的连续A/B测试的自动化。我们用一个具体的例子来说明SEAByTE工件的使用。
2022-04-04 cs.SE
Testing RESTful APIs: A Survey
在工业中,RESTful API被广泛用于构建现代云应用程序。测试它们是具有挑战性的,因为它们不仅依赖于网络通信,而且还要处理数据库等外部服务。因此,近年来有大量的研究萌芽,如何自动验证这类Web服务。在本文中,我们基于对92篇科学文章的分析,回顾了测试RESTful API的最新技术。这篇综述分类并总结了关于这一主题的现有科学工作,并讨论了RESTful API验证中的当前挑战。
2022-12-30 cs.SE
Artificial table testing dynamically adaptive systems
动态自适应系统(DAS)是一种根据周围环境的变化而改变其行为和结构的系统。关键任务系统越来越多地纳入对环境的适应和反应;实例包括救灾和空间探索系统。这些系统可以分解为两个部分:适应策略,它指定系统必须如何根据环境变化做出反应,以及一组可能的变量来重新配置系统。测试这些系统的一个主要挑战是系统必须应对的变量和环境条件的组合爆炸。在本文中,我们专注于测试的自适应政策,并提出了一个战略的选择环境变化,可以揭示错误的政策。人工振动台试验(ASTT)是受振动台试验(STT)的启发而发展起来的一种方法。ASTT利用人工地震模拟环境条件的剧烈变化,强调系统的适应能力。我们将人工地震的产生建模为一个搜索问题,其目标是优化不同类型的环境变化。
2009-03-05 cs.SE
Fault Based Techniques for Testing Boolean Expressions: A Survey
布尔表达式是规范的主要焦点,它们非常容易引入错误,本文介绍了各种基于错误的测试技术。它确定了不同的技术在其故障检测能力和生成的测试套件。各种技术,如因果图,有意义的影响策略,分支算子策略(BOR),BOR+MI,MUMCUT,修改的条件/决策覆盖(MCDC)已被考虑。本调查描述了这些策略用于评估其性能的基本算法和故障类别。最后,它包含了简短的摘要,使用布尔表达式来指定检测故障的要求的论文。这些技术已由多位研究人员在简化的安全相关实时的控制系统上进行了经验评估。
2012-02-22 cs.SE
A Survey on Web Testing: On the Rise of AI and Applications in Industry
本文系统综述2014-2025年Web测试研究,分析259篇论文发现该领域以ICST为主,多聚焦黑盒自动化测试,Selenium最常用,并揭示了AI在测试生成中的作用及工业界参与趋势。
2025-08-12 cs.SE
A Testing Scheme for Self-Adaptive Software Systems with Architectural Runtime Models
自适应软件系统(SASS)配备有反馈回路,以自主地适应软件或环境的变化。在已建立的领域,如嵌入式软件,已经开发出复杂的方法来系统地研究反馈回路早期在开发过程中。为了涵盖反馈的特殊性,包括单向和在环仿真和测试等技术。然而,目前缺乏系统测试SASS的相关方法。因此,在本文中,我们提出了一个系统的测试方案,SASS,允许工程师测试的反馈回路在开发早期利用建筑运行时模型。这些在开发早期可用的模型通常在运行时由反馈循环的活动使用,并且它们提供了合适的高级抽象来描述测试输入以及预期的测试结果。我们通过一个小的案例研究,进一步概述了我们的想法与一些初步的评估结果。
2018-05-17 cs.SE
Adaptive Random Testing with Q-grams: The Illusion Comes True
针对传统自适应随机测试距离计算开销大、可扩展性差的问题,提出基于q-gram聚合的ART框架,将复杂度从二次降为线性,在6个Web应用基准上的目标覆盖能力显著优于随机测试和传统距离法ART。
2025-02-22 cs.SE
Testing Research Software: A Survey
工作背景:研究软件在解决现实生活中的问题,推动科学创新和处理紧急情况方面发挥着重要作用。因此,研究软件的正确性和可信性是绝对重要的。软件测试是识别有问题的代码并帮助生成高质量软件的重要活动。然而,由于基础科学的复杂性,科学算法的相对未知的结果以及研究软件社区的文化,研究软件的测试是困难的。目的:本文的目标是更好地了解当前的测试实践,识别挑战,并提供有关如何改进研究软件开发的测试过程的建议。方法:我们调查了研究软件开发人员社区的成员,以收集有关他们在项目中对软件测试的了解和使用的信息。结果如下:我们分析了120份回复,发现即使研究软件开发人员报告他们对软件测试的知识水平处于平均水平,但由于涉及众多挑战,他们仍然感到困难。然而,有许多方法,例如适当的培训,可以改善研究软件的测试过程。结论:测试对于任何类型的软件都是具有挑战性的。这种困难尤其存在于研究软件的开发中,其中软件工程活动通常较少受到关注。为了从研究软件中产生值得信赖的结果,需要改变文化,以便重视测试,并且团队投入适当的精力来编写和执行测试。
2022-05-31 cs.SE
Toward Cost-effective Adaptive Random Testing: An Approximate Nearest Neighbor Approach
针对自适应随机测试的高计算成本问题,提出基于近似最近邻的LSH-ART方法,通过局部敏感哈希高效识别近似最近邻,平衡测试有效性与效率。
2024-03-19 cs.SE
Test Agents: Adaptive, Autonomous and Intelligent Test Cases
软件规模的增长、执行回归测试的资源的缺乏以及无法更快地检测错误,都使得对持续集成和测试自动化的依赖增加。即使有更多的硬件和软件资源专用于测试自动化,软件测试也面临着巨大的挑战,导致越来越依赖于作为持续集成框架的一部分的自动测试用例选择和优先级排序的复杂机制。这些机制目前使用称为测试用例的简单实体,这些实体具体实现为可执行脚本。我们的核心思想是通过使用智能软件代理的概念,提供更多的推理,自适应行为和学习能力的测试用例。我们把这样的测试用例称为测试代理。作为测试代理基础的模型能够灵活和自主地采取行动,以满足总体测试目标。我们的目标是增加回归测试的分散性,让测试代理自己知道什么时候应该执行,他们应该如何更新他们的目的,以及什么时候应该相互交互。在本文中,我们设想软件测试代理,显示这种自适应的自主行为。新兴的发展和挑战,关于使用测试代理,特别是,新的研究,旨在使用自适应自主智能体在软件测试。
2018-02-12 cs.SE
SWFC-ART: A Cost-effective Approach for Fixed-Size-Candidate-Set Adaptive Random Testing through Small World Graphs
自适应随机测试(ART)通过利用大多数故障程序的故障导致输入的聚类特性来提高随机测试的故障检测效率:ART使用一种在软件输入域中均匀分布测试用例的采样机制。广泛使用的固定大小数据集ART(FSCS-ART)采样策略面临着二次时间开销,且随着软件输入域维数的增加而增加。在本文中,我们提出了一种基于小世界图的方法,可以提高计算效率的FSCS-ART:SWFC-ART。为了有效地执行最近邻查询的候选测试用例,SWFC-ART增量构造一个层次化的可导航的小世界图先前执行的,非故障引起的测试用例。此外,SWFC-ART在高维输入域的程序中表现出一致性。我们的模拟和实证研究表明,SWFC-ART减少了FSCS-ART的计算开销从二次到对数线性顺序,同时保持FSCS-ART的故障检测有效性,并在高维输入域保持一致。我们建议在实际的软件测试场景中使用SWFC-ART,在这些场景中,真实的程序通常具有高维输入域和低故障率。
2021-05-12 cs.SE
A Survey on What Developers Think About Testing
本调查基于284名开发者的回复,探究开发者对测试的真实态度,发现测试动机受质量追求与个人满足感驱动,但被视为单调任务,建议通过更好认可来改善。
2023-09-03 cs.SE
Testing Research Software: An In-Depth Survey of Practices, Methods, and Tools
本研究深入调查了研究软件的测试实践、挑战与工具使用情况,发现开发者面临测试用例设计与输出正确性评估等主要挑战且对现有工具不熟悉,指出需提供定制化标准测试工具与资源支持以改进测试过程。
2025-01-29 cs.SE
Software Testing and Code Refactoring: A Survey with Practitioners
本研究面向软件测试从业者开展调研,探究其代码重构实践的收益与局限,发现重构可助力自动化测试维护、提升团队绩效,但存在管理层重视不足等障碍,为测试人员提升编码能力提供参考。
2023-10-03 cs.SE
A Survey on the Application of Large Language Models in Scenario-Based Testing of Automated Driving Systems
Graz University of Technology(格拉茨工业大学);Tongji University(同济大学)
本文综述了大型语言模型在自动驾驶系统场景化测试中的应用,系统分类了其在不同测试阶段的角色,并总结了关键特性与使用策略,同时指出了五个开放挑战和研究方向。
2026-01-01 cs.SE
Adaptive Testing for LLM-Based Applications: A Diversity-based Approach
School of Computing KAIST Daejeon, Republic of Korea;Dept. of Computer Science \& Engineering Chalmers University Gothenburg, Sweden
本文提出一种基于多样性的自适应测试方法,将自适应随机测试与字符串距离度量结合,用于LLM提示模板测试,在降低测试预算的同时有效发现故障并增加输出多样性。
2025-01-23 cs.AI cs.SE
Machine Learning Testing: Survey, Landscapes and Horizons
University College London(伦敦大学学院);Facebook London(Facebook伦敦);Kyushu University(九州大学);Nanyang Technological University(南洋理工大学)
本文对机器学习测试(ML测试)的研究进行了全面的综述。它涵盖了144篇关于测试性能的论文(例如,正确性、鲁棒性和公平性),测试组件(例如,数据、学习程序和框架),测试工作流(例如,测试生成和测试评估),以及应用场景(例如,自动驾驶、机器翻译)。本文还分析了有关数据集的趋势,研究趋势和研究重点,最后总结了ML测试的研究挑战和有前途的研究方向。
2019-12-21 cs.AI cs.LG cs.SE
Adaptive and AI-Augmented Security Testing: A Systematic Survey of Program Analysis, Feedback-Driven Testing, and Hybrid Learning-Based Approaches
Mississippi State University(密西西比州立大学)
本文系统综述了自适应和AI增强的安全测试研究,探讨了程序分析、DevSecOps、反馈驱动模糊测试、LLM自动化测试生成及混合系统等五个领域,揭示了结构化程序表示与自适应测试机制之间的断层,并提出五个开放研究挑战。
2026-04-29 cs.CR cs.PL cs.SE
An Autonomous Performance Testing Framework using Self-Adaptive Fuzzy Reinforcement Learning
RISE Research Institutes of Sweden(瑞典RISE研究院);Mälardalen University(梅拉达伦大学)
测试自动化带来了降低成本和人力的潜力,但是软件测试的几个方面仍然具有自动化的挑战。一个这样的例子是自动化性能测试,以找到性能突破点。目前的性能测试用例自动生成方法主要涉及使用源代码或系统模型分析或基于用例的技术。但是,源代码和系统模型在测试时可能并不总是可用的。另一方面,如果测试系统可以学习测试过程中针对预期目标的最佳性能测试策略,则可以在没有高级性能模型的情况下实现测试自动化。此外,学习的策略可以在以后被重用于类似的软件系统中,从而导致更高的测试效率。我们提出了SaFReL,一个自适应模糊强化学习为基础的性能测试框架。SaFReL通过初始学习阶段学习最优策略以生成性能测试用例,然后在迁移学习阶段重用它,同时保持学习运行并长期更新策略。通过在模拟环境中的多次实验,我们证明了我们的方法比典型的测试过程更有效地为不同的程序生成目标性能测试用例,并且在不访问源代码和性能模型的情况下自适应地执行。
2020-07-30 cs.AI cs.PF cs.SE
Navigating the growing field of research on AI for software testing -- the taxonomy for AI-augmented software testing and an ontology-driven literature survey
Technische Universität Berlin(柏林技术大学)
本文针对软件测试自动化投入成本高的问题,综述了各自动化程度下的AI增强软件测试研究及AI催生的新型测试,提出分类体系ai4st以梳理现有研究、明确开放问题。
2025-06-17 cs.AI cs.SE
Testing with Fewer Resources: An Adaptive Approach to Performance-Aware Test Case Generation
测试用例自动生成是生成高覆盖测试集的有效技术。虽然大部分研究工作都致力于满足覆盖标准,但最近出现了优化其他非覆盖方面的趋势。在这方面,运行时和内存使用是两个基本的维度:较便宜的测试减少了生成过程和后期回归测试阶段的资源需求。这项研究表明,性能感知的测试用例生成需要解决两个主要的挑战:提供一个很好的近似的资源使用以最小的开销,并避免对最终的覆盖率和故障检测有效性的不利影响。为了应对这些挑战,我们构思了一组性能代理--受先前性能测试工作的启发--提供了测试执行成本的合理估计(即,运行时和内存使用)。因此,我们提出了一个自适应的策略,称为aDynaMOSA,它利用这些代理扩展DynaMOSA,一个国家的最先进的进化算法在单元测试。我们的实证研究--涉及110个非平凡的Java类--表明,与DynaMOSA相比,我们的自适应方法生成的测试套件在运行时(-25%)和堆内存消耗(-15%)方面有统计学上的显着改进。此外,aDynaMOSA在七个不同的覆盖标准和类似的故障检测有效性上具有与DynaMOSA相当的结果。我们的实证调查还强调了性能代理的使用(即,没有自适应性)不足以在不损害整体覆盖的情况下生成更高性能的测试用例。
2019-11-08 cs.NE cs.SE
Generative AI for Testing of Autonomous Driving Systems: A Survey
University College London(伦敦大学学院)
本文系统综述了生成式AI在自动驾驶系统测试中的应用,归纳出六大主要应用类别,并总结了相关数据集、模拟器、指标及27项局限性,为未来研究提供方向。
2025-08-27 cs.AI cs.SE
Adaptive Testing for Specification Coverage
确保网络物理系统(CPS)的正确性是一项极具挑战性的任务,在实践中通常通过基于仿真的测试来解决。正式的规约语言,如信号时序逻辑(STL),用于数学表达CPS的要求,从而使仿真活动更系统和原则。我们提出了一种新的方法,自适应生成测试规格覆盖STL。为了实现这一目标,我们设计了合作的可达性游戏,我们结合数值优化来创建测试,探索系统的方式,行使规范的各个部分。据我们所知,我们的方法是第一个自适应测试方法,可以直接应用到MATLAB \texttrademark \; Simulink/Stateflow模型。我们实现了我们的方法在一个原型工具,并评估了几个说明性的例子和案例研究,从航空电子领域,证明了自适应测试的有效性(1)逐步建立一个测试用例,达到测试目标,(2)生成一个测试套件,增加规范的覆盖范围,(3)推断规范的哪一部分实际上是实现的。
2021-01-26 cs.FL cs.GT cs.LO
Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种将配置分配重构为序列决策问题的强化学习框架,首次结合Q学习与混合奖励设计,并开发自适应在线-离线训练方案,在模拟中优于静态基线,接近最优性能。
2025-10-02 cs.LG cs.SE stat.ML
Self-Checks In Spreadsheets: A Survey Of Current Practice
电子表格的一个常见应用是开发模型,对为从事需要项目融资的企业而设立的公司的未来财务报表作出预测。对一系列组织编制的11个此类电子表格的调查显示,此类模型中包含的自测量从每三个计算公式一个测试公式到基本上没有自测。
2010-01-23 cs.HC cs.SE
A Survey on Testing and Analysis of Quantum Software
本文系统综述了量子软件测试与分析的最新进展,涵盖测试技术、程序分析、优化与基准,并指出关键挑战与开放问题。
2024-10-01 cs.SE quant-ph
Adaptive Grey-Box Fuzz-Testing with Thompson Sampling
Bloomberg(彭博)
模糊测试或“模糊”是指广泛部署的一类技术,用于通过生成一组输入来测试程序,以明确地找到错误和识别安全缺陷。灰盒模糊是最流行的模糊检测策略,它结合了轻量级程序插装和数据驱动过程来生成新的程序输入。在这项工作中,我们提出了一个机器学习的方法,建立在AFL,卓越的灰箱模糊,通过自适应学习概率分布在其变异算子的程序特定的基础上。这些操作员,这是随机选择均匀的AFL和突变模糊一般,决定如何产生新的输入,模糊的功效的核心部分。我们的主要贡献是两方面的:首先,我们表明,从训练计划中估计的突变算子的采样分布可以显着提高AFL的性能。其次,我们介绍了一个汤普森采样,基于带宽的优化方法,微调的mutator分布自适应,在模糊的过程中,一个单独的程序。一组跨复杂程序的实验表明,调整突变运算符分布生成的输入集产生显着更高的代码覆盖率,并发现更多的崩溃更快,更可靠的AFL的基线版本以及其他基于AFL的学习方法。
2018-08-24 cs.AI cs.SE
A Survey of Verification, Validation and Testing Solutions for Smart Contracts
智能合约是存储在区块链上的程序,在满足预定条件时运行。然而,设计和实现智能合约并不简单,因为在区块链上部署时,不再可能修改它(无论是为了改进还是修复错误)。只有通过部署一个新版本的智能合约才有可能,这是昂贵的(新合约的部署成本和旧合约的销毁成本)。为此,有许多解决方案可以在部署之前测试智能合约。由于实现无错误的智能合约可以提高可靠性并降低成本,因此测试是一项必不可少的活动。在本文中,我们将试图解决智能合约测试的现有解决方案分为以下几类:公共测试网络,安全分析工具,区块链模拟器和区块链模拟器。然后,我们分析这些解决方案,对它们进行分类,并展示它们的优点和缺点。
2021-12-07 cs.DC cs.MA cs.SE
A Survey on Scenario-Based Testing for Automated Driving Systems in High-Fidelity Simulation
Columbia University(哥伦比亚大学);Alibaba-NTU Joint Research Institute(阿里巴巴-南洋理工大学联合研究所);Nanyang Technological University(南洋理工大学);Universidade Federal Fluminense(弗卢米嫩塞联邦大学)
近年来,自动驾驶系统(ADS)取得了快速发展。为确保这些系统安全可靠,当局现正进行广泛测试,以便日后大规模部署。在道路上测试系统是最接近现实世界和理想的方法,但它的成本令人难以置信。此外,使用这种真实世界的测试来覆盖罕见的角落情况是不可行的。因此,一个流行的替代方法是评估ADS在一些精心设计的具有挑战性的场景中的性能,也就是基于场景的测试。高保真模拟器已被广泛用于这种设置,以最大限度地提高灵活性和方便性,在测试假设场景。虽然已经提出了许多作品提供不同的框架/方法来测试特定的系统,这些作品之间的比较和连接仍然缺失。为了弥合这一差距,在这项工作中,我们提供了一个通用的制定基于MIMO的测试在高保真仿真和现有的作品进行文献综述。我们进一步比较了它们,并提出了开放的挑战以及潜在的未来研究方向。
2021-12-02 cs.AI cs.LG cs.RO