Test Adequacy for Metamorphic Testing: Criteria, Measurement, and Implication
本文针对变质测试缺乏充分性评估准则的问题,从被测软件必要性质的角度提出新的测试充分性准则和度量方法,实验证明该度量能有效反映测试套件的缺陷检测能力,为构建高质量 MT 测试套件提供指导。
2024-12-30 cs.SE
An Efficient Black-Box Support of Advanced Coverage Criteria for Klee
动态符号执行(DSE)是一种基于被测程序路径空间探索的强大测试生成方法。这种方法非常适合于路径覆盖,但是对于条件、决策、高级覆盖标准(例如多个条件、弱突变、边界测试)或用户提供的测试目标效率较低。虽然已经提出了使DSE适应大量标准的理论解决方案,但它们从未被集成到公开可用的测试工具中。本文提出了一种先进的覆盖标准的优化测试生成策略到一个流行的开源测试工具DSE的基础上,即Klee的第一个集成。集成是以完全黑盒的方式执行的,因此可以激发轻松集成到其他类似工具中。该工具的最终版本名为Klee4labels,已公开发布。我们提出的设计所提出的技术,并评估它的几个基准。我们的研究结果证实了先进的覆盖标准所提出的工具的好处。
2022-12-23 cs.SE
LeCov: Multi-level Testing Criteria for Large Language Models
University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学);New York University(纽约大学)
针对LLMs缺乏系统测试准则的问题,提出多级测试准则LeCov,覆盖注意力、前馈神经元和不确定性,经实验验证有效。
2024-08-20 cs.AI cs.CL cs.CR
On-line tracing of XACML-based policy coverage criteria
目前,可扩展访问控制置标语言(XACML)已成为实现访问控制策略的标准,对XACML策略正确性的测试也越来越受到重视。特别地,可以采用覆盖度量来评估测试策略在执行策略元素时的有效性。本研究介绍了一套XACML覆盖标准,并描述了访问控制基础设施,基于一个监视引擎,使覆盖标准的选择和在线跟踪的测试活动。基础设施的使用和评估不同的测试策略的例子。
2018-09-07 cs.SE
Understanding the Effectiveness of Coverage Criteria for Large Language Models: A Special Angle from Jailbreak Attacks
本文从越狱攻击视角评估传统覆盖率准则在LLM安全测试中的有效性,发现神经元覆盖率能区分正常与越狱查询,并据此提出实时检测、测试用例优先级排序及覆盖率引导的攻击样本生成三种应用,显著提升模型安全性。
2025-04-01 cs.SE
DJPlus: Generating minimal test suites for strong coverage criteria in graph models
İstanbul Technical University(伊斯坦布尔理工大学);University of Antwerp(安特卫普大学);Graz University of Technology(格拉茨工业大学)
DJPlus提出一种优化驱动的测试生成方法,在满足图覆盖需求的同时生成精简测试套件,通过减少冗余测试步骤显著缩短执行时间,并在四个真实系统上验证了强覆盖准则的可行性。
2026-09-09 cs.SE
Presentation Proposal: Towards Efficient Data-flow Test Data Generation Using KLEE
数据流覆盖率是白盒测试的标准之一,它关注变量定义与其使用之间的关系,一些实证研究证明了数据流测试比控制流测试更有效。然而,由于缺乏有效的工具支持,数据流测试在实践中仍然没有得到采用。为此,我们提出了一个指导符号执行的方法来有效地搜索程序路径,以满足数据流覆盖标准。我们在KLEE上实现了这种方法,并用30个程序主题进行了评估,这些程序主题是由以前的数据流测试文献、SIR、SV-COMP基准中使用的主题构建的。此外,我们正计划将数据流测试技术集成到新提出的符号执行引擎SmartUnit中,SmartUnit是一种基于云的工业软件单元测试服务,支持基于覆盖率的测试。已成功帮助国内多家知名企业和机构在实践中采用基于覆盖率的测试,累计测试了超过百万行的行业真实代码。
2019-03-19 cs.SE
How effective are traditional test criteria at detecting bugs in large language models generated code?
SnT, University of Luxembourg(卢森堡大学 SnT);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过实证评估5个LLM和4个基准中的6000多个故障实例,发现传统测试准则对LLM生成代码的缺陷检测率极低,变异测试优势有限,需手动推理断言。
2026-09-10 cs.SE
RACC: Representation-Aware Coverage Criteria for LLM Safety Testing
Peking University(北京大学)
本文提出RACC,一种专为LLM安全测试设计的覆盖标准,通过提取安全表示并评估测试提示的激活情况,有效提升测试套件质量,同时对冗余输入不敏感,适用于大规模神经网络的安全测试。
2026-05-12 cs.AI cs.CL cs.CR
Agent Based Software Testing Framework (ABSTF) for Application Maintenance
软件测试框架可以被描述为验证和确认计算机程序/应用程序按预期工作并满足用户需求的过程。通常测试可以手动完成或使用工具。手动测试可能是耗时和繁琐的,而且需要大量的人力资源投资。测试工具实际上有很多优点并且现在被广泛使用,但也有一些缺点。一个特别的问题是,不再需要人为干预。测试工具的成本很高,因此,它不能用于小公司。因此,在本文中,我们提出了基于Agent的测试,这是一个快速增长的方法在测试领域。所提出的系统(ABSTF)必须减少应用程序测试的时间,容易发现错误,并通过回归测试解决错误。在这里,我们将使用一种安全有效的回归选择技术算法来选择性地重新测试修改后的程序。我们还使用可追溯性关系的完整性检查面向Agent的系统,在整个应用程序中发现缺失的元素,并在测试时刻的缺陷分类。由于代理具有自主行动的能力,因此可以动态地监视代码更改并为更改后的代码版本生成测试用例。
2013-07-12 cs.SE
Testing Agentic Workflows with Structural Coverage Criteria
Carleton University(卡尔顿大学);Cisco Systems(思科系统)
针对多智能体工作流的结构化测试问题,提出基于类型化协调图的覆盖驱动测试方法,通过DSPy生成可执行场景,有效检测工具访问、限制和委托路径的结构性回归。
2026-05-26 cs.SE
Testing Multi-Subroutine Quantum Programs: From Unit Testing to Integration Testing
本文针对多子程序量子程序的测试需求,提出从单元到集成测试的完整测试准则与技术,涵盖IO分析、关系检查、结构及行为测试等,并通过变异体和随机输入验证了方法的有效性。
2024-05-24 cs.SE quant-ph
Generation and Optimization of Test cases for Object-Oriented Software Using State Chart Diagram
测试任何软件系统的过程都是一项巨大的任务,既耗时又昂贵。随着软件的规模和复杂性增加,进行充分测试所需的时间和工作量也会增加,这可能会导致项目预算超支、软件系统开发延迟或某些测试用例可能无法覆盖。在SDLC(软件开发生命周期)中,通常软件测试阶段花费大约40 - 70%的时间和成本。基于状态的测试在软件测试中经常使用。测试数据生成是软件测试的关键问题之一。正确生成的测试集不仅可以定位软件系统中的错误,而且有助于降低与软件测试相关的高成本。通常期望可以自动生成测试套件内的测试序列形式的测试数据以实现所需的测试覆盖。针对基于状态的软件测试,提出了一种测试数据生成的优化方法。本文从状态图出发,导出了第一状态转移图。然后,从状态图中提取所有需要的信息。然后生成测试用例。最后,通过计算每个测试用例的节点覆盖率来最小化一组测试用例。还确定哪些测试用例被其他测试用例覆盖。我们的测试生成技术的优点是,它通过最小化时间和成本来优化测试覆盖率。提出的测试数据生成方案生成满足变迁路径覆盖准则、路径覆盖准则和动作覆盖准则的测试用例。以自动售票机(ATM)为例进行了分析.
2012-06-02 cs.SE
Exploring LLMs Impact on Student-Created User Stories and Acceptance Testing in Software Development
本研究考察大语言模型在引导指令下对本科生将用户反馈转化为用户故事的影响,发现LLMs有助于生成具有明确验收标准的故事,但在控制故事范围方面学生独立完成时表现更佳。
2025-02-04 cs.SE
Pass-Fail Criteria for Scenario-Based Testing of Automated Driving Systems
New Mobility Technologies Directorate(新移动技术局);Connected Places Catapult(互联城市弹射中心)
MUSICC项目创建了一个概念验证场景数据库,用于自动驾驶系统(ADS)验证的类型批准过程的一部分。这个过程必须包括一个高度自动化的方法来评估测试结果,因为在所需的规模上进行人工审查是不切实际的。本文提出了一个框架,用于评估ADS在正常运行中的行为安全性(即在没有组件故障或恶意行为的情况下执行动态驾驶任务)。确定了ADS性能的五个顶级评估标准。实现这些需要两种类型的结果评分规则:规定性的(必须始终遵循的可衡量规则)和基于风险的(不得经常发生的不良结果)。评分规则以程序设计语言定义,并将作为场景描述的一部分存储。基于风险的规则不能从单个测试用例中给出通过/失败的决定。相反,定义了一个框架来为每个功能场景(具有共同特性的测试用例集)做出决策。这考虑了许多单独测试的统计性能。这个框架的假设检验和场景选择的影响。
2020-05-26 cs.CY cs.RO cs.SE
Guiding Deep Learning System Testing using Surprise Adequacy
深度学习(DL)系统正在安全和安全关键领域中迅速采用,迫切需要测试其正确性和鲁棒性的方法。DL系统的测试传统上依赖于手动收集和标记数据。最近,已经提出了许多基于神经元激活值的覆盖标准。这些标准基本上计算在DL系统的执行期间其激活满足某些属性(诸如高于预定义阈值)的神经元的数量。然而,现有的覆盖标准不够细粒度的捕获DL系统所表现出的微妙的行为。此外,评估的重点是显示对抗性示例和拟议标准之间的相关性,而不是评估和指导它们用于DL系统的实际测试。我们提出了一种新的测试充分性标准用于测试DL系统,称为深度学习系统(SADL)的惊喜度,这是基于DL系统相对于其训练数据的行为。我们将输入的惊喜度量为输入和训练数据之间的DL系统行为的差异(即,在训练过程中学到了什么),并随后将其发展为适当性标准:与训练数据相比,好的测试输入应该是充分的,但不是明显的令人惊讶。使用从简单图像分类器到自动驾驶汽车平台的一系列DL系统进行的实证评估表明,基于惊喜的系统化输入采样可以通过再训练将DL系统对对抗性样本的分类准确率提高77.5%。
2018-08-25 cs.NE cs.SE
Black-Box Testing of Deep Neural Networks Through Test Case Diversity
University of Ottawa(渥太华大学);École de Technologie Supérieure(高等技术学院);University of Luxembourg(卢森堡大学);General Motors(通用汽车公司)
针对白盒神经元覆盖准则可获取性受限且指导效果受质疑的问题,本文评估三种黑盒输入多样性指标,证明其中一种在故障揭示能力和计算时间上显著优于现有覆盖准则。
2023-02-06 cs.AI cs.LG cs.SE
Random Grammar-based Testing for Covering All Non-Terminals
在软件测试的上下文中,生成复杂的数据输入经常使用基于语法的规范来执行。由于组合的原因,详尽地生成给定大小的数据实际上是不可能的,大多数方法要么基于随机技术,要么基于覆盖标准。在本文中,我们将展示如何结合这两种技术,通过偏置随机生成,以优化满足覆盖标准的概率。
2013-11-26 cs.SE
Decomposability in Input Output Conformance Testing
我们研究的问题,得出一个规范的第三方组件,基于规范的系统和环境中的组件应该驻留。特别是,我们感兴趣的是使用组件规范的一致性测试的黑盒组件,使用输入输出一致性(ioco)测试的理论。我们提出并证明了充分的标准分解,即,符合派生规范的组件将始终组成以产生关于系统规范的正确系统。我们还研究了强可分解性的标准,通过它我们可以确保只有那些符合派生规范的组件才能导致正确的系统。
2013-03-05 cs.LO cs.SE
Managing Object-Oriented Integration and Regression Testing
面向对象软件的系统测试比传统软件的测试要复杂得多。特别是高度增量和迭代的开发周期需要更多的更改和部分实现。重新实现的类。在开发过程中,必须进行更多的集成和回归测试,以达到稳定的阶段。在这个演示文稿中,我们提出了一个图表捕捉所有可能的依赖关系和面向对象的程序中的相互作用。然后,我们给出了算法和覆盖标准,以确定集成响应。回归测试策略和所有测试用例将在一些实施后执行。修改活动。最后总结了一些实践经验和体会。
1999-02-05 cs.SE
DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems
Harbin Institute of Technology(哈尔滨工业大学);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学);Kyushu University(九州大学);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Monash University(莫纳什大学)
深度学习(DL)定义了一种新的数据驱动编程范式,通过一组训练数据构建精心制作的神经元网络的内部系统逻辑。我们已经看到DL在许多安全关键场景中的广泛采用。然而,大量的研究表明,国家的最先进的DL系统遭受各种漏洞,这可能会导致严重的后果时,应用到现实世界的应用程序。目前,DL系统的测试充分性通常由测试数据的准确性来衡量。考虑到可获得的高质量测试数据的局限性,对测试数据的良好准确性很难为DL系统的测试充分性和通用性提供信心。与具有清晰和可控逻辑和功能的传统软件系统不同,深度学习系统中缺乏可解释性使得系统分析和缺陷检测变得困难,这可能会阻碍其在现实世界中的部署。在本文中,我们提出了DeepGauge,一组多粒度的测试标准DL系统,其目的是呈现多方面的写照的测试床。我们提出的测试标准的深入评估证明了两个著名的数据集,五个DL系统,并与四个国家的最先进的对抗攻击技术对DL。DeepGauge的潜在用途为构建更通用和更强大的DL系统提供了帮助。
2018-08-14 cs.CR cs.LG cs.SE
Flow-A11y: Flow-Aware Accessibility Testing
University of Luxembourg(卢森堡大学)
研究现代网页应用因交互流程产生的无障碍性问题,提出Flow-A11y系统,通过在真实浏览器执行流程、记录运行时跟踪等方法,贡献为提高测试准确性及实现动态WCAG标准自动化评估。
2026-07-07 cs.AI cs.SE
Testing Deep Neural Networks
University of Oxford(牛津大学);University of Liverpool(利物浦大学);Defence Science and Technology Laboratory (Dstl)(国防科学技术实验室(Dstl))
深度神经网络(DNN)具有广泛的应用,使用它们的软件必须经过彻底的测试,特别是在安全关键领域。然而,传统的软件测试覆盖度量不能直接应用于DNN。在本文中,受MC/DC覆盖标准的启发,我们提出了一系列四个新的测试标准,这些标准是针对DNN的结构特征及其语义而量身定制的。我们通过证明通过我们提出的覆盖标准指导生成的测试输入能够捕获DNN中的不期望行为来验证标准。测试用例的生成采用符号化方法和基于梯度的启发式搜索。通过将它们与现有方法进行比较,我们表明我们的标准在发现错误(使用对抗性示例进行代理)的能力和测试用例生成的计算成本之间实现了平衡。我们的实验是在使用流行的开源数据集(包括MNIST、CIFAR-10和ImageNet)获得的最先进的DNN上进行的。
2019-04-15 cs.CV cs.LG cs.SE
Code Coverage Based Test Case Selection and Prioritization
回归测试的目的,是在对现有软件作出多项修订或改动后,确保软件能达到预期的功能。回归测试或可透过隐藏软件在功能性及非功能性应用方面的回归或软件错误,以证明经修订的软件的质素。事实上,测试用例集的维护是巨大的,因为它需要在大规模的测试用例上投入大量的时间和金钱。因此,最小化测试集成为减少回归测试预算的必要条件。准确地说,这篇研究论文希望提出一种创新的方法,有效地选择和优先级的测试用例,作为回报,可能会获得最大的代码平均。
2013-12-07 cs.SE
Benchmarking Quantum Software Testing with Scalable Quantum Programs
Beihang University(北京航空航天大学);Kyushu University(九州大学)
提出Qolumbina基准基础设施,通过40个开源量子程序,支持可扩展量子软件测试的受控实验,涵盖功能、输出行为、开发复杂度和量子执行复杂度等测试相关特性。
2026-07-03 cs.SE quant-ph
Applying Security Testing Techniques to Automotive Engineering
本文系统分类了现有安全回归测试方法,分析其抽象级别、安全问题、测试技术、工具支持与评估情况,并指出未来研究方向。
2023-09-18 cs.CR cs.SE
How Much Data Analytics is Enough? The ROI of Machine Learning Classification and its Application to Requirements Dependency Classification
University of Calgary(卡尔加里大学);Dept. Computer Science(计算机科学系);Dept. Electrical and Software Engineering(电气与软件工程系);Haskayne School of Business(哈斯凯恩商学院)
机器学习(ML)可以大大提高组织的效率和有效性,并广泛用于软件工程的不同目的。然而,ML技术的选择和实现几乎完全依赖于准确性标准。因此,对于希望实现ML投资收益的组织来说,这种狭隘的方法忽略了ML活动在整个ML生命周期中的预期成本的关键考虑因素,同时未能考虑到可能从拟议活动中获得的收益。我们提出了一种方法,通过提高投资回报率(ROI)考虑的准确性标准来解决这一差距。具体来说,我们分析了两种最先进的ML技术的性能:随机森林和双向编码器表示Transformers(BERT),基于两个公开数据集的准确性和ROI。具体来说,我们比较了需求依赖关系提取的决策(i)完全基于准确性,以及(ii)扩展到包括投资回报率分析。因此,我们提出了根据所使用的训练数据的程度来选择ML分类技术的建议。我们的研究结果表明,与基于准确性作为唯一标准的决策相比,将ROI作为附加标准可以极大地影响ML选择
2021-09-28 cs.IR cs.LG cs.SE
Private GPTs for LLM-driven testing in software development and machine learning
Ambrosys Gmbh(Ambrosys公司)
本研究探究私有GPTs基于验收标准自动生成可执行测试代码的能力,对比直接生成与经Gherkin语法中间步骤的两步生成两种方式,发现两步法生成的测试在可读性与编码规范上更优,且结构化提示词能提升测试输出质量。
2025-07-31 cs.AI cs.SE