Achieving High Coverage for Floating-point Code via Unconstrained Programming (Extended Version)
实现高代码覆盖率在测试中至关重要,这使我们对代码质量充满信心。测试浮点代码通常需要在处理浮点约束方面付出艰苦的努力,例如,象征性的处决本文将测试浮点代码的挑战转化为应用无约束编程的机会--在整个搜索空间上计算函数最小点的数学解决方案。我们的核心见解是从浮点程序中导出一个表示函数,其任何最小点都是一个测试输入,保证可以运行被测试程序的一个新分支。这种保证允许我们通过反复最小化表示函数来实现浮点程序的高覆盖率。我们已经在一个名为CoverMe的工具中实现了这种方法,并在Sun的C数学库上对其进行了广泛的评估。我们的评估结果表明,CoverMe平均在6.9秒内实现了90.8%的分支覆盖率,大大优于我们比较的工具:(1)随机测试,(2)AFL,Google发布的高度优化,强大的模糊器,以及(3)Austin,一种最先进的基于覆盖率的测试工具,旨在支持浮点代码。
2017-04-11 cs.PL cs.SE
Testing Multi-Subroutine Quantum Programs: From Unit Testing to Integration Testing
本文针对多子程序量子程序的测试需求,提出从单元到集成测试的完整测试准则与技术,涵盖IO分析、关系检查、结构及行为测试等,并通过变异体和随机输入验证了方法的有效性。
2024-05-24 cs.SE quant-ph
On Testing Machine Learning Programs
如今,由于深度学习和强化学习的最新突破,我们正在许多安全关键系统中广泛采用机器学习(ML)模型。许多人现在每天都在与基于ML的系统进行交互,例如,亚马逊Alexa或谷歌Home等虚拟个人助理使用的话音识别系统。随着ML领域的不断发展,我们可能会在金融、能源、健康和交通等广泛领域看到变革性的进步。鉴于基于ML的系统在我们日常生活中的重要性日益增加,确保其可靠性变得非常重要。最近,软件研究人员已经开始采用来自软件测试领域的概念(例如,代码覆盖率,突变测试或基于属性的测试),以帮助ML工程师检测和纠正ML程序中的错误。本文回顾了当前ML程序的现有测试实践。首先,我们确定并解释在测试ML程序时应该解决的挑战。接下来,我们报告了文献中用于测试ML程序的现有解决方案。最后,我们确定了与ML程序测试相关的文献中的差距,并为科学界提出了未来研究方向的建议。我们希望对软件测试实践的全面回顾将帮助ML工程师确定正确的方法来提高基于ML的系统的可靠性。我们还希望研究界能够按照我们提出的研究方向采取行动,以推进机器学习程序测试的最新发展。
2018-12-05 cs.SE
Adaptive and AI-Augmented Security Testing: A Systematic Survey of Program Analysis, Feedback-Driven Testing, and Hybrid Learning-Based Approaches
Mississippi State University(密西西比州立大学)
本文系统综述了自适应和AI增强的安全测试研究,探讨了程序分析、DevSecOps、反馈驱动模糊测试、LLM自动化测试生成及混合系统等五个领域,揭示了结构化程序表示与自适应测试机制之间的断层,并提出五个开放研究挑战。
2026-04-29 cs.CR cs.PL cs.SE
QuSBT: Search-Based Testing of Quantum Programs
为量子程序生成测试套件,使其具有最大数量的失败测试是一个优化问题。对于这样的优化,基于搜索的测试在经典程序的背景下显示出有希望的结果。为此,我们提出了一个基于遗传算法的量子程序测试生成工具,称为QuSBT(基于搜索的量子程序测试)。QuSBT自动化量子程序的测试,目的是找到一个测试套件具有最大数量的失败测试用例。QuSBT利用IBM的Qiskit作为量子程序的模拟框架。除了实现的方法之外,我们还介绍了工具架构(即,搜索个体的编码、表示搜索问题的适应度函数的定义以及测试评估w.r.t.两种失败)。最后,我们报告的实验结果,我们测试了一组错误的量子程序与QuSBT,以评估其有效性。存储库(代码和实验结果):https://github.com/Simula-COMPLEX/qusbt-tool视频:https://youtu.be/3apRCtluAn4
2022-04-18 cs.SE
A Black-box Testing Framework for Oracle Quantum Programs
Institute of High Energy Physics, Chinese Academy of Science(中国科学院高能物理研究所);Kyushu University(九州大学)
本文提出一个黑盒测试框架,用于测试通用量子 oracle 程序,通过定义程序并建立理论基础,开发原型工具并进行实验验证,以提高量子软件的可靠性。
2026-03-17 cs.SE quant-ph
Differentially Testing Soundness and Precision of Program Analyzers
在过去的几十年里,学术界和工业界都开发了许多程序分析器。然而,尽管它们丰富,目前还没有系统的方法来比较不同分析器对任意代码的有效性。在本文中,我们提出了第一个自动化技术的差异测试健全性和精度的程序分析仪。我们使用我们的技术来比较六个成熟的,最先进的分析器对成千上万的自动生成的基准。我们的技术检测的稳健性和精度问题,在大多数分析仪,我们评估了这些问题的影响,设计师和用户的程序分析仪。
2018-12-16 cs.SE
Development of a Web Platform for Code Peer-Testing
作为编程课程形成性和总结性评估的一部分,学生根据给定的规范开发编程工件。这些作品由教师进行评价。在评估结束时,学生会收到反馈和分数。提供关于编程工件的反馈是需要时间的,并且可能使反馈到达得太晚而不能有效地用于学生的学习。我们建议将软件测试与同行反馈相结合,这被称赞为提供了一个及时有效的学习活动与程序测试。在本文中,我们报告了一个Web平台的开发,通过程序测试的同行反馈的编程工件。我们讨论了我们的同行测试平台的开发过程中,教师和学生的通知。
2020-08-13 cs.SE
Finding Failure Causes through Automated Testing
程序失败。在什么情况下会发生这种故障?一个单一的算法,增量调试算法,足以确定这些故障诱导的情况。增量调试系统地和自动地测试程序,以隔离导致失败的环境,例如程序输入,程序代码的更改或执行的语句。
2000-12-14 cs.SE
Concolic Testing in CLP
Concolic测试是一种基于具体执行和符号执行相结合的流行软件验证技术。它的主要重点是发现bug和生成测试用例,目的是最大限度地提高代码覆盖率。以前的逻辑编程中的concolic测试方法是不健全的,因为它只处理正约束(通过替换),但不能表示负约束。在本文中,我们提出了一个新的框架concolic测试的CLP程序,概括了以前的技术。在CLP设置中,可以以自然的方式表示正约束和负约束,从而产生一种合理且(潜在地)更有效的技术。定义验证和测试技术CLP程序越来越相关,因为这个框架正在成为流行的中间表示,以分析在其他编程范式编写的程序。
2020-08-05 cs.LO cs.PL cs.SE
Testing Neural Program Analyzers
University of Houston(休斯顿大学);Visa Research(Visa研究院)
深度神经网络越来越多地用于软件工程和程序分析任务。他们通常采取一个程序,并作出一些预测,例如,bug预测我们称这些模型为神经程序分析器。神经程序的可靠性可能会影响包含分析的可靠性。在本文中,我们描述了我们正在努力开发有效的测试神经程序的技术。我们讨论了开发这些工具所面临的挑战和我们未来的计划。在我们对文献中最近提出的神经模型进行的初步实验中,我们发现该模型非常脆弱,输入中的简单扰动可能导致模型在预测中出错。
2019-09-25 cs.LG cs.PL cs.SE
ProbTest: Unit Testing for Probabilistic Programs (Extended Version)
本文提出黑盒单元测试方法 ProbTest,基于优惠券收集者问题自动确定概率程序所需测试次数并提供统计保证,以 PyTest 插件实现,并在 Gymnasium 和随机数据结构案例中评估。
2025-09-02 cs.SE
Cross-coverage testing of functionally equivalent programs
该研究提出功能等价程序的交叉覆盖概念,将其应用于测试套件增强,证实交叉测试比随机基线更能提升覆盖率,且可发现人工构造的功能缺失故障,为冗余软件测试提供新方法。
2023-04-28 cs.SE
Kaizen: Metamorphic Fuzzing and Differential Testing for LLM-Translated HPC Applications
Oregon State University(俄勒冈州立大学);Oak Ridge National Laboratory(橡树岭国家实验室)
研究大语言模型驱动的高性能计算应用代码翻译的正确性评估,提出用变质模糊测试和差分测试框架Kaizen,经源码变异、语法输入模糊等生成等价程序,暴露语义差异,评估揭示了编译成功与正确性的关系。
2026-07-07 cs.PL cs.SE
Describing Console I/O Behavior for Testing Student Submissions in Haskell
提出一种形式化语言用于指定控制台I/O程序行为,以测试学生编写的Haskell程序,并支持概率性机械检查及教育中的反馈与任务生成。
2025-06-26 cs.PL cs.SE
MLIR-Smith: A Novel Random Program Generator for Evaluating Compiler Pipelines
ETH Zurich(苏黎世联邦理工学院)
MLIR-Smith是一种新型随机程序生成器,用于评估基于MLIR的编译器优化,通过差异测试发现多个编译器流水线中的错误。
2026-01-05 cs.PL cs.SE
Bugs4Q: A Benchmark of Real Bugs for Quantum Programs
可重现错误和修复的实际基准对于调试和测试方法的良好实验评估至关重要。然而,到目前为止,还没有合适的基准测试套件可以系统地评估量子程序的调试和测试方法。本文提出了Bugs4Q,一个基准的36个真实的,手动验证Qiskit错误从四个流行的Qiskit元素(Terra,Aer,Awis,和Aqua),补充测试用例再现错误的行为。Bugs4Q还提供了访问Qiskit程序的错误版本和修复版本以及执行相应测试用例的接口,便于对Qiskit程序调试和测试工具进行可重复的实证研究和比较。Bugs4Q可在https://github.com/Z-928/Bugs4Q上公开获取。
2021-09-20 cs.PL cs.SE
A Symbolic Execution Algorithm for Constraint-Based Testing of Database Programs
在所谓的基于约束的测试中,符号执行是一种常见的技术,用作为命令式程序生成测试数据的过程的一部分。数据库在软件中无处不在,因此对操纵数据库的程序进行测试对于提高软件的可靠性至关重要。本文提出了一种基于约束的数据库程序测试的符号表示算法,并进行了实验评估。首先,我们描述了SimpleDB,一种形式语言,它提供了一个最小的和定义良好的语法和语义,以模拟程序和数据库之间的常见交互场景。其次,我们详细介绍了所提出的算法,符号执行的SimpleDB模型。该算法将SimpleDB程序视为对一组关系变量的操作序列,对数据库表和程序变量进行建模。通过将程序的这种关系模型与经典的静态符号执行相结合,该算法可以为程序的控制流图中的任何有限路径生成一组路径约束以进行测试。这些约束的解是程序的测试输入,包括数据库的初始内容。当相对于这些输入执行程序时,保证遵循生成约束的路径。最后,该算法进行了实验评估,使用有代表性的SimpleDB模型。
2015-01-23 cs.SE
Active Learning for Efficient Testing of Student Programs
Indian Institute of Science(印度科学学院)
在这项工作中,我们提出了一种自动化的方法来识别语义错误的学生程序,称为ATAS,这是建立在最近的进展,在符号执行和主动学习。符号执行是一种程序分析技术,它通过符号约束求解生成测试用例。我们的方法使用任务的参考实现作为其唯一输入。我们比较了我们的方法与符号执行为基础的基线6编程任务从CodeForces检索,包括共23K学生提交。我们在运行时间方面显示出超过基线2.5倍的平均改进(因此使其更适合在线评估),而评估准确性没有显着下降。
2018-04-13 cs.AI cs.PL cs.SE
Extended Paper: API-driven Program Synthesis for Testing Static Typing Implementations
本文提出 API 驱动的程序综合方法及工具 Thalia,通过复用库 API 并结合故障注入与语义保持模式测试静态类型实现,在 Scala、Kotlin 和 Groovy 编译器中发现 84 个类型错误。
2023-11-08 cs.PL cs.SE
Distinguishability-guided Test Program Generation for WebAssembly Runtime Performance Testing
本文提出WarpGen方法,通过从历史问题触发测试程序中提取算子并插入种子程序生成测试程序,并以可区分性指标评估质量,在三个Wasm运行时中发现七个新性能问题。
2024-12-28 cs.SE
Compiler Testing With Relaxed Memory Models
针对现有并发编译器测试技术无法兼顾边界内漏洞覆盖与大规模程序可扩展性的问题,提出工业级测试工具Téléchat,通过对比源与架构内存模型下的程序行为发现漏洞,性能优于现有技术且已部署应用。
2024-01-29 cs.AR cs.PL cs.SE
Equivalence, Identity, and Unitarity Checking in Black-Box Testing of Quantum Programs
本文提出三种新算法,解决量子程序黑盒测试中的等价性、同一性和幺正性检查问题,并优化参数选择,实验验证其有效性。
2024-05-24 cs.SE quant-ph
Solsmith: Solidity Random Program Generator for Compiler Testing
本文提出并实现Solidity编译器测试程序生成器Solsmith,通过独特程序生成策略和差分测试验证其有效性,发现四个已确认编译器缺陷。
2025-06-04 cs.SE
QuanFuzz: Fuzz Testing of Quantum Program
目前,量子程序得到了广泛的应用和迅速的发展.然而,缺乏测试方法限制了它们的质量。与传统程序不同的输入格式和运算符使得这个问题很难解决。在本文中,我们提出了QuanFuzz,一个基于搜索的测试输入生成器的量子程序。我们定义了量子敏感信息来评估量子程序的测试输入,并使用矩阵生成器来生成具有更高覆盖率的测试用例。首先,我们从量子源代码中提取量子敏感信息--对这些量子寄存器的测量操作以及与这些测量结果相关联的敏感分支。然后,我们使用敏感信息引导的算法变异的初始输入矩阵,并选择那些提高量子寄存器的值的概率权重的矩阵来触发敏感分支。该进程一直迭代,直到敏感分支被触发。我们在基准测试上测试了QuanFuzz,与传统的测试输入生成相比,覆盖率提高了20% - 60%。
2018-10-16 cs.SE
A Theoretical Framework for Understanding Mutation-Based Testing Methods
在突变分析领域,突变是突变程序的系统生成(即,变种人)从一个原始程序。变异的概念已被广泛应用于各种测试问题,包括测试集选择,故障定位和程序修复。然而,令人惊讶的是,很少有人关注基于突变的测试方法的理论基础,使得难以理解,组织和描述各种基于突变的测试方法。本文的目的是考虑一个理论框架来理解基于突变的测试方法。虽然一般测试有一个坚实的测试框架,但这与基于变异的测试方法不一致,因为它关注的是测试程序的正确性,而基于变异的测试的本质是测试程序(包括突变体)之间的差异。在本文中,我们开始我们的框架的建设,定义了一个新的测试因素,称为测试区分,转换测试的范式从正确性的概念,差异的概念。我们正式定义一组测试的程序的行为差异作为一个数学向量,称为d-向量。我们探索了由d-向量表示的多维空间,并提供了一个描述空间的图形模型。基于我们的框架和形式化,我们解释现有的基于突变的故障定位方法和突变集最小化的应用,并确定新的影响,为未来的工作。
2016-01-25 cs.SE
Robustness Testing of Intermediate Verifiers
程序验证器也不能避免几乎影响每一个软件的bug。此外,它们经常表现出脆弱的行为:它们的性能随着输入程序如何表达的细节而发生显著变化,这些细节应该是无关紧要的,比如独立声明的顺序。这种健壮性的缺乏使用户感到沮丧,他们必须花费大量的时间来弄清楚工具的特性,然后才能有效地使用它。本文介绍了一种技术来检测缺乏程序验证器的鲁棒性,该技术是轻量级的,全自动的,因为它是基于测试方法(如突变测试和变形测试)。其关键思想是生成最初通过验证的程序的许多简单变体。通过构造,所有变体都等同于原始程序;因此,任何未通过验证的变体都表明验证器缺乏鲁棒性。我们实现了我们的技术在一个工具,称为“mugie”,它的操作程序写在流行的布吉语言验证作为中间表示在众多的程序验证。针对135个Boogie程序的实验表明,脆性行为发生得相当频繁(16个程序),并且不难触发。基于这些结果,本文讨论了脆性行为的主要来源,并提出了提高鲁棒性的措施。
2018-05-08 cs.SE
MTGP: Combining Metamorphic Testing and Genetic Programming
遗传编程是一种进化方法,以其在程序合成中的性能而闻名。然而,它还不够成熟,无法在现实世界的软件开发中实际使用,因为通常需要许多训练用例来生成推广到未见过的测试用例的程序。由于在实践中,训练案例必须由用户手工标记,因此我们需要一种方法来检查具有较少数量训练案例的程序行为。变形测试不需要标记的输入/输出示例。相反,程序被执行多次,首先是给定的(随机生成的)输入,然后是相关的输入,以检查观察到的输出之间是否存在某些用户定义的关系。在这项工作中,我们建议MTGP,它结合了变形测试和遗传编程,并研究其性能和生成的程序的通用性。此外,我们分析了泛化能力如何取决于给定的标记训练案例的数量。我们发现,在几乎所有的研究配置中,使用变形测试与标记的训练案例相结合,导致更高的泛化率比单独使用标记的训练案例。因此,我们建议研究人员在他们的系统中使用变形测试,如果标记的训练数据是昂贵的。
2023-01-20 cs.NE cs.SE
Fuzzy Logic Guided Reward Function Variation: An Oracle for Testing Reinforcement Learning Programs
The Hong Kong Polytechnic University(香港理工大学)
本文提出一种基于模糊逻辑的自动化预言机,通过量化智能体对奖励策略的符合趋势来检测RL程序缺陷,在复杂测试场景中优于人工预言机。
2024-06-28 cs.AI cs.SE
Towards Automated Boundary Value Testing with Program Derivatives and Search
在测试软件时,一种自然且经常使用的策略是在边界处使用输入值,即预期行为变化最大的地方,这种方法通常称为边界值测试或分析(BVA)。尽管这一直是一个关键的测试思想,但很难明确定义和形式化。因此,它也很难自动化。在本研究报告中,我们提出了一个这样的形式化的BVA,以类似的方式如何在数学中定义函数的导数,考虑(软件)程序的衍生物。我们定义的关键是输入和输出之间的距离的概念,我们可以形式化,然后根据信息论的思想进行量化。然而,对于我们的(黑盒)方法是实用的,必须搜索具有特定属性的测试输入。耦合它与搜索为基础的软件工程,因此需要,我们讨论了如何程序衍生物可以被用来作为和健身功能。这个简短的说明不允许更深入的经验调查,但我们使用一个简单的说明性例子来介绍主要思想。通过结合程序的衍生物与搜索,我们因此提出了一个实用的,以及理论上有趣的技术自动边界值(分析和)测试。
2019-05-27 cs.SE
NovaQ: Improving Quantum Program Testing through Diversity-Guided Test Case Generation
针对量子程序可靠性保障需求,本文提出多样性引导测试框架NovaQ,结合分布式生成器与新颖性评估模块,实验显示其在多样性和bug检测上优于现有基线。
2025-09-05 cs.SE
On Extracting Unit Tests from Interactive Programming Sessions
软件工程方法论建议开发人员应该捕获他们的努力,以确保程序在可重复和自动化的工件中正确运行,例如单元测试。然而,当从探索性测试到脚本测试的范围内观察开发人员活动时,我们发现许多工程活动都包括探索性测试的爆发。在本文中,我们建议利用这些探索性的测试突发自动提取脚本测试从这些会话的记录。为了做到这一点,我们窃听开发环境,这样我们就可以记录所有的程序输入,所有用户发出的函数调用,以及探索性测试会话的所有程序输出。然后,我们建议使用机器学习(即聚类)从这些记录中实时提取脚本测试用例。我们概述了两个早期原型,一个是静态的,一个是动态的。我们通过例子概述了这个想法如何融入编程的更大研究方向。
2012-12-08 cs.SE
FlakiMe: Laboratory-Controlled Test Flakiness Impact Assessment. A Case Study on Mutation Testing and Program Repair
许多关于软件测试的研究都隐含着这样的假设:测试失败是确定性的,它们总是见证相同缺陷的存在。然而,这种假设并不总是正确的,因为一些测试失败是由于所谓的测试失败,即,不确定结果的测试。不幸的是,重复测试对测试和依赖于测试的活动(如突变测试和自动程序修复)有很大的影响。为了解决这个问题,我们引入了一个测试片状评估和实验平台,称为FlakiMe,支持播种(可控)程度的片状到一个给定的测试套件的行为。因此,FlakiMe为研究人员提供了在实验室控制条件下调查测试片状性对其技术影响的方法。我们使用FlakiME报告案例研究的结果和见解,这些案例研究评估了片状性对突变测试和程序修复的影响。这些结果表明,5%的片状故障足以影响突变评分,但效果大小是适度的(2% - 4%),而它完全消除了程序修复修补50%的主题程序的能力。我们还观察到,flakiness具有特定于案例的效果,这主要会破坏许多测试所覆盖的bug的修复。此外,我们发现,最小量的用户反馈足以减轻片状的影响。
2019-12-06 cs.SE
On Testing Constraint Programs
几种基于约束的建模语言(如OPL、ZINC或COMET)的成功吸引了更好的软件工程实践,特别是在测试阶段。本文介绍了一个测试框架,使自动测试用例生成的约束编程。我们提出了一个约束程序开发的一般框架,假设第一个声明和简单的约束模型是从问题规格分析。然后,这个模型是细化使用经典的技术,如约束重新制定,代理和全球约束添加,或破坏,以形成一个改进的约束模型,必须彻底测试之前,用于解决实际规模的问题。我们认为,大多数的故障都是在这个细化步骤中引入的,并提出了一个过程,其中第一个声明模型作为一个预言检测不符合。我们从这个过程中获得实际的测试目的,以自动生成显示不符合项的测试数据。我们实现了这种方法在一个新的工具,称为CPTEST,用于自动检测两个经典的基准程序,即Golomb统治者和汽车排序问题的不符合。
2010-05-17 cs.SE
Search-Based Quantum Program Testing via Commuting Pauli String
Simula Research Laboratory(Simula 研究实验室);University of Oslo(奥斯陆大学);Oslo Metropolitan University(奥斯陆都市大学);National Institute of Informatics(信息学国立研究所)
SB-QOPS通过交换Pauli字符串提出了一种基于搜索的量子程序测试方法,有效提高了测试效率并实现了高故障检测率。
2026-02-12 cs.SE
SnapCheck: Automated Testing for Snap Programs
Snap、Scratch和Processing等编程环境通过允许学习者创建具有可视化和交互式输出的编程工件(如应用程序和游戏)来吸引学习者。在这种以媒体为中心的环境下学习编程已被证明可以提高保留率和成功率。然而,评估这些可视化的交互式项目需要时间和费力的手动工作,因此很难在学生工作时向他们提供自动或实时反馈。在本文中,我们介绍了SnapCheck,一个动态的测试框架,使教师能够作者的测试用例与条件动作模板的Snap。SnapCheck的目标是允许教师或研究人员编写基于属性的测试用例,这些测试用例可以高精度地自动评估学生的交互式程序。我们在介绍性编程课程中对来自Pong游戏作业的162个代码快照进行了SnapCheck评估,结果表明,我们的自动化测试框架在所有题目上的准确率至少达到98%,显示出使用SnapCheck进行自动评分并为学生提供形成性反馈的潜力。
2021-04-23 cs.HC cs.SE
MorphQ: Metamorphic Testing of the Qiskit Quantum Computing Platform
MorphQ提出首个针对量子计算平台的蜕变测试方法,通过程序生成器和量子蜕变关系缓解预言机问题,在Qiskit上两天生成超8000个程序对,发现13个错误,其中9个已确认。
2023-02-09 cs.SE
Is Measurement Enough? Rethinking Output Validation in Quantum Program Testing
Southwest Jiaotong University(西南交通大学);University of Luxembourg(卢森堡大学);Kyushu University(九州大学);Zhejiang University(浙江大学)
该研究通过实证分析量子程序测试中的输出验证方法,对比基于测量与基于状态向量的验证,发现前者适用于简单检查,后者更利于复杂行为评估。
2025-10-19 cs.SE
Search-based Testing for Scratch Programs
基于块的程序设计语言使年轻的学习者能够快速实现有趣的程序和游戏。Scratch编程环境在这方面特别成功,在撰写本文时,它拥有超过5000万注册用户。虽然Scratch简化了创建语法正确的程序,但学习者和教育者仍然经常需要反馈和支持。动态程序分析可以实现这种支持的自动化,但是对于Scratch程序来说,动态分析所需的测试套件通常不存在。然而,可以将Scratch的测试生成作为搜索问题。在本文中,我们介绍了一种方法,自动生成测试套件的Scratch程序使用语法进化。语法进化的使用清楚地将搜索编码与特定于框架的实现细节分开,并允许我们使用高级测试加速技术。我们实现了我们的方法作为晶须测试框架的扩展。对Scratch程序的评价表明了该方法的潜力。
2020-09-09 cs.SE
Quantum Program Testing Through Commuting Pauli Strings on IBM's Quantum Computers
针对工业量子程序缺乏完整规约且难与错误缓解兼容的问题,本文提出基于对易 Pauli 字符串的 QOPS 测试方法,并在近19.5万个程序和三台 IBM 真机上验证其完美分类效果。
2024-08-01 cs.SE
Enhancing NeuroEvolution-Based Game Testing: A Branch Coverage Approach for Scratch Programs
本文针对Scratch游戏测试提出基于分支覆盖的适应度函数扩展NEATEST框架,引导神经进化最大化分支探索,实验表明其比语句覆盖方法具有更高的分支覆盖率和更低的故障误报率。
2025-07-12 cs.SE
Retromorphic Testing: A New Approach to the Test Oracle Problem
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳))
提出逆向形态测试,一种基于反函数概念的黑盒测试方法,通过正向与反向程序的双程序结构验证输入与输出关系,解决测试预言问题。
2023-10-10 cs.AI cs.CL cs.CV
The Cost of Certainty: Shot Budgets in Quantum Program Testing
Toronto Metropolitan University(多伦多都会大学)
本文提出统一框架,分析量子程序测试所需测量次数,对比逆测试、交换测试和卡方测试的效率,并引入程序级预算方法,指导实践者在验证中平衡严谨性与成本。
2025-10-25 cs.SE quant-ph
BugsInPy: A Database of Existing Bugs in Python Programs to Enable Controlled Testing and Debugging Studies
受Java缺陷基准Defects4J启发,本研究构建了包含17个真实Python项目493个真实缺陷的BugsInPy基准数据库及工具,以填补Python测试调试基准的不足,推动相关工具研究发展。
2024-01-27 cs.SE
Testing and Debugging Quantum Programs: The Road to 2030
本文提出迈向2030年的量子程序测试与调试路线图,指出噪声和不可克隆定理等局限,构建概念模型梳理测试与调试的挑战,聚焦经典与量子接口及量子特性应用。
2024-10-11 cs.SE quant-ph
Prioritization of Metamorphic Relations to reduce the cost of testing
oracle是一种机制,用于确定程序执行测试用例的输出是否正确。对于机器学习程序,这样的预言是不可用的或太难应用。变形测试是一种使用变形关系的测试方法,变形关系是被测软件的必要属性,有助于验证程序的正确性。变形关系的优先级有助于降低变形测试的成本[1]。然而,基于代码覆盖率对变形关系进行优先级排序对于为机器学习程序对MR进行优先级排序通常不是有效的,因为机器学习模型的决策逻辑是从训练数据中学习的,并且可以利用单个测试输入容易地实现100%代码覆盖率。为此,在这项工作中,我们提出了一个具有成本效益的方法的基础上的多样性的来源和后续数据集的优先级的变形关系的机器学习程序。我们表明,所提出的基于数据多样性的优先级排序方法相比,基于代码覆盖率的方法,故障检测的有效性提高了40%,并减少了29%的时间来检测故障时相比,随机执行的MR。总体而言,我们的方法导致节省时间和成本在测试过程中。
2022-09-01 cs.SE
Metamorphic Testing of Transpilers via Mutation Consistency of Programs
University of Milano-Bicocca(米兰比可卡大学)
本文针对转译器测试难题,提出基于转译后程序突变一致性的变形测试技术,实现工具MCP-Tester,案例研究显示其能发现纯模糊测试漏检的故障。
2026-08-03 cs.SE
The Program Testing Ability of Large Language Models for Code
Tencent Security Big Data Lab(腾讯安全大数据实验室);Peking University(北京大学);UC Davis(加州大学戴维斯分校)
本文探究面向代码的大语言模型的程序测试能力,分析相关模型特性并提出能力提升路径,将相关发现用于增强程序合成,在HumanEval+基准上较基线与现有最优方法分别实现11.77%和4.22%的通过率提升。
2023-10-09 cs.AI cs.CL cs.LG
Program State Abstraction for Feedback-Driven Fuzz Testing using Likely Invariants
近年来,模糊测试在发现软件缺陷方面取得了巨大的成功,但仍存在一些问题。覆盖引导的模糊器遭受覆盖程序点并不能确保触发故障的事实。理论上应该处理这个问题的其他更敏感的技术,如内存值的覆盖,容易导致路径爆炸。在这篇论文中,我们提出了一个新的反馈驱动的模糊测试,结合了代码覆盖率与数据的“形状”。我们学习每个基本块的可能不变量,以便将块中使用的变量所描述的空间划分为区域。我们的目标是在反馈中区分一个块何时被执行,其值落在空间的不同区域。这更好地近似程序状态覆盖率,并在某些目标上,提高了模糊器查找故障的能力。我们使用LLVM和AFL++开发了一个名为InvsCov的原型。
2020-12-21 cs.CR cs.SE
On the Interaction between Test-Suite Reduction and Regression-Test Selection Strategies
单元测试是软件开发中最成熟的质量保证技术之一。单元测试的一个主要优点是效率(即,测试工作)和有效性(即,故障检测概率)。为此,已经提出了各种策略来利用这种权衡。特别是,测试套件减少(TSR)减少了测试用例的数量(可能是冗余的),同时测试一个单一的程序版本。回归测试选择(RTS)为测试连续的程序修订选择测试用例。然而,TSR和RTS在组合使用时可能会影响-甚至阻碍-彼此的性能。例如,在TSR期间针对特定程序版本丢弃的测试用例可能再次与RTS相关。然而,找到一个两种策略的组合,导致一个合理的权衡整个版本历史的程序是一个悬而未决的问题。本文的目的是更好地了解TSR和RTS之间的相互作用,效率和效果。为此,我们提出了一个可配置的框架,称为RegreTS自动单元测试的C程序。该框架包括TSR和RTS的不同策略及其可能的组合。我们将此框架应用于一系列主题系统,提供了几个重要的见解。首先,TSR几乎总是对RTS的有效性产生负面影响,但对效率产生积极影响。其次,向测试人员揭示连续程序版本之间程序修改的影响的测试用例比简单覆盖修改的代码部分的测试用例有效得多,但会导致更多的测试工作。
2022-07-26 cs.SE
Adaptive Metamorphic Testing with Contextual Bandits
变形测试是一种软件测试范式,其目的是利用被测系统的必要属性(称为变形关系)来检查其预期输出或生成新的测试用例。变形测试已经成功地测试程序,其中一个完整的预言是不可用的,或测试程序,有不确定性的预期输出,如学习系统。在这篇文章中,我们提出了自适应变形测试作为一个简单而强大的强化学习技术,即上下文强盗,选择一个程序可用的多个变形关系的推广。通过使用上下文强盗,自适应变形测试学习哪些变形关系可能改变源测试用例,从而具有更高的发现错误的机会。我们目前的实验结果在机器学习的两个主要案例研究,即图像分类和目标检测,并确定弱点和鲁棒性边界。自适应变形测试有效地识别了源测试用例中被测系统的弱点。
2020-03-13 cs.SE
Round-Trip Mutation Testing: Translating Code to Natural Language Intent and back
University of Luxembourg(卢森堡大学);ENSI, University of Manouba(马努巴大学ENS学院)
提出往返变异测试,利用大语言模型在程序代码和意图间的生成能力,通过预测意图生成变异体,还可人工制造错误翻译产生变异体,评估显示其能产生多样变异体,检测传统方法未揭示的错误。
2026-07-07 cs.SE
FairFuzz: Targeting Rare Branches to Rapidly Increase Greybox Fuzz Testing Coverage
近年来,模糊测试已被证明是在实践中发现正确性错误和安全漏洞的最有效的技术之一。一个特殊的模糊测试工具,美国模糊Lop或AFL,已成为流行的感谢其易于使用和错误发现的权力。然而,AFL在其实现的程序覆盖深度方面仍然有限,特别是因为它没有考虑程序输入的哪些部分不应该被突变以保持深度程序覆盖。我们提出了一种方法,FairFuzz,这有助于减轻这种限制,在两个关键步骤。首先,FairFuzz会自动优先考虑执行测试程序中罕见部分的输入。其次,它自动调整输入的变异,使变异的输入更有可能执行程序中这些相同的稀有部分。我们对现实世界的程序进行评估,对最先进的版本的AFL,彻底重复实验,以获得良好的可变性措施。我们发现,在某些基准FairFuzz显示显着的覆盖率增加后,24小时相比,最先进的版本的AFL,而在其他方面,它实现了高节目覆盖率在一个显着更快的速度。
2017-09-20 cs.CR cs.SE
Benchmarking Web-testing - Selenium versus Watir and the Choice of Programming Language and Browser
Selenium被认为是最流行的软件测试自动化工具。过去的学术著作主要忽视了测试工具,而倾向于更多的方法论主题。目的:我们研究了Web测试工具的性能,为软件测试工具的选择和配置提供经验证据。方法:我们使用4*5析因设计来研究20种不同的配置来测试网络商店。我们研究了5种程序设计语言绑定(C#,Java,Python和Ruby for Selenium,而Watir仅支持Ruby)和4种浏览器(Google Chrome,Internet Explorer,Mozilla Firefox和Opera)。性能通过执行时间、内存使用、测试脚本的长度和测试的稳定性来衡量。结果:考虑到所有措施,最佳配置是Selenium与Chrome的Python语言绑定。Selenium与Python绑定是所有浏览器的最佳选择。最慢和最快配置之间差异的效应量非常高(Cohens d=41.5,执行时间增加91%)。总体而言,Internet Explorer是最快的浏览器,但在稳定性方面表现最差。结论:我们建议在采用基准测试工具之前使用它们。因素的权重,例如,为了更快的性能愿意牺牲多少测试稳定性,会影响决策。
2016-11-02 cs.SE