Concolic Testing on Individual Fairness of Neural Network Models
National ChengChi University(国立中正大学)
本文提出PyFair框架,通过锥形测试工具PyCT生成公平性特定路径约束,系统探索DNN行为,采用双网络架构实现全面公平性评估并保证部分网络类型的完整性。
2026-05-01 cs.LG cs.SE
Influence-Guided Concolic Testing of Transformer Robustness
Department of Management Information Systems(管理信息系)
提出一种基于SHAP影响力排序路径谓词的具体化测试方法,通过纯Python实现多头注意力语义并显式化softmax边界,在CIFAR-10上对紧凑Transformer分类器实现60%攻击成功率,比差分进化基线高45%,且谓词优先级排序将中位攻击时间降低51%。
2026-06-19 cs.LG cs.SE
Legion: Best-First Concolic Testing
The University of Melbourne(墨尔本大学);LMU Munich(慕尼黑大学)
Concolic执行和模糊是两种互补的基于覆盖率的测试技术。如何实现两者的最佳效果仍然是一个公开的挑战。为了解决这个研究问题,我们提出并评估军团。Legion重新设计了人工智能文献中的蒙特卡罗树搜索(MCTS)框架,将自动测试生成视为不确定性下的顺序决策问题。它的最佳优先搜索策略提供了一种原则性的方法来学习最有希望的程序状态,以在每次搜索迭代时进行调查,基于从先前迭代中观察到的奖励。军团采用了一种形式的定向模糊,我们称之为近似路径保持模糊(APPFuzzing)调查程序状态选择的MCTS。APPFuzzing作为蒙特卡洛模拟技术,并通过扩展约束采样的先前工作来实现。我们在Test-Comp 2020覆盖类别的2531个基准上评估了Legion与竞争对手的对比,并测量了其对超参数的敏感性,证明了其在各种输入程序上的有效性。
2020-09-23 cs.LG cs.SE
Cottontail: Large Language Model-Driven Concolic Execution for Highly Structured Test Input Generation
Singapore Management University(新加坡管理大学);University of California, Los Angeles(加州大学洛杉矶分校);Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本文提出LLM驱动的共模执行引擎Cottontail,通过ESCT路径表示、LLM约束求解器和历史引导种子获取,解决结构化测试输入生成问题,显著提升覆盖率并发现6个新漏洞。
2025-10-14 cs.SE
Prioritising Server Side Reachability via Inter-process Concolic Testing
内容:大多数自动化白盒测试的方法都将Web应用程序的客户端和服务器端相互隔离。这样的测试人员缺乏对被测Web应用程序的整体程序视角。询价:我们假设,一个额外的整个程序的角度将使测试人员发现哪些服务器端的错误可以触发一个实际的最终用户通过客户端访问应用程序,哪些只能在假设的情况下触发。方法:在本文中,我们探讨了在测试中采用这种全程序视角的想法。为此,我们开发了一种新颖的concolic测试器,它在全栈JavaScript Web应用程序上运行,其中客户端和服务器端都是通过异步消息进行通信的JavaScript进程-由WebSocket或Socket. IO库启用。知识:我们发现,整个程序的角度来看,能够辨别高优先级的错误,这是从一个特定的客户端,从低优先级的错误,这是不能通过测试的客户端访问。透视图的另一个好处是,它允许自动化测试人员从最终用户的角度构造实际的、逐步的场景来触发服务器端错误。基础:我们应用于一组Web应用程序,以评估测试在区分高优先级和低优先级错误方面的有效性。结果表明,正确分类的大多数服务器错误。重要性:本文展示了测试作为自动测试Web应用程序的新方法的可行性。将错误分类为高或低重要性有助于开发人员对用户可能遇到的错误进行优先级排序,并推迟对不太容易达到的错误的诊断。
2021-03-04 cs.SE
GreyConE: Greybox fuzzing+Concolic execution guided test generation for high level design
由于复杂的分支条件、循环结构和硬件设计固有的并发性,对高级设计进行详尽的测试是一个艰巨的挑战。测试工程师的目标是生成满足各种代码覆盖率指标的高质量测试用例,以确保设计中出现的错误最少。在测试SystemC设计之前的工作是时间效率低下的,这阻碍了在较短的时间跨度内实现所需的覆盖。我们交错灰盒模糊和concolic执行系统的方式,并生成质量测试用例加速测试覆盖率指标。我们的结果优于国家的最先进的方法在测试用例的数量和分支覆盖的一些基准,和运行时间为他们中的大多数。
2022-07-13 cs.CR cs.SE
Dynamic Symbolic Execution of Higher-Order Functions
concolic测试的有效性随着程序规模的增加而恶化。一个有希望的方法是模块化地测试程序,例如,在每个函数或类的基础上。唉,这种想法在现代程序设计语言中遇到了障碍。在现代语言中,组件需要函数、对象甚至类作为输入。问题的关键是,现有的concolic测试技术不能忠实地捕捉一个高阶程序和它的输入之间的复杂的相互作用,以提取它在一阶公式,SMT求解器可以工作。在本文中,我们采取的第一步解决问题,我们提供了一个设计,语义和原型concolic测试高阶函数。受高阶符号执行工作的启发,我们的模型构造了具有规范形状的高阶函数的输入。这使得concolic测试器能够跟踪高阶函数的控制流路径的哪些部分取决于其输入的形状,哪些部分不取决于其输入的形状。concolic测试器将不依赖于输入形状的部分编码为一阶公式。随后,类似于一阶concolic测试器,它利用SMT求解器产生另一个具有相同形状的输入,但探索高阶函数的不同控制流路径。作为一个单独的维度,concolic测试器迭代地探索输入的规范形状,并调查高阶函数与其输入交互的所有方式,搜索bug。为了验证我们的设计,我们证明,如果一个高阶函数有一个错误,我们的concolic测试最终将构建一个输入,触发错误。使用我们的设计作为蓝图,我们实现了一个原型concolic测试仪,并确认它发现了各种高阶程序从文献中的错误。
2020-06-20 cs.PL cs.SE
SAVIOR: Towards Bug-Driven Hybrid Testing
混合测试结合了模糊测试和concolic执行。它利用模糊测试来测试容易到达的代码区域,并使用concolic执行来探索由复杂分支条件保护的代码块。然而,其以代码覆盖为中心的设计在漏洞检测方面效率低下。首先,它盲目地选择concolic执行的种子,旨在不断探索新代码。然而,正如统计数据所显示的那样,所探索的代码的很大一部分通常是没有bug的。因此,在混合测试中对代码的每一部分给予同等的关注是一种非最优策略。它将真正漏洞的检测速度降低了43%以上。第二,传统的混合测试在到达一段代码后快速前进,而不是检查内部隐藏的缺陷。它可能经常错过微妙的漏洞,尽管它已经探索了易受攻击的代码路径。我们提出了SAVIOR,一个新的混合测试框架开创了错误驱动的原则。与现有的混合测试工具不同,SAVIOR优先考虑可能发现更多漏洞的种子的concolic执行。此外,SAVIOR还验证了程序执行路径上所有的漏洞位置,并通过SMT约束对故障情况进行建模,对漏洞的可行性进行推理,生成具体的测试用例作为证明。我们的评估表明,错误驱动的方法优于主流的自动化测试技术,包括最先进的混合测试系统驱动的代码覆盖率。平均而言,SAVIOR比DRILLER和QSYM分别快43.4%和44.3%,分别多发现了88个和76个独特的漏洞。根据对11个模糊基准测试程序的评估,在前24小时内,SAVIOR触发了481个UBSAN违规,其中24…
2019-06-18 cs.SE
Failure-Guided Fuzzing for Hybrid Quantum-Classical Programs
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文研究了混合量子-经典程序的基于失败的模糊测试,通过两阶段策略发现非收敛种子并局部模糊量子电路参数,实验表明利用失败信息能提升测试效果,但协同种子发现的效果依赖于工作负载。
2026-05-14 cs.SE quant-ph
Exposing Go's Hidden Bugs: A Novel Concolic Framework
Telecom Paris(巴黎电信学院);Ledger Donjon
本文提出Zorya框架,结合具体和符号执行技术全面评估Go程序,通过系统探索执行路径发现传统测试无法检测的漏洞,并利用Ghidra的P-Code中间表示进行分析。
2025-05-26 cs.CR cs.SE
Coyote C++: An Industrial-Strength Fully Automated Unit Testing Tool
本文介绍了Coyote C++,一款基于混合符号执行的工业级C和C++全自动化单元测试工具,它无需用户参与即可一键完成测试生成与执行,持续达到约90%的代码覆盖率。
2023-10-23 cs.PL cs.SE
CUTECat: Concolic Execution for Computational Law
CUTECat利用合流执行结合默认逻辑,针对计算法实现生成测试用例,覆盖所有分支,提升法律程序正确性,推动形式化方法在立法中的应用。
2025-01-23 cs.PL cs.SE
ColorGo: Directed Concolic Execution
本文提出ColorGo,一种结合编译式符号执行与增量着色的定向白盒模糊测试器,在保持高精确性的同时实现高可扩展性,在真实程序上比AFLGo快达100倍。
2025-05-27 cs.CR cs.SE
A Feature-Oriented Corpus for Understanding, Evaluating and Improving Fuzz Testing
Fuzzing是一种很有前途的安全漏洞检测技术。新开发的模糊器通常根据在易受攻击的程序/二进制文件上发现的错误数量进行评估。然而,现有的语料库通常不捕捉的功能,防止模糊发现错误,导致模糊的利弊评价的结论。一个典型的例子是,Driller比AFL检测到更多的错误,但它的评估无法确定Driller的进步是否源于concolic执行,因为,例如,它在解决数据集的魔法值方面的能力尚不清楚。在本文中,我们提出了解决上述问题的基础上产生语料库的搜索阻碍功能。作为概念验证,我们设计了FEData,这是一个原型语料库,目前专注于四个搜索阻碍功能,以生成用于模糊测试的易受攻击程序。与现有的只能回答“如何”的语料库不同,FEData还可以通过暴露(或理解)模糊器中已识别弱点的原因来进一步回答“为什么”。“为什么”信息是改进模糊器的关键。
2019-05-04 cs.SE
Taming the Beast: Fully Automated Unit Testing with Coyote C++
本文提出 Coyote C++,一个面向 C 和 C++ 的全自动化白盒单元测试工具,结合 concolic 执行引擎与自动化测试套件生成,实现高覆盖率与高速测试,并支持手动优化,使 C++ 自动化测试在工业应用中真正可行。
2024-01-04 cs.PL cs.SE
Constraint-based Adversarial Example Synthesis
本研究扩展了Concolic Testing工具PyCT以支持更广泛的神经网络操作,通过系统生成预测路径约束来识别潜在对抗样本,揭示了Python神经网络模型的脆弱性并强调了稳健测试方法的重要性。
2024-06-03 cs.CR cs.SE
Testing Multi-Subroutine Quantum Programs: From Unit Testing to Integration Testing
本文针对多子程序量子程序的测试需求,提出从单元到集成测试的完整测试准则与技术,涵盖IO分析、关系检查、结构及行为测试等,并通过变异体和随机输入验证了方法的有效性。
2024-05-24 cs.SE quant-ph
A Black-box Testing Framework for Oracle Quantum Programs
Institute of High Energy Physics, Chinese Academy of Science(中国科学院高能物理研究所);Kyushu University(九州大学)
本文提出一个黑盒测试框架,用于测试通用量子 oracle 程序,通过定义程序并建立理论基础,开发原型工具并进行实验验证,以提高量子软件的可靠性。
2026-03-17 cs.SE quant-ph
Equivalence, Identity, and Unitarity Checking in Black-Box Testing of Quantum Programs
本文提出三种新算法,解决量子程序黑盒测试中的等价性、同一性和幺正性检查问题,并优化参数选择,实验验证其有效性。
2024-05-24 cs.SE quant-ph
A Survey on Testing and Analysis of Quantum Software
本文系统综述了量子软件测试与分析的最新进展,涵盖测试技术、程序分析、优化与基准,并指出关键挑战与开放问题。
2024-10-01 cs.SE quant-ph
Testing and Debugging Quantum Programs: The Road to 2030
本文提出迈向2030年的量子程序测试与调试路线图,指出噪声和不可克隆定理等局限,构建概念模型梳理测试与调试的挑战,聚焦经典与量子接口及量子特性应用。
2024-10-11 cs.SE quant-ph
Quantum Testing in the Wild: A Case Study with Qiskit Algorithms
本文通过实证分析 Qiskit Algorithms 库中的量子相关测试,识别出七类测试模式,发现经典测试技术仍占主导,而量子测试研究新成果尚未被广泛采用。
2025-01-11 cs.SE quant-ph
PALM: Synergizing Program Analysis and LLMs to Enhance Rust Unit Test Coverage
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);Software Engineering Application Technology Lab, Huawei(华为软件工程应用技术研发实验室)
本文提出PALM框架,通过程序分析提取分支条件与路径约束并构造LLM提示,自动生成Rust高覆盖率单元测试,在15个开源crates上达到接近人工的覆盖率且多数提交被接受。
2025-09-29 cs.SE
On Testing and Debugging Quantum Software
量子计算机正变得越来越主流。随着越来越多的程序员开始考虑编写量子程序,他们需要测试和调试代码。在本文中,我们讨论了量子计算机的各种用例,无论是独立的还是作为系统的一部分。基于这些用例,我们讨论了一些可以用来确保量子软件质量的测试和调试策略。我们还强调了量子计算机特有的问题,并列出了解决这些问题所需的新技术。实践者可以很容易地将其中一些策略应用到编写量子程序的过程中,而研究人员可以了解未来工作的机会。
2021-03-16 cs.ET cs.SE quant-ph
Testing Quantum Programs with Multiple Subroutines
由于量子程序的不确定性,量子程序中的错误很难追踪。因此,测试是保证量子软件质量的一种不可或缺的方法。现有的量子程序测试方法只针对量子电路或单个子程序,无法有效地测试多个子程序。在本文中,我们首先讨论了测试多子程序量子程序时必须考虑的几个关键问题,并指出现有测试方法的局限性和问题。然后,我们提出了一个新的框架,用于测试多子程序的量子程序,允许单元和集成测试。我们的框架包括两个新的测试覆盖率标准的量子变量的等价类划分,以指导我们的测试任务和技术来测试量子程序与几个常见的模式。我们还讨论了如何生成测试用例的基础上,我们的框架。为了评估我们的测试框架的有效性,我们实现了一个名为QSharpTester的工具,用于测试具有多个子例程的Q\#程序。我们用它来进行实验,从七个原始Q程序派生的数百个变异程序。实验结果表明,我们的测试方法可以处理更广泛的类型的量子程序比现有的,几乎所有的错误变异程序表现良好。
2023-02-27 cs.SE
On Testing Quantum Programs
量子计算机(QC)可以比经典计算机更有效地解决许多计算问题。QC领域正在增长:公司(如DWave,IBM,Google和Microsoft)正在构建QC产品。我们认为软件工程师应该考虑定义一套适用于QC软件的软件工程实践。为了开始这个过程,我们给出了与测试此类软件相关的挑战的例子,并概述了其中一些挑战的潜在解决方案。
2018-12-21 cs.ET cs.SE quant-ph
Industry Expectations and Skill Demands in Quantum Software Testing
University of Calgary(卡尔加里大学);University of Bari(巴里大学)
本研究分析了量子软件测试领域的行业需求与技能要求,揭示了传统软件质量保证与实验验证的结合,强调校准、控制及混合量子-经典验证的重要性。
2026-02-21 cs.SE
Challenges and Practices in Quantum Software Testing and Debugging: Insights from Practitioners
William & Mary(威廉与玛丽学院)
本文探讨了量子软件测试与调试中的挑战,指出开发者多依赖经典方法,缺乏专用工具,需改进工具以适应量子开发流程。
2026-01-16 cs.SE
QEMI: A Quantum Software Stacks Testing Framework via Equivalence Modulo Inputs
Kyushu University(九州大学);Zhejiang University(浙江大学)
QEMI通过输入等价性技术,提出了一种用于量子软件堆栈的测试方法,能够检测潜在的错误并扩展测试技术。
2026-02-10 cs.SE
QuSBT: Search-Based Testing of Quantum Programs
为量子程序生成测试套件,使其具有最大数量的失败测试是一个优化问题。对于这样的优化,基于搜索的测试在经典程序的背景下显示出有希望的结果。为此,我们提出了一个基于遗传算法的量子程序测试生成工具,称为QuSBT(基于搜索的量子程序测试)。QuSBT自动化量子程序的测试,目的是找到一个测试套件具有最大数量的失败测试用例。QuSBT利用IBM的Qiskit作为量子程序的模拟框架。除了实现的方法之外,我们还介绍了工具架构(即,搜索个体的编码、表示搜索问题的适应度函数的定义以及测试评估w.r.t.两种失败)。最后,我们报告的实验结果,我们测试了一组错误的量子程序与QuSBT,以评估其有效性。存储库(代码和实验结果):https://github.com/Simula-COMPLEX/qusbt-tool视频:https://youtu.be/3apRCtluAn4
2022-04-18 cs.SE
MorphQ: Metamorphic Testing of the Qiskit Quantum Computing Platform
MorphQ提出首个针对量子计算平台的蜕变测试方法,通过程序生成器和量子蜕变关系缓解预言机问题,在Qiskit上两天生成超8000个程序对,发现13个错误,其中9个已确认。
2023-02-09 cs.SE
QuanFuzz: Fuzz Testing of Quantum Program
目前,量子程序得到了广泛的应用和迅速的发展.然而,缺乏测试方法限制了它们的质量。与传统程序不同的输入格式和运算符使得这个问题很难解决。在本文中,我们提出了QuanFuzz,一个基于搜索的测试输入生成器的量子程序。我们定义了量子敏感信息来评估量子程序的测试输入,并使用矩阵生成器来生成具有更高覆盖率的测试用例。首先,我们从量子源代码中提取量子敏感信息--对这些量子寄存器的测量操作以及与这些测量结果相关联的敏感分支。然后,我们使用敏感信息引导的算法变异的初始输入矩阵,并选择那些提高量子寄存器的值的概率权重的矩阵来触发敏感分支。该进程一直迭代,直到敏感分支被触发。我们在基准测试上测试了QuanFuzz,与传统的测试输入生成相比,覆盖率提高了20% - 60%。
2018-10-16 cs.SE
Assessing Quantum Extreme Learning Machines for Software Testing in Practice
Simula Research Laboratory(Simula研究实验室);Mondragon University(蒙德拉贡大学);University of Oslo(奥斯陆大学);National Institute of Informatics(日本国立情报学研究所);Oslo Metropolitan University(奥斯陆都市大学);Welfare Technologies Section, Cancer Registry of Norway, Oslo Kommune Helseetaten(挪威癌症登记处福利技术科,奥斯陆市卫生局);Norwegian Institute of Public Health(挪威公共卫生研究所);The Arctic University of Norway(挪威北极大学)
本文通过三个工业软件测试案例评估量子噪声对QELM的影响,发现噪声显著降低性能并增大不确定性,且现有错误缓解方法缺乏跨任务和规模的一致性。
2025-09-27 cs.SE
Exploring Quantum Software Testing Across Research and Practice: Emerging Results from a Multivocal Literature Review
University of Calgary(卡尔加里大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校);UFRPE(伯南布哥联邦大学)
本文通过多视角文献综述整合学术与从业者来源,刻画了量子软件测试的碎片化生态系统及相关挑战,为该领域研究与实践提供了初步特征描述。
2026-09-02 cs.SE
Search-Based Quantum Program Testing via Commuting Pauli String
Simula Research Laboratory(Simula 研究实验室);University of Oslo(奥斯陆大学);Oslo Metropolitan University(奥斯陆都市大学);National Institute of Informatics(信息学国立研究所)
SB-QOPS通过交换Pauli字符串提出了一种基于搜索的量子程序测试方法,有效提高了测试效率并实现了高故障检测率。
2026-02-12 cs.SE
QBugs: A Collection of Reproducible Bugs in Quantum Algorithms and a Supporting Infrastructure to Enable Controlled Quantum Software Testing and Debugging Experiments
经验结果的可复制性和可比性是任何科学领域科学方法的核心原则。为了简化经验研究的可重复性,软件工程研究中的几个基准测试,如Defects 4J,已经开发并广泛使用。然而,对于量子软件工程研究,还没有建立基准。在这份立场文件中,我们提出了一个新的基准-命名为QBugs -这将提供实验对象和实验基础设施,以方便新的研究和量子软件工程先前发表的结果的再现性评估。
2021-03-31 cs.SE
QuCAT: A Combinatorial Testing Tool for Quantum Software
本文提出量子软件组合测试工具QuCAT,生成指定或递增强度的测试套件,使用双预言检查输出,实验表明低强度测试成本低可发现故障,高强度触发难故障但成本高。
2023-08-31 cs.SE
Mitigating Noise in Quantum Software Testing Using Machine Learning
本文提出噪声感知方法QOIN,利用机器学习(如迁移学习)学习并过滤量子计算机噪声对程序输出的影响,从而在真实或含噪环境中提升量子软件测试的精确率、召回率和F1分数。
2024-01-15 cs.SE
Are We Testing the Wrong Quantum Bugs? A Study of Fault Representation Gaps in Quantum Software Testing
Tulane University(杜兰大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of California, Riverside(加州大学河滨分校)
本研究对比量子突变测试工具、基准漏洞与真实量子软件漏洞,发现86.3%真实漏洞未被覆盖,指出需关注编译器等组件的故障测试,为构建更贴合实际的量子软件测试基准提供实证依据。
2026-10-19 cs.PL cs.SE