A Symbolic Execution Algorithm for Constraint-Based Testing of Database Programs
在所谓的基于约束的测试中,符号执行是一种常见的技术,用作为命令式程序生成测试数据的过程的一部分。数据库在软件中无处不在,因此对操纵数据库的程序进行测试对于提高软件的可靠性至关重要。本文提出了一种基于约束的数据库程序测试的符号表示算法,并进行了实验评估。首先,我们描述了SimpleDB,一种形式语言,它提供了一个最小的和定义良好的语法和语义,以模拟程序和数据库之间的常见交互场景。其次,我们详细介绍了所提出的算法,符号执行的SimpleDB模型。该算法将SimpleDB程序视为对一组关系变量的操作序列,对数据库表和程序变量进行建模。通过将程序的这种关系模型与经典的静态符号执行相结合,该算法可以为程序的控制流图中的任何有限路径生成一组路径约束以进行测试。这些约束的解是程序的测试输入,包括数据库的初始内容。当相对于这些输入执行程序时,保证遵循生成约束的路径。最后,该算法进行了实验评估,使用有代表性的SimpleDB模型。
2015-01-23 cs.SE
TestWeaver: Execution-aware, Feedback-driven Regression Testing Generation with Large Language Models
FPT Software AI Center(FPT软件人工智能中心);VinUniversity(越南-新加坡大学);Nanyang Tech. University(南洋理工大学);Univ. of Texas at Dallas(德克萨斯大学达拉斯分校)
TestWeaver通过整合轻量级程序分析和针对性执行上下文,提升LLM在回归测试生成中的覆盖率和效率。
2026-01-27 cs.SE
Fuzzing for CPS Mutation Testing
本文提出利用模糊测试为安全攸关CPS的C/C++软件生成变异测试数据,并通过在轨卫星组件实证表明其显著优于或可补充符号执行。
2023-08-15 cs.SE
Symbolic Partial-Order Execution for Testing Multi-Threaded Programs
我们描述了一种多线程程序的系统测试技术。我们结合准最优偏序约简,一个国家的最先进的技术,解决路径爆炸,由于交错的非确定性,与符号执行来处理数据的非确定性。我们的技术迭代地和详尽地发现程序的所有执行。它使用偏序表示程序执行,并使用底层展开语义查找下一次执行。我们避免了使用截止事件的冗余程序痕迹的探索。我们实现了我们的技术作为KLEE的扩展,并评估了一组大型多线程C程序。我们的实验在memcached和GNU sort中发现了几个以前未发现的bug和未定义的行为,表明新方法能够在工业规模的基准测试中发现bug。
2020-07-22 cs.PL cs.SE
Automatically Generating Test Cases for Safety-Critical Software via Symbolic Execution
基于符号执行的自动测试生成有利于系统地测试安全关键软件,方便测试工程师追求认证标准规定的严格测试要求,同时控制测试过程的成本。同时,安全关键软件的开发通常受到禁止被认为降低程序安全性的语言特征的程序设计语言或编码约定的限制,例如,它们不允许动态内存分配和可变长度数组,限制了循环的使用方式,禁止递归,并限制了控制条件的复杂性。事实上,这些语言特征也是最先进的基于符号执行的测试生成方法的主要效率障碍。本文为一类重要的工业安全关键系统提供了新的证据,证明了符号执行生成测试用例的有效性。我们特别关注的SCADE,主要采用基于模型的开发语言的安全关键的嵌入式软件,我们报告的案例研究中,我们利用符号执行自动生成测试用例的一组安全关键的程序在SCADE开发。为此,我们介绍了一种新的测试生成器,我们在最近的工业项目中开发的测试安全关键的铁路软件写在SCADE,我们报告我们的经验,使用此测试生成器测试一组SCADE程序,属于发展的车载信号单元的高速铁路。结果提供经验证据表明,符号执行确实是一种可行的方法,为我们的案例研究中考虑的安全关键程序生成高质量的测试套件。
2022-09-22 cs.SE
Scaling Mobile Chaos Testing with AI-Driven Test Execution
Uber Technologies, Inc.(优步科技有限公司)
研究大规模分布式系统中移动应用易受后端服务故障影响的问题,核心方法是将DragonCrawl与uHavoc集成实现人工智能驱动的测试执行,主要贡献是识别风险、缩短调试时间,证明在生产规模实现移动弹性验证可行。
2026-07-10 cs.SE
SAVIOR: Towards Bug-Driven Hybrid Testing
混合测试结合了模糊测试和concolic执行。它利用模糊测试来测试容易到达的代码区域,并使用concolic执行来探索由复杂分支条件保护的代码块。然而,其以代码覆盖为中心的设计在漏洞检测方面效率低下。首先,它盲目地选择concolic执行的种子,旨在不断探索新代码。然而,正如统计数据所显示的那样,所探索的代码的很大一部分通常是没有bug的。因此,在混合测试中对代码的每一部分给予同等的关注是一种非最优策略。它将真正漏洞的检测速度降低了43%以上。第二,传统的混合测试在到达一段代码后快速前进,而不是检查内部隐藏的缺陷。它可能经常错过微妙的漏洞,尽管它已经探索了易受攻击的代码路径。我们提出了SAVIOR,一个新的混合测试框架开创了错误驱动的原则。与现有的混合测试工具不同,SAVIOR优先考虑可能发现更多漏洞的种子的concolic执行。此外,SAVIOR还验证了程序执行路径上所有的漏洞位置,并通过SMT约束对故障情况进行建模,对漏洞的可行性进行推理,生成具体的测试用例作为证明。我们的评估表明,错误驱动的方法优于主流的自动化测试技术,包括最先进的混合测试系统驱动的代码覆盖率。平均而言,SAVIOR比DRILLER和QSYM分别快43.4%和44.3%,分别多发现了88个和76个独特的漏洞。根据对11个模糊基准测试程序的评估,在前24小时内,SAVIOR触发了481个UBSAN违规,其中24…
2019-06-18 cs.SE
REST API Testing with Verified LLM-Inferred Dependencies and Response-Driven Refinement
University of Science, VNU-HCM(胡志明市国立大学科学大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Katalon LLC(Katalon有限责任公司)
本文提出APIPilot框架,通过执行验证LLM推断的REST API依赖关系,结合响应驱动优化,在16个真实API上实现高覆盖率与成功率,优于现有基线。
2026-08-21 cs.SE
Morest: Model-based RESTful API Testing with Execution Feedback
RESTful API可以说是访问Web服务的最流行的端点。黑盒测试是确保RESTful API可靠性的新兴技术之一。测试RESTful API的主要挑战是需要正确的API操作调用序列以进行深入测试。为了构建有意义的操作调用序列,研究人员提出了基于OpenAPI规范学习和利用API依赖关系的技术。然而,这些技术要么缺乏对所有API如何连接的整体意识,要么缺乏自适应地固定学习知识的灵活性。在本文中,我们提出了Morest,一个基于模型的RESTful API测试技术,建立和维护一个动态更新的RESTful-service属性图(RPG)建模的RESTful-service的行为,并指导调用序列生成。我们对Morest进行了经验评估,结果表明,与最先进的技术相比,Morest可以成功请求平均多152.66%-232.45%的API操作,覆盖26.16%-103.24%的代码行,并检测40.64%-215.94%的错误。总的来说,我们将Morest应用于6个真实世界的项目,发现了44个错误(其中13个无法通过现有方法检测到)。具体来说,其中2个已确认的bug来自Bitbucket,这是一个著名的代码管理服务,拥有超过600万用户。
2022-04-26 cs.SE
Mathematical Execution: A Unified Approach for Testing Numerical Code
本文介绍了数学执行(ME),一个新的,统一的方法来测试数字代码。其核心思想是:(1)通过一个表示函数来捕获期望的测试目标;(2)将自动化测试问题转化为表示函数的最小化问题。最小化问题将通过数学优化来解决。ME的主要特征是它仅通过执行表示函数来指导输入空间探索,从而避免了对程序语义的静态或符号推理,这对于数字代码来说特别具有挑战性。为了说明这一特点,我们开发了一个基于ME的算法覆盖率为基础的测试的数字代码。我们还展示了应用和适应ME到其他相关问题的潜力,包括路径可达性测试,边界值分析和可满足性检查。为了证明ME的实际好处,我们实现了CoverMe,这是一个基于分支覆盖率测试的概念验证实现,并在Sun的C数学库(用于例如Android,Matlab,Java和JavaScript)上对其进行了评估。我们比较了CoverMe与随机测试和Austin,一个公开的基于分支覆盖的测试工具,支持数字代码(Austin结合了符号执行和基于搜索的自动化)。我们的实验结果表明,CoverMe实现了接近最佳的覆盖率,大大高于随机测试的所有测试程序,在所有评估的覆盖率指标。与Austin相比,CoverMe将分支覆盖率从43%提高到91%,所需时间明显缩短(平均6.9秒对6058.4秒)。
2016-10-04 cs.PL cs.SE
Hybrid Concolic Testing with Large Language Models for Guided Path Exploration
Quandary Peak Research(夸德里峰研究)
本文提出一种结合大语言模型与协同执行的混合测试方法,通过引导路径探索提升程序状态空间探索效率和缺陷检测能力。
2026-01-18 cs.SE
ProbTest: Unit Testing for Probabilistic Programs (Extended Version)
本文提出黑盒单元测试方法 ProbTest,基于优惠券收集者问题自动确定概率程序所需测试次数并提供统计保证,以 PyTest 插件实现,并在 Gymnasium 和随机数据结构案例中评估。
2025-09-02 cs.SE
Execution-Grounded Security Testing for Coding Agents in Software Engineering Pipelines
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学);Hainan University(海南大学)
研究针对软件工程流水线中编码代理的安全问题,提出基于执行的红队测试框架,利用沙盒证据探测安全边界,将不安全操作嵌入工作负载并借助执行预言机优化,通过实验大幅增加不安全执行验证率,凸显编码代理需更强安全测试。
2026-07-28 cs.AI cs.SE
Badger: Complexity Analysis with Fuzzing and Symbolic Execution
涉及模糊测试和符号执行的混合测试方法在实现高代码覆盖率、发现各种软件应用程序中的细微错误和漏洞方面显示出有希望的结果。在本文中,我们描述獾-一种新的混合方法的复杂性分析,发现漏洞时发生的最坏情况下的时间或空间复杂度的应用程序是显着高于平均情况的目标。Badger使用模糊测试来生成一组不同的输入,其目的不仅是增加覆盖率,而且还与每个路径相关联的资源相关的成本。由于模糊可能无法执行深程序路径,由于其有限的知识的条件,影响这些路径,我们补充了分析与符号执行,这也是定制的搜索路径,增加资源相关的成本。符号执行特别擅长生成满足各种程序条件的输入,但它本身会遭受路径爆炸。因此,獾使用模糊和象征性执行串联,以利用他们的好处,克服他们的弱点。我们实现了我们的方法分析的Java程序,基于Kelinci和Symbolic Pathwords。我们在Java应用程序上评估了Badger,结果表明,与模糊或符号执行相比,我们的方法在生成最坏情况的执行方面要快得多。
2018-06-08 cs.SE
Drivora: A Unified and Extensible Infrastructure for Search-based Autonomous Driving Testing
Singapore Management University(新加坡管理大学);University of Ottawa(渥太华大学);Lero Centre, University of Limerick(利默里克大学Lero中心);Zhejiang Sci-Tech University(浙江理工大学)
Drivora是一种基于搜索的自动驾驶测试框架,通过统一的场景定义和解耦的架构,提升测试效率与扩展性。
2026-01-09 cs.SE
Improving Deep Learning Framework Testing with Model-Level Metamorphic Testing
本文提出ModelMeta,一种模型级蜕变测试方法,通过四个面向模型结构的蜕变关系和QR-DQN策略生成多样化测试输入,并细粒度分析训练损失、资源使用等指标,以突破现有方法在测试输入多样性和缺陷检测范围上的局限。
2025-07-06 cs.SE
Shadow Symbolic Execution with Java PathFinder
回归测试确保软件系统在发展时仍然正确执行,并且更改不会引入意外的副作用。然而,创建显示不同行为的回归测试用例需要大量的工作。一个解决方案是影子符号执行的想法,最初基于KLEE为C编写的程序实现,它采用新旧程序的统一版本,并执行由具体值指导的符号执行,以探索改变的行为。在这项工作中,我们将影子符号执行的想法应用到Java程序中,因此,提供了一个扩展的Java Path(JPF)项目执行影子符号执行Java字节码。该扩展已应用于JPF测试类中的几个主题,在这些主题中,它成功地生成了暴露回归测试相关分歧的测试输入。
2018-02-05 cs.SE
Testing Deep Learning Library APIs via Cross-Framework Differential Fuzzing
The University of Queensland(昆士兰大学)
本文提出跨框架差分模糊测试方法Xamt,用于测试7个深度学习库的API,构建676个经验证的API组,识别出72个差异案例,其中25份已被开发者确认并修复。
2026-10-30 cs.SE
Cottontail: Large Language Model-Driven Concolic Execution for Highly Structured Test Input Generation
Singapore Management University(新加坡管理大学);University of California, Los Angeles(加州大学洛杉矶分校);Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本文提出LLM驱动的共模执行引擎Cottontail,通过ESCT路径表示、LLM约束求解器和历史引导种子获取,解决结构化测试输入生成问题,显著提升覆盖率并发现6个新漏洞。
2025-10-14 cs.SE
Scenario-based System Testing for Distributed Robotics Applications
University of Bremen(不来梅大学);Verified Systems International GmbH(Verified Systems International 有限公司);DTU Compute, Technical University of Denmark(丹麦技术大学计算学院)
本文提出SCScenario Specification Language用于自动化生成和执行系统级测试,针对复杂分布式系统中的测试挑战,通过场景定义、在线测试和动态重构实现高效测试。
2026-04-28 cs.SE
Extreme mutation testing in practice: An industrial case study
变异测试用于评估测试集的有效性。近年来,出现了一种称为极端突变测试的有前途的变化,这种变化在计算上更便宜。它标识了可以完全删除其功能的方法,并且测试套件不会注意到它,尽管有覆盖率。这些方法被称为伪测试。在本文中,我们比较了传统和极端突变测试的执行和分析时间,并讨论了它们在实践中的意义。我们将研究极端突变测试如何影响当前的软件开发实践,并讨论需要解决的开放性挑战,以促进行业采用。为此,我们进行了一个工业案例研究,包括在半导体行业的一个大型软件项目中运行传统和极端突变测试,该项目由超过11,000个单元测试的测试套件覆盖。除此之外,我们还对25个伪测试方法进行了定性分析,并采访了两个有经验的开发人员,看看他们是如何编写单元测试的,并收集了关于极端突变测试结果的有用性的意见。我们的结果包括执行时间,分数,执行的测试和mutator的数量,为什么方法是伪测试的原因,以及采访摘要。我们的结论是,较短的执行和分析时间是很明显的,在实践中,极端的突变测试补充编写单元测试与代码覆盖工具。我们建议,伪测试的代码应突出显示在代码覆盖率报告,极端的突变测试应在编写单元测试,而不是在一个解耦的会话。未来的研究应该研究如何在编写单元测试时执行极端突变测试,以便结果足够快但仍然有意义。
2021-03-15 cs.SE
Presentation Proposal: Towards Efficient Data-flow Test Data Generation Using KLEE
数据流覆盖率是白盒测试的标准之一,它关注变量定义与其使用之间的关系,一些实证研究证明了数据流测试比控制流测试更有效。然而,由于缺乏有效的工具支持,数据流测试在实践中仍然没有得到采用。为此,我们提出了一个指导符号执行的方法来有效地搜索程序路径,以满足数据流覆盖标准。我们在KLEE上实现了这种方法,并用30个程序主题进行了评估,这些程序主题是由以前的数据流测试文献、SIR、SV-COMP基准中使用的主题构建的。此外,我们正计划将数据流测试技术集成到新提出的符号执行引擎SmartUnit中,SmartUnit是一种基于云的工业软件单元测试服务,支持基于覆盖率的测试。已成功帮助国内多家知名企业和机构在实践中采用基于覆盖率的测试,累计测试了超过百万行的行业真实代码。
2019-03-19 cs.SE
Fuzzing-based Mutation Testing of C/C++ Software in Cyber-Physical Systems
本文提出用模糊测试替代符号执行对 CPS 中 C/C++ 软件进行变异测试,并在卫星系统组件上验证其可检测 40%-90% 开发者测试遗漏的变异体,结合 Clang、内存消毒器和 laf-intel 插桩效果最佳,检测率比符号执行最高提升 50 个百分点。
2025-07-03 cs.SE
Accelerating Continuous Integration with Parallel Batch Testing
本研究针对大规模持续集成成本高的问题,提出DynamicBatching和TestCaseBatching两种并行批量测试方法,经Chrome等数据验证可大幅减少测试机器用量,为资源高效测试提供方案。
2023-08-25 cs.SE
Benchmarking Symbolic Execution Using Constraint Problems -- Initial Results
IIT Kanpur(印度理工学院坎普尔分校);National University of Singapore(新加坡国立大学)
符号执行是一种功能强大的bug发现和程序测试技术。它可以成功地发现真实代码中的bug。核心推理技术使用约束求解、路径探索和搜索,这些也是用于解决组合问题的相同技术,例如,有限域约束满足问题。我们提出CSP实例作为更具挑战性的基准来评估符号执行中核心技术的有效性。我们将CSP基准转换为适合测试符号执行工具的推理能力的C程序。从一个单一的CSP P,我们转换P取决于转换选择到不同的C程序。使用KLEE、Tracer-X和LLBMC工具进行的初步测试显示,转换和求解器选择在运行时存在很大差异。我们的C基准测试有效地显示了现有符号执行工具的局限性。这项工作的动机是,我们相信这种形式的基准可以刺激符号执行引擎中改进的核心推理的开发和工程。
2020-01-22 cs.AI cs.SE
VulnBot: Autonomous Penetration Testing for A Multi-Agent Collaborative Framework
VulnBot提出一种基于多智能体协作的自主渗透测试框架,通过分解侦察、扫描和利用三阶段并利用PTG指导,显著提升自动化渗透测试效率与效果。
2025-01-23 cs.SE
MOTIF: A tool for Mutation Testing with Fuzzing
MOTIF利用灰盒模糊测试生成C语言单元测试用例,克服了符号执行的局限性,能有效检测变异体中的注入故障,在安全关键CPS软件测试中表现更优。
2024-06-04 cs.SE
Verifying a Sparse Matrix Algorithm Using Symbolic Execution
University of Delaware(特拉华大学)
针对科学软件复杂且易有细微错误的问题,提出用符号执行编写类似单元测试的测试以提供更强验证保证,并应用于稀疏矩阵算法。
2025-10-15 cs.SE
Software Testing Beyond Closed Worlds: Open-World Games as an Extreme Case
Ritsumeikan University(立命馆大学)
本文探讨了传统封闭世界假设在现代软件系统中的局限性,通过开放世界游戏案例,提出测试应支持在不确定环境下系统行为的表征与解释,讨论了自动化测试生成、评估指标和实证研究设计等研究方向。
2026-04-08 cs.SE
Systematic Method for Path-Complete White Box Testing
本文提出了一种系统的、与语言无关的、用于白盒测试的寻找覆盖顺序程序代码的最小路径集的方法。执行集合中的所有路径也确保语句覆盖。执行错误标记代码中有问题的区域。该方法从程序的UML活动图开始。该图被转换为有向图:图的节点替代决策点和动作点;图的有向边替代动作箭头。独立路径的数量等于图的容易计算的圈复杂度。将向量与每条路径相关联创建路径向量空间。路径的独立性等价于向量的线性独立性。只要测试路径空间的任何基就足以完成这个过程。提出了一种有效的基路径选择算法。
2005-03-21 cs.SE
Assessing the Impact of Execution Environment on Observation-Based Slicing
程序切片将程序减少到保留所选计算的较小版本,称为切片标准。一种最近的多语言切片方法,基于观察的切片(ORBS),推测性地删除程序的一部分,然后执行代码。如果切片标准的行为没有改变,则推测性删除被永久化。虽然这使得ORBS语言不可知,但它可能导致产生一些非直观的切片。一个特殊的挑战是执行环境何时起作用。例如,如果在执行语句之前分配给a的内存位置包含零,则ORBS将删除行“a = 0”,因为删除不会影响a的值,从而不会影响切片标准。因此,由于诸如初始化和调用堆栈重用之类的因素,执行环境之间的片可能不同。所考虑的技术,nVORBS,试图通过验证在n个不同的执行环境中的候选切片来改善这个问题。我们进行了实证研究,以收集执行环境导致切片差异的频率的初步见解。具体来说,我们比较和对比七个不同的实例化nVORBS所产生的切片。展望未来,该技术可以被看作是变形测试的一个变种,从而表明如何从变形测试的想法可能被用来改善动态程序分析。
2022-08-28 cs.SE
GUICop: Approach and Toolset for Specification-based GUI Testing
用于测试图形用户界面(GUI)程序的Oracle需要考虑复杂的因素,例如在将观察到的GUI元素与预期的GUI元素进行比较时屏幕分辨率或颜色方案的变化。研究人员提出了模糊比较规则和计算昂贵的图像处理技术来驯服比较过程,因为否则天真的匹配比较将过于约束,因此不切实际。另外,本文提出了GUICop,一种新的方法与支持的工具集,采取(1)一个GUI程序和(2)用户定义的GUI规范表征的GUI元素的渲染行为,并检查程序的执行轨迹是否满足规格。GUICop包括以下内容:1)GUI规约语言; 2)驱动程序; 3)插装GUI库; 4)求解器;以及5)代码编织器。用户使用GUI规约语言定义主题GUI程序的规范。驱动程序遍历程序的GUI结构并生成驱动其执行的事件。检测GUI库捕获GUI执行跟踪,即,关于GUI元素的位置和可见性的信息。由Code Weaver注入的代码启用的Solver检查跟踪是否满足规范。使用四个开源GUI应用程序(包括八个缺陷,即Jajuk、Gason、JEdit和TerpPaint)成功评估了GUICop。
2016-11-17 cs.SE
A Direct Symbolic Execution of SQL Code for Testing of Data-Oriented Applications
符号执行是一种能够自动生成测试输入(和输出)的技术,它在要测试的程序中执行一组执行路径。如果路径覆盖了被测代码的足够部分,则测试数据提供了程序实际行为的代表性视图,这尤其使得能够检测错误和纠正故障。关系数据库在软件中无处不在,但操作它们的代码片段的符号执行仍然是一个不小的问题,特别是因为这种数据库的复杂结构和SQL语句的复杂行为。在这项工作中,我们定义了一个直接的符号执行数据库操作代码,并将其与一个更传统的符号执行正常的程序代码。数据库表由关系符号表示,SQL语句由这些符号上的关系约束表示,符号表示程序的正常变量。基于这些原则的算法的符号执行的Java方法,实现业务用例的读写关系数据库,后者受到数据完整性约束。该算法被集成在一个测试生成工具,并在示例代码进行了实验。工具生成的约束的目标语言是SMT-Lib标准,使用的求解器是Microsoft Z3。结果表明,该方法能够在合理的时间内生成有意义的测试数据,包括有效的数据库内容。特别是,Z3求解器被证明是更可扩展的比合金求解器,在我们以前的工作中使用,解决关系约束。
2015-01-21 cs.DB cs.SE
Mutation Testing Optimisations using the Clang Front-end
变异测试是评估测试集故障检测能力的最新技术。不幸的是,一个完整的突变分析往往是昂贵的。例如,CppCheck项目在我们的台式计算机上需要5.8分钟的构建时间和17秒的测试执行时间。对55,000个生成的突变体进行未优化的突变分析总共花费了11.8天,其中4.3天用于(重新)编译项目。在本文中,我们提出了一个可行性研究,调查如何一些优化策略可以实施的Clang前端。这些优化策略允许消除编译和执行开销,以支持C语言家族的有效突变测试。我们提供了一个概念验证工具,可以实现2倍到30倍的加速。我们对优化引起的加速进行了详细的分析,详细阐述了经验教训,并指出了进一步改进的途径。
2022-10-31 cs.SE
Towards Statistical Prioritization for Software Product Lines Testing
由于要考虑的产品数量的组合爆炸,软件产品线(SPL)本质上很难测试。为了减少要测试的产品的数量,已经提出了诸如组合交互作用测试的采样技术。它们通常从特征模型开始,并应用覆盖标准(例如成对特征交互或相异性)来生成易于处理的、故障查找的待测试配置列表。优先级也可以用于排序/生成这样的列表,优化覆盖标准或分配给特征的权重。然而,目前的采样/优先级技术几乎没有考虑到产品的行为。我们探讨如何统计测试的想法,使用模型(马尔可夫链)的基础上,可以用来提取配置的兴趣,根据他们的执行的可能性。这些执行被收集在特征转换系统中,紧凑地表示SPL行为。我们讨论了可能的情况下,并给出了一个例子说明的优先顺序的程序。
2014-01-23 cs.SE
Using mutation testing to measure behavioural test diversity
多样性被认为是提高测试有效性和效率的一个关键标准。它可以用于优化大型测试库,也可以用于可视化测试维护问题,并提高从业者对测试工件和过程中浪费的认识。尽管这些基于多样性的测试技术旨在测试系统(SUT)中的多样性行为,但多样性主要是在人工制品上和人工制品之间测量的(例如,输入、输出或测试脚本)。在这里,我们介绍了一个家庭的措施来捕捉行为多样性(B-div)的测试用例,通过比较他们的执行和失败的结果。使用故障信息捕捉SUT行为已被证明可以提高基于历史的测试优先级排序方法的有效性。然而,基于历史的技术需要可靠的测试执行日志,这往往是不可用的,或者很难获得,由于可重复测试,稀缺的测试执行,等等。为了普遍适用,我们建议使用突变测试,而不是通过运行测试用例集的各种突变版本的SUT来衡量行为的多样性。具体地说,我们提出了两个具体的B-div措施(基于准确性和马修的相关系数,分别),并将它们与基于人工制品的多样性(A-div)进行比较,以优先考虑6个不同的开源项目的测试套件。我们的研究结果表明,我们的b-div措施优于a-div和随机选择在所有的研究项目。改进是实质性的,平均检测到的故障百分比(APFD)的平均增长在19%到31%之间,这取决于优先级测试子集的大小。
2020-10-19 cs.SE
Concolic Testing for Deep Neural Networks
University of Oxford(牛津大学);University of Liverpool(利物浦大学)
Concolic测试结合了程序执行和符号分析来探索软件程序的执行路径。本文提出了第一种用于深度神经网络(DNN)的concolic测试方法。更具体地说,我们正式的覆盖标准DNN已在文献中研究,然后开发一个连贯的方法进行concolic测试,以增加测试覆盖率。我们的实验结果表明,concolic测试方法在实现高覆盖率和发现对抗性示例方面的有效性。
2018-08-04 cs.LG cs.SE stat.ML
EVMFuzz: Differential Fuzz Testing of Ethereum Virtual Machine
以太坊虚拟机(EVM)是智能合约的运行环境,其漏洞可能会导致以太坊生态的严重问题。随着许多智能合约验证技术的开发,EVM的安全问题还没有得到很好的研究。在本文中,我们提出EVMFuzz,旨在检测EVMs与差分模糊测试的漏洞。EVMFuzz的核心思想是不断为不同的EVM的执行生成种子合约,从而尽可能多地发现执行结果之间的不一致,最终通过输出交叉引用发现漏洞。首先,我们提出了内部不一致性指标的评估指标,如执行的操作码序列和使用的气体。然后,我们通过一组预定义的变异器构建种子合同,并采用动态优先级调度算法来指导种子合同的选择和最大化的不一致性。最后,我们利用不同的EVM作为交叉引用的预言机,以避免手动检查执行输出。为了进行评估,我们对36,295个真实世界的智能合约进行了大规模突变,并生成了253,153个智能合约。其中,66.2%表现出差异性,包括1,596个变体合约触发了EVM之间的不一致输出。在人工分析的基础上,我们在四个广泛使用的EVM中发现了5个以前未知的安全漏洞,并且所有这些漏洞都已被纳入通用漏洞和暴露(CVE)数据库。
2019-04-08 cs.SE
Trustworthy Distributed Certification of Program Execution
针对程序执行验证缺乏明确证明的问题,提出结合原型编程语言Mona与认证协议OCCP的分布式认证方法,借助区块链管理工作流,减少执行次数以提升认证效率,为程序执行验证提供可信解决方案。
2025-02-11 cs.SE
Execution Divergence Graphs:Effective Discovery of Control-Flows from Execution Traces as Fuzzing Feedback
CISPA Helmholtz Center for Information Security(CISPA 赫尔姆霍兹信息安全中心)
探讨利用运行时执行构建的类控制流图结构反馈来指导模糊测试器的方法,先介绍简单差异检测法,后提出基于执行差异图的改进方法,实现并证明其优于基线盲目模糊测试器。
2026-07-07 cs.CR cs.SE
JUGE: An Infrastructure for Benchmarking Java Unit Test Generators
研究人员和实践者已经设计并实现了各种自动化测试用例生成器来支持有效的软件测试。这样的生成器存在于各种语言(例如,Java、C#或Python)和各种平台(例如,桌面、网络或移动应用程序)。这种发生器表现出不同的有效性和效率,这取决于它们旨在满足的测试目标(例如,库的单元测试与整个应用程序的系统测试)以及它们实现的底层技术。在这种情况下,从业人员需要能够比较不同的发电机,以确定最适合他们的要求,而研究人员寻求确定未来的研究方向。这可以通过系统地对不同发电机进行大规模评估来实现。然而,进行这种经验性评价并非易事,需要作出大量努力来收集基准,建立评价基础设施,并收集和分析结果。在本文中,我们介绍了我们的JUnit生成基准测试基础设施(JUGE)支持生成器(例如,基于搜索、基于随机、符号执行等)寻求自动化用于各种目的的单元测试的产生(例如,验证、回归测试、故障定位等)。其主要目标是通过标准化评估和比较过程,减少总体工作量,简化几个发电机的比较,并加强学术界和工业界之间的知识转移。自2013年以来,与基于搜索的软件测试研讨会一起举办的单元测试工具竞赛已经举办了八届,并使用和更新了JUGE。因此,越来越多来自学术界和工业界的工具(超过十种)在JUGE上进行了评估,这些工具多年来已经成熟,并可以确定未来的研究方向。
2022-10-28 cs.SE
The Rise of Agentic Testing: Multi-Agent Systems for Robust Software Quality Assurance
MUFG Bank(三菱日联银行);Cisco Systems Inc(思科系统公司);University of North Carolina(北卡罗来纳大学)
本文提出多代理系统用于提升软件测试质量,通过闭环反馈机制实现自适应测试生成和优化,显著提高测试覆盖率并减少无效测试。
2026-01-05 cs.AI cs.SE
RepoST: Scalable Repository-Level Coding Environment Construction with Sandbox Testing
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
RepoST 提出通过沙箱测试隔离目标函数及其依赖来构建可扩展的仓库级代码执行反馈环境,并基于此构建大规模训练集 RepoST-Train 和评估集 RepoST-Eval,训练后模型在 HumanEval 和 RepoEval 上分别提升 5.5% 和 3.5% Pass@1。
2025-03-10 cs.CL cs.SE
WebMAC: A Multi-Agent Collaborative Framework for Scenario Testing of Web Systems
Wuhan University(武汉大学);Jiangxi Normal University(江西师范大学)
本文提出WebMAC框架,通过多智能体协作完成测试场景描述和转换,提升测试脚本执行成功率和效率,减少token消耗,并有效发现更多Web系统错误。
2026-04-15 cs.SE
A/B Testing: A Systematic Literature Review
本文通过系统文献综述分析141项原始研究,梳理了A/B测试的主要对象、角色分工、数据类型、结果用途及未解决问题,并提出未来研究方向。
2023-08-09 cs.SE
Coyote C++: An Industrial-Strength Fully Automated Unit Testing Tool
本文介绍了Coyote C++,一款基于混合符号执行的工业级C和C++全自动化单元测试工具,它无需用户参与即可一键完成测试生成与执行,持续达到约90%的代码覆盖率。
2023-10-23 cs.PL cs.SE
Benchmarking Web-testing - Selenium versus Watir and the Choice of Programming Language and Browser
Selenium被认为是最流行的软件测试自动化工具。过去的学术著作主要忽视了测试工具,而倾向于更多的方法论主题。目的:我们研究了Web测试工具的性能,为软件测试工具的选择和配置提供经验证据。方法:我们使用4*5析因设计来研究20种不同的配置来测试网络商店。我们研究了5种程序设计语言绑定(C#,Java,Python和Ruby for Selenium,而Watir仅支持Ruby)和4种浏览器(Google Chrome,Internet Explorer,Mozilla Firefox和Opera)。性能通过执行时间、内存使用、测试脚本的长度和测试的稳定性来衡量。结果:考虑到所有措施,最佳配置是Selenium与Chrome的Python语言绑定。Selenium与Python绑定是所有浏览器的最佳选择。最慢和最快配置之间差异的效应量非常高(Cohens d=41.5,执行时间增加91%)。总体而言,Internet Explorer是最快的浏览器,但在稳定性方面表现最差。结论:我们建议在采用基准测试工具之前使用它们。因素的权重,例如,为了更快的性能愿意牺牲多少测试稳定性,会影响决策。
2016-11-02 cs.SE
CATTO: Just-in-time Test Case Selection and Execution
回归测试确保被测系统(SUT)在更改后仍能按预期工作。最简单的回归测试方法包括针对SUT的更改版本重新运行整个测试套件。但是,这可能会导致耗时且耗费资源的过程;在处理大型和/或复杂的SUT和测试套件时,需要使用\eg。为了解决这个问题,可以使用测试用例选择(TCS)策略。这样的策略寻求构建一个临时的测试套件,该测试套件仅包括那些与对SUT所做的更改相关的测试用例,从而避免执行那些不执行更改部分的测试用例。本文介绍了CATTO(Commit Adaptive Tool for Test suite Optimization)和CATTO INTELLIJ PLUGIN。前者是一个为Java编写的SUT实现TCS策略的工具,而后者是一个包装器,允许开发人员直接在IntelliJ中使用\toolName。我们还对七个开源Java SUT进行了CATTO的初步评估,包括测试套件大小的减少、故障暴露测试用例和故障检测能力。结果是有希望的,并建议CATTO可以帮助开发人员进行回归测试时。该工具的视频演示和文档可从以下网址获得:\url{https://catto-tool.github.io/}
2022-06-17 cs.SE
E-Test: E'er-Improving Test Suites
Università della Svizzera Italiana (USI)(瑞士意大利语大学);Università Milano-Bicocca(米兰比可卡大学);Constructor Institute of Technology (CIT)(Constructor技术学院)
E-Test通过利用大型语言模型识别未测试的执行场景,有效提升测试套件质量并减少维护成本。
2025-10-21 cs.SE
Automated Soap Opera Testing Directed by LLMs and Scenario Knowledge: Feasibility, Challenges, and Road Ahead
本研究探索基于LLM与场景知识图谱的多智能体肥皂剧测试自动化方案,验证其可行性,分析与人工测试的差距,并提出未来发展方向以指导相关研究。
2024-12-11 cs.SE
Input-output Conformance Testing for Channel-based Service Connectors
基于服务的系统是由不同供应商提供的自治组件或服务组成的软件系统,部署在远程机器上,并可通过Web访问。现代软件工程的挑战之一是确保这样一个系统的行为符合其设计者的预期。Reo协调语言是一种可扩展的表示法,用于服务组合的形式化建模和执行。事先不了解彼此的服务通过高级通道连接器进行通信,这些连接器保证每个参与者、服务或客户端在正确的时间接收正确的数据。每个通道都是一个二元关系,它对输入和输出消息施加同步和数据约束。此外,通道被组合在一起以实现任意复杂的行为协议。在此过程中,设计人员可能会将错误引入连接器模型或代码中以执行这些错误,从而影响组合服务的行为。在本文中,我们提出了一种基于模型的测试的协调协议设计的Reo。我们的方法是基于输入输出一致性(IOCO)测试理论,并利用自动机为基础的语义模型的映射Reo等效的进程代数规范。
2011-08-09 cs.SE
ComReg: A Complex Network Approach to Prioritize Test Cases for Regression Testing
执行回归测试是为了确保软件某个部分的变更不会影响软件的其他部分。执行所有现有的测试用例是重新建立这种信心的最佳方式。然而,回归测试是一个昂贵的过程-可能没有足够的资源(例如,时间、劳动力),以允许重新执行所有测试用例。回归测试优先级技术试图根据一些标准对回归测试套件进行重新排序,以便更早地执行最高优先级的测试用例。在这项研究中,我们希望优先级测试用例的回归测试的依赖网络的基础上的故障。在软件测试中,一些故障是其他故障(引导故障)的后果是很常见的。此外,当且仅当前导故障已被移除时,相关故障才能被移除。我们的目标是确定测试用例的优先级,以便在系统测试阶段暴露主要故障(故障依赖网络中最核心的故障)的测试用例在回归测试中首先执行。我们提出了ComReg,一个基于故障依赖网络的测试用例优先级排序技术。我们将故障依赖网络建模为有向图,并识别出主要故障,以确定回归测试用例的优先级。我们使用的中心性聚合技术,认为六个网络代表中心性指标,以确定故障依赖网络中的领先故障。我们还讨论了使用故障社区从优先回归测试套件中选择任意百分比的测试用例。我们进行了案例研究,评估所提出的方法的有效性和适用性。
2014-11-26 cs.SE
Towards API Testing Across Cloud and Edge
IBM Research(IBM研究院);IBM Services(IBM服务部);IBM Systems(IBM系统部)
API经济正在推动混合云和边缘环境中业务应用的数字化转型。为了使这种转换成功,需要对应用程序API组合进行端到端测试。即使在集中式云环境中,API组合的测试也具有挑战性,因为它需要覆盖功能和可靠性要求。场景的组合空间是巨大的,例如,API输入参数、API执行顺序和网络故障。混合云和边缘环境加剧了API测试的挑战,因为需要在动态广域网(可能跨越网络边界)之间协调测试执行。为了应对这一挑战,我们设想了一个测试框架,名为分布式软件测试工具包(DSTK)。DSTK利用组合测试设计(CTD)来满足功能需求,然后通过测试执行反馈和基于人工智能的搜索算法之间的幕后闭环自动满足可靠性需求。在闭环的每一次迭代中,搜索算法生成更多的可靠性测试场景以供下一步执行。具体而言,设想了五种可靠性测试:API的乱序执行、网络延迟和故障、API性能和吞吐量、API调用图模式的变化以及应用拓扑的变化。
2021-09-06 cs.AI cs.DC cs.SE
LELANTE: LEveraging LLM for Automated ANdroid TEsting
本文提出 LELANTE 框架,利用大型语言模型自动解释自然语言测试用例并直接在 Android 屏幕上执行操作,无需预编写脚本,在 390 个测试用例中达到 73% 成功率,有效提升了移动测试的可扩展性和适应性。
2025-04-29 cs.SE