Spinal Test Suites for Software Product Lines
测试软件产品线的一个主要挑战是效率。特别是,测试一个产品线应该比单独测试每个产品花费更少的精力。我们解决这个问题的上下文中的输入输出一致性测试,这是一个正式的基于模型的测试理论。我们扩展的概念,一致性测试的输入-输出功能的过渡系统与新概念的脊椎测试套件。我们展示了如何在不同的,但类似的,软件产品线的产品之间的共同行为,这一概念免除重新测试。
2014-03-28 cs.LO cs.SE
Compositional Liveness-Preserving Conformance Testing of Timed I/O Automata -- Technical Report
I/O一致性测试理论(例如,ioco)关注的是正式定义实现的可观察输出行为何时符合规范允许的行为。因此,人们提出了几种ioco的实时扩展,通常称为tioco,进一步考虑了动作之间允许的延迟。在本文中,我们提出了一个改进版的tioco,称为实时ioco(ltioco),解决现有定义的各种弱点。在这里,一个合理的适应静止(即,任何输出的可观察到的不存在)到实时行为的转换必须小心进行:因此,LTIOCO将允许发生的安全输出与强制在特定时间段内发生的实况输出区分开,从而引起静止的两个不同方面。此外,tioco经常被定义在时间I/O标记转换系统(TIOLTS),时间I/O自动机(TIOA)的语义模型,这是无限分支,因此不可行的实际测试工具。相反,我们扩展了理论的区域图,使有限的语义模型TIOA的ltioco测试。最后,我们调查ltioco的组合性与平行组成,包括适当的治疗沉默的过渡。
2019-09-10 cs.FL cs.LO cs.SE
Automated Requirements-Based Testing of Black-Box Reactive Systems
我们提出了一种新的方法来一致性测试的黑盒反应式系统。我们认为系统规范的线性时序逻辑公式,以生成测试的输入/输出对序列:输入提取的Buchi自动机对应的规格,并通过馈送输入到系统的输出。通过将输入/输出序列与自动机跟踪进行比较来检测是否违反规范,从而检查是否符合规范。我们认为提取测试和停止生成的几个标准,我们比较实验使用的覆盖率和错误检测指标。结果表明,该方法可以生成具有良好的系统覆盖率和错误检测能力的测试集。
2020-05-14 cs.LO cs.SE
Input-output Conformance Testing for Channel-based Service Connectors
基于服务的系统是由不同供应商提供的自治组件或服务组成的软件系统,部署在远程机器上,并可通过Web访问。现代软件工程的挑战之一是确保这样一个系统的行为符合其设计者的预期。Reo协调语言是一种可扩展的表示法,用于服务组合的形式化建模和执行。事先不了解彼此的服务通过高级通道连接器进行通信,这些连接器保证每个参与者、服务或客户端在正确的时间接收正确的数据。每个通道都是一个二元关系,它对输入和输出消息施加同步和数据约束。此外,通道被组合在一起以实现任意复杂的行为协议。在此过程中,设计人员可能会将错误引入连接器模型或代码中以执行这些错误,从而影响组合服务的行为。在本文中,我们提出了一种基于模型的测试的协调协议设计的Reo。我们的方法是基于输入输出一致性(IOCO)测试理论,并利用自动机为基础的语义模型的映射Reo等效的进程代数规范。
2011-08-09 cs.SE
Bit-Precise Conformance Testing of Simulink Model Checkers
Japan Advanced Institute of Advanced Science(日本高级科学研究所);GAIO Technology Co. Ltd.(GAIO科技有限公司)
针对Simulink模型检查器可靠性问题,形式化基本块类型并定义位精确行为,提出测试工具间位精确一致性关系的方法,实验发现SLDV通过率仅94-96%和80-90%。
2026-10-28 cs.SE
A Model-Based Testing Tool for Asynchronous Reactive Systems
反应式系统的特征在于与环境的交互,其中输入和输出刺激的交换通常异步发生。一般来说,这种性质的系统在其开发过程中需要严格的测试活动。因此,基于模型的测试已成功地应用于异步反应系统使用输入输出标记转换系统(IOLTS)的基础。在这项工作中,我们提出了一个反应式测试工具,检查一致性,生成测试套件和运行测试用例使用IOLTS模型。我们的工具可以检查被测实现(IUT)的行为是否符合其各自规范的行为。我们已经实现了一个经典的一致性关系\ioco和一个更一般的概念一致性的基础上正则语言。此外,该工具在黑盒测试设置中提供测试套件生成,用于根据特定域在IUT上查找故障。我们还描述了一些案例研究,以探讨该工具的功能,并强调对这两种一致性方法的比较分析。最后,我们提供实验来评估我们的工具使用几个场景的性能。
2020-11-01 cs.SE
Testing Pushdown Systems
在软件开发中,对反应式系统进行测试是一项众所周知的费力活动,因为它们与环境的交互是异步的。在这种情况下,基于模型的测试已被采用时,检查一致性和生成测试套件的系统使用标记的转换系统作为一种形式主义,以及经典的ioco一致性关系。在这项工作中,我们转向一个更复杂的场景,目标系统有一个辅助存储器,堆栈。然后,我们研究了一个更强大的模型,可见下推标记转换系统(VPTS),其变体输入/输出VPTS(IOVPTS),其相关模型可见下推自动机(VPA),以及一致性测试和测试集生成方面。这个场景更具挑战性,因为基本模型有一个下推堆栈来捕获反应式系统中常见的更复杂的行为。然后,我们为下推反应式系统定义了一个更通用的一致性关系,这样它就可以防止任何在给定规范中还没有出现的可观察到的实现行为。此外,我们给出了一个有效的算法来检查一致性,在这个测试方案中,也表明,它运行在最坏情况下的渐近多项式时间的大小给定的规范和实施,被置于测试。
2021-07-23 cs.FL cs.SE
Dynamic Conformance Testing of WebGPU Through Specification-Driven Mutation
New Jersey Institute of Technology(新泽西理工学院)
提出LANTERN框架,通过从WebGPU规范提取语法和语义约束来变异一致性测试,在Chromium中发现包括堆损坏在内的三个可复现错误,验证了语义感知变异测试的有效性。
2026-09-23 cs.CR cs.SE
Automated Conformance Testing for JavaScript Engines via Deep Compiler Fuzzing
JavaScript(JS)是一种流行的、与平台无关的程序设计语言。为了确保JS程序在不同平台上的互操作性,JS引擎的实现应该符合ECMAScript标准。然而,这样做是具有挑战性的,因为API行为有许多微妙的定义,并且定义不断发展。我们提出了COMFORT,一个新的编译器模糊框架,用于检测JS引擎的错误和行为偏离ECMAScript标准。COMFORT利用基于深度学习的语言模型的最新进展,自动生成JS测试代码。与以前的模糊器不同,COMFORT利用结构良好的ECMAScript规范自动生成测试数据以及测试程序,以暴露开发人员或手动编写的测试用例可能忽略的错误。然后,COMFORT在生成的测试用例上应用差异测试方法,以暴露标准一致性错误。我们将COMFORT应用于十个主流JS引擎。在200小时的自动化并发测试运行中,我们发现了所有测试过的JS引擎中的错误。我们已经确定了158个独特的JS引擎错误,其中129个已经得到验证,115个已经被开发人员修复。此外,21个Comfort生成的测试用例已添加到Test262,官方ECMAScript一致性测试套件。
2021-04-15 cs.PL cs.SE
The Polyglot's Dilemma: Conformance Testing a Dozen Specs in as Many Languages
MongoDB Research(MongoDB 研究);MongoDB, Inc.(MongoDB 公司)
针对MongoDB十二种原生实现的客户端库一致性测试难题,提出基于YAML的统一测试格式,删除大量测试代码并降低了不一致缺陷发生率,同时总结了相关经验教训。
2026-08-19 cs.SE
Conformance Checking for Pushdown Reactive Systems based on Visibly Pushdown Languages
本文提出一种基于可见下推语言的新型一致性关系,用于建模下推反应式系统的期望与不期望行为,并证明可据此生成具有完整故障覆盖率的测试套件。
2023-08-14 cs.FL cs.SE
iPanda: An LLM-based Agent for Automated Conformance Testing of Communication Protocols
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Carnegie Mellon University(卡内基梅隆大学);Yanshan University(燕山大学)
针对传统协议一致性测试手动编写用例效率低的问题,提出基于LLM的iPanda框架,通过关键词生成用例、RAG+定制CoT生成测试程序及迭代优化,实现自动化测试,Pass@1成功率较纯LLM方法提升4.675-10.751倍。
2025-07-29 cs.AI cs.SE
Pessimistic Testing
我们提出了一种新的方法来测试一致性的非确定性规范,其中测试的进行,只要增加测试覆盖率得到保证。
2009-10-06 cs.GT cs.SE
eXtreme Modelling in Practice
形式化建模是开发复杂系统的有力工具。在MongoDB,我们使用TLA+来建模和验证多个系统的多个方面。确保规范及其实现之间的一致性可以为任何规范增加价值;它可以避免转录错误,防止大型组织快速开发指定代码时的错误,甚至保持同一规范的多个实现同步。在本文中,我们探讨基于模型的测试作为一种工具,以确保规范实现一致性。我们尝试了两个案例研究:MongoDB Server的复制协议中的基于模型的跟踪检查(MBTC)和MongoDB Realm Sync的操作转换算法中的基于模型的测试用例生成(MBTCG)。我们发现MBTC对于测试服务器是否符合高度抽象的规范是不切实际的。然而,MBTCG在Realm Sync上非常成功。我们分析了为什么一种技术成功了,另一个失败了,并建议未来的实施者在基于模型的测试进行类似的尝试。
2020-05-28 cs.LO cs.SE
A Formal TLS Handshake Model in LNT
网络服务的测试是网络安全中最大的挑战之一。由于新的漏洞经常被发现,因此需要进行更多的研究。这些错误的根源在于软件开发周期或系统规范中的内在漏洞。一致性测试检查系统是否按照其规范运行。在这里,基于模型的测试提供了几种自动检测缺陷的方法。系统行为的形式规格说明代表了测试过程的起点。在本文中,一个广泛使用的密码协议的规定和测试的一致性测试执行框架。第一个经验的结果,并进行了讨论。
2018-03-27 cs.CR cs.SE
New Fault Domains for Conformance Testing of Finite State Machines
针对传统FSM一致性测试m-完全测试用例集仅适用于m-n较小场景的局限,提出基于状态可达假设的新型大故障域,证明Wp、HSI方法满足其k-A完全性,解决了Hennie提出的长期挑战。
2025-06-11 cs.FL cs.SE
Sionnx: Automatic Unit Test Generator for ONNX Conformance
Alibaba Group US Inc.(阿里巴巴集团美国公司)
开放神经网络交换(ONNX)是一种表示AI模型的开放格式,并得到许多机器学习框架的支持。虽然ONNX定义了跨各种框架的统一和可移植计算运算符,但这些运算符的一致性测试不足,这使得很难验证ONNX后端实现中的运算符行为是否符合ONNX标准。在本文中,我们提出了第一个自动单元测试生成器名为Sionnx的ONNX实现的合规性验证。首先,我们提出了一个紧凑而完整的规则集来描述操作符的属性和操作数的属性。其次,我们设计了一个操作符规约语言(OSL),为操作符的语法提供一个高层次的描述。最后,通过这种易于使用的规约语言,我们能够构建一个完整的测试规范,该规范利用LLVM TableGen自动为覆盖范围更大的ONNX运营商生成单元测试。Sionnx是轻量级和灵活的,以支持跨框架验证。Sionnx框架在github存储库(https://github.com/alibaba/Sionnx)中是开源的。
2019-06-12 cs.AI cs.SE
Testing Compositionality
该研究针对基于模型的测试中的组合性问题,提出三种应用互接受性的算法,支持场景适配与效率权衡,实现大型系统测试的组件化分解。
2025-07-31 cs.SE
JEST: N+1-version Differential Testing of Both JavaScript Engines and Specification
现代编程遵循持续集成(CI)和持续部署(CD)方法,而不是传统的瀑布模型。即使是现代程序设计语言的开发也使用CI/CD方法来快速提供新的语言功能并适应新的开发环境。与传统方法不同,在现代CI/CD方法中,语言规范不再是语言语义的预言机,因为规范及其实现可以共同进化。在这种情况下,规范和实现都可能有bug,保证它们的正确性是非常重要的。在本文中,我们提出了一种新的N+1版本差分测试来解决这个问题。与传统的差分测试不同,我们的方法包括三个步骤:1)根据给定的语言规范自动合成由语法和语义引导的程序,2)通过将断言注入到合成的程序以检查它们的最终程序状态来生成一致性测试,3)通过对多个实现执行一致性测试来检测规范和实现中的错误,以及4)使用统计信息定位规范上的错误。我们实现了我们的方法,通过JEST的JavaScript程序设计语言,它执行N+1版本的差异测试现代JavaScript引擎和ECMAScript,语言规范描述的语法和语义的自然语言的JavaScript。我们使用四个JavaScript引擎评估了JEST,这些引擎支持所有现代JavaScript语言功能和最新版本的ECMAScript(ES 11,2020)。JEST自动合成了1,700个程序,覆盖了ES 11的97.78%的语法和87.70%的语义。使用断言注入,它在四个引擎中检测到44个引擎错误,在ES 11中检测到27个…
2021-02-16 cs.SE
Timed Test Case Generation Using Labeled Prioritized Time Petri Nets
软件和硬件系统的基于模型的测试使用系统的行为和形式模型。提出了一种基于模型的实时系统黑盒一致性测试技术,采用标记优先时间Petri网(LPrTPN)。定时输入/输出关联(tioco)关系,它考虑到环境假设,作为参考,以确定实现的正确性。测试套件是从LPrTPN自动派生的,LPrTPN由两个并发子网组成,分别指定被测系统及其环境。在测试用例具有最短可能的执行累积时间的意义上,结果是最优的。测试用例选择结合了测试目的和与模型相关的结构覆盖标准。在SE-LTL公式中规定了测试目的或覆盖标准。扩展了TINA Petri网分析器,使其支持并发组合Petri网.使用Tina工具箱自动生成时间最优的测试套件,结合了模型检查器selt和路径分析器计划。selt输出满足逻辑公式的序列。计划计算这个序列的最快执行,它将在测试用例套件中转换。
2012-06-04 cs.SE
Compositional Testing For FSM-Based Models
本文的贡献是三方面的:首先,它定义了一个框架,基于组件的系统建模,以及形式化的集成规则,结合他们的行为。这是基于有限状态机(FSM)。其次,它研究了组合一致性测试,即检查由符合条件的组件与集成操作符组合而成的实现是否符合其规范。第三,它表明了全球系统的正确性,可以通过测试的组件,它涉及到它的映射到组件的规格的全球规格。这个结果对于构建充分的测试目的是有用的,以测试考虑到它们插入的系统的组件。
2014-06-11 cs.FL cs.SE
Compositionality in Model-Based Testing
针对MBT中uioco关系缺乏组合性导致集成故障的问题,提出mutual acceptance关系,确保组件正确通信,实现组合性,并利于重测与诊断。
2023-07-07 cs.SE
Compositional Specifications for ioco Testing
基于模型的测试是一种很有前途的黑盒软件和硬件测试技术,其中测试用例是从高层规格自动生成的。如今,系统通常由多个相互作用的组件组成,由于其复杂性,测试在设计过程中占了相当大的一部分工作和成本。利用系统规格说明的组合结构可以大大减少基于模型的测试工作。此外,通过测试系统的各个组件来推断系统的属性,可以让设计人员减少集成测试的数量。本文研究了IOCO-检验理论的合成性质。我们提出了一种新的方法来组成和隐藏操作,基于合同的设计和接口理论的启发。这些操作保留在合成和隐藏下兼容的行为,并删除不兼容的行为。由此产生的规范特征的输入序列的组件的单元测试是足以推断组件集成的正确性,而不需要进一步的测试。我们提供了一种方法,使用这些结果,以尽量减少集成测试的努力,但也发现潜在的弱点规范。虽然我们专注于异步模型和IOCO一致性关系,但由此产生的方法可以应用于更广泛的系统类别。
2019-04-15 cs.SE
Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course
本研究通过为期一年的软件工程项目课程数据,利用线性混合效应建模分析发现,自动化单元测试、验收测试和手动测试的高覆盖率组合对功能适宜性有显著影响,且后端低测试与用户故事推迟存在接近显著的相关性。
2024-08-22 cs.SE
Generating Complete and Finite Test Suite for ioco: Is It Possible?
输入/输出转换系统的测试已经被深入研究。实现和规范之间的一致性通常由所谓的ioco-relation确定。但是,为ioco生成测试通常会受到输入和输出之间冲突问题的阻碍。此外,生成主要是基于不确定性的方法,这可能会提供完整的测试套件,但需要无限数量的执行。在本文中,我们研究是否有可能构建一个有限的测试套件,这是完全的,在一个预定义的故障域的经典ioco关系,即使在存在输入/输出冲突。我们通过提出一种基于为有限状态机开发的传统方法的完整测试生成方法,证明在有关规范和实现的某些假设下这是可能的。
2014-03-28 cs.SE