BDD-Based Framework with RL Integration: An approach for videogames automated testing
针对电子游戏复杂度提升导致脚本化自动化测试遇瓶颈的问题，提出集成行为驱动开发（BDD）与强化学习（RL）的测试框架，助力游戏工作室通过自动化测试提升游戏质量，论文为相关提案与在研框架的立场性总结。
2023-10-08 cs.SE
The Relevance of Assumptions and Context Factors for the Integration of Inspections and Testing
将检测过程与测试过程相结合有望带来几个好处，包括减少质量保证工作或提高缺陷检测率。这些过程的系统集成需要了解这些过程之间的关系，特别是检查缺陷和测试缺陷之间的关系。这种知识通常取决于具体情况，需要通过分析或经验获得。如果这种知识不可用，则需要针对特定背景做出假设。本文描述了集成检查和测试过程的假设和背景因素的相关性，并提供了以系统的方式导出假设的机制。
2013-12-03 cs.SE
Software Process Improvement Based on Defect Prevention Using Capability and Testing Model Integration in Extreme Programming
软件过程改进（Software Process Improvement，SPI）在不断净化软件质量的过程中得到了广泛的关注。以前有几种敏捷方法与极限编程（XP）一起使用。在改进过程之前，缺陷预防（DP）是不可避免的。此外，DP在很大程度上取决于缺陷检测，要么在设计和实现阶段发现，要么在测试阶段。然而，测试成熟度模型集成（TMMI）在DP以及软件过程改进中具有至关重要的作用。特别是，当软件通过测试和修复缺陷得到验证时，它实现了以过程改进为目标的最大能力成熟度模型集成（CMMI）。在这里，本文提出了一种改进的缺陷检测和预防模型，以提高软件过程遵循XP的方法。此外，作为一个独特的贡献，我们已经统一了能力和测试模型集成，以确保更好的SPI。
2021-07-12 cs.SE
A Framework for QoS of Integration Testing in Satellite Edge Clouds
本文提出一个卫星边缘云集成测试框架，能适应拓扑变化、管理异构集群、定制实验并部署工具，验证了关键QoS指标测试能力。
2024-07-17 cs.SE
Interoperability and Integration Testing Methods for IoT Systems: a Systematic Mapping Study
近年来，物联网（IoT）解决方案在各个领域的积极发展，导致对这些系统的安全性、安全性和可靠性的需求增加。安全和数据隐私是目前最常讨论的话题;然而，其他可靠性方面也需要关注，以保持物联网系统的平稳和安全运行。到目前为止，还没有专门针对物联网系统的互操作性和集成测试主题的系统映射研究;因此，我们在本研究中提出了这样的概述。我们分析了来自四个主要数据库的803篇论文，并进行了详细的评估和质量检查，找到115篇相关论文。此外，最近公布的测试技术和方法进行了分析和分类，在该领域的挑战和局限性也被确定和讨论。本研究提出了与发表时间、活跃研究者和发表媒体有关的研究趋势。研究结果表明，研究主要集中在一般的测试方法，可应用于物联网系统的集成和互操作性测试;因此，有研究机会开发专门针对物联网系统的其他测试方法，使它们在物联网环境中更有效。
2020-07-22 cs.SE
From abstract modelling to remote cyber-physical integration/interoperability testing
一个合适的系统模型可以让开发人员有更好的概览，并且能够在系统开发中更早更有效地修复更多的不一致性，从而减少总体工作量和成本。然而，建模假设系统及其环境的几个方面的抽象，这种抽象不应该被忽视，但在以后的开发阶段适当考虑。这对于远程集成、测试/验证和网络物理系统的制造尤其重要。出于这个原因，我们介绍了一个开发方法的网络物理系统（CPS）的重点是系统表示的抽象层次，基于复杂的，交互式系统的开发思想的基础上。
2014-04-30 cs.SE
Inspection and Test Process Integration Based on Explicit Test Prioritization Strategies
今天的软件质量保证技术通常是孤立应用的。因此，系统地整合不同的质量保证活动所产生的协同作用往往没有得到利用。这样的组合承诺的好处，如减少质量保证工作或更高的缺陷检测率。例如，检查和测试的一体化可用于指导测试活动。例如，测试活动可以根据检查结果集中在容易出现缺陷的部件上。现有的方法预测缺陷倾向的部分不系统地使用检查的结果。本文给出了一个综合的检查和测试方法的概述，并提出了一个初步的案例研究，旨在验证评估方法的研究设计。初步案例研究的初步结果表明，检查和测试一体化可能会产生协同作用，并显示出一种趋势，即可以根据检查结果指导测试活动。
2013-11-25 cs.SE
Spatio-temporal Models for Formal Analysis and Property-based Testing
本文介绍了我们正在进行的工作时空模型的形式化分析和基于属性的测试。我们提出的框架旨在减少正式方法和从业人员之间的阻抗失配。我们介绍了一套正式的方法，并解释他们的相互作用和可用性方面的好处。
2016-12-09 cs.SE
ARTENOLIS: Automated Reproducibility and Testing Environment for Licensed Software
动机：自动测试代码变更是持续集成的一个基本特性。对于开源代码，没有许可的依赖关系，存在各种持续集成服务。基于约束的重建和分析（COBRA）是一套用于计算建模的开源代码，依赖于许可软件。一个新的自动化框架的持续集成在半许可证的环境中需要开发的COBRA社区和相关工具的COBRA。结果如下：ARTENOLIS是一个通用的基础设施软件应用程序，它实现了开源软件与许可依赖项的持续集成。它使用主从框架，在多个操作系统和多个版本的许可软件依赖项上测试代码。ARTENOLIS确保COBRA工具和相关工具中代码的稳定性、完整性和跨平台兼容性。可用性和实施：可通过artenolis.lcsb.uni.lu免费访问持续集成服务器，该服务器是再现性和测试基础设施的核心。持续集成框架代码位于/.ci目录中，位于存储库的根目录下，可在github.com/opencobra/cobratoolbox上免费获得。
2017-12-01 cs.SE
Applications of different metaheuristic techniques for finding optimal tst order during integration testing of object oriented systems and their comparative study
近年来，许多研究人员提出了基于遗传算法的策略，以寻找最优的测试顺序，同时最小化集成测试过程中的存根复杂性。尽管元启发式算法在各种中型到大型优化问题中有广泛的用途[21]，但尚未研究它们在解决类集成测试顺序（CITO）问题中的应用[12]。在这篇研究论文中，我们建议找到一个解决方案，CITO问题的使用基于GA的方法。提出了一种类依赖图（CDG）来描述统一建模语言（UML）类图中类之间的关联、聚集、组合和继承。在我们的方法中，权重被分配给连接节点的CDG的边缘，然后这些权重被用来建模的成本。最后，我们比较和讨论的实证结果，应用我们的方法与现有的基于图和元启发式技术的CITO问题，并突出各种技术的相对优点和缺点。
2014-10-17 cs.SE
What Causes My Test Alarm? Automatic Cause Analysis for Test Alarms in System and Integration Testing
在新的软件开发流程和云中测试的推动下，如今的系统和集成测试往往会产生大量的警报。这样的测试报警对软件测试工程师来说是一个几乎无法承受的负担，他们必须手动分析这些报警的原因。原因是关键的，因为它们决定了哪些利益相关者负责修复测试期间检测到的错误。在本文中，我们提出了一种新的方法，旨在通过自动化的过程来减轻负担。我们的方法，被称为原因分析模型，利用信息检索技术，有效地推断测试报警的测试日志的基础上的原因。我们已经开发了一个原型，并在两个工业数据集上评估了我们的工具，其中包含14，000多个测试警报。在两个数据集上的实验表明，我们的工具分别达到了58.3%和65.8%的准确率，比基线算法高出13.3%。我们的算法也非常高效，每个原因分析花费约0.1秒。由于有吸引力的实验结果，我们的工业合作伙伴，世界领先的信息和通信技术公司，已经部署了该工具，在运行两个月后，它实现了72%的平均准确率，比以前基于正则表达式的策略准确近三倍。
2017-03-02 cs.SE
Formalizing Regression Testing for Agile and Continuous Integration Environments
School Of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
本研究将敏捷与持续集成环境中的持续回归测试形式化为时间有序构建链与回归测试窗口，证明其可退化为经典retest-all，并通过表示两种先进算法验证了形式化的可靠性与完备性。
2025-11-04 cs.SE
Testing Multi-Subroutine Quantum Programs: From Unit Testing to Integration Testing
本文针对多子程序量子程序的测试需求，提出从单元到集成测试的完整测试准则与技术，涵盖IO分析、关系检查、结构及行为测试等，并通过变异体和随机输入验证了方法的有效性。
2024-05-24 cs.SE quant-ph
Compositional Specifications for ioco Testing
基于模型的测试是一种很有前途的黑盒软件和硬件测试技术，其中测试用例是从高层规格自动生成的。如今，系统通常由多个相互作用的组件组成，由于其复杂性，测试在设计过程中占了相当大的一部分工作和成本。利用系统规格说明的组合结构可以大大减少基于模型的测试工作。此外，通过测试系统的各个组件来推断系统的属性，可以让设计人员减少集成测试的数量。本文研究了IOCO-检验理论的合成性质。我们提出了一种新的方法来组成和隐藏操作，基于合同的设计和接口理论的启发。这些操作保留在合成和隐藏下兼容的行为，并删除不兼容的行为。由此产生的规范特征的输入序列的组件的单元测试是足以推断组件集成的正确性，而不需要进一步的测试。我们提供了一种方法，使用这些结果，以尽量减少集成测试的努力，但也发现潜在的弱点规范。虽然我们专注于异步模型和IOCO一致性关系，但由此产生的方法可以应用于更广泛的系统类别。
2019-04-15 cs.SE
Fail Fast - Fail Often: Enhancing Agile Methodology using Dynamic Regression, Code Bisector and Code Quality in Continuous Integration (CI)
敏捷实践作为传统软件开发方法的替代方案，正受到业界的广泛关注。然而，在将敏捷[2]与测试驱动开发（TDD）[10]实践、云部署、持续集成（CI）、不间断性能、负载、安全和可访问测试相结合方面存在许多挑战。在这些挑战中，持续集成是一种在软件测试中被广泛讨论和实践的方法。本文描述了一种在持续集成中使用代码质量、代码平分线和动态回归来改进敏捷方法的方法。用于此分析、设计和开发的工具集是Jenkins、Robot Framework [4]、Perforce和Git。
2015-06-29 cs.SE
Comparative Study of Machine Learning Test Case Prioritization for Continuous Integration Testing
Simula Research Laboratory（西穆拉研究实验室）
越来越多的研究表明，机器学习有潜力解决复杂的软件测试挑战。其中一个挑战与持续集成测试有关，持续集成测试是高度时间约束的，并且会从迭代代码提交和测试运行中生成大量数据。在这样的设置中，我们可以使用大量的测试数据来训练机器学习预测器，以识别能够加速检测代码集成期间引入的回归错误的测试用例。然而，不同的机器学习模型可以具有不同的故障预测性能，这取决于连续集成测试的上下文和参数，例如可用于连续集成周期的可变时间预算，或者用于学习以优先化失败测试用例的测试执行历史的大小。现有的测试用例优先级的研究很少研究这两个因素，这是必不可少的持续集成实践。在这项研究中，我们进行了全面的比较故障预测性能的机器学习方法，在文献中的测试用例优先级任务表现出最好的性能。我们评估的准确性的分类器在预测故障检测测试的连续集成时间预算的不同值和不同长度的测试历史用于训练分类器。在评估中，我们使用来自持续集成实践的真实工业数据集。结果表明，不同的机器学习模型具有不同的性能，用于模型训练的测试历史的大小和不同的时间预算可用于测试用例的执行。我们的研究结果表明，机器学习方法的测试优先级在持续集成测试应仔细配置，以实现最佳性能。
2022-04-22 cs.LG cs.SE
Formal Analysis of Reachability, Infection and Propagation Conditions in Mutation Testing
本文提出一种基于Dijkstra最弱前置条件和rc函数的形式化方法，用于计算变异测试中的RIP条件，并通过四个程序案例验证其适用性。
2024-10-29 cs.SE
DeepOrder: Deep Learning for Test Case Prioritization in Continuous Integration Testing
Simula Research Laboratory（西穆拉研究院）；Cisco Systems（思科系统公司）
持续集成测试是现代软件工程生存周期中的重要步骤。测试优先级排序是通过在每个周期的早期阶段选择能够检测出故障的测试用例来提高持续集成测试效率的一种方法。由于持续集成测试产生大量的测试执行数据，测试历史是测试优先级排序中常用的工件。然而，现有的持续集成的测试优先级技术要么不能处理大量的测试历史，要么是使用有限数量的历史测试周期进行优化。我们发现，这样的限制，可以降低故障检测的有效性优先测试套件。这项工作介绍了DeepOrder，这是一种基于深度学习的模型，它基于回归机器学习。DeepOrder根据任何数量的先前测试周期的测试执行历史记录对测试用例进行排名。DeepOrder根据多个因素学习失败的测试用例，包括测试用例的持续时间和执行状态。我们的实验表明，深度神经网络，作为一个简单的回归模型，可以有效地用于测试用例优先级在持续集成测试。DeepOrder在时间有效性和故障检测有效性方面与行业实践和最先进的方法进行了比较。结果表明，DeepOrder在这两个指标方面优于行业实践和最先进的测试优先级排序方法。
2021-10-14 cs.LG cs.SE
Enabling Automated Integration Testing of Smart Farming Applications via Digital Twin Prototypes
本文提出数字孪生原型方法，通过仿真硬件接口实现智能农业应用（如青贮饲料制作）的自动化集成测试，并支持持续集成与Docker容器持续部署。
2023-11-09 cs.SE
From Temporal Models to Property-Based Testing
本文提出了一个框架，适用于基于属性的测试（PBT）上的时间正式模型。这项工作的目的是帮助软件工程师理解的时间模型，正式提出，并利用正式方法的优势：一个正式的方法的核心时间为基础的结构示意性地翻译为BeSpaceD扩展的Scala程序设计语言。这允许我们拥有一个对应于正式模型的可执行Scala代码，以及执行模型功能的PBT。为了模拟系统的时间特性，在目前的工作中，我们专注于两个形式语言，TLA+和FocusST。
2017-05-29 cs.SE
Towards the integration of formal specification in the Áncora methodology
有一些非正式的方法论，如RUP，OpenUP，敏捷方法论，如SCRUP，XP和技术，如UML提出的那些，它们允许软件开发。软件行业一直在努力开发高质量的软件，因为工程需求并不重要，导致需求规格不佳，软件质量差。为了产生的贡献，规范的要求，本文介绍了一种方法的建议，实施正式的方法的结果的过程中的需求分析的方法Áncora。
2011-11-04 cs.SE
A Formal Approach To Firewalls Testing Techniques
传统的防火墙测试技术被忽视。提出了一种新的形式化方法。最后给出了优化试验程序的建议。
2013-06-08 cs.CR cs.SE
Applying FCA toolbox to Software Testing
软件测试使用各种不同的工具来增强定义被测系统质量的复杂过程。形式概念分析（FCA）为我们提供了从一组对象及其属性导出形式本体的算法。使用FCA可以大大提高测试用例生成的效率。此外，基于FCA的机器学习系统支持回归测试结果的分析。
2015-05-06 cs.SE
Using Formal Specifications to Support Model Based Testing ASDSpec: A Tool Combining the Best of Two Techniques
形式化方法和测试是开发高质量软件的两种重要方法。长期以来，这些方法一直被视为竞争对手，两个社区之间的互动很少。近年来形成了一种新的共识，认为它们更具互补性。在这份报告中，我们提出了一种方法的基础上ASD（分析软件设计）套件的Verum和微软规格资源管理器基于模型的测试（MBT）工具。ASD是一种基于模型的设计方法，可以生成经过验证的软件组件，这些组件可以组合成完整的系统。但是，ASD无法验证现有组件，也无法验证涉及数据传输的复杂组件交互。我们已经开发了一个工具，使我们能够将ASD模型转换为Spec Explorer，使我们能够使用动态测试对软件系统进行更完整的验证，而无需额外的成本和工作。我们证明了这一点，我们的方法应用到工业规模的案例研究。
2014-03-28 cs.SE
No Free Lunch: Research Software Testing in Teaching
本研究探讨将科研软件测试集成到教学中对科研软件的影响，通过体内实验发现该方式能改善文档并减少依赖，但因精力投入大及学生代码知识产权不确定性，学生代码未能直接整合入科研软件。
2024-12-19 cs.SE
PatrIoT: IoT Automated Interoperability and Integration Testing Framework
随着当代物联网（IoT）市场的快速增长，已建立的系统引起了许多关于可靠性和潜在的关键集成缺陷的担忧。在本文中，我们提出了一个PatrIoT框架，旨在提供灵活的支持，以构建一个有效的物联网系统测试床，实现自动化的互操作性和集成测试。该框架允许从纯物理测试平台扩展到模拟环境，使用许多预定义的模块和元素来模拟物联网设备或部分测试基础设施。PatrIoT还包含一组参考示例测试床和几组用于智能街道用例的示例自动化测试。
2021-01-27 cs.NI cs.SE
Bunk8s: Enabling Easy Integration Testing of Microservices in Kubernetes
微服务架构是当今云应用程序的常见选择，因为每个微服务都可以独立修改，替换和扩展。然而，微服务应用程序的复杂性需要自动化测试，重点是服务之间的交互。虽然这可以通过端到端测试来实现，但它们容易出错，脆弱，编写成本高，运行耗时，并且需要部署整个应用程序。集成测试是端到端测试的替代方案，因为它们的测试范围较小，并且需要部署的服务数量明显较少。在云中部署微服务应用程序的事实标准是容器，Kubernetes是使用最广泛的容器编排平台。为了支持Kubernetes中微服务的集成测试，存在Octopus，Istio和Jenkins等工具。然而，这些工具中的每一个要么缺乏关键的功能，要么在引入项目时导致工具环境的复杂性和增长的大幅增加。为此，我们提出了\emph{Bunk8s}，这是一种用于Kubernetes中微服务应用程序集成测试的工具，它克服了这些现有工具的局限性。\emph{Bunk8s}独立于用于编写集成测试的测试框架，独立于所使用的CI/CD基础结构，并支持测试结果发布。\url{https://www.youtube.com/watch?v=e8wbS25O4Bo}提供了一个演示我们工具功能的视频。
2022-07-14 cs.DC cs.SE
Accelerating Continuous Integration with Parallel Batch Testing
本研究针对大规模持续集成成本高的问题，提出DynamicBatching和TestCaseBatching两种并行批量测试方法，经Chrome等数据验证可大幅减少测试机器用量，为资源高效测试提供方案。
2023-08-25 cs.SE
Asynchronous Integration of Real-Time Simulators for HIL-based Validation of Smart Grids
本文针对智能电网系统级验证缺乏跨领域复杂用例测试方法的问题，提出将实时仿真器异步集成到联合仿真环境中，并通过三个实际实现和两个控制示例验证了该方法的有效性。
2023-09-14 cs.SE
Toward Automated Virtual Electronic Control Unit (ECU) Twins for Shift-Left Automotive Software Testing
University of Applied Sciences Esslingen（埃斯林根应用科技大学）；NUVUS GmbH（NUVUS有限公司）
本研究提出一种自动化虚拟ECU双胞胎方法，通过代理驱动的工作流和反馈机制，实现早期软件测试和集成，提升测试的可重复性和安全性。
2026-02-20 cs.SE
A Formal Approach to Network/Distributed Systems Complex Testing
网络/分布式系统的部署对这些系统的复杂测试的程序、工具和方法提出了很高的要求。这项工作提供了一个调查的测试活动，这些系统的标准和实际做法的基础上，基于软件和分布（网络）方面。在此调查的基础上，我们确定正式的测试程序/过程，其中包括这些方面，但不违背这两个方面。下一步，基于对系统开发生存周期的实施阶段的分析，确定这些过程的形式化模型
2015-04-26 cs.DC cs.SE
A Brief Survey of Current Software Engineering Practices in Continuous Integration and Automated Accessibility Testing
本文综述了通过持续集成改善软件无障碍性的现状与采用障碍，并探讨了敏捷团队实施自动化无障碍测试的培训步骤及可视化流程。
2021-02-27 cs.CY cs.HC cs.MM
An IDE Plugin for Gamified Continuous Integration
针对开发者因中断、上下文切换及测试任务趣味性低导致的动力不足问题，研究提出一款IntelliJ插件，将Gamekins的游戏化元素无缝集成到IDE中，减少上下文切换，提升开发者编写测试的动力。
2024-03-06 cs.SE
Formal Analysis of the Contract Automata Runtime Environment with Uppaal: Modelling, Verification and Testing
Formal Methods and Tools Lab, ISTI–CNR, Pisa, Italy（ISTI-国家研究委员会，意大利比萨）
本文基于Uppaal对合同自动机运行环境进行形式化建模、验证与测试，以提升开源分布式应用的可靠性。
2026-03-04 cs.FL cs.SE
Android Instrumentation Testing in Continuous Integration: Practices, Patterns, and Performance
University of Toronto（多伦多大学）；Trent University（特伦特大学）
研究Android持续集成中仪器测试的实践、模式及性能，发现仅10.6%的仓库使用仪器测试，常用社区组件或自定义脚本设置模拟器，不同设置方式在可靠性、效率和成本上有差异。
2026-04-03 cs.SE
Extracting Formal Specifications from Documents Using LLMs for Automated Testing
针对从软件文档中人工提取形式化规约耗时易错的问题，本研究评估了GPT-4o等LLMs的端到端提取能力，并提出“先标注后转换”的两阶段方法，使正确提取数量增加29.2%，最高准确率达71.6%。
2025-04-02 cs.SE
Introducing High School Students to Version Control, Continuous Integration, and Quality Assurance
针对软件工程教学起步晚的问题，本文记录了面向有AP计算机科学基础的高中生设计小组项目，教授版本控制、持续集成等技能，使其能为开源科学计算项目编写有效自动化测试的实践经验。
2023-10-05 cs.SE
An Efficient Black-Box Support of Advanced Coverage Criteria for Klee
动态符号执行（DSE）是一种基于被测程序路径空间探索的强大测试生成方法。这种方法非常适合于路径覆盖，但是对于条件、决策、高级覆盖标准（例如多个条件、弱突变、边界测试）或用户提供的测试目标效率较低。虽然已经提出了使DSE适应大量标准的理论解决方案，但它们从未被集成到公开可用的测试工具中。本文提出了一种先进的覆盖标准的优化测试生成策略到一个流行的开源测试工具DSE的基础上，即Klee的第一个集成。集成是以完全黑盒的方式执行的，因此可以激发轻松集成到其他类似工具中。该工具的最终版本名为Klee4labels，已公开发布。我们提出的设计所提出的技术，并评估它的几个基准。我们的研究结果证实了先进的覆盖标准所提出的工具的好处。
2022-12-23 cs.SE
Compositional Testing For FSM-Based Models
本文的贡献是三方面的：首先，它定义了一个框架，基于组件的系统建模，以及形式化的集成规则，结合他们的行为。这是基于有限状态机（FSM）。其次，它研究了组合一致性测试，即检查由符合条件的组件与集成操作符组合而成的实现是否符合其规范。第三，它表明了全球系统的正确性，可以通过测试的组件，它涉及到它的映射到组件的规格的全球规格。这个结果对于构建充分的测试目的是有用的，以测试考虑到它们插入的系统的组件。
2014-06-11 cs.FL cs.SE
Integration of an Agent Model into an Open Simulation Architecture for Scenario-Based Testing of Automated Vehicles
Institute for Automotive Engineering, RWTH Aachen University（汽车工程研究所，亚琛工业大学）
本文提出一种标准化模块化仿真架构，用于在不同仿真环境中集成交通代理模型，通过Open Simulation Interface和Functional Mock-up Interface实现跨平台一致性验证。
2026-05-13 cs.RO cs.SE
Scalable and Accurate Test Case Prioritization in Continuous Integration Contexts
针对持续集成中回归测试耗时且现有机器学习TCP技术评估不足的问题，提出一种捕获CI数据源的模型，定义综合特征集，并在25个开源系统上收集数据，全面评估了基于ML的TCP的有效性及权衡。
2022-04-05 cs.SE
An Entry Point for Formal Methods: Specification and Analysis of Event Logs
形式化规约语言由于完备验证方法所面临的严重的可扩展性问题而长期处于停滞状态。可扩展性验证承诺使用正式的规范来自动化部分更可扩展的测试艺术，但尚未广泛应用于实际系统，并且由于在线监控仪器的成本和复杂性而经常动摇。在本文中，我们将讨论正在进行的工作，应用基于事件的规范系统的日志机制的火星科学实验室在喷气推进实验室的任务。通过专注于日志分析，我们利用“仪器”已经实现，并与航天器进行通信所需的。我们认为，这项工作既显示了一个实用的方法，使用正式的规格测试，并打开有趣的研究途径，包括一个具有挑战性的规格学习问题。
2010-03-08 cs.SE
Accessibility Metatesting: Comparing Nine Testing Tools
通过用九种无障碍测试工具测试121个网页，发现各工具高度互补且重复率低，证明同时使用全部工具比任何子集都能发现更多问题。
2023-04-15 cs.HC cs.SE
Formal Scenario-Based Testing of Autonomous Vehicles: From Simulation to the Real World
University of California, Santa Cruz（加州大学圣克鲁兹分校）；American Automobile Association (AAA) of Northern California, Nevada & Utah (NCNU)（北加州、内华达和犹他州美国汽车协会）；LG Electronics America R&D Lab（LG电子美国研发实验室）；University of California, Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来自动测试自动驾驶汽车的安全性，特别是那些使用先进的基于人工智能的组件，跨越基于模拟的评估以及在现实世界中的测试。我们的方法是基于形式化的方法，结合正式规范的情况下，安全属性，算法的测试用例生成使用正式的模拟，测试用例的轨道测试，测试用例的选择，在轨道上执行测试用例，并分析所产生的数据。在工业测试设施中进行的真实自动驾驶汽车实验支持我们的假设，即（i）正式模拟可以有效地识别在轨道上运行的测试用例，以及（ii）可以系统地评估和弥合模拟世界和真实世界之间的差距。
2020-07-12 cs.LG cs.LO cs.SE
WIP: Assessing the Effectiveness of ChatGPT in Preparatory Testing Activities
本研究在Capstone课程中评估ChatGPT生成准备性测试制品的有效性，发现其能自动化多数任务但无法完全替代人类，建议逐步将AI引入软件测试教育。
2025-03-05 cs.AI cs.SE
A Formal TLS Handshake Model in LNT
网络服务的测试是网络安全中最大的挑战之一。由于新的漏洞经常被发现，因此需要进行更多的研究。这些错误的根源在于软件开发周期或系统规范中的内在漏洞。一致性测试检查系统是否按照其规范运行。在这里，基于模型的测试提供了几种自动检测缺陷的方法。系统行为的形式规格说明代表了测试过程的起点。在本文中，一个广泛使用的密码协议的规定和测试的一致性测试执行框架。第一个经验的结果，并进行了讨论。
2018-03-27 cs.CR cs.SE
Integration of Formal Proof into Unified Assurance Cases with Isabelle/SACM
通常需要保证案例来验证关键系统。在保证中使用形式化方法可以提高自动化程度，增加可信度，并克服错误的推理。然而，保证案例永远不能完全形式化，因为正式方法的使用取决于由非正式过程验证的模型。因此，保证技术应该支持正式和非正式的工件，并在它们之间建立明确的推理联系。在本文中，我们贡献了一个正式的机器检查的交互式语言，称为Isabelle/SACM，支持计算机辅助建设符合OMG结构化保证案例元模型的保证案例。Isabelle/SACM的使用保证了保证案例的格式良好、一致性和可追溯性，并允许各种来源的正式和非正式证据的紧密集成。特别是，Isabelle带来了各种可以提供证据的自动验证技术。为了验证我们的方法，我们提出了一个基于Tokeneer安全进入系统基准的大量案例研究。我们将其功能规范嵌入到Isabelle中，验证其安全需求，并在Isabelle/SACM中形成一个模块化的安全案例，该案例结合了异构工件。因此，我们表明，伊莎贝尔是一个合适的平台，关键系统保证。
2020-09-25 cs.LO cs.SE
A Formal Model to Facilitate Security Testing in Modern Automotive Systems
确保汽车的内部系统没有安全漏洞是至关重要的，特别是由于安全性和其他属性之间的关系，如安全性和可靠性。我们提供了一个基于模型的框架，旨在支持现代汽车的安全测试的起点。我们使用通信顺序进程（CSP）创建的车辆总线系统的架构模型，以及对这些系统的攻击的初始设置。虽然这一贡献是初步的步骤，我们注意到生成测试代码的最终目标，以行使车辆总线系统的安全性。我们提出了从创建的模型前进的方向，并考虑其与商业工程工具的潜在集成
2018-05-15 cs.CR cs.SE
ASSURE: Metamorphic Testing for AI-powered Browser Extensions
Xi'an Jiaotong University（西安交通大学）；University of Massachusetts at Amherst（马萨诸塞大学阿姆赫斯特分校）
针对AI浏览器扩展测试难题，提出模块化自动化蜕变测试框架ASSURE，通过生成测试用例、协调交互和验证一致性，在六个扩展中识别531个问题，吞吐量提升6.4倍。
2025-07-07 cs.AI cs.SE
Making Embodied AI Reliable: A Community Agenda from Testing to Formal Verification
University of Waterloo（滑铁卢大学）；Universityinceton University（普林斯顿大学）
本文基于AAAI'26 Bridge Program讨论，提出通过集成测试、形式验证和运行时保证的神经符号方法，解决具身AI在开放世界中的生命周期可靠性问题。
2026-06-02 cs.RO cs.SE
Formal Model Guided Conformance Testing for Blockchains
针对多客户端区块链协议实现语义不匹配易引发分裂与攻击、现有临时测试一致性保障不足的问题，提出结合协议形式化模型与确定性模拟器中实现的双互补工作流一致性测试框架，可检测所有违规类型，已在工业级共识协议上验证实用性。
2025-01-18 cs.CR cs.LO cs.SE
Loop unrolling: formal definition and application to testing
针对循环导致测试覆盖率受限的问题，本文给出循环展开的形式化定义与性质并完成机械化验证，将该策略应用于自动化测试框架，评估了其提升缺陷检测能力的效果，为其成为测试标准环节提供了初步依据。
2025-02-21 cs.ET cs.LO cs.SE
Multiple Analyses, Requirements Once: simplifying testing & verification in automotive model-based development
在基于工业模型的开发（MBD）框架中，通常使用文本描述非正式地指定需求。为了使正式方法的应用，这些规格需要正式的输入语言的所有正式工具，应适用于分析模型在不同的发展水平。在本文中，我们提出了一个统一的方法，计算机辅助的正式规格说明的要求和他们的完全自动化翻译成规约语言的不同的验证工具。我们考虑一个两阶段的MBD方案，第一个Simulink模型的开发，自动生成可执行代码。我们（i）提出了一种规约语言和一个原型工具，用于正式但仍然是文本的需求规范，（ii）展示了如何将这些需求自动转换为Simulink Design Verifier的输入语言，用于验证Simulink模型和BTC EmbeddedValidator的源代码验证，以及（iii）展示了我们的统一框架如何在自动化形式化验证之外还实现测试用例的自动化生成。
2019-06-17 cs.LO cs.SE
A Formal Assisted Approach for Modeling and Testing Security Attacks in IoT Edge Devices
随着物联网设备数量的快速增长，这些系统的安全性成为一个主要问题。由于这些设备资源有限，安全措施难以在边缘实施。我们提出了一种基于形式化建模和突变测试的物联网设备攻击检测新方法。也就是说，我们将运动传感器和RFID阅读器等小型物联网设备的行为建模为具有超时的状态机。我们还对基本的物联网攻击进行了建模，即电池耗尽、睡眠剥夺、数据伪造、重放和中间人攻击，作为这些规范的特殊突变体。我们还考虑用于检测实际物理设备操作的测试。然后使用突变测试来导出将这些攻击与原始规范区分开的测试。通过对这些突变体进行测试，在真实环境中测试它们的行为。我们的实验表明，派生的攻击突变体和测试的数量是小的，因此这些测试可以执行多次，在物理设备上的开销有限。因此，我们的方法不会受到传统突变检测相关高成本的阻碍。此外，我们还表明，通过我们的方法得出的测试覆盖了所有物联网攻击，但没有提供使用传统的基于突变代码的算子得出的突变体的良好覆盖率，这表明需要使用我们的方法。一个框架，实现我们的方法，以及其他一些相关的案例研究。
2022-10-11 cs.CR cs.SE
