Towards the Automation of Metamorphic Testing in Model Transformations
模型转换是模型驱动工程的基石，并提供了操纵和转换模型的基本机制。检查模型转换的输出是否正确是一项手动且容易出错的任务，这在软件测试文献中被称为Oracle问题。模型转换程序的正确性对于正确生成其输出至关重要，因此应对其进行测试。变形测试是一种缓解预言问题的测试技术，它利用被测程序的不同输入和输出之间的关系，即所谓的变形关系。在本文中，我们给出了一个洞察我们的方法来一般定义模型转换的变形关系，它可以自动实例化给定任何特定的模型转换。
2018-04-30 cs.SE
Enabling Cost-Effective UI Automation Testing with Retrieval-Based LLMs: A Case Study in WeChat
针对工业级UI自动化测试的成本与知识局限问题，本研究提出结合RAG、机器学习与LLM的CAT框架，在微信数据集上实现90%测试成功率且成本仅0.34美元，已落地检测141个bug。
2024-09-12 cs.SE
Adaptive Automation: Leveraging Machine Learning to Support Uninterrupted Automated Testing of Software Applications
使用自动化软件工具检查软件应用程序的适用性已成为大多数组织的一个重要因素，无论他们是生产内部软件还是简单地定制现成的软件应用程序供内部使用。随着软件解决方案变得越来越复杂，行业越来越依赖于软件自动化工具，但可用软件自动化工具的脆弱性限制了它们的有效性。公司在获得和实现自动化软件方面投入了大量资金，但当维护有效的自动化测试套件的成本超过手动测试所花费的成本和时间时，大多数工具都无法交付。当前一代软件自动化工具的一个缺点是，它们不能在没有频繁（和时间昂贵）的手动干预的情况下适应意外的修改和障碍。这些问题在行业从业者中是公认的，但目前这一代工具都没有利用机器学习和人工智能的进步来解决这些问题。本文提出了一个框架解决方案，利用机器学习的概念，即模糊匹配和错误恢复。建议的解决方案应用自适应技术来从意外的障碍中恢复，否则这些障碍会阻止脚本继续执行。恢复细节在报告中呈现给用户，可以分析该报告以确定恢复程序是否可接受，并且框架将根据用户的决定调整未来的运行。使用这个框架，从业者可以在没有人为干预的情况下运行自动化套装，同时最大限度地降低了时间表延迟的风险。
2015-08-04 cs.SE
AppIntent: Intuitive Automation Specification Framework for Mobile AppTesting
移动应用程序的激增和移动应用程序发布时间的缩短要求更快、更有效地测试移动应用程序及其GUI和功能。尽管如此，仍然有各种各样的开源工具和框架被开发来为测试移动应用程序提供自动化测试基础设施。这些自动化工具中的每一个都支持不同的脚本语言来自动化应用程序测试。这些框架从根本上缺乏直接捕获用户意图的能力，这些用户意图有效地测试移动应用及其跨应用功能和性能，而不必担心与每个工具相关联的低级脚本语言。因此，为了解决这一限制，我们提出了一种基于意图的高级自动化规约语言和API，其可以有效地解决以下方面：（i）使用直观自动化规约语言捕获要被捕获为高级意图的测试自动化步骤，以及（ii）提供框架支持以有效地捕获用户行为模式，从而有效地测试应用。我们开发的AppIntent是一个基于高级自动化规约语言的框架，它使用高级和直观的语言直接捕获多个应用程序中和跨多个应用程序的测试自动化意图，而无需担心如何实际开发自动化脚本。
2018-10-12 cs.PL cs.SE
PROMISE: Proof Automation as Structural Imitation of Human Reasoning
Yonsei University（延世大学）
PROMISE通过结构化嵌入框架实现证明生成自动化，通过挖掘证明状态的结构模式提升大规模定理证明的可扩展性。
2026-04-09 cs.LO cs.SE
umd-verification: Automation of Software Validation for the EGI federated e-Infrastructure
在EGI e-Infrastructure中支持e-Science需要广泛而可靠的软件，用于高级计算用途，部署在大约300个欧洲和全球数据中心。统一中间件分发（UMD）和云中间件分发（CMD）是为EGI电子基础设施消费提供软件的渠道。软件按照软件供应过程（SWPP）进行编译、确认和分发，其中质量标准（QC）定义设定了EGI验收的最低质量要求。目前UMD和CMD发行版中存在的软件组件越来越多，阻碍了传统的基于手动的验证机制的应用，从而推动了自动化解决方案的采用。本文介绍了umd验证，一个开源的工具，强制执行的QC要求，在一个自动化的方式为科学处置的软件产品的持续验证的履行。UMD验证工具已成功集成到SWPP管道中，并逐步支持UMD和CMD存储库中产品的全面验证。虽然支持新产品的成本取决于基础设施即代码解决方案的可用性，以接管部署和高测试覆盖率，但已经集成的产品所获得的结果是有希望的，因为产品验证所投入的时间已经大大减少。此外，自动化的采用为流程的可靠性带来了好处，例如消除了与人为相关的错误或先前测试功能的回归风险。
2018-07-30 cs.SE
SEAByTE: A Self-adaptive Micro-service System Artifact for Automating A/B Testing
微服务是当今软件开发的常见架构方法。开发微服务系统不可或缺的工具是A/B测试。在A/B测试中，两个变量A和B被应用于实验环境中。通过测量评估标准的结果，开发人员可以做出基于证据的决策来指导他们的软件的发展。最近的研究强调，需要提高自动化时，这样的实验进行迭代。为此，我们贡献了一个新的工件，旨在提高依赖于自适应原则的微服务系统的实验管道的自动化。具体来说，我们提出了SEAByTE，一个实验框架，用于测试新的自适应解决方案，以提高基于微服务的系统的连续A/B测试的自动化。我们用一个具体的例子来说明SEAByTE工件的使用。
2022-04-04 cs.SE
Multiple Analyses, Requirements Once: simplifying testing & verification in automotive model-based development
在基于工业模型的开发（MBD）框架中，通常使用文本描述非正式地指定需求。为了使正式方法的应用，这些规格需要正式的输入语言的所有正式工具，应适用于分析模型在不同的发展水平。在本文中，我们提出了一个统一的方法，计算机辅助的正式规格说明的要求和他们的完全自动化翻译成规约语言的不同的验证工具。我们考虑一个两阶段的MBD方案，第一个Simulink模型的开发，自动生成可执行代码。我们（i）提出了一种规约语言和一个原型工具，用于正式但仍然是文本的需求规范，（ii）展示了如何将这些需求自动转换为Simulink Design Verifier的输入语言，用于验证Simulink模型和BTC EmbeddedValidator的源代码验证，以及（iii）展示了我们的统一框架如何在自动化形式化验证之外还实现测试用例的自动化生成。
2019-06-17 cs.LO cs.SE
Machines that test Software like Humans
自动化的软件测试包括由机器执行测试脚本，而不是手动运行。这大大减少了所需的手动时间和工作量，因此对软件测试行业非常感兴趣。已经开发了各种工具来自动化测试Web应用程序（例如Selenium WebDriver）;然而，测试自动化的实际应用仍然很少。这是由于创建和维护自动化脚本的复杂性。现有方法的关键问题是自动化测试脚本需要被测应用（AUT）的某些实现细节（例如，web元素的html代码或web元素的图像）。另一方面，如果我们看一下手工测试的方式，测试人员解释文本测试脚本，并纯粹基于他通过GUI视觉感知的内容与AUT交互。在本文中，我们提出了一种方法来建立一个机器，可以模仿人类的行为，软件测试使用计算机视觉的最新进展。我们还提出了四个用例，说明这种方法如何显着推进测试自动化空间，使测试自动化足够简单，可以实际采用。
2018-09-25 cs.SE
Tapir: Automation Support of Exploratory Testing Using Model Reconstruction of the System Under Test
对于相当数量的软件项目，有效的测试用例的创建受到设计文档的阻碍，这些文档要么缺乏，要么不完整，要么过时。在这种情况下，探索性测试方法可以作为一种可靠的方法。然而，这种测试方法的效率在很大程度上取决于方法、系统中已探索部分的文档、团队中各个测试人员之间的工作组织和分配，以及执行测试中潜在（非常可能）重复的最小化。在本文中，我们提出了一个框架，取代和自动化的一部分，这些任务。在探索性测试过程中，通过跟踪测试人员的活动，逐步重建被测系统的基于屏幕流的模型。通过附加的元数据，该模型为测试人员提供了自动导航过程。与探索性测试方法相比，这是手动进行的两个案例研究中，建议的框架允许测试人员探索更大程度的测试系统，并使更大的检测系统中存在的缺陷。结果表明，框架的支持提高了测试过程的时间效率。这种效率可以通过在所提出的框架内实施的基于团队的导航策略来提高，本文提出的另一个案例研究记录了这一点。
2018-02-22 cs.SE
K model for designing Data Driven Test Automation Frameworks and its Design Architecture Snow Leopard
自动化测试提高了组织中各个项目级别的测试实践的效率。不幸的是，我们没有一个通用的架构或通用的标准来设计跨不同测试级别、项目和测试工具的框架，以帮助开发人员、测试人员和业务分析人员。为了解决上述问题，在本文中，我首先提出了一个独特的参考模型，然后使用所提出的模型设计任何数据驱动自动化框架的设计架构。参考模型是K模型，可用于对任何数据驱动的自动化框架进行建模。独特的设计架构，基于上述模型是雪豹。
2013-04-19 cs.SE
Breaking Barriers in Software Testing: The Power of AI-Driven Automation
MUFG Bank（三菱日联银行）；Cisco Systems Inc（思科系统公司）
本文提出一个融合 NLP、强化学习与预测模型的 AI 驱动测试框架，将需求自动转化为可执行测试并持续优化，实现从手动测试向主动自适应测试的转变，提升缺陷检测效率与软件可靠性。
2025-08-22 cs.AI cs.SE
Enhancing Large Language Models with Retrieval Augmented Generation for Software Testing and Inspection Automation
Department of Computer Science University of Colorado Colorado Springs (UCCS)（科罗拉多大学科罗拉多斯普林斯分校计算机科学系）；Smith College（史密斯学院）
本文通过检索增强生成方法提升大型语言模型在软件测试和检查自动化中的应用，有效减少项目成本并提高验证与确认活动的效果和效率。
2026-04-16 cs.SE
Automation Slicing and Testing for in-App Deep Learning Models
配备了应用内深度学习（DL）模型的智能应用（iApps）正在兴起，以提供稳定的DL推理服务。然而，应用程序市场在自动测试iApps方面遇到了麻烦，因为应用程序内模型是黑盒的，并且与普通代码相结合。在这项工作中，我们提出了一个自动化工具，ASTM，它可以实现大规模的应用程序模型测试。ASTM将iApps作为输入，输出可以取代应用内模型作为测试对象。ASTM提出了两种重建技术，将应用程序内模型转换为支持反向传播的版本，并重建用于DL推理的IO处理代码。在ASTM的帮助下，我们对100个独特的商业应用内模型的鲁棒性进行了大规模研究，发现56%的应用内模型在我们的环境中容易受到鲁棒性问题的影响。ASTM还检测到针对三个代表性iApp的物理攻击，这些攻击可能导致经济损失和安全问题。
2022-05-15 cs.CR cs.SE
Toward Practical Deductive Verification: Insights from a Qualitative Survey in Industry and Academia
ETH Zurich（苏黎世联邦理工学院）
本文通过调研工业和学术界验证从业者，探讨了演绎验证成功应用的关键因素及阻碍其广泛采用的障碍，并提出改进可用性、自动化和工作流程集成的建议。
2026-01-23 cs.SE
When Code Becomes Abundant: Redefining Software Engineering Around Orchestration and Verification
Institute of Informatics, UFRGS（信息学研究所，南里奥格兰德联邦大学）
本文提出软件工程应从代码构建转向以意图表达、架构控制和验证为核心，重新定义软件工程的学科方向。
2026-02-04 cs.SE
AI-powered software testing tools: A systematic review and empirical assessment of their features and limitations
本研究通过系统性回顾55种AI测试自动化工具并对2种代表性工具进行实证评估，发现AI工具能提升测试效率与减少维护，但仍存在处理复杂UI变化等局限，需进一步优化。
2025-05-01 cs.SE
One evaluation of model-based testing and its automation
基于模型的测试依赖于行为模型来生成模型跟踪：实现的输入和预期输出-测试用例。我们使用的汽车网络控制器的案例研究，以评估不同的测试套件的错误检测，模型覆盖率和实现覆盖率。这些套件中的一些是自动生成的，有模型和没有模型，纯粹是随机的，并有专门的功能测试选择标准。其他套件是手动导出的，有或没有手头的模型。自动和手动派生的基于模型的测试套件检测到显着更多的需求错误比手工制作的测试套件，直接从需求。检测到的编程错误的数量并不取决于模型的使用。自动生成的基于模型的测试套件检测到的错误与手工制作的基于模型的套件检测到的错误一样多。基于模型的测试数量增加了六倍，导致检测错误增加了11%。
2017-01-24 cs.SE
A framework for the automation of testing computer vision systems
Graz University of Technology（格拉茨理工大学）；Christian Doppler Laboratory for Quality Assurance Methodologies for Autonomous Cyber-Physical Systems（自主信息物理系统质量保证方法克里斯蒂安·多普勒实验室）
视觉系统，即，允许检测和跟踪图像中的对象的系统在过去几十年中已经变得非常重要。它们用于质量保证应用，例如，用于在制造、监控过程中发现产品的表面缺陷，以及需要可靠行为的自动驾驶。有趣的是，在质量保证方面的工作很少，特别是一般的视觉系统测试。在本文中，我们有助于测试视觉软件的领域，并提出了一个框架，自动生成的测试系统的基础上视觉和图像识别。该框架利用现有的库，允许修改原始图像，并获得原始图像和修改后的图像之间的相似性。我们展示了如何使用这样的框架来测试一个特定的工业应用程序，识别缺陷的脊状表面和目前的初步结果，从图像分类域。
2021-05-10 cs.CV cs.SE
Proceedings Fourth International Workshop on Testing, Analysis and Verification of Web Software
本卷包含在第四届国际软件测试、分析和验证研讨会上提交的论文，该研讨会与第25届IEEE/ACM自动化软件工程国际会议（ASE 2010）有关。论文集包括形式规格说明，模型检查，测试和Web软件调试的研究。
2010-09-17 cs.FL cs.LO cs.PL
A Deep Learning Framework for Verilog Autocompletion Towards Design and Verification Automation
KU Leuven（鲁汶大学）；Interuniversity MicroElectronics Centre (IMEC)（校际微电子中心（IMEC））
本文提出融合通用编程语言预训练模型并在 Verilog 数据集上微调的深度学习框架，用于 Verilog 代码自动补全，实验显示其多项指标显著优于从零训练模型。
2023-06-07 cs.LG cs.SE
Estimating Return on Investment for GUI Test Automation Tools
自动化的图形用户界面（GUI）测试可以减少手动测试活动并增加测试频率。这促使了手工测试用例向自动化GUI测试的转换。然而，考虑到GUI自动化脚本添加到代码库并且随着系统的发展需要维护，这种自动化是否具有成本效益还不清楚。在本文中，我们介绍了一种方法，估计维护成本和投资回报率（ROI）的自动GUI测试（AGT）。该方法利用现有的源代码更改历史，并可用于评估其他测试或质量保证自动化技术。我们评估了一个真实世界的方法，工业软件系统，并比较两个根本不同的AGT工具，即硒和EyeAutomate，估计和比较他们的投资回报率。我们还报告了它们的缺陷发现能力和可用性。定量数据还得到了对案例公司员工的采访的补充。该方法被成功地应用和估计的维护成本和投资回报率为这两种工具的报告。总体而言，该研究支持早期的结果表明，实施时间是引入AGT的主要成本。研究结果进一步表明，虽然EyeAutomate测试的实现速度明显更快，但Selenium测试需要更多的编程背景，但维护较少。
2019-11-01 cs.SE
A Survey of Analysis Methods for Security and Safety verification in IoT Systems
物联网（IoT）在过去几年中在所有生活学科中迅速发展。物联网为不同领域的用户提供自动化和智能控制，如家庭自动化、医疗保健系统、汽车等。鉴于连接的物联网设备数量巨大，这种增长导致其环境中相当大的物联网应用程序之间的大量自动交互，使物联网应用程序更智能，用户更愉快。但是，物联网应用程序的一些不可预见的交互和任何潜在的恶意行为都可能对其用户造成严重的不安全和不安全后果，主要是非专家，他们缺乏关于物联网自动化过程潜在影响的必要知识。在本文中，我们研究了物联网系统的安全性和安全验证问题。我们调查了利用程序分析来验证物联网应用程序的安全性和安全属性的技术。该研究提出了一套分类和分类属性，以提高我们对这一领域的研究景观的理解。此外，我们还讨论了调查工作中考虑的主要挑战以及可以采用的潜在解决方案，以确保物联网系统的安全性。
2022-03-03 cs.CR cs.SE
Some approximations in Model Checking and Testing
模型检验和测试是两个具有相似目标的领域：验证系统是否满足属性。他们从系统的不同假设开始，并开发了许多具有不同近似概念的技术，当精确的验证可能在计算上太难时。本文介绍了近似的概念及其逻辑和统计背景，并由此引出了几种模型检验和测试技术：有界模型检验、近似模型检验、近似黑盒检验、近似基于模型的测试和近似概率模型检验。所有这些方法都保证了验证的质量和效率。
2013-04-16 cs.LO cs.SE
Formal Modelling, Testing and Verification of HSA Memory Models using Event-B
HSA基金会已经制定了HSA平台系统架构规范，该规范在解决明确和一致的方法来指定弱一致内存的需求方面有很大的帮助。HSA是用自然语言指定的，这使得它对多种模糊的解释开放，并且可能在硬件和软件中实现它时出现错误。在本文中，我们提出了一个形式化的HSA模型，可用于并发软件应用程序的开发和验证，以及在开发和验证的HSA兼容平台本身。我们使用Event-B语言来建立一个可证明正确的层次结构的模型，从最抽象的HSA接近实现级别的详细细化。我们的内存模型是通用的，因为它们代表了任意数量的主机，程序和指令交织。我们使用精化来推理这样的一般模型。使用罗丹工具，我们能够建模和验证整个层次的模型使用证明，以建立每个细化是正确的。我们定义了一个自动化的验证方法，使我们能够测试模型的基线符合性对一套已发布的HSA石蕊测试。一旦我们完成了模型验证，我们开发了一个覆盖率驱动的方法，从事件B模型和用户指定的覆盖率模型中提取更丰富的测试集。这些测试用于硬件和软件系统的广泛回归测试。我们的方法的细化为基础的正式建模，基线符合性测试的模型和覆盖率驱动的测试提取使用单一的语言的事件-B是一种新的方式来解决所面临的一个关键挑战的设计和验证的多核系统。
2016-05-16 cs.LO cs.SE
Maintenance of Automated Test Suites in Industry: An Empirical study on Visual GUI Testing
验证与确认（Verification and Validation，V&V）活动在实践中占软件系统总开发成本的20%到50%。测试自动化被提出来降低这些V&V成本，但现有的研究只提供了有限的经验数据，从工业实践中的维护成本的自动化测试和影响这些成本的因素。特别是，这些成本和因素对于基于GUI的自动化测试是未知的。目的：本文通过分析与工业实践中基于GUI的自动化测试维护相关的成本和因素，解决了这种知识的缺乏。方法：在两个公司，西门子和萨博，实证研究报告的采访，和实证工作，可视化GUI测试进行获取数据的技术的维护成本和可行性。结果：观察到13个因素，影响维修，如测试人员的知识/经验和测试用例的复杂性。此外，统计分析表明，开发新的测试脚本比维护成本更高，但频繁的维护比不频繁的大爆炸维护成本更低。此外，成本模型，在以前的工作的基础上，提出了估计的时间，以积极的投资回报率（ROI）的测试自动化相比，手动测试。结论：它的结论是，测试自动化可以降低一个项目的整体软件开发成本，同时也对软件质量有积极的影响。然而，维护成本仍然是相当可观的，公司目前花在手动测试上的时间越少，在自动化之后达到积极的、经济的ROI之前需要的时间就越多。
2016-02-03 cs.SE
Morphy: A Datamorphic Software Test Automation Tool
Oxford Brookes University（牛津布鲁克斯大学）；Nanjing University of Science and Technology（南京理工大学）
本文提出了一种自动化工具Morphy的数据变形测试。它将软件测试工件分为测试实体和测试态射，它们是测试实体上的映射。除了数据态射、变形和种子测试用例生成器之外，Morphy还使用了一组其他测试态射，包括测试用例度量和过滤器、测试集度量和过滤器、测试结果分析器和测试执行器来实现测试自动化。特别是，基本的测试活动可以通过调用测试态射来自动化。测试策略可以实现为测试态射的复杂组合。测试过程可以通过记录、编辑和播放调用测试态射和策略的测试脚本来自动化。三种类型的测试策略已实施Morphy：数据变形组合策略，集群边界探索策略和测试集优化策略，通过遗传算法。本文重点研究了数据形态组合策略，给出了数据形态组合策略的定义和实现算法。本文还通过三个案例研究说明了它们在测试传统软件和人工智能应用程序方面的用途。
2019-12-20 cs.AI cs.SE
GenIA-E2ETest: A Generative AI-Based Approach for End-to-End Test Automation
针对现有大语言模型测试生成方案多聚焦单元测试、难以覆盖端到端测试需求的问题，提出GenIA-E2ETest方法，可基于自然语言自动生成可执行端到端测试脚本，在两个Web应用上验证了其有效性，能减少人工工作量。
2025-10-01 cs.SE
Differential Testing of a Verification Framework for Compiler Optimizations (Experience Paper)
我们希望验证GraalVM编译器中优化阶段的正确性，该编译器由数千行执行复杂图形转换的复杂Java代码组成。我们已经建立了高层次的数据结构和操作的代码使用Isabelle/HOL定理证明器的模型，并可以正式验证这些高层次的操作的正确性。但剩下的挑战是：我们如何确保这些高级操作准确地反映Java正在做的事情？本文通过应用几种不同类型的差异测试来验证形式模型和Java代码具有相同的语义来解决这个问题。这些验证技术中的许多应该适用于其他正在构建真实代码的正式模型的项目。
2022-12-04 cs.LO cs.PL cs.SE
STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation
Lamar University（拉马尔大学）
针对IEC 61131-3结构化文本程序缺乏公开变异测试基准的问题，构建了包含108个一阶变异体的数据集STMutants，涵盖七类变异算子，并评估了三个大语言模型在测试套件生成和变异检测中的性能。
2026-06-03 cs.SE
Hybrid Intelligent Testing in Simulation-Based Verification
University of Bristol（布里斯托大学）；Infineon Technologies（英飞凌科技）
基于仿真的硬件验证的高效和有效的测试是具有挑战性的。使用受约束的随机测试生成，可能需要数百万个测试来实现覆盖目标。绝大多数测试对覆盖进度没有贡献，但是它们消耗了验证资源。在本文中，我们提出了一种混合智能测试方法相结合的两种方法，以前被单独对待，即覆盖率导向的测试选择和新颖性驱动的验证。覆盖导向测试选择从覆盖反馈中学习，以使测试偏向最有效的测试。新颖性驱动验证学习识别和模拟与以前的刺激不同的刺激，从而减少模拟的数量并提高测试效率。我们讨论了每种方法的优势和局限性，我们展示了我们的方法如何解决每种方法的局限性，从而实现高效和有效的硬件测试。
2022-10-16 cs.AI cs.AR cs.LG
Why3-py: A Tool for Formal Verification of Hypothesis Testing and Meta-Analysis in Python
National Institute of Advanced Industrial Science and Technology（国家工业科学与技术研究院）
针对科研可重复性危机，提出Python统计程序形式验证框架。介绍Why3-py，将Python程序转为WhyML表示，还扩展StatWhy工具，可助用户识别假设及分析误用，验证程序正确性。
2026-09-22 cs.AI cs.LO cs.PL
Testing, Evaluation, Verification and Validation (TEVV) of Digital Twins: A Comprehensive Framework
本文针对数字孪生在决策中日益重要的作用，提出一个覆盖测试、评估、验证与确认（TEVV）的综合框架，以系统应对其准确性、可靠性和伦理实施方面的独特挑战。
2025-07-06 cs.SE
Property-based Code Slicing for Efficient Verification of OSEK/VDX Operating Systems
测试是工业中事实上的验证技术，但由于其乐观的不完整性，不足以识别细微的问题。另一方面，模型检验是一种强大的技术，支持全面性，因此适合于安全关键系统的验证。然而，它通常需要更多的知识和成本比测试。这项工作试图利用这两种技术来实现集成和有效的验证OSEK/VDX为基础的汽车操作系统。我们提出了基于属性的环境生成和模型提取技术，使用静态代码分析，它可以应用于模型检验和测试。该技术是自动化的，并适用于基于OSEK/VDX的汽车操作系统，蹦床。使用随机测试和模型检验的比较实验验证的断言在蹦床内核代码显示我们的环境生成和抽象的方法可以用于有效的故障检测。
2013-01-01 cs.SE
Bayesian Sequential Verification for Budget-Aware Quantum Program Testing
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文提出一种基于预算的量子程序测试方法，通过贝叶斯假设检验流程减少测量成本，适用于高成功概率的量子程序。
2026-05-15 cs.SE quant-ph
Unit verification procedure as a test of real time messaging-based processes
本文介绍了与安全关键医疗器械测试相关的博士研究的第一批结果：匈牙利医疗器械制造商系统执行的案例研究。本文简要介绍了目前正在使用的测试过程。强调了软件行业中不太常用的测试方法的元素。案例研究中实际测试过程的终点是进一步研究的起点：测试结果的自动化分析。作者开始开发一种新的方法，使用工具的组合，并建模一个基于模型的测试生成工具-这是既新颖又密集的研究领域。
2014-04-27 cs.SE
Formal Analysis of the Contract Automata Runtime Environment with Uppaal: Modelling, Verification and Testing
Formal Methods and Tools Lab, ISTI–CNR, Pisa, Italy（ISTI-国家研究委员会，意大利比萨）
本文基于Uppaal对合同自动机运行环境进行形式化建模、验证与测试，以提升开源分布式应用的可靠性。
2026-03-04 cs.FL cs.SE
Designing and Implementing Robust Test Automation Frameworks using Cucumber BDD and Java
本文提出基于Cucumber BDD和Java的健壮测试自动化框架，通过模块化架构和自然语言语法提升沟通与可维护性，实证表明能减少手动测试并增强缺陷检测与软件可靠性。
2025-05-22 cs.SE
A Survey of Static Formal Methods for Building Dependable Industrial Automation Systems
工业自动化系统（IAS）需要高度可靠;它们不仅应该按预期运行，而且还应该以可靠，安全和安全的方式运行。形式化方法是一种数学技术，可以极大地帮助开发可靠的系统，并可以在系统开发生存周期（SDLC）的所有阶段使用，包括需求工程，系统设计和实现，验证和确认（测试），维护，甚至文档。这项最先进的调查报告现有的正式的方法来创建更可靠的国际会计准则，重点是静态的正式方法，在系统完全实现之前使用。我们根据SDLC的阶段对调查的作品进行分类，使我们能够确定每个阶段的研究差距和有希望的未来方向。
2021-08-12 cs.SE
A Formal Approach to System Integration Testing
系统集成测试是通过逐步集成子组件来测试系统的过程。通常，这些子组件已经过验证，以保证其正确的功能行为。通过将这些经过验证的子组件集成到整个系统中，可能会出现紧急行为，即通过子组件的组装而进化的行为。对于系统集成测试，必须验证整个系统的正确功能行为以及子组件在其系统环境中的正常功能。在这项工作中，我们提出了一种基于形式化验证的系统集成测试方法的思想。系统组件在SystemC中建模。在第一步中，正式验证这些组件。然后建立了整个系统的模型。在第二步中，正式验证该系统模型。这种方法的新颖性是由两个方面：第一，到目前为止，SystemC模型的可用验证框架更多的是一个概念的证明，而不是真正适用于真正的工业案例研究。其次，虽然形式化验证技术是软件和硬件验证的常用技术，但到目前为止，它们只被边缘化地考虑用于系统集成测试。
2014-04-27 cs.SE
Behavior Driven Development for 3D Games
本文报告了将行为驱动开发（BDD）与iv4XR框架集成，实现《太空工程师》回归测试自动化，并扩展至LabRecruits试玩测试，展示了BDD提升游戏测试的可读性与自动化能力。
2025-06-20 cs.SE
Automated Functional Testing based on the Navigation of Web Applications
Web应用程序变得越来越复杂。测试这样的应用程序是一个复杂的困难和耗时的活动。因此，实践者经常执行不好或跳过测试。测试自动化可以帮助避免这种情况。因此，本文提出了一种新的方法来执行自动化的软件测试的Web应用程序的基础上，其导航。一方面，Web导航是使用浏览器遍历Web应用程序的过程。另一方面，功能需求是应用程序必须执行的操作。因此，对Web应用程序的正确导航的评估导致对指定功能需求的评估。所提出的方法来执行自动化是在四个层次：测试用例生成，测试数据推导，测试用例执行，测试用例报告。该方法由三种输入驱动：i）UML模型; ii）Selenium脚本; iii）XML文件。我们已经在一个名为自动测试平台的开源测试框架中实现了我们的方法。这项工作的验证已经进行了一个案例研究，其中的目标是一个真正的发票管理系统开发使用模型驱动的方法。
2011-08-11 cs.SE
Making Embodied AI Reliable: A Community Agenda from Testing to Formal Verification
University of Waterloo（滑铁卢大学）；Universityinceton University（普林斯顿大学）
本文基于AAAI'26 Bridge Program讨论，提出通过集成测试、形式验证和运行时保证的神经符号方法，解决具身AI在开放世界中的生命周期可靠性问题。
2026-06-02 cs.RO cs.SE
Proceedings of the Second Workshop on Verification of Objects at RunTime EXecution
本卷包含在阿姆斯特丹举行的第二届运行时对象验证研讨会（VORTEX 2018）的后续活动，与欧洲面向对象编程会议（ECOOP 2018）和ACM SIGSOFT软件测试和分析国际研讨会（ISSTA 2018）共同举办。运行时验证是一种软件验证方法，涉及对软件和硬件系统执行的监控和分析。最近，它已经获得了更多的共识，作为一个有效的和有前途的方法，以确保软件的可靠性，弥合之间的差距形式化验证，和传统的测试，在运行时执行过程中监视系统提供了额外的机会，解决错误恢复，自适应，和其他问题，超越软件的可靠性。VORTEX的目标是将研究人员聚集在一起，研究涉及理论或实践方面的主题的运行时验证，或者最好是两者兼而有之，重点是面向对象的语言和系统。
2019-08-25 cs.LO cs.PL cs.SE
StatWhy: Formal Verification Tool for Statistical Hypothesis Testing Programs
AIST, Tokyo, Japan（AIST, 东京, 日本）；University of Tsukuba, Ibaraki, Japan（茨口大学, 神奈川, 日本）；Kyoto University, Kyoto, Japan（京都大学, 京都, 日本）
StatWhy 通过形式化规约与自动验证统计程序要求，帮助程序员避免统计假设检验中的常见误用错误。
2025-06-01 cs.AI cs.LO cs.SE
Formal Requirement Elicitation and Debugging for Testing and Verification of Cyber-Physical Systems
School of Computing, Informatics and Decision Systems Arizona State University（亚利桑那州立大学计算、信息与决策系统学院）
本文提出一个用于物理系统形式化规格的 elicitation 与调试框架，通过图形界面处理规格 elicitation，提供两种调试算法以解决规格错误，通过用户研究验证框架能有效解决常见规格错误。
2018-07-27 cs.LO cs.SE cs.SY
Revolutionizing Validation and Verification: Explainable Testing Methodologies for Intelligent Automotive Decision-Making Systems
针对自动驾驶系统决策模型验证确认效率低、难溯源的问题，提出融合可解释性的测试方法学，含LLM生成测试场景等模块，旨在提升效率与透明度、降低成本并增强用户信任。
2025-06-20 cs.SE
Industrially Applicable System Regression Test Prioritization in Production Automation
当在自动化生产系统（aPS）上执行更改时，可能会在系统中意外引入新的故障，这些故障称为回归。发现这些错误的一种常用方法是回归测试。在大多数情况下，这个回归测试过程是在很大的时间压力下和非常不舒服的环境中进行的。到目前为止，还没有自动化的支持来寻找和优先考虑适合于寻找回归的完全集成的aPS的系统测试用例。因此，测试技术人员不得不依靠个人的直觉和经验，可能会选择不适当的测试用例顺序，在测试运行的后期发现回归。使用合适的优先级，可以简化查找和修复回归的迭代过程，并且可以通过执行可能更早识别新回归的测试用例来节省大量时间。因此，本文提出了一种方法，使用以前获得的运行时数据，从过去的测试执行，并进行了更改识别和影响分析，优先测试用例，有很高的概率揭开回归所造成的系统变化的副作用。该方法是与活跃在aPS工程领域的著名工业合作伙伴合作开发的，确保了符合工业要求的发展。进行了工业案例研究和专家评估，显示出可喜的成果。
2022-12-09 cs.SE
Quantitative Verification with Adaptive Uncertainty Reduction
随机模型被广泛用于验证系统是否满足其可靠性，性能和其他非功能性要求。然而，验证的有效性取决于如何准确地估计这些模型的参数，可以使用组件单元测试，监控，系统日志等数据时，不充分的数据是可用的，模型受到影响的认识参数的不确定性，验证结果是不准确的，任何基于它们的工程决策可能是无效的。为了解决这些问题，我们引入了VERACITY，一个工具支持的迭代方法，用于在认知参数不确定性下有效和准确地验证非功能性需求。VERACITY将置信区间定量验证与一种新的自适应不确定性降低启发式方法相结合，该方法通过在一系列验证迭代中对特定系统组件进行单元测试，收集有关已验证模型参数的额外数据。VERACITY支持离散时间马尔可夫链的定量验证，根据模型对不同组件参数变化的敏感性和开销（例如，时间或成本）对这些组件中的每一个进行单元测试。我们显示的有效性和效率的VERACITY使用它的远程协助服务为基础的系统和在线购物的Web应用程序的非功能性要求的验证。
2022-02-21 cs.SE
Helion: Enabling Natural Testing of Smart Homes
本文提出Helion系统，利用n-gram语言建模学习智能家居用户例程规律并预测自然自动化场景，并通过与Home Assistant集成的HelionHA平台实现端到端测试。
2023-08-13 cs.CR cs.SE
Enabling Visual Design Verification Analytics - From Prototype Visualizations to an Analytics Tool using the Unity Game Engine
当代ASIC项目中不断增加的架构复杂性使设计验证（DV）成为一项非常先进的工作。对短时间上市的迫切需求使自动化成为DV的关键解决方案。然而，重复执行大型回归套件不可避免地会导致大量具有挑战性的测试结果。遵循设计科学的范式，我们提出了一个行动研究，在商业ASIC项目中引入可视化分析。我们使用游戏引擎Unity开发了一个城市景观可视化工具。初步评估是有希望的，这表明该工具提供了一种新的方法来识别设计中容易出错的部分，以及覆盖漏洞。
2018-10-24 cs.SE
Runtime Verification and Field-based Testing for ROS-based Robotic Systems
Chalmers University of Technology（查尔姆斯理工大学）；Gran Sasso Science Institute (GSSI)（格兰萨索科学研究所）；University of Brasilia（巴西利亚大学）；Ruhr University Bochum（波鸿鲁尔大学）；University of Gothenburg（哥德堡大学）
本文针对ROS机器人系统，通过文献综述、仓库挖掘和问卷验证，提出20条指南（8条面向开发者，12条面向QA团队），以支持运行时验证和现场测试，填补架构指导空白。
2024-08-21 cs.RO cs.SE
A Roadmap for Simulation-Based Testing of Autonomous Cyber-Physical Systems: Challenges and Future Direction
本文提出面向自主信息物理系统基于仿真的测试路线图，分析测试自动化与质量保证挑战，倡导构建新基准资产和专用自动化工具，为未来研究提供方向。
2024-05-02 cs.SE
AUITestAgent: Automatic Requirements Oriented GUI Function Testing
针对移动应用GUI测试人力成本高的问题，提出首款自然语言驱动的自动化测试工具AUITestAgent，通过动态智能体提取交互、多维策略验证，在基准测试中表现优于现有工具，且在企业实际部署中有效检出功能缺陷。
2024-07-12 cs.SE
