To What Extent Is Stress Testing of Android TV Applications Automated in Industrial Environments?
基于Android的智能电视（TV）必须在各种硬件资源条件下在嵌入式程序环境中可靠地运行其应用程序。由于用于构建众多电视模型的各种硬件组件，电视模拟器通常没有足够的保真度来模拟各种电视模型，因此在对此类应用进行压力测试时仅被视为不可靠的替代品。因此，尽管在真实电视机上进行压力测试是繁琐的，但这是确保行业中这些应用程序可靠性的事实方法。在本文中，我们研究在工业环境中，智能电视应用程序的压力测试可以在多大程度上完全自动化。据我们所知，没有以前的工作已经解决了这个重要的问题。我们总结了从10个工业测试工程师那里收集的结果，他们在真实的生产环境中测试了20个这样的电视应用程序。我们的研究表明，行业所需的测试自动化支持高层次的GUI对象控制和状态检查，资源条件的设置和两者之间的相互作用。有了这些支持，一个电视型号的87%的工业测试规格可以完全自动化，其中71.4%被发现是完全可重复使用的，以测试后续的电视型号，主要升级的硬件，操作系统和应用程序。与没有此类支撑的压力测试相比，它代表了28%和38%的利润率的显着改善。
2015-09-23 cs.SE
Model-based Automated Testing of Mobile Applications: An Industrial Case Study
移动应用程序的自动测试是近年来研究的一个热点。然而，工业中的测试仍然是一种非常手工的做法，因为研究成果尚未完全转移和采用。考虑到移动应用，手动测试具有由大量可用设备和不同配置以及这些设备的维护和设置所造成的充分测试的额外负担。在本文中，我们提出并评估使用基于模型的测试生成方法，生成的测试上执行一组云托管的真实移动设备。通过使用基于模型的方法，我们生成动态的，不那么脆弱，实现简单的测试用例。在具有不同配置的多个真实设备上执行测试增加了被测系统实现的信心。我们的评估表明，所使用的方法产生了高覆盖率的用户交互相关的应用程序的部分。尽管如此，在测试生成中需要包含外部服务，以额外增加完整应用程序的覆盖范围。此外，我们提出了在工业环境中转移和实施这种方法并将其应用于实际产品时所吸取的经验教训。
2020-08-20 cs.SE
Towards Automated Acceptance testing for industrial robots
SmArtSE Research Team（SmArtSE研究团队）；Université du Québec à Chicoutimi（魁北克大学希库蒂米分校）
工业机器人是许多现代工业中应用的重要机器，以高精度执行重复性任务，取代或支持危险工作。在这种系统中，随着成本与系统保持工作的时间相关的复杂性的增加，系统必须以最小数量的故障运行。换句话说，工业中重要的质量方面是可靠性。我们假设自动化验收测试提高了工业机器人程序的可靠性。本文提出了研究问题、研究动机、研究假设以及未来的研究方向。
2021-04-22 cs.RO cs.SE
Testing of Machine Learning Models with Limited Samples: An Industrial Vacuum Pumping Application
在工业生产中，通常缺乏用于机器学习（ML）分类和回归模型的训练数据，特别是对于耗时或稀疏运行的制造过程。大多数有限的地面实况数据用于训练，而少数样本用于测试。在这里，测试样本的数量不足以正确评估分类和回归测试中ML模型的鲁棒性。此外，如果输入数据与预期不同，这些ML模型的输出可能不准确甚至失败。这是用于精炼钢工业中的电渣重熔（ESR）过程中的ML模型的情况，以预测真空室中的压力。每个工作日发生一次真空抽吸事件，在一年的抽吸中产生几百个样本用于训练和测试。在缺乏足够的训练和测试样本的情况下，本文首先提出了一种基于真空泵原理的新的增强样本集的生成方法。基于生成的增强样本，提出了三个测试场景和一个测试预言，以评估用于工业规模生产的ML模型的鲁棒性。利用Uddeholms AB钢铁公司的实际工业生产数据进行了实验。评估表明，Entrance和神经网络是最强大的增强数据训练时，使用建议的测试策略。评估也表明了该方法的有效性，在检查和提高ML算法的鲁棒性，在这种情况下。这项工作改进了软件测试在类似环境中的最先进的鲁棒性测试。最后，本文提出了一种MLOps实现方法，用于边缘节点上的实时ML模型预测和操作，以及从云中自动连续交付ML软件。
2022-08-08 cs.SE
Extreme mutation testing in practice: An industrial case study
变异测试用于评估测试集的有效性。近年来，出现了一种称为极端突变测试的有前途的变化，这种变化在计算上更便宜。它标识了可以完全删除其功能的方法，并且测试套件不会注意到它，尽管有覆盖率。这些方法被称为伪测试。在本文中，我们比较了传统和极端突变测试的执行和分析时间，并讨论了它们在实践中的意义。我们将研究极端突变测试如何影响当前的软件开发实践，并讨论需要解决的开放性挑战，以促进行业采用。为此，我们进行了一个工业案例研究，包括在半导体行业的一个大型软件项目中运行传统和极端突变测试，该项目由超过11，000个单元测试的测试套件覆盖。除此之外，我们还对25个伪测试方法进行了定性分析，并采访了两个有经验的开发人员，看看他们是如何编写单元测试的，并收集了关于极端突变测试结果的有用性的意见。我们的结果包括执行时间，分数，执行的测试和mutator的数量，为什么方法是伪测试的原因，以及采访摘要。我们的结论是，较短的执行和分析时间是很明显的，在实践中，极端的突变测试补充编写单元测试与代码覆盖工具。我们建议，伪测试的代码应突出显示在代码覆盖率报告，极端的突变测试应在编写单元测试，而不是在一个解耦的会话。未来的研究应该研究如何在编写单元测试时执行极端突变测试，以便结果足够快但仍然有意义。
2021-03-15 cs.SE
Alternatives for Testing of Context-Aware Contemporary Software Systems in industrial settings: Results from a Rapid review
上下文感知的当代软件系统（CACSS）是主流。此外，它们对当前的工程实践提出了挑战。这些挑战在测试CACSS时尤为突出，因为上下文的变化加深了现有软件测试实践和技术的局限性。目的：了解行业在测试CACSS时如何应对上下文的变化。方法：委托进行快速审查，以发现实现目标所需的证据。结果如下：我们的研究结果表明，目前的研究计划的目的是生成或改进测试套件，可以处理上下文的变化和测试输入的可能性的绝对量。为了实现这一目标，他们主要依赖于对系统的动态行为进行建模并增加计算资源来生成测试输入。我们没有发现旨在通过测试生命周期过程管理上下文变化的研究结果的证据。结论：我们讨论了如何确定的解决方案还没有准备好主流采用。它们都是特定领域的，虽然这些想法和方法可以在不同的环境中复制，但这些技术必须重新设计并适应特定的CACSS。
2021-04-14 cs.SE
Does the performance of TDD hold across software companies and premises? A group of industrial experiments on TDD
测试驱动开发（TDD）被认为可以提高外部软件质量。然而，TDD提高外部质量的程度很少在工业实验中研究。我们在两个不同的公司进行了四个工业实验，以评估TDD的外部质量的性能。我们研究TDD的性能是否在同一公司和跨公司的场所举行。我们确定影响结果的参与者级别特征。最后迭代测试（ITL）是TDD的反向方法，在四个前提中的三个前提中优于TDD。ITL在这两家公司的表现都优于TDD。使用单元测试和测试工具的经验越多，国际交易日志和测试驱动开发之间的性能差异就越大（有利于国际交易日志）。技术环境（即，程序设计语言和测试工具）似乎不影响结果。在工业实验中评估影响结果的参与者级别的特征可以简化对TDD在现实环境中的性能的理解。
2018-07-20 cs.SE
Integrating Threat Modeling and Automated Test Case Generation into Industrialized Software Security Testing
工业物联网（IIoT）应用为推动工业生产效率的提高提供了一系列全新的可能性。然而，随着系统之间的高度集成，后者面临着过多的新威胁，因为它们尚未被设计为广泛可达和互操作。为了缓解这些大量的新威胁，系统化和自动化的测试方法是必要的。这种全面性可以通过彻底的威胁建模来实现。为了自动化安全测试，我们提出了一种方法，自动化的测试过程中，从威胁建模向前，关闭之间的差距威胁建模和自动化测试用例生成。
2019-11-15 cs.CR cs.SE
Dynamic Analysis of Regression Problems in Industrial Systems: Challenges and Solutions
本文介绍了运行时验证、测试和静态分析技术在几个工业项目中的应用经验。我们讨论了我们经历的八个最相关的挑战，以及我们为应对这些挑战而制定的战略。
2017-05-23 cs.SE
Coverage measurement in model-based testing of web applications: Tool support and an industrial experience report
针对工业Web应用MBT中多类覆盖率数据需实时集成的需求，本文开发开源工具MBTCover，支持代码、需求与模型覆盖率的实时测量报告，并总结多个大型自动化测试项目的工业应用经验。
2024-08-12 cs.SE
STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation
Lamar University（拉马尔大学）
针对IEC 61131-3结构化文本程序缺乏公开变异测试基准的问题，构建了包含108个一阶变异体的数据集STMutants，涵盖七类变异算子，并评估了三个大语言模型在测试套件生成和变异检测中的性能。
2026-06-03 cs.SE
White-box Fuzzing RPC-based APIs with EvoMaster: An Industrial Case Study
远程过程调用（RPC）是一种通信协议，用于支持网络上服务之间的客户端-服务器交互。RPC广泛应用于构建大规模分布式系统，如微服务。现代RPC框架包括Thrift、gRPC、SOFARPC和Dubbo等。由于分布式系统的复杂性和系统可能采用的各种RPC框架，测试这样的系统非常具有挑战性。据我们所知，目前还没有任何工具或解决方案可以对现代基于RPC的服务进行自动化测试。为了填补这一空白，在本文中，我们提出了文献中的第一种方法，以及一个开源工具，用于通过搜索对现代基于RPC的API进行白盒模糊。为了评估我们的新方法，我们对我们的工业合作伙伴选择的两种人工和四种工业API进行了实证研究。该工具已被集成到一个实际的工业流水线，并可以应用于实际的工业开发过程中的模糊基于RPC的API。为了进一步证明其在工业环境中的有效性和应用，我们还报告了使用我们的工具对我们的工业合作伙伴在其测试过程中自主进行的另外50种工业API进行模糊处理的结果。结果表明，我们的新方法能够为基于RPC的工业API（即，两个人工和54个工业）。我们还比较了一个简单的灰盒技术和现有的手动编写的测试。我们的白盒解决方案在代码覆盖率方面实现了显著的改进。在故障检测方面，通过与我们的工业合作伙伴仔细审查我们在选定的四种工业API中采用新方法生成的测试，共识别出41个实际故障，现已修复。另有8，377个检测到的故障正在调查中。
2023-02-03 cs.SE
An Evaluation of Monte Carlo-Based Hyper-Heuristic for Interaction Testing of Industrial Embedded Software Applications
超启发式算法是一种新的自适应混合元启发式算法，以获得一个通用的算法来解决优化问题。这项工作的重点是选择类型的超启发式，称为指数蒙特卡罗计数器（EMCQ）。当前实现依赖于无记忆选择，这可能是适得其反的，因为所选择的搜索运算符可能（历史上）不是当前搜索实例的最佳执行运算符。为了解决这个问题，我们建议将内存集成到EMCQ中，使用基于Q学习机制的强化学习（称为Q-EMCQ）进行组合t-wise测试集生成。组合测试生成在工业程序中的有限应用可能会影响Q-EMCQ等技术的使用。因此，有必要针对相关的工业软件评估这种方法，目的是显示覆盖代码以及查找错误所需的交互程度。我们将Q-EMCQ应用于37个用功能框图（FBD）语言编写的实际工业程序，这些程序用于在Bombardier Transportation Sweden AB开发训练控制管理系统。研究结果表明，Q-EMCQ是一种有效的测试用例生成技术。此外，与处理最小化问题的t-明智测试集生成不同，我们还将Q-EMCQ进行了涉及一般模块聚类的最大化问题，以证明我们方法的有效性。
2020-02-18 cs.SE
Coyote C++: An Industrial-Strength Fully Automated Unit Testing Tool
本文介绍了Coyote C++，一款基于混合符号执行的工业级C和C++全自动化单元测试工具，它无需用户参与即可一键完成测试生成与执行，持续达到约90%的代码覆盖率。
2023-10-23 cs.PL cs.SE
Automated System-Level Software Testing of Industrial Networked Embedded Systems
嵌入式系统无处不在，在工业和交通管理系统中发挥着关键作用。这些领域中的软件故障可能导致生产损失甚至生命损失，因此这些系统中的软件需要可靠。软件测试是嵌入式软件质量保证的标准方法，许多软件开发过程都在努力实现测试自动化。在成功的软件测试自动化所面临的众多挑战中，本文解决了五个问题：（i）了解更新的软件如何到达测试环境，测试如何在测试环境中进行，以及测试结果如何到达最初更新软件的开发人员;（ii）在给定的可用时间和测试系统的约束下，选择哪些测试用例在测试套件中执行;（iii）假定测试用例在连接的设备的不同配置上运行，则选择哪个硬件用于要执行的每个测试用例;（iv）分析当随时间在演进的软件、测试件或硬件修订版上执行时看起来随机失败的测试用例;以及（v）利用测试结果探索和可视化使测试结果信息可操作。应对这些挑战的方式有几种。[摘要被截断。]
2021-11-16 cs.SE
Quantum Program Testing Through Commuting Pauli Strings on IBM's Quantum Computers
针对工业量子程序缺乏完整规约且难与错误缓解兼容的问题，本文提出基于对易 Pauli 字符串的 QOPS 测试方法，并在近19.5万个程序和三台 IBM 真机上验证其完美分类效果。
2024-08-01 cs.SE
A Two-phase Metamorphic Approach for Testing Industrial Control Systems
我们详细介绍了一种用于测试工业控制系统的变形方法。所提出的方法包括两个阶段：一个探索阶段，我们了解故障模式的测试下的系统和开发阶段，观察到的故障模式用于有针对性的测试。我们的方法提取的变形关系和输入空间的系统从它的要求。用于测试的种子输入从系统的执行日志中提取，并用于自动生成源测试和后续测试。变形的输入基于种子输入来构造，并使用一组约束来细化。以位置控制系统为例，结果表明该方法能有效地发现故障，提高了系统的自动化水平。
2022-08-19 cs.SE cs.SY eess.SY
Reflections on Surrogate-Assisted Search-Based Testing: A Taxonomy and Two Replication Studies based on Industrial ADAS and Simulink Models
该研究反思代理辅助的基于搜索的测试技术，提出分类法梳理现有方案与研究空白，通过两项工业ADAS、Simulink模型的复现研究明确评估难点，并给出未来研究方向。
2023-04-28 cs.SE
RERS-Fuzz : Combining Greybox Fuzzing with Interval Analysis for error reachability in reactive softwares
模糊测试是软件维护和演化领域中一个被广泛研究的领域。近年来，基于覆盖率的灰盒模糊测试通过发现工业级软件中的关键安全级别和show-stopper错误而获得了极大的关注。灰箱模糊测试以覆盖率最大化为目标函数，并采用反馈驱动的进化算法来实现。在我们的工作中，我们利用灰盒模糊测试的力量，结合区间分析来解决序列和工业RERS（反应式软件的严格检查）2019基准测试中的可达性问题。
2019-07-26 cs.SE
Bridging Research and Practice in Simulation-based Testing of Industrial Robot Navigation Systems
University of Bern, Bern, Switzerland（伯恩大学）
本文介绍仿真测试框架Surrealist在工业机器人导航中的实际应用，通过搜索算法自动生成挑战性场景，发现关键故障并提供客观基准，显著增强验证流程。
2025-10-10 cs.RO cs.SE
The AIQ Meta-Testbed: Pragmatically Bridging Academic AI Testing and Industrial Q Needs
RISE Research Institutes of Sweden AB（瑞典RISE研究院）；Lund University（隆德大学）
AI解决方案似乎出现在任何和所有应用领域。随着人工智能变得越来越普遍，质量保证的重要性也在增加。不幸的是，对于人工智能的含义和解释从简单的统计分析到有感知能力的人形机器人都没有达成共识。最重要的是，质量是一个众所周知的难以确定的概念。这对AI质量意味着什么？在本文中，我们分享了我们的工作定义和务实的方法来解决相应的质量保证，重点是测试。最后，我们提出了我们正在进行的工作，建立AIQ元测试床。
2020-09-11 cs.AI cs.SE
Towards an Automated Unified Framework to Run Applications for Combinatorial Interaction Testing
组合交互测试（CIT）是一种众所周知的技术，但需要工业经验来确定其在不同应用领域的有效性。我们提出了一个案例研究，介绍了一个统一的框架，用于生成，执行和验证CIT测试套件，基于开源的鳄梨测试框架。此外，我们提出了一个新的工业案例研究，以证明该框架的有效性。该评估表明，新的框架可以生成，执行和验证有效的组合交互测试套件，用于检测虚拟化系统中的配置故障（无效配置）。
2019-03-13 cs.SE
Increasing System Test Coverage in Production Automation Systems
介绍了一种支持测试技术人员识别全集成自动化生产系统（aPS）控制软件可能未测试行为的方法。基于一种引导式半自动系统测试方法，在测试过程中记录执行轨迹，允许后续的覆盖评估。由于aPS的行为高度依赖于软件，因此可以识别遗漏的系统行为并评估其重要性。通过与工业界的密切合作，这种方法代表了第一种用于生产自动化系统测试的覆盖率评估方法，可应用于实际工业对象，并由工业专家进行评估。
2022-12-07 cs.SE
Industrially Applicable System Regression Test Prioritization in Production Automation
当在自动化生产系统（aPS）上执行更改时，可能会在系统中意外引入新的故障，这些故障称为回归。发现这些错误的一种常用方法是回归测试。在大多数情况下，这个回归测试过程是在很大的时间压力下和非常不舒服的环境中进行的。到目前为止，还没有自动化的支持来寻找和优先考虑适合于寻找回归的完全集成的aPS的系统测试用例。因此，测试技术人员不得不依靠个人的直觉和经验，可能会选择不适当的测试用例顺序，在测试运行的后期发现回归。使用合适的优先级，可以简化查找和修复回归的迭代过程，并且可以通过执行可能更早识别新回归的测试用例来节省大量时间。因此，本文提出了一种方法，使用以前获得的运行时数据，从过去的测试执行，并进行了更改识别和影响分析，优先测试用例，有很高的概率揭开回归所造成的系统变化的副作用。该方法是与活跃在aPS工程领域的著名工业合作伙伴合作开发的，确保了符合工业要求的发展。进行了工业案例研究和专家评估，显示出可喜的成果。
2022-12-09 cs.SE
CDST: A Toolkit for Testing Cockpit Display Systems of Avionics
航空电子设备是非常关键的系统，需要根据国际安全标准进行广泛的测试。驾驶舱显示系统（CDS）是现代飞机驾驶舱的重要组成部分，使用各种小部件显示来自用户应用程序的信息。航空电子设备测试的一个重要步骤是评估这些CDS是否显示正确的信息。一种常见的工业实践是通过在模拟期间将飞机带入不同场景来手动测试这些CDS上的信息。考虑到要测试的场景数量很大，对这种行为进行手动测试是一项费力的工作。在本文中，我们提出了一个CDST工具包，自动驾驶舱显示系统（CDS）的测试。我们讨论的工作流程和架构的工具，并演示了一个工业案例研究的工具。结果表明，该工具能够生成、执行和评估测试用例，并在案例研究中识别出3个错误。
2020-01-22 cs.SE
Visual GUI testing in practice: An extended industrial case study
Visual GUI测试（VGT）被称为最新一代基于GUI的测试。它是一种工具驱动的技术，使用图像识别与被测系统进行交互并断言其行为。受土耳其一家大型软件和系统公司在国防和IT领域提供解决方案的工业需求的推动，最近启动了一个行动研究项目，在该公司的几个团队和项目中实施VGT。目的：为了满足上述需求，我们计划并开展了一项实证调查，目标是使用两种工具（Sikuli和JAutomate）评估VGT。其目的是确定一个合适的方法和工具，为VGT的一个给定的项目（软件产品）在该公司，增加了专门知识，在该公司的测试团队。方法：采用行动研究的案例研究设计，我们调查了VGT在研究组织中的使用。具体而言，使用两个选定的VGT工具，我们进行了定量和定性评价的VGT。结果如下：通过评估以前的工作中提出的挑战，问题和限制（CPL）列表，在我们的实证研究的背景下，我们发现测试工具和SUT相关的CPL与以前的实证研究相当，例如，SUT和测试工具之间的同步并不总是鲁棒的，并且测试工具的图像识别特征存在故障。当评估测试维护活动的类型时，当在SUT的下一个版本上执行自动化测试用例时，对于两个测试工具的情况，我们发现大约一半的测试用例（59.1%和47.8%）在下一个版本中失败。结论：通过我们的研究结果，我们证实了一些以前报道的问题时，进行VGT。此外，我们强调了一些额外的挑战，在测试维护时使用VGT。
2020-05-20 cs.SE
Enablers and Impediments for Collaborative Research in Software Testing: An Empirical Exploration
当涉及到工业组织时，当前在软件工程研究中的协作努力通常保持在内部，剥夺了这些组织建立独立协作研究所需的技能。目前的趋势，经验软件工程研究，需要建立一定的标准，这将指导这些合作努力，建立一个强大的伙伴关系，促进独立的，以证据为基础的，软件工程研究。本文探讨了在软件测试领域中有效和高效的行业-学术界合作的关键因素。该研究的一个主要发现是，虽然技术是更好合作的强大推动力，但必须辅之以行业开放性，以披露研究结果和使用专用工具平台。我们使用自动化测试生成方法作为一个例子，该方法是在过去两年中与瑞典的庞巴迪运输公司合作开发的。
2015-03-10 cs.SE
Industrial-Strength Verification of Solid State Interlocking Programs
现代联锁的日益复杂性对确保铁路安全提出了重大挑战。这就要求应用形式化的方法来保证和验证它们的安全性.我们已经开发了一个行业强度的工具集，称为SafeCap，用于联锁的形式化验证。我们的目标是克服在工业中部署正式方法的主要障碍。提出的方法验证联锁数据开发的信号工程师的方式，他们是由行业设计的。它确保使用最先进的技术（自动定理证明器和求解器）对安全属性进行全自动验证，并根据工程师使用的符号提供诊断。在过去的两年中，SafeCap已成功用于验证26个真实的干线联锁，这些联锁由不同的供应商和设计办公室开发。SafeCap目前用于咨询，通过提供额外的验证级别和能够更早地发现错误来补充人工检查和测试过程。我们现在正在开发一个安全案例，以支持将其用作其中一些活动的替代方案。
2022-01-14 cs.SE
Avocado: Open-Source Flexible Constrained Interaction Testing for Practical Application
本文介绍了学术界和工业界之间的研究合作的成果，以实现和利用工业规模应用的开源工具的约束交互测试的能力。该项目有助于提高生成约束交互测试套件、执行它们以及设置测试Oracle来报告它们的灵活性--所有这些都在同一个名为Avocado的工具中。Avocado采用约束求解器和计算算法来生成约束交互测试套件。被测应用程序的环境可以设置为以最小的工作量执行生成的测试套件。该工具可以设置一个测试预言机来报告执行的测试用例的状态和结果。Avocado代表了一种全面而灵活的解决方案，用于在工业应用中进行组合交互测试（CIT）和约束CIT。在本文中，我们提出了该工具的结构和我们的方法来实现算法的详细。
2020-02-02 cs.SE
Model-Based Testing of Safety Critical Real-Time Control Logic Software
本文介绍了作者在安全关键的实时的【形】控制逻辑软件的基于模型的测试方面的经验。它描述了相应的工业设置的细节，并讨论了在这些设置中使用基于UniTESK模型的测试技术的技术细节。最后，我们讨论了安全关键软件开发过程的未来可能的方向和基于模型的测试技术在其中的地位。
2012-02-28 cs.SE
Testing Untestable Neural Machine Translation: An Industrial Case
Tencent Inc.（腾讯公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；ETH Zurich（苏黎世联邦理工学院）
神经机器翻译（NMT）由于其相对于传统的统计机器翻译（SMT）的优势，近年来得到了广泛的应用。然而，由于自然语言的复杂性和设计神经网络的复杂性，NMT系统仍然经常产生翻译失败。虽然内部黑盒系统测试基于参考翻译（即，有效翻译的实例）已经成为NMT质量保证的常见实践，一种越来越重要的工业实践，称为体内测试，当真实用户使用部署的工业NMT系统时，暴露了不可见的翻译失败类型或实例。为了填补缺乏测试预言机的NMT系统的体内测试的空白，在本文中，我们提出了一种新的方法，自动识别翻译失败，而不需要参考翻译的翻译任务，我们的方法可以直接作为一个测试预言机的体内测试。我们的方法专注于可以系统地检查的自然语言翻译的属性，并使用来自测试输入的信息（即，要翻译的文本）和测试输出（即，NMT系统的翻译）。我们在真实世界数据集上进行的评估表明，我们的方法可以有效地将有针对性的属性违规检测为翻译失败。我们在微信（一个月活跃用户超过10亿的信使应用程序）的生产和开发环境中部署我们的方法的经验证明了我们的方法的高效率以及高行业影响力。
2018-10-03 cs.AI cs.CL cs.SE
Aligning Academia with Industry: An Empirical Study of Industrial Needs and Academic Capabilities in AI-Driven Software Engineering
Beihang University（北京航空航天大学）；Monash University（蒙纳士大学）；Peking University（北京大学）；Singapore Management University（新加坡管理大学）
本文通过分析学术研究与工业需求的差距，揭示AI驱动软件工程中的关键挑战，旨在引导未来研究更贴近实际应用。
2025-12-17 cs.SE
Vision Language Model-based Testing of Industrial Autonomous Mobile Robots
Simula Research Laboratory and University of Oslo（Simula研究实验室和奥斯陆大学）；Mondragon University（蒙dragon大学）；Simula Research Laboratory（Simula研究实验室）；PAL Robotics（PAL机器人技术）
本文提出基于视觉语言模型的测试方法，用于生成违反功能和安全要求的机器人交互场景，以提高自主移动机器人在复杂环境中的安全性和可靠性。
2026-03-05 cs.RO cs.SE
Automating System Test Case Classification and Prioritization for Use Case-Driven Testing in Product Lines
在许多软件开发环境中，产品线工程（PLE）是一个至关重要的实践，在这些环境中，软件系统是复杂的，并为具有不同需求的多个客户开发。同时，许多开发过程都是用例驱动的，这强烈地影响了他们的需求工程和系统测试实践。在本文中，我们提出，应用，并评估一个自动化的系统测试用例分类和优先级的方法，专门针对系统测试的用例驱动的开发的产品系列的背景下。我们的方法提供：（i）自动化支持对产品族中的新产品、与先前产品相关联的相关且有效的系统测试用例进行分类，以及（ii）使用诸如产品族中的需求的故障倾向性和需求波动性的多个风险因素来自动化系统测试用例的优先级排序。我们的评估是在汽车领域的工业产品系列的背景下进行的。结果提供了经验证据，我们提出了一个实用的和有益的方法来分类和优先级的工业产品线的系统测试用例。
2020-06-17 cs.SE
Model-based testing in practice: An experience report from the web applications domain
在一家大型软件测试公司的背景下，我们已经部署了基于模型的测试（MBT）方法，以将公司的测试自动化实践提升到更高的成熟度和能力水平。我们从一组开源/商业MBT工具中选择了一个名为GraphWalker的开源工具，并务实地使用MBT对几个大型Web和移动应用程序进行端到端测试自动化。到目前为止，在我们的项目中，MBT方法在改进测试覆盖率（测试的路径数量）、改进测试设计实践以及改进实际故障检测有效性方面提供了各种有形和无形的好处。本经验报告（应用研究报告）的目的是基于“行动研究”，分享我们在实际工业环境中应用和评估MBT作为软件技术（技术和工具）的经验。我们的目标是通过分享我们在实践中应用MBT的行业-学术项目，我们所获得的见解以及我们迄今为止所面临和解决的挑战和问题，为MBT工业应用的经验证据做出贡献。我们讨论了行业背景的概述，提供动机，解释导致结果的事件，讨论所面临的挑战，总结结果，并总结经验教训，外卖信息和基于所述经验的实用建议。通过学习本文中的最佳实践，其他测试工程师可以在他们的测试项目中进行更成熟的MBT。
2021-04-05 cs.SE
Proceedings 7th Workshop on Model-Based Testing
本卷包含第七届基于模型的测试研讨会（MBT 2012）的会议记录，该研讨会于2012年3月25日在爱沙尼亚塔林举行，是欧洲软件理论与实践联合会议（ETAPS 2012）的附属活动。该研讨会致力于软件和硬件的基于模型的测试。基于模型的测试使用模型来描述所考虑的系统的所需行为，以指导测试选择和测试结果评估等工作。测试根据模型验证真实的系统行为，并检查实现是否符合模型，但也能够发现模型本身的错误。第一次MBT研讨会于2004年在巴塞罗那举行。当时MBT已经成为一个热门话题，但MBT研讨会是第一个主要致力于这一主题的活动。从那时起，该领域产生了巨大的科学兴趣，今天有几个专门的研讨会和更广泛的会议，涉及软件和硬件设计以及基于模型的测试的质量保证。MBT已经成为当今最强大的系统分析工具之一，将MBT应用于安全分析和测试是当前的研究热点之一。MBT研讨会试图跟上当前的趋势。2012年，“工业纸”类别被添加到计划中，两篇工业论文被计划委员会接受。
2012-02-27 cs.SE
Fuzzing Microservices: A Series of User Studies in Industry on Industrial Systems with EvoMaster
本文报告了在美团近2年集成基于搜索的白盒模糊测试器EvoMaster的经验，通过三项用户研究评估其在工业微服务测试生成中的表现，证实了其优势并指出了需进一步研究的挑战。
2024-08-22 cs.SE
Transferring Interactive Search-Based Software Testing to Industry
基于搜索的软件测试（SBST）是将优化算法应用于软件测试中的问题。在以前的工作中，我们已经实现和评估了基于交互式搜索的软件测试（ISBST）工具原型，目标是成功地将技术转移到行业。虽然SBSE解决方案通常在基准问题上进行验证，但需要在操作环境中验证它们。本文件讨论了SBST工具的开发和部署，供工业界使用，并反映了这些技术向工业界的转让。除了以前的工作讨论的ISBST原型的开发和验证，一个新版本的原型ISBST系统进行了评估，在实验室和工业。该评估基于工业系统测试（SUT），并与工业从业人员一起进行。技术转移模型是用来作为一个框架来描述的ISBST系统的开发和评估的进展。本文介绍了以前的工作开发和评估的ISBST原型，以及提出一个评估，在学术界和工业界，该原型的最新版本的综合。本文介绍了一个概述的开发和部署的ISBST系统在工业环境中，使用的技术转移模型的框架。我们的结论是，ISBST系统是能够发展有用的测试用例的设置，虽然系统使用的方法来传达信息给用户的改进仍然需要。此外，还列出并讨论了从该项目中吸取的一系列经验教训。我们的目标是帮助其他研究人员，希望在工业中验证基于搜索的系统，并提供更多的信息，这些系统的优点和缺点。
2018-04-24 cs.SE
Requirement verification in simulation-based automation testing
工业互联网的出现导致自动化系统和待控制过程之间越来越多的复杂的时间相关性。需要比形式化验证方法更好地扩展并且比测试更精确的验证方法。基于仿真的运行时验证提出了这样一种方法，并提出了一个应用程序的度量时序逻辑的贡献。所提出的方法的实际可扩展性进行了验证，对工业合作伙伴设计的生产过程中，发现的要求违反。
2017-04-25 cs.LO cs.SE
What Causes My Test Alarm? Automatic Cause Analysis for Test Alarms in System and Integration Testing
在新的软件开发流程和云中测试的推动下，如今的系统和集成测试往往会产生大量的警报。这样的测试报警对软件测试工程师来说是一个几乎无法承受的负担，他们必须手动分析这些报警的原因。原因是关键的，因为它们决定了哪些利益相关者负责修复测试期间检测到的错误。在本文中，我们提出了一种新的方法，旨在通过自动化的过程来减轻负担。我们的方法，被称为原因分析模型，利用信息检索技术，有效地推断测试报警的测试日志的基础上的原因。我们已经开发了一个原型，并在两个工业数据集上评估了我们的工具，其中包含14，000多个测试警报。在两个数据集上的实验表明，我们的工具分别达到了58.3%和65.8%的准确率，比基线算法高出13.3%。我们的算法也非常高效，每个原因分析花费约0.1秒。由于有吸引力的实验结果，我们的工业合作伙伴，世界领先的信息和通信技术公司，已经部署了该工具，在运行两个月后，它实现了72%的平均准确率，比以前基于正则表达式的策略准确近三倍。
2017-03-02 cs.SE
Proceedings Tenth Workshop on Model Based Testing
该研讨会致力于软件和硬件的基于模型的测试。基于模型的测试使用模型来描述所考虑的系统的所需行为，以指导测试选择和测试结果评估等工作。测试根据模型验证真实的系统行为，并检查实现是否符合模型，但也能够发现模型本身的错误。本次研讨会的目的是将基于模型的测试技术和工具的研究人员和用户聚集在一起，讨论基于模型的测试和相关领域的理论，应用，工具和工业化的最新发展。
2015-04-08 cs.SE
A Survey on Web Testing: On the Rise of AI and Applications in Industry
本文系统综述2014-2025年Web测试研究，分析259篇论文发现该领域以ICST为主，多聚焦黑盒自动化测试，Selenium最常用，并揭示了AI在测试生成中的作用及工业界参与趋势。
2025-08-12 cs.SE
When Traceability Goes Awry: an Industrial Experience Report
工件之间的可追溯性的概念被认为是软件项目成功的推动者。这个概念已经得到了研究界的广泛关注，许多人认为它在工业环境中总是可用的。在这个产学合作项目中，一个研究小组在一家大型电信公司的测试从业人员的支持下，试图调查合作伙伴公司与软件质量相关的问题。然而，很快就发现需求和测试用例之间缺少基本的可跟踪性链接。这种缺乏可追溯性的情况阻碍了帮助公司处理质量问题的解决方案的实施。在这份经验报告中，我们讨论了在复杂的工业环境中创建和维护可追溯性链接的实际价值，并为研究人员提供了一个警示故事。
2022-06-09 cs.SE
Dynamic Test Case Prioritization in Industrial Test Result Datasets
本文提出一种结合静态与动态算法的测试用例优先级排序方案，利用条件概率动态调整执行顺序，在工业数据集上验证其可提升静态算法性能，尤其在存在失败相关性时。
2024-02-05 cs.SE
Intermittently Failing Tests in the Embedded Systems Domain
软件测试有时会受到间歇性测试失败的困扰，并且通常很难找到这种失败测试的根本原因。这个问题已经在开源软件的单元测试级别上得到了广泛的研究，但是在系统测试级别上的研究却少得多，特别是在工业嵌入式系统的测试方面。本文介绍了我们的调查间歇性失败的测试在嵌入式系统领域的根本原因，更好地理解，解释和分类的基本故障的目标。我们的调查对象是一个目前正在运行的工业嵌入式系统，随着系统级测试，进行。我们设计并使用了一个新的度量分类测试用例为间歇性。从超过50万个测试判决中，我们识别出间歇性和持续性的失败测试，并使用多个来源确定其根本原因。我们发现大约1-3%的测试用例是间歇性失败的。通过对案例研究结果和相关工作的分析，我们确定了九个与测试用例顺应性相关的因素。我们发现，对持续失败的测试进行修复，通常比对间歇性测试进行修复，可以删除更多由其他测试检测到的失败。我们还发现，与一致性测试相比，识别间歇性测试的修复通常需要更多的努力。确定了导致间歇性和一致性测试的根本原因之间的重叠。在工业嵌入式系统和开源软件中，许多不稳定的根本原因是相同的。然而，当比较单元测试和系统级测试时，特别是对于嵌入式系统，我们观察到测试环境本身往往是不稳定的原因。
2020-05-14 cs.SE
Requirements-Aided Automatic Test Case Generation for Industrial Cyber-physical Systems
工业网络物理系统需要复杂的分布式软件来协调许多异构的机电组件并控制多个物理过程。工业自动化软件通常以模型驱动的方式开发，其中称为工厂模型的物理过程的抽象与控制代码一起共同开发和迭代细化。测试这样的多维系统是非常困难的，因为通常模型可能不准确，与后续的改进不准确对应，并且软件最终必须在真实工厂上进行测试，特别是在核电站等安全关键系统中。本文提出了一个框架，其中高层次的功能需求被用来自动生成测试用例的模型驱动的工程过程中的所有抽象层次的设计。需求最初以自然语言指定，然后使用形式化本体进行分析和指定。然后，在设计和开发阶段，需求本体连同控制器和工厂模型一起被细化，使得测试用例可以在任何阶段自动生成。一个有代表性的工业水处理系统的案例研究说明了所提出的形式主义的优势。CESAR欧洲项目提出的需求元模型用于需求工程，而IEC 61131-3和模型驱动的概念用于设计和开发阶段。从所提出的框架称为REBATE（基于需求的自动测试引擎）的工具是用来生成和执行越来越具体的控制器和工厂模型的测试用例。
2021-08-17 cs.SE
Streamlining Acceptance Test Generation for Mobile Applications Through Large Language Models: An Industrial Case Study
Critical TechWorks；Faculty of Engineering, University of Porto（波尔图大学工程学院）；LIACC , Faculty of Engineering, University of Porto（波尔图大学工程学院计算科学与人工智能中心）；INESC TEC , Faculty of Engineering, University of Porto（波尔图大学工程电信研究所）
AToMIC利用大型语言模型自动生成移动应用的验收测试，显著提升测试生成效率和质量。
2025-10-21 cs.SE
Machine Learning-based Test Selection for Simulation-based Testing of Self-driving Cars Software
仿真平台促进了自动驾驶汽车（SDC）等新兴网络物理系统（CPS）的开发，因为它们比现场操作测试用例更有效，危险性更低。尽管如此，在模拟环境中彻底测试SDC仍然具有挑战性，因为SDC必须在大量长时间运行的测试用例中进行测试。过去关于软件测试优化的结果表明，并不是所有的测试用例都对建立测试对象的质量和可靠性的信心有同样的贡献，并且可以跳过“安全和无信息”测试用例的执行以减少测试工作。然而，这个问题只是部分解决的背景下，SDC仿真平台。在本文中，我们调查测试选择策略，以增加基于模拟的测试的成本效益的背景下，SDC。我们提出了一种称为SDC-Scissor（SDC cost-effeCtIve testSt SelectOR）的方法，该方法利用机器学习（ML）策略来识别和跳过不太可能在执行SDC之前检测到故障的测试用例。我们的评估表明，SDC-Scissor优于基线。使用Logistic模型，我们在选择导致错误的测试时达到了70%的准确率，65%的精确率和80%的召回率，并提高了测试的成本效益。具体来说，SDC-Scissor避免了50%不必要的测试，并且优于两个基线策略。作为对现有工作的补充，我们还将SDC-Scissor集成到汽车领域的工业组织中，以演示如何在工业环境中使用它。
2022-12-09 cs.SE
Industrial-Strength Documentation for ACL2
ACL2定理证明器是一个复杂的系统。它的图书馆很大。工业验证工作可能会用数十万行额外的建模工具、规范和证明脚本来扩展这个基础。高质量的文档对于在这种规模的项目上合作的团队来说至关重要。我们已经开发了XDOC，这是一个灵活的、可扩展的ACL2文档工具，它可以整合ACL2本身的文档、社区图书和组织的内部形式化验证项目，并且具有许多有助于保持最终手册最新的功能。使用这个工具，我们制作了一个全面的，公开的ACL2+图书手册，为所有ACL2用户带来更好的文档。我们还开发了一个在Centaur Technology内部使用的扩展手册，该手册扩展了公共手册，以涵盖Centaur的内部书籍。我们希望使用ACL 2的其他组织也希望开发类似的扩展手册。
2014-06-06 cs.MS cs.SE
MBTModelGenerator: Automated Reverse Engineering of Test Models from Clickstream Data for Model-Based Testing of Web Applications
Queen’s University Belfast（贝尔法斯特女王大学）；Testinium A.Ş.（Testinium 股份公司）；Azerbaijan Technical University（阿塞拜疆技术大学）
MBTModelGenerator通过自动反向工程点击流数据生成Web应用的测试模型，大幅降低手动设计MBT模型的工作量。
2025-12-09 cs.SE
Maintenance of Automated Test Suites in Industry: An Empirical study on Visual GUI Testing
验证与确认（Verification and Validation，V&V）活动在实践中占软件系统总开发成本的20%到50%。测试自动化被提出来降低这些V&V成本，但现有的研究只提供了有限的经验数据，从工业实践中的维护成本的自动化测试和影响这些成本的因素。特别是，这些成本和因素对于基于GUI的自动化测试是未知的。目的：本文通过分析与工业实践中基于GUI的自动化测试维护相关的成本和因素，解决了这种知识的缺乏。方法：在两个公司，西门子和萨博，实证研究报告的采访，和实证工作，可视化GUI测试进行获取数据的技术的维护成本和可行性。结果：观察到13个因素，影响维修，如测试人员的知识/经验和测试用例的复杂性。此外，统计分析表明，开发新的测试脚本比维护成本更高，但频繁的维护比不频繁的大爆炸维护成本更低。此外，成本模型，在以前的工作的基础上，提出了估计的时间，以积极的投资回报率（ROI）的测试自动化相比，手动测试。结论：它的结论是，测试自动化可以降低一个项目的整体软件开发成本，同时也对软件质量有积极的影响。然而，维护成本仍然是相当可观的，公司目前花在手动测试上的时间越少，在自动化之后达到积极的、经济的ROI之前需要的时间就越多。
2016-02-03 cs.SE
Generating Test Scenarios from NL Requirements using Retrieval-Augmented LLMs: An Industrial Study
本文提出 RAGTAG，将 RAG 与 LLM 结合，从工业双语自然语言需求中自动生成测试场景，并通过专家访谈验证其相关性、覆盖度、正确性、连贯性与可行性。
2024-04-19 cs.SE
Using a Semantic Knowledge Base to Improve the Management of Security Reports in Industrial DevOps Projects
将安全活动集成到软件开发生命周期中以检测安全漏洞对于任何项目都是必不可少的。这些活动生成的报告必须进行管理，并反馈给项目利益相关者（如开发人员），以实现安全性改进。这个所谓的反馈回路是任何项目的关键部分，并且是各种工业安全标准和模型所要求的。然而，这种循环的操作提出了各种挑战。这些挑战包括确保反馈数据具有足够的质量，向不同的利益攸关方提供他们所需的信息，以及管理报告的巨大努力。在本文中，我们提出了一种新的方法来处理的安全活动报告的信念在知识库（KB）的调查结果。通过利用连续的逻辑推理，我们获得从业者所需的信息，并解决行业中存在的挑战。这种方法目前正在工业DevOps项目中进行评估，使用来自持续安全测试的数据。
2022-04-19 cs.SE
Metamorphic Testing of Transpilers via Mutation Consistency of Programs
University of Milano-Bicocca（米兰比可卡大学）
本文针对转译器测试难题，提出基于转译后程序突变一致性的变形测试技术，实现工具MCP-Tester，案例研究显示其能发现纯模糊测试漏检的故障。
2026-08-03 cs.SE
