Unit Testing Challenges with Automated Marking
针对软件测试教学困难,本文通过EdStem平台引入带自动化评分的在线单元测试挑战,调查显示其能提升学生参与度、理解力与学习进度,是有效的教学实践。
2023-10-10 cs.SE
Automated Software Testing Starting from Static Analysis: Current State of the Art
复杂软件的大规模生产使得人工测试其安全漏洞变得不可能。自动化安全测试工具有各种各样的风格,在软件开发的各个阶段发挥作用,并针对不同类别的软件漏洞。我们有大量的自动化工具可供选择,这很好,但问题是它们的采用和认可并不突出。本研究的目的是探索现有技术的可能性,同时也通过探索安全测试工具和相关技术的未来来拓宽视野。
2023-01-15 cs.SE
Finding Failure Causes through Automated Testing
程序失败。在什么情况下会发生这种故障?一个单一的算法,增量调试算法,足以确定这些故障诱导的情况。增量调试系统地和自动地测试程序,以隔离导致失败的环境,例如程序输入,程序代码的更改或执行的语句。
2000-12-14 cs.SE
Introducing Automated Regression Testing in Open Source Projects
为了学习如何将自动化回归测试引入现有的中等规模开源项目,我们使用开源项目FreeCol进行了一个长期的现场实验。结果表明:(1)引入测试对项目有利,对外部创新者也是可行的;(2)测试可以加强开发人员之间的沟通;(3)信号对于吸引项目参与者填补创新者退出后留下的新空缺职位非常重要。为创新者提取了五个规范性策略,并提供了两个关于开源项目学习创新能力的说明。
2010-01-05 cs.SE
A taxonomy for quality in simulation-based development and testing of automated driving systems
确保自动驾驶系统的质量是汽车行业面临的一个重大挑战。在这种情况下,质量定义了对象满足期望和需求的程度。特别是,SAE 4级和5级的自动驾驶汽车将有望在各种环境和复杂情况下安全运行,而不会出现不当行为。因此,需要一种系统的方法来证明其安全运行。解决这一挑战的方法是基于模拟的测试,因为纯物理测试是不可行的。在基于仿真的测试中,用于评估自动驾驶系统实际质量的数据是使用仿真生成的。然而,为了依赖这些仿真数据,包括其仿真模型在内的整体仿真必须提供一定的质量水平。该质量水平取决于生成的模拟数据应用于的预期目的。因此,可以考虑三类质量:自动驾驶系统的质量和仿真质量,包括仿真模型质量和场景质量。因此,在开发和测试自动驾驶系统、整体模拟以及用于模拟的模拟模型的各个过程步骤中,必须确定和评估质量。在本文中,我们提出了一种分类法,以更好地理解开发和测试过程中的质量概念,以便在需要进一步测试的地方有一个明确的分离和洞察力-无论是在自动驾驶系统和仿真方面,包括用于测试的仿真模型和场景。
2021-11-25 cs.SE
BDD-Based Framework with RL Integration: An approach for videogames automated testing
针对电子游戏复杂度提升导致脚本化自动化测试遇瓶颈的问题,提出集成行为驱动开发(BDD)与强化学习(RL)的测试框架,助力游戏工作室通过自动化测试提升游戏质量,论文为相关提案与在研框架的立场性总结。
2023-10-08 cs.SE
OpenSBT: A Modular Framework for Search-based Testing of Automated Driving Systems
基于搜索的软件测试(SBT)是自动驾驶系统(ADS)测试的一种有效方法。然而,ADS测试的测试管道特别具有挑战性,因为它们涉及集成复杂的驾驶模拟平台,并使用所需的搜索算法建立通信协议和API。这种复杂性阻碍了SBT的广泛采用,以及不同模拟器和搜索方法的彻底经验比较实验。我们提出了OpenSBT,一个开源的,模块化的和可扩展的框架,以促进ADS的SBT。使用OpenSBT,可以将仿真器与被测嵌入式系统、搜索算法和适应度函数集成在一起进行测试。我们描述的架构,并显示使用我们的框架,通过应用不同的搜索算法测试自动紧急制动系统在CARLA以及高保真预扫描模拟器与我们的工业合作伙伴电装。OpenSBT可在https://git.fortiss.org/opensbt上获得。这里提供了一个演示视频:https://youtu.be/6csl\_UAOD\_4。
2023-11-02 cs.SE
Automated Test Production -- Complement to "Ad-hoc" Testing
本文探讨了软件测试的重要性与应用难点,分析了工业界采用学术界测试进展的障碍,并提出了在寻求自动化测试解决方案时拟遵循的方法。
2024-01-04 cs.SE
Navigation and Exploration in 3D-Game Automated Play Testing
为了实现自动化软件测试,自动导航到感兴趣的状态并探索这种状态的所有或至少足够数量的实例的能力是基本的。在测试计算机游戏时,这个问题有一个额外的维度,即游戏所处的虚拟世界,这个世界通常在限制哪些逻辑状态是可达的以及如何达到这些逻辑状态方面起着主导作用。因此,任何计算机游戏的自动化测试算法都不可避免地需要一个处理虚拟世界导航的层。与例如通过典型的基于web的应用的GUI导航不同,在虚拟世界上导航更具挑战性。本文讨论了如何从几何和图形为基础的路径发现的概念可以应用在游戏测试的背景下,解决自动导航和探索的问题。作为概念证明,本文还简要讨论了所提出的方法的实施。
2020-09-15 cs.SE
A Case Study on Automated Fuzz Target Generation for Large Codebases
模糊测试是一种很大程度上自动化的测试技术,它向程序提供随机和意外的输入,试图触发故障条件。到目前为止,对模糊测试进行的大部分研究都集中在对可用的模糊测试工具和框架进行改进以提高效率。然而,在本文中,我们着眼于一种方法,可以减少集成模糊测试以帮助维护现有代码库所需的开发人员时间。我们用一种自动生成模糊目标的新技术来实现这一点,模糊目标是模糊测试工具运行的程序的修改版本。我们在行业合作伙伴的代码库上评估了三种不同的模糊测试解决方案,并发现了一种完全自动化的解决方案,该解决方案在实现所述解决方案所需的开发人员时间方面发现了更多的错误。我们的研究朝着提高模糊测试普及率迈出了重要一步,我们的研究让集成模糊测试解决方案来维护现有代码库变得更简单。
2019-07-29 cs.SE
A Review on the Process of Automated Software Testing
对自动化、数字化和快速计算的需求使IT部门对高度可靠、高效和经济高效的软件寄予厚望。考虑到软件产品的测试、验证和确认过程消耗了总收入的50-75%,如果测试过程是无效的,则必须投入“n”倍的支出来修复所造成的破坏。项目完成的延迟通常归因于测试阶段,因为调试过程有许多周期。软件测试过程确定向用户发布的产品的外观。它设定了公司产品的标准和可靠性。随着复杂性的增加,测试变得越来越激烈,以便检查所有的离群值和处理流程的各个分支。测试过程是自动化的,使用软件工具,以避免繁琐的手动过程中的测试输入生成和验证标准,这证明程序只有在一定的置信水平,在存在离群值。
2022-09-07 cs.SE
Efficiency Matters: Speeding Up Automated Testing with GUI Rendering Inference
由于Android应用程序质量保证的重要性,许多自动化GUI测试工具已经开发出来。虽然测试算法得到了改进,但GUI渲染的影响却被忽略了。一方面,在完全呈现的GUI上设置一个很长的等待时间来执行事件会减慢测试过程。另一方面,设置较短的等待时间将导致事件在部分渲染的GUI上执行,这会对测试有效性产生负面影响。一个最佳的轮候时间,应该在效益和效率之间取得平衡。我们提出了AdaT,一个轻量级的基于图像的方法来动态调整事件间的时间基于GUI渲染状态。考虑到GUI上的实时流,AdaT提出了一个深度学习模型来推断渲染状态,并使用测试工具来调度GUI完全渲染时的下一个事件。评估表明,我们的方法的准确性,效率和有效性。我们还将我们的方法与现有的自动化测试工具相结合,以证明AdaT在覆盖更多活动和在完全呈现的GUI上执行更多事件方面的有用性。
2023-02-26 cs.SE
A Systematic Literature Review of Automated Techniques for Functional GUI Testing of Mobile Applications
上下文已经提出并开发了多种用于移动应用GUI测试的自动化技术,旨在提高有效性、效率和实用性。有效性,效率和实用性是测试技术的三个基本特征,需要不断改进,以便为研究人员和从业人员以及整个社区提供有用的解决方案。Objective.在这个系统的审查,我们试图提供一个广泛的现有的移动测试工具,整理和分析他们的概念,也包括估计的有效性,效率和实用性的性能特征。法为了实现我们的目标,我们指定了3个主要的,和14个次要的审查问题,并进行了25个主要研究的分析。我们首先单独分析每个主要研究,然后将主要研究作为一个整体进行分析。我们制定了一个审查方案,其中定义了我们系统性审查的所有细节。结果从有效性方面,我们得出结论,测试技术,实现模型检查,符号执行,约束求解,基于搜索的测试生成方法往往是更有效的比那些实现随机测试生成。从效率,我们得出结论,测试技术,实现基于代码搜索的测试方法往往比那些实现GUI模型为基础的更有效。从实际出发,我们得出结论,测试技术越有效,效率就越低。结论对于有效性,我们观察到现有的自动化测试技术不够有效,目前它们达到了预期有效性水平的近一半。对于效率,我们观察到,目前的自动化测试技术是不够有效的。
2018-12-30 cs.SE
An Online Agent-Based Search Approach in Automated Computer Game Testing with Model Construction
计算机游戏的复杂性不断增加。在这种设置中,引导自动化测试算法在游戏的巨大交互空间中找到解决测试任务的解决方案是非常具有挑战性的。有一个系统的模型来自动生成测试用例将对算法的有效性和效率产生很大的影响。然而,手动构建模型是昂贵且耗时的。在这项研究中,我们提出了一个在线的基于代理的搜索方法来解决常见的测试任务时,测试计算机游戏,也构建了一个模型的系统上的飞行的基础上给定的任务,然后利用解决任务。为了证明我们的方法的效率,案例研究进行了一个游戏称为实验室招聘。
2022-11-13 cs.SE
Feedback-based, Automated Failure Testing of Microservice-based Applications
现代分布式应用程序正在向微服务架构发展,其中每个服务都是独立开发和管理的,并且不断提供新功能和更新。微服务架构的一个指导原则是,它必须被构建为预测和减轻各种硬件和软件故障。为了测试微服务的故障处理能力,本文提出了一种基于反馈的自动化故障测试技术,用于基于微服务的应用程序,旨在快速暴露故障处理逻辑中的缺陷。在一个中等规模的微服务基准测试系统上的初步实验结果表明了该方法的有效性。
2019-08-20 cs.SE
Testing the Usability and Accessibility of Smart TV Applications Using an Automated Model-based Approach
随着智能电视(TV)和交互式智能电视应用(app)的普及,这些app的可用性已经成为重要的质量特征。之前的研究从可用性的角度研究了智能电视应用程序。然而,这些方法主要是手动的,基于模型的自动化测试方法的可用性测试目的的潜力还没有得到充分的探索。在本文中,我们提出了一种方法来测试智能电视应用程序的可用性的基础上自动生成的智能电视用户交互模型,从现有的应用程序由一个专门的自动爬虫。通过该模型,智能电视应用程序中定义的用户任务可以根据其可行性和估计的用户工作量自动进行评估,这反映了分析应用程序的可用性。该分析可以应用于常规用户和具有各种特定需求的用户。这种基于模型的自动化分析方法的结果可用于优化智能电视应用程序的用户界面,以提高其可用性、可访问性和质量。
2020-04-03 cs.SE
Towards Automated Crowdsourced Testing via Personified-LLM
Technical University of Munich(慕尼黑工业大学);Nanjing University(南京大学)
本文提出PersonaTester框架,通过注入三种维度的拟人化特征,模拟多样化的测试行为,提升自动化众包GUI测试的现实性和有效性。
2026-04-15 cs.SE
Automated Soap Opera Testing Directed by LLMs and Scenario Knowledge: Feasibility, Challenges, and Road Ahead
本研究探索基于LLM与场景知识图谱的多智能体肥皂剧测试自动化方案,验证其可行性,分析与人工测试的差距,并提出未来发展方向以指导相关研究。
2024-12-11 cs.SE
Automated and manual testing as part of the research software development process of RCE
研究软件通常由个人研究人员或小型团队在研究工作的同时开发。越多的人和研究项目依赖于有问题的软件,软件更新正确实现新功能并且不引入回归就越重要。因此,研究软件的开发人员必须在实现新功能和彻底测试任何代码更改之间平衡他们有限的资源。我们提出的过程中,我们使用的开发分布式集成框架RCE在DLR。这些过程旨在在自动化和手动测试之间取得平衡,减少测试开销,同时尽早解决问题。我们还简要描述了这些测试过程如何与周围的开发和发布过程集成。
2022-04-12 cs.SE
Model-based Automated Testing of JavaScript Web Applications via Longer Test Sequences
JavaScript已成为Web开发中使用最广泛的语言之一。然而,由于动态和事件驱动的特性,确保用JavaScript编写的Web应用程序的正确性和可靠性是具有挑战性的。针对JavaScript Web应用程序的动态分析技术已经有很多种,但它们在覆盖范围和可扩展性方面都有局限性。在本文中,我们提出了一种基于模型的自动化方法,通过测试较长的事件序列,在合理的时间内实现高代码覆盖率。我们将我们的方法实现为工具LJS,并在21个公开的基准测试(总共18,559行代码)上进行了广泛的实验。LJS平均在10分钟内达到86.4%的行覆盖率,比基于广度优先搜索的自动化测试工具JSDep高5.4%。特别是,在大型应用程序中,LJS的覆盖率比JSDep高11- 18%。我们的经验发现支持更长的测试序列可以实现更高的代码覆盖率在JavsScript测试。
2019-05-19 cs.SE
Fundamental Considerations around Scenario-Based Testing for Automated Driving
自动驾驶汽车是安全关键的复杂系统,其认证需要可靠的证据来证明其安全可操作性。传统上,验证和确认活动由ISO 26262和ISO/PAS 21448以及基于距离的测试指导。从SAE 3级开始,这种方法变得不可行,从而需要新的方法。基于场景的测试被认为是自动驾驶汽车验证和确认的可能推动者。然而,它的有效性取决于该过程每一步所用论点的一致性和实质性。在这项工作中,我们勾勒出一个通用的框架,围绕基于ECOMO的测试和分析当代的方法的各个步骤。对于每一步,我们描述了它的功能,讨论了建议的方法和解决方案,并确定了基本的论点,原则和假设。因此,我们提出了一个基本考虑因素的列表,需要收集证据,以支持自动驾驶汽车的认证,以基于ISO的测试。
2020-05-11 cs.SE
An Agent-based Architecture for AI-Enhanced Automated Testing for XR Systems, a Short Paper
这篇简短的论文介绍了一个名为iv4XR的基于代理的自动化测试框架的架构概述,该框架目前正在由同名的H2020项目开发。该框架的预期主要用例是测试基于延展实境(XR)的系统(例如3D游戏,VR系统,AR系统),尽管该方法确实可以适用于其他类型的交互系统。该框架的独特之处在于它是一个基于代理的系统。代理人是天生的反应,因此可以说是一个自然的匹配来处理交互式系统。此外,它也是安装和组合不同AI功能的天然容器,例如推理,导航和学习。
2021-04-13 cs.SE
Automated and Systematic Digital Twins Testing for Industrial Processes
工业过程的数字孪生(DT)变得越来越重要。他们的目标是以数字方式表示物理世界,以帮助评估,优化和预测物理过程和行为。因此,DT是通过数字化提高生产自动化的重要工具,并且由于快速发展的仿真和建模功能,物联网传感器与DT的集成以及高容量云/边缘计算基础设施而变得更加复杂。然而,DT软件的保真度和可靠性对于表示物理世界至关重要。本文展示了一种自动化和系统化的测试架构DT相关DT状态与实时传感器数据从生产线在锻造行业。我们的评估表明,该架构可以显着加快自动DT测试过程,提高其可靠性。一个系统的在线DT测试方法可以显着检测性能的变化,并不断提高DT的保真度。快照创建方法和测试代理架构可以是一种灵感,并且可以普遍适用于使用DT来概括其自动化测试的其他工业过程。
2023-02-26 cs.SE
SmartUnit: Empirical Evaluations for Automated Unit Testing of Embedded Software in Industry
在本文中,我们针对嵌入式软件的自动化单元覆盖率为基础的测试。为了实现这一目标,通过分析工业需求和我们以前在自动化单元测试工具CAUT上的工作,我们重新构建了一个新的工具SmartUnit,以解决我们合作伙伴公司的工程需求。SmartUnit是一个动态符号执行实现,支持语句、分支、边界值和MC/DC覆盖。SmartUnit已经在实际项目中测试了超过一百万行代码。出于保密动机,我们选择了三个内部真实项目进行实证评估。我们还对两个开源数据库项目SQLite和PostgreSQL进行了评估,以测试我们的工具的可扩展性,因为嵌入式软件项目的规模大多不大,平均只有5 K-50 K行代码。从我们的实验结果来看,一般来说,商业嵌入式软件中90%以上的函数实现了100%的语句、分支、MC/DC覆盖,SQLite中80%以上的函数实现了100%的MC/DC覆盖,PostgreSQL中60%以上的函数实现了100%的MC/DC覆盖。此外,SmartUnit能够在单元测试级别找到运行时异常。我们还报告了SQLite中的异常,如数组索引越界和被零除。此外,我们还分析了自动化单元测试覆盖率低的原因,并对工业上手工单元测试相对于自动化单元测试的情况进行了调查。
2018-06-17 cs.SE
Human-AI Collaboration for Scaling Agile Regression Testing: An Agentic-AI Teammate from Manual to Automated Testing
Institute for Software and Systems Engineering, Technical University of Clausthal(克莱斯塔尔工业大学软件与系统工程研究所);Hacon Ingenieurgesellschaft mbH – A Siemens Company(Hacon工程公司(西门子旗下))
本文探讨了通过智能体AI系统生成系统级回归测试脚本,提升自动化测试效率,并强调持续的人机协作对敏捷测试的重要性。
2026-04-13 cs.SE
Automated Software Testing Using Metahurestic Technique Based on An Ant Colony Optimization
软件测试是软件开发生存周期中重要而有价值的一部分。由于时间,成本和其他情况,详尽的测试是不可行的,这就是为什么有必要自动化的软件测试过程。状态转换测试(STT)是实时的、嵌入式的、基于Web的软件系统中常用的测试方法。本文的目的是提出一种算法,通过应用蚁群优化技术,生成最佳和最小的测试序列的行为规格说明的软件。本文提出的方法生成测试序列,以获得完整的软件覆盖率。本文还讨论了基于转换的测试的两种元启发式技术(遗传算法和蚁群优化)之间的比较
2011-06-14 cs.SE
Fill in the Blank: Context-aware Automated Text Input Generation for Mobile GUI Testing
自动化GUI测试被广泛用于帮助确保移动应用程序的质量。然而,许多GUI需要适当的文本输入才能进入下一页,这仍然是测试覆盖率的一个突出障碍。考虑到有效输入的多样性和语义要求(例如,航班起飞、电影名称),但是使文本输入生成自动化具有挑战性。受预先训练好的大语言模型(LLM)在文本生成方面取得显著进展的启发,提出了一种基于LLM的QTypist方法,用于根据GUI上下文智能地生成语义输入文本。为了提高LLM在移动测试场景中的性能,我们开发了一种基于数据库的数据构建和调优方法,该方法自动提取模型调优的提示和答案。我们对来自Google Play的106个应用程序进行了QTypist评估,结果显示QTypist的通过率为87%,比最佳基线高出93%。我们还将QTypist与自动化GUI测试工具集成,与原始工具相比,它可以覆盖42%的应用程序活动,52%的页面,并随后帮助揭示122%的错误。
2022-12-09 cs.SE
A Survey on the Application of Large Language Models in Scenario-Based Testing of Automated Driving Systems
Graz University of Technology(格拉茨工业大学);Tongji University(同济大学)
本文综述了大型语言模型在自动驾驶系统场景化测试中的应用,系统分类了其在不同测试阶段的角色,并总结了关键特性与使用策略,同时指出了五个开放挑战和研究方向。
2026-01-01 cs.SE
Factors Influencing Performance of Students in Software Automated Test Tools Course
本研究通过分析社区学院软件测试研究生课程的学生数据,利用机器学习算法构建预测模型,发现逻辑回归模型准确率达90%,并识别出影响学生表现的关键因素。
2024-05-31 cs.SE
Towards an Automated Unified Framework to Run Applications for Combinatorial Interaction Testing
组合交互测试(CIT)是一种众所周知的技术,但需要工业经验来确定其在不同应用领域的有效性。我们提出了一个案例研究,介绍了一个统一的框架,用于生成,执行和验证CIT测试套件,基于开源的鳄梨测试框架。此外,我们提出了一个新的工业案例研究,以证明该框架的有效性。该评估表明,新的框架可以生成,执行和验证有效的组合交互测试套件,用于检测虚拟化系统中的配置故障(无效配置)。
2019-03-13 cs.SE
Practical, Automated Scenario-based Mobile App Testing
本文提出ScenTest方法,通过GUI图像理解构建事件知识图谱(EKG),将领域知识融入基于场景的移动应用测试,首次实现目标场景的全自动化测试生成,并能揭示80多个真实缺陷。
2024-06-12 cs.SE
Automated Functional Testing based on the Navigation of Web Applications
Web应用程序变得越来越复杂。测试这样的应用程序是一个复杂的困难和耗时的活动。因此,实践者经常执行不好或跳过测试。测试自动化可以帮助避免这种情况。因此,本文提出了一种新的方法来执行自动化的软件测试的Web应用程序的基础上,其导航。一方面,Web导航是使用浏览器遍历Web应用程序的过程。另一方面,功能需求是应用程序必须执行的操作。因此,对Web应用程序的正确导航的评估导致对指定功能需求的评估。所提出的方法来执行自动化是在四个层次:测试用例生成,测试数据推导,测试用例执行,测试用例报告。该方法由三种输入驱动:i)UML模型; ii)Selenium脚本; iii)XML文件。我们已经在一个名为自动测试平台的开源测试框架中实现了我们的方法。这项工作的验证已经进行了一个案例研究,其中的目标是一个真正的发票管理系统开发使用模型驱动的方法。
2011-08-11 cs.SE
Semantics-based Automated Web Testing
我们提出了TAO,一个软件测试工具进行自动化测试和oracle生成的语义方法的基础上。TAO将基于语法的测试生成与使用指称语义框架的自动语义评估相结合。我们展示了如何将TAO与Selenium自动化工具结合起来进行自动化Web测试,以及如何进一步扩展TAO以支持自动化Delta调试,其中失败的Web测试脚本可以根据语法指导策略系统地减少。本文通过一个实际的停车场网站来验证基于语义的Web测试方法的有效性。
2015-08-17 cs.PL cs.SE
Software Framework for Testing of Automated Driving Systems in a Dynamic Traffic Environment
自动驾驶系统(ADS)的虚拟测试已成为所有自动化水平测试程序的重要组成部分。由于自动化水平3及以上的ADS非常复杂,因此对此类系统进行虚拟测试是不可避免的。这些层次的复杂性在于对虚拟环境的建模和计算需求,虚拟环境包括道路、交通、静态和动态对象以及汽车本身的建模。对于ADS的安全性和性能分析,最重要的部分是道路交通参与者的建模和考虑。有多种交通流仿真软件(TFSS)用于再现真实的交通行为,并直接或通过接口与车辆仿真软件(VSS)集成。对于这些软件环境,以定义的方式操纵交通参与者的可能性是有益的,例如在被测车辆附近或实现用于交通车辆的定义的驾驶员模型。在本文中,我们提出了一个软件框架的基础上提供的外部驱动程序模型接口的Vissim。这个框架使得它可以很容易地操纵交通参与者的ADS测试的目的。
2021-03-24 cs.SE
Requirements-Driven Automated Software Testing: A Systematic Review
本文系统综述了需求驱动的自动化软件测试(REDAST),分析156篇文献后发现基于规则的方法占主导、机器学习探索不足,完全自动化罕见,并据此提出未来研究方向。
2025-08-23 cs.SE
Maintenance of Automated Test Suites in Industry: An Empirical study on Visual GUI Testing
验证与确认(Verification and Validation,V&V)活动在实践中占软件系统总开发成本的20%到50%。测试自动化被提出来降低这些V&V成本,但现有的研究只提供了有限的经验数据,从工业实践中的维护成本的自动化测试和影响这些成本的因素。特别是,这些成本和因素对于基于GUI的自动化测试是未知的。目的:本文通过分析与工业实践中基于GUI的自动化测试维护相关的成本和因素,解决了这种知识的缺乏。方法:在两个公司,西门子和萨博,实证研究报告的采访,和实证工作,可视化GUI测试进行获取数据的技术的维护成本和可行性。结果:观察到13个因素,影响维修,如测试人员的知识/经验和测试用例的复杂性。此外,统计分析表明,开发新的测试脚本比维护成本更高,但频繁的维护比不频繁的大爆炸维护成本更低。此外,成本模型,在以前的工作的基础上,提出了估计的时间,以积极的投资回报率(ROI)的测试自动化相比,手动测试。结论:它的结论是,测试自动化可以降低一个项目的整体软件开发成本,同时也对软件质量有积极的影响。然而,维护成本仍然是相当可观的,公司目前花在手动测试上的时间越少,在自动化之后达到积极的、经济的ROI之前需要的时间就越多。
2016-02-03 cs.SE
Functional Requirements-Based Automated Testing for Avionics
我们提出并证明了一种方法,减少测试工作的安全关键软件开发使用DO-178指南。我们实现了这一目标,通过应用有界模型检验(BMC),以正式的低层次的要求,以自动生成测试,是足够好的,以取代现有的劳动密集型测试编写程序,同时保持独立的实现文物。鉴于现有的手动过程往往是经验和主观的,我们开始正式定义一个度量,它扩展了公认的最佳实践,从代码覆盖率分析策略,以生成测试,充分覆盖的要求。然后,我们制定的自动化测试生成程序,并应用其原型与工业合作伙伴的案例研究。在回顾中,这里开发的方法被证明可以显着减少人为的工作,根据DO-178指南的软件产品的资格。
2017-07-05 cs.SE
Towards Automated Boundary Value Testing with Program Derivatives and Search
在测试软件时,一种自然且经常使用的策略是在边界处使用输入值,即预期行为变化最大的地方,这种方法通常称为边界值测试或分析(BVA)。尽管这一直是一个关键的测试思想,但很难明确定义和形式化。因此,它也很难自动化。在本研究报告中,我们提出了一个这样的形式化的BVA,以类似的方式如何在数学中定义函数的导数,考虑(软件)程序的衍生物。我们定义的关键是输入和输出之间的距离的概念,我们可以形式化,然后根据信息论的思想进行量化。然而,对于我们的(黑盒)方法是实用的,必须搜索具有特定属性的测试输入。耦合它与搜索为基础的软件工程,因此需要,我们讨论了如何程序衍生物可以被用来作为和健身功能。这个简短的说明不允许更深入的经验调查,但我们使用一个简单的说明性例子来介绍主要思想。通过结合程序的衍生物与搜索,我们因此提出了一个实用的,以及理论上有趣的技术自动边界值(分析和)测试。
2019-05-27 cs.SE
To What Extent Is Stress Testing of Android TV Applications Automated in Industrial Environments?
基于Android的智能电视(TV)必须在各种硬件资源条件下在嵌入式程序环境中可靠地运行其应用程序。由于用于构建众多电视模型的各种硬件组件,电视模拟器通常没有足够的保真度来模拟各种电视模型,因此在对此类应用进行压力测试时仅被视为不可靠的替代品。因此,尽管在真实电视机上进行压力测试是繁琐的,但这是确保行业中这些应用程序可靠性的事实方法。在本文中,我们研究在工业环境中,智能电视应用程序的压力测试可以在多大程度上完全自动化。据我们所知,没有以前的工作已经解决了这个重要的问题。我们总结了从10个工业测试工程师那里收集的结果,他们在真实的生产环境中测试了20个这样的电视应用程序。我们的研究表明,行业所需的测试自动化支持高层次的GUI对象控制和状态检查,资源条件的设置和两者之间的相互作用。有了这些支持,一个电视型号的87%的工业测试规格可以完全自动化,其中71.4%被发现是完全可重复使用的,以测试后续的电视型号,主要升级的硬件,操作系统和应用程序。与没有此类支撑的压力测试相比,它代表了28%和38%的利润率的显着改善。
2015-09-23 cs.SE
Automated Testing and Repair for Verified Compilers Generated by a Coding Agent
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
该研究针对编码智能体生成的验证编译器,提出了基于智能体的自动化测试与修复系统,经评估其在Axon编译器上无奖励黑客攻击问题,可有效开展测试与修复。
2026-08-03 cs.SE
An Automated Testing Framework For Smart TV apps Based on Model Separation
智能电视应用程序(app)是一种新的技术软件应用程序,可以处理智能电视设备添加更多的功能和特性。尽管它现在很重要,但到目前为止,人们对测试这种应用程序的系统方法关注太少了。本文提出了一种系统的基于模型的智能电视应用测试方法,该方法利用模型分离的新概念,使用基于用户偏好的子模型代替穷举测试生成测试用例。基于所构建的模型,我们生成了一组测试用例来评估应用程序中所选择的到所选目的地的路径。我们还为智能电视应用程序定义了新的变异算子来评估我们的测试方法。评估结果表明,与手动探索性测试相比,我们的方法可以用更少的时间生成更全面的智能电视应用程序模型。实验结果也表明,该方法可以生成有效的故障检测测试用例。
2020-02-02 cs.SE
KAT: Dependency-aware Automated API Testing with Large Language Models
针对传统API测试工具处理依赖关系的局限性,研究提出AI驱动的KAT方法,结合GPT与提示技术自主生成RESTful API测试相关内容,经12个真实服务验证,在覆盖率、缺陷检测和误报率上均优于现有先进工具。
2024-07-14 cs.SE
Automated Testing of Prevalent 3D User Interactions in Virtual Reality Applications
The University of Sheffield(谢菲尔德大学)
本文提出XRintTest方法,通过交互流程图实现VR应用中常见3D用户交互的自动化测试,提升测试效率和覆盖率。
2026-01-30 cs.SE
A Survey on Automated Driving System Testing: Landscapes and Trends
自动驾驶系统(ADS)近年来在学术界和工业界的共同努力下取得了巨大的成就。典型的ADS由多个模块组成,包括传感,感知,规划和控制,汇集了不同领域的最新进展。尽管取得了这些成就,但ADS的安全保障意义重大,因为ADS的不安全行为可能带来灾难性的后果。测试已被公认为一个重要的系统验证方法,旨在揭露不安全的系统行为,然而,在ADS的背景下,它是极具挑战性的设计有效的测试技术,由于系统的高度复杂性和多学科性。已经有大量的文献集中在ADS的测试,也出现了一些调查,以总结技术进步。大多数的调查集中在软件模拟器内执行的系统级测试,从而忽略了不同模块的不同功能。在本文中,我们提供了一个全面的调查现有的ADS测试文献,其中考虑到模块级和系统级测试。具体而言,本文的主要贡献如下:(1)对ADS的模块级测试技术进行了综述,并指出了不同模块的特性对测试技术的影响;(2)对系统级测试技术进行了综述,重点对系统开发或部署过程中出现的问题、不同模块之间的协作问题(3)分析了ADS测试面临的挑战和机遇,为ADS测试的进一步研究奠定了基础。
2023-01-14 cs.SE
Automated Test Case Generation using Petri Nets
软件测试是确定软件系统的精度、质量、完整性和安全性的过程。软件测试的一个重要步骤是测试用例的生成,测试用例的质量对测试的时间和成本起着至关重要的作用。在这项研究中,它表明,结构和行为图可以用来表示规格在一个单一的模型,使用高级Petri网(HLPN)。本文研究了基于Petri网的测试模型自动生成问题。此外,从非形式化模型(UML)生成一致的形式化模型(HLPN)是本研究的重点。
2015-09-28 cs.SE
Verifying Web Applications: From Business Level Specifications to Automated Model-Based Testing
阻止基于模型的测试在行业中得到更广泛应用的原因之一是开发人员在试图根据属性而不是线性规范进行思考时遇到的困难。传统上,在指定系统的客户所说的语言和构建该系统模型所需的语言之间存在差异。商业系统规范的动态性进一步加剧了这一问题,因为每次规范更改后都需要重新检查模型。在本文中,我们提出了一种方法,用于转换规格书中常用的准自然语言小黄瓜到模型使用基于模型的测试工具。我们使用QuickCheck实例化了这种方法,并通过对马耳他居民的国家健康门户网站eHealth系统的案例研究证明了其适用性。
2014-03-28 cs.SE
CrashScope: A Practical Tool for Automated Testing of Android Applications
在测试移动应用程序时,由于其普遍的事件驱动性质和复杂的上下文功能(例如传感器,通知),会出现独特的挑战。当前用于Android应用的自动化输入生成方法由于所需的仪器化或平台依赖性而通常对于开发人员来说不实用,并且通常不能有效地运用上下文特征。为了更好地支持开发人员执行移动测试任务,在本演示中,我们将介绍一种名为CrashScope的新型自动化工具。此工具根据静态和动态分析提供的几种策略,使用系统输入生成来探索给定的Android应用程序,其内在目标是触发崩溃。当检测到崩溃时,CrashScope会生成一个增强的崩溃报告,其中包含屏幕截图、详细的崩溃再现步骤、捕获的异常堆栈跟踪以及一个完全可重播的脚本,该脚本可在目标设备上自动再现崩溃。初步研究结果表明,CrashScope能够发现与其他最先进的工具一样多的崩溃,同时为开发人员提供详细有用的崩溃报告和测试脚本。网址:www.example.com视频网址:www.example.com
2018-01-18 cs.SE
Leveraging LLM Agents for Automated Video Game Testing
Zhejiang University(浙江大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Singapore Management University(新加坡管理大学)
针对MMORPG测试中状态覆盖率和效率低的问题,提出LLM驱动的智能体框架TITAN,通过感知状态、优化动作、长周期推理和LLM预言机,在商业游戏中实现95%任务完成率并发现多个未知错误。
2025-09-26 cs.SE
PopSweeper: Automatically Detecting and Resolving App-Blocking Pop-Ups to Assist Automated Mobile GUI Testing
本文提出 PopSweeper,利用深度学习视觉方法实时检测移动应用阻塞弹窗并定位关闭按钮,以低开销提升自动化 GUI 测试的连续性、准确性与效率。
2024-12-04 cs.SE
Enabling Automated Integration Testing of Smart Farming Applications via Digital Twin Prototypes
本文提出数字孪生原型方法,通过仿真硬件接口实现智能农业应用(如青贮饲料制作)的自动化集成测试,并支持持续集成与Docker容器持续部署。
2023-11-09 cs.SE
How do Developers Test Android Applications?
实现移动应用程序的全自动测试最近已成为研究人员和从业人员的重要研究课题。已经提出了大量的工具和方法,通过增加手动测试实践和自动化测试过程的各个部分来帮助移动开发人员。然而,目前的自动化测试方法无法让开发人员相信它们的好处,导致大多数移动测试都是手动执行的。为了帮助设计支持移动测试方法的研究人员和从业人员了解开发人员的需求,我们分析了来自Android项目的102位开源贡献者关于他们在执行测试时的实践的调查回复。调查的重点是关于开发人员/测试人员在野外的实践和偏好的问题:(i)设计和生成测试用例,(ii)自动化测试实践,以及(iii)对质量度量的看法,例如用于确定测试质量的代码覆盖率。通过分析从这次调查中收集到的信息,我们汇编了一套知识体系,以帮助指导研究人员和专业人员根据不同开源开发人员的需求定制新的自动化测试方法。
2018-01-19 cs.SE
SpecOps: A Fully Automated AI Agent Testing Framework in Real-World GUI Environments
Purdue University(普渡大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
SpecOps是一种全新的自动化AI代理测试框架,通过专门设计的LLM代理处理四个阶段,实现对真实GUI环境中复杂代理的高效测试与验证。
2026-03-10 cs.SE
Taming the Beast: Fully Automated Unit Testing with Coyote C++
本文提出 Coyote C++,一个面向 C 和 C++ 的全自动化白盒单元测试工具,结合 concolic 执行引擎与自动化测试套件生成,实现高覆盖率与高速测试,并支持手动优化,使 C++ 自动化测试在工业应用中真正可行。
2024-01-04 cs.PL cs.SE
ARTENOLIS: Automated Reproducibility and Testing Environment for Licensed Software
动机:自动测试代码变更是持续集成的一个基本特性。对于开源代码,没有许可的依赖关系,存在各种持续集成服务。基于约束的重建和分析(COBRA)是一套用于计算建模的开源代码,依赖于许可软件。一个新的自动化框架的持续集成在半许可证的环境中需要开发的COBRA社区和相关工具的COBRA。结果如下:ARTENOLIS是一个通用的基础设施软件应用程序,它实现了开源软件与许可依赖项的持续集成。它使用主从框架,在多个操作系统和多个版本的许可软件依赖项上测试代码。ARTENOLIS确保COBRA工具和相关工具中代码的稳定性、完整性和跨平台兼容性。可用性和实施:可通过artenolis.lcsb.uni.lu免费访问持续集成服务器,该服务器是再现性和测试基础设施的核心。持续集成框架代码位于/.ci目录中,位于存储库的根目录下,可在github.com/opencobra/cobratoolbox上免费获得。
2017-12-01 cs.SE