Model-based Automated Testing of Mobile Applications: An Industrial Case Study
移动应用程序的自动测试是近年来研究的一个热点。然而,工业中的测试仍然是一种非常手工的做法,因为研究成果尚未完全转移和采用。考虑到移动应用,手动测试具有由大量可用设备和不同配置以及这些设备的维护和设置所造成的充分测试的额外负担。在本文中,我们提出并评估使用基于模型的测试生成方法,生成的测试上执行一组云托管的真实移动设备。通过使用基于模型的方法,我们生成动态的,不那么脆弱,实现简单的测试用例。在具有不同配置的多个真实设备上执行测试增加了被测系统实现的信心。我们的评估表明,所使用的方法产生了高覆盖率的用户交互相关的应用程序的部分。尽管如此,在测试生成中需要包含外部服务,以额外增加完整应用程序的覆盖范围。此外,我们提出了在工业环境中转移和实施这种方法并将其应用于实际产品时所吸取的经验教训。
2020-08-20 cs.SE
Vision-Based Mobile App GUI Testing: A Survey
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);Technical University of Munich(慕尼黑工业大学);Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机系)
本文综述271篇移动应用GUI测试论文,重点分析92篇基于视觉的研究,总结其相较传统方案的优势、挑战及未来方向。
2025-10-20 cs.SE
Practical, Automated Scenario-based Mobile App Testing
本文提出ScenTest方法,通过GUI图像理解构建事件知识图谱(EKG),将领域知识融入基于场景的移动应用测试,首次实现目标场景的全自动化测试生成,并能揭示80多个真实缺陷。
2024-06-12 cs.SE
AMOGA: A Static-Dynamic Model Generation Strategy for Mobile Apps Testing
在过去的几年里,移动设备已经越来越多地取代传统计算机,因为它们的能力,如CPU计算,内存,RAM大小等等,正在增强到几乎与传统计算机相当的水平。移动应用程序开发人员正在利用这些功能来制作提供更多功能和优化性能的应用程序。为了确保可接受的质量并满足其规格(例如,设计),移动应用程序需要进行彻底的测试。由于测试过程通常是单调乏味的,测试自动化可能是减轻这种费力活动的关键。在基于Android的移动应用程序的背景下,研究人员和从业者提出了许多方法来自动化测试过程,主要是在测试套件的创建上。虽然有用,但大多数现有方法依赖于对被测应用程序的模型进行逆向工程以创建测试用例。通常,由于逆向工程方法的不完整性,应用程序模型不能广泛地捕获应用程序的动态行为,因此这种方法表现出缺乏全面性。为了解决这个问题,本文提出了AMOGA,一种策略,使用一种混合的,静态-动态的方法来生成用户界面模型从移动应用程序的基于模型的测试。AMOGA实现了一种新颖的爬行技术,该技术使用与每个事件相关联的UI元素的事件列表来在运行时动态地执行事件排序以探索应用程序的行为。实验评估的结果表明,AMOGA代表了一种基于模型的移动应用程序测试的替代方法,通过生成全面的模型来提高应用程序的覆盖率。
2019-02-01 cs.SE
On the Energy Footprint of Mobile Testing Frameworks
高能耗是当今越来越多的移动应用面临的一个具有挑战性的问题。然而,尽管能耗是应用程序的重要非功能性需求,但仍以临时方式进行测试。这种限制在软件测试期间变得特别令人不安:一方面,开发人员并不真正知道如何测量能量;另一方面,不知道测试框架所施加的能量开销是什么。在本文中,当我们评估八个流行的移动UI自动化框架时,我们发现有些自动化框架的能耗增加了大约2200%。虽然在交互方面受到限制,但Espresso是最节能的框架。但是,根据测试人员的需要,Appium、Monkeyrunner或UIAutomator都是不错的选择。在实践中,结果表明,决定哪个是最合适的框架是至关重要的。我们提供了一个决策树来帮助开发人员对哪个框架最适合他们的测试需求做出明智的决定。
2019-10-19 cs.SE
A Systematic Literature Review of Automated Techniques for Functional GUI Testing of Mobile Applications
上下文已经提出并开发了多种用于移动应用GUI测试的自动化技术,旨在提高有效性、效率和实用性。有效性,效率和实用性是测试技术的三个基本特征,需要不断改进,以便为研究人员和从业人员以及整个社区提供有用的解决方案。Objective.在这个系统的审查,我们试图提供一个广泛的现有的移动测试工具,整理和分析他们的概念,也包括估计的有效性,效率和实用性的性能特征。法为了实现我们的目标,我们指定了3个主要的,和14个次要的审查问题,并进行了25个主要研究的分析。我们首先单独分析每个主要研究,然后将主要研究作为一个整体进行分析。我们制定了一个审查方案,其中定义了我们系统性审查的所有细节。结果从有效性方面,我们得出结论,测试技术,实现模型检查,符号执行,约束求解,基于搜索的测试生成方法往往是更有效的比那些实现随机测试生成。从效率,我们得出结论,测试技术,实现基于代码搜索的测试方法往往比那些实现GUI模型为基础的更有效。从实际出发,我们得出结论,测试技术越有效,效率就越低。结论对于有效性,我们观察到现有的自动化测试技术不够有效,目前它们达到了预期有效性水平的近一半。对于效率,我们观察到,目前的自动化测试技术是不够有效的。
2018-12-30 cs.SE
Fill in the Blank: Context-aware Automated Text Input Generation for Mobile GUI Testing
自动化GUI测试被广泛用于帮助确保移动应用程序的质量。然而,许多GUI需要适当的文本输入才能进入下一页,这仍然是测试覆盖率的一个突出障碍。考虑到有效输入的多样性和语义要求(例如,航班起飞、电影名称),但是使文本输入生成自动化具有挑战性。受预先训练好的大语言模型(LLM)在文本生成方面取得显著进展的启发,提出了一种基于LLM的QTypist方法,用于根据GUI上下文智能地生成语义输入文本。为了提高LLM在移动测试场景中的性能,我们开发了一种基于数据库的数据构建和调优方法,该方法自动提取模型调优的提示和答案。我们对来自Google Play的106个应用程序进行了QTypist评估,结果显示QTypist的通过率为87%,比最佳基线高出93%。我们还将QTypist与自动化GUI测试工具集成,与原始工具相比,它可以覆盖42%的应用程序活动,52%的页面,并随后帮助揭示122%的错误。
2022-12-09 cs.SE
Layout and Image Recognition Driving Cross-Platform Automated Mobile Testing
碎片化问题已经从Android扩展到不同的平台,例如iOS,移动网络,甚至一些应用程序(app)中的小程序。在这种情况下,记录和回放测试脚本是一种流行的自动化移动应用程序测试方法。但这种方法在跨平台时遇到了严重的问题。需要开发同一应用程序的不同版本,以支持依赖于不同平台支持的不同平台。因此,移动应用程序开发人员需要针对完全相同的测试需求为多个平台开发和维护测试脚本,这大大增加了测试成本。然而,我们发现开发人员在不同平台上为同一应用程序的版本采用高度相似的用户界面布局。这种现象激励我们从类似UI布局的角度重放测试脚本。我们提出了一个图像驱动的移动应用程序测试框架,利用Widget特征匹配和布局特征匹配。我们利用计算机视觉技术对应用截图进行UI特征对比和布局层次提取,获取具有丰富上下文信息的UI结构,包括坐标、相对关系等。基于获取的UI结构,我们可以形成平台无关的测试脚本,然后定位待测目标widget。因此,建议的框架非侵入性重放测试脚本根据一种新的平台无关的测试脚本模型。我们还设计并实现了一个名为LIT的工具,将所提出的框架付诸实践,在此基础上,我们进行了实证研究,以评估所提出的测试框架的有效性和可用性。结果显示,在Android上,整体重放准确率达到63.39%左右(比最先进的方法提高了14%),在iOS上达到21.83%(比最先进的方法提高了98%)。
2021-02-22 cs.SE
Improving Random Testing via LLM-powered UI Tarpit Escaping for Mobile Apps
East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新 institute)
本文提出基于LLM的随机GUI测试方法,通过监控UI相似性识别陷阱并建议事件逃离,提升移动应用测试覆盖率和bug发现率,实验显示HybridMonkey和HybridDroidbot在12个应用上平均覆盖率提升54.8%和44.8%。
2026-04-13 cs.SE
Make LLM a Testing Expert: Bringing Human-like Interaction to Mobile GUI Testing via Functionality-aware Decisions
本文提出 GPTDroid 框架,将移动 GUI 测试转化为问答任务,让 LLM 与应用交互生成测试脚本,并引入功能感知记忆提示机制指导长期探索,在 93 个应用上测试覆盖率提升 32%,发现更多 bug 并识别出 53 个新 bug。
2023-10-24 cs.SE
Chatting with GPT-3 for Zero-Shot Human-Like Mobile Automated GUI Testing
提出GPTDroid,利用大语言模型将移动GUI测试转化为问答任务,通过迭代对话生成类人测试脚本,在86个应用上覆盖率提升32%,缺陷检测增加36%。
2023-05-16 cs.SE
Advancing Mobile UI Testing by Learning Screen Usage Semantics
本研究面向移动应用自动化 UI 测试覆盖不足与可访问性问题,提出学习屏幕使用语义,以改进 GUI 导航、高层功能覆盖理解及界面设计缺陷识别。
2025-05-15 cs.SE
Mobile App Crowdsourced Test Report Consistency Detection via Deep Image-and-Text Fusion Understanding
针对移动应用众包测试中报告图文不一致的问题,提出两阶段方法ReCoDe,通过深度图文融合理解检测报告一致性,在超2.2万份报告的数据集上验证有效,可提升开发者审核效率。
2023-06-12 cs.SE
To the Attention of Mobile Software Developers: Guess What, Test your App!
软件测试是软件开发生命周期中的一个重要阶段,因为它有助于在软件系统交付给最终用户之前识别软件系统中的错误。有许多关于开发人员如何测试通用软件应用程序的研究。然而,移动软件应用程序的特性将移动应用程序与通用系统(例如,桌面、独立应用程序、Web服务)。本文研究了移动软件开发人员在测试方面的工作习惯和挑战。我们使用1000个Android应用程序进行了详尽的研究,其中一个关键发现表明,移动应用程序仍然以非常特殊的方式进行测试,如果进行测试的话。然而,我们表明,与其他类型的软件一样,测试提高了应用程序的质量(在用户评分和代码问题数量中得到证明)。此外,我们发现有证据表明,在吸引社区为移动开源软件做出贡献时,测试至关重要。我们讨论的原因和潜在的方向,以解决我们的研究结果。我们研究的另一个相关发现是,持续集成和持续部署(CI/CD)管道在移动应用程序世界中很少见(只有26%的应用程序是在使用CI/CD的项目中开发的)-我们认为主要原因之一是由于缺乏详尽和自动测试。
2019-02-14 cs.SE
How do Developers Test Android Applications?
实现移动应用程序的全自动测试最近已成为研究人员和从业人员的重要研究课题。已经提出了大量的工具和方法,通过增加手动测试实践和自动化测试过程的各个部分来帮助移动开发人员。然而,目前的自动化测试方法无法让开发人员相信它们的好处,导致大多数移动测试都是手动执行的。为了帮助设计支持移动测试方法的研究人员和从业人员了解开发人员的需求,我们分析了来自Android项目的102位开源贡献者关于他们在执行测试时的实践的调查回复。调查的重点是关于开发人员/测试人员在野外的实践和偏好的问题:(i)设计和生成测试用例,(ii)自动化测试实践,以及(iii)对质量度量的看法,例如用于确定测试质量的代码覆盖率。通过分析从这次调查中收集到的信息,我们汇编了一套知识体系,以帮助指导研究人员和专业人员根据不同开源开发人员的需求定制新的自动化测试方法。
2018-01-19 cs.SE
Automated Functional Testing for Malleable Mobile Application Driven from User Intent
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院)
本文提出ALADDIN框架,通过用户需求驱动生成GUI测试,验证用户指定功能的正确性,展示了在六个移动应用上的有效性,推动移动开发向用户驱动模式转变。
2026-04-08 cs.SE
PropGen: Automated Property Generation for Property-Based Testing of Mobile Apps
Singapore Management University(新加坡管理大学);East China Normal University(华东师范大学)
本文提出PropGen,通过功能引导探索收集行为证据,生成并优化属性,发现25个未被现有方法发现的功能性bug。
2026-10-09 cs.SE
PopSweeper: Automatically Detecting and Resolving App-Blocking Pop-Ups to Assist Automated Mobile GUI Testing
本文提出 PopSweeper,利用深度学习视觉方法实时检测移动应用阻塞弹窗并定位关闭按钮,以低开销提升自动化 GUI 测试的连续性、准确性与效率。
2024-12-04 cs.SE
DinoDroid: Testing Android Apps Using Deep Q-Networks
对移动设备的大量需求引起了对移动应用程序(app)质量的重大关注。开发人员需要在向市场发布之前保证移动应用程序的质量。有许多方法使用不同的策略来测试移动应用程序的GUI。然而,由于其有限的有效性,它们仍然需要改进。在本文中,我们提出了DinoDroid,这是一种基于深度Q网络的方法,可以自动测试Android应用程序。DinoDroid从一组现有的应用程序中学习行为模型,学习的模型可用于探索和生成新应用程序的测试。DinoDroid能够捕获GUI事件的细粒度细节(例如,GUI小部件的内容),并将其用作输入深度神经网络的特征,深度神经网络充当引导应用探索的代理。DinoDroid在探索过程中自动适应学习的模型,而不需要任何建模策略或预定义的规则。我们对64个开源Android应用程序进行了实验。测试结果表明,DinoDroid在代码覆盖率和bug检测方面优于现有的Android测试工具。
2022-10-12 cs.SE
MDroid+: A Mutation Testing Framework for Android
变异测试在评估测试套件的有效性方面表现出了很大的潜力,同时在测试用例生成、选择和优先级排序方面也表现出了额外的应用。传统的突变测试通常利用一组简单的语言特定的源代码转换(称为操作符)来引入错误。然而,实证研究表明,变异测试是最有效的,这些简单的运营商必须与特定的运营商在测试中的软件的域。突变测试应用的一个具有挑战性的软件领域是移动应用程序。虽然移动设备和附带的应用程序已成为现代计算的支柱,但其开发中使用的框架和模式使得测试和验证特别困难。为了帮助衡量和确保移动测试实践的有效性,我们引入了MDroid+,这是一个用于Android应用程序突变测试的自动化框架。MDroid+包括来自十种经验推导的Android故障类型的38个突变运算符,并已应用于为50多个应用程序生成8,000多个突变体。
2018-02-13 cs.SE
Towards Benchmarking GUI Compatibility Testing on Mobile Applications
GUI是连接用户和应用程序的桥梁。现有的GUI测试任务可以分为两组:功能测试和兼容性测试。功能性测试侧重于检测应用程序运行时的错误,而兼容性测试旨在检测由于设备或平台差异而导致的错误。为了自动化测试过程和提高测试效率,以前的工作已经提出了几十个工具。为了评估这些工具,在功能测试中,研究人员发布了测试基准。相比之下,在兼容性测试中,“现有方法是否确实有效地帮助测试用例重放?””没有得到很好的回答。为了回答这个问题,推动GUI兼容性测试的相关研究,我们提出了一个GUI兼容性测试基准。在我们的实验中,我们比较了现有工具的重放成功率。根据实验结果,我们总结了可能导致无效的测试用例重放的原因,并提出了改进的机会。
2022-12-27 cs.HC cs.SE
FuncDroid: Towards Inter-Functional Flows for Comprehensive Mobile App GUI Testing
FuncDroid通过跨功能流导向的GUI测试方法,有效提升移动应用测试的覆盖率和bug检测能力。
2026-07-15 cs.SE
Multi-modal Traffic Scenario Generation for Autonomous Driving System Testing
针对自动驾驶系统测试中交通场景构建繁琐耗时的问题,提出多模态场景生成方法TrafficComposer,结合自然语言描述与场景图像生成高质量交通场景,在120个场景基准上准确率达97.0%,并在6个系统中直接发现37个缺陷。
2025-06-14 cs.SE
A Systematic Mapping Study Addressing the Reliability of Mobile Applications: The Need to Move Beyond Testing Reliability
移动应用市场的激烈竞争意味着保持高水平的应用可靠性以避免流失用户非常重要。然而,尽管它的重要性,应用程序的可靠性是在研究文献中探索不足。为了满足这一需求,我们通过系统的映射研究来识别,分析和分类移动应用程序可靠性领域的最新技术。从这样的研究结果中,该领域的研究人员可以确定紧迫的研究差距,开发人员可以获得有关现有解决方案的知识,以便在实践中利用它们。我们找到了87篇相关论文,然后根据其研究重点,研究类型,贡献,研究方法,研究设置,数据,质量属性和使用的度量标准进行了分析和分类。结果表明,有一个缺乏研究的理解可靠性方面的上下文感知,自我修复,老化和复兴,和运行时事件处理。这些方面很少被研究,或者即使研究过,也只有有限的评价。我们还确定了其他几个研究差距,包括需要在现实世界的工业项目中进行更多的研究。此外,在进行研究时很少注意质量标准。这里的结果显示,在移动应用程序可靠性方面有许多更深入和更广泛的研究机会。
2022-06-20 cs.SE
ACTesting: Automated Cross-modal Testing Method of Text-to-Image Software
提出首个面向文生图软件的自动化跨模态测试方法 ACTesting,利用蜕变测试、ER 三元组和变异算子揭示文本—图像不一致错误。
2025-01-11 cs.SE
Improving Mobile User Interface Testing with Model Driven Monkey Search
University College Dublin(都柏林大学);National Institute of Informatics(信息学国立研究所)
该研究提出新型控制流结构,结合深度优先搜索改进Android自动化测试工具Monkey,提升测试效率与界面覆盖率,推动更高效的自动化测试技术发展。
2026-08-04 cs.SE
Testing the Limits: Unusual Text Inputs Generation for Mobile App Crash Detection with Large Language Model
本文提出InputBlaster,利用LLM自动生成异常文本输入以检测移动应用崩溃,通过生成测试生成器及变异规则实现78%的bug检测率,并在真实应用中发现37个新崩溃。
2023-10-24 cs.SE
Towards an I/O Conformance Testing Theory for Software Product Lines based on Modal Interface Automata
我们提出了一个适应的输入/输出一致性(ioco)测试原则,家庭的类似的实现变体出现在产品线工程。我们提出的产品线测试理论依赖于模态接口自动机(MIA)的行为规格说明形式主义。MIA丰富了I/O标记的转换系统与可能/必须模态,以区分强制性和可选的行为,从而提供了一个语义概念的内在行为可变性。特别是,MIA构成了一个受限制的,但充分表达的I/O标记的模态转换系统的子类,保证理想的细化和组合属性。定义在MIA上的模态-ioco关系在MIA精化下保持不变,这在我们的产品线测试理论中作为变体推导机制。因此,模态ioco被证明是正确的,因为它与传统ioco一致,适用于每个可导出的实现变体。在此基础上,建立了基于产品族的产品线一致性测试框架。
2015-04-14 cs.LO cs.SE
MobiCoMonkey - Context Testing of Android Apps
许多移动应用程序的功能取决于各种上下文、外部因素。根据不可预见的情况,移动应用程序甚至可能出现故障或崩溃。在本文中,我们介绍了一种自动化工具,允许开发人员针对自定义或自动生成的上下文场景测试应用程序,并通过模拟器帮助检测可能的错误。此外,它还报告了错误和上下文因素之间的联系,以便以后可以重现错误。它利用Android SDK和logcat提供的工具来注入事件并捕获应用程序执行的痕迹。
2018-04-07 cs.SE
From Natural Language to Executable Properties for Property-based Testing of Mobile Apps
East China Normal University(华东师范大学);University of Electronic Science and Technology of China(电子科技大学);Nanjing University(南京大学);ETH Zurich(苏黎世联邦理工学院)
本文提出了一种新的结构化属性合成方法,将自然语言属性描述自动转换为可执行属性,并通过iPBT工具验证,展示了其在提升测试效率和鲁棒性方面的贡献。
2026-03-22 cs.SE
EpiDroid: Dependency-Guided Recomposition for Deep State Discovery in Mobile GUI Testing
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学);Hangzhou City University(杭州城市学院);Shenzhou Aerospace Software Technology Company Limited(神州航天软件技术有限公司)
EpiDroid通过语义状态依赖意识增强现有探索器,利用重组-回放范式和LLM进行影响推理,提升深度应用状态探索效率,实验证明其在代码覆盖率提升方面优于传统方法。
2026-04-02 cs.SE
DragonCrawl: A Generative, Intent-Based Framework for Scalable Mobile End-to-End Testing
Uber Technologies, Inc.(优步科技公司)
DragonCrawl是基于GPT-4o多模态的移动端到端测试框架,通过验证用户流程阻止问题提交,缩短测试入门时间,节省大量维护工作量,实现规模化持续质量保证。
2026-08-06 cs.AI cs.SE
AppIntent: Intuitive Automation Specification Framework for Mobile AppTesting
移动应用程序的激增和移动应用程序发布时间的缩短要求更快、更有效地测试移动应用程序及其GUI和功能。尽管如此,仍然有各种各样的开源工具和框架被开发来为测试移动应用程序提供自动化测试基础设施。这些自动化工具中的每一个都支持不同的脚本语言来自动化应用程序测试。这些框架从根本上缺乏直接捕获用户意图的能力,这些用户意图有效地测试移动应用及其跨应用功能和性能,而不必担心与每个工具相关联的低级脚本语言。因此,为了解决这一限制,我们提出了一种基于意图的高级自动化规约语言和API,其可以有效地解决以下方面:(i)使用直观自动化规约语言捕获要被捕获为高级意图的测试自动化步骤,以及(ii)提供框架支持以有效地捕获用户行为模式,从而有效地测试应用。我们开发的AppIntent是一个基于高级自动化规约语言的框架,它使用高级和直观的语言直接捕获多个应用程序中和跨多个应用程序的测试自动化意图,而无需担心如何实际开发自动化脚本。
2018-10-12 cs.PL cs.SE
GraphDroid: Asynchronous LLM-Based Mobile App GUI Testing via History-Aware Exploration and Hybrid Intent Fulfillment
The Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学霍英东研究院校);City University of Hong Kong(香港城市大学)
GraphDroid提出异步LLM驱动的GUI测试框架,通过历史感知探索和混合意图实现,在41个Android应用上提升覆盖率36.4%,成本降低至八分之一,并发现19个错误。
2026-09-10 cs.SE
AUITestAgent: Automatic Requirements Oriented GUI Function Testing
针对移动应用GUI测试人力成本高的问题,提出首款自然语言驱动的自动化测试工具AUITestAgent,通过动态智能体提取交互、多维策略验证,在基准测试中表现优于现有工具,且在企业实际部署中有效检出功能缺陷。
2024-07-12 cs.SE
Scripted GUI Testing of Android Apps: A Study on Diffusion, Evolution and Fragility
背景有证据表明,移动应用程序没有像桌面应用程序那样经过彻底测试。特别是GUI测试通常是有限的。与基于Web的应用程序一样,移动应用程序也存在GUI测试脆弱性,即GUI测试类由于GUI中的微小修改而失败,而应用程序功能没有改变。目标。我们研究的目的是检查Android上GUI测试的扩散,以及保持测试类保持最新所需的更改量,特别是由于GUI测试脆弱性而导致的更改。我们定义的指标来表征测试类和测试方法的修改和演变,以及代理估计脆弱性引起的变化。法为了进行我们的实验,我们选择了六个广泛使用的开源工具,用于以前在文献中描述的移动应用程序的脚本GUI测试。我们已经挖掘了GitHub上使用这些工具的存储库,并计算了我们的指标集。结果我们发现,没有一个被考虑的GUI测试框架在GitHub上可用的开源Android项目中实现了重大传播。对于GUI测试项目,我们发现测试套件必须经常修改,具体来说,开发人员修改的LOC中有5%-10%属于测试,并且此类修改的相关部分(平均60%)是由脆弱性引起的。结论. GUI测试类的脆弱性是一个相关的问题,可能是开发人员采用自动化脚本GUI测试的障碍。Android脚本化GUI测试脆弱性的首次评估和测量可以为开发人员提供基准,并为脆弱性原因分类的定义奠定基础,以及缓解问题的可行指南。
2017-11-09 cs.SE
GUIPilot: A Consistency-based Mobile GUI Testing Approach for Detecting Application-specific Bugs
提出 GUIPilot,通过控件对齐检测屏幕不一致,并借助视觉语言模型推断 GUI 操作以验证流程转换,实验表明其缺陷检测精度、召回率和工业有效性优异。
2025-06-09 cs.SE
Autonomous Large Language Model Agents Enabling Intent-Driven Mobile GUI Testing
KAIST(韩国科学技术院);Chalmers University of Technology(查尔姆斯理工大学)
提出基于大语言模型的Android自主GUI测试智能体DroidAgent,实现意图驱动测试,在Themis基准上达到61%活动覆盖率,优于现有技术,并能自主创建现实任务。
2023-11-15 cs.AI cs.SE
Seeing is Believing: Vision-driven Non-crash Functional Bug Detection for Mobile Apps
本文提出视觉驱动的多智能体协作 GUI 测试方法 Trident,利用 MLLM 理解页面转换与视觉线索,自动检测移动应用非崩溃功能缺陷,并在 590 个缺陷上显著优于 12 个基线。
2024-12-04 cs.SE
Vision Language Model-based Testing of Industrial Autonomous Mobile Robots
Simula Research Laboratory and University of Oslo(Simula研究实验室和奥斯陆大学);Mondragon University(蒙dragon大学);Simula Research Laboratory(Simula研究实验室);PAL Robotics(PAL机器人技术)
本文提出基于视觉语言模型的测试方法,用于生成违反功能和安全要求的机器人交互场景,以提高自主移动机器人在复杂环境中的安全性和可靠性。
2026-03-05 cs.RO cs.SE
Compositionality, Decompositionality and Refinement in Input/Output Conformance Testing - Technical Report
我们提出了一个输入/输出一致性测试理论,利用模态接口自动机与输入拒绝(IR-MIA)作为新的行为形式主义的规范和测试下的实现。IR-MIA上的模态细化关系允许区分强制性和允许的输出行为,以及隐式未指定和显式禁止的输入行为。因此,该理论支持积极和消极的一致性测试与乐观和悲观的环境假设。我们进一步表明,由此产生的一致性关系IR-MIA,称为模态irioco,享有许多理想的属性有关组件为基础的行为。首先,模态-irioco在模态加细下被保留,并在一定的限制下构成一个预序,这可以通过IR-MIA的规范输入完成来确保。其次,在相同的限制下,模态-irioco相对于具有多播和隐藏的IR-MIA的并行合成是合成的。最后,IR-MIA上的商运算符,作为并行组合的逆,有助于一致性测试中的分解,以解决未知组件的问题。
2019-02-14 cs.FL cs.LO cs.SE
How Multi-Modal LLMs Reshape Visual Deep Learning Testing? A Comprehensive Study Through the Lens of Image Mutation
本文首次全面评估了多模态大语言模型在视觉深度学习测试中生成图像变异的质量与适用性,发现其在“语义替换”变异上表现优异,是对传统图像变异的重要补充。
2024-12-21 cs.SE
Quantum Machine Learning-based Test Oracle for Autonomous Mobile Robots
针对自主移动机器人回归测试中预言机难以确定的问题,提出结合量子储层计算与残差神经网络的混合框架QuReBot,实现更快训练和更精确预测,误差较经典基线降低15%。
2025-08-04 cs.SE
Streamlining Acceptance Test Generation for Mobile Applications Through Large Language Models: An Industrial Case Study
Critical TechWorks;Faculty of Engineering, University of Porto(波尔图大学工程学院);LIACC , Faculty of Engineering, University of Porto(波尔图大学工程学院计算科学与人工智能中心);INESC TEC , Faculty of Engineering, University of Porto(波尔图大学工程电信研究所)
AToMIC利用大型语言模型自动生成移动应用的验收测试,显著提升测试生成效率和质量。
2025-10-21 cs.SE
Fragility of Layout-Based and Visual GUI Test Scripts: An Assessment Study on a Hybrid Mobile Application
内容:尽管混合移动应用程序的自动GUI测试存在不同的方法,但开发人员似乎并不普遍采用这种做法。这种低扩散的一个可能原因是技术的脆弱性,即当应用程序的GUI发生变化时,经常需要维护测试用例。目标:在本文中,我们对混合移动应用程序的测试用例所需的维护以及相关的脆弱性原因进行了评估。研究方法:我们评估了一个小的测试套件与布局为基础的测试工具(Appium)和一个视觉(EyeAutomate),并观察测试过程中所需的变化与GUI的app. Results:我们发现,20%的布局为基础的测试方法和30%的视觉测试方法至少要修改一次,并在3-4%的测试方法,每个版本引起的脆弱性。结论:GUI测试的脆弱性会导致大型应用程序测试套件的相关维护工作。脆弱性的几个主要原因已被确定为测试的混合应用程序,并从中推导出开发人员的指导方针。
2019-07-27 cs.SE
Generation of Realistic Cloud Access Times for Mobile Application Testing using Transfer Learning
Technische Universität Berlin(柏林工业大学);R3 Reliable Realtime Radio(R3可靠实时无线电公司)
网络服务质量(QoS)度量(诸如接入时间、带宽和分组丢失)在确定移动应用的体验质量(QoE)中起重要作用。像无线电资源控制(RRC)状态、移动网络运营商(MNO)特定的重传配置、由用户移动性触发的重传、网络负载等的各种因素可能导致4G/LTE和WiFi网络上的这些QoS度量的高度可变性,这可能对应用QoE有害。因此,将移动应用暴露于现实的网络QoS指标对于尝试预测其QoE的测试人员来说至关重要。一种可行的方法是使用合成痕迹进行测试。生成真实合成轨迹的主要挑战是环境的多样性和缺乏大范围的真实轨迹来校准生成器。在本文中,我们描述了一种基于迁移学习和长短期记忆(LSTM)神经网络的测量驱动方法来解决这个问题。该方法需要一个相对较短的样本的目标环境,以适应新的环境中提出的基本模型,从而简化合成轨迹生成。我们提出了这个功能的现实的WiFi和LTE云访问时间模型,适用于不同的目标环境,在几十分钟内测量的跟踪大小只有6000个样本。我们证明了从这些模型生成的合成轨迹能够准确地再现应用QoE度量分布,包括其离群值。
2021-04-21 cs.LG cs.NI cs.SE
CrashScope: A Practical Tool for Automated Testing of Android Applications
在测试移动应用程序时,由于其普遍的事件驱动性质和复杂的上下文功能(例如传感器,通知),会出现独特的挑战。当前用于Android应用的自动化输入生成方法由于所需的仪器化或平台依赖性而通常对于开发人员来说不实用,并且通常不能有效地运用上下文特征。为了更好地支持开发人员执行移动测试任务,在本演示中,我们将介绍一种名为CrashScope的新型自动化工具。此工具根据静态和动态分析提供的几种策略,使用系统输入生成来探索给定的Android应用程序,其内在目标是触发崩溃。当检测到崩溃时,CrashScope会生成一个增强的崩溃报告,其中包含屏幕截图、详细的崩溃再现步骤、捕获的异常堆栈跟踪以及一个完全可重播的脚本,该脚本可在目标设备上自动再现崩溃。初步研究结果表明,CrashScope能够发现与其他最先进的工具一样多的崩溃,同时为开发人员提供详细有用的崩溃报告和测试脚本。网址:www.example.com视频网址:www.example.com
2018-01-18 cs.SE
A Multi-Modality Evaluation of the Reality Gap in Autonomous Driving Systems
本文通过小型实体车与数字孪生比较SiL、ViL、MR和真实测试,评估两种ADS架构在执行、感知与行为保真度上的现实差距。
2025-09-29 cs.RO cs.SE
Beyond Pass or Fail: Multi-Dimensional Benchmarking of Foundation Models for Goal-based Mobile UI Navigation
针对现有基准用二元指标评估基于基础模型的移动UI导航存在的局限,提出综合基准Sphinx,通过多维度评估揭示FMs的失败模式,为改进其UI导航能力提供方向。
2025-02-11 cs.SE