从点击到跳转：利用应用原生深度链接增强移动GUI智能体
From Tapping to Hopping: Augmenting Mobile GUI Agents with App-Native Deeplinks
浏览论文内容
中文总结 AI 辅助
本文提出混合交互方法，结合应用原生深度链接与GUI操作，通过静态分析和设备验证构建深度链接目录，提升移动GUI智能体在真实商业应用中的任务成功率。
中文摘要 AI 辅助
移动GUI智能体通过点击和滑动等GUI操作完成任务。这些操作在各类应用中广泛适用，但到达导航界面需要逐屏操作。单个深度链接调用可以替代一系列逐屏的GUI操作序列。因此，我们引入了混合交互方法，使用深度链接进行直接导航，并使用GUI操作处理其他屏幕上的操作及作为回退方案。为实现这一目标，我们通过静态分析发现候选深度链接，在真实设备上验证它们，并描述其观察到的落地屏幕。这一过程创建了一个经过验证且有依据的深度链接目录，将每个有效的深度链接与其落地屏幕的描述配对。利用该目录，我们提出了GUI-Hopper，在真实设备的商业应用中提高了任务成功率，进一步证明了混合交互的益处。
英文摘要
Mobile GUI agents complete tasks using GUI actions like taps and swipes. These actions are broadly applicable across applications, but reaching a navigation interface. A single deeplink call can replace a sequence of screen-by-screen GUI actions. We therefore introduce hybrid interaction, using deeplinks for direct navigation and GUI actions for other on-screen operations and fallback. To enable this, we discover candidate deeplinks through static analysis, validate them on real devices, and describe their observed landing screens. This process creates a verified and grounded deeplink catalog that pairs each working deeplink with a description of its landing screen. Using this catalog, we introduce GUI-Hopper, a improves task success in commercial applications on real devices, further demonstrating the benefits of hybrid interaction.
发表机构
- Shanghai Jiao Tong University（上海交通大学）
- Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
机构由 AI 辅助整理，请以论文原文为准。
