论文导读
上海交通大学与阿里巴巴通义实验室等机构提出GUI-Hopper，让手机AI助手在适合时使用应用的深层链接，直接打开目标页面，而不必每次都从首页逐层点击。团队先从应用中找出可能的入口，再用真机核验链接会落到哪里，并保留普通点屏操作作为兜底。在MobileWorld测试里，所用4B模型的任务成功率由15.7%升至57.8%，为多应用任务缩短了操作路径。
手机助手为什么总像在慢慢找菜单
让AI在手机上完成“找演出、订机票、订附近酒店、规划机场路线”，听起来像一句话，执行时却可能跨越多个应用和几十个页面。只会模拟手指点击的助手，每经过一个中间页面都可能按错、看错或迷路。它会操作屏幕，却未必知道某些应用已经提供了直达内部页面的入口。
深层链接可以理解成应用里的“直通车”：给定城市、时间等参数，应用能直接打开相关搜索结果，而不必先点首页、选栏目、填好几级表单。论文中的对照图左边是逐页操作的长路径，右边是若干次深层跳转加少量必要点击。研究并不主张放弃图形界面；在链接失效、参数不匹配或需要细节操作时，GUI仍然是后备路线。
图：跨应用任务中，逐屏点按与深层链接跳转的路径长度对照。
直通车先要确认不会开错门
深层链接不是拿到字符串就能放心使用。应用可能公开多个入口，但有的需要登录，有的已经失效，有的同名页面落点不同。GUI-Hopper先静态查找候选链接，再在真实设备上尝试打开，记录实际进入的页面。这样形成的目录不只写“链接长什么样”，还说明“它会把用户带到哪里”。训练时，系统也会安排链接缺席或调用错误的情形，让助手学会回到屏幕操作，而不是在错误页面一路点下去。
方法图展示了链接发现、设备验证、目录构建和混合操作训练。用户无需理解每个模块，只要看到紫色链接图标与灰色点击图标交替出现，就能明白这不是一种新手势，而是一套按场景选择入口的策略。链接跳转负责跨过冗长导航，点击负责完成页面内不能跳过的操作。
图：系统先在设备上验证应用入口，再训练智能体组合链接跳转与屏幕点击。
268%是相对增幅，不是成功率本身
在MobileWorld基准中，论文报告Qwen3.5-4B的成功率从15.7%升到57.8%，相对提升约268%；换成百分点则是提高42.1点。平均操作步数下降31.6%。研究者还在真实商业应用组成的MobileWorld-Real上看到成功率改善，但这不等于所有手机、所有应用已经可以稳定一键完成复杂交易。标题里的“直达”也指到达相关页面，不是自动代替用户完成付款和授权。
有意思的是，论文发现即使推理时不提供深层链接目录，经过这种混合训练的模型也能更有效地安排普通点屏步骤。案例图里，一个发送邮件的任务，基线绕了32步，新模型在只用GUI的条件下走了14步。这说明训练不仅教会它“坐直通车”，还帮助它把下一步目标拆得更清楚。
图：同一邮件任务的屏幕步骤对照，展示无深层链接时两种策略的路径差异。
下一步是跨应用的可靠协作
手机助手若要真正省时间，关键不是模仿手指点击得更快，而是知道什么时候可以越过无意义的菜单。GUI-Hopper把应用自身入口与视觉操作结合，为这条路线提供了实验验证。进入日常使用前，还必须持续核验应用版本变化、登录状态、权限和隐私边界：错误的直达地址可能把助手送进不该进入的页面。把每个入口的落点记录清楚，并在失败时安全退回GUI，是这一思路能否成为可靠产品的核心。
