Benchmarking General Mobile Assistants in Challenging Real-World Scenarios
在具有挑战性的真实场景中对通用移动助手进行基准测试
机构 * Tsinghua University(清华大学) ; Alibaba Group(阿里巴巴集团) ; Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
专题命中 GUI与网页智能体 :agent(abstract);AI agent(abstract);planning(abstract);分类 cs.AI
AI总结 该研究提出名为GMA的移动助手基准,涵盖七个应用与300个不同难度任务,评估八个前沿模型发现其性能随任务复杂度提升而下降,还证实合适的智能体控制设计可显著提升性能。