Xiaomi（小米）

How Mobile World Model Guides GUI Agents?

移动世界模型如何指导GUI代理？

Weikai Xu, Kun Huang, Yunren Feng, Jiaxing Li, Yuhan Chen, Yuxuan Liu, Zhizheng Jiang, Heng Qu, Pengzhi Gao, Wei Liu, Jian Luan, Xiaolin Hu, Bo An

机构 * Nanyang Technological University（南洋理工大学） ； MiLM Plus, Xiaomi Inc.（小米公司） ； Independent Researchers（独立研究人员） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Wuhan University（武汉大学） ； Xiamen University（厦门大学） 纠错

AI总结 本文通过训练四种模态（增量文本、完整文本、扩散图像、可渲染代码）的世界模型，并评估其在下游任务中的效用，发现可渲染代码重建在分布内保真度高，文本反馈对在线分布外执行更鲁棒，世界模型生成的轨迹可提供迁移经验但无法替代原始分布，且对低熵过度自信的代理，后验自省收益有限。