机器人 / 具身智能

What Matters in Building Vision-Language-Action Models for Generalist Robots

在通用机器人中构建视觉-语言-动作模型所关注的关键因素

Xinghang Li, Peiyan Li, Long Qian, Minghuan Liu, Dong Wang, Jirong Liu, Bingyi Kang, Xiao Ma, Xinlong Wang, Di Guo, Tao Kong, Hanbo Zhang, Huaping Liu

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； ByteDance Research（字节跳动研究院） ； CASIA MAIS-NLPR ； Shanghai Jiao Tong University（上海交通大学） ； National University of Singapore（新加坡国立大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 机器人基础模型 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.CV

AI总结 本研究揭示了构建通用机器人视觉-语言-动作模型的关键因素，开发了无需大量手动设计的RoboVLMs，实现了模拟和现实任务中的新状态-of-the-art性能。

Comments Project page: robovlms.github.io. Added limitations and future works. Fix categorization