PhysBrain: Human Egocentric Data as a Bridge from Vision Language Models to Physical Intelligence
PhysBrain: 人眼视角数据作为视觉语言模型到物理智能的桥梁
机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; Zhongguancun Academy(中关村学院) ; Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院) ; Harbin Institute of Technology(哈尔滨工业大学) ; Huazhong University of Science and Technology(华中科技大学)
AI总结 PhysBrain通过将人类眼动视频转化为多级具身监督,提升机器人在眼动感知和长期规划中的能力,实现从人类视角到机器人控制的有效迁移。
Comments 21 pages, 8 figures