首尔大学先把机器人画进视频再预测未来,世界模型能适配未见过的机械臂
机器人世界模型通常直接接收关节或末端动作向量,再预测未来画面。换一台机械臂,向量含义和运动学关系都可能变化。首尔大学、RLWRLD团队提出RoFacto:先让控制器把命令变成名义轨迹,再把机器人几何渲染进相机画面,视频模型只学习物体如何响应
首尔大学、RLWRLD等
机器人世界模型通常直接接收关节或末端动作向量,再预测未来画面。换一台机械臂,向量含义和运动学关系都可能变化。首尔大学、RLWRLD团队提出RoFacto:先让控制器把命令变成名义轨迹,再把机器人几何渲染进相机画面,视频模型只学习物体如何响应
机械臂把物体插进狭窄接口时,相机可能看不到接触点,真正决定成败的是压力、摩擦和细微位移。上海科技大学、InstAdapt团队提出ViTacWorld,让世界模型根据机器人动作同时预测未来画面和触觉反馈,再用生成轨迹扩充插接、剥离等任务的训练
一只机械手在灯前摆动,墙上的影子可以拼出手势字母,也能模仿鹿、孔雀、鸭子和狼的动作。杜克大学团队让21自由度灵巧手学习“自己的关节怎么改变影子”,再从目标图片或视频反推机械手动作,把影子变成机器人的表达媒介。