arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

刷人类走路视频,机器狗学会听话找目标!浙大理想真机60次成功50次

作者:arXivDaily编辑部 论文中文资料arXiv 2610.25690 cs · cs.RO

论文导读

浙江大学、理想汽车和深圳大学团队用网上第一视角视频训练机器人导航,再借助有动作标注的仿真数据,把“看人走路”学到的经验转成机器人指令。ScaleNav在机器狗的三处室内环境、60次测试中成功50次,让它听懂目标描述后走近指定物体并停下。

目标看得见,还得走对并停下来

“走到窗边的桌子旁”,对机器人不只是一道识图题。它要认出是哪张桌子,途中视角不断变化,也不能走过头,更不能碰巧经过就算完成。

这篇研究的范围很明确:目标在开始时的画面中可见,机器人按文字要求走近并停下。研究团队把方法部署到宇树Go2,在展厅、休息区和办公室各安排四项任务,每项尝试五次。

最终60次测试成功50次,整体83.3%;不额外学习这批网上视频的版本为65%。三个环境里的成功率分别达到85%、85%和80%,都超过论文比较的其他方法。

图:机器狗在三处室内环境跟随文字目标行走,连续帧保留出发和到达过程。

这里不是让机器狗去陌生城市任意找路,也没有证明它会搜索最初看不见的目标。它学的是短距离、语言指定目标的室内导航。

网上视频没有动作标签,先学画面怎么变

让机器狗把所有房间都走一遍采集数据,很费人力。网上第一视角视频里却有大量走向桌子、靠近门口的过程,只是没有“机器人该向前几厘米、转多少度”的标签。

ScaleNav先不强行补这些动作。团队从约6万段室内视频中筛出18200段导航片段,确定终点目标、目标最早出现的时间,再生成对应指令。模型先学习:朝这个目标靠近时,眼前的画面会怎样连续变化。

下一步才引入仿真中收集的视频与真实动作对应关系,把视觉经验接到能执行的移动上。最后再把预测画面与动作一起调整,让两种能力互相配合。

图:上方展示导航时的观察和记忆,下方是从视频学习到动作训练的三个阶段。

这不是把人类脚步原样复制给机器狗。人和机器人的运动方式不同,网上视频提供的是接近目标时的视觉变化,仿真数据负责补上机器人该怎么动。

记住最初那一眼,才不会把“第二扇门”认错

当指令写着“去你左边第二扇门”,第二扇是哪扇,取决于出发时看到的顺序。机器人转个身后,不能按新视角重新数一遍。

模型会持续保留初始画面,同时记住最近几段观察和动作。每次生成一段动作,执行后再看新的画面,接着决定下一段;到达后还要学会输出停止动作。

在两套仿真测试中,成功率分别为86.5%和94.9%。其中,去掉初始画面记忆后,后一套测试从94.9%降到89.8%,说明保留起点信息确实影响目标判断。

图:网上视频与仿真动作数据分别用于训练,右侧是按指令走近黑色椅子的示意,彩色路线为演示标注。

另一个对照更有启发:用估计出来的人类视频动作硬凑训练标签,成功率反而只有73.9%,低于不用这批视频的90.4%。看起来数据更多,错误的动作对应却可能把模型教偏。

它给出的经验不是“网上视频都能直接当机器人教材”,而是先明确这些视频能可靠提供什么,再用另外的数据补齐缺口。在这项导航实验里,视觉变化负责扩展场景经验,有标注的仿真负责连接动作,两者没有被混为一谈。

参考资料

https://arxiv.org/html/2610.25690

https://zju3dv.github.io/ScaleNav/

https://arxiv.org/abs/2610.25690

↑