arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

57毫秒给出16步动作,机器人小模型仿真成功率95.5%

作者:arXivDaily编辑部 论文中文资料arXiv 2610.13740 cs · cs.LG · cs.RO

论文导读

ML Collective团队把Cosmos Policy改成较小的世界动作模型SmolWAM,在一次计算里输出16步机器人动作和后续场景表示。400次LIBERO仿真任务成功382次,成功率95.5%;A100上每个动作块耗时57毫秒,相对教师模型约快11倍。通过调整输入接口、减少层数和蒸馏训练,模型保留了大部分仿真任务能力。

先看桌面操作,再看速度

项目演示把两个模型放在相同的LIBERO初始状态里,分别执行取碗、放置物品等桌面任务。它们都在仿真环境中运行;视频每次生成动作块前,按A100测得的推理延迟暂停,所以屏幕时钟反映了加入该延迟后的过程,不能把视频当作真实机器人测速。

图:左右两栏分别记录SmolWAM与教师模型在四类任务中的动作序列,每组从相同初始状态出发。

完整测试覆盖四类任务、每类十项,每项十次,共400次。SmolWAM成功382次,即95.5%;教师模型报告393次成功,即98.2%。论文说明,教师的完整成绩来自较早的评估流水线。速度和成功率的条件都需要随数字保留。

视频接口,改成控制接口

教师模型原本围绕视频生成设计:图像要按片段编码,文字经过大文本编码器,生成过程重复去噪多次。机器人要控制下一小段动作,不一定需要这整套开销。

SmolWAM先改成单帧视觉输入,通过一个小适配器,让新表示接近教师熟悉的输入。文字特征可以提前缓存,再减少主干层数,把28层保留为12层。内部序列从1764个单元缩到1008个,一次计算直接读出动作块和未来相机表示。

这些改动不能直接剪完就用。论文发现,某些单独删掉没问题的层,合起来删掉后反而使任务全部失败。因此,模型先在较接近教师的布局里训练,再切到紧凑布局,逐步恢复被剪枝和接口变化打乱的能力。

图:教师与小模型两行并列输入帧块、保留层数、去噪次数及每个16动作块的计算成本。

57毫秒,不是边缘芯片实测

推理成本在A100-SXM4-40GB上测量,批量为1,使用相同精度设置,所有模型的文字特征都预先缓存。教师每个16动作块耗时624毫秒,SmolWAM为57毫秒;运算量从42.6降到2.30万亿次浮点运算,峰值显存从7.55降到2.36GiB。

57毫秒是从观察到动作块的时间,包含预处理和视觉编码,不是单个动作执行时间。一次产生16步动作后,机器人按动作块开环执行,新观察何时影响下一步也受这个机制约束。论文试过提前截断动作块,但没有因此获得更好的结果。

虽然标题讨论边缘设备,核心速度表在数据中心GPU上完成,成功率全部来自仿真,论文还未验证实体机器人和具体边缘芯片。更省显存和计算是已测收益,不能据此宣称已在低功耗设备达到同等表现。

图:表格按模型列出参数、运算量、延迟、显存及LIBERO各任务组成功率,筛选集与完整测试列分开。

未来预测留下了运动信息

小模型保留一个预测未来场景表示的输出。论文用96个未参与训练的上下文检查它:与直接复制当前帧相比,未来表示误差更低,估计的运动位置也更接近实际后续画面。解码出来的示例能看到机械臂位置变化,但纹理仍比较模糊。

这部分内部表示用于说明模型还保留了环境变化的预测能力,并没有在正常动作输出时反复生成视频。画面相似度的一些指标没有优于复制当前帧,所以论文将收益描述为运动预测,而非未来画面质量全面提升。

模型在长任务上的成绩下降更明显:LIBERO-Long为89%,教师为97%。继续训练更多步没有改善完整任务成功率,更深的压缩也会损伤能力。公开代码和权重提供了按同一仿真协议复核的入口。

参考资料

https://arxiv.org/abs/2610.13740

https://github.com/iitimii/SmolWAM

https://smolwam.vercel.app/

↑