论文导读
香港科技大学、香港中文大学、思谋科技等机构提出CarryOn,在不改动底层动作模型权重的情况下,给机器人加上偏好记忆、接触前检查和失败恢复。它能结合吃素等用户偏好安排取食任务;在LIBERO-Safety仿真中,运行时检查把安全微调策略的违规率从52.6%降到6.1%。
同一句“给我拿吃的”,动作应该因人而变
机器人收到“给我端食物”,不该每次都按一个固定菜单做。如果它此前记住用户吃素,就需要把这条信息带入当前任务。打开盖子后若发现下面是肉,眼前画面还应该反过来修正计划。
CarryOn把这些判断放在动作模型外面。负责计划的一层保存用户偏好和场景记录,选出当前应当执行的小任务;负责执行的一层检查动作是否会发生危险接触,失败后再尝试局部恢复。
图:十二个实机关键帧展示开盖、搬运、抓取恢复以及发现食材不符后的停止
两个过程共享当前观察,而不是把记忆当成永远正确的清单。论文中的真实机械臂会先揭盖、查看食材,再决定是否继续搬运;发现与素食偏好冲突的食物时,可以更新场景记忆并停止这条取食计划。
记住偏好、修正旧位置,是两种测试
真实三明治实验把要求分成几种情形。用户直接说明配料,规划子任务正确24/24;先交代偏好、重启程序后再说“做三明治”,同样为24/24;用户后来改变偏好时,则为20/24。
这里统计的是派发子任务是否正确,不是整份三明治完成率。把不同分母都写成“成功率100%”,就会掩盖计划正确和物理执行成功之间的距离。
在另一组场景选择实验中,机器人要从多个房间画面中找个人物品。记忆能够减少搜索,但物体搬走后,旧记录还得删除并换成新位置。论文分别统计记忆是否修正、后续指令是否派到正确场景,没有把两件事揉成一个分数。
图:左侧计划循环读取用户与场景记忆,右侧执行循环连接保护、恢复和视觉判断
6.1%是违规率,别读成93.9%任务成功
执行检查的主要量化结果来自LIBERO-Safety。这个基准规定机械臂或手持物体需要避开哪些区域,再分别测任务完成和接触违规。
已经接受安全微调的动作策略,仍有52.6%的回合发生至少一次违规。加上CarryOn的运行时保护后,违规率降到6.1%。但“无违规且完成任务”的比例仅从25.3%到25.6%,并没有跟着大幅增加。
这组数字的价值是减少危险接触,不能换算成93.9%的任务成功率。检查可能阻止动作继续,也可能避免接触,却无法替底层策略解决所有操作困难。
图:左右两组几何侧视图标出放行动作、被阻止动作与退让后的重新检查
真实机器人障碍规避测试中,论文报告保护方案在20次试验中均无接触完成;这与仿真大样本统计属于不同设置,不能拿一个数字替另一个背书。
掉了东西,先修复当前这一步
物体被移走或抓取滑脱时,从头重新规划往往会重复已经完成的动作。CarryOn调用可重复使用的恢复技能,先把局部状态修回可以继续的位置,再让动作模型接着做。
团队还利用先前失败调整恢复技能。论文中的反思迭代改善的是这些技能和上下文,不是每次遇到错误就在线重训整个基础动作模型。
因此,这个系统的结构可以沿一次取食过程理解:记忆决定拿什么,观察确认东西在哪,接触检查约束怎么走,抓取失误再局部恢复。每个环节都有单独测试,也有共同执行的真实演示。
参考资料
https://arxiv.org/abs/2610.21453
https://arxiv.org/html/2610.21453