arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

双臂机器人自己拆任务:4万段轨迹把成功率从32%推到100%

作者:arXivDaily编辑部 arXiv 2609.36416 cs · cs.AI · cs.CV · cs.LG · cs.RO

论文导读

Scale AI、Hugging Face、南加州大学、斯坦福大学等机构联合提出新方法,把双臂机器人的长任务拆成可预测的下一步,并公开4万多段密集标注轨迹。新策略在论文设定的空间消歧任务中把成功率从32%提高到100%,还把未见长任务的成功率从16%提高到76%。

不只告诉机器人最终目标

很多机器人数据只给一条总指令,例如“收好桌面”,却不标出先抓杯子、再开柜门、最后放入物品的中间步骤。FineART收集40,543段双臂轨迹、1,718小时数据,覆盖151类任务,并把动作进一步标成533,913个子任务。这样训练时,模型不仅模仿手臂轨迹,还要判断当前画面之后最该做什么。

图:总览图列出七类双臂操作及轨迹、任务和子任务规模。

论文的核心不是把长动作简单切片,而是让子任务描述与双臂协作、物体状态和时间位置对应。对真实部署来说,这类标注能把失败定位到“判断错下一步”还是“动作没执行好”,也为人在关键节点给出一句提示留下接口。

模型先报下一步再动手

FineART-VLA先根据图像和语言预测下一子任务,再生成双臂动作。团队把这种能力放在中期训练阶段,让模型先学会任务结构,再适配具体机器人。空间消歧实验里,基线会被相似位置或物体迷惑;加入细粒度子任务监督后,成功率由32.0%升至100.0%。这个100%只对应论文规定的消歧任务,不代表所有双臂操作都已解决。

图:连续画面记录双臂机器人完成杯子操作的动作过程。

面对训练时没见过的长任务,逐步提供人工子任务提示后,成功率从16.0%升到76.0%。这说明高层提示能在机器人走偏前把它拉回正确步骤,也说明当前系统在完全自主规划长流程上仍有提升空间。

换机器人只用十分之一数据

团队还把策略迁移到新硬件。经过少量微调,所需数据约为没有中期训练基线的十分之一,并能在新机器人上零样本完成部分全新任务。这里的零样本指论文实验里的任务组合,不等于面对任意物体、任意家庭环境都能直接工作。

图:时间线把一段长操作拆成可监督的多个子任务阶段。

从数据工程角度看,价值在于把一次昂贵采集变成可复用的任务知识。相同子任务可以跨场景组合,新硬件只需补足控制差异,而不用从头录制所有长流程。

从数据集走向可维护机器人

FineART已公开数据、模型权重和训练代码,便于实验室复现子任务预测与硬件迁移。下一步应把遮挡、物体滑落、双臂冲突和人工提示次数纳入统一评测,并记录模型在多次重复执行中的稳定性。

如果子任务预测能与安全检查、失败恢复和人类接管结合,仓储分拣、实验室操作与家庭整理就能从单个演示升级为可追踪的工作流。更重要的是,工程团队可以修改某一步而不是重训整套策略,让机器人技能像软件流程一样持续维护。

参考资料

https://arxiv.org/abs/2609.36416

https://github.com/huggingface/lerobot

↑