arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

北大&银河通用让机器人学叠衣,纯合成训练实机成功率超90%

作者:arXivDaily编辑部 arXiv 2609.12433 cs · cs.RO

论文导读

北大前沿计算研究中心、银河通用机器人提出FoldNet++,让双臂机器人只看合成演示就学会展开和折叠T恤,真机端到端成功率超过90%。这意味着难采、慢采的真实机器人数据有机会被大规模仿真替代;不过实验集中在T恤和受控桌面,不能直接外推到所有柔性物体。

先把一件衣服拆成两个连续任务

叠衣看似日常,对机器人却很难:布料没有固定形状,抓住一角会牵动整件衣服,摄像头也常被机械臂挡住。团队把流程拆成“先展开、再折叠”。无论T恤一开始被揉成什么样,机器人都要先把它整理成可折叠状态,再按顺序完成两侧和下摆的动作。

论文图:数据覆盖6种机器人本体、1000件T恤和12万段合成操作,并展示真实机器人评测场景。

关键不在于为每一步写死规则,而是让策略根据当前画面连续决定抓哪里、往哪里拉。展开策略学会从杂乱状态恢复,折叠策略则接手整理后的衣服。两个策略串起来,才构成从“一团布”到“叠好”的端到端任务。

12万段演示全部来自仿真

真实采集柔性物体数据成本很高:一次失败就要人工铺平衣服,机器人型号、相机位置和布料变化还会让旧数据难以复用。FoldNet++在仿真中随机改变T恤尺寸、纹理、初始褶皱、机器人本体和相机视角,自动生成12万段演示,训练过程不使用真实机器人轨迹。

论文图:仿真系统随机化衣物、机器人和观察条件,再把训练好的策略直接迁移到真实平台。

为了让不同双臂机器人共享经验,论文把动作统一表示为末端执行器相对衣物的移动,而不是死记某个关节角。模型还同时观察彩色图像和深度信息,以减少花纹、光照和遮挡带来的歧义。它的目标不是精确还原布料物理,而是让大量变化覆盖真机可能遇到的范围。

超90%来自未见环境与未见T恤

真机评测使用两类双臂平台,并换了训练中没有出现的真实环境和T恤。论文报告,展开与折叠串联后的端到端成功率超过90%;不同机器人、衣物颜色和初始形态下,策略都能完成多数任务。

论文图:Galbot平台面对不同颜色和初始状态的T恤执行展开与折叠。

这个数字说明合成数据可以支撑真实柔性操作,但边界也很清楚。实验对象主要是短袖T恤,桌面、抓手和动作流程相对固定;带拉链外套、袜子、湿布或严重缠绕等情况没有被这一结果覆盖。

下一步是从单品类走向家庭整理

如果合成数据路线继续扩展,最直接的应用是仓储服装整理、洗衣房分拣和家庭辅助机器人。下一步需要把多类衣物、失败后的自恢复、与人的安全协作加入同一策略,并验证长时间运行时的磨损和误差累积。

更重要的是建立可自动检查的任务标准:不仅看最终形状,还要检查褶皱、边缘对齐和是否损伤衣物。这样“超过90%”才能从实验成功,变成可部署的服务质量。

参考资料

https://arxiv.org/abs/2609.12433

https://arxiv.org/html/2609.12433

https://pku-epic.github.io/FoldNetXX/