FoldNet++：面向机器人T恤折叠与展开的大规模合成数据集
FoldNet++: a Large-Scale Synthetic Dataset for Robotic T-Shirt Folding and Unfolding
浏览论文内容
中文总结 AI 辅助
本文提出FoldNet++，一个涵盖多种机器人本体、1000件T恤和12万回合的大规模合成数据集，用于训练机器人T恤折叠与展开策略，实验显示仅用合成数据训练的模型在真实世界部署中成功率超90%。
中文摘要 AI 辅助
由于服装的高度可变形特性，训练一个可泛化的机器人T恤折叠与展开策略仍然是一个重大挑战。在这项工作中，我们提出了一个用于机器人T恤折叠与展开的大规模合成数据集，涵盖6种机器人本体、1000件T恤、1000个环境资产以及12万个带有丰富标注的回合，可用于训练多种操作策略。我们首先遵循FoldNet流程生成一个大规模、外观多样且带有标注语义关键点的物理可模拟T恤数据集。基于这些语义关键点，我们随后通过一个统一的基于规则的框架为不同的机器人本体生成操作演示。我们使用这些演示来训练视觉运动策略，实验结果表明，仅在我们的合成数据上训练的模型，在直接部署到未见过的真实世界环境和任意初始配置下未见过的T恤时，端到端任务成功率可超过90%。项目网址：此https URL。
英文摘要
Due to the highly deformable nature of garments, training a generalizable policy for robotic T-shirt folding and unfolding remains a significant challenge. In this work, we present a large-scale synthetic dataset for robotic T-shirt folding and unfolding, covering 6 robotic embodiments, 1K T-shirts, 1K environmental assets, and 120K episodes with rich annotations, which can be used to train a wide range of manipulation policies. We first follow the FoldNet pipeline to generate a large-scale dataset of physically simulatable T-shirts with diverse appearances and annotated semantic keypoints. Based on these semantic keypoints, we then generate manipulation demonstrations for different robotic embodiments through a unified rule-based framework. We use these demonstrations to train visuomotor policies, and experimental results demonstrate that models trained solely on our synthetic data can achieve over 90\% end-to-end task success rates when directly deployed to unseen real-world environments and previously unseen T-shirts from arbitrary initial configurations. Project URL: https://pku-epic.github.io/FoldNetXX/.
发表机构
- CFCS, Peking University（北京大学前沿计算研究中心）
- Galbot（银河通用机器人）
机构由 AI 辅助整理，请以论文原文为准。
