PhyVisGen：物理与视觉高保真机器人操作数据生成
PhyVisGen: Physically and Visually High-Fidelity Robotic Manipulation Data Generation
浏览论文内容
中文总结 AI 辅助
PhyVisGen提出物理与视觉高保真框架，通过IPC耦合软接触和真实场景重建生成合成数据，使策略在五个真实任务上无需微调即达65%-95%成功率。
中文摘要 AI 辅助
大规模操作演示对于学习鲁棒的视觉运动策略至关重要，然而真实世界的数据收集成本高昂且难以扩展。仿真提供了一种有前景的替代方案，但物理和视觉上的差异可能限制合成数据的可迁移性，尤其是对于使用软体夹爪的操作任务。我们提出了PhyVisGen，一个用于可扩展机器人操作数据生成的物理与视觉高保真框架。在物理方面，PhyVisGen引入了一种基于增量势接触（IPC）的臂-夹爪耦合方法，使得在整个操作轨迹中能够实现高保真的软接触。在视觉方面，它结合了真实场景重建与实时路径追踪，以生成视觉上逼真的观测，同时保留捕获的场景外观。定量评估证明了PhyVisGen的物理和视觉保真度。仅使用合成操作演示训练的策略，在五个真实机器人任务上实现了65%-95%的成功率，且无需真实机器人演示数据或策略微调。
英文摘要
Large-scale manipulation demonstrations are essential for learning robust visuomotor policies, yet real-world data collection is expensive and difficult to scale. Simulation offers a promising alternative, but physical and visual discrepancies can limit the transferability of synthetic data, particularly for manipulation with soft grippers. We present PhyVisGen, a physically and visually high-fidelity framework for scalable robotic manipulation data generation. On the physical side, PhyVisGen introduces an arm-gripper coupling method based on the Incremental Potential Contact (IPC), enabling high-fidelity soft contact throughout complete manipulation trajectories. On the visual side, it combines real-scene reconstruction with real-time path tracing to generate visually realistic observations while preserving captured scene appearance. Quantitative evaluations demonstrate the physical and visual fidelity of PhyVisGen. Policies trained exclusively on synthetic manipulation demonstrations achieve 65-95% success across five real-robot tasks, without real-robot demonstration data or policy fine-tuning.
发表机构
- Shanghai Jiao Tong University（上海交通大学）
- Shenzhen Dizhou Technology Co., Ltd.（深圳地轴科技有限公司）
- The University of Hong Kong（香港大学）
机构由 AI 辅助整理，请以论文原文为准。
