从合成演示中学习通用的手-物体跟踪
Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations
AI总结：
本文提出了一种从合成数据中学习通用手-物体跟踪控制器的方法，通过HOP和HOT实现从合成到物理的迁移，展示了在复杂任务中的有效性。
摘要：
我们提出了一种系统，该系统仅从合成数据中学习通用的手-物体跟踪控制器，而不需要任何人类演示。我们的方法做出了两个关键贡献：(1) HOP，一个手-物体规划器，可以合成多样化的手-物体轨迹；(2) HOT，一个手-物体跟踪器，通过强化学习和交互模仿学习实现从合成到物理的转移，交付一个基于目标手-物体状态的可推广控制器。我们的方法适用于多样化的物体形状和手部形态。通过广泛的评估，我们表明，我们的方法使灵巧的手能够跟踪具有挑战性的、长时间跨度的序列，包括物体重新排列和手内敏捷重新定向。这些结果代表了迈向可扩展的基础控制器的重大一步，这些控制器可以从合成数据中完全学习，突破了长期以来限制灵巧操作进步的数据瓶颈。
英文摘要：
We present a system for learning generalizable hand-object tracking controllers purely from synthetic data, without requiring any human demonstrations. Our approach makes two key contributions: (1) HOP, a Hand-Object Planner, which can synthesize diverse hand-object trajectories; and (2) HOT, a Hand-Object Tracker that bridges synthetic-to-physical transfer through reinforcement learning and interaction imitation learning, delivering a generalizable controller conditioned on target hand-object states. Our method extends to diverse object shapes and hand morphologies. Through extensive evaluations, we show that our approach enables dexterous hands to track challenging, long-horizon sequences including object re-arrangement and agile in-hand reorientation. These results represent a significant step toward scalable foundation controllers for manipulation that can learn entirely from synthetic data, breaking the data bottleneck that has long constrained progress in dexterous manipulation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
