TWIST2：可扩展、便携且全面的人形机器人数据采集系统
TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System
AI总结：
提出便携无动作捕捉的人形遥操作与数据采集系统TWIST2，利用VR和低成本机器人颈实现全身控制，高效采集数据，并基于自我中心视觉提出分层视觉运动策略框架，成功演示全身灵巧操作与动态踢腿任务。
摘要：
大规模数据推动了机器人学的突破，从语言模型到双臂操作中的视觉-语言-动作模型。然而，人形机器人缺乏同样有效的数据采集框架。现有的人形遥操作系统要么使用解耦控制，要么依赖昂贵的动作捕捉设备。我们提出了TWIST2，这是一种便携、无动作捕捉的人形遥操作和数据采集系统，在推进可扩展性的同时保留了全身控制。我们的系统利用PICO4U VR获取实时全身人体运动，并配备定制的2自由度机器人颈部（成本约250美元）以提供自我中心视觉，从而实现全面的人到人形机器人控制。我们展示了长时程灵巧和移动的人形机器人技能，并能在15分钟内以几乎100%的成功率采集100次演示。基于此流程，我们提出了一个分层视觉运动策略框架，该框架基于自我中心视觉自主控制整个人形机器人身体。我们的视觉运动策略成功展示了全身灵巧操作和动态踢腿任务。整个系统完全可复现并已在 https://yanjieze.com/TWIST2 开源。我们采集的数据集也已在 https://twist-data.github.io 开源。
英文摘要：
Large-scale data has driven breakthroughs in robotics, from language models to vision-language-action models in bimanual manipulation. However, humanoid robotics lacks equally effective data collection frameworks. Existing humanoid teleoperation systems either use decoupled control or depend on expensive motion capture setups. We introduce TWIST2, a portable, mocap-free humanoid teleoperation and data collection system that preserves full whole-body control while advancing scalability. Our system leverages PICO4U VR for obtaining real-time whole-body human motions, with a custom 2-DoF robot neck (cost around $250) for egocentric vision, enabling holistic human-to-humanoid control. We demonstrate long-horizon dexterous and mobile humanoid skills and we can collect 100 demonstrations in 15 minutes with an almost 100% success rate. Building on this pipeline, we propose a hierarchical visuomotor policy framework that autonomously controls the full humanoid body based on egocentric vision. Our visuomotor policy successfully demonstrates whole-body dexterous manipulation and dynamic kicking tasks. The entire system is fully reproducible and open-sourced at https://yanjieze.com/TWIST2 . Our collected dataset is also open-sourced at https://twist-data.github.io .
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
