通过视觉运动扩散策略学习多指手的灵巧手内操作
Learning Dexterous In-Hand Manipulation with Multifingered Hands via Visuomotor Diffusion
AI总结：
提出基于视觉运动扩散策略的多指手灵巧操作框架，利用AR遥操作收集专家演示，并结合HDBSCAN与GLOSH算法过滤低质量数据，在真实世界任务中验证了有效性。
摘要：
我们提出了一个使用视觉运动扩散策略学习多指手灵巧手内操作的框架。通过利用针对四指Allegro Hand的快速响应遥操作设置，我们的系统能够完成复杂的单手操作任务，例如单手拧开瓶盖。我们使用增强现实（AR）界面收集高质量的专家演示，该界面追踪手部运动并应用逆运动学和运动重定向以实现精确控制。AR头显提供实时可视化，手势控制简化了遥操作。为了增强策略学习，我们引入了一种基于HDBSCAN聚类和层次结构全局-局部异常值得分（GLOSH）算法的新型演示异常值去除方法，有效过滤掉可能降低性能的低质量演示。我们在真实世界环境中广泛评估了我们的方法，并在项目网站上提供了所有实验视频：https://dex-manip.github.io/
英文摘要：
We present a framework for learning dexterous in-hand manipulation with multifingered hands using visuomotor diffusion policies. Our system enables complex in-hand manipulation tasks, such as unscrewing a bottle lid with one hand, by leveraging a fast and responsive teleoperation setup for the four-fingered Allegro Hand. We collect high-quality expert demonstrations using an augmented reality (AR) interface that tracks hand movements and applies inverse kinematics and motion retargeting for precise control. The AR headset provides real-time visualization, while gesture controls streamline teleoperation. To enhance policy learning, we introduce a novel demonstration outlier removal approach based on HDBSCAN clustering and the Global-Local Outlier Score from Hierarchies (GLOSH) algorithm, effectively filtering out low-quality demonstrations that could degrade performance. We evaluate our approach extensively in real-world settings and provide all experimental videos on the project website: https://dex-manip.github.io/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
