基于SAM2引导感知与模仿学习的以对象为中心的移动操作
Object-Centric Mobile Manipulation through SAM2-Guided Perception and Imitation Learning
AI总结：
针对移动操作中导航与操作解耦导致的性能下降问题，提出基于SAM2的以对象为中心的模仿学习方法，将操作方向信息融入模型，实现不同方向下的任务一致理解，显著提升了系统的泛化能力与鲁棒性。
摘要：
移动操作的模仿学习是机器人操作领域的一个关键挑战。然而，当前的移动操作框架通常将导航和操作解耦，仅在到达特定位置后才执行操作。当导航不精确时，特别是由于接近角度的偏差，这可能导致性能下降。为了使移动操作机器人能够从不同方向执行相同任务（这是构建通用机器人模型的一项基本能力），我们提出了一种基于SAM2的以对象为中心的方法。SAM2是一种致力于解决图像中可提示视觉分割的基础模型，我们的方法将操作方向信息融入模型中。我们的方法能够从不同方向实现对同一任务的一致理解。我们将该模型部署在定制的移动操作机器人上，并在不同方向角的拾取与放置任务上进行评估。与Action Chunking Transformer相比，当使用来自不同接近角度的演示进行训练时，我们的模型保持了更优的泛化能力。这项工作显著增强了基于模仿学习的移动操作系统的泛化能力和鲁棒性。
英文摘要：
Imitation learning for mobile manipulation is a key challenge in the field of robotic manipulation. However, current mobile manipulation frameworks typically decouple navigation and manipulation, executing manipulation only after reaching a certain location. This can lead to performance degradation when navigation is imprecise, especially due to misalignment in approach angles. To enable a mobile manipulator to perform the same task from diverse orientations, an essential capability for building general-purpose robotic models, we propose an object-centric method based on SAM2, a foundation model towards solving promptable visual segmentation in images, which incorporates manipulation orientation information into our model. Our approach enables consistent understanding of the same task from different orientations. We deploy the model on a custom-built mobile manipulator and evaluate it on a pick-and-place task under varied orientation angles. Compared to Action Chunking Transformer, our model maintains superior generalization when trained with demonstrations from varied approach angles. This work significantly enhances the generalization and robustness of imitation learning-based mobile manipulation systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
