通过主动空间大脑和可泛化动作小脑的人形全身 manipulation
Humanoid Whole-Body Manipulation via Active Spatial Brain and Generalizable Action Cerebellum
AI总结：
本文提出了一种通用的人形 locomotion-manipulation 框架，通过主动空间大脑和可泛化动作小脑来解决复杂3D环境中空间理解困难和动作生成泛化困难的问题，展示了在多种任务和环境中的强性能。
摘要：
在本文中，我们探索了空间感知的人形全身 manipulation 任务。与桌面设置相比，该任务提出了两个关键挑战：1）在复杂3D环境中，具有多样空间关系的空间理解具有挑战性。2）动作生成难以泛化，因为有限且昂贵的真实机器人数据限制了数据驱动模型的泛化能力。为了解决这些挑战，我们提出了一种通用的人形 locomotion-manipulation 框架，该框架利用多智能体大模型的空间感知和动作生成能力。具体而言，我们的框架包括两个组件：Active Spatial Brain 用于主动空间感知和决策，以及 Generalizable Action Cerebellum 用于生成可执行的机器人动作。第一个组件主动感知空间场景，并在任务规划和子任务分解上做出决策。第二个组件根据第一个模块的决策生成可执行的机器人动作，而无需任务特定的真实机器人数据。为了基准测试我们的框架，我们从两个视角设计了一组空间 manipulation 任务：评估空间感知和理解，以及评估真实机器人任务性能。结果表明，在各种任务和环境中，该框架在两个方面都表现出强大的性能。
英文摘要：
In this paper, we explore spatial-aware humanoid whole-body manipulation task. Compared with tabletop settings, this task poses two key challenges: 1) Spatial understanding is challenging in complex 3D environments with diverse spatial relations. 2) Action generation is difficult to generalize, as limited and costly real-robot data restricts data-driven models generalization. To address these challenges, we propose a generalizable humanoid loco-manipulation framework that leverages the spatial perception and action generation capabilities of multi-agent large models. Specifically, our framework includes two components: Active Spatial Brain for active spatial perception and decision-making, and Generalizable Action Cerebellum for executable robot action generation. The first component actively perceives the spatial scene and makes decisions on task planning and subtask decomposition. The second component generate executable robot actions based on the decisions made by the first module without needs of task-specific real robot data. To benchmark our framework, we design a set of spatial manipulation tasks from two perspectives: evaluating spatial perception and understanding, and assessing real-robot task performance. The results demonstrate strong performance on both aspects across diverse tasks and environments.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
