通过基于语言的动作表示弥合机器人控制中的尺度差异
Bridging Scale Discrepancies in Robotic Control via Language-Based Action Representations
AI总结：
本文提出基于语言的动作表示方法，通过规范动作以缓解机器人控制中的尺度差异问题，提升操作任务的泛化能力和迁移性能。
摘要：
近期端到端的机器人操作研究越来越多地采用受大型语言模型启发的架构，以实现稳健的操作。然而，机器人动作数据之间出现严重分布偏移是一个关键挑战，主要由于不同机器人平台和任务中动作命令存在显著的数值变化，阻碍了预训练知识的有效迁移。为了解决这一限制，我们提出了一种语义基础的语言表示来规范动作，以实现高效的预训练。与传统的离散化动作表示不同，运动表示特别忽略了数值尺度的影响，强调方向性。这种抽象减轻了分布偏移，产生了更具一般性的预训练表示。此外，使用运动表示缩小了动作标记与标准词汇标记之间的特征距离，缓解了模态差距。在两个基准上的多任务实验表明，所提出的方法在机器人操作任务中显著提高了泛化性能和迁移性。
英文摘要：
Recent end-to-end robotic manipulation research increasingly adopts architectures inspired by large language models to enable robust manipulation. However, a critical challenge arises from severe distribution shifts between robotic action data, primarily due to substantial numerical variations in action commands across diverse robotic platforms and tasks, hindering the effective transfer of pretrained knowledge. To address this limitation, we propose a semantically grounded linguistic representation to normalize actions for efficient pretraining. Unlike conventional discretized action representations that are sensitive to numerical scales, the motion representation specifically disregards numeric scale effects, emphasizing directionality instead. This abstraction mitigates distribution shifts, yielding a more generalizable pretraining representation. Moreover, using the motion representation narrows the feature distance between action tokens and standard vocabulary tokens, mitigating modality gaps. Multi-task experiments on two benchmarks demonstrate that the proposed method significantly improves generalization performance and transferability in robotic manipulation tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
