arXiv 2602.158722026-05-07cs.ROcs.CVcs.LG

MARVL：通过视觉-语言模型实现机器人操作的多阶段引导

MARVL: Multi-Stage Guidance for Robotic Manipulation via Vision-Language Models

School of Intelligent Science and Technology, Nanjing University, China（南京大学智能科学与技术学院）；National Key Laboratory for Novel Software Technology, School of Artificial Intelligence, Nanjing University, China（南京大学新型软件技术国家实验室，人工智能学院）；School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）；MACS Lab, University of Washington（华盛顿大学MACS实验室）

Xunlan Zhou, Xuanlin Chen, Shaowei Zhang, ShengHua Wan, Xiaohai Hu, Lei Yuan, De-chuan Zhan

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出MARVL，通过视觉-语言模型实现机器人操作的多阶段引导，解决传统密集奖励函数设计中的问题，提升样本效率和鲁棒性。

摘要：

设计密集奖励函数对于高效的机器人强化学习（RL）至关重要。然而，大多数密集奖励依赖于手动工程，从根本上限制了强化学习的可扩展性和自动化。尽管视觉-语言模型（VLMs）为奖励设计提供了一条有前途的路径，但朴素的VLM奖励往往与任务进度不一致，难以处理空间定位，并对任务语义的理解有限。为了解决这些问题，我们提出了MARVL——通过视觉-语言模型实现机器人操作的多阶段引导。MARVL对VLM进行微调，以实现空间和语义的一致性，并将任务分解为多阶段子任务，通过任务方向投影来提高轨迹敏感性。实验表明，MARVL在Meta-World基准测试中显著优于现有的VLM奖励方法，证明了其在稀疏奖励操作任务中的优越样本效率和鲁棒性。

英文摘要：

Designing dense reward functions is pivotal for efficient robotic Reinforcement Learning (RL). However, most dense rewards rely on manual engineering, which fundamentally limits the scalability and automation of reinforcement learning. While Vision-Language Models (VLMs) offer a promising path to reward design, naive VLM rewards often misalign with task progress, struggle with spatial grounding, and show limited understanding of task semantics. To address these issues, we propose MARVL-Multi-stAge guidance for Robotic manipulation via Vision-Language models. MARVL fine-tunes a VLM for spatial and semantic consistency and decomposes tasks into multi-stage subtasks with task direction projection for trajectory sensitivity. Empirically, MARVL significantly outperforms existing VLM-reward methods on the Meta-World benchmark, demonstrating superior sample efficiency and robustness on sparse-reward manipulation tasks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。