arXiv 2606.080152026-09-18cs.RO

Q-VGM: 基于Q引导的值梯度匹配的流匹配VLA策略

Q-VGM: Q-Guided Value-Gradient Matching for Offline-to-Online RL of Flow-Matching VLA Policies

Shanghai Jiao Tong University（上海交通大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of Electronic Science and Technology of China（电子科技大学）

Ziqian Wang, Rui Zhang, Yitian Liu, Xingjian Mao, Minqian Wang, Yao Mu

备注：: Revised manuscript. 8 pages, 4 figures, 6 tables

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

提出Q-VGM离线强化学习方法，通过将值梯度转化为去噪时间上的值梯度场，避免反向传播去噪链，高效微调流匹配VLA策略，在LIBERO等任务上显著提升成功率。

摘要：

我们提出Q引导的值梯度匹配（Q-VGM），一种离线强化学习方法，解决了微调流匹配视觉-语言-动作（VLA）策略中长期存在的挑战：如何高效地根据学习到的Q函数改进一个表达力强的流匹配动作专家。有效的改进必须利用评论家的一阶（梯度）信息，但这对于流策略很困难，因为直接通过其多步去噪过程反向传播值函数在VLA规模下数值不稳定，而策略梯度方法所需的可处理动作似然在迭代去噪下不可用。现有的基于值的方法要么通过整个去噪链反向传播，要么仅在测试时使用评论家而不更新策略，要么将评论家改进的动作作为终端标签蒸馏而不监督速度场。Q-VGM通过利用VGG-Flow（一种生成建模中流对齐的值梯度视角）绕过了这些问题，它将值梯度转化为去噪时间上的值梯度场，而不是不稳定的端到端目标。这不需要动作似然，也不需要反向传播去噪链，并且在一个固定的重放缓冲区上操作。评论家是一个动作敏感的Cal-QL集成，基于紧凑的RLT特征和每层动作注入。Q-VGM实现了一种实用的少样本初始化然后从经验中学习的范式：从少样本SFT pi0.5 VLA开始，该方法利用自生成的rollout数据显著提升任务性能，无需额外的专家监督。在LIBERO上，Q-VGM将平均成功率从75.0%提升到92.5%；在RoboTwin 2.0上，从76.4%提升到87.2%；在两个真实机器人桌面任务上，从40.0%提升到67.5%，在所有三种设置中均优于所有相同骨干、相同评论家的基线。

英文摘要：

We propose Q-Guided Value-Gradient Matching (Q-VGM), an offline-to-online RL method for fine-tuning flow-matching vision-language-action policies with a learned critic. Directly applying critic gradients to flow policies requires backpropagation through the multi-step denoising process (BPTT), which is costly and unstable at VLA scale. Motivated by an optimal-control view of denoising, we derive a local approximation connecting clean-action value gradients to local velocity corrections at late denoising steps. Q-VGM uses this connection to construct critic-guided targets for fine-tuning the pretrained action expert through velocity matching. Gradients pass only through local velocity predictions, avoiding backpropagation through the denoising trajectory. An action-sensitive chunk critic is trained with IQL offline and TD learning online. On LIBERO, Q-VGM improves the few-shot-SFT four-suite average from 84.6% to 90.7% offline using 150 policy rollouts per suite, and reaches 98.4% after online training. Compared with on-policy RL, Q-VGM achieves 5.3x higher sample efficiency on average across four LIBERO suites, measured by the episode budget for 95% rollout success rate. On three real-world bimanual tasks, offline Q-VGM improves average success from 66.7% to 98.3%.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。