FuRL：视觉-语言模型作为强化学习的模糊奖励
FuRL: Visual-Language Models as Fuzzy Rewards for Reinforcement Learning
AI总结：
本文研究利用预训练视觉-语言模型作为在线强化学习中的奖励，针对稀疏奖励任务中的奖励不对齐问题，提出轻量级微调方法FuRL，通过微调VLM表征与接力RL提升基线智能体性能，并在Meta-world基准上验证了有效性。
摘要：
在本研究中，我们探讨如何将预训练视觉-语言模型（VLM）用于在线强化学习（RL）。特别地，我们聚焦于带有预定义文本任务描述的稀疏奖励任务。我们首先发现在RL任务中将VLM作为奖励应用时存在的奖励不对齐问题。为解决此问题，我们基于奖励对齐和接力RL，引入了一种名为模糊VLM奖励辅助RL（FuRL）的轻量级微调方法。具体而言，我们通过微调VLM表征并利用接力RL来避免局部最优，从而提升了SAC/DrQ基线智能体在稀疏奖励任务上的性能。在Meta-world基准任务上的大量实验证明了所提方法的有效性。代码获取地址：https://github.com/fuyw/FuRL。
英文摘要：
In this work, we investigate how to leverage pre-trained visual-language models (VLM) for online Reinforcement Learning (RL). In particular, we focus on sparse reward tasks with pre-defined textual task descriptions. We first identify the problem of reward misalignment when applying VLM as a reward in RL tasks. To address this issue, we introduce a lightweight fine-tuning method, named Fuzzy VLM reward-aided RL (FuRL), based on reward alignment and relay RL. Specifically, we enhance the performance of SAC/DrQ baseline agents on sparse reward tasks by fine-tuning VLM representations and using relay RL to avoid local minima. Extensive experiments on the Meta-world benchmark tasks demonstrate the efficacy of the proposed method. Code is available at: https://github.com/fuyw/FuRL.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
