Preference VLM：利用 VLM 实现可扩展的基于偏好的强化学习
Preference VLM: Leveraging VLMs for Scalable Preference-Based Reinforcement Learning
AI总结：
本文提出 PrefVLM 框架，通过结合视觉语言模型生成初始偏好标签并筛选不确定样本进行针对性人工标注，同时利用自监督逆动力学损失微调模型，在保持性能的同时显著减少人类反馈需求，提升了基于偏好强化学习的可扩展性。
摘要：
基于偏好的强化学习（RL）为使策略与人类意图对齐提供了一种有前景的方法，但往往受到人类反馈高成本的制约。在这项工作中，我们提出了 PrefVLM，这是一个将视觉语言模型（VLMs）与选择性人类反馈相结合的框架，旨在显著减少标注需求的同时保持性能。我们的方法利用 VLM 生成初始偏好标签，随后对这些标签进行过滤，以识别出不确定的情况进行针对性的人类标注。此外，我们使用自监督的逆动力学损失来微调 VLM，以改善其与不断演变的策略的对齐程度。在 Meta-World 操作任务上的实验表明，PrefVLM 在使用少于 2 倍人类标注的情况下，取得了与最先进方法相当或更优的成功率。此外，我们展示了微调后的 VLM 能够实现跨任务的高效知识迁移，进一步减少了反馈需求。我们的结果突出了将 VLM 与选择性人类监督相结合的潜力，从而使基于偏好的 RL 更加可扩展和实用。
英文摘要：
Preference-based reinforcement learning (RL) offers a promising approach for aligning policies with human intent but is often constrained by the high cost of human feedback. In this work, we introduce PrefVLM, a framework that integrates Vision-Language Models (VLMs) with selective human feedback to significantly reduce annotation requirements while maintaining performance. Our method leverages VLMs to generate initial preference labels, which are then filtered to identify uncertain cases for targeted human annotation. Additionally, we adapt VLMs using a self-supervised inverse dynamics loss to improve alignment with evolving policies. Experiments on Meta-World manipulation tasks demonstrate that PrefVLM achieves comparable or superior success rates to state-of-the-art methods while using up to 2 x fewer human annotations. Furthermore, we show that adapted VLMs enable efficient knowledge transfer across tasks, further minimizing feedback needs. Our results highlight the potential of combining VLMs with selective human supervision to make preference-based RL more scalable and practical.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
