VLRM：视觉-语言模型充当图像描述的奖励模型
VLRM: Vision-Language Models act as Reward Models for Image Captioning
AI总结：
本文提出 VLRM，一种以 CLIP、BLIP2-ITM 等视觉-语言模型为奖励模型、通过强化学习无监督增强 BLIP2 图像描述的方法，使描述更长更全面，并在 MS-COCO 上达到 0.90 R@1。
摘要：
在本工作中，我们提出了一种无监督方法，利用强化学习以及 CLIP 和 BLIP2-ITM 等视觉-语言模型作为奖励模型，来增强图像描述模型（本文中为 BLIP2）。经强化学习调优的模型能够生成更长、更全面的描述。我们的模型在 MS-COCO Carpathy 测试集上取得了令人瞩目的 0.90 R@1 CLIP Recall 分数。权重可在 https://huggingface.co/sashakunitsyn/vlrm-blip2-opt-2.7b 获取。
英文摘要：
In this work, we present an unsupervised method for enhancing an image captioning model (in our case, BLIP2) using reinforcement learning and vision-language models like CLIP and BLIP2-ITM as reward models. The RL-tuned model is able to generate longer and more comprehensive descriptions. Our model reaches impressive 0.90 R@1 CLIP Recall score on MS-COCO Carpathy Test Split. Weights are available at https://huggingface.co/sashakunitsyn/vlrm-blip2-opt-2.7b.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
