arXiv 2506.017252025-06-02cs.CV

VideoCap-R1：通过结构化思维增强多模态大语言模型的视频描述能力

VideoCap-R1: Enhancing MLLMs for Video Captioning via Structured Thinking

Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；Honor Device Co., Ltd（荣誉设备有限公司）

Desen Meng, Rui Huang, Zhilin Dai, Xinhao Li, Yifan Xu, Jun Zhang, Zhenpeng Huang, Meng Zhang, Lingshu Zhang, Yi Liu, Limin Wang

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出 VideoCap-R1，首次将 GRPO 强化学习后训练用于视频描述，通过结构化思维与双重奖励机制，在有限样本下显著提升视频 MLLMs 的动作描述准确性。

摘要：

尽管强化学习的最新进展显著增强了大语言模型（LLMs）的推理能力，但这些技术在用于视频描述的多模态大语言模型（MLLMs）中仍未得到充分探索。本文首次系统研究了基于 GRPO 的强化学习后训练方法在视频多模态大语言模型中的应用，目标是增强视频 MLLMs 描述视频中动作的能力。具体而言，我们开发了 VideoCap-R1，该方法首先被提示执行结构化思维，在生成完整描述之前分析视频主体及其属性和动作，并辅以两种专门的奖励机制：一个不依赖 LLM 的思维评分器用于评估结构化思维质量，以及一个 LLM 辅助的描述评分器用于评估输出质量。该强化学习训练框架有效地建立了结构化推理与全面描述生成之间的联系，使模型能够生成动作更准确的描述。我们的实验表明，VideoCap-R1 在多个视频描述基准测试中，使用有限样本（1.5k）相较于 Qwen2VL-7B 基线取得了显著提升（DREAM1K：事件 F1 提升 +4.4，VDC：准确率提升 +4.2，CAREBENCH：动作 F1 提升 +3.1，物体 F1 提升 +6.9），同时始终优于经过 SFT 训练的对应模型，证实了 GRPO 在增强 MLLMs 描述能力方面的优越性。

英文摘要：

While recent advances in reinforcement learning have significantly enhanced reasoning capabilities in large language models (LLMs), these techniques remain underexplored in multi-modal LLMs for video captioning. This paper presents the first systematic investigation of GRPO-based RL post-training for video MLLMs, with the goal of enhancing video MLLMs' capability of describing actions in videos. Specifically, we develop the VideoCap-R1, which is prompted to first perform structured thinking that analyzes video subjects with their attributes and actions before generating complete captions, supported by two specialized reward mechanisms: a LLM-free think scorer evaluating the structured thinking quality and a LLM-assisted caption scorer assessing the output quality. The RL training framework effectively establishes the connection between structured reasoning and comprehensive description generation, enabling the model to produce captions with more accurate actions. Our experiments demonstrate that VideoCap-R1 achieves substantial improvements over the Qwen2VL-7B baseline using limited samples (1.5k) across multiple video caption benchmarks (DREAM1K: +4.4 event F1, VDC: +4.2 Acc, CAREBENCH: +3.1 action F1, +6.9 object F1) while consistently outperforming the SFT-trained counterparts, confirming GRPO's superiority in enhancing MLLMs' captioning capabilities.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。