AVC-DPO：通过直接偏好优化实现对齐的视频描述生成
AVC-DPO: Aligned Video Captioning via Direct Preference Optimization
AI总结：
本文提出AVC-DPO后训练框架，通过针对时间动态和空间信息的增强提示进行直接偏好优化，提升视频多模态大语言模型的描述能力，并在CVPR'25视频详细描述挑战赛中获得第一名。
摘要：
尽管视频多模态大语言模型（video MLLMs）在视频描述任务中已取得显著进展，但根据人类偏好调整视频描述的重点仍然具有挑战性。为解决这一局限，我们提出通过直接偏好优化实现对齐的视频描述生成（AVC-DPO），这是一个后训练框架，旨在通过偏好对齐增强视频多模态大语言模型的描述能力。我们的方法设计了增强提示，专门针对时间动态和空间信息——人类观看视频时关注的两个关键因素——从而融入以人为中心的偏好。AVC-DPO利用同一基础模型在不同提示条件下的描述生成响应来进行偏好感知训练和描述对齐。使用该框架，我们在LOVE@CVPR'25 Workshop Track 1A：视频详细描述挑战赛中取得了卓越表现，根据VDCSCORE评估指标，在视频详细描述（VDC）基准上获得第一名。
英文摘要：
Although video multimodal large language models (video MLLMs) have achieved substantial progress in video captioning tasks, it remains challenging to adjust the focal emphasis of video captions according to human preferences. To address this limitation, we propose Aligned Video Captioning via Direct Preference Optimization (AVC-DPO), a post-training framework designed to enhance captioning capabilities in video MLLMs through preference alignment. Our approach designs enhanced prompts that specifically target temporal dynamics and spatial information-two key factors that humans care about when watching a video-thereby incorporating human-centric preferences. AVC-DPO leverages the same foundation model's caption generation responses under varied prompt conditions to conduct preference-aware training and caption alignment. Using this framework, we have achieved exceptional performance in the LOVE@CVPR'25 Workshop Track 1A: Video Detailed Captioning Challenge, achieving first place on the Video Detailed Captioning (VDC) benchmark according to the VDCSCORE evaluation metric.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
