VoCap：基于任意提示的视频物体字幕生成与分割
VoCap: Video Object Captioning and Segmentation from Any Prompt
AI总结：
本文提出 VoCap 模型，可依据文本、框或掩码等任意提示联合输出视频物体的时空掩码与物体字幕，并构建 SAV-Caption 数据集，在相关分割与字幕任务上取得先进结果。
摘要：
从精细定位掩码和详细语义属性的角度理解视频中的物体，是视频理解中的一项基础任务。在本文中，我们提出了 VoCap，这是一个灵活的视频模型，接收一段视频以及来自多种模态（文本、框或掩码）的提示，并生成时空掩码片段及相应的以物体为中心的字幕。因此，我们的模型可同时处理可提示视频物体分割、指代表达分割和物体字幕生成任务。由于获取该任务的数据既繁琐又昂贵，我们提出用伪物体字幕标注一个现有的大规模分割数据集（SAV）。具体做法是利用视频的真值掩码对视频进行预处理，以突出感兴趣的物体，并将其输入一个大型视觉语言模型（VLM）。为进行无偏评估，我们在验证集上收集人工标注。我们将所得数据集称为 SAV-Caption。我们在 SAV-Caption 以及其他图像和视频数据集的混合数据上大规模训练 VoCap 模型。我们的模型在指代表达视频物体分割上取得了最先进结果，在半监督视频物体分割上具有竞争力，并为视频物体字幕生成建立了基准。我们的数据集将在 https://github.com/google-deepmind/vocap 提供。
英文摘要：
Understanding objects in videos in terms of fine-grained localization masks and detailed semantic properties is a fundamental task in video understanding. In this paper, we propose VoCap, a flexible video model that consumes a video and a prompt of various modalities (text, box or mask), and produces a spatio-temporal masklet with a corresponding object-centric caption. As such our model addresses simultaneously the tasks of promptable video object segmentation, referring expression segmentation, and object captioning. Since obtaining data for this task is tedious and expensive, we propose to annotate an existing large-scale segmentation dataset (SAV) with pseudo object captions. We do so by preprocessing videos with their ground-truth masks to highlight the object of interest and feed this to a large Vision Language Model (VLM). For an unbiased evaluation, we collect manual annotations on the validation set. We call the resulting dataset SAV-Caption. We train our VoCap model at scale on a SAV-Caption together with a mix of other image and video datasets. Our model yields state-of-the-art results on referring expression video object segmentation, is competitive on semi-supervised video object segmentation, and establishes a benchmark for video object captioning. Our dataset will be made available at https://github.com/google-deepmind/vocap.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
