VicTR：面向活动识别的视频条件化文本表示
VicTR: Video-conditioned Text Representations for Activity Recognition
AI总结：
本文提出VicTR，通过优化文本嵌入而非仅增强视觉信息来构建更好的视频-VLM，并利用视觉锚定的辅助文本，在多个活动识别基准上取得强劲性能。
摘要：
视觉-语言模型（VLMs）在图像领域表现出色，尤其是在零样本场景下，这得益于大量预训练数据（即成对的图像-文本样本）的可用性。然而对于视频而言，此类成对数据并不丰富。因此，视频-VLM通常通过将预训练的图像-VLM适配到视频领域来设计，而非从头训练。所有此类方法都依赖于用时间信息增强视觉嵌入（即图像→视频），通常保持文本嵌入不变，甚至将其丢弃。在本文中，我们提出相反的观点，即更好的视频-VLM可以通过更侧重于增强文本而非视觉信息来设计。更具体地说，我们引入了视频条件化文本表示（VicTR）：一种针对视觉嵌入进行优化的文本嵌入形式，从而创建一个更灵活的对比潜空间。我们的模型还可以进一步利用免费可得的语义信息，其形式为视觉锚定的辅助文本（例如物体或场景信息）。我们在少样本、零样本（HMDB-51、UCF-101）、短视频（Kinetics-400）和长视频（Charades）活动识别基准上评估了我们的模型，在视频-VLM中展现出强劲的性能。
英文摘要：
Vision-Language models (VLMs) have excelled in the image-domain -- especially in zero-shot settings -- thanks to the availability of vast pretraining data (i.e., paired image-text samples). However for videos, such paired data is not as abundant. Therefore, video-VLMs are usually designed by adapting pretrained image-VLMs to the video-domain, instead of training from scratch. All such recipes rely on augmenting visual embeddings with temporal information (i.e., image $\rightarrow$ video), often keeping text embeddings unchanged or even being discarded. In this paper, we argue the contrary, that better video-VLMs can be designed by focusing more on augmenting text, rather than visual information. More specifically, we introduce Video-conditioned Text Representations (VicTR): a form of text embeddings optimized w.r.t. visual embeddings, creating a more-flexible contrastive latent space. Our model can further make use of freely-available semantic information, in the form of visually-grounded auxiliary text (e.g. object or scene information). We evaluate our model on few-shot, zero-shot (HMDB-51, UCF-101), short-form (Kinetics-400) and long-form (Charades) activity recognition benchmarks, showing strong performance among video-VLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
