语言引导的对比音视频掩码自编码器及其从视频自动生成音视频文本三元组的方法
Language-Guided Contrastive Audio-Visual Masked Autoencoder with Automatically Generated Audio-Visual-Text Triplets from Videos
AI总结：
本文提出 LG-CAV-MAE，通过引入预训练文本编码器和自动生成音视频文本三元组，实现音频、视觉与文本的联合表示学习，在检索和分类任务上显著超越现有方法。
摘要：
本文提出语言引导的对比音视频掩码自编码器（LG-CAV-MAE），以改进音视频表示学习。LG-CAV-MAE 将预训练文本编码器集成到对比音视频掩码自编码器中，使模型能够在音频、视觉和文本三种模态之间进行学习。为训练 LG-CAV-MAE，我们引入一种从无标签视频自动生成音视频文本三元组的方法。我们首先使用图像字幕模型生成帧级字幕，然后应用基于 CLAP 的过滤以确保音频与字幕之间的强对齐。该方法无需人工标注即可获得高质量的音视频文本三元组。我们在音视频检索任务以及音视频分类任务上评估 LG-CAV-MAE。我们的方法显著优于现有方法，在检索任务的 recall@10 上最高提升 5.6%，在分类任务上提升 3.2%。
英文摘要：
In this paper, we propose Language-Guided Contrastive Audio-Visual Masked Autoencoders (LG-CAV-MAE) to improve audio-visual representation learning. LG-CAV-MAE integrates a pretrained text encoder into contrastive audio-visual masked autoencoders, enabling the model to learn across audio, visual and text modalities. To train LG-CAV-MAE, we introduce an automatic method to generate audio-visual-text triplets from unlabeled videos. We first generate frame-level captions using an image captioning model and then apply CLAP-based filtering to ensure strong alignment between audio and captions. This approach yields high-quality audio-visual-text triplets without requiring manual annotations. We evaluate LG-CAV-MAE on audio-visual retrieval tasks, as well as an audio-visual classification task. Our method significantly outperforms existing approaches, achieving up to a 5.6% improvement in recall@10 for retrieval tasks and a 3.2% improvement for the classification task.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
