MUSE: Mamba是用于文本-视频检索的高效多尺度学习器
MUSE: Mamba is Efficient Multi-scale Learner for Text-video Retrieval
AI总结：
针对现有文本-视频检索方法多基于CLIP、缺乏多尺度表示探索的问题，提出具备线性复杂度的多尺度Mamba模型MUSE，通过特征金字塔生成多尺度表示并联合学习，在三个基准上验证了优越性。
摘要：
文本-视频检索（TVR）旨在将相关视频内容与对应的自然语言查询进行对齐和关联。现有大多数TVR方法都基于大规模预训练视觉语言模型（如CLIP）。然而，由于CLIP固有的单尺度结构，很少有TVR方法探索能提供更丰富上下文信息以实现更透彻理解的多尺度表示。为此，我们提出MUSE——一种具备线性计算复杂度的多尺度mamba，用于高效的跨分辨率建模。具体而言，通过在最后一个单尺度特征图上应用特征金字塔生成多尺度表示。随后，我们采用Mamba结构作为高效的多尺度学习器，联合学习各尺度表示。此外，我们开展了全面研究以探究不同的模型结构与设计。在三个主流基准上的大量实验结果验证了MUSE的优越性。
英文摘要：
Text-Video Retrieval (TVR) aims to align and associate relevant video content with corresponding natural language queries. Most existing TVR methods are based on large-scale pre-trained vision-language models (e.g., CLIP). However, due to the inherent plain structure of CLIP, few TVR methods explore the multi-scale representations which offer richer contextual information for a more thorough understanding. To this end, we propose MUSE, a multi-scale mamba with linear computational complexity for efficient cross-resolution modeling. Specifically, the multi-scale representations are generated by applying a feature pyramid on the last single-scale feature map. Then, we employ the Mamba structure as an efficient multi-scale learner to jointly learn scale-wise representations. Furthermore, we conduct comprehensive studies to investigate different model structures and designs. Extensive results on three popular benchmarks have validated the superiority of MUSE.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
