上下文自适应多提示嵌入：利用大语言模型实现视觉-语言对齐
Context-Adaptive Multi-Prompt Embedding with Large Language Models for Vision-Language Alignment
AI总结：
提出上下文自适应多提示嵌入方法，利用大语言模型在CLIP框架中生成多个自适应提示嵌入，结合多样性正则化和否定感知损失，提升视觉-语言对齐，在图像和视频检索基准上取得一致改进。
摘要：
我们提出了上下文自适应多提示嵌入（Context-Adaptive Multi-Prompt Embedding），这是一种在视觉-语言对比学习中丰富语义表示的新方法。与依赖单一文本嵌入的标准CLIP风格模型不同，我们的方法引入了多个结构化提示，每个提示包含一个独特的自适应标记，以捕捉输入文本的不同语义方面。我们利用预训练的大语言模型（LLM）作为CLIP框架内的文本编码器，在一次前向传播中联合处理所有提示。生成的提示嵌入被组合成一个统一的文本表示，从而实现与视觉特征更丰富的语义对齐。为了进一步促进语义多样性和表示质量，我们引入了多样性正则化损失和否定感知损失，鼓励提示之间的专业化并提升对比判别能力。我们的方法在图像-文本和视频-文本检索基准上均取得了一致的改进。
英文摘要：
We propose Context-Adaptive Multi-Prompt Embedding, a novel approach to enrich semantic representations in vision-language contrastive learning. Unlike standard CLIP-style models that rely on a single text embedding, our method introduces multiple structured prompts, each containing a distinct adaptive token that captures diverse semantic aspects of the input text. We leverage a pretrained LLM as the text encoder within the CLIP framework, processing all prompts jointly in a single forward pass. The resulting prompt embeddings are combined into a unified text representation, enabling semantically richer alignment with visual features. To further promote semantic diversity and representation quality, we incorporate a diversity regularization loss and a negation-aware loss, encouraging specialization across prompts and improving contrastive discrimination. Our method achieves consistent improvements on both image-text and video-text retrieval benchmarks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
