CLIPS：一种用于合成标题学习的增强型CLIP框架
CLIPS: An Enhanced CLIP Framework for Learning with Synthetic Captions
AI总结：
针对合成标题学习中的反向效应，提出CLIPS框架，通过仅输入部分合成标题并整合自回归标题生成器，显著提升跨模态检索零样本性能，增强LLaVA视觉能力并创MSCOCO和Flickr30K新SOTA。
摘要：
先前的研究表明，嘈杂的网络爬取图像-文本对可能会限制CLIP等视觉-语言预训练，并提出使用合成标题进行学习作为一种有前景的替代方案。我们的工作延续了这一努力，引入了两种简单但有效的设计，以更好地利用描述丰富的合成标题。首先，通过观察到合成标题学习中的强烈反向效应——短合成标题通常能比完整长度的标题带来更高的性能——因此我们仅将部分合成标题输入文本编码器。其次，我们整合了一个自回归标题生成器来模拟重新标题生成过程——通过以配对图像输入和网络爬取文本描述为条件，该生成器学习预测由先进MLLM生成的完整长度合成标题。实验表明，我们的框架显著提高了跨模态检索任务中的零样本性能，在MSCOCO和Flickr30K上创下了新的SOTA结果。此外，这种训练后的视觉编码器可以增强LLaVA的视觉能力，在一系列MLLM基准测试中显示出显著的改进。我们的项目页面是https://ucsc-vlaa.github.io/CLIPS/。
英文摘要：
Previous works show that noisy, web-crawled image-text pairs may limit vision-language pretraining like CLIP and propose learning with synthetic captions as a promising alternative. Our work continues this effort, introducing two simple yet effective designs to better leverage richly described synthetic captions. Firstly, by observing a strong inverse effect in learning with synthetic captions -- the short synthetic captions can generally lead to MUCH higher performance than full-length ones -- we therefore fed only partial synthetic captions to the text encoder. Secondly, we incorporate an autoregressive captioner to mimic the recaptioning process -- by conditioning on the paired image input and web-crawled text description, the captioner learns to predict the full-length synthetic caption generated by advanced MLLMs. Experiments show that our framework significantly improves zero-shot performance in cross-modal retrieval tasks, setting new SOTA results on MSCOCO and Flickr30K. Moreover, such trained vision encoders can enhance the visual capability of LLaVA, showing strong improvements on a range of MLLM benchmarks. Our project page is https://ucsc-vlaa.github.io/CLIPS/.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
