CLIP 遇见 Model Zoo 专家：用于视觉增强的伪监督
CLIP meets Model Zoo Experts: Pseudo-Supervision for Visual Enhancement
AI总结：
本文提出利用模型动物园中的任务特定视觉模型生成伪标签，辅助 CLIP 进行对比训练，在不损害其零样本分类能力的前提下，显著提升了分割、检测等视觉任务的性能。
摘要：
对比语言图像预训练（CLIP）是训练视觉语言模型的标准方法。尽管 CLIP 具有可扩展性、可提示性，且在图像分类任务中对分布偏移具有鲁棒性，但它缺乏目标定位能力。本文研究了以下问题：我们能否利用模型动物园中的任务特定视觉模型来增强 CLIP 训练，以改善其视觉表示？为此，我们利用开源的任务特定视觉模型，为未经整理的含噪图像文本数据集生成伪标签。随后，除了对图像和文本对进行对比训练外，我们还基于这些伪标签训练 CLIP 模型。这一简单设置在包括分割、检测、深度估计和表面法线估计在内的不同视觉任务中，展现出高达 16.3% 的显著提升。重要的是，这些增强是在不损害 CLIP 现有能力（包括其在可提示零样本分类中的熟练度）的情况下实现的。
英文摘要：
Contrastive language image pretraining (CLIP) is a standard method for training vision-language models. While CLIP is scalable, promptable, and robust to distribution shifts on image classification tasks, it lacks object localization capabilities. This paper studies the following question: Can we augment CLIP training with task-specific vision models from model zoos to improve its visual representations? Towards this end, we leverage open-source task-specific vision models to generate pseudo-labels for an uncurated and noisy image-text dataset. Subsequently, we train CLIP models on these pseudo-labels in addition to the contrastive training on image and text pairs. This simple setup shows substantial improvements of up to 16.3% across different vision tasks, including segmentation, detection, depth estimation, and surface normal estimation. Importantly, these enhancements are achieved without compromising CLIP's existing capabilities, including its proficiency in promptable zero-shot classification.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
