Sparse CLIP: Co-Optimizing Interpretability and Performance in Contrastive Learning
Meta；University of Oxford（牛津大学）
稀疏CLIP通过在对比学习中直接整合稀疏性，实现了可解释性与性能的协同优化，保留了多模态能力并提升了下游任务性能。
2026-01-27 cs.CV
Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出自适应先验精炼方法APE及变体APE-T，通过分析类间差异解耦领域知识并探索三方亲和力，在11个基准上以更少参数实现SOTA性能。
2023-04-03 cs.AI cs.CV cs.MM
BadCLIP: Trigger-Aware Prompt Learning for Backdoor Attacks on CLIP
Tsinghua University（清华大学）；Tencent Data Platform（腾讯数据平台）；Peng Cheng Laboratory（鹏城实验室）
针对CLIP后门攻击依赖大量数据微调整个模型的局限，提出BadCLIP方法，在提示学习阶段注入后门，通过可学习触发器和触发器感知上下文生成器同时影响图像与文本编码器，在11个数据集上实现高攻击成功率与强泛化能力。
2024-03-22 cs.CV
ML-CLIPSim: Multi-Layer CLIP Similarity for Machine-Oriented Image Quality
Simon Fraser University（西蒙弗雷泽大学）；University of British Columbia（不列颠哥伦比亚大学）；Eastern Institute of Technology（东部技术学院）；Xi’an Jiaotong University（西安交通大学）；Google Inc（谷歌公司）
本文提出ML-CLIPSim，基于冻结的CLIP视觉编码器构建可微质量度量，通过聚合中间补丁-令牌相似性和全局图像嵌入，更符合机器导向偏好，同时在人类质量预测中保持竞争力。
2026-05-10 cs.CV cs.MM eess.IV
Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes
ETH Zurich（苏黎世联邦理工学院）
针对2D视觉语言知识迁移至3D场景任务的研究不足问题，提出3D预训练方法Multi-CLIP，通过对比学习对齐3D点云特征与CLIP空间的2D多视图、文本特征，在3D-VQA和3D-SQA任务上超越现有最优水平。
2023-06-04 cs.CV
Understanding Model Reprogramming for CLIP via Decoupling Visual Prompts
The University of Melbourne（墨尔本大学）；Southeast University（东南大学）
本文提出解耦与重加权框架DVP，通过分组描述优化多个视觉提示并用概率重加权矩阵整合输出，解决了CLIP单一视觉提示学习能力受限的问题，在11个数据集上优于基线并提供了可解释的概率框架。
2025-06-01 cs.CV cs.LG
VT-CLIP: Enhancing Vision-Language Models with Visual-guided Texts
ShanghaiTech University（上海科技大学）；Peking University（北京大学）；Nankai University（南开大学）；Baoji University of Arts and Science（宝鸡文理学院）
本文提出 VT-CLIP，通过让文本特征自适应关注图像信息区域并利用注意力机制聚合视觉特征，缓解 CLIP 在下游任务中的语义鸿沟问题，并在 11 个分类数据集上验证其少样本性能。
2023-08-10 cs.CL cs.CV
Enhancing CLIP with GPT-4: Harnessing Visual Descriptions as Prompts
Dublin City University（都柏林城市大学）
本文提出利用GPT-4生成视觉描述性文本作为提示来增强CLIP的零样本迁移能力，并设计少样本适配器选择最优句子构建分类器，在多个细粒度数据集上显著超越默认提示和CoCoOP方法。
2023-08-08 cs.AI cs.CL cs.CV
CLIPLoss and Norm-Based Data Selection Methods for Multimodal Contrastive Learning
University of Washington（华盛顿大学）；University of Michigan（密歇根大学）
针对CLIP预训练数据选择，提出改进模态对齐的s-CLIPLoss和基于范数的NormSim方法，在DataComp基准上显著提升性能并达到新SOTA。
2024-12-20 cs.CV cs.LG
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University（首尔国立大学）
提出CS-CLIP，利用场景图构建结构化负样本，解决组合推理中元素特定偏差，实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder
Huazhong University of Science and Technology（华中科技大学）；Li Auto Inc.（理想汽车）
本文提出ComCLIP框架，通过冻结CLIP文本编码器、采用合适温度的对比损失等优化，提升了CLIP视觉编码器的特征可迁移性，且作为即插即用组件适配LLaVA等下游VLM。
2026-10-12 cs.AI cs.CV
e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce
NAVER Shopping（NAVER购物）；NAVER AI Research（NAVER人工智能研究院）
理解产品内容的视觉和语言表示对于电子商业中的搜索和推荐应用至关重要。作为在线购物平台的支柱，并受到最近表示学习研究成功的启发，我们提出了一个对比学习框架，该框架使用未标记的原始产品文本和图像来对齐语言和视觉模型。我们介绍了用于训练大规模表示学习模型的技术，并分享了解决特定领域挑战的解决方案。我们使用我们的预训练模型作为各种下游任务的骨干来研究性能，包括类别分类，属性提取，产品匹配，产品聚类和成人产品识别。实验结果表明，我们提出的方法优于基线在每个下游任务，无论是单模态和多模态。
2022-08-22 cs.CV cs.LG
Contrastive Language-Image Pre-Training with Knowledge Graphs
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）
近年来，大规模预训练框架得到了快速发展，这些框架可以以统一的形式提取多模态表示，并在转移到下游任务时实现有希望的性能。然而，现有的方法主要集中在简单的图像-文本对的预训练，而忽略了不同模态的概念之间的语义联系。在本文中，我们提出了一个基于知识的预训练框架，称为知识CLIP，它注入语义信息到广泛使用的CLIP模型。通过在预训练过程中引入基于知识的目标，并利用不同类型的知识图谱作为训练数据，该模型可以更好地匹配视觉和语言的语义表示，增强跨场景和模态的推理能力。在各种视觉语言下游任务上的大量实验证明了与原始CLIP和竞争基线相比知识CLIP的有效性。
2022-10-17 cs.CV
CLIP with Quality Captions: A Strong Pretraining for Vision Tasks
Apple（苹果公司）
该研究发现提升图文预训练的字幕质量可增强CLIP的视觉表征，在密集预测任务上超越多种预训练方法，提升移动端架构性能并大幅提高微调数据效率。
2024-05-14 cs.CV cs.LG
Domain Adaptation for Large-Vocabulary Object Detectors
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）；University of Technology Sydney（悉尼科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对大词汇量目标检测器的跨域识别难题，本文提出知识图谱蒸馏方法KGD，从CLIP提取并迁移视觉与文本KG，显著提升多基准检测性能。
2024-05-10 cs.CV
CLIP-IT: CLIP-based Pairing for Histology Images Classification
LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA、ILLs、系统工程系、蒙特利尔大学ETSMontreal加拿大）；Dept. of Computer Engineering, University of Cagliari, Italy（计算机工程系、卡利亚里大学意大利）；Goodman Cancer Research, Centre, Dept. of Oncology, McGill University, Canada（Goodman癌症研究中心、肿瘤学系、麦吉尔大学加拿大）
CLIP-IT通过利用未配对的病理报告提升病理图像分类性能，无需配对数据或复杂推理。
2025-11-25 cs.CV
CLIP-ReID: Exploiting Vision-Language Model for Image Re-Identification without Concrete Text Labels
Shanghai Key Laboratory of Multidimensional Information Processing（上海市多维度信息处理重点实验室）；Key Laboratory of Advanced Theory and Application in Statistics and Data Science（统计与数据科学前沿理论及应用重点实验室）；East China Normal University（华东师范大学）
像CLIP这样的预先训练的视觉语言模型最近在各种下游任务上表现出了优异的性能，包括图像分类和分割。然而，在细粒度图像再识别（ReID）中，标签是索引，缺乏具体的文本描述。因此，如何将这些模式应用于这些任务仍有待确定。本文首先发现，简单地微调CLIP中图像编码器初始化的视觉模型，已经在各种ReID任务中获得了有竞争力的性能。然后，我们提出了一个两阶段的策略，以促进更好的视觉表示。其核心思想是充分利用CLIP中的跨模态描述能力，通过一组可学习的文本标记为每个ID，并将它们提供给文本编码器，以形成歧义描述。在第一个训练阶段，CLIP的图像和文本编码器保持固定，只有文本标记通过一批内计算的对比度损失从头开始优化。在第二阶段中，ID特定的文本标记及其编码器变为静态的，从而为微调图像编码器提供约束。通过在下游任务中设计损失，图像编码器能够在特征嵌入中准确地将数据表示为向量。在人员或车辆ReID任务的几个数据集上验证了所提出的策略的有效性。代码可在https://github.com/Syliz517/CLIP-ReID上获得。
2023-01-01 cs.CV
Prompt Tuning for CLIP on the Pretrained Manifold
Guizhou University, Guiyang, China（贵州大学）；Harbin Institute of Technology, China（哈尔滨工业大学）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））
ManiPT通过在预训练流形上进行提示调优，引入余弦一致性约束和结构偏差，以提高模型在有限监督下的泛化能力和转移性能。
2026-02-22 cs.CV
Leveraging Vision-Language Foundation Models for Fine-Grained Downstream Tasks
Conservatoire National des Arts et Métiers（法国国立工艺学院）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
针对 CLIP 等视觉-语言基础模型在细粒度属性检测与定位上的不足，提出基于正/负提示的多任务微调策略，提升鸟类属性任务及 CUB200-2011 分类性能。
2023-07-13 cs.CV
A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation
University of Science and Technology of China（中国科学技术大学）；CRIPAC & MAIS, Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所CRIPAC与MAIS）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Nanjing University（南京大学）
本文提出一种无需训练的CLIP自适应方法，通过高斯判别分析估计类别参数并与零样本分类器集成，在17个数据集上达到或超越现有微调方法，适用于少样本、不平衡及分布外场景。
2024-02-06 cs.AI cs.CV cs.LG
AmorLIP: Efficient Language-Image Pretraining via Amortization
Georgia Institute of Technology（佐治亚理工学院）；Swiss Federal Institute of Technology（瑞士联邦理工学院）
针对现有CLIP预训练需极大批量、计算成本高且现有优化方案存在性能损失等问题，提出高效框架AmorLIP，通过轻量网络摊销对比学习的高成本计算，结合谱分解相关的新摊销目标与稳定训练技术，在38项下游任务上零样本性能显著优于标准CLIP基线。
2025-10-21 cs.CV cs.LG
HiCLIP: Contrastive Language-Image Pretraining with Hierarchy-aware Attention
Rutgers University（罗格斯大学）；ByteDance Inc.（字节跳动公司）
大规模对比视觉语言预训练（CLIP）的成功使视觉识别和多模态内容理解受益匪浅。简洁的设计使CLIP在推理效率方面优于其他交叉注意融合层较重的视觉语言模型，使其成为广泛的下游任务的热门选择。然而，CLIP并没有明确地捕捉图像和文本中传达的高级和细粒度语义的层次性质，这对视觉语言理解和推理来说是至关重要的。为此，我们在CLIP的视觉和语言分支配备了层次感知注意力，即层次感知CLIP（HiCLIP），以无监督的方式从图像和文本中逐层逐步发现语义层次。因此，这种分层聚合显著改善了跨模态对齐。为了证明HiCLIP的优势，我们进行了定性分析，其无监督的层次归纳推理过程中，以及广泛的定量实验上的视觉识别和视觉语言的下游任务。
2023-03-06 cs.CL cs.CV cs.LG
VITRIX-CLIPIN: Enhancing Fine-Grained Visual Understanding in CLIP via Instruction Editing Data and Long Captions
Meituan（美团）；South China Normal University（华南师范大学）
针对CLIP细粒度视觉理解不足的问题，本文提出CLIP-IN框架，结合指令编辑数据构建的难负样本对比学习与带旋转位置编码的长描述训练，在多类任务上取得性能提升，还可减少多模态大模型的视觉幻觉。
2025-11-15 cs.CV
Post-pre-training for Modality Alignment in Vision-Language Foundation Models
NTT（日本电报电话公司）；Kyoto University（京都大学）；MIT（麻省理工学院）；YNU（山口县立大学）
针对CLIP模型的模态差距问题，提出后预训练方法CLIP-Refine，通过随机特征对齐和混合对比-蒸馏技术，在小型数据集上仅训练1个epoch，实现模态对齐并提升零样本性能，且不增加训练成本。
2025-04-17 cs.AI cs.CV cs.LG
PyramidCLIP: Hierarchical Feature Alignment for Vision-language Model Pretraining
Tencent（腾讯）；Shanghai Jiaotong University（上海交通大学）；Xiamen University（厦门大学）；Zhejiang University（浙江大学）
大规模的视觉语言预训练在下游任务上取得了可喜的成果。现有的方法高度依赖于从互联网上抓取的图像-文本对是完全一一对应的假设。然而，在实际场景中，这种假设很难成立：通过抓取图像的附属元数据获得的文本描述往往存在语义不匹配和相互兼容的问题。为了解决这些问题，我们介绍了PyramidCLIP，它构建了一个输入金字塔与不同的语义层次的每一个模态，并对齐视觉元素和语言元素的层次结构的形式，通过同级语义对齐和跨级别的关系对齐。此外，我们软化了负样本（未配对样本）的丢失，以削弱预训练阶段的严格约束，从而减轻了迫使模型区分兼容负对的风险。五个下游任务的实验证明了所提出的PyramidCLIP的有效性。特别是，在相同数量的1500万个预训练图像-文本对的情况下，PyramidCLIP在基于ResNet 50/ViT-B32/ViT-B16的图像编码器的ImageNet zero-shot分类上的top-1准确率分别超过CLIP 10.6%/13.2%/10.0%。当扩展到更大的数据集时，PyramidCLIP在几个下游任务上实现了最先进的结果。特别是在ImageNet zero-shot分类任务上，PyramidCLIP-ResNet 50在143 M图文对上训练的结果超过了CLIP使用400 M数据的结果，显著提高了CLIP的数据效率。
2022-05-28 cs.AI cs.CV
How Much Can CLIP Benefit Vision-and-Language Tasks?
University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
大多数现有的视觉和语言（V&L）模型依赖于预先训练的视觉编码器，使用相对较小的手动注释数据集（与Web抓取数据相比）来感知视觉世界。然而，已经观察到大规模预训练通常可以导致更好的泛化性能，例如，CLIP（对比图像预训练），在大量的图像-字幕对上训练，在各种视觉任务上显示出强大的zero-shot能力。为了进一步研究CLIP带来的优势，我们提出在两种典型场景下使用CLIP作为各种V&L模型的视觉编码器：1）将CLIP插入特定于任务的微调; 2）将CLIP与V&L预训练相结合并转移到下游任务。我们表明，CLIP显着优于广泛使用的视觉编码器训练域内注释的数据，如自底向上自顶向下。我们在各种V&L任务上取得了有竞争力或更好的结果，同时在视觉问答、视觉蕴涵和V&L导航任务上建立了新的最先进的结果。我们在https://github.com/clip-vil/CLIP-ViL上发布代码。
2021-07-13 cs.AI cs.CL cs.CV
CLIP Brings Better Features to Visual Aesthetics Learners
OPPO AI Center（OPPO人工智能中心）；University of Surrey（塞弗尔大学）
针对图像美学评估中资源受限和低数据问题，提出两阶段CLIP半监督知识蒸馏范式，通过特征对齐将CLIP特征迁移至轻量模型，在多个基准上达到最先进性能。
2025-08-02 cs.CV cs.MM
Classification Done Right for Vision-Language Pre-Training
ByteDance Research（字节跳动研究院）
提出SuperClass分类方法，直接用原始文本标签替代对比学习，无需文本编码器和大批次，在视觉-语言下游任务上表现优于CLIP。
2024-11-06 cs.CV
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization
University of Trento（特伦托大学）；Xidian University（西安电子科技大学）；Meituan Inc.（美团公司）
本文提出OrthSR方法，通过正交微调与自正则化策略及注意力CutOut数据增强，在保持预训练权重冻结和零样本泛化能力的同时，有效缓解小数据集微调过拟合，显著提升CLIP在少样本图像分类任务上的鲁棒性与性能。
2024-10-16 cs.CV
Defense-Prefix for Preventing Typographic Attacks on CLIP
The University of Tokyo（东京大学）
本研究提出防御前缀（DP）方法，通过在类名前插入标记，在不改变CLIP参数的情况下抵御排版攻击，提升分类准确性并保持零样本能力，且可应用于目标检测。
2023-09-06 cs.CV
Refining Skewed Perceptions in Vision-Language Contrastive Models through Visual Representations
University of Utah（犹他大学）
本研究通过线性探针从CLIP中提取视觉特征，证明视觉表示比文本嵌入更能修正VLCMs中的偏斜感知，有效克服虚假相关性偏见。
2025-07-09 cs.CL cs.CV
Accommodating Audio Modality in CLIP for Multimodal Processing
Renmin University of China（中国人民大学）
多通道处理最近引起了人们的广泛关注，特别是随着预训练的成功。然而，探索主要集中在视觉语言预训练上，因为引入更多的模态会使模型设计和优化变得非常复杂。在本文中，我们扩展了最先进的视觉语言模型CLIP，以适应视觉语言音频多模态处理的音频模态。具体而言，我们应用模态间和模态内对比学习来探索音频与其他模态之间的相关性以及音频模态的内部特征。此外，我们进一步设计了一个音频类型令牌，动态学习不同的音频信息类型，为不同的场景，因为语言和非语言的异构信息在一般的音频传达。我们提出的CLIP 4VLA模型在不同的下游任务中进行了验证，包括视频检索和视频描述，并在MSR-VTT，VATEX和Audiocaps的基准数据集上实现了最先进的性能。
2023-03-12 cs.CV
Sim-CLIP: Unsupervised Siamese Adversarial Fine-Tuning for Robust and Semantically-Rich Vision-Language Models
Florida Atlantic University（佛罗里达大西洋大学）
Sim-CLIP通过无监督对抗微调提升CLIP视觉编码器的鲁棒性，同时保持语义表示。采用孪生架构和余弦相似度目标，避免大批次对比学习和额外动量编码器，实现低计算开销的鲁棒训练。
2026-04-07 cs.AI cs.CL cs.CV
Pruning the Paradox: How CLIP's Most Informative Heads Enhance Performance While Amplifying Bias
Intel Labs（英特尔实验室）；Oracle（Oracle公司）；Thoughtworks（Thoughtworks公司）
本文提出概念一致性分数（CCS）度量 CLIP 注意力头与概念的对齐程度，发现高 CCS 头既对性能、分布外检测和视频-语言理解至关重要，又会学习虚假相关性并放大社会偏见，从而揭示 CLIP 性能与偏见并存的悖论。
2025-09-19 cs.AI cs.CV
Improving Continuous Sign Language Recognition with Adapted Image Models
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对大型视觉语言模型全量微调下游连续手语识别任务效率低、易遗忘预训练知识的问题，提出轻量适配策略AdaptSign，冻结CLIP骨干并新增可学习模块建模时空特征，在多个基准上取得更优性能。
2024-04-12 cs.CV
RET-CLIP: A Retinal Image Foundation Model Pre-trained with Clinical Diagnostic Reports
Beijing Institute of Technology（北京理工大学）；Beijing Tongren Hospital（北京同仁医院）；Capital Medical University（首都医科大学）；Beijing Institute of Ophthalmology（北京眼科研究所）
针对眼科医疗领域基础模型训练标注数据不足的问题，提出采用三方优化策略、在19万余患者数据集上预训练的CLIP风格视网膜图像基础模型RET-CLIP，在8个数据集的四类诊断任务上超越现有基准。
2024-08-19 cs.CV
SYNC-CLIP: Synthetic Data Make CLIP Generalize Better in Data-Limited Scenarios
本文提出 SYNC-CLIP，通过分离真实与合成领域提示、共享视觉提示并对齐跨域特征，利用合成数据提升 CLIP 在数据受限开放词汇场景下的新类泛化能力。
2023-12-06 cs.CV
Clip4Retrofit: Enabling Real-Time Image Labeling on Edge Devices via Cross-Architecture CLIP Distillation
Robert Bosch GmbH（罗伯特·博世有限公司）
针对CLIP等基础模型难以部署于边缘设备的问题，提出Clip4Retrofit蒸馏框架，将CLIP知识迁移至EfficientNet-B3与MLP组成的轻量模型，在Retrofit摄像头上实现实时图像标注，兼顾效率与性能。
2025-05-23 cs.CV
In-context Prompt Learning for Test-time Vision Recognition with Frozen Vision-language Model
Beijing University of Posts and Telecommunications（北京邮电大学）；Baidu Inc.（百度公司）；Swansea University（斯旺西大学）
针对测试分布偏移下CLIP等预训练视觉语言模型性能下降问题，提出测试时上下文提示学习方法InCPL，通过少量标注样本作上下文、语言到视觉转换、上下文感知无监督损失及循环学习，实现冻结模型的测试时自适应，性能达SOTA。
2024-08-19 cs.CV
Style-Pro: Style-Guided Prompt Learning for Generalizable Vision-Language Models
Clemson University（克莱姆森大学）
Style-Pro提出风格引导提示学习框架，通过可学习风格基合成分布偏移并施加一致性约束，缓解CLIP在下游任务中的过拟合，在11个基准上超越现有方法。
2024-11-25 cs.CV
How Does Fine-Tuning Impact Out-of-Distribution Detection for Vision-Language Models?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文全面研究微调对视觉语言模型少样本下游任务分布外检测的影响，发现合理选择OOD分数至关重要，且最大概念匹配分数与提示学习结合可实现最优检测性能。
2024-07-29 cs.CV cs.CY cs.LG
CLIP-Guided Vision-Language Pre-training for Question Answering in 3D Scenes
ETH Zurich（苏黎世联邦理工学院）
本文提出CLIP引导的3D视觉-语言预训练方法，通过将3D点云特征与CLIP的2D图像和文本嵌入对齐，学习可迁移的3D场景表示，并在3D视觉问答任务上取得优于现有方法的性能。
2023-04-12 cs.CV
Multi-Modal Adapter for Vision-Language Models
University of Amsterdam（阿姆斯特丹大学）；Vinted（文特（Vinted））
针对现有CLIP轻量级适配方法分别处理视觉与文本模态、忽视跨模态交互的问题，提出Multi-Modal Adapter，通过可训练多头注意力融合图文特征并加性适配，提升了未见类别上的泛化性。
2024-09-03 cs.AI cs.CV cs.LG
Kernel-based Unsupervised Embedding Alignment for Enhanced Visual Representation in Vision-language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出一种基于核的无监督对齐方法，将CLIP视觉表示与DINOv2对齐，在保持文本兼容性的同时增强细粒度感知，并提升零样本识别、空间推理及下游MLLM性能。
2025-06-03 cs.CV
LightCLIP: Learning Multi-Level Interaction for Lightweight Vision-Language Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出LightCLIP，通过渐进软化负样本标签、松弛二分匹配令牌级对齐以及引入掩码语言建模和辅助融合模块，在不增加推理成本的前提下提升轻量级CLIP模型的多下游任务性能。
2023-12-01 cs.CV
MaskedCLIP: Bridging the Masked and CLIP Space for Semi-Supervised Medical Vision-Language Pre-training
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（高性能计算研究所（IHPC）、科技研究局（A*STAR））
本文提出半监督医学视觉-语言预训练框架 MaskedCLIP，通过桥接 Transformer 和掩码知识蒸馏联合利用配对与非配对图像数据，提升视网膜图像下游任务性能与数据效率。
2025-07-23 cs.CV
RWKV-CLIP: A Robust Vision-Language Representation Learner
University of Sydney（悉尼大学）；DeepGlint（深glint（深格灵））；Imperial College（帝国理工学院）
本文提出RWKV-CLIP，首个结合transformers并行训练与RNN高效推理的视觉-语言表示学习模型，并引入利用LLMs生成高质量描述的数据框架，在多个下游任务上取得最先进性能。
2024-09-23 cs.CV
CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research and Tetras.AI（商汤科技研究院与Tetras.AI）；Shanghai AI Laboratory（上海人工智能实验室）
针对 CLIP ViT 从全局图像迁移到局部区域时的域偏移问题，本文提出 CLIPSelf 自蒸馏方法，在无需区域-文本对的情况下增强区域-语言对齐，并在多项开放词汇密集预测基准上达到最优性能。
2024-01-24 cs.CV
TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives
Arizona State University（亚利桑那州立大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
TripletCLIP通过合成困难负样本对，增强CLIP的组合推理能力，在SugarCrepe上提升超9%，并改进零样本分类与检索。
2024-11-04 cs.CL cs.CV
IDEA: Image Description Enhanced CLIP-Adapter
Taizhou Institute of Science and Technology, Nanjing University of Science and Technology（南京理工大学泰州科技学院）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）
提出IDEA方法，利用图像描述增强CLIP适配器，实现少样本分类，并扩展为可训练版本T-IDEA，在11个数据集上达到最先进性能，同时构建了大规模图像-文本对数据集IMD-11。
2025-01-19 cs.AI cs.CV cs.LG
MaPLe: Multi-modal Prompt Learning
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
本文提出多模态提示学习方法MaPLe，通过在视觉和语言分支中联合学习强耦合提示以改善表示对齐，在11个图像识别数据集上显著提升了新类别泛化和总体调和均值性能。
2023-04-01 cs.CV
Rethinking Misalignment in Vision-Language Model Adaptation from a Causal Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
针对CLIP适配中的任务与数据错位问题，本文提出因果引导的语义解耦与分类（CDC）方法，利用前门调整和Dempster-Shafer理论，有效缓解任务无关知识干扰，实验验证其有效性。
2024-11-05 cs.CL cs.CV cs.LG
FIX-CLIP: Dual-Branch Hierarchical Contrastive Learning via Synthetic Captions for Better Understanding of Long Text
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
针对CLIP文本编码器输入长度受限、长文本处理能力弱的问题，提出含双分支训练等三个模块的FIX-CLIP，用合成长文本字幕训练，在长短文本检索基准上达SOTA，还可即插即用提升长文本扩散模型性能。
2025-07-29 cs.CV
Online Zero-Shot Classification with CLIP
Alibaba Group（阿里巴巴集团）；School of Engineering and Technology, University of Washington（华盛顿大学工程与技术学院）
研究CLIP在线零样本分类场景，提出结合在线标签学习与在线代理学习的OnZeta框架，利用到达图像统计信息优化目标分布并缓解模态差距，在ImageNet上达78.94%准确率且13个任务平均提升超3%。
2024-08-23 cs.CV cs.LG
