If CLIP Could Talk: Understanding Vision-Language Model Representations Through Their Preferred Concept Descriptions
Brown University（布朗大学）
针对VLMs表示是否优先视觉属性的问题，提出EX2方法通过强化学习对齐LLM与VLM偏好生成重要文本特征描述，发现虚假描述和非视觉属性显著影响VLM表示，且不同VLMs属性优先级不同。
2024-12-04 cs.CL cs.CV cs.LG
Context-Aware Zero-Shot Anomaly Detection in Surveillance Using Contrastive and Predictive Spatiotemporal Modeling
Department of Computer Science and Engineering, BRAC University, Dhaka, Bangladesh（计算机科学与工程系，BRAC大学，达卡，孟加拉国）
本文提出一种结合 TimeSformer、DPC 与 CLIP 的上下文感知零样本异常检测框架，通过时空预测建模和视觉-语言语义理解，在无需异常样本训练的情况下实现监控视频中的异常识别。
2025-08-27 cs.CV cs.LG
CREPE: Learnable Prompting With CLIP Improves Visual Relationship Prediction
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本研究针对视觉关系预测任务，基于UVTransE框架结合CLIP设计表示方案，提出带对比训练策略的CREPE方法，在Visual Genome基准上取得了性能提升，验证了视觉语言模型在该任务的有效性。
2023-07-19 cs.CV cs.LG
Enhancing CLIP with CLIP: Exploring Pseudolabeling for Limited-Label Prompt Tuning
Brown University（布朗大学）
针对CLIP等视觉语言模型下游微调标注数据有限的问题，提出基于零样本伪标签的统一提示调优框架，迭代优化伪标签可在多学习范式下显著提升分类准确率，且类别准确率分布更均衡。
2024-03-08 cs.CV cs.LG
Generate, Transduct, Adapt: Iterative Transduction with VLMs
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
提出GTA-CLIP，通过迭代生成属性、转导推理和编码器微调，在语言与视觉空间联合转导，零样本下平均提升8.6%和3.7%。
2025-10-13 cs.CV
Teach CLIP to Develop a Number Sense for Ordinal Regression
The Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳香港协同创新研究院）
针对CLIP缺乏数字感而无法处理序数回归的问题，本文提出NumCLIP方法，通过粗分类与细预测两阶段设计及细粒度跨模态排序正则化损失，在三个序数回归任务上显著提升准确率。
2024-08-07 cs.CL cs.CV cs.LG
BayesAdapter: enhanced uncertainty estimation in CLIP few-shot adaptation
University of Granada（格拉纳达大学）；Quebec AI Institute (MILA)（魁北克人工智能研究所（MILA））；International Laboratory on Learning Systems (ILLS)（学习系统国际实验室）
针对现有CLIP适配器忽视不确定性估计质量的问题，提出基于贝叶斯推理的BayesAdapter方法，通过估计完整概率分布捕捉参数可变性，在校准和选择性分类等任务中实现了高质量的不确定性估计。
2025-01-13 cs.CV cs.LG
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Weizmann Institute of Science（魏茨曼科学研究所）
Large vision-language models (VLMs), such as CLIP, learn rich joint image-text representations, facilitating advances in numerous downstream tasks, including zero-shot classification and text-to-image generation. Nevertheless, existing VLMs exhibit a prominent well-documented limitation - they fail to encapsulate compositional concepts such as counting. We introduce a simple yet effective method to improve the quantitative understanding of VLMs, while maintaining their overall performance on common benchmarks. Specifically, we propose a new counting-contrastive loss used to finetune a pre-trai…
2023-02-23 cs.CV
Unlearning the Noisy Correspondence Makes CLIP More Robust
Peng Cheng Laboratory（鹏城实验室）；Central South University（中南大学）
本文提出噪声对应遗忘微调框架 NCU，通过统一最优传输目标学习最难负样本信息以遗忘预训练 VLMs 中的噪声对应，从而以更低计算开销提升 CLIP 的鲁棒性与零样本迁移性能。
2025-07-04 cs.CV cs.MM
ECOR: Explainable CLIP for Object Recognition
L3S（L3S（莱布尼茨汉诺威大学与汉诺威大学合作的学习系统研究所））
本文提出基于类别与理由联合概率分布的可解释性数学定义，并据此微调CLIP，实现可解释物体识别，在零样本设置中达到最先进性能，提升可信度。
2024-04-19 cs.AI cs.CV cs.LG
Learn "No" to Say "Yes" Better: Improving Vision-Language Models via Negations
IIT Jodhpur（焦特布尔印度理工学院）；Lehigh University（利哈伊大学）
本文提出CC-Neg数据集和CoN-CLIP框架，通过改进对比损失增强视觉-语言模型对否定语义的理解，在零样本分类和组合性基准上取得显著提升，同时降低了计算成本。
2024-03-29 cs.CV
Beyond Standard Benchmarks: A Systematic Audit of Vision-Language Model's Robustness to Natural Semantic Variation Across Diverse Tasks
Zhejiang University of Technology（浙江工业大学）；National Institute of Informatics（国立信息学研究所）
本文系统评估了视觉-语言模型在自然对抗场景下的鲁棒性，分析了不同模型在零样本图像分类、语义分割和视觉问答中的表现，揭示了鲁棒CLIP模型放大对抗漏洞的问题。
2026-04-06 cs.CV
VITRIX-CLIPIN: Enhancing Fine-Grained Visual Understanding in CLIP via Instruction Editing Data and Long Captions
Meituan（美团）；South China Normal University（华南师范大学）
针对CLIP细粒度视觉理解不足的问题，本文提出CLIP-IN框架，结合指令编辑数据构建的难负样本对比学习与带旋转位置编码的长描述训练，在多类任务上取得性能提升，还可减少多模态大模型的视觉幻觉。
2025-11-15 cs.CV
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University（首尔国立大学）
提出CS-CLIP，利用场景图构建结构化负样本，解决组合推理中元素特定偏差，实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
WP-CLIP: Leveraging CLIP to Predict Wölfflin's Principles in Visual Art
Portland State University（波特兰州立大学）
本文提出WP-CLIP，通过微调CLIP预测沃尔夫林五项原则得分，并在GAN绘画和Pandora-18K数据集上验证其跨风格泛化能力，展示了视觉-语言模型用于自动化艺术分析的潜力。
2025-08-18 cs.CV
Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs
School of Computing and Information Systems, The University of Melbourne, Victoria, Australia（计算与信息系统学院，墨尔本大学，维多利亚，澳大利亚）
提出密度感知转换（DAT）方法，利用局部几何密度项修正图像-文本相似度，以缓解CLIP等视觉语言模型在零样本分类中因虚假相关性导致的性能下降。
2026-06-01 cs.CV cs.LG
Data or Language Supervision: What Makes CLIP Better than DINO?
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本研究通过受控实验对比CLIP与DINO，发现CLIP的优势源于语言监督而非数据规模，其在文本密集型任务更优，而DINO在视觉中心任务略胜，为视觉编码器设计提供见解。
2025-10-13 cs.AI cs.CL cs.CV
Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality
KAIST（韩国科学技术院）；Sejong University（世宗大学）；Hanyang University（汉阳大学）
针对传统微调提升VLM组合推理会损害多模态能力的问题，提出融合局部硬负样本损失与选择性校准正则化的FSC-CLIP，在保持多模态能力的同时实现了与SOTA相当的组合性。
2024-10-07 cs.AI cs.CL cs.CV
CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model
University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；Zhejiang University（浙江大学）；Baidu Inc.（百度公司）
本文提出 CLIP4STR，基于 CLIP 的图像和文本编码器构建双分支（视觉与跨模态）及双重预测与优化解码方案，在 13 个 STR 基准上取得最先进性能，为 VLMs 在场景文本识别领域的研究建立强基线。
2024-12-24 cs.CV
LLMs Can Compensate for Deficiencies in Visual Representations
Fujitsu Limited（富士通有限公司）；MBZUAI；Tohoku University（东北大学）；RIKEN（日本研究机构）
本文通过自注意力消融实验证明，基于CLIP的VLM中语言主干能够在视觉表征语境化不足时动态弥补其缺陷并恢复性能，为将更多视觉处理卸载到语言解码器的未来架构提供了依据。
2025-09-19 cs.AI cs.CL cs.CV
Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）；Stanford University（斯坦福大学）；Baidu Inc.（百度公司）
本文提出基于CLIP反馈的强化学习框架RLCF，在测试时利用CLIP奖励纠正视觉-语言模型输出，提升其在分类、检索和图像描述等任务上的零样本泛化能力。
2024-02-21 cs.CV cs.MM
Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers
Warsaw University of Technology（华沙技术大学）；Centre for Credible Artificial Intelligence（可信人工智能中心）；University of Warsaw（华沙大学）
本文通过协方差矩阵谱分解，揭示对比预训练VLMs的潜在空间中多模态噪声结构，发现去除共享噪声维度对下游任务性能无害，提供对现代VLMs表征结构的新见解。
2026-05-14 cs.AI cs.CV cs.LG
Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification
The University of Tokyo（东京大学）；University of Southern California（南加州大学）；The Chinese University of Hong Kong（香港中文大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出ClipFit方法，仅微调CLIP中特定的偏置项和归一化层，无需额外参数即可将零样本性能提升7.27%，并分析了微调对内部参数和表示的影响。
2024-11-19 cs.AI cs.CL cs.CV
Exploring How Generative MLLMs Perceive More Than CLIP with the Same Vision Encoder
University of Washington（华盛顿大学）
本文揭示生成式多模态大语言模型在使用与 CLIP 相同的视觉编码器时能更有效地提取视觉信息，并通过受控实验证明其优势源于 patch tokens、位置嵌入和提示加权等架构设计，为改进对比式视觉语言模型提供了方向。
2025-07-21 cs.CL cs.CV cs.LG
Semantic-Clipping: Efficient Vision-Language Modeling with Semantic-Guidedd Visual Selection
University of California, Davis（加利福尼亚大学戴维斯分校）；University of Southern California（南加利福尼亚大学）；Arizona State University（亚利桑那州立大学）；Microsoft Research（微软研究院）
本文提出 SEMCLIP 框架，利用文本语义引导选择关键视觉区域并融入视觉编码，无需重训即可提升 VLM 细粒度理解与效率。
2025-03-14 cs.AI cs.CL cs.CV
Q-CLIP: Unleashing the Power of Vision-Language Models for Video Quality Assessment through Unified Cross-Modal Adaptation
提出Q-CLIP，首个完全基于视觉-语言模型的视频质量评估框架，通过共享跨模态适配器和可学习质量提示，以极低训练成本实现多数据集上的优异性能。
2025-10-09 cs.CV
Revisiting Visual Representation Enhancement of VLMs via Kernel Canonical Correlation Analysis
Beijing Institute of Technology（北京理工大学）
本文提出基于核典型相关分析（KCCA）的3vKCCA方法，通过最大化特征子空间投影相关性来增强视觉语言模型的细粒度视觉感知，在MMVP-VLM上准确率从17.8提升至25.9，且保持零样本检索性能。
2026-10-05 cs.AI cs.CV cs.LG
VLM-SubtleBench: How Far Are VLMs from Human-Level Subtle Comparative Reasoning?
KRAFTON；KAIST（韩国科学技术院）
VLM-SubtleBench通过评估VLMs在细微比较推理上的表现，揭示了模型与人类性能之间的差距，并为提升VLMs的推理能力提供了基础。
2026-03-09 cs.AI cs.CV cs.LG
vMFCoOp: Towards Equilibrium on a Unified Hyperspherical Manifold for Prompting Biomedical VLMs
vMFCoOp通过统一超球面流形上的vMF分布估计，实现LLM与CLIP主干间的语义对齐，提升生物医学VLMs的提示效果和少样本分类性能。
2025-11-20 cs.CV
EventCLIP: Adapting CLIP for Event-based Object Recognition
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
EventCLIP通过将CLIP适配到事件数据，利用二维网格表示和特征适配器，在多个数据集上实现最先进的少样本和全量微调事件目标识别性能。
2023-11-16 cs.CV
Real Classification by Description: Extending CLIP's Limits of Part Attributes Recognition
GE HealthCare Technology and Innovation Center（GE医疗技术与创新中心）；GE Aerospace Research（GE航空航天研究中心）
本研究提出零样本“真实”的基于描述的分类任务，通过ImageNet21k针对性训练与多分辨率改进CLIP架构，增强了模型细粒度部件属性识别能力，在六个流行基准及PACO数据集上取得显著性能提升。
2024-12-18 cs.CV
Minimal Clips, Maximum Salience: Long Video Summarization via Key Moment Extraction
IRIT, University of Toulouse（图卢兹大学IRIT研究所）；Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR））；CNRS, IRIT（法国国家科学研究中心（CNRS），IRIT研究所）
本文提出了一种通过关键时刻提取实现长视频多模态摘要的方法，利用轻量级模型和大型语言模型实现高效摘要生成。
2026-01-08 cs.CL cs.CV
Hyper3-CLIP: Hierarchy-Conditioned Hyperbolic Vision-Language Training
hyper 3 labs（超3实验室）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）；Faculty of Computers and Data Science, Alexandria University（亚历山大大学计算机与数据科学学院）；Faculty of Computer Science and Engineering, Alamein International University（阿拉曼国际大学计算机科学与工程学院）
Hyper3-CLIP结合层级条件与双曲几何，通过文本构建多粒度查询层级训练视觉-语言模型，提升图像-文本检索与多标签分类性能，在层级指标上保持竞争力。
2026-09-01 cs.AI cs.CV
Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
本文评估了CLIP、LLaVA和GPT-4V等视觉-语言模型在零样本图像-文本检索评估中的相关性判断能力，发现LLM驱动的VLMs在多项指标上优于CLIPScore，展现出增强相关性判断的潜力。
2024-08-02 cs.CL cs.CV cs.IR
Concept Regions Matter: Benchmarking CLIP with a New Cluster-Importance Approach
CVIT, Kohli Centre for Intelligent Systems, IIIT Hyderabad（IIIT海得拉尔计算机视觉研究所、Kohli智能系统中心）；Adobe Research, Bengaluru（Adobe研究）
针对CLIP等视觉语言模型易受虚假关联影响的问题，提出CCI可解释性方法与COVAR基准，结合二者全面评估18种CLIP变体，为构建更鲁棒的VLM提供支撑。
2025-11-17 cs.CV
A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets
WeChat AI, Tencent Inc, China（腾讯公司）
本文提出基于块的扩散方法自动生成反事实图文数据集，并设计区分集合间与集合内样本的损失函数，以少量训练数据显著提升视觉-语言模型的组合性推理性能，在多个基准上取得最优结果。
2025-07-07 cs.CV
Imperfect Vision Encoders: Efficient and Robust Tuning for Vision-Language Models
University of Cambridge（剑桥大学）；Toyota Motor Europe（丰田汽车欧洲公司）
针对开源VLMs依赖冻结CLIP编码器导致图像理解错误传播的问题，提出一种选择性局部更新视觉编码器的高效鲁棒微调方法，在修正错误的同时保持整体鲁棒性并支持持续少样本更新。
2024-07-23 cs.AI cs.CL cs.CV
When Better Teachers Don't Make Better Students: Revisiting Knowledge Distillation for CLIP Models in VQA
VISTEC；Bangkok Christian International School（巴吞普林国际学校）；AI Singapore（AI新加坡）
本文重新审视了CLIP模型在视觉问答中的知识蒸馏，发现更强教师不必然产生更好学生，揭示了现有蒸馏框架的局限性，并指明了参数高效多模态模型的设计新方向。
2026-08-24 cs.CL cs.CV
Video CLIP Model for Multi-View Echocardiography Interpretation
The University of Tokyo Hospital（东京大学医院）
本文提出一个基于五个标准视图完整视频序列训练的超声心动图视频-语言模型，利用多视图和视频输入提升诊断检索性能，并在 60,747 个视频-报告对上验证了其效果。
2025-11-08 cs.AI cs.CV
Can you SPLICE it together? A Human Curated Benchmark for Probing Visual Reasoning in VLMs
Institute of Cognitive Science, Osnabrück University（认知科学研究所，奥斯纳布吕克大学）
该研究提出源自 COIN 的人工策划基准 SPLICE，通过事件片段重排任务评估 VLM 的多维视觉推理，发现其显著落后于人类且更依赖语言先验。
2025-09-29 cs.AI cs.CV
Helping CLIP See Both the Forest and the Trees: A Decomposition and Description Approach
Tianjin University（天津大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Science and Technology of China（中国科学技术大学）
针对 CLIP 偏重全局图像模式而忽视局部细节的问题，本文提出随机多裁剪增强方法以激活其局部特征分析能力，并在零样本、少样本和测试时自适应设置下验证了有效性。
2025-07-04 cs.AI cs.CV
Can VLMs be used on videos for action recognition? LLMs are Visual Reasoning Coordinators
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；Mathematics of Generative Modeling（生成式建模数学研究所）
本研究探索利用大语言模型协调多个视觉语言模型，在仅依赖少量关键帧和弱时序信息的情况下进行监控视频动作识别，实验验证了可行性，并建议增强时序信号和帧数以提升性能。
2024-07-20 cs.CV
Enhancing CLIP with GPT-4: Harnessing Visual Descriptions as Prompts
Dublin City University（都柏林城市大学）
本文提出利用GPT-4生成视觉描述性文本作为提示来增强CLIP的零样本迁移能力，并设计少样本适配器选择最优句子构建分类器，在多个细粒度数据集上显著超越默认提示和CoCoOP方法。
2023-08-08 cs.AI cs.CL cs.CV
Ranking-aware adapter for text-driven image ordering with CLIP
National Yang Ming Chiao Tung University（国立阳明交通大学）；UC Merced（加州大学默塞德分校）；Atmanity Inc.（Atmanity公司）
本文提出一种排序感知适配器，将CLIP重构为文本引导的图像排序任务，通过可学习提示和排序感知注意力利用图像间视觉差异，以单一指令实现通用且高效的图像排序。
2025-02-08 cs.CV
Do Vision-Language Models Understand Compound Nouns?
University of Maryland（马里兰大学）
本文构建Compun基准评估CLIP等视觉-语言模型对复合名词的理解能力，并提出用大语言模型生成多样化描述替代手写模板，将CLIP在Compun上的复合名词理解性能提升8.25%。
2024-03-30 cs.CL cs.CV
WATT: Weight Average Test-Time Adaptation of CLIP
ÉTS Montréal（蒙特利尔工程学院）；MILA（蒙特利尔学习算法研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
针对CLIP在域偏移下泛化能力下降的问题，提出权重平均测试时适应方法WATT，通过多样化文本模板、伪标签更新与权重平均及文本集成策略，无需额外模块即可在多数据集上显著提升性能，且仅需单张图像即可运行。
2024-06-24 cs.CV
DPA: Dual Prototypes Alignment for Unsupervised Adaptation of Vision-Language Models
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Alexandria University（亚历山大大学）
针对视觉-语言模型（如CLIP）在无监督领域适应中因伪标签噪声导致的性能受限问题，提出DPA方法，通过双原型对齐解决视觉文本表示错位，构建准确伪标签，在13个任务上显著优于基线。
2024-12-01 cs.CV
Kernel-Based Steering of CLIP with Vision-Language Model Preferences
提出ASK方法，利用VLM偏好通过核匹配和低秩适配器引导CLIP，无需教师嵌入，提升检索mAP至75.0并保持零样本能力。
2026-09-29 cs.CV cs.LG
Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment
Nanjing University（南京大学）
研究针对微调CLIP时预测置信度与准确性不一致问题，提出无需训练的移位感知校准（SAC）方法，利用原始与微调CLIP输出对数差异作校准信号，经实验验证该方法在多数据集和微调方法上提升了校准效果。
2026-07-28 cs.CV cs.LG
CLIP-Count: Towards Text-Guided Zero-Shot Object Counting
The Hong Kong Polytechnic University（香港理工大学）
本文提出CLIP-Count，首个文本引导的零样本开放词汇目标计数端到端框架，通过图像块-文本对比损失和分层交互模块对齐视觉-语言特征，在多个计数数据集上取得最先进性能。
2023-08-10 cs.AI cs.CV
Do VLMs Have Bad Eyes? Diagnosing Compositional Failures via Mechanistic Interpretability
University of Southern California（南加州大学）
本文通过机制可解释性方法诊断视觉语言模型组合失败的原因，发现CLIP视觉编码器MLP层中神经元的特征叠加现象直接损害了组合特征表示与对象绑定能力。
2025-08-26 cs.CV
CountCLIP -- [Re] Teaching CLIP to Count to Ten
SAiDL；BITS Pilani（印度皮拉尼比尔拉理工学院）
本文复现了“教会CLIP数到十”的方法，通过引入计数对比损失微调CLIP，在更小数据子集和更低计算资源下提升零样本计数准确率，同时保持零样本分类性能。
2024-06-10 cs.AI cs.CV cs.LG
Towards Fine-Grained Adaptation of CLIP via a Self-Trained Alignment Score
Mohamed Bin Zayed University of Artificial Intelligence（莫莫德·本·扎耶德人工智能大学）；IIT Delhi（德里印度理工学院）；Alexandria University（亚历山大大学）
针对CLIP在细粒度分类无监督适配中固定对齐分数和伪标签策略的局限，提出FAIR方法，利用类别描述锚点动态对齐图文特征并定义学习对齐分数，结合自训练加权机制优化伪标签，在13个数据集上取得2.78%的总体提升。
2025-07-13 cs.CV
Omni-NegCLIP: Enhancing CLIP with Front-Layer Contrastive Fine-Tuning for Comprehensive Negation Understanding
University of Southern California（南加州大学）
本文提出Omni-NegCLIP，通过修改CLIP的InfoNCE损失函数，改进其对存在性和缺失性否定表达的理解能力，实验显示在否定任务中性能提升显著，且不牺牲图像-文本检索能力。
2026-03-31 cs.AI cs.CV
