From Global to Local: Social Bias Transfer in CLIP
The University of Osaka(大阪大学);NVIDIA(英伟达)
针对CLIP模型复用引发的社会偏见迁移问题,通过实证分析发现偏见测量依赖数据子集、迁移趋势无一致性,且适配下游任务时不同CLIP表示空间会收敛,为偏见缓解提供了见解。
2025-08-25 cs.CV
ClipCrop: Conditioned Cropping Driven by Vision-Language Model
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);Microsoft Research(微软研究院)
图像裁剪在数据驱动的范式下取得了巨大的进步。然而,当前的方法不考虑用户的意图,这是一个问题,特别是当输入图像的组成是复杂的。此外,裁剪数据的标记是昂贵的,因此数据量是有限的,导致目前的算法在野外的泛化性能差。在这项工作中,我们利用视觉语言模型的基础上创建强大的和用户有意裁剪算法。通过适应一个Transformer解码器与预训练的基于CLIP的检测模型,OWL-ViT,我们开发了一种方法来执行裁剪的文本或图像查询,反映了用户的意图作为指导。此外,我们的流水线设计允许模型使用小的裁剪数据集学习文本调节的美学裁剪,同时继承从数百万个文本图像对中获得的开放词汇能力。我们通过对现有数据集的广泛实验以及我们编译的新裁剪测试集来验证我们的模型,该测试集的特点是内容模糊。
2022-11-21 cs.CV
Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder
Huazhong University of Science and Technology(华中科技大学);Li Auto Inc.(理想汽车)
本文提出ComCLIP框架,通过冻结CLIP文本编码器、采用合适温度的对比损失等优化,提升了CLIP视觉编码器的特征可迁移性,且作为即插即用组件适配LLaVA等下游VLM。
2026-10-12 cs.AI cs.CV
TDDN: Text-aligned Diffused DINO Network for Puzzle Understanding
Eightfold AI;Inception42;Indian Institute of Technology Kharagpur(印度理工学院卡哈尔普尔分校)
针对VLM细粒度视觉感知不足,提出融合DINOv3与CleanDIFT并文本对齐的TDDN模型,以少量对齐数据在检索和分割上超越CLIP,并引入Puzzle Perception数据集验证其优势。
2026-10-12 cs.AI cs.CV
What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features
Purdue University(普渡大学)
对比视觉语言模型如CLIP对否定不敏感,研究发现是表征坍缩所致。提出轻量级事后校正系统PeakPatch,在不改变预训练权重下恢复否定信号,通过特定网络提取信号、预测偏差向量等,经实验验证其有效性及泛化性。
2026-07-28 cs.AI cs.CV
CardiacCLIP: Video-based CLIP Adaptation for LVEF Prediction in a Few-shot Manner
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(电子与计算机工程系,香港科学与技术大学)
本文提出CardiacCLIP框架,通过多帧注意力学习(MFL)和多尺度特征提取(EchoZoom)适配CLIP模型,在少样本条件下提升超声心动图视频的LVEF预测精度。
2025-09-21 cs.CV
ViT-Lens: Initiating Omni-Modal Exploration through 3D Insights
National University of Singapore(新加坡国立大学);Tencent PCG(腾讯平台与内容事业群);Show Lab(Show实验室);ARC Lab(ARC实验室)
本文提出ViT-Lens,通过预训练ViT感知新模态并对齐到预定义空间实现高效全模态表示学习,在零样本3D分类和问答任务上取得显著提升。
2024-03-26 cs.CV
CLIMP: Contrastive Language-Image Mamba Pretraining
Tel-Aviv University(特拉维夫大学);IBM Research(IBM研究院)
CLIMP是首个全Mamba架构的对比视觉语言模型,通过Mamba替代视觉和文本编码器,提升跨模态检索和鲁棒性,优于CLIP-ViT-B 7.5%。
2026-06-29 cs.CV
Integrating Query-aware Segmentation and Cross-Attention for Robust VQA
Kyungpook National University(庆北国立大学)
本文提出一种基于LVLM、交叉注意力和LoRA微调的VQA方法,结合CLIPSeg增强与ViT特征集成,利用Levenshtein距离提升答案预测准确性。
2024-07-09 cs.CV
Vision-Language Models for Autonomous Driving: CLIP-Based Dynamic Scene Understanding
Natural, Engineering and Technology Sciences Department, Arab American University(阿拉伯美国大学自然、工程与技术科学部门)
提出基于 CLIP 的动态驾驶场景检索系统,在 Honda Scenes Dataset 上微调 ViT 模型并实现 91.1% F1,优于 GPT-4o 零样本上下文学习。
2025-01-09 cs.AI cs.CV cs.CY
Attribute-based Visual Reprogramming for Vision-Language Models
The University of Melbourne(墨尔本大学);Southeast University(东南大学);Idealism Technology (Beijing)(北京理想主义科技公司)
提出基于属性的视觉重编程方法AttrVR,利用描述性和区分性属性迭代优化噪声模式,减少类内方差、增加类间分离,在12个下游任务上超越现有方法。
2025-02-25 cs.CV cs.LG
CLIP Itself is a Strong Fine-tuner: Achieving 85.7% and 88.0% Top-1 Accuracy with ViT-B and ViT-L on ImageNet
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
最近的研究表明,CLIP在执行zero-shot推理方面取得了显著的成功,但其微调性能并不令人满意。在本文中,我们确定微调性能显着影响超参数的选择。我们研究了各种关键的超参数,并通过一项全面的研究,经验性地评估了它们在微调CLIP分类任务中的影响。我们发现CLIP的微调性能被大大低估了。配备了超参数细化,我们证明了CLIP本身是更好的或至少有竞争力的微调相比,大规模的监督预训练方法或最新的作品,使用CLIP作为预测目标的掩码图像建模。具体来说,CLIP ViT-Base/16和CLIP ViT-Large/14可以在ImageNet-1 K数据集上实现85.7%,88.0%的微调Top-1准确率。这些观察结果挑战了CLIP不适合微调的传统结论,并促使我们重新思考最近提出的基于CLIP的改进。我们将在\url{https://github.com/LightDXY/FT-CLIP}上公开发布我们的代码。
2022-12-12 cs.CV cs.LG
LightCLIP: Learning Multi-Level Interaction for Lightweight Vision-Language Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出LightCLIP,通过渐进软化负样本标签、松弛二分匹配令牌级对齐以及引入掩码语言建模和辅助融合模块,在不增加推理成本的前提下提升轻量级CLIP模型的多下游任务性能。
2023-12-01 cs.CV
Kernel-Based Steering of CLIP with Vision-Language Model Preferences
提出ASK方法,利用VLM偏好通过核匹配和低秩适配器引导CLIP,无需教师嵌入,提升检索mAP至75.0并保持零样本能力。
2026-09-29 cs.CV cs.LG
CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);SenseTime Research and Tetras.AI(商汤科技研究院与Tetras.AI);Shanghai AI Laboratory(上海人工智能实验室)
针对 CLIP ViT 从全局图像迁移到局部区域时的域偏移问题,本文提出 CLIPSelf 自蒸馏方法,在无需区域-文本对的情况下增强区域-语言对齐,并在多项开放词汇密集预测基准上达到最优性能。
2024-01-24 cs.CV
Meta CLIP 2: A Worldwide Scaling Recipe
FAIR, Meta(FAIR与Meta公司);MIT(麻省理工学院);Princeton University(普林斯顿大学);New York University(纽约大学)
针对CLIP扩展至全球数据时的非英语数据筛选难、多语言诅咒问题,本文提出Meta CLIP 2方案,通过最小改动的消融实验实现多语言数据互利,在多项多语言基准上刷新最优性能。
2025-08-01 cs.CL cs.CV
Few-Shot Class-Incremental Model Attribution Using Learnable Representation From CLIP-ViT Features
Sungkyunkwan University(成均馆大学)
本文针对持续涌现的生成模型归因问题,提出将少样本类增量学习与CLIP-ViT多层特征相结合,并设计自适应集成模块AIM来加权融合特征,从而高效识别新型生成式AI模型。
2025-03-11 cs.CV
Stable and low-precision training for large-scale vision-language models
University of Washington(华盛顿大学);Meta AI Research, FAIR Team(Meta AI研究院FAIR团队);Allen Institute for AI(艾伦人工智能研究所);LAION
本文提出加速与稳定大规模视觉-语言模型训练的新方法:SwitchBack线性层实现int8量化训练(加速13-25%,性能损失小于0.1%),并推荐AdamW-Adafactor混合优化器以避免损失尖峰。
2023-10-17 cs.CV cs.LG
Domain Recentering and Confidence-Weighted Prior Calibration for Vision-Language Models
Ewha Womans University(梨花女子大学)
针对视觉-语言模型在分布偏移下性能下降的问题,提出免训练的域重定心与置信度校准方法,通过高斯混合后验加权和置信度加权先验校正,提升跨域零样本分类准确率。
2026-09-25 cs.AI cs.CV
PyramidCLIP: Hierarchical Feature Alignment for Vision-language Model Pretraining
Tencent(腾讯);Shanghai Jiaotong University(上海交通大学);Xiamen University(厦门大学);Zhejiang University(浙江大学)
大规模的视觉语言预训练在下游任务上取得了可喜的成果。现有的方法高度依赖于从互联网上抓取的图像-文本对是完全一一对应的假设。然而,在实际场景中,这种假设很难成立:通过抓取图像的附属元数据获得的文本描述往往存在语义不匹配和相互兼容的问题。为了解决这些问题,我们介绍了PyramidCLIP,它构建了一个输入金字塔与不同的语义层次的每一个模态,并对齐视觉元素和语言元素的层次结构的形式,通过同级语义对齐和跨级别的关系对齐。此外,我们软化了负样本(未配对样本)的丢失,以削弱预训练阶段的严格约束,从而减轻了迫使模型区分兼容负对的风险。五个下游任务的实验证明了所提出的PyramidCLIP的有效性。特别是,在相同数量的1500万个预训练图像-文本对的情况下,PyramidCLIP在基于ResNet 50/ViT-B32/ViT-B16的图像编码器的ImageNet zero-shot分类上的top-1准确率分别超过CLIP 10.6%/13.2%/10.0%。当扩展到更大的数据集时,PyramidCLIP在几个下游任务上实现了最先进的结果。特别是在ImageNet zero-shot分类任务上,PyramidCLIP-ResNet 50在143 M图文对上训练的结果超过了CLIP使用400 M数据的结果,显著提高了CLIP的数据效率。
2022-05-28 cs.AI cs.CV
General Image Descriptors for Open World Image Retrieval using ViT CLIP
H2O.ai;University of Würzburg(维尔茨堡大学)
谷歌通用图像嵌入(GUIE)挑战赛是多领域图像表示领域的首批竞赛之一,涵盖了广泛的对象分布:地标、艺术品、食物等。这是一个基本的计算机视觉问题,在图像检索、搜索引擎和电子商务中有着重要的应用。在这项工作中,我们解释了我们对GUIE挑战的第四名解决方案,以及我们使用CLIP预训练的微调zero-shot视觉Transformer(ViT)的“技巧包”。
2022-10-20 cs.AI cs.CV
The Professor: Multi-Teacher Unsupervised Prompt Distillation for Vision-Language Models
King Fahd University of Petroleum and Minerals(法赫德国王石油矿产大学)
提出多教师提示蒸馏方法TheProfessor,融合领域微调教师和零样本教师,在四个数据集上平均HM提升1.77点,尤其对域偏移数据集效果显著。
2026-06-24 cs.AI cs.CV
The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP
Soongsil University(顺斯大学)
针对CLIP模型INT8量化导致的表示崩溃问题,提出LRA-EE方法,通过时空语义聚合、多特征门控和层自适应阈值实现早期退出,在ImageNet-1K零样本分类中降低13.4% FLOPs并提升2.44%准确率。
2026-05-26 cs.AI cs.CV
A Contrastive Learning Framework Empowered by Attention-based Feature Adaptation for Street-View Image Classification
SpaceTimeLab(时空实验室);University College London(伦敦大学学院)
CLIP-MHAdapter通过引入基于注意力的特征适应机制,提升街景图像属性分类的准确性和效率
2026-02-18 cs.AI cs.CV cs.LG
Decomposing and Interpreting Image Representations via Text in ViTs Beyond CLIP
University of Maryland, College Park(马里兰大学帕克分校)
本文提出一个通用框架,通过将ViT各组件贡献线性映射到CLIP空间并用文本解释,结合新评分函数识别组件重要性,从而在CLIP之外理解ViT组件与图像特征的关系,并应用于图像检索、热图可视化和虚假相关性缓解。
2024-10-21 cs.CV cs.LG
Captured by Captions: On Memorization and its Mitigation in CLIP Models
CISPA;Georgia Institute of Technology(佐治亚理工学院)
该研究针对CLIP模型记忆机制不明的问题,提出CLIPMem定义量化其记忆程度,发现其记忆介于监督与自监督范式间、文本编码器贡献更大,并提出了减记忆且提效用的新策略。
2025-05-19 cs.AI cs.CV cs.LG
FedReplay: A Feature Replay Assisted Federated Transfer Learning Framework for Efficient and Privacy-Preserving Smart Agriculture
Department of Electrical and Computer Engineering, The University of Alabama(电气与计算机工程系,阿拉巴马大学);Electrical and Computer Engineering, Michigan State University(电气与计算机工程,密歇根州立大学);Agricultural and Biological Engineering, Mississippi State University(农业与生物工程,密苏里州立大学);Department of Computer Science, University of Alabama(计算机科学系,阿拉巴马大学);USDA-ARS Genetics and Sustainbale Agriculture(美国农业部ARS基因与可持续农业)
提出FedReplay联邦学习框架,结合冻结CLIP ViT与轻量级分类器,通过共享1%特征缓解non-IID问题,在农业分类任务中准确率达86.6%,较基线提升4倍多,实现高效隐私保护。
2025-10-31 cs.AI cs.CV
CLIP-PING: Boosting Lightweight Vision-Language Models with Proximus Intrinsic Neighbors Guidance
Kyung Hee University(庆熙大学);The University of Danang—Vietnam-Korea University of Information and Communication Technology(岘港大学—越韩信息与通信技术大学);Digital Science and Technology Institute(数字科学技术研究院)
针对轻量级视觉语言模型仅靠图文对比学习性能不佳的问题,提出CLIP-PING训练范式,利用预训练编码器的近邻样本特征提供额外对比监督,以低开销提升模型跨模态对齐效果与零样本、检索及下游迁移性能。
2025-03-19 cs.AI cs.CV cs.ET
Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Automation, Tsinghua University(清华大学自动化系)
本文提出自校准CLIP,通过消除异常token影响,提升CLIP在开放词汇分割中的表现,实现更精细的特征表示和语义一致性。
2026-03-26 cs.CV
CLIP-KD: An Empirical Study of CLIP Model Distillation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文实证研究CLIP模型蒸馏,提出关系、特征、梯度与对比等多种蒸馏策略,发现特征模仿和交互式对比学习最有效,并在ImageNet分类和跨模态检索上显著提升学生模型性能。
2024-05-07 cs.CV
WinCLIP: Zero-/Few-Shot Anomaly Classification and Segmentation
AWS AI Labs(AWS人工智能实验室);KAIST(韩国科学技术院)
视觉异常分类和分割是工业质量检测自动化的关键。该领域先前研究的重点是为每个质量检查任务训练自定义模型,这需要特定于任务的图像和注释。在本文中,我们离开这个制度,解决zero-shot和少数正常的镜头异常分类和分割。最近CLIP,一个视觉语言模型,已经显示出革命性的通用性与竞争力的零/Few-Shot性能相比,全监督。但CLIP在异常分类和分割任务上存在不足。因此,我们提出了基于窗口的CLIP(WinCLIP)(1)状态词和提示模板上的组合集成,以及(2)与文本对齐的窗口/补丁/图像级特征的有效提取和聚合。我们还提出了它的几个正常的镜头扩展WinCLIP+,它使用正常图像的互补信息。在MVTec-AD(和VisA)中,无需进一步调优,WinCLIP在zero-shot异常分类和分割中实现了91.8%/85.1%(78.1%/79.6%)的AUROC,而WinCLIP+在1次正常拍摄中实现了93.1%/95.2%(83.8%/96.4%),大大超过了最先进的水平。
2023-03-26 cs.AI cs.CL cs.CV
Improving Visual Discriminability of CLIP for Training-Free Open-Vocabulary Semantic Segmentation
Department of Computer Science(计算机科学系)
针对CLIP图像级预训练与像素级分割任务的错位问题,提出免训练框架LHT-CLIP,从层、头、token层面挖掘视觉判别能力,通过三种互补技术在8个基准上取得SOTA性能。
2025-10-27 cs.CV
Exploring 2D backbone effects for indoor semantic occupancy prediction
College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院)
本研究通过替换图像骨干网络,发现DINOv2等更强编码器显著提升室内语义占用预测的mIoU,表明骨干网络选择是影响三维预测的关键因素。
2026-09-16 cs.CV
Refining CLIP's Spatial Awareness: A Visual-Centric Perspective
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院)
针对CLIP使用RLA微调导致空间感知丧失的问题,提出SCD框架与轻量级Refiner,通过提取并精炼CLIP的固有空间结构特征进行蒸馏,在开放词汇密集预测基准上取得最优结果。
2025-04-03 cs.CV
TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance
Sun Yat-sen University(中山大学);Microsoft(微软);Huazhong University of Science & Technology(华中科技大学)
TinyCLIP通过亲和力模仿和权重继承实现CLIP模型的高效蒸馏,在显著减少参数的同时保持甚至提升零样本性能,并加速训练。
2023-09-21 cs.CV
From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal
Persona Identities
本文提出了一种针对图像表示编码器中身份泄露的评估基准和缓解方法,通过线性子空间移除技术在保持实用性的前提下提升隐私保护。
2026-04-07 cs.CV
Team NYCU at Defactify4: Robust Detection and Source Identification of AI-Generated Images Using CNN and CLIP-Based Models
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出结合 EfficientNet-B0 多特征分类与 CLIP-ViT+SVM 的方法,用于 AI 生成图像检测及来源模型识别,并在 Defactify 4 数据集和竞赛中取得前三的鲁棒性能。
2025-03-13 cs.AI cs.CV
CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition
University of Science and Technology of China(中国科学技术大学)
人脸表情识别是理解人类行为的一项重要任务。作为人类最具信息量的行为之一,面部表情往往是复合的和可变的,这表现为不同的人可能以非常不同的方式表达相同的表情。然而,大多数FER方法仍然使用独热或软标签作为监督,这缺乏足够的语义描述的面部表情和较少的可解释性。最近,对比视觉语言预训练(VLP)模型(例如,CLIP)以文本为监督,得益于文本中丰富的语义,为各种计算机视觉任务注入了新的活力。因此,在这项工作中,我们提出了CLIPER,一个统一的框架,静态和动态的面部表情识别的基础上CLIP。此外,我们引入了多表达式文本描述符(METD)来学习细粒度的表达式表示,使CLIPER更具可解释性。我们在几个流行的FER基准上进行了大量的实验,并达到了最先进的性能,这证明了CLIPER的有效性。
2023-03-01 cs.CV
Democratizing Contrastive Language-Image Pre-training: A CLIP Benchmark of Data, Model, and Supervision
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
对比图像预训练(CLIP)是一种从语言监督中学习视觉模型的新范式。虽然研究人员继续推动CLIP的前沿,但复制这些作品仍然具有挑战性。这是因为研究人员没有选择一致的训练食谱,甚至使用不同的数据,阻碍了不同方法之间的公平比较。在这项工作中,我们提出了CLIP基准,第一次尝试评估,分析和基准CLIP及其变体。我们对三个关键因素进行了全面分析:数据,监督和模型架构。我们发现相当多的直觉或反直觉的见解:(1)。数据质量对性能有很大影响。(二)、特定的监督对于卷积网络(ConvNets)和视觉Transformer(ViT)具有不同的效果。采用更合理的监督可以有效地提高CLIP的绩效。(三)、减少文本编码器可以降低训练成本,但对最终性能影响不大。此外,我们进一步将DeCLIP与FILIP结合起来,为我们带来了最强大的变体DeFILIP。CLIP基准将在https://github.com/Sense-GVT/DeCLIP上发布,供未来的CLIP研究使用。
2022-03-11 cs.CV
DIME-FM: DIstilling Multimodal and Efficient Foundation Models
Boston University(波士顿大学);Meta AI
本文提出 DIME-FM 蒸馏机制,仅用少量未配对公开图像和句子,将 CLIP-ViTL/14 的知识迁移到小型 ViT-B/32,并在零样本、线性探测及分布偏移鲁棒性上媲美大规模私有数据训练模型。
2023-08-14 cs.CV
CLIPer: Hierarchically Improving Spatial Representation of CLIP for Open-Vocabulary Semantic Segmentation
Tianjin University(天津大学);Chongqing University(重庆大学);Zhengzhou University(郑州大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出CLIPer层次化框架,通过早期层融合和扩散模型细粒度补偿改进CLIP空间表示,在多个开放词汇语义分割数据集上取得最优性能。
2024-11-21 cs.CV
Explaining CLIP's performance disparities on data from blind/low vision users
Microsoft Research(微软研究院);The World Bank(世界银行)
本文评估了25种CLIP变体在盲/低视力用户数据上的性能,发现准确率比网络图像低15个百分点,并分析了差异原因及少样本学习的缓解效果。
2024-03-25 cs.CV
Demystifying CLIP Data
FAIR, Meta AI(FAIR,Meta AI);New York University(纽约大学);University of Washington(华盛顿大学)
MetaCLIP通过优化数据整理方法,提升CLIP在图像分类任务中的性能。
2025-11-23 cs.CL cs.CV
TBN-ViT: Temporal Bilateral Network with Vision Transformer for Video Scene Parsing
Ant Group(蚂蚁集团)
随着自动驾驶技术的飞速发展,野外环境下的视频场景解析是一个具有挑战性和重要意义的课题。数据集Video Scene Parsing in the Wild(VSPW)包含修剪良好的长时间,密集注释和高分辨率剪辑。在VSPW的基础上,设计了一个带有视觉Transformer的时间双边网络.我们首先设计了一个空间路径与卷积生成低级别的功能,可以保持空间信息。同时,采用具有视觉Transformer的上下文路径来获得足够的上下文信息。此外,一个时间上下文模块被设计来利用帧间上下文信息。最后,所提出的方法可以实现49.85\%的平均交集超过并集(mIoU)的VSPW2021挑战测试数据集。
2021-12-02 cs.CV
Unveiling Backbone Effects in CLIP: Exploring Representational Synergies and Variances
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学);The University of Tokyo(东京大学);AIST(日本产业技术综合研究所);University of Chile(智利大学);CENIA(智利国家人工智能研究中心);IMFD(千年基础数据研究所);Amazon(亚马逊)
本研究揭示不同骨干架构在CLIP中的表征差异,提出组合预测方法,性能提升达6.34%,选择适当骨干可提升超20%。
2023-12-22 cs.CV
Plug-in Feedback Self-adaptive Attention in CLIP for Training-free Open-Vocabulary Segmentation
University of Toronto(多伦多大学);China Agricultural University(中国农业大学);Concordia University(Concordia大学);McMaster University(麦马斯特大学);Beijing Jiaotong University(北京交通大学)
针对 CLIP 开放词汇分割定位弱、中间注意力语义不一致的问题,提出免训练的插件式反馈自适应注意力框架,利用输出预测引导中间注意力,并在多骨干、多注意力类型和八个基准上持续提升性能。
2025-08-27 cs.CV cs.LG
Learning to Adapt Frozen CLIP for Few-Shot Test-Time Domain Adaptation
University of Toronto(多伦多大学);Concordia University(Concordia大学);McMaster University(麦马斯特大学)
本工作通过输入空间学习与反向注意力侧分支,为冻结CLIP补充数据集特定知识,并利用贪婪文本集成和域提示融合特征,在少样本测试时域适应基准上显著提升性能。
2025-06-18 cs.CV cs.LG
A Comparative Study of Vision Transformers and CNNs for Few-Shot Rigid Transformation and Fundamental Matrix Estimation
Department of Computer Science, Ben-Gurion University of the Negev(本·古里安大学内盖夫分校计算机科学系);School of Electrical and Computer Engineering, Ben-Gurion University of the Negev(本·古里安大学内盖夫分校电气与计算机工程学院);GE Healthcare Science and Technology(通用电气医疗科技)
本研究系统比较了ViT与CNN在少样本刚性变换和基础矩阵估计中的表现,发现大样本下ViT更优,小样本下CNN凭借归纳偏置可匹敌ViT,且ViT跨域泛化更强。
2025-10-06 cs.CV
CAE v2: Context Autoencoder with CLIP Target
Beihang University(北京航空航天大学);Baidu VIS(百度视觉技术部);Zhejiang University(浙江大学);Peking University(北京大学)
掩码图像建模(MIM)通过对图像块进行掩模和重构来学习视觉表示。应用CLIP表示的重构监督已被证明是有效的MIM。然而,MIM中的CLIP监督如何影响性能仍有待探索。为了研究改进CLIP靶向MIM的策略,我们研究了MIM中的两个关键要素,即,的监督位置和掩码比,并揭示了两个有趣的观点,依靠我们开发的简单的管道,上下文自动解码器与CLIP目标(CAE v2)。首先,我们观察到,可见补丁的监督取得了显着的性能,甚至优于掩蔽补丁,后者是现有MIM方法中的标准格式。其次,最佳掩模比率与模型尺寸正相关。也就是说,模型越小,需要的掩模比越低。在这两个发现的推动下,我们简单而简洁的方法CAE v2在一系列下游任务上实现了卓越的性能。例如,一个vanilla ViT-Large模型在ImageNet-1 K上的线性探测和微调上达到了81.7%和86.7%的top-1准确率,在预训练300个epoch的情况下,在ADE 20 K上的语义分割上达到了55.9%的mIoU。我们希望我们的研究结果可以在MIM领域的预训练,特别是对于小规模的模型有帮助的指导方针。
2022-11-17 cs.CV
Joint Vision-Language Social Bias Removal for CLIP
National University of Singapore(新加坡国立大学)
针对CLIP等视觉-语言模型去偏时对齐能力下降的问题,提出联合对齐并移除图像与文本偏见的去偏框架,在保持V-L对齐的同时实现多模态偏见缓解,并设计了新的评估协议。
2024-11-19 cs.CV
WeakTr: Exploring Plain Vision Transformer for Weakly-supervised Semantic Segmentation
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通讯学院);Alipay Tian Qian Security Lab(支付宝天泉安全实验室)
本文提出WeakTr方法,利用纯视觉变换器的多层多头自注意力图进行弱监督语义分割和CAM生成,通过自适应融合提升CAM质量,并提出基于ViT的梯度裁剪解码器实现高效重训练。
2026-03-25 cs.CV
Adapting Contrastive Language-Image Pretrained (CLIP) Models for Out-of-Distribution Detection
Heinrich Heine University(海因里希·海涅大学)
本研究聚焦CLIP模型的OOD检测适配,提出伪标签探测方法,在5个ImageNet基准上超越SOTA,同时发现线性探测优于微调,且大参数CLIP仍难检测对抗OOD样本。
2023-11-09 cs.AI cs.CV cs.LG
VITR: Augmenting Vision Transformers with Relation-Focused Learning for Cross-Modal Information Retrieval
Loughborough University(拉夫堡大学)
本文提出VITR网络,通过局部编码器提取和推理图像区域关系,并与全局知识融合预测相似度,解决了ViT在跨模态检索中忽略区域关系对齐的问题,在多个数据集上优于现有方法。
2023-07-27 cs.CV
What do Vision Transformers Learn? A Visual Exploration
University of Maryland - College Park(马里兰大学帕克分校);New York University(纽约大学)
视觉Transformer(ViTs)正在迅速成为计算机视觉的事实上的架构,但我们对它们为什么工作以及它们学到了什么知之甚少。虽然现有的研究直观地分析了卷积神经网络的机制,但对ViTs的类似探索仍然具有挑战性。在本文中,我们首先解决在ViTs上执行可视化的障碍。在这些解决方案的帮助下,我们观察到用语言模型监督训练的ViT中的神经元(例如,CLIP)是由语义概念而不是视觉特征激活的。我们还探索了ViTs和CNN之间的潜在差异,我们发现Transformers检测图像背景特征,就像它们的卷积对应物一样,但它们的预测对高频信息的依赖要小得多。另一方面,这两种架构类型在特性从早期层中的抽象模式发展到后期层中的具体对象的方式上表现相似。此外,我们表明,ViTs保持空间信息在所有层,除了最后一层。与以前的作品相比,我们表明,最后一层最有可能放弃的空间信息,并表现为一个学习的全局池操作。最后,我们对各种ViT变体(包括DeiT、CoaT、ConViT、PiT、Swin和Twin)进行大规模可视化,以验证我们方法的有效性。
2022-12-13 cs.CV