T-CLIP: Enabling Thermal Perception for Contrastive Language-Image Pretraining
Indian Institute of Technology Delhi, India（印度理工学院德里分校）；NVIDIA AI Technology Center, India（NVIDIA AI技术中心）；Jawaharlal Nehru University, India（贾瓦哈拉尔·尼赫鲁大学）
针对CLIP无法对齐热图像与文本描述的问题，提出物理感知的热描述数据集IR-Cap和解耦双LoRA框架T-CLIP，实现场景级和对象级热理解，在跨模态检索任务上超越所有基线。
2026-05-30 cs.CV
Does Vision-and-Language Pretraining Improve Lexical Grounding?
Brown University（布朗大学）
仅从文本中衍生的语言表征因缺乏基础而受到批评，即，将词语与它们在现实世界中的意义联系起来。视觉和语言（VL）模型，共同训练的文本和图像或视频数据，已被提供作为对这些批评的回应。然而，尽管VL预训练在多模态任务（如视觉问答）上取得了成功，但尚不清楚内部语言表征本身与纯文本对应物的比较情况。本文比较了通过VL与纯文本预训练两个最近的VL模型使用一套分析（聚类，探测，和一个常识性的问答任务的性能）在一个纯语言设置的语义表示。我们发现，多模态模型未能显着优于纯文本的变体，这表明，未来的工作是必要的，如果要追求多模态预训练作为一种手段，提高NLP的一般。
2021-09-21 cs.AI cs.CL cs.CV
Object-centric Binding in Contrastive Language-Image Pretraining
University of YYY（YYY大学）；Institute of WWW（WWW研究院）；FAIR at Meta - Montreal（Meta FAIR蒙特利尔分部）；McGill University（麦吉尔大学）
针对 CLIP 类模型理解多对象组合场景的不足，本文提出场景图与槽结构图像表示绑定及文本条件关系约束，在无需难负样本的情况下提升图文匹配能力。
2025-02-19 cs.AI cs.CV
WAON: A Large-Scale Japanese Image-Text Dataset for Cultural Adaptation in Contrastive Vision-Language Models
Kyoto University（京都大学）；NII LLMC（日本国家研究所语言模型中心）；NII（日本国家研究所）；Waseda University（早稻田大学）；Institute of Science Tokyo（东京科学研究所）
提出WAON，一个从Common Crawl构建的包含约1.55亿样本的最大公开原生日语图像-文本数据集，并通过微调实验证明其在日语文化基准上优于翻译数据。
2026-10-05 cs.CL cs.CV
DRIP: Dynamic patch Reduction via Interpretable Pooling
本文提出DRIP方法，通过可解释池化在视觉编码器深层动态合并token以适应输入图像，在ImageNet从头训练和CLIP对比预训练中显著降低GFLOP并保持性能，并扩展至生物学数据集。
2025-11-04 cs.CV
Style-Aware Contrastive Learning for Multi-Style Image Captioning
Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
现有的多风格图像描述方法在生成具有准确视觉内容和期望语言风格的字幕方面显示出有希望的结果。然而，现有的方法忽略了语言风格和视觉内容之间的关系。为了克服这个缺点，我们提出了风格感知的对比学习多风格的图像描述。首先，我们提出了一个风格感知的视觉编码器与对比学习挖掘潜在的视觉内容相关的风格。此外，我们提出了一个风格感知的三重对比度目标来区分图像，风格和标题是否匹配。为了给对比学习提供正样本和负样本，本文提出了三种检索方案：基于对象的检索、基于RoI的检索和基于三元组的检索，并设计了一个动态的权衡函数来计算检索得分。实验结果表明，我们的方法达到了最先进的性能。此外，我们进行了广泛的分析，以验证我们的方法的有效性。
2023-01-26 cs.CL cs.CV
Contrastive Pretraining for Echocardiography Segmentation with Limited Data
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
对比学习已经被证明在许多对标记数据的访问受限的应用中是有用的。注释数据的缺乏在医学图像分割中是特别成问题的，因为难以使临床专家手动注释大量数据，诸如心脏的超声图像中的心脏结构。在本文中，我们提出了一种自监督的对比学习方法分割左心室超声心动图有限的注释图像存在。此外，我们还研究了对比预训练对两个著名的分割网络UNet和DeepLabV 3的影响。我们的研究结果表明，对比预训练有助于提高左心室分割的性能，特别是当注释数据很少时。我们展示了如何实现与最先进的全监督算法相当的结果，当我们训练我们的模型在自我监督的方式，然后微调只有5%的数据。我们表明，我们的解决方案优于目前发布的大型公共数据集（EchoNet-Dynamic），实现了0.9252的骰子得分。我们还比较了我们的解决方案在另一个较小的数据集（CAMUS）上的性能，以证明我们提出的解决方案的通用性。代码可在（https：//github.com/BioMedIA-MBZUAI/contrastive-echo）获得。
2022-07-14 cs.CV cs.LG eess.IV
A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
German Research Center for AI（德国人工智能研究中心）；University of Copenhagen（哥本哈根大学）
现代自然语言处理（NLP）方法采用自监督预训练目标，如掩蔽语言建模，以提高各种应用程序任务的性能。这些预训练方法经常扩展为递归、对抗或语言属性掩蔽，最近还扩展为对比学习目标。对比自监督训练目标通过学习将增强图像的输入-输入对对比为相似或不相似，使最近在图像表示预训练中取得了成功。然而，在NLP中，自动创建文本输入增强仍然非常具有挑战性，因为单个令牌可以颠倒句子的含义。出于这个原因，一些对比NLP预训练方法使用来自度量学习和基于能量的模型的方法来对比输入-标签对，而不是输入-输入对。在这项调查中，我们总结了最近的自监督和监督对比NLP预训练方法，并描述了它们用于改进语言建模，少量或零样本学习，预训练数据效率和特定NLP最终任务的地方。我们介绍了关键的对比学习概念，从以前的研究和结构工程的应用和跨领域的关系。最后，我们指出了对比NLP面临的挑战和未来的发展方向，以鼓励对比NLP预训练更接近最近在图像表示预训练中取得的成功。
2021-02-25 cs.AI cs.CL cs.CV
Efficient Visual Pretraining with Contrastive Detection
DeepMind（深度思维）
自我监督的预训练已被证明可以为迁移学习产生强大的表示。然而，这些性能的提高是以巨大的计算成本为代价的，最先进的方法需要比监督预训练多一个数量级的计算。我们通过引入一种新的自监督目标，对比检测，它的任务表示与识别对象级功能的增强来解决这个计算瓶颈。该目标为每幅图像提取丰富的学习信号，从而在各种下游任务上实现最先进的传输精度，同时所需的预训练减少多达10倍。特别是，我们最强的ImageNet预训练模型的性能与SEER相当，SEER是迄今为止最大的自监督系统之一，它使用了1000倍的预训练数据。最后，我们的目标无缝地处理更复杂图像的预训练，例如COCO中的图像，缩小了从COCO到PASCAL的监督迁移学习的差距。
2021-08-05 cs.CV
Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University（斯坦福大学）
对比学习在计算机视觉方面取得了相当大的进展，在一系列下游数据集上的表现优于有监督的预训练。然而，对比学习是否在所有情况下都是更好的选择？我们证明了两种情况下，它不是。首先，在足够小的预训练预算下，ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明，在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次，即使预训练预算较大，我们也可以识别出监督学习占主导地位的任务，这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调，需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
Does Vision-Language Pretraining Granularity Matter? A Controlled Evaluation of Vision-Language Objectives Across Chest X-Ray Interpretation Tasks
本研究通过控制预训练目标，评估九种视觉语言目标在五个胸部X射线任务上的表现，发现预训练粒度与任务粒度对齐，且无单一目标普遍最优，目标类型、粒度和任务共同决定下游性能。
2026-09-29 cs.CV eess.IV
Aligning Pretraining for Detection via Object-Level Contrastive Learning
Microsoft Research Asia（微软亚洲研究院）
图像级对比表示学习作为迁移学习的通用模型已被证明是非常有效的。然而，如果我们对某个下游任务感兴趣，那么迁移学习的这种通用性就会牺牲特定性。我们认为，这可能是次优的，因此主张的设计原则，鼓励自我监督的借口任务和下游任务之间的对齐。在本文中，我们遵循这一原则，采用专门为目标检测任务设计的预训练方法。我们在以下三个方面实现对齐：1）通过选择性搜索边界框作为对象建议引入对象级表示; 2）预训练网络架构包含检测管道（例如FPN）中使用的相同专用模块; 3）预训练配备了目标检测属性，例如对象级平移不变性和尺度不变性。我们的方法称为选择性对象对比学习（SoCo），使用Mask R-CNN框架实现了COCO检测的传输性能的最新结果。代码可在https://github.com/hologerry/SoCo上获得。
2021-10-25 cs.CV
Learning to segment with limited annotations: Self-supervised pretraining with regression and contrastive loss in MRI
University of Arizona（亚利桑那大学）；Houston Methodist Hospital（休斯顿卫理公会医院）
获取大型数据集的手动注释以用于深度学习（DL）模型的监督训练是具有挑战性的。与标记数据集相比，大型未标记数据集的可用性促使使用自监督预训练来初始化后续分割任务的DL模型。在这项工作中，我们考虑了两种用于驱动DL模型学习不同表示的预训练方法：a）利用图像内的空间依赖性的回归损失和b）利用图像对之间的语义相似性的对比损失。在使用磁共振（MR）图像的两个下游分割应用中评估预训练技术的效果：a）腹部T2加权MR图像中的肝脏分割和b）前列腺T2加权MR图像中的前列腺分割。我们观察到，使用自我监督预训练的DL模型可以用更少的标记数据集进行微调，以获得相当的性能。此外，我们还观察到，使用基于对比损失的预训练初始化DL模型的性能优于回归损失。
2022-05-26 cs.AI cs.CV cs.LG
TRIQA: Image Quality Assessment by Contrastive Pretraining on Ordered Distortion Triplets
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出TRIQA方法，通过有限参考图像构建有序失真三元组数据集，并以对比学习训练融合内容与质量特征的无参考IQA模型，实现少样本高效训练和强泛化性能。
2025-07-16 cs.CV eess.IV
Tissue-Contrastive Semi-Masked Autoencoders for Segmentation Pretraining on Chest CT
Hangzhou City University（杭州城市大学）；Southwest Hospital, Army Medical University (Third Military Medical University)（陆军军医大学（第三军医大学）西南医院）；Zhejiang University（浙江大学）
针对现有掩码图像建模应用于胸部CT的特征学习低效与上下游迁移差问题，提出组织对比半掩码自编码器TCS-MAE，通过组织级掩码重建和双自编码器对比学习，有效提升多类胸部CT分割任务性能。
2024-07-12 cs.CV eess.IV
Dense Contrastive Visual-Linguistic Pretraining
Beijing University of Posts and Telecommunications（北京邮电大学）；Rutgers University（罗格斯大学）；Shanghai AI Laboratory（上海人工智能实验室）；Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索普拉特纳研究所）；YITU Technology（依图科技）
受BERT成功的启发，已经提出了几种联合表示图像和文本的多模态表示学习方法。这些方法通过从大规模多模态预训练中捕获高级语义信息来实现卓越的性能。特别是，LXMERT和UNITER采用视觉区域特征回归和标签分类作为借口任务。然而，它们往往会受到噪声标签和稀疏语义注释的问题的困扰，这是基于视觉特征已经在具有有限和不一致的语义标签的众包数据集上进行了预训练。为了克服这些问题，我们提出了无偏的密集对比视觉语言预训练（DCVLP），它取代了区域回归和分类与跨模态区域对比学习，不需要注释。为了提高对比学习中负样本的质量，提出了两种数据增强策略（Mask扰动和Intra-/Inter-Adversarial扰动）。总的来说，DCVLP允许在独立于任何对象注释的自监督设置中进行跨模态密集区域对比学习。我们将我们的方法与先前的视觉语言预训练框架进行比较，以验证密集对比学习在多模态表示学习上的优越性。
2021-09-24 cs.CL cs.CV
LEARNER: Contrastive Pretraining for Learning Fine-Grained Patient Progression from Coarse Inter-Patient Labels
Carnegie Mellon University（卡内基梅隆大学）；LSUHSC Internal Medicine（LSUHSC内科）；Cosmetic Surgery Facility LLC（美容外科诊所有限公司）
LEARNER通过对比学习利用患者间粗粒度标签，学习细粒度患者内变化，提升个性化医学中的治疗响应预测性能。
2025-11-19 cs.AI cs.CV cs.LG
FreeSeg: Free Mask from Interpretable Contrastive Language-Image Pretraining for Semantic Segmentation
全监督语义分割从密集掩码中学习，这需要对闭集进行大量注释。在本文中，我们使用自然语言作为监督没有任何像素级的注释开放世界分割。我们将所提出的框架称为FreeSeg，其中掩码可以从预训练模型的原始特征图中免费获得。与zero-shot或开集分割相比，FreeSeg不需要任何注释掩码，并且它广泛预测类别不可知的无监督分割之外的类别。具体地，FreeSeg从可解释对比图像预训练（ICLIP）的图像-文本相似性图（ITSM）中获得自由掩码。我们的核心改进是密集ICLIP的平滑最小池，部分标签和像素分割策略。此外，FreeSeg非常简单，没有复杂的设计，如分组，聚类或检索。除了简单性之外，FreeSeg的性能在很大程度上超过了以前的最先进水平，例如在相同设置下VOC数据集上的mIoU高出13.4%。
2022-12-14 cs.CV
GECKO: Gigapixel Vision-Concept Contrastive Pretraining in Histopathology
Stony Brook University（石溪大学）；UNC Charlotte（北卡罗来纳大学夏洛特分校）
提出GECKO预训练方法，通过双分支MIL网络将全切片图像与病理概念先验进行对比对齐，在避免额外模态成本的同时提升了性能与可解释性。
2025-04-01 cs.CV
Learning Generalized Medical Image Representations through Image-Graph Contrastive Pretraining
Stanford University（斯坦福大学）；Harvard Medical School（哈佛医学院）
为减轻医学图像标注负担，研究提出图像-图对比学习框架，结合胸部X光与放射报告提取的知识图谱，经实验验证在少样本等场景下性能优于图像-文本对比方法且接近放射科医生水平。
2024-05-15 cs.CV cs.LG eess.IV
Towards Galaxy Foundation Models with Hybrid Contrastive Learning
University of Manchester（曼彻斯特大学）
新的天文任务通常与已经收集标签的早期任务有关。我们调整对比框架BYOL，以利用这些标签作为预训练任务，同时还执行增强不变性。对于大规模的预训练，我们引入了GZ-Evo v0.1，这是一组针对552 k星系图像的9650万志愿者响应，另外还有134万个可比较的未标记星系。对于任何给定的星系，206个GZ-Evo答案中的大多数都是未知的，因此我们的预训练任务使用了自然处理未知答案的Dirichlet损失。无论是否使用混合学习，GZ-Evo预训练都可以在直接训练的基础上进行改进，即使有大量的下游标签（44 k标签的准确率为+4%）。与预训练或对比学习相比，我们的混合预训练/对比方法进一步提高了下游准确率，特别是在低标签转移机制中（750个标签的准确率为+6%）。
2022-06-23 astro-ph.GA cs.CV
USCL: Pretraining Deep Ultrasound Image Diagnosis Model through Video Contrastive Representation Learning
Fudan University（复旦大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；Southern University of Science and Technology（南方科技大学）
大多数基于深度神经网络（DNN）的超声（US）医学图像分析模型使用预先训练的主干（例如，ImageNet）以获得更好的模型泛化。然而，自然图像和医学图像之间的域差距导致了不可避免的性能瓶颈。为了缓解这个问题，我们构建了一个名为US-4的US数据集，用于在同一个域上进行直接预训练。它包含来自四个美国视频子数据集的超过23，000张图像。为了从US-4中学习鲁棒特征，我们提出了一种用于预训练的US半监督对比学习方法，称为USCL。为了避免负面对之间的高度相似性，以及从有限的美国视频中挖掘丰富的视觉特征，USCL采用样本对生成方法来丰富单步的的对比优化中涉及的特征。对几个下游任务的广泛实验表明，USCL预训练相对于ImageNet预训练和其他最先进的（SOTA）预训练方法具有优越性。特别是，USCL预训练的主干在POCUS数据集上实现了超过94%的微调准确率，比ImageNet预训练模型的84%高出10%。这个工作的源代码可以在https://github.com/983632847/USCL上找到。
2021-09-02 cs.AI cs.CV
Contrastive Pretraining with Dual Visual Encoders for Gloss-Free Sign Language Translation
CVSSP, University of Surrey（CVSSP，英国萨里大学）
提出一种基于双视觉编码器对比预训练的两阶段框架，通过融合互补视觉特征实现无 gloss 手语翻译，在 Phoenix-2014T 基准上取得了最高 BLEU-4 分数。
2025-07-14 cs.CV
SimC3D: A Simple Contrastive 3D Pretraining Framework Using RGB Images
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出 SimC3D，首次仅利用 RGB 图像经深度估计生成合成点云，并以 2D 位置嵌入构建对比目标来预训练 3D 骨干网络，在多项下游任务上超过使用真值点云的方法。
2024-12-06 cs.CV
CP2: Copy-Paste Contrastive Pretraining for Semantic Segmentation
Tsinghua University（清华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
自监督对比学习的最新进展产生了良好的图像级表示，这有利于分类任务，但通常忽略了像素级的详细信息，导致向密集预测任务（如语义分割）的传输性能不令人满意。在这项工作中，我们提出了一种称为CP 2（复制粘贴对比预训练）的像素级对比学习方法，它有助于图像和像素级表示学习，因此更适合下游密集预测任务。详细地说，我们从图像中复制粘贴随机裁剪CP 2将前景像素（前景像素）映射到不同的背景图像上，并预训练一个语义分割模型，目标是1）区分前景像素和背景像素，2）识别共享同一前景的合成图像。实验表明，CP 2在下游语义分割中具有很强的性能：通过在PASCAL VOC 2012上微调CP 2预训练模型，我们使用ResNet-50获得了78.6%的mIoU，使用ViT-S获得了79.5%的mIoU。
2022-08-09 cs.AI cs.CV
HiCo: Hierarchical Contrastive Learning for Ultrasound Video Model Pretraining
Shanghai Jiaotong University（上海交通大学）；CloudWalk Technology Co., Ltd（云从科技有限公司）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
自监督超声（US）视频模型预训练可以使用少量的标记数据来实现US诊断上最有希望的结果之一。然而，它没有充分利用多层次知识来学习深度神经网络（DNN），因此很难学习可转移的特征表示。本文提出了一种分层对比学习（HiCo）方法来提高US视频模型预训练的可移植性。HiCo引入了对等级语义对齐和跨级语义对齐，以促进不同语义级别之间的交互，这可以有效地加快收敛速度，从而使学习模型具有更好的泛化和自适应性。此外，通过平滑硬标签实现软化目标函数，这可以减轻不同类别之间的图像的局部相似性所造成的负面影响。HiCo在五个数据集上的实验证明了其优于最先进方法的结果。这项工作的源代码可在https://github.com/983632847/HiCo上公开获得。
2022-10-10 cs.CV
Vector Contrastive Learning For Pixel-Wise Pretraining In Medical Vision
Dept. of CDS, Case Western Reserve University, US（计算机科学与工程系，凯斯西储大学，美国）
针对像素级对比学习中的过度离散问题，提出向量回归对比框架COVER，通过建模位移向量量化特征离散，显著提升了医学视觉基础模型的像素级预训练效果。
2025-06-25 cs.CV
Contrast with Reconstruct: Contrastive 3D Representation Learning Guided by Generative Pretraining
Xi’an Jiaotong University（西安交通大学）；MEGVII Technology（旷视科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出ReCon框架，通过集成蒸馏结合生成式与对比式建模的优点，利用生成式学生引导对比式学生，在3D表征学习任务上取得SOTA。
2023-05-22 cs.CV
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
Learning from 2D: Contrastive Pixel-to-Point Knowledge Transfer for 3D Pretraining
National Taiwan University（国立台湾大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于缺乏大规模的标记3D数据集，大多数3D神经网络都是从头开始训练的。在本文中，我们提出了一种新的3D预训练方法，利用从丰富的2D数据集学习的2D网络。我们提出了对比像素到点的知识转移，有效地利用二维信息，通过映射到同一个嵌入空间的像素级和点级的功能。由于2D和3D网络之间的异构性，我们引入反投影函数来对齐2D和3D之间的特征，以使传输成为可能。此外，我们设计了一个上采样特征投影层，以提高高级2D特征图的空间分辨率，从而能够学习细粒度的3D表示。使用预训练的2D网络，所提出的预训练过程不需要额外的2D或3D标记数据，进一步减轻了昂贵的3D数据注释成本。据我们所知，我们是第一个利用现有的2D训练权重来预训练3D深度神经网络的人。我们密集的实验表明，使用2D知识预训练的3D模型可以提高3D网络在各种真实3D下游任务中的性能。
2021-12-27 cs.CV
MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image Pretraining
University of Science and Technology of China（中国科学技术大学）；Xiamen University（厦门大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Cloud + AI（微软云与人工智能部门）
本文提出MaskCLIP框架，将掩码自蒸馏融入对比语言-图像预训练，通过局部patch表示学习与视觉-语言对比学习互补，并在文本分支引入局部语义监督，显著提升了下游任务的linear probing、finetuning和zero-shot性能。
2023-04-09 cs.CV
Region-based Contrastive Pretraining for Medical Image Retrieval with Anatomic Query
Vanderbilt University（范德堡大学）；Microsoft Health AI（微软健康人工智能部门）；Microsoft Health Futures（微软健康未来部门）
本文提出RegionMIR，一种基于区域的对比预训练方法，通过解剖特征提取和对比学习实现医学图像检索，在Chest ImaGenome数据集上解剖分类准确率提升至94.12%。
2023-05-09 cs.CV
CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data
Sun Yat-san University（中山大学）
对比图像预训练，受益于大规模的未标记的文本图像对，在开放世界的视觉理解任务中表现出很好的性能。然而，由于有限的文本-3D数据对，使2D视觉语言模型（VLM）的成功适应3D空间仍然是一个悬而未决的问题。利用VLM进行3D理解的现有工作通常采取为3D数据构建中间2D表示，但以丢失3D几何信息为代价。为了向开放世界的3D视觉理解迈出一步，我们提出了对比存储图像点云预训练（CLIP $^2$）直接学习可转移的3D点云表示在现实场景中与一种新的代理对齐机制。具体来说，我们利用自然存在的对应关系在2D和3D的情况下，并建立良好的对齐和基于实例的文本图像点代理从这些复杂的情况。最重要的是，我们提出了一个跨模态对比目标来学习语义和实例级对齐点云表示。室内和室外场景的实验结果表明，我们学习的3D表示在下游任务中具有很强的传输能力，包括zero-shot和Few-Shot 3D识别，这大大提高了最先进的方法。此外，我们提供了不同的表示在真实场景中的能力的分析，并提出了可选的集成方案。
2023-03-26 cs.CV
Contrastive learning-based pretraining improves representation and transferability of diabetic retinopathy classification models
Stanford University School of Medicine（斯坦福大学医学院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
基于自监督对比学习的预训练允许使用小的标记数据集开发鲁棒和通用的深度学习模型，从而减少标签生成的负担。本文旨在评估基于CL的预训练对可诊断与不可诊断糖尿病视网膜病变（DR）分类性能的影响。我们已经开发了一个基于CL的框架与神经风格转移（NST）增强，以产生更好的表示和初始化的彩色眼底图像中的DR检测模型。我们将CL预训练模型的性能与两个使用Imagenet权重预训练的最先进的基线模型进行了比较。我们进一步研究了减少标记训练数据（降至10%）的模型性能，以测试模型在使用小的标记数据集训练时的鲁棒性。该模型在EyePACS数据集上进行了训练和验证，并在伊利诺伊大学芝加哥分校（UIC）的临床数据上进行了独立测试。与基线模型相比，我们的CL预训练FundusNet模型具有更高的AUC（CI）值（0.91（0.898至0.930）vs 0.80（0.783至0.820）和0.83（0.801至0.853））。在10%标记的训练数据下，FundusNet AUC为0.81（0.78至0.84），而在UIC数据集上测试时，基线模型为0.58（0.56至0.64）和0.63（0.60至0.66）。基于CL的NST预训练显著提高了DL分类性能，帮助模型很好地泛化（从EyePACS转移到UIC数据），并允许使用小型注释数据集进行训练，从而减少临床医生的地面实况注释负担。
2022-08-24 cs.CV eess.IV q-bio.QM
CLLAP: Contrastive Learning-based LiDAR-Augmented Pretraining for Enhanced Radar-Camera Fusion
Wuhan University of Technology（武汉理工大学）；University of North Carolina at Charlotte（北卡罗来纳州立大学）；Wuhan University（武汉大学）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）
CLLAP通过利用丰富的激光雷达数据生成伪雷达数据，结合双阶段双模态对比学习策略，提升雷达-相机融合模型的特征提取能力，实验证明在NuScenes和Lyft Level 5数据集上显著提升3D目标检测性能。
2026-04-27 cs.CV
Contrastive Pretraining for Visual Concept Explanations of Socioeconomic Outcomes
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）；Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）
本文研究任务特定对比预训练对卫星图像社会经济预测模型概念可解释性的影响，证明其可形成按社会经济结果连续排序的潜在空间，并为城市研究提供新洞见。
2024-06-13 cs.CV
Multi-Label Guided Soft Contrastive Learning for Efficient Earth Observation Pretraining
Technical University of Munich (TUM)（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；German Aerospace Center (DLR)（德国航空航天中心）
本文提出基于土地覆盖多标签监督的软对比学习方法，结合跨域持续预训练构建高效地球观测基础模型，在11项下游任务中10项显著优于现有SOTA。
2024-09-23 cs.CV
PreViTS: Contrastive Pretraining with Video Tracking Supervision
Columbia University（哥伦比亚大学）；Salesforce Research（Salesforce研究院）
由于对象的自然时间变换的存在，视频是视觉表示的自监督学习（SSL）的丰富来源。然而，目前的方法通常随机采样视频剪辑用于学习，这导致不完美的监督信号。在这项工作中，我们提出了PreViTS，SSL框架，利用无监督的跟踪信号选择包含相同对象的剪辑，这有助于更好地利用对象的时间变换。PreViTS进一步使用跟踪信号来空间约束帧区域，以通过对Grad-CAM注意力图进行监督来学习和训练模型以定位有意义的对象。为了评估我们的方法，我们用PreViTS在VGG-Sound和Kinetics-400数据集上训练动量对比（MoCo）编码器。使用PreViTS进行训练在视频下游任务上优于单独通过对比策略学习的表示，在动作分类上获得最先进的性能。PreViTS有助于学习对背景和上下文变化更鲁棒的特征表示，正如在背景变化的数据集上进行的实验所示。使用PreViTS从大规模视频中学习可以带来更准确和更强大的视觉特征表示。
2022-09-27 cs.CV
SeLIP: Similarity Enhanced Contrastive Language Image Pretraining for Multi-modal Head MRI
College of Electronic Information and Optical Engineering, Nankai University（南开大学电子信息与光学工程学院）；Tianjin Key Laboratory of Optoelectronic Sensor and Sensing Network Technology（天津市光电传感器与传感网络技术重点实验室）；Tianjin First Central Hospital, School of Medicine, Nankai University（南开大学医学院附属天津市第一中心医院）
SeLIP通过融合句法和语义相似性度量的对比学习，利用放射学报告预训练多模态头部MRI基础模型，在检索、分类和分割任务中表现优异。
2025-03-25 cs.AI cs.CV
When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning?
Massachusetts Institute of Technology（麻省理工学院）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab, IBM Research（MIT-IBM沃森人工智能实验室，IBM研究院）
对比学习（Contrast learning，CL）可以学习可推广的特征表示，并通过在其上微调线性分类器来实现下游任务的最佳性能。然而，随着对抗鲁棒性在图像分类中变得至关重要，CL是否能够保持对下游任务的鲁棒性仍不清楚。主要的挑战是，在自监督预训练+监督微调的范式中，由于预训练和微调之间的学习任务不匹配，对抗鲁棒性很容易被遗忘。我们把这种挑战称为“跨任务鲁棒性可转移性”。为了解决上述问题，在本文中，我们重新审视和推进CL原则，通过镜头的鲁棒性增强。我们证明了（1）对比视图的设计很重要：图像的高频分量有利于提高模型的鲁棒性;（2）用伪监督刺激（例如，借助于特征聚类）有助于保持鲁棒性而不会忘记。配备了我们的新设计，我们提出了AdvCL，一种新的对抗性对比预训练框架。我们表明，AdvCL是能够提高跨任务的鲁棒性可转移性，而不会损失模型的准确性和微调效率。通过全面的实验研究，我们证明了AdvCL在多个数据集（CIFAR-10，CIFAR-100和STL-10）和微调方案（线性评估和全模型微调）上优于最先进的自监督鲁棒学习方法。
2021-11-01 cs.AI cs.CV cs.LG
Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation
Chang Gung Memorial Hospital（长庚纪念医院）
医疗报告生成是一项具有挑战性的任务，因为它是耗时的，需要经验丰富的放射科医生的专业知识。医学报告生成的目标是准确地捕获和描述图像发现。以往的研究工作都是用不同领域的大数据集对视觉编码神经网络进行预训练，无法学习特定医学领域的通用视觉表征。在这项工作中，我们提出了一个医疗报告生成框架，使用对比学习的方法来预训练的视觉编码器，不需要额外的Meta信息。此外，我们采用肺部分割作为对比学习框架中的增强方法。这种分割引导网络专注于对肺部区域内的视觉特征进行编码。实验结果表明，该框架提高了性能和质量的生成的医疗报告定量和定性。
2023-01-08 cs.CV cs.LG
Contrastive Heliophysical Image Pretraining for Solar Dynamics Observatory Records
本文提出SolarCHIP，通过对比学习预训练视觉骨干网络，解决太阳成像中的多模态传感、弱类间分离性和强类内变化性问题，提升跨模态翻译和日冕闪分类性能。
2026-04-28 cs.CV
Expediting Contrastive Language-Image Pretraining via Self-distilled Encoders
LG AI Research（LG人工智能研究院）
提出ECLIPSE框架，通过共享文本编码器的自蒸馏架构，在统一文本嵌入空间中加速在线图像编码器，解决弱相关图像-文本对的数据效率问题，实现更优性能与更快推理。
2023-12-19 cs.CV
Forward-Forward Contrastive Learning
University of Kentucky（肯塔基大学）
针对医学图像分类因成像模态和病理多样导致泛化性与鲁棒性不足的问题，提出结合前向-前向算法的局部+全局对比预训练方法FFCL，在肺炎分类任务上准确率超ImageNet预训练ResNet-18达3.69%。
2023-05-04 cs.CV
BRepCLIP: Contrastive Multimodal Pretraining on BRep Primitives for CAD Understanding
DFKI, Germany（德意志联邦共和国DFKI）；RPTU Kaiserslautern-Landau, Germany（德国凯撒斯劳滕-兰道大学）
提出BRepCLIP框架，通过对比预训练对齐CAD边界表示（BRep）几何与语言/图像嵌入，显著提升检索和零样本分类性能。
2026-06-03 cs.CV
ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features
Ningbo Institute of Life and Health Industry, UCAS（中国科学院大学宁波生命与健康产业研究院）；School of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院）；University of Hong Kong（香港大学）
提出ViKL框架，通过三重对比学习融合视觉、知识和语言特征进行无监督预训练，并发布MVKL多模态乳腺X线摄影数据集，显著提升了病理分类、泛化能力及表示质量。
2024-09-24 cs.CV eess.IV
Learning to Drive by Watching YouTube Videos: Action-Conditioned Contrastive Policy Pretraining
The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度视觉策略学习旨在将原始视觉观察映射到行动，在机器人操作和自动驾驶等控制任务中取得了可喜的成果。然而，它需要与培训环境进行大量的在线交互，这限制了它在现实世界中的应用。与目前流行的无监督特征学习相比，视觉控制任务的特征预训练研究较少。在这项工作中，我们的目标是通过观看长达数小时的未经策划的YouTube视频来预训练驾驶任务的策略表示。具体来说，我们用少量的标记数据训练一个逆动态模型，并用它来预测所有YouTube视频帧的动作标签。然后，提出了一种新的对比策略预训练方法，用于从带有伪动作标签的视频帧中学习动作条件特征。实验表明，所得到的动作条件特征对于下游的强化学习和模仿学习任务获得了实质性的改进，优于以前的无监督学习方法和ImageNet预训练的权重。代码、模型重量和数据可在https://metadriverse.github.io/ACO上获得。
2022-07-17 cs.CV cs.LG cs.RO
CHIP: Contrastive Hierarchical Image Pretraining
提出CHIP模型，利用三级层次对比损失和ResNet152，在少样本条件下将未见对象分类到通用层次类别，实验基于ImageNet动物子集，取得满意效果。
2023-10-12 cs.AI cs.CV cs.LG
MoCo-Transfer: Investigating out-of-distribution contrastive learning for limited-data domains
Carnegie Mellon University（卡内基梅隆大学）
本文研究在有限数据领域下，利用分布外数据进行MoCo对比预训练并迁移表征的收益，发现相关领域预训练优于ImageNet，并初步提出数据集相似度量化方法。
2023-11-15 cs.CV cs.LG
Proposal-Contrastive Pretraining for Object Detection from Fewer Data
Université Paris-Saclay（巴黎-萨克雷大学）；CEA（法国原子能委员会）；Université Jean Monnet Saint-Etienne（圣艾蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Laboratoire Hubert Curien UMR 5516（于贝尔·居里安实验室）；Institut Universitaire de France (IUF)（法国大学研究院）
本文提出ProSeCo无监督预训练方法，利用Transformer检测器生成的大量目标提议进行对比学习，结合目标级特征与位置信息学习局部信息，在更少数据下的目标检测任务中超越现有技术。
2023-10-25 cs.AI cs.CV cs.LG
Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Beihang University（北京航空航天大学）
本研究构建了大规模中文图文对数据集，提出两阶段预训练方法训练了5个不同规模的Chinese CLIP模型，在多个中文基准上取得SOTA性能。
2023-05-23 cs.CL cs.CV
Skeleton-Snippet Contrastive Learning with Multiscale Feature Fusion for Action Localization
School of Computer Science, University of Bristol North Bristol NHS Trust（布里斯托大学计算机科学学院、北布里斯托国家健康服务信托）
本文提出基于多尺度特征融合的骨骼-片段对比学习方法，用于改进动作定位的自监督预训练，通过对比学习增强特征区分能力，并在多个数据集上取得优异效果。
2025-12-22 cs.CV
CYBORGS: Contrastively Bootstrapping Object Representations by Grounding in Segmentation
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
最近对比学习中的许多方法都致力于缩小像ImageNet这样的标志性图像预训练和像COCO这样的复杂场景预训练之间的差距。这种差距的存在很大程度上是因为常用的随机裁剪增强在不同对象的拥挤场景图像中获得语义不一致的内容。以前的作品使用预处理管道来定位显着的对象，以改善裁剪，但端到端的解决方案仍然是难以捉摸的。在这项工作中，我们提出了一个框架，通过联合学习表示和分割来实现这一目标。我们利用分割掩模来训练具有掩模相关对比度损失的模型，并使用部分训练的模型来引导更好的掩模。通过在这两个组件之间进行迭代，我们在分割信息中进行对比更新，同时在整个预训练过程中改进分割。实验表明，我们的表示鲁棒地转移到下游的分类，检测和分割任务。
2022-08-16 cs.AI cs.CV cs.LG
Contrastive pretraining for semantic segmentation is robust to noisy positive pairs
KTH Royal Institute of Technology（瑞典皇家理工学院）
研究发现，面向语义分割的领域特定对比预训练对未经人工筛选、含相关变化的噪声正样本对具有鲁棒性甚至可获益，因而无需预先过滤。
2023-01-23 cs.CV
