ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding
Seoul National University（首尔国立大学）；Kakao Brain
提出基于隐式姿态嵌入对比学习的3D感知GAN优化方法ContraNeRF，去除对真实相机姿态的依赖，有效捕捉复杂3D场景结构，在不一致标准相机姿态的数据集上大幅优于现有方法。
2023-07-03 cs.CV
SAGE: Saliency-Guided Contrastive Embeddings
University of Notre Dame（诺丁汉大学）
SAGE通过对比嵌入将人类显著性整合到网络训练中，提升分类性能，适用于多种任务和骨干网络。
2025-12-05 cs.CV
Enhancing Diffusion Face Generation with Contrastive Embeddings and SegFormer Guidance
University of Surrey, UK（英国萨里大学）
本文提出在小规模 CelebAMask-HQ 数据集上评估扩散模型的人脸生成基准，主要贡献是引入 InfoNCE 损失和 SegFormer 分割编码器，显著提升了有限数据下属性引导生成的语义对齐与可控性。
2025-08-13 cs.CV
Contrastive Object Detection Using Knowledge Graph Embeddings
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Freiburg（弗赖堡大学）
对象识别在很大程度上被视为一个单一的热点问题，它将类视为离散和不相关的。每个图像区域必须被分配给一组对象中的一个成员，包括背景类，而不管对象类型中的任何相似性。在这项工作中，我们比较了错误统计的类嵌入从一个热的方法与语义结构化的嵌入从自然语言处理或知识图谱，广泛应用于开放世界的目标检测。多个知识嵌入以及距离度量的广泛实验结果表明，基于知识的类表示导致更多的语义接地错误分类，同时表现在具有挑战性的COCO和Cityscapes目标检测基准相比，一个热的方法。我们将我们的发现推广到多个目标检测架构，提出了一个知识嵌入式设计的关键点为基础的和基于变换的目标检测架构。
2021-12-21 cs.CV
Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning
Xidian University（西安电子科技大学）
成分零次学习（Compositional Zero-Shot Learning，CNOL）的目的是在训练过程中识别由可见状态和对象形成的不可见成分。由于相同的态在与不同的物体纠缠时，在视觉上可能会有不同的表现，因此，量子纠缠仍然是一个具有挑战性的任务。一些方法使用两个训练好的分类器识别状态和对象，忽略了对象和状态之间的交互影响;另一些方法试图学习状态-对象组合的联合表示，导致可见和不可见组合集之间的域间隙。在本文中，我们提出了一种新的暹罗对比嵌入网络（SCEN）（代码：https：//github.com/XDUxyLi/SCEN-master），用于不可见成分识别。考虑到状态和对象之间的纠缠，我们将视觉特征嵌入到一个暹罗对比空间中，分别捕获它们的原型，减轻了状态和对象之间的相互作用。此外，我们设计了一个状态转换模块（STM），以增加训练成分的多样性，提高识别模型的鲁棒性。大量的实验表明，我们的方法显着优于三个具有挑战性的基准数据集，包括最近提出的C-QGA数据集的最先进的方法。
2022-06-29 cs.CV
Impression-CLIP: Contrastive Shape-Impression Embedding for Fonts
Kyushu University（九州大学）
本文提出基于 CLIP 的 Impression-CLIP 模型，通过对比学习实现字体形状与主观印象的联合嵌入，在跨模态检索中优于现有方法，并对噪声和缺失标签具有鲁棒性。
2024-02-26 cs.CV
Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning via Ranked Positives
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）；University of Bonn（波恩大学）
本文介绍了排名信息噪声对比估计（RINCE），一个新的成员在家庭的InfoNCE损失，保持了排名排序的正样本。与标准的InfoNCE损失相比，它需要将训练对严格地二进制分离为相似和不相似的样本，RINCE可以利用有关相似性排名的信息来学习相应的嵌入空间。我们表明，建议的损失函数学习有利的嵌入相比，标准的InfoNCE时，至少可以获得嘈杂的排名信息，或当定义的积极和消极的是模糊的。我们证明了这一点的监督分类任务，额外的超类标签和嘈杂的相似性分数。此外，我们还通过对视频的无监督表示学习进行实验，证明了RINCE也可以应用于无监督训练。特别是，嵌入产生更高的分类精度，检索率和性能更好的分布外检测比标准的InfoNCE损失。
2022-01-27 cs.CV
Contrastive and Selective Hidden Embeddings for Medical Image Segmentation
Rutgers University（罗格斯大学）；Peking University（北京大学）；SenseTime Research（商汤科技研究院）；Rutgers（罗格斯大学）
医学图像分割已被广泛认为是临床诊断、分析和治疗计划的关键步骤。然而，费力和昂贵的注释过程拖慢了进一步发展的速度。基于对比学习的权重预训练通过利用未标记的数据来学习良好的表示提供了一种替代方案。在本文中，我们研究了对比学习如何有益于一般的监督医学分割任务。为此，提出了斑块-拉锯对比正则化（PDCR）来执行斑块级别的拖拽和排斥，其程度由连续的亲和力分数控制。设计了一种新的不确定性感知特征选择块（UAFS）结构来执行特征选择过程，该结构能够处理少数特征引起的学习目标偏移。通过将所提出的2个模块插入现有的分割架构中，我们在来自6个领域的8个公共数据集上实现了最先进的结果。新设计的模块将训练数据量进一步减少到四分之一，同时实现了相当的（如果不是更好的话）性能。从这个角度来看，我们采取了与原始自/无监督对比学习相反的方向，进一步挖掘标签中包含的信息。
2022-04-29 cs.CV
What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Universität Hamburg（汉堡大学）；Sichuan University（四川大学）
该研究通过在MMEB上的受控实验，揭示多数对比训练策略对多模态嵌入的提升有限，整合难负样本挖掘等三类策略可使Qwen2-VL-2B在MMEB上平均提升6.0%，为模型训练提供了可行方案。
2026-10-14 cs.CV
Probabilistic Representations for Video Contrastive Learning
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
本文提出了概率视频对比学习，一种自监督的表示学习方法，桥梁对比学习与概率表示。我们假设组成视频的片段在短时间内具有不同的分布，但可以通过在一个共同的嵌入空间中组合来表示复杂和复杂的视频分布。因此，该方法将视频片段表示为正态分布，并将它们组合成高斯混合模型来模拟整个视频分布。通过从整个视频分布中采样嵌入，我们可以绕过仔细的采样策略或变换来生成剪辑的增强视图，这与以前的确定性方法不同，这些方法主要集中在对比学习的样本生成策略上。我们进一步提出了一个随机对比度损失来学习适当的视频分布，并处理来自原始视频性质的固有不确定性。实验结果验证了我们的概率嵌入站作为一个国家的最先进的视频表示学习的动作识别和视频检索的最流行的基准，包括UCF 101和HMDB 51。
2022-04-08 cs.CV
Semi-TCL: Semi-Supervised Track Contrastive Representation Learning
Amazon AWS AI（亚马逊AWS人工智能）
视频中多个目标的在线跟踪需要很强的建模和匹配能力。以往的外观嵌入学习方法大多依赖于实例级匹配，而没有考虑视频提供的时间连续性。我们设计了一个新的实例到跟踪匹配目标来学习外观嵌入，将候选检测与跟踪器中持久化的跟踪嵌入进行比较。它使我们不仅可以从标记有完整曲目的视频中学习，还可以从未标记或部分标记的视频中学习。我们遵循“主动放弃”的精神，以统一的形式实现这一学习目标。在多个目标跟踪数据集上的实验表明，我们的方法可以有效地学习有区别的外观嵌入在一个半监督的方式，并优于最先进的方法在代表性的基准。
2021-07-06 cs.CV
DeSPITE: Exploring Contrastive Deep Skeleton-Pointcloud-IMU-Text Embeddings for Advanced Point Cloud Human Activity Understanding
Telekooperation Lab, Technical University Darmstadt（德累斯顿技术大学电信协作实验室）；NTT DATA, Luxembourg（NTT DATA卢森堡）
本文提出多模态对比预训练模型DeSPITE，通过结合LIPD和Babel数据集学习LiDAR点云、骨架、IMU与文本的联合嵌入空间，实现了点云序列的新型人类活动理解任务，并验证了其作为点云HAR预训练策略的有效性。
2025-06-25 cs.CV
Dual Path Structural Contrastive Embeddings for Learning Novel Objects
Zhejiang University（浙江大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Zhejiang Laboratory（之江实验室）
在机器学习领域，从少量的标记样本中学习新的类引起了越来越多的关注。基于元学习或迁移学习的研究表明，在一个好的特征空间上获取信息是一种有效的解决方案，可以在Few-Shot任务上获得良好的性能。在本文中，我们提出了一个简单但有效的范例，它将学习特征表示和分类器的任务进行了简化，并且通过典型的迁移学习训练策略仅从基类学习特征嵌入架构。为了保持基础和新类的泛化能力和每个类内的鉴别能力，我们提出了一种双路径特征学习方案，有效地结合了结构相似性与对比特征构建。通过这种方式，类内对齐和类间一致性可以很好地平衡，并导致性能的改善。三个流行的基准实验表明，当与一个简单的基于原型的分类器，我们的方法仍然可以实现有前途的结果，无论是在归纳或转导推理设置的标准和广义的Few-Shot问题。
2022-01-04 cs.CV
Region Embedding with Intra and Inter-View Contrastive Learning
Nanyang Technological University（南洋理工大学）
无监督区域表示学习旨在从未标记的城市数据中提取密集有效的特征。虽然已经基于多个视图做出了一些努力来解决这个问题，但是现有方法在提取视图中的表示和/或合并来自不同视图的表示方面仍然不足。基于对比学习在表示学习中的成功，我们提出将其用于多视图区域表示学习，并设计了一个称为ReMVC（Region Embedding with Multi-View对比学习）的模型，该模型遵循两个指导原则：i）在每个视图中将区域与其他区域进行比较，以实现有效的表征提取; ii）在不同视图中将区域与自身进行比较，以实现跨视图信息共享。我们设计了视图内对比学习模块和视图间对比学习模块，前者用于学习不同的区域嵌入，后者作为软共正则化器来约束嵌入参数并在多视图间传递知识。我们在两个下游任务中利用学习到的区域嵌入，即土地使用聚类和区域流行度预测。大量的实验表明，我们的模型实现了令人印象深刻的改进相比，七个国家的最先进的基线方法，在土地利用聚类任务的利润率超过30%。
2022-11-15 cs.CV cs.LG
Contrastive Embedding for Generalized Zero-Shot Learning
Nanjing University of Science and Technology（南京理工大学）；RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能研究中心）
广义零样本学习（GSRL）的目的是识别对象从可见和不可见的类，当只有标记的例子从可见的类提供。最近的特征生成方法学习了一个生成模型，可以合成看不见的类的缺失视觉特征，以减轻GALML中的数据不平衡问题。然而，原始的视觉特征空间是次优的GWML分类，因为它缺乏判别信息。为了解决这个问题，我们建议将生成模型与嵌入模型相结合，从而产生一个混合的GREML框架。混合GSTML方法将生成模型产生的真实和合成样本映射到嵌入空间中，在那里我们执行最终的GSTML分类。具体来说，我们提出了一个对比嵌入（CE）为我们的混合GREML框架。所提出的对比嵌入不仅可以利用类的监督，也可以利用实例的监督，后者通常被忽略了现有的GALML研究。我们评估了我们提出的混合GALML框架与对比嵌入，命名为CE-GALML，在五个基准数据集。结果表明，我们的CEGSTNL方法可以在三个数据集上以显着的幅度优于最先进的方法。我们的代码可在https://github.com/Hanzy1996/CE-GZSL上获得。
2021-03-30 cs.AI cs.CV
Cluster Analysis with Deep Embeddings and Contrastive Learning
Iowa State University（爱荷华州立大学）；John Deere（约翰迪尔公司）
无监督解纠缠表示学习是计算机视觉中一个长期存在的问题。这项工作提出了一种新的框架，通过结合实例级对比学习与基于深度嵌入的聚类中心预测器，从深度嵌入执行图像聚类。我们的方法以端到端的方式联合学习表示并预测聚类中心。这是通过一个三管齐下的方法来实现的，该方法结合了聚类损失、实例对比损失和锚点损失。我们的基本直觉是，使用集成损失，结合实例级的功能和聚类过程集中在语义相似性加强学习更好的表示在潜在的空间。我们观察到，我们的方法在使用标准聚类度量（如归一化互信息（NMI））进行评估时，在流行的视觉数据集上表现得非常好，此外还产生了由欧几里得距离定义的几何分离的聚类嵌入。我们的框架与广泛接受的聚类方法不相上下，并且在CIFAR-10数据集上的表现优于最先进的对比学习方法，NMI得分为0.772，在强基线上提高了7-8%。
2021-10-02 cs.CV cs.LG
Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment
Goethe University Frankfurt（法兰克福歌德大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联合会（DKTK））
NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。
2026-02-11 cs.AI cs.CV
Contrastive-Based Deep Embeddings for Label Noise-Resilient Histopathology Image Classification
Primaa；Institut Curie（居里研究所）；PSL University（巴黎文理研究大学）
针对组织病理学图像分类中标签噪声导致模型性能下降的问题，研究发现自监督对比学习训练的病理学基础模型提取的嵌入具备标签噪声鲁棒性，效果优于非对比嵌入及常用抗噪方法，代码已开源。
2024-04-11 cs.AI cs.CV
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research（脸书人工智能研究院）
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中，对比学习通过负样本对防止崩溃。已经表明，非对比方法遭受不同性质的较小崩溃问题：维度崩溃，其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里，我们表明，维度崩溃也发生在对比学习。在本文中，我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发，我们提出了一种新的对比学习方法，称为DirectRank，它直接优化表示空间，而不依赖于显式的可训练投影。实验表明，DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
Hyperbolic Contrastive Learning for Hierarchical 3D Point Cloud Embedding
East China Normal University（华东师范大学）
本文在双曲多模态对比预训练中引入三维点云模态，并设计蕴含、模态间隙与对齐正则化器学习模态内及跨模态层次嵌入，提升下游任务性能。
2025-01-07 cs.AI cs.CV
CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations
Amazon（亚马逊）；University of Freiburg（弗莱堡大学）
对比学习允许我们通过对比负样本集合中的正对来灵活地定义强大的损失。最近，该原理也被用于学习视频和文本的跨模态嵌入，但没有充分利用其潜力。特别是，之前的丢失没有考虑模态内的相似性，这会导致嵌入效率低下，因为相同的内容被映射到嵌入空间中的多个点。通过Crosslink，我们提出了一个解决这个问题的对比损失。此外，我们根据输入嵌入定义了高度相关的样本集，并将其从阴性样本中排除，以避免假阴性问题。我们表明，这些原则始终提高学习嵌入的质量。使用Crosslink学习的联合嵌入扩展了Youcook 2和LSMDC数据集上的视频-文本检索以及Youcook 2数据集上的视频描述的最新技术水平。我们还通过学习其他模态对的改进联合嵌入来证明概念的一般性。
2021-09-30 cs.AI cs.CV cs.LG
Contrastive Learning of Visual-Semantic Embeddings
Cadence Design Systems (India) Private Limited（楷登电子科技（印度）私人有限公司）；Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
对比学习是一种强大的技术，可以学习语义独特且几何不变的表示。虽然大多数早期的方法已经证明了其对单模态学习任务（如图像分类）的有效性，但最近有一些尝试将此想法扩展到多模态数据。在本文中，我们提出了两个损失函数的归一化交叉熵的基础上执行的任务，学习联合视觉语义嵌入使用批量对比训练。在一个批次中，对于来自一个模态的给定锚点，我们只考虑来自另一个模态的否定，并基于所有否定引起的预期违规来定义我们的第一个对比损失。接下来，我们更新这个损失，并定义第二个对比损失的基础上，违反所招致的只有最难的负面。我们将我们的结果与现有的视觉语义嵌入方法进行比较，使用MS-COCO和Flickr 30 K数据集进行跨模态图像到文本和文本到图像检索任务，我们在MS-COCO数据集上的表现优于最先进的技术，并在Flickr 30 K数据集上取得了可比的结果。
2021-10-17 cs.CV cs.IR cs.LG
Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
The University of Hong Kong（香港大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院）；Fudan University（复旦大学）；School of Artificial Intelligence, OPtics（人工智能学院）；ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学电子学院）
本文研究对比学习与正激励噪声的联系，定义了任务熵并提出正激励噪声生成器，通过可视化证明所提方法有效。
2026-05-08 cs.CV cs.LG
Hotel Recognition via Latent Image Embedding
HSE University（高等经济大学）
我们用深度度量学习来解决酒店识别问题。我们概述了现有的方法，并提出了一个修改的对比损失称为对比三重损失。我们构建了一个强大的管道来对度量学习模型进行基准测试，并在Hotels-50 K和CUB 200数据集上进行了实验。对比三重损失被证明可以在Hotels-50 k上实现更好的检索。我们开源我们的代码。
2021-06-15 cs.CV cs.IR cs.LG
Embedding Geometries of Contrastive Language-Image Pre-Training
Cohere For AI Community（Cohere AI 社区）；Cisco Meraki（思科 Meraki）
本文重新审视了CLIP的L2归一化和余弦相似度设计，提出基于欧几里得几何的变体EuCLIP，实验证明其性能匹配或超越CLIP，且能更好支持层次关系。
2024-09-19 cs.CL cs.CV cs.LG
SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
Henery M.Rowan College of Engineering（亨利·M·罗恩工程学院）；Rowan University（罗恩大学）；MLNomads
本研究提出一种基于SimO损失的无锚点对比学习方法，通过半度量损失同时优化相似/不相似样本的嵌入距离与正交性，在CIFAR-10上验证其能形成结构良好的类别邻域，为表征几何特性的应用提供新思路。
2024-10-07 cs.AI cs.CV cs.LG
Contrastive Representations for Label Noise Require Fine-Tuning
Orange Labs（Orange实验室）；AgroParisTech（巴黎高科农业学院）
在本文中，我们表明，对比表示与标签噪声鲁棒分类头的组合需要微调表示，以实现最先进的性能。由于微调表示优于冻结的，可以得出结论，噪声鲁棒的分类头确实能够促进有意义的表示，如果提供一个合适的起点。进行实验，以绘制一个全面的图片的性能，具有六种方法和九个噪声的情况下，三种不同的（无，对称，不对称）。实验结果表明，在存在噪声的情况下，对比表示的微调使得这六种方法比端到端学习获得了更好的结果，并代表了一种新的参考。
2021-08-20 cs.CV cs.LG
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University（延世大学）；Bank of Korea（韩国银行）
本文提出单纯形到单纯形嵌入模型（SSEM）作为理论框架，分析监督对比学习中超参数对表示的影响，并给出防止类别坍缩的实用指导，且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
Beyond Decision Boundaries: Relational Geometry Attacks on Contrastive Embedding Manifolds
The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Texas A&M University（德克萨斯农工大学）
本文提出几何感知对抗攻击框架，将对比系统攻击转化为流形层面关系破坏，训练轻量级生成器实现实时攻击，使Markmatch验证系统准确率从95.4%降至38.6%并反转正负样本相似性结构。
2026-08-12 cs.AI cs.CV
Fully Variational Noise-Contrastive Estimation
Chalmers University of Technology（查尔姆斯理工大学）
基于适当评分规则理论，本文提出了一族适用于隐变量模型的全变分噪声对比估计（NCE）方法，将NCE损失中的数据项与噪声项均作下界化处理，并揭示了变分自编码器是其特例。
2023-04-04 cs.CV cs.LG
Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
人脸微表情识别是近年来研究的热点。微表情具有持续时间短、强度低的特点，现有的微表情数量有限，很难训练出高性能的分类器。因此，识别微表情是一项具有挑战性的任务。提出了一种基于属性信息嵌入和跨模态对比学习的微表情识别方法。在人脸动作编码系统中，采用三维CNN提取微表情序列的RGB特征和FLOW特征并进行融合，采用BERT网络提取文本信息。通过跨模态对比损失，将属性信息嵌入到视觉网络中，从而提高了在样本有限情况下微表情识别的表征能力。在CASME II和MMEW数据库上进行了大量的实验，准确率分别为77.82%和71.04%。对比实验表明，该方法在微表情识别中具有较好的识别效果。
2022-05-29 cs.AI cs.CV cs.LG
Structuring Representation Geometry with Rotationally Equivariant Contrastive Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出CARE方法，通过在对比学习中引入等变目标强制输入增强对应于球面嵌入空间的旋转，构建表示几何结构，在无需严格不变性的情况下提升下游任务性能并保留对数据重要变化的敏感性。
2023-06-24 cs.CV cs.LG
Urban Region Embedding via Multi-View Contrastive Prediction
Shandong University（山东大学）；Nanyang Technological University（南洋理工大学）；Georgia State University（佐治亚州立大学）
针对现有城市区域表示学习方法跨视图一致性不足的问题，提出融合POI与人类移动性数据的多视图对比预测模型ReCP，通过视图内与视图间学习模块实现一致表示，在两项下游任务上性能显著优于SOTA基线。
2023-12-15 cs.CV cs.DB cs.LG
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research（Meta人工智能研究院）；NYU（纽约大学）
自监督学习（SSL）推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑：在许多模态\dots中优于监督方法，但理论基础有限，方法特定，并且未能为从业者提供原则性的设计指南。在本文中，我们提出了一个统一的框架下的频谱流形学习，以解决这些限制。通过这项研究的过程中，我们将严格证明VICReg，Simplified，BarlowTwins等。对应于epsilon谱方法，如Laplacian Eigenmaps，Multidimensional Scaling等。这种统一将使我们能够获得（i）每种方法的闭合形式最佳表示，（ii）每种方法的线性区域中的闭合形式最佳网络参数，（iii）训练过程中使用的成对关系对每个量和下游任务性能的影响，最重要的是，（iv）对比和非对比方法之间的第一个理论桥梁，分别通向全局和局部谱嵌入方法，暗示每个方法的优点和局限性。例如，（i）如果成对关系与下游任务对齐，则可以成功地采用任何SSL方法并将恢复监督方法，但在低数据状态下，VICReg的不变性超参数应该较高;（ii）如果成对关系与下游任务不对齐，则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
Three Towers: Flexible Contrastive Learning with Pretrained Image Models
University of Oxford（牛津大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出三塔（3T）方法，通过引入包含冻结预训练嵌入的第三塔，使图像塔同时受益于预训练嵌入和对比训练，在检索和分类任务上取得一致改进。
2023-10-30 cs.AI cs.CV cs.LG
It's Not a Modality Gap: Characterizing and Addressing the Contrastive Gap
University of Alberta（阿尔伯塔大学）
本文证明CLIP等双编码器对比模型中的模态鸿沟源于对比损失本身，将其重新定义为对比鸿沟，并通过引入均匀性与对齐约束改进CLIP损失，从而弥合鸿沟并提升下游任务性能。
2024-06-06 cs.CL cs.CV cs.IR
Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance
Netflix（网飞公司）；Massachusetts Institute of Technology（麻省理工学院）
当今一些最先进的深度学习模型的卓越性能在一定程度上归功于大规模数据集上的广泛（自）监督对比预训练。在对比学习中，网络被呈现成对的正（相似）和负（不相似）数据点，并被训练为找到每个数据点的嵌入向量，即，一种表示法，可以针对各种下游任务进行进一步微调。为了在关键决策系统中安全地部署这些模型，为它们配备一个衡量其不确定性或可靠性的标准至关重要。然而，由于训练对比模型的成对性质，以及在输出（抽象嵌入向量）上缺乏绝对标签，使常规不确定性估计技术适应于这样的模型是不平凡的。在这项工作中，我们研究这种表示的不确定性是否可以量化为一个单一的数据点在一个有意义的方式。换句话说，我们探索给定数据点的下游性能是否可以直接从其预训练的嵌入中预测。我们表明，这一目标可以通过直接估计的训练数据在嵌入空间中的分布，并占局部一致性的表示。我们的实验表明，这种嵌入向量的不确定性的概念往往与其下游的准确性密切相关。
2022-07-19 cs.AI cs.CV cs.LG
PACE: Progressive Angular-to-Norm Contrastive Embedding
The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；Huazhong University of Science and Technology（华中科技大学）；Nanjing University（南京大学）
针对多模态嵌入中余弦对比限制语义表达、点积训练不稳定的问题，提出两阶段渐进框架PACE，逐步扩展表示与参数空间，并引入焦点嵌入损失，实验验证其有效性。
2026-09-15 cs.AI cs.CL cs.CV
On the Language Encoder of Contrastive Cross-modal Models
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文评估了句子嵌入训练对CLIP和CLAP等对比跨模态模型语言编码器的影响，发现其能提升VL任务性能与文本空间均匀性，但在AL任务中因数据量有限获益较少。
2023-10-20 cs.CL cs.CV cs.LG
