A Simple Framework for Contrastive Learning of Visual Representations
本文介绍了Simplified：一个简单的框架，对比学习的视觉表征。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或存储体。为了理解是什么使对比预测任务能够学习有用的表征，我们系统地研究了我们框架的主要组成部分。我们表明，（1）数据增强的组成在定义有效的预测任务中起着关键作用，（2）在表示和对比损失之间引入可学习的非线性变换，大大提高了学习表示的质量，（3）与监督学习相比，对比学习受益于更大的批量和更多的训练步骤。通过结合这些发现，我们能够在ImageNet上大大优于以前的自监督和半监督学习方法。在Simplified学习的自监督表示上训练的线性分类器达到了76.5%的top-1准确率，比以前的最先进技术相对提高了7%，与监督ResNet-50的性能相匹配。当仅对1%的标签进行微调时，我们实现了85.8%的前5名准确率，在标签数量减少100倍的情况下优于AlexNet。
2020-07-01 cs.CV cs.LG stat.ML
Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning
Wuhan University（武汉大学）；Southern University of Science and Technology（南方科技大学）；Peking University（北京大学）；University of Electronic Science and Technology of China（电子科技大学）
针对图自监督学习中生成式与对比式范式分离的问题，提出GCMAE框架统一两者，通过共享编码器互补全局与局部信息，在四项图任务上较14个基线最大提升3.2%准确率。
2023-10-24 cs.AI cs.LG
Supervised Contrastive Learning
Google Research（谷歌研究院）；Boston University（波士顿大学）；Snap Inc.（森宝公司）；MIT（麻省理工学院）
近年来，应用于自监督表示学习的对比学习已经出现了复苏，导致了深度图像模型的无监督训练的最新表现。现代批量对比方法的性能优于或显著优于传统的对比损失，如三重，最大余量和N对损失。在这项工作中，我们将自监督批量对比方法扩展到完全监督设置，使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起，同时将来自不同类的样本簇推开。我们分析了两种可能的版本的监督对比（SupCon）损失，确定性能最好的制定的损失。在ResNet-200上，我们在ImageNet数据集上实现了81.4%的top-1准确率，比该架构报告的最佳数字高出0.8%。我们在其他数据集和两个ResNet变体上显示出一致的优于交叉熵的性能。损失显示出对自然损坏的鲁棒性的益处，并且对超参数设置（例如优化器和数据增强）更稳定。我们的损失函数易于实现，参考TensorFlow代码在https://t.ly/supcon上发布。
2021-03-10 cs.CV cs.LG stat.ML
Incomplete Contrastive Multi-View Clustering with High-Confidence Guiding
Harbin Institute of Technology（哈尔滨工业大学）
针对现有不完整多视图聚类存在的信息利用不充分、表示与聚类分离等问题，提出ICMVC方法，通过多视图一致性迁移、注意力融合与端到端联合优化提升聚类性能。
2023-12-14 cs.CV cs.LG
Three Towers: Flexible Contrastive Learning with Pretrained Image Models
University of Oxford（牛津大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出三塔（3T）方法，通过引入包含冻结预训练嵌入的第三塔，使图像塔同时受益于预训练嵌入和对比训练，在检索和分类任务上取得一致改进。
2023-10-30 cs.AI cs.CV cs.LG
Deep Contrastive Multiview Network Embedding
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
多视图网络嵌入的目的是将网络中的节点投影到低维向量上，同时保留它们的多重关系和属性信息。对比学习方法在这项任务中表现出了良好的性能。然而，他们忽略了融合和视图表示之间的语义一致性，并且难以建模不同视图之间的互补信息。针对这些不足，本文提出了一种新的多视图网络嵌入对比学习框架（CREME）。在我们的工作中，不同的视图可以根据节点之间的各种关系。然后，我们通过适当的视图编码器生成视图嵌入，并利用一个细心的多视图聚合器来融合这些表示。特别地，我们设计了两个协作对比目标，视图融合InfoMax和视图间InfoMin，以自监督的方式对模型进行训练。前一个目标从不同视图生成的嵌入中提取信息，而后者捕获视图之间的互补信息，以促进独特的视图嵌入。我们还表明，这两个目标可以统一为一个目标的模型训练。在三个真实世界数据集上的广泛实验表明，我们提出的CREME能够始终优于最先进的方法。
2022-08-17 cs.AI cs.LG
Spectral Feature Augmentation for Graph Contrastive Learning and Beyond
The Chinese University of Hong Kong（香港中文大学）；Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
虽然增强（例如，图边缘的扰动、图像裁剪）提高了对比学习（CL）的效率，特征级增强是另一种合理的、互补的但尚未得到充分研究的策略。因此，我们提出了一种新的光谱特征论证的对比学习的图形（和图像）。为此，对于每个数据视图，我们估计每个特征映射的低秩近似，并从映射中减去该近似以获得其补。这是通过本文提出的不完全功率迭代来实现的，不完全功率迭代是一种非标准功率迭代机制，其具有两个有价值的副产品（在仅仅一次或两次迭代下）：（i）它部分地平衡特征图的频谱，以及（ii）它将噪声注入到特征图的重新平衡的奇异值中（频谱增强）。对于两个视图，我们将这些重新平衡的特征图对齐，因为改进的对齐步骤可以更多地关注两个视图的矩阵的不太占主导地位的奇异值，而光谱增强不影响光谱角度对齐（奇异向量不受干扰）。我们推导出的解析形式：（i）不完整的功率迭代，以捕捉其频谱平衡效果，和（ii）的奇异值的方差增加隐含的噪声。我们还表明，谱增强提高了泛化界。在图形/图像数据集上的实验表明，我们的光谱特征增强优于基线，与其他增强策略互补，并与各种对比度损失兼容。
2022-12-02 cs.AI cs.CV cs.LG
How do Cross-View and Cross-Modal Alignment Affect Representations in Contrastive Learning?
TU Delft（代尔夫特理工大学）
各种最先进的自监督视觉表示学习方法通过跨视图和/或模态对齐特征表示来利用来自多个传感器的数据。在这项工作中，我们研究对齐表示如何影响图像和点云上的跨视图和跨模态对比学习获得的视觉特征。在五个真实世界的数据集和五个任务，我们训练和评估108个模型的基础上四个预训练的变化。我们发现，跨模态表示对齐丢弃互补的视觉信息，如颜色和纹理，而是强调冗余的深度线索。从预训练中获得的深度线索提高了下游深度预测性能。此外，总体而言，跨模态对齐导致比通过跨视图对齐进行的预训练更鲁棒的编码器，特别是在深度预测、实例分割和目标检测方面。
2022-11-23 cs.CV cs.LG
Enhancing Semi-Supervised Multi-View Graph Convolutional Networks via Supervised Contrastive Learning and Self-Training
University of the Basque Country（巴斯克大学）；IKERBASQUE；North China University of Water Resources and Electric Power（华北水利水电大学）
MV-SupGCN通过监督对比学习和自训练方法提升多视图图卷积网络的半监督性能。
2025-12-15 cs.CV cs.LG
Contrastive Learning with Hard Negative Samples
Massachusetts Institute of Technology（麻省理工学院）
你如何能为对比学习挑选好的反面例子？我们认为，与度量学习一样，表征的对比学习受益于硬负样本（即，难以与锚点区分的点）。使用硬阴性的关键挑战是对比方法必须保持无监督，使得采用使用真实相似性信息的现有阴性采样策略不可行。作为回应，我们开发了一个新的家庭的无监督采样方法选择硬负样品，用户可以控制硬度。这种抽样的一个限制情况导致了一种表示，这种表示紧密地聚集了每个类，并将不同的类尽可能地分开。所提出的方法提高了跨多种模态的下游性能，只需要很少的额外代码行来实现，并且不引入计算开销。
2021-01-24 cs.LG stat.ML
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services（亚马逊云科技）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UCLA（加州大学洛杉矶分校）
少样本学习的目的是从一个任务中转移信息，以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中，我们调查的互补作用，这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习（SUPMOCO）。我们的方法避免了在监督学习中观察到的一个问题，即图像中与任务无关的信息被丢弃，这阻碍了它们对新任务的推广。我们表明，（自监督）对比学习和监督学习是互惠互利的，导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据，从而进一步改进。
2021-06-21 cs.CV cs.LG
Multi-view Contrastive Learning for Online Knowledge Distillation
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xiamen Data Intelligence Academy of ICT, CAS（中国科学院计算技术研究所厦门数据智能研究院）
以往的在线知识蒸馏（OKD）往往进行概率分布的相互交换，而忽略了有用的表征性知识。因此，我们提出了多视图对比学习（MCL）OKD隐式捕获多个对等网络编码的特征嵌入的相关性，它提供了各种视图来理解输入数据实例。受益于MCL，我们可以学习比以前的OKD方法更具鉴别力的分类表示空间。图像分类的实验结果表明，我们的MCL-OKD优于其他国家的最先进的OKD方法的大利润，而不牺牲额外的推理成本。代码可在https://github.com/winycg/MCL-OKD上获得。
2021-04-10 cs.CV cs.LG
A Message Passing Perspective on Learning Dynamics of Contrastive Learning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，对比学习在自监督视觉表示学习方面取得了令人瞩目的成果，但对它的学习动力学仍缺乏严格的理解。在本文中，我们表明，如果我们把一个对比的目标等价到特征空间，那么它的学习动力学承认一个可解释的形式。具体来说，我们表明，其梯度下降对应于一个特定的消息传递计划，相应的增强图。基于这个角度，我们从理论上描述了对比学习如何通过对齐更新和均匀性更新逐渐学习区分性特征。同时，这种观点也建立了一个有趣的对比学习和消息传递图神经网络（MP-GNNs）之间的联系。这种联系不仅提供了对每个社区独立开发的许多技术的统一理解，而且使我们能够借用MP-GNN的技术来设计新的对比学习变体，例如图形注意力，图形重新布线，跳跃知识技术等。我们相信，我们的消息传递视角不仅提供了对对比学习动态的新的理论理解，而且还将这两个看似独立的领域连接在一起，这可能会激发更多的交叉研究，以相互受益。该代码可在https://github.com/PKU-ML/Message-Passing-Contrastive-Learning上获得。
2023-03-08 cs.AI cs.CV cs.LG
Contrastive Continual Multi-view Clustering with Filtered Structural Fusion
School of Computer, National University of Defense Technology（国防科技大学计算机学院）；School of Computer Science and Technology, Harbin University of Science and Technology（哈尔滨理工大学计算机科学与技术学院）
针对多视图数据按序到达导致的灾难性遗忘问题，提出CCMVC-FSF，利用固定缓冲区保存过滤结构信息并通过对比学习指导新视图划分，理论关联半监督学习与知识蒸馏，实验验证其优越性能。
2024-03-04 cs.AI cs.CV cs.LG
Beyond Objective Expressivity: Geometry Preservation in Multimodal Contrastive Learning
Berlin Institute of Health, Charité - Universitätsmedizin Berlin（柏林健康研究院，柏林夏里特大学医学中心）；Department of Mathematics and Computer Science, Freie Universität Berlin（柏林自由大学数学与计算机科学系）；Intelligent Medicine Institute, Fudan University（复旦大学智能医学研究院）
研究多模态对比学习从成对扩展到高阶对齐的挑战，确定编码器雅可比条件是关键因素，引入几何保留编码器，通过正则化调节雅可比，实验证明改善其条件可提升检索和线性探针性能，表明多模态对比学习还取决于编码器几何和优化属性。
2026-07-21 cs.AI cs.LG
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University（哥伦比亚大学）
变分自编码器（VAE）遭受后验崩溃，其中用于建模和推理的强大神经网络优化目标，而没有有意义地使用潜在表示。我们引入推理批评，检测和激励后崩溃，要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接，我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息，减轻了后崩溃。这种方法很容易实现，并且需要比现有方法少得多的训练时间，但在三个已建立的数据集上获得了有竞争力的结果。总的来说，该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础，强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
CL-DMDF:Dynamic Multimodal Data Fusion Model Based on Contrastive Learning
Tsinghua University（清华大学）
针对多模态数据融合中模态缺失和局部交互忽视全局互补线索的问题，提出基于对比学习的动态多模态数据融合模型（CL-DMDF），通过跨特征和模态维度的注意力机制、实体质心对比学习模块和自适应融合模块，提升动态融合的效率和准确性。
2026-06-01 cs.AI cs.LG
CCFC: Bridging Federated Clustering and Contrastive Learning
Central University of Finance and Economics（中央财经大学）
本文提出了一种基于聚类对比模型的联邦聚类方法CCFC，通过学习对聚类友好的表示，显著提升了高维复杂数据的聚类性能，并在部分情况下使聚类效果翻倍，同时具备处理设备故障的优越能力。
2025-06-02 cs.AI cs.LG
OC-Distill: Ontology-aware Contrastive Learning with Cross-Modal Distillation for ICU Risk Prediction
UC Berkeley（伯克利大学）；UCSF（旧金山大学）；Samsung Advanced Institute of Technology (SAIT)（三星先进技术研究所）
OC-Distill通过两阶段框架提升ICU风险预测性能，利用本体感知对比学习和跨模态知识蒸馏，提高模型对患者相似性的捕捉能力及预测效率。
2026-08-14 cs.LG
What Constitutes Good Contrastive Learning in Time-Series Forecasting?
University of British Columbia（不列颠哥伦比亚大学）；Borealis AI（Borealis AI研究院）
本文系统比较时间序列预测中的SSCL算法、学习策略与模型架构，发现结合MSE与对比目标的Transformer端到端训练效果最佳。
2023-08-13 cs.LG
Simple and Effective Balance of Contrastive Losses
NAVER LABS Europe（NAVER LABS 欧洲）；University of Amsterdam（阿姆斯特丹大学）
对比损失长期以来一直是深度度量学习的关键组成部分，现在由于自监督学习的成功而变得越来越流行。最近的研究表明，将这种损失分解为两个子损失的好处，这两个子损失在学习表示网络时以互补的方式起作用：正项和熵项。虽然总损失因此被定义为两个术语的组合，但这两个术语的平衡往往隐藏在实施细节之后，在实践中基本上被忽视和次优。在这项工作中，我们接近的对比损失作为一个超参数优化问题的平衡，并提出了一个基于坐标下降的搜索方法，有效地找到超参数，优化评估性能。在此过程中，我们将现有的余额分析扩展到对比利润损失，将批次大小纳入余额中，并解释如何汇总批次中的损失元素，以在更大的批次大小范围内保持接近最佳的性能。对深度度量学习和自监督学习的基准测试进行的大量实验表明，与其他常见的搜索方法相比，我们的方法可以更快地找到最佳超参数。
2021-12-22 cs.CV cs.LG
Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment
University of Cincinnati（辛辛那提大学）；University of Cincinnati College of Medicine（辛辛那提大学医学院）；Perinatal Institute（围产期研究所）
针对多模态MRI特征简单融合存在信息捕捉不足、冗余等问题，提出联合自监督与监督对比学习方法，将异构特征投影到共享空间融合信息，在两个独立数据集上的异常神经发育预测效果优于现有深度多模态方法，可助力临床计算机辅助诊断。
2023-12-22 cs.AI cs.CV cs.LG
Provable Contrastive Continual Learning
SEIEE, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Beijing Normal University（北京师范大学）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文为对比持续学习建立理论性能保证，揭示模型性能受先前任务训练损失约束，并据此提出使用自适应蒸馏系数的CILA算法，在标准基准上取得新的最先进性能。
2024-05-29 cs.AI cs.CV cs.LG
Conditional Negative Sampling for Contrastive Learning of Visual Representations
Stanford University（斯坦福大学）
最近的方法学习无监督的视觉表示，被称为对比学习，优化噪声对比估计（NCE）之间的互信息的图像的两个视图。NCE使用随机抽样的负面例子来规范目标。在本文中，我们表明，选择困难的否定，或那些更相似的当前实例，可以产生更强的表示。为了做到这一点，我们引入了一个家庭的互信息估计，抽样消极的条件-在一个“环”周围的每个积极的。我们证明了这些估计下界互信息，具有较高的偏差，但较低的方差比NCE。在实验中，我们发现我们的方法，应用于现有的模型（IR，CMC和MoCo），在每种情况下，通过对四个标准图像数据集进行线性评估，准确度提高了2-5%。此外，我们发现在将特征从元数据集集合转移到各种新的图像分布以及转移到各种下游任务（如目标检测、实例分割和关键点检测）时，仍有好处。
2020-10-05 cs.LG stat.ML
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
KDC-MAE: Knowledge Distilled Contrastive Mask Auto-Encoder
Birla Institute of Technology and Science, Pilani（贝拉理工学院皮拉尼分校）
本文提出KDC-MAE，通过互补掩码策略和加权方式协同结合对比学习、知识蒸馏与掩码建模，在多个任务和多种模态上提升了自监督学习效果。
2024-11-19 cs.CV
Self-supervised Learning: Generative or Contrastive
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology (TNList)（清华信息科学与技术国家实验室）；Anhui University（安徽大学）；Renmin University of China（中国人民大学）
深度监督学习在过去十年中取得了巨大的成功。然而，其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法，在过去的几年里，由于其在表示学习方面的出色表现，吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督，并使几乎所有类型的下游任务受益。在这篇综述中，我们将探讨新的自监督学习方法，用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法，并根据其目标将其归纳为三个主要类别：生成，对比和生成对比（对抗）。我们进一步研究相关的理论分析工作，提供更深层次的思考自监督学习是如何工作的。最后，我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
Unifying Graph Contrastive Learning via Graph Message Augmentation
Anhui University（安徽大学）
本文提出图消息增强（GMA）作为统一现有图数据增强方法的通用方案，并基于此构建图消息对比学习（GMCL）框架，为图自监督学习提供了新视角与更有效的增强手段。
2024-01-08 cs.CV cs.LG
A Unified Contrastive-Generative Framework for Time Series Classification
RMIT（皇家墨尔本理工大学）
提出CoGenT框架，通过联合对比-生成优化统一多变量时间序列自监督学习，克服对比学习对高类内相似性的敏感性及生成方法对大数据集的依赖，在六个数据集上F1显著提升。
2025-08-13 cs.AI cs.LG
M5Product: Self-harmonized Contrastive Learning for E-commercial Multi-modal Pretraining
Sun Yat-sen University（中山大学）；Beijing Jiaotong University（北京交通大学）；UiT The Arctic University of Norway（挪威UiT北极大学）；PengCheng Laboratory（鹏城实验室）；Alibaba Group（阿里巴巴集团）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
尽管多模态预训练具有从互补数据模态中学习高度区分性特征表示的潜力，但由于缺乏大规模模态多样性数据集，目前的进展正在放缓。通过利用电子商务的自然适用性，其中不同的模态捕获互补的语义信息，我们贡献了一个大规模的多模态预训练数据集M5 Product。该数据集包括5种模态（图像、文本、表格、视频和音频），涵盖6,000多个类别和5,000个属性，比具有类似模态数量的最大公开数据集大500。此外，M5 Product包含不完整的模态对和噪声，同时也具有长尾分布，类似于大多数现实问题。我们进一步提出了自协调的自适应学习（SCALE），一种新的预训练框架，通过自适应特征融合机制将不同的模态集成到一个统一的模型中，其中每个模态的重要性直接从模态嵌入中学习，并影响多模态Transformer模型中的模态间对比学习和掩蔽任务。我们评估了当前的多模态预训练最先进的方法，并对它们在面对M5 Product数据集中大量模态时从未标记数据中学习的能力进行了基准测试。我们对四个下游任务进行了广泛的实验，并证明了我们的SCALE模型的优越性，为数据集规模和多样性的重要性提供了见解。
2022-04-02 cs.CV cs.MM
Unsupervised Representation Learning from Pathology Images with Multi-directional Contrastive Predictive Coding
University of Dundee（邓迪大学）；Ninewells Hospital and Medical School（奈恩韦尔斯医院与医学院）
数字病理学任务从现代深度学习算法中受益匪浅。然而，他们需要大量的注释数据已被确定为一个关键的挑战。这种对数据的需求可以通过在数据丰富但对注释的访问有限的情况下使用无监督学习来解决。使用对比预测编码（CPC）从未注释的数据学习的特征表示已经被示出为使得分类器能够从相对少量的注释的计算机视觉数据获得最先进的性能。我们提出了一个修改的CPC框架与数字病理补丁使用。这是通过引入用于构建潜在上下文的替代掩码并使用多方向PixelCNN自回归器来实现的。为了证明我们提出的方法，我们从Patch Camelyon组织学数据集学习特征表示。我们表明，我们提出的修改可以产生改进的组织学补丁的深层分类。
2021-05-11 cs.CV cs.LG
A Principled Framework for Multi-View Contrastive Learning
Department of Informatics and Telecommunications, National and Kapodistrian University of Athens（信息与通信技术系，雅典国家与卡波迪斯特里亚大学）；Archimedes AI/Athena Research Center（阿基米德AI/阿塔纳研究中心）；ILSP/Athena Research Center（ILSP/阿塔纳研究中心）；The Cyprus Institute（塞浦路斯研究所）
本文提出多视图对比学习的原则性框架，通过MV-InfoNCE和MV-DHEL两种损失函数解决现有方法的目标冲突与交互缺失问题，在多个数据集上超越现有方法，并利用多视图缓解维度坍缩。
2025-07-09 cs.CV cs.LG
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research（Meta人工智能研究院）；NYU（纽约大学）
自监督学习（SSL）推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑：在许多模态\dots中优于监督方法，但理论基础有限，方法特定，并且未能为从业者提供原则性的设计指南。在本文中，我们提出了一个统一的框架下的频谱流形学习，以解决这些限制。通过这项研究的过程中，我们将严格证明VICReg，Simplified，BarlowTwins等。对应于epsilon谱方法，如Laplacian Eigenmaps，Multidimensional Scaling等。这种统一将使我们能够获得（i）每种方法的闭合形式最佳表示，（ii）每种方法的线性区域中的闭合形式最佳网络参数，（iii）训练过程中使用的成对关系对每个量和下游任务性能的影响，最重要的是，（iv）对比和非对比方法之间的第一个理论桥梁，分别通向全局和局部谱嵌入方法，暗示每个方法的优点和局限性。例如，（i）如果成对关系与下游任务对齐，则可以成功地采用任何SSL方法并将恢复监督方法，但在低数据状态下，VICReg的不变性超参数应该较高;（ii）如果成对关系与下游任务不对齐，则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
Graph-Based Pseudo-multimodal Contrastive Learning for 12-Lead ECG Representations
Yokohama National University（横滨国立大学）；Yokohama City University Medical Center（横滨市立大学医学中心）；Fukuda Denshi Co.,Ltd（福田电子株式会社）
针对现有12导联ECG分析方法难以捕捉导联间依赖与全局模式的问题，提出Graph-CMMC框架，通过将ECG波形转换为GADF图像构建伪多模态表征，结合图关系模块建模导联间依赖，在冠状动脉闭塞分类任务上取得了有竞争力的性能。
2026-08-28 cs.LG
MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image Pretraining
University of Science and Technology of China（中国科学技术大学）；Xiamen University（厦门大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Cloud + AI（微软云与人工智能部门）
本文提出MaskCLIP框架，将掩码自蒸馏融入对比语言-图像预训练，通过局部patch表示学习与视觉-语言对比学习互补，并在文本分支引入局部语义监督，显著提升了下游任务的linear probing、finetuning和zero-shot性能。
2023-04-09 cs.CV
Heterogeneous Contrastive Learning for Foundation Models and Beyond
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文系统综述了面向基础模型的异构对比学习，涵盖视图异构性与任务异构性两类场景，梳理现有方法并指出开放挑战与未来方向。
2024-03-30 cs.LG
MobileVOS: Real-Time Video Object Segmentation Contrastive Learning meets Knowledge Distillation
Samsung Research UK（三星英国研究院）
本文解决了资源受限设备（如手机）上的半监督视频对象分割问题。我们将这个问题制定为一个蒸馏任务，从而证明具有有限内存的小型空间-时间-内存网络可以实现具有竞争力的结果，但计算成本仅为三星Galaxy S22上每帧32毫秒。具体来说，我们提供了一个理论上的接地框架，统一的知识蒸馏与监督对比表示学习。这些模型能够共同受益于像素方面的对比学习和来自预先训练的教师的蒸馏。我们通过在标准DAVIS和YouTube基准测试中实现具有竞争力的J&F来验证这种损失，尽管运行速度快了5倍，参数少了32倍。
2023-03-14 cs.CV
Constructing Contrastive samples via Summarization for Text Classification with limited annotations
Zhejiang University（浙江大学）；IBM Research（IBM研究院）；Squirrel AI Learning（松鼠AI）
对比学习已经成为一种功能强大的表示学习方法，并促进了各种下游任务，特别是当监督数据有限时。如何通过数据增强构造有效的对比样本是其成功的关键。与视觉任务不同，用于对比学习的数据增强方法在语言任务中还没有得到充分的研究。在本文中，我们提出了一种新的方法来构建对比样本的语言任务，使用文本摘要。我们使用这些样本进行监督对比学习，以获得更好的文本表示，这极大地有利于有限注释的文本分类任务。为了进一步改进该方法，我们混合了来自不同类别的样本，并在交叉熵损失之外添加了一个额外的正则化，名为Mixsum。在真实文本分类数据集（Amazon-5、Yelp-5、AG News和IMDb）上的实验证明了所提出的基于摘要的数据增强和Mixsum正则化的对比学习框架的有效性。
2021-11-29 cs.CL cs.LG
Hierarchical Contrastive Learning for Multimodal Data
University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
本文提出层次对比学习框架，通过统一模型学习全局共享、部分共享和模态特定的表示，解决多模态数据中部分共享因素的建模问题，提升预测性能。
2026-04-07 cs.LG math.ST stat.ML
Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对比学习已成功地应用于学习文本的矢量表示。先前的研究表明，学习高质量的表征受益于大量否定的批量对比损失。在实践中，使用了批内否定技术，其中对于一个批中的每个示例，其他批示例的肯定将被视为其否定，避免编码额外的否定。然而，这仍然会影响每个示例在所有批处理示例上的丢失，并且需要将整个大批处理适配到GPU内存中。本文介绍了一种梯度缓存技术，该技术在对比度损失和编码器之间进行反向传播，消除了编码器沿批处理维度的反向传递数据依赖。因此，每次可以为批处理的一个子集计算梯度，从而导致几乎恒定的内存使用。
2021-06-14 cs.CL cs.IR cs.LG
Contrastive Learning with Stronger Augmentations
Purdue University（普渡大学）；Futurewei Seattle Cloud Lab（未来威西雅图云实验室）
随着对比学习方法的发展，表示学习得到了长足的发展。这些方法中的大多数都受益于各种数据增强，这些数据增强被仔细指定以保持它们的身份，以便仍然可以检索从同一实例转换的图像。然而，这些精心设计的转换限制了我们进一步探索其他转换所揭示的新模式。同时，我们在实验中发现，强增强会使图像的结构发生扭曲，导致检索困难。因此，我们提出了一个通用的框架，称为对比学习与更强的增强~（CLSA），以补充目前的对比学习的方法。在这里，弱增强图像和强增强图像之间的分布差异表示银行被用来监督强增强查询从一个池的实例检索。在ImageNet数据集和下游数据集上的实验表明，来自强增强图像的信息可以显着提高性能。例如，CLSA在ImageNet上实现了76.2%的top-1准确率，采用标准ResNet-50架构，并对单层分类器进行了微调，这几乎与76.5%的监督结果相同。代码和预训练模型可在https://github.com/maple-research-lab/CLSA中找到。
2022-01-21 cs.AI cs.CV cs.LG
Triangular Contrastive Learning on Molecular Graphs
Seoul National University（首尔国立大学）；AIGENDRUG Co. Ltd（AIGENDRUG有限公司）；MOGAM Institute for Biomedical Research（慕岩生物医学研究所）
最近的对比学习方法已被证明在各种任务中是有效的，学习对数据增强不变的可推广表示，从而导致最先进的性能。关于在自监督学习中使用的大型未标记数据的多面性，而大多数真实字下游任务使用单一格式的数据，可以训练单一模态以从其他模态学习不同视角的多模态框架是一个重要的挑战。在本文中，我们提出了TriCL（三角对比学习），三模态对比学习的通用框架。TriCL利用了三角区域损失，这是一种新型的模态间对比损失，通过同时对比正三元组和负三元组的面积来学习嵌入空间的角度几何。在对齐和均匀性方面对嵌入空间的系统观察表明，三角区域损失可以通过按角度区分模态来解决线塌陷问题。我们的实验结果也证明了TriCL在分子性质预测的下游任务上的优异性能，这意味着嵌入空间的优势确实有利于下游任务的性能。
2022-05-26 cs.LG
Contrastive Graph Learning for Population-based fMRI Classification
University of New South Wales（新南威尔士大学）；Istanbul Technical University（伊斯坦布尔技术大学）；Lehigh University（理海大学）
对比自监督学习最近受益于fMRI分类与归纳偏见。它的弱标签依赖性防止了小型医学数据集的过度拟合，并解决了高组内方差。尽管如此，现有的对比方法仅在3D医学图像的像素级特征上生成相似对，而揭示关键认知信息的功能连接性则未得到充分探索。此外，现有的方法预测标签上的个人对比表示，而不认识相邻的信息，在患者组，而患者间的对比度可以作为一个相似性度量适合于基于人群的分类。因此，我们提出了基于人群的fMRI分类的对比功能连接图学习。功能连接图上的表示对于异质患者对是“排斥”的，而同质对则彼此“吸引”。然后更新一个动态的人口图，加强相似患者之间的联系，以进行分类。在多站点数据集ADHD200上的实验验证了该方法在各种指标上的优越性。我们首先将种群关系可视化，并利用潜在的亚型。
2022-07-17 cs.LG eess.IV
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon Alexa（亚马逊Alexa）
语音情感识别是实现更自然的人机交流的关键技术。然而，SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题，我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明，对比预测编码（CPC）方法可以学习显着表示从未标记的数据集，这提高了情感识别性能。在我们的实验中，这种方法实现了最先进的一致性相关系数（CCC）的性能，所有的情绪原语（激活，效价，和优势）IEMOCAP。此外，在MSP-Podcast数据集上，与基线相比，我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
SCEHR: Supervised Contrastive Learning for Clinical Risk Prediction using Electronic Health Records
Weill Cornell Medicine（威尔康奈尔医学院）
对比学习在图像和文本领域以自监督或监督的方式表现出很好的性能。在这项工作中，我们将监督对比学习框架扩展到基于纵向电子健康记录（EHR）的临床风险预测问题。我们提出了一种通用的监督对比损失$\mathcal{L}_{\text{Contrastive Cross Entropy} } + λ\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$，用于在统一的框架中学习二元分类（例如，住院死亡率预测）和多标签分类（例如，表型）。我们的监督对比损失实践了对比学习的关键思想，即同时通过其两个组件将相似的样本拉近并将不相似的样本彼此分开：$\mathcal{L}_{\text{Contrastive Cross Entropy} }$尝试将样本与代表正和负集群的学习锚进行对比，而$\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$尝试根据其监督标签将样本彼此进行对比。我们提出了上述监督对比损失的两个版本，并且我们对真实世界EHR数据的实验表明，我们提出的损失函数在提高强基线甚至最先进模型在临床风险预测基准任务上的性能方面表现出益处。我们的损失函数可以很好地处理临床风险预测问题中常见的极不平衡数据。我们的损失函数可以很容易地用来取代现有临床预测模型中采用的（二进制或多标记）交…
2021-10-11 cs.LG
$C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues
Salesforce Research Asia（Salesforce亚洲研究院）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）
本文提出组合式反事实对比学习（$C^3$），通过事实/反事实采样和对比隐藏状态表示优化视频基础对话生成，并在AVSD基准上取得性能提升。
2023-08-05 cs.CL cs.CV cs.LG
ASPECT: Node-Level Adaptive Spectral Fusion for Graph Contrastive Learning
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
ASPECT通过节点级自适应融合低频和高频视图，提升图对比学习的表示质量，在混合图中减少悔恨，同时通过ASPECT-S增强稳定性。
2026-05-06 cs.AI cs.LG
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland（三星研发院波兰分院）；AGH University of Krakow（波兰克拉科夫AGH大学）
针对说话人验证中对比学习的难负样本利用问题，提出CHNS聚类式难负样本采样方法，通过聚类相似说话人嵌入并优化批次难易负样本比例，在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%，优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
UniS-MMC: Multimodal Classification via Unimodality-supervised Multimodal Contrastive Learning
Nanyang Technological University（南洋理工大学）
针对传统多模态融合忽略模态间关系且易受噪声影响的问题，提出在单模态预测弱监督下的多模态对比学习方法UniS-MMC，通过捕获并对齐单模态表示以获取更可靠的多模态表示，在多个图文分类基准上超越现有方法。
2023-05-16 cs.CL cs.CV
Reconstruction Enhanced Multi-View Contrastive Learning for Anomaly Detection on Attributed Networks
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Central South University（中南大学）
针对属性网络异常检测，本文提出联合优化多视图对比学习与掩码自编码器属性重构的自监督框架，并在五个基准上验证其优于现有方法。
2022-05-10 cs.LG
Contrastive Predictive Coding Done Right for Mutual Information Estimation
Department of EECS, MIT（麻省理工学院电子工程与计算机科学系）；Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
InfoNCE目标，最初介绍了对比表示学习，已成为一个流行的选择互信息（MI）估计，尽管其间接连接到MI。在本文中，我们证明了为什么InfoNCE不应该被视为一个有效的MI估计，我们介绍了一个简单的修改，我们称之为InfoNCE锚，准确的MI估计。我们的修改引入了一个辅助锚类，使一致的密度比估计，并产生一个插件MI估计显着减少的偏见。除此之外，我们使用适当的评分规则来概括我们的框架，当采用日志评分时，该规则将InfoNCE锚恢复为特殊情况。这种表述将广泛的对比目标，包括NCE、InfoNCE和$f$ -发散变体统一在一个原则性框架下。经验上，我们发现，InfoNCE锚与日志得分实现最准确的MI估计，然而，在自我监督的表示学习实验中，我们发现，锚不提高下游任务的性能。这些研究结果证实，对比表示学习受益于准确的MI估计本身，但从结构化密度比的学习。
2025-10-29 cs.IT cs.LG math.IT
CGCL: Collaborative Graph Contrastive Learning without Handcrafted Graph Data Augmentations
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）；Chinese Academy of Sciences（中国科学院）
本文提出协作图对比学习框架CGCL，通过多个互补图编码器观察图并以其特征作为对比视图，避免手工图增强带来的不稳定扰动，从而提升无监督图级表示学习性能。
2024-04-01 cs.AI cs.LG
Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning
Renmin University of China（中国人民大学）；University of Surrey（萨里大学）；Alibaba Group（阿里巴巴集团）
最近的少样本学习（FSL）方法是基于元学习与情节训练。在每个元训练片段中，首先在内部循环中从支持集构建区分性特征嵌入和/或分类器，然后在外部循环中使用查询集进行评估以进行模型更新。然而，这种以查询集样本为中心的学习目标在解决支持集中缺乏训练数据的问题方面本质上是有限的。本文提出了一种新的基于增强嵌入的对比原型学习（CPLAE）模型来克服这一局限性。首先，数据增强被引入到支持集和查询集，每个样本现在被表示为由原始和增强版本的级联嵌入组成的增强嵌入（AE）。其次，提出了一种新的以对比损失为中心的支持集类原型用于对比原型学习（CPL）。CPL以类原型为锚点，目的是将同一类的查询样本拉得更近，而将不同类的查询样本拉得更远。这种支持集样本中心损失是对现有查询中心损失的高度补充，充分利用了每个片段中有限的训练数据。在几个基准上的大量实验表明，我们提出的CPLAE实现了新的最先进的。
2021-01-23 cs.CV
Randomized Schur Complement Views for Graph Contrastive Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
本文提出基于 Schur 补的随机拓扑增强器，为图对比学习生成无偏增强视图，并通过受控实验验证其在节点与图分类任务上达到最先进性能。
2023-06-06 cs.LG cs.SI
