Contrastive Diffuser: Planning Towards High Return States via Contrastive Learning
Jilin University（吉林大学）；Shanghai Jiaotong University（上海交通大学）
针对离线强化学习中低回报轨迹占比高导致策略学习困难的问题，本文提出对比扩散器CDiffuser，通过对比机制将状态分为高回报正样本和低回报负样本，引导智能体远离低回报区域，并在14个D4RL基准上验证了有效性。
2024-06-15 cs.LG
Towards a Unified Theoretical Understanding of Non-contrastive Learning via Rank Differential Mechanism
Peking University（北京大学）
最近，以非对比学习为名的各种方法（如BYOL，SimSiam，SwAV，DINO）表明，当配备一些非对称结构设计时，单独对齐正对就足以在自监督视觉学习中获得良好的性能。尽管对一些特定的模块（如BYOL中的预测器）有一些理解，但对于这些看似不同的非对称设计如何避免特征崩溃，特别是考虑到没有预测器也能工作的方法（如DINO），还没有统一的理论理解。在这项工作中，我们提出了一个统一的理论理解现有的变种非对比学习。我们的秩差机制（RDM）理论表明，所有这些不对称的设计创建一个一致的秩差在其双分支输出功能。这种秩差将可证明地导致有效维度的改善，并减轻完全或维度特征崩溃。与以前的理论不同，我们的RDM理论适用于不同的非对称设计（有和没有预测器），因此可以作为一个统一的理解现有的非对比学习方法。此外，我们的RDM理论也为设计许多新的非对比变体提供了实践指导。我们表明，这些变体确实在基准数据集上实现了与现有方法相当的性能，其中一些甚至优于基线。我们的代码可在\url{https://github.com/PKU-ML/Rank-Differential-Mechanism}上获得。
2023-03-04 cs.LG
Understanding Contrastive Learning Requires Incorporating Inductive Biases
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Harvard University（哈佛大学）
对比学习是自监督学习的一种流行形式，它鼓励相同输入的增强（视图）与不同输入的增强相比具有更相似的表示。最近试图从理论上解释下游分类任务上的对比学习的成功证明了依赖于{\em增强}的属性和表示的{\em对比损失}的值的保证。我们证明，这种分析，忽略{\em归纳偏见}的功能类和训练算法，不能充分解释对比学习的成功，甚至{\em probably}导致在某些设置中的空洞的保证。在图像和文本领域的大量实验突出了这个问题的普遍性-不同的函数类和算法在下游任务上的行为非常不同，尽管具有相同的增强和对比损失。线性表示类的理论分析，其中将归纳偏见的功能类允许对比学习与较不严格的条件相比，以前的分析。
2022-02-28 cs.AI cs.LG
Understanding the properties and limitations of contrastive learning for Out-of-Distribution detection
University of Bristol（布里斯托大学）
最近流行的一种用于分布外（OOD）检测的方法是基于被称为对比学习的自监督学习技术。对比学习有两个主要的变体，即实例和类区分，前者可以区分不同实例的目标特征，后者可以区分不同的类。在本文中，我们的目的是了解现有的对比学习方法的有效性和局限性，面向对象的检测。我们从三个方面着手。首先，我们系统地研究了在不同的OOD检测设置下，实例判别和监督对比学习变体之间的性能差异。第二，我们研究的分布（ID）类OOD数据往往被分类。最后，我们研究了不同的对比学习方法的光谱衰减特性，并研究了它与OOD检测性能的关系。在ID和OOD数据集彼此足够不同的情况下，我们看到在没有微调的情况下，实例歧视与OOD检测中的监督方法具有竞争力。我们看到，OOD样本倾向于被分类到具有与整个数据集的分布类似的分布的类中。此外，我们表明，对比学习学习的特征空间，包含奇异向量，包含几个方向具有高方差，这可能是有害的或有益的OOD检测取决于所使用的推理方法。
2022-11-06 cs.CV cs.LG
Hybrid-Collaborative Augmentation and Contrastive Sample Adaptive-Differential Awareness for Robust Attributed Graph Clustering
College of Information Science and Technology, Beijing University of Chemical Technology（北京化工大学信息科学与技术学院）；Beijing University of Technology（北京工业大学）；The University of Sydney Business School, The University of Sydney（悉尼大学商学院）
针对现有对比属性图聚类忽略边级增强及样本对差异的问题，提出融合混合协同增强与对比样本自适应差分感知的鲁棒聚类方法，在六个基准数据集上性能优于现有最优方法。
2025-10-03 cs.LG
Hybrid Augmented Automated Graph Contrastive Learning
Heilongjiang University（黑龙江大学）
图扩充是图对比学习的基础。现有的大多数工作使用预定义的随机扩充，通常无法适应不同的输入图，没有考虑不同的节点和边对图语义的影响。为了解决这个问题，我们提出了一个框架，称为混合增强自动图对比学习（HAGCL）。HAGCL由特征级可学习视图生成器和边缘级可学习视图生成器组成。视图生成器是端到端可微分的，以学习以输入图为条件的视图的概率分布。它确保学习最有语义意义的结构，分别在功能和拓扑结构。此外，我们提出了一种改进的联合训练策略，它可以取得比以前的作品更好的结果，而不诉诸于下游任务中的任何弱标签信息和广泛的额外工作的评估。
2023-03-24 cs.LG
Multi-level Supervised Contrastive Learning
RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵-普法尔茨理工大学）；RIKEN（理化学研究所）
本文提出多级对比学习（MLCL）框架，通过多个投影头捕捉样本在不同标签和层次上的相似性，适用于多标签和层次分类任务，并在文本和图像数据集上超越现有对比学习方法。
2025-02-05 cs.LG
Contrastive Diffusion Alignment: Learning Structured Latents for Controllable Generation
Department of Psychiatry, Weill Cornell Medicine, New York, NY, USA（威立·科林斯医学中心精神科）；Department of Psychiatry, Stanford University, Stanford, CA, USA（斯坦福大学精神科）；Department of Neuroscience, University of Connecticut School of Medicine, Farmington, CT, USA（康涅狄格大学医学院神经科学系）
ConDA通过对比学习在扩散模型中学习结构化潜在空间，实现可控生成和动态解释。
2026-08-06 cs.LG
Supervised Contrastive Learning with Structure Inference for Graph Classification
Beijing University of Technology（北京工业大学）
近年来，高级图神经网络在图分类方面显示出巨大的潜力。与节点分类不同的是，图分类需要对不同层次的拓扑信息进行分层积累，以生成有区别的图嵌入，节点分类可以直接使用从本地邻居聚合的节点嵌入来学习节点标签。尽管如此，如何充分探索图结构并制定有效的图分类管道仍然是基本的。本文提出了一种基于结构推理的有监督对比学习的图神经网络。首先，我们提出了一个数据驱动的图增强策略，可以发现额外的连接，以增强现有的边集。具体地说，我们诉诸于一个结构推理阶段的基础上扩散级联，以恢复可能的连接与高节点相似性。其次，为了提高图神经网络的对比度，我们提出了使用监督对比损失进行图分类。通过标签信息的整合，可以将one-vs-many对比学习扩展到many-vs-many，从而将拓扑相似度较高的图级嵌入拉近。监督对比损失和结构推理可以自然地并入分层图神经网络中，其中拓扑模式可以被充分探索以产生有区别的图嵌入。实验结果表明，该方法的有效性与最近的国家的最先进的方法相比。
2022-03-15 cs.LG
Beyond Separability: Analyzing the Linear Transferability of Contrastive Representations to Related Subpopulations
Stanford University（斯坦福大学）
对比学习是一种从未标记数据中学习表示的高效方法。最近的工作表明，对比表示可以跨域传输，导致简单的国家的最先进的算法，无监督领域自适应。特别是，一个被训练来分离源域上的表示的线性分类器也可以准确地预测目标域上的类，即使这两个域的表示彼此相距甚远。我们把这种现象称为线性可转移性。本文分析了对比表示在一般无监督领域自适应环境中何时以及为什么表现出线性可传递性。我们证明了当来自不同域中的同一类的数据（例如，照片狗和卡通狗）比来自不同域中的不同类的数据彼此更相关（例如，照片狗和卡通猫）。我们的分析是在一个现实的制度，源和目标域可以有无限的密度比和弱相关，他们有遥远的表示跨域。
2022-05-23 cs.LG
Quantifying and Mitigating Privacy Risks of Contrastive Learning
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全研究中心 (CISPA Helmholtz Center for Information Security)）
在过去的十年中，数据是推动机器学习（ML）发展的关键因素。然而，高质量的数据，特别是标记的数据，往往是困难和昂贵的收集，利用大规模的未标记的数据，自监督学习，以对比学习，介绍。对比学习的目的是映射从训练样本导出的不同视图（例如，通过数据增强）在它们的表示空间中更近，而从不同样本导出的不同视图更远。通过这种方式，对比模型学习为数据样本生成信息表示，然后用于执行下游ML任务。最近的研究表明，机器学习模型容易受到各种隐私攻击。然而，目前的大部分努力集中在用监督学习训练的模型上。同时，通过对比学习获得的数据样本的信息表示也可能导致严重的隐私风险。在本文中，我们进行了第一次隐私分析的对比学习通过镜头的成员推理和属性推理。我们的实验结果表明，在图像数据集上训练的对比模型不太容易受到成员推断攻击，但更容易受到属性推理攻击相比，监督模型。前者是由于对比模型不太容易过拟合，而后者是由于对比模型表达数据样本的能力。为了弥补这种情况，我们提出了第一个隐私保护的对比学习机制，Talos，依赖于对抗训练。实验结果表明，Talos可以成功地降低属性推理风险的对比模型，同时保持他们的成员隐私和模型效用。
2021-09-21 cs.CR cs.LG
On the duality between contrastive and non-contrastive self-supervised learning
Meta AI - FAIR（Meta人工智能实验室（基础人工智能研究部））；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；New York University（纽约大学）；Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文研究对比与非对比自监督学习的理论相似性，证明两类方法在有限假设下等价，并通过超参数调优和设计选择缩小性能差距，推动统一SOTA方法以深化理解。
2023-06-26 cs.AI cs.CV cs.LG
Contrastive Representation Learning: A Framework and Review
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（数据分析洞察中心）
对比学习由于其在计算机视觉领域的自监督表示学习中的成功而受到关注。然而，对比学习的起源可以追溯到20世纪90年代，其发展跨越了许多领域和领域，包括度量学习和自然语言处理。在本文中，我们提供了一个全面的文献综述，我们提出了一个通用的对比表示学习框架，简化和统一了许多不同的对比学习方法。我们还为对比学习的每个组成部分提供了一个分类法，以便总结它并将其与其他形式的机器学习区分开来。然后，我们讨论了归纳的偏见，这是目前在任何对比学习系统，我们分析我们的框架下，从不同的角度从各个子领域的机器学习。还介绍了对比学习如何应用于计算机视觉、自然语言处理、音频处理等以及强化学习的例子。最后，我们讨论了未来的挑战和一些最有前途的研究方向。
2020-10-27 cs.LG stat.ML
RaDAR: Relation-aware Diffusion-Asymmetric Graph Contrastive Learning for Recommendation
University of Electronic Science and Technology of China（电子科技大学）；National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）
RaDAR通过结合图生成模型和关系感知去噪模型，解决图对比学习中边扰动和数据稀疏的问题，提升推荐系统在噪声和稀疏条件下的性能。
2026-03-17 cs.LG
Self-Contrastive Learning: Single-viewed Supervised Contrastive Framework using Sub-network
KAIST（韩国科学技术院）；SK Hynix（SK海力士）
对比损失通过使用利用增强和标签信息的多视图框架，显着提高了监督分类任务的性能。增强功能可以实现与单个图像的另一个视图的对比，但会增加训练时间和内存使用。为了利用多视图的优势，同时避免高计算成本，我们引入了一个多出口架构，输出多个功能的一个单一的图像在一个单一的视图框架。为此，我们提出了自对比（SelfCon）学习，它在单个网络的不同级别的多个输出中进行自对比。多出口架构有效地替换多增强图像并利用来自网络不同层的各种信息。我们证明了SelfCon学习提高了编码器网络的分类性能，并实证分析了其在单视图和子网络方面的优势。此外，我们提供了基于互信息界的性能提高的理论证据。对于ResNet-50上的ImageNet分类，SelfCon将准确率提高了+0.6%，具有59%的内存和48%的监督对比学习时间，并且多出口输出的简单集成将性能提高了+1.5%。我们的代码可在https://github.com/raymin0223/self-contrastive-learning上获得。
2022-11-24 cs.AI cs.LG
Synthetic Hard Negative Samples for Contrastive Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出SSCL方法，通过混合负样本生成并采样更难负样本，同时进行去偏处理，以提升对比学习在图像分类任务中的性能。
2023-04-17 cs.CV cs.LG
Simple Graph Contrastive Learning via Fractional-order Neural Diffusion Networks
Nanyang Technological University（南洋理工大学）；Anhui University（安徽大学）
本文提出一种基于分数阶微分方程的无增强图对比学习框架，通过调节阶参数生成多样视图，无需负样本，适用于同质与异质数据集，性能达到最优。
2025-04-24 cs.LG
Calibrating and Improving Graph Contrastive Learning
The Chinese University of Hong Kong（香港中文大学）
针对无监督图对比学习中部分对比对与下游任务真相相悖、降低其损失会损害下游性能的问题，提出即插即用正则化方法Contrast-Reg，经理论和实验验证可有效提升不同配置下GNN模型的泛化性与下游任务性能。
2023-08-22 cs.LG
Multi-modal Contrastive Representation Learning for Entity Alignment
Tencent Jarvis Lab（腾讯Jarvis实验室）；Southeast University（东南大学）
多模态实体对齐旨在识别两个不同的多模态知识图谱之间的等价实体，知识图谱由结构三元组和与实体相关联的图像组成。以往的工作主要集中在如何利用和编码来自不同模态的信息，而它是不平凡的，利用多模态的知识在实体对齐，因为模态的异质性。在本文中，我们提出了MCLEA，多模态对比学习为基础的实体对齐模型，以获得有效的联合表示的多模态实体对齐。与以往的工作不同，MCLEA考虑面向任务的模态和模型的模态间的关系，为每个实体表示。特别地，MCLEA首先从多个模态学习多个个体表示，然后执行对比学习以联合建模模态内和模态间交互。大量的实验结果表明，MCLEA在监督和无监督设置下的公共数据集上的性能优于最先进的基线。
2022-09-02 cs.AI cs.CL cs.LG
Differentiable Koopman Operator for Contrastive Learning on Dynamic Graphs
University of Southern California（南加州大学）；Islamic University of Technology（伊斯兰理工大学）；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）
针对动态图对比学习缺乏显式时间演化建模的问题，提出嵌入可微Koopman算子的自监督框架KAIROS，在九个基准上异常检测达最优，最高提升23.15 ROC-AUC点。
2026-10-05 cs.LG
Dual Space Graph Contrastive Learning
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；Wuhan University of Technology（武汉理工大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
无监督图表示学习已经成为解决现实问题的有力工具，并在图学习领域取得了巨大的成功。图对比学习是无监督图表示学习方法中的一种，近年来受到研究者的关注，并在各种任务上取得了很好的效果。图对比学习成功的关键是构造合适的对比对，以获取图的底层结构语义。然而，这一关键部分目前还没有得到充分的研究，大多数生成对比对的方法都集中在增强或扰动图结构以获得输入图的不同视图。但是这种策略会给图中加入噪声，从而降低了图对比学习的性能，限制了图的应用范围。在本文中，我们提出了一种新的图对比学习方法，即\textbf{D} ual \textbf{S} pace \textbf{G}双\textbf{C}对比（DSGC）学习，进行图之间的对比学习在不同的空间，包括双曲空间和欧氏空间中产生的意见。由于这两种空间在嵌入空间中表示图数据方面都有各自的优势，因此我们希望利用图对比学习来弥合空间并利用双方的优势。对比实验结果表明，DSGC在所有数据集中具有竞争力或更好的性能。此外，我们进行了大量的实验，以分析不同的图编码器对DSGC的影响，从而了解如何更好地利用不同空间之间的对比学习的优势。
2022-03-04 cs.LG cs.SI
Turbo your multi-modal classification with contrastive learning
NIO（蔚来）
针对现有多模态对比学习忽略模态内对比的问题，提出Turbo策略，结合模态内与跨模态对比，在音频-文本分类任务上取得SOTA效果。
2024-09-14 cs.LG cs.MM
Supervised Stochastic Neighbor Embedding Using Contrastive Learning
University of Geneva（日内瓦大学）
本研究将自监督对比学习扩展至全监督设置，提出一种有监督随机近邻嵌入方法，通过在低维空间中拉近同类样本、推开异类样本，有效利用标签信息以优化数据可视化。
2023-09-15 cs.LG
Signed Directed Graph Contrastive Learning with Laplacian Augmentation
Seoul National University（首尔国立大学）；Korea Institute of Energy Technology（韩国能源技术研究院）
图对比学习已经成为一种强大的技术，用于一些图挖掘任务。它从增广图的不同角度学习判别表示。在我们的日常生活中，有向图是各种图类型中最复杂和最棘手的分析。这就是为什么有向图对比学习的研究还不多，而无向图和无向图的对比研究却很多的原因。因此，本文提出了一种新的符号有向图对比学习，SDGCL。该方法构造了两种不同结构的扰动图视图，并通过磁拉普拉斯扰动得到节点表示。我们使用一个节点级的对比损失，以最大限度地提高两个图形视图之间的互信息。该模型与对比和监督目标联合学习。SDGCL的图形编码器不依赖于社会理论或预定义的假设。因此，它不需要查找三元组或选择要聚合的邻居。它通过磁性拉普拉斯算子仅利用边缘符号和方向。据我们所知，它是第一个引入磁拉普拉斯扰动和符号谱图对比学习。通过对四个真实数据集的详尽实验，证明了该模型的优越性。SDGCL在四个评估指标上显示出比其他最先进的性能更好的性能。
2023-01-12 cs.AI cs.LG
Multi-Similarity Contrastive Learning
Massachusetts Institute of Technology（麻省理工学院）；University of Michigan（密歇根大学）
本文提出多相似性对比损失MSCon，通过联合利用多个相似性度量并根据不确定性自动加权，学习可泛化表示，在域内和域外任务上均优于现有基线。
2023-07-06 cs.LG
Contrastive learning of strong-mixing continuous-time stochastic processes
Carnegie Mellon University（卡内基梅隆大学）
对比学习是一系列自监督方法，其中模型被训练以解决从未标记数据构建的分类任务。它最近已经成为领先的学习范式之一，在许多不同领域（例如大脑成像，文本，图像）的标签的情况下。然而，对训练的许多方面（包括统计和算法）的理论理解仍然相当难以捉摸。在这项工作中，我们研究了时间序列的设置-更准确地说，当我们从一个强混合连续时间随机过程的数据。我们表明，一个适当构造的对比学习任务可以用来估计过渡内核的小到中等范围的间隔扩散的情况下。此外，我们给出了解决这个任务的样本复杂性界限，并定量地描述了对比损失的值意味着学习内核的分布封闭性。作为副产品，我们阐明了对比分布的适当设置，以及此设置中的其他超参数。
2021-03-03 cs.LG stat.ML
Contrastive Learning with Hard Negative Samples
Massachusetts Institute of Technology（麻省理工学院）
你如何能为对比学习挑选好的反面例子？我们认为，与度量学习一样，表征的对比学习受益于硬负样本（即，难以与锚点区分的点）。使用硬阴性的关键挑战是对比方法必须保持无监督，使得采用使用真实相似性信息的现有阴性采样策略不可行。作为回应，我们开发了一个新的家庭的无监督采样方法选择硬负样品，用户可以控制硬度。这种抽样的一个限制情况导致了一种表示，这种表示紧密地聚集了每个类，并将不同的类尽可能地分开。所提出的方法提高了跨多种模态的下游性能，只需要很少的额外代码行来实现，并且不引入计算开销。
2021-01-24 cs.LG stat.ML
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出MixSGCL方法，将推荐与对比损失整合为监督对比学习损失以统一优化方向，并引入节点级和边级混合挖掘监督信号，有效缓解数据稀疏性，在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
Contrastive Difference Predictive Coding
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文提出对比差分预测编码，通过拼接时间序列片段减少数据需求，用于目标条件强化学习，实验显示成功率中位数提升2倍，样本效率大幅提高。
2025-10-08 cs.AI cs.LG
Unsupervised Graph Poisoning Attack via Contrastive Loss Back-propagation
University of Technology Sydney（悉尼科技大学）；Southeast University（东南大学）
图对比学习是最先进的无监督图表示学习框架，并已显示出与监督方法相当的性能。然而，评估图对比学习是否对对抗攻击具有鲁棒性仍然是一个悬而未决的问题，因为大多数现有的图对抗攻击都是有监督的模型，这意味着它们严重依赖于标签，并且只能用于评估特定场景下的图对比学习。对于图对比学习等无监督图表示方法，在真实场景中获取标签比较困难，使得传统的有监督图攻击方法难以应用于测试其鲁棒性。在本文中，我们提出了一种新的无监督的基于梯度的对抗攻击，不依赖于标签的图对比学习。我们计算两个视图的邻接矩阵的梯度，并使用梯度上升翻转边缘以最大化对比损失。通过这种方式，我们可以充分利用由图对比学习模型生成的多个视图，并在不知道其标签的情况下选择信息量最大的边，因此可以有希望地支持我们的模型适应更多种类的下游任务。大量的实验表明，我们的攻击优于无监督的基线攻击，并具有相当的性能与监督攻击在多个下游任务，包括节点分类和链接预测。我们进一步表明，我们的攻击也可以转移到其他图表示模型。
2022-01-27 cs.IR cs.LG
Self-Contrastive Graph Diffusion Network
Lanzhou University（兰州大学）
提出自对比图扩散网络SCGDN，通过注意力模块和扩散模块实现无增强的图自对比学习，有效平衡高阶结构信息保留与避免过拟合，性能超越现有对比和经典方法。
2023-07-27 cs.AI cs.LG
Optimizing transformations for contrastive learning in a differentiable framework
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI）；Incepto Medical（Incepto医疗公司）；Sorbonne Université, CNRS, LIP6（索邦大学法国国家科学研究中心LIP6实验室）
提出基于可微变换网络的对比学习变换优化框架，无需生成模型即可保留分类相关信息，仅用10%标注数据便在脑部MRI和胸部X光任务上超过100%标签的全监督模型。
2022-07-27 cs.CV cs.LG
Object-aware Contrastive Learning for Debiased Scene Representation
KAIST（韩国科学技术院）；Google Cloud AI（谷歌云人工智能）
对比自监督学习通过对不同的数据增强实施不变性，在从未标记图像中学习视觉表示方面表现出令人印象深刻的结果。然而，学习的表示往往在上下文上偏向于不同对象或对象与背景的虚假场景相关性，这可能会损害其在下游任务上的泛化。为了解决这个问题，我们开发了一种新的对象感知的对比学习框架，首先（a）以自我监督的方式定位对象，然后（b）通过考虑推断的对象位置的适当的数据增强来消除场景相关性。对于（a），我们提出了对比类激活图（ContraCAM），它找到了最具区别性的区域（例如，对象）与其他图像进行比较。我们进一步提高了ContraCAM检测多个对象和整个形状通过迭代细化过程。对于（b），我们引入了两种基于ContraCAM的数据增强，对象感知随机裁剪和背景混合，它们分别减少了对比自监督学习期间的上下文和背景偏差。我们的实验证明了我们的表示学习框架的有效性，特别是在多对象图像下训练或在背景（和分布）移动图像下评估时。
2021-10-26 cs.CV cs.LG
A Framework using Contrastive Learning for Classification with Noisy Labels
EURA NOVA BE
我们提出了一个框架，使用对比学习作为一个预训练任务来执行图像分类的存在噪声标签。最近的策略，如伪标记，高斯混合模型的样本选择，加权监督对比学习已被结合到一个微调阶段后的预训练。本文提供了一个广泛的实证研究表明，一个初步的对比学习步骤带来了显着的增益性能时，使用不同的损失函数：非鲁棒性，鲁棒性，和早期学习正则化。我们在标准基准测试和真实世界数据集上进行的实验表明：i）对比预训练增加了任何损失函数对噪声标签的鲁棒性，ii）额外的微调阶段可以进一步提高准确性，但代价是额外的复杂性。
2021-04-19 cs.CV cs.LG
CLLD: Contrastive Learning with Label Distance for Text Classification
Alibaba Group（阿里巴巴集团）
现有的预训练模型在各种文本分类任务上都取得了最先进的性能。这些模型已被证明是有用的学习通用语言表示。然而，相似文本之间的语义差异不能被先进的预训练模型有效区分，这对难以区分的类的性能有很大的影响。为了解决这个问题，我们提出了一种新的对比学习与标签距离（CLLD）在这项工作中。受对比学习最新进展的启发，我们专门设计了一种用于学习对比类的标签距离分类方法。CLLD确保了导致不同标签分配的细微差异的灵活性，并同时为具有相似性的每个类生成不同的表示。在公共基准和内部数据集上的大量实验表明，我们的方法提高了预训练模型在分类任务上的性能。重要的是，我们的实验表明，学习的标签距离减轻了类间的对抗性。
2022-01-06 cs.AI cs.LG
Manifold-Aware Diffusion-Augmented Contrastive Learning for Noise-Robust Biosignal Representation
Computer Science \& Engineering Department Egypt-Japan University of Science \& Technology (E-JUST) New Borg El Arab, Alexandria, Egypt Email
本文提出面向流形的扩散增强对比学习框架，用于提升生物信号在噪声下的鲁棒性表示，实验显示其在心房颤动检测任务中达到0.9741的AUROC值。
2025-11-27 cs.AI cs.LG eess.SP
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research（脸书人工智能研究院）
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中，对比学习通过负样本对防止崩溃。已经表明，非对比方法遭受不同性质的较小崩溃问题：维度崩溃，其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里，我们表明，维度崩溃也发生在对比学习。在本文中，我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发，我们提出了一种新的对比学习方法，称为DirectRank，它直接优化表示空间，而不依赖于显式的可训练投影。实验表明，DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
PICL: Physics Informed Contrastive Learning for Partial Differential Equations
Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于广义对比损失的物理信息对比预训练框架PICL，通过控制方程系数和物理信息驱动的系统演化提升神经算子在多方程上的泛化能力，显著提高了Fourier Neural Operator在多类偏微分方程任务中的精度。
2024-09-24 cs.LG cs.NA math.NA
Deep Contrastive Multiview Network Embedding
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
多视图网络嵌入的目的是将网络中的节点投影到低维向量上，同时保留它们的多重关系和属性信息。对比学习方法在这项任务中表现出了良好的性能。然而，他们忽略了融合和视图表示之间的语义一致性，并且难以建模不同视图之间的互补信息。针对这些不足，本文提出了一种新的多视图网络嵌入对比学习框架（CREME）。在我们的工作中，不同的视图可以根据节点之间的各种关系。然后，我们通过适当的视图编码器生成视图嵌入，并利用一个细心的多视图聚合器来融合这些表示。特别地，我们设计了两个协作对比目标，视图融合InfoMax和视图间InfoMin，以自监督的方式对模型进行训练。前一个目标从不同视图生成的嵌入中提取信息，而后者捕获视图之间的互补信息，以促进独特的视图嵌入。我们还表明，这两个目标可以统一为一个目标的模型训练。在三个真实世界数据集上的广泛实验表明，我们提出的CREME能够始终优于最先进的方法。
2022-08-17 cs.AI cs.LG
Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院人工智能国家重点实验室）；School of Engineering, Hong Kong University of Science and Technology（香港科技大学工程学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从理论角度探讨了困难示例对无监督对比学习的影响，发现移除困难示例可提升下游分类性能，并通过理论分析和实验证明了其有效性。
2026-03-04 cs.AI cs.LG
Convergence of End-to-End Training in Deep Unsupervised Contrastive Learning
University of International Business and Economics（对外经济贸易大学）
无监督对比学习在最新的研究中得到了越来越多的关注，并已被证明是一种从未标记数据中学习表示的强大方法。然而，很少有理论分析是已知的这一框架。本文研究深度无监督对比学习的优化问题。我们证明，通过应用端到端训练，同时更新两个深度过参数化神经网络，可以找到非凸对比损失的近似稳态解。这个结果本质上不同于监督设置中现有的过参数化分析，因为与学习特定目标函数相反，无监督对比学习试图将未标记的数据分布编码到神经网络中，其通常没有最优解。我们的分析为这些无监督预训练方法的实际成功提供了理论见解。
2021-05-30 cs.LG stat.ML
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota（南达科他大学）
本文提出结合监督对比学习与基于间隔的对比损失的新框架，通过优化特征空间结构和决策边界间隔，在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
Studying the impact of magnitude pruning on contrastive learning methods
University of Pisa（比萨大学）；TU Graz（格拉茨工业大学）；CSH Vienna（维也纳复杂科学中心）
我们研究了不同修剪技术对使用对比损失函数训练的深度神经网络学习的表示的影响。我们的工作发现，在高稀疏水平下，相对于传统的交叉熵损失训练的模型，对比学习会导致更多的错误分类示例。为了理解这种明显的差异，我们使用诸如PIE数量的指标（Hooker等人，2019）、Q评分（Kalibhat等人，2022）和PD评分（Baldock等人，2021）来测量修剪对学习的表示质量的影响。我们的分析表明，修剪方法的实施事项的时间表。我们发现，当在训练阶段的早期引入修剪时，稀疏性对学习表示的质量的负面影响是最高的。
2022-07-01 cs.CV cs.LG
C-DARL: Contrastive diffusion adversarial representation learning for label-free blood vessel segmentation
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）；Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）
本文提出自监督血管分割模型C-DARL，通过扩散与生成模块学习多域血管数据分布，并采用基于掩膜的对比损失学习真实血管表示，在多数据集上超越基线方法且具备噪声鲁棒性。
2023-07-31 cs.CV cs.LG eess.IV
Region Embedding with Intra and Inter-View Contrastive Learning
Nanyang Technological University（南洋理工大学）
无监督区域表示学习旨在从未标记的城市数据中提取密集有效的特征。虽然已经基于多个视图做出了一些努力来解决这个问题，但是现有方法在提取视图中的表示和/或合并来自不同视图的表示方面仍然不足。基于对比学习在表示学习中的成功，我们提出将其用于多视图区域表示学习，并设计了一个称为ReMVC（Region Embedding with Multi-View对比学习）的模型，该模型遵循两个指导原则：i）在每个视图中将区域与其他区域进行比较，以实现有效的表征提取; ii）在不同视图中将区域与自身进行比较，以实现跨视图信息共享。我们设计了视图内对比学习模块和视图间对比学习模块，前者用于学习不同的区域嵌入，后者作为软共正则化器来约束嵌入参数并在多视图间传递知识。我们在两个下游任务中利用学习到的区域嵌入，即土地使用聚类和区域流行度预测。大量的实验表明，我们的模型实现了令人印象深刻的改进相比，七个国家的最先进的基线方法，在土地利用聚类任务的利润率超过30%。
2022-11-15 cs.CV cs.LG
Learning Representations with Contrastive Self-Supervised Learning for Histopathology Applications
Linköping University（林雪平大学）；Sectra AB（Sectra公司）
在过去的几年里，无监督学习取得了实质性的进展，特别是通过对比自监督学习。自监督学习基准的主要数据集是ImageNet，最近的方法正在接近完全监督训练所实现的性能。然而，ImageNet数据集在很大程度上是以对象为中心的，目前还不清楚这些方法在广泛不同的数据集和非以对象为中心的任务（如数字病理学）上有什么潜力。虽然自我监督学习已经开始在这一领域进行探索，并取得了令人鼓舞的结果，但有理由更仔细地研究这种设置与自然图像和ImageNet的不同之处。本文对组织病理学的对比学习进行了深入的分析，指出了对比目标如何因组织病理学数据的特点而表现出不同的行为。我们提出了一些考虑，如视图生成的对比度的目标和超参数调整。在大量的实验中，我们分析了组织分类的下游性能将如何受到这些因素的影响。结果表明，对比学习可以减少数字病理学中的注释工作，但需要考虑特定的数据集特征。为了充分利用对比学习目标，需要对视图生成和超参数进行不同的校准。我们的研究结果为实现自监督学习在组织病理学应用中的全部潜力铺平了道路。
2022-08-16 cs.CV cs.LG eess.IV
Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；School of Computer Science and Tech., University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Information Engineering, CAS（信息工程研究所，中国科学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
本文提出通过对比信号优化扩散重建，以提升CLIP中判别能力和细节感知能力，解决传统方法在平衡视觉表示上的不足。
2026-03-20 cs.AI cs.CV cs.LG
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Revisiting Graph Autoencoders as Implicit Contrastive Learners
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学）；Coupang Shanghai China（Coupang上海）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
本文通过对比学习视角重新审视图自编码器，揭示其隐式对比学习本质，并强调对比视图设计的关键作用，提出非对称子图视图作为重要设计维度。
2026-05-27 cs.AI cs.LG stat.ML
DiffAug: Enhance Unsupervised Contrastive Learning with Domain-Knowledge-Free Diffusion-based Data Augmentation
Westlake University（西湖大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab, Zhejiang Province（浙江省湖畔实验室）；AI Lab, Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心人工智能实验室）
本文提出DiffAug，一种利用条件扩散模型生成正样本的无监督对比学习增强方法，无需领域知识，在DNA、视觉和生物特征数据集上优于现有方法。
2024-05-25 cs.CE cs.CV cs.LG
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能，并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
Subject-Aware Contrastive Learning for Biosignals
Apple（苹果公司）
生物信号的数据集，如脑电图（EEG）和心电图（ECG），通常具有噪声标签，并且受试者数量有限（<100）。为了应对这些挑战，我们提出了一种基于对比学习的自监督方法，以减少对标记数据的依赖，并减少受试者。在这种标签和受试者有限的制度下，受试者间的变异性对模型性能产生负面影响。因此，我们通过（1）特定于主题的对比损失和（2）对抗性训练来引入主题感知学习，以促进自监督学习期间的主题不变性。我们还开发了一些时间序列数据增强技术，用于生物信号的对比损失。我们的方法进行了评估，公开的两个不同的生物信号与不同的任务：EEG解码和ECG异常检测的数据集。与完全监督的方法相比，使用自我监督学习的嵌入产生了有竞争力的分类结果。我们发现，主题不变性提高了这些任务的表示质量，并观察到特定于主题的损失提高了性能时，与监督标签进行微调。
2020-06-30 cs.LG eess.SP stat.ML
Analysis of Augmentations for Contrastive ECG Representation Learning
Ingenuity Labs Research Institute（Ingenuity Labs研究院）
本文系统地研究了心电图（ECG）信号的对比自监督学习的各种增强的有效性，并确定了最佳参数。我们提出的自监督框架的基线包括两个主要部分：对比学习和下游任务。在第一阶段，我们训练编码器使用一些扩增提取概括的ECG信号表示。然后，我们冻结编码器并微调具有不同量的标记数据的几个线性层，用于下游心律失常检测。然后，我们用各种增强技术进行实验，并探索一系列参数。我们的实验是在PTB-XL上完成的，PTB-XL是一个大型的公开的12导联ECG数据集。结果表明，在特定的复杂度范围内应用增强对于自监督对比学习效果更好。例如，当添加高斯噪声时，0.1到0.2范围内的sigma可以获得更好的结果，而当添加的噪声太小或太大（超出指定范围）时，会出现较差的训练。在其他增强中也观察到类似的趋势，这表明为所添加的增强选择最佳难度水平的重要性，因为太简单的增强不会导致有效的训练，而太困难的增强也会阻止模型有效地学习广义表示。我们的工作可以影响未来的研究自我监督对比学习的生物信号，并帮助选择最佳参数为不同的增强。
2022-05-30 cs.AI cs.LG eess.SP
Contrastive Unsupervised Learning for Audio Fingerprinting
Bytedance AI Lab（字节跳动人工智能实验室）
视频分享平台的兴起吸引了越来越多的人拍摄视频并上传到互联网。这些视频大多包含精心编辑的背景音轨，其中可能涉及严重的语音变化、音高偏移和各种类型的音频效果，并且现有的音频识别系统可能无法识别音频。为了解决这个问题，本文将对比学习的思想引入到音频指纹识别（AFP）中。对比学习是一种无监督的学习方法，可以有效地对相似样本进行分组，并区分不同的样本。在我们的工作中，我们认为一个音轨和它的不同失真的版本是相似的，而认为不同的音轨是不相似的。基于动量对比（MoCo）框架，提出了一种基于对比学习的AFP指纹识别方法，该方法能够生成具有鉴别力和鲁棒性的指纹。一组实验表明，我们的AFP方法是有效的音频识别，与严重的音频失真的鲁棒性，包括具有挑战性的速度变化和音高变化。
2020-10-26 cs.LG cs.MM cs.SD
