Towards a Unified Framework of Contrastive Learning for Disentangled Representations
fortiss GmbH（fortiss 有限公司）
该研究将对比学习解耦的理论保证拓展至更广泛的对比方法家族，放宽数据分布假设，证明四种对比损失下真实隐变量的可辨识性，经基准数据集验证并探究了方法的实际局限。
2023-11-08 cs.LG stat.ML
Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling
Bayer AG（拜耳股份公司）
本文介绍了对比重建，ConRec -一种自监督学习算法，通过联合优化对比和自重建损失来获得图像表示。我们展示了最先进的对比学习方法（例如Simplified）在其表示中捕获细粒度视觉特征方面存在缺陷。ConRec通过添加（1）自我重建任务和（2）对比学习任务中的注意力机制扩展了Simplified框架。这是通过应用具有两个头的简单编码器-解码器架构来实现的。我们表明，这两个扩展有助于改善图像的矢量表示与细粒度的视觉特征。结合这些概念，ConRec在细粒度分类数据集上的性能优于Simplified和Simplified with Attention-Pooling。
2022-02-22 cs.AI cs.CV cs.LG
Utilizing Expert Features for Contrastive Learning of Time-Series Representations
University of Stuttgart（斯图加特大学）
本文提出 ExpCLR，利用领域专家特征替代传统数据变换进行时间序列对比学习，以同时满足表示的两个关键性质，并在三个真实数据集上超越现有无监督和半监督方法。
2022-06-23 cs.AI cs.LG stat.ML
Representation Learning via Non-Contrastive Mutual Information
Google DeepMind（谷歌DeepMind）
本文提出互信息非对比（MINC）损失，结合对比与非对比方法优势，在ImageNet上提升表示学习性能。
2025-04-23 cs.AI cs.CV cs.LG
Contrastive Representation Learning: A Framework and Review
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（数据分析洞察中心）
对比学习由于其在计算机视觉领域的自监督表示学习中的成功而受到关注。然而，对比学习的起源可以追溯到20世纪90年代，其发展跨越了许多领域和领域，包括度量学习和自然语言处理。在本文中，我们提供了一个全面的文献综述，我们提出了一个通用的对比表示学习框架，简化和统一了许多不同的对比学习方法。我们还为对比学习的每个组成部分提供了一个分类法，以便总结它并将其与其他形式的机器学习区分开来。然后，我们讨论了归纳的偏见，这是目前在任何对比学习系统，我们分析我们的框架下，从不同的角度从各个子领域的机器学习。还介绍了对比学习如何应用于计算机视觉、自然语言处理、音频处理等以及强化学习的例子。最后，我们讨论了未来的挑战和一些最有前途的研究方向。
2020-10-27 cs.LG stat.ML
Contrastive Learning as Goal-Conditioned Reinforcement Learning
CMU（卡内基梅隆大学）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
在强化学习（RL）中，如果给出一个好的表示，解决一个任务会更容易。虽然深度RL应该自动获取这样的良好表示，但先前的工作经常发现，以端到端的方式学习表示是不稳定的，而是为RL算法配备额外的表示学习部分（例如，辅助损失、数据增强）。我们如何设计RL算法，直接获得良好的表示？在本文中，而不是添加表示学习部分现有的RL算法，我们显示（对比）表示学习方法可以作为RL算法在自己的权利。为了做到这一点，我们建立在以前的工作和应用对比表示学习的动作标记的轨迹，在这样一种方式，学习表示（内积）完全对应于一个目标条件价值函数。我们使用这个想法来重新解释先前的RL方法执行对比学习，然后使用这个想法来提出一个更简单的方法，实现类似的性能。在一系列目标条件强化学习任务中，我们证明了对比强化学习方法比以前的非对比方法实现了更高的成功率，包括在离线强化学习设置中。我们还表明，对比RL优于以前的方法对基于图像的任务，而不使用数据增强或辅助目标。
2023-02-17 cs.AI cs.LG
GraphCL: Contrastive Self-Supervised Learning of Graph Representations
Université Internationale de Rabat（拉巴特国际大学）；Telecom ParisTech（巴黎高等电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；United States Army Research Laboratory（美国陆军研究实验室）
我们提出了图对比学习（GraphCL），一个通用的框架，学习节点表示在一个自我监督的方式。GraphCL通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用图神经网络来产生同一节点的两种表示，并利用对比学习损失来最大化它们之间的一致性。在转导和归纳学习设置，我们证明了我们的方法显着优于国家的最先进的无监督学习的节点分类基准。
2020-07-15 cs.LG stat.ML
HCL: Improving Graph Representation with Hierarchical Contrastive Learning
Ping An Healthcare Technology（平安医疗科技）；Xidian University（西安电子科技大学）；Ping An Health Cloud Company Limited（平安健康云有限公司）；Ping An International Smart City Technology Company Limited（平安国际智慧城市科技股份有限公司）
对比学习已经成为图表示学习的有力工具。然而，大多数对比学习方法学习具有固定粗粒度尺度的图的特征，这可能低估局部或全局信息。为了捕获更层次和更丰富的表示，我们提出了一种新的分层对比学习（HCL）框架，显式地学习图表示的分层方式。具体来说，HCL包括两个关键组件：一个新的自适应学习池（L2Pool）方法，以构建更合理的多尺度图拓扑结构，更全面的对比目标，一个新的多通道伪连体网络，以进一步实现更有表现力的学习互信息在每个尺度。综合实验结果表明，HCL在涉及节点分类、节点聚类和图分类的12个数据集上取得了较好的性能。此外，可视化的学习表示表明，HCL成功地捕捉有意义的特性的图形。
2022-10-21 cs.AI cs.LG
RenyiCL: Contrastive Representation Learning with Skew Renyi Divergence
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
对比表征学习试图通过估计数据的多个视图之间的共享信息来获得有用的表征。在这里，数据增强的选择对学习表示的质量很敏感：随着数据增强的应用，视图共享更多的任务相关信息，但也与任务无关，这可能会阻碍表示的泛化能力。基于此，我们提出了一种新的鲁棒对比学习方案，称为RényiCL，它可以通过利用Rényi发散来有效地管理更难的增强。我们的方法是建立在Rényi散度的变分下界上的，但是由于方差很大，变分方法的天真使用是不切实际的。为了应对这一挑战，我们提出了一个新的对比目标，该目标对偏斜Rényi分歧进行变分估计，并为偏斜分歧的变分估计如何导致稳定的训练提供理论保证。我们表明，Rényi对比学习目标执行先天的硬负采样和容易的正采样，同时，它可以选择性地学习有用的功能，忽略讨厌的功能。通过在ImageNet上的实验，我们证明了具有更强增强的Rényi对比学习优于其他自监督方法，而无需额外的正则化或计算开销。此外，我们还验证了我们的方法在其他领域，如图形和表格，显示经验增益比其他对比方法。
2023-01-17 cs.LG stat.ML
Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere
MIT Computer Science & Artificial Intelligence Lab（麻省理工学院计算机科学与人工智能实验室）
对比表示学习在实践中取得了显著的成功。在这项工作中，我们确定了与对比损失相关的两个关键属性：（1）来自正对的特征的对齐（接近度），以及（2）超球面上（归一化）特征的诱导分布的均匀性。我们证明，渐进的，对比损失优化这些属性，并分析其对下游任务的积极影响。从经验上讲，我们引入了一个可优化的度量来量化每个属性。在标准视觉和语言数据集上进行的大量实验证实了这两个指标与下游任务性能之间的高度一致性。值得注意的是，直接优化这两个指标会导致表示在下游任务中具有可比或更好的性能，而不是对比学习。项目页面：https://tongzhouwang.info/hypersphere代码：https://github.com/SsnL/align_uniform，https://github.com/SsnL/moco_align_uniform
2022-08-15 cs.CV cs.LG stat.ML
Geometric Multimodal Contrastive Representation Learning
KTH Royal Institute of Technology（KTH皇家理工学院）；INESC-ID（葡萄牙系统与计算机工程研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等理工学院）
由于从不同通道获得的数据的固有异质性，在测试时对缺失模态既有信息又鲁棒的多模态数据的学习表示仍然是一个具有挑战性的问题。为了解决这个问题，我们提出了一种新的几何多模态对比（GMC）表示学习方法，该方法由两个主要部分组成：i）由模态特定的基本编码器和共享投影头组成的两级架构，该编码器允许将任意数量的模态处理为固定维度的中间表示，该投影头将中间表示映射到潜在表示空间; ii）多模态对比损失函数，其鼓励所学习的表示的几何对齐。我们的实验表明，GMC表示是语义丰富，并实现了国家的最先进的性能与丢失的模态信息的三个不同的学习问题，包括预测和强化学习任务。
2022-11-18 cs.AI cs.LG
A Simple Framework for Contrastive Learning of Visual Representations
本文介绍了Simplified：一个简单的框架，对比学习的视觉表征。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或存储体。为了理解是什么使对比预测任务能够学习有用的表征，我们系统地研究了我们框架的主要组成部分。我们表明，（1）数据增强的组成在定义有效的预测任务中起着关键作用，（2）在表示和对比损失之间引入可学习的非线性变换，大大提高了学习表示的质量，（3）与监督学习相比，对比学习受益于更大的批量和更多的训练步骤。通过结合这些发现，我们能够在ImageNet上大大优于以前的自监督和半监督学习方法。在Simplified学习的自监督表示上训练的线性分类器达到了76.5%的top-1准确率，比以前的最先进技术相对提高了7%，与监督ResNet-50的性能相匹配。当仅对1%的标签进行微调时，我们实现了85.8%的前5名准确率，在标签数量减少100倍的情况下优于AlexNet。
2020-07-01 cs.CV cs.LG stat.ML
i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning
University of Michigan（密歇根大学）；Amazon Web Services（亚马逊云科技）；Google Cloud AI（谷歌云人工智能）；KAIST（韩国科学技术院）；LG AI Research（LG人工智能研究院）
对比表示学习已被证明是有效的学习表示从未标记的数据。然而，在视觉领域已经取得了很大的进展，依赖于使用领域知识精心设计的数据增强。在这项工作中，我们提出了i-Mix，一个简单而有效的域不可知的正则化策略，用于改善对比表示学习。我们将对比学习转换为通过为批处理中的每个数据分配唯一的虚拟类来训练非参数分类器。然后，数据实例在输入和虚拟标签空间中混合，在训练期间提供更多的增强数据。在实验中，我们证明了i-Mix始终提高了跨领域学习表示的质量，包括图像，语音和表格数据。此外，我们通过跨模型和数据集大小的广泛消融研究证实了其正则化效果。该代码可在https://github.com/kibok90/imix上获得。
2021-03-18 cs.LG stat.ML
Hybrid Generative-Contrastive Representation Learning
Kakao Brain；KAIST（韩国科学技术院）
无监督表示学习由于其通过有效利用大规模未标记数据而具有强大的泛化能力，近年来受到了广泛的关注。有两种流行的方法，对比学习和生成预训练，前者从实例判别任务中学习表示，后者从估计可能性中学习表示。这些看似正交的方法有其自身的优点和缺点。对比学习倾向于提取语义信息并丢弃与分类对象无关的细节，使得表示对于区分性任务有效，同时降低对分布外数据的鲁棒性。另一方面，生成式预训练直接估计数据分布，因此表示往往是鲁棒的，但对于区分性任务来说不是最佳的。在本文中，我们表明，我们可以实现最好的两个世界的混合训练计划。具体来说，我们证明了一个基于变换的编码器-解码器架构，在对比和生成损失的情况下训练，可以学习高度区分和鲁棒的表示，而不会损害生成性能。我们在各种任务中广泛验证我们的方法。
2021-06-11 cs.AI cs.LG
Style2Code: A Style-Controllable Code Generation Framework with Dual-Modal Contrastive Representation Learning
ITMO University（ITMO大学）；Saint Petersburg University（圣彼得堡大学）
Style2Code通过双模态对比学习和条件解码实现风格可控的代码生成，提升风格控制的同时保持代码正确性。
2026-01-24 cs.AI
Contrastive Representation Learning with Trainable Augmentation Channel
Preferred Networks, Inc.（Preferred Networks公司）；University of Oxford（牛津大学）
在对比表示学习中，训练数据表示，以便即使图像被增强改变，它也可以对图像实例进行分类。然而，根据数据集的不同，一些增强可能会损坏图像的信息，使其无法识别，并且这种增强可能会导致崩溃的表示。我们提出了一个部分解决这个问题的形式化的随机编码过程中，存在一个拔河之间的数据损坏所引入的扩增和编码器保存的信息。我们表明，基于此框架的infoMax目标，我们可以学习数据依赖的增强分布，以避免表示的崩溃。
2021-11-15 cs.LG stat.ML
Deep Bregman Divergence for Contrastive Learning of Visual Representations
LMU Munich（慕尼黑大学）；Google Research（谷歌研究院）；Technical University of Munich（慕尼黑工业大学）
深度Bregman发散使用神经网络来测量数据点的发散，该神经网络超出欧几里得距离并且能够捕获分布上的发散。在本文中，我们提出了深度Bregman分歧，用于视觉表示的对比学习，我们的目标是通过训练基于功能Bregman分歧的额外网络来增强自监督学习中使用的对比损失。传统的对比学习方法仅仅基于单点之间的分歧，相比之下，我们的框架可以捕获分布之间的分歧，提高了学习表示的质量。我们展示了传统对比损失和我们提出的发散损失的组合优于基线和大多数以前的自监督和半监督学习方法，用于多分类和目标检测任务和数据集。此外，学习的表示在转移到其他数据集和任务时具有很好的泛化能力。源代码和我们的模型是补充，并将与纸发布。
2021-11-22 cs.AI cs.CV cs.LG
Representation Learning with Contrastive Predictive Coding
DeepMind（DeepMind（深度思维））；Google（谷歌（Google））
虽然监督学习在许多应用中取得了很大的进步，但无监督学习还没有得到如此广泛的采用，并且仍然是人工智能的重要和具有挑战性的努力。在这项工作中，我们提出了一个通用的无监督学习方法，从高维数据中提取有用的表示，我们称之为对比预测编码。我们模型的关键见解是通过使用强大的自回归模型预测潜在空间中的未来来学习这种表示。我们使用一个概率对比损失，诱导潜在空间捕捉信息，是最有用的预测未来的样本。它还使模型易于处理，通过使用负采样。虽然大多数以前的工作都集中在评估表示为特定的方式，我们证明，我们的方法是能够学习有用的表示实现强大的性能在四个不同的领域：语音，图像，文本和强化学习在3D环境中。
2019-01-22 cs.LG stat.ML
Hard Negative Sampling Strategies for Contrastive Representation Learning
Virginia Tech（弗吉尼亚理工大学）
对比学习的挑战之一是在没有标签信息的情况下选择适当的\textit{hard negative}示例。基于特征相似性的随机采样或重要性采样方法通常导致次优性能。在这项工作中，我们介绍了UnReMix，一个硬负采样策略，考虑到锚相似性，模型的不确定性和代表性。在几个基准测试上的实验结果表明，UnReMix与最先进的对比学习方法相比，改进了负样本选择，并随后提高了下游性能。
2022-06-02 cs.AI cs.CV cs.LG
KnowAugNet: Multi-Source Medical Knowledge Augmented Medication Prediction Network with Multi-Level Graph Contrastive Learning
North University of China（中北大学）；Dalian University of Technology（大连理工大学）
预测药物是许多智能医疗系统中的关键任务。它可以帮助医生根据电子病历（EMR）为患者做出明智的用药决策。然而，由于医学代码之间的复杂关系，药物预测是一个具有挑战性的数据采掘任务。现有的研究大多集中于利用医学本体图中同质代码之间的内在联系，通过监督方法增强其表示，而很少有研究关注历史病历中异质或同质医学代码之间的有价值关系，这进一步限制了预测性能和应用场景。因此，针对这些局限性，本文提出了KnowAugNet，一个多源医学知识增强的药物预测网络，它可以通过多层次图对比学习框架充分捕捉医学代码之间的多样关系。具体而言，KnowAugNet首先利用图对比学习，以图注意力网络为编码器，从医学本体图中捕捉同构医学码之间的隐含关系，获得知识增强的医学码嵌入向量。然后，利用加权图卷积网络作为编码器的图对比学习，从构建的医学先验关系图中捕捉同质或异质医学码之间的相关关系，得到关系增强的医学码嵌入向量。最后，检索增强的医疗代码嵌入向量和监督的医疗代码嵌入向量，并将其输入到顺序学习网络中，以捕获医疗代码的时间关系并预测患者的用药。
2022-04-28 cs.AI cs.LG
Contrastive Quantization with Code Memory for Unsupervised Image Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学清华-深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）
散列（包括二进制散列和量化）在计算和存储方面的高效率使得它成为大规模检索系统中的常用策略。为了减轻对昂贵注释的依赖，无监督深度哈希成为一个重要的研究问题。本文提出了一种新的无监督深度量化解决方案，即具有代码记忆的对比量化（MeCoQ）。与现有的基于重构的策略不同，我们通过对比学习来学习无监督的二进制描述符，这可以更好地捕获有区别的视觉语义。此外，我们发现码字多样性正则化是关键，以防止对比学习为基础的量化模型退化。此外，我们引入了一种新的量化代码存储器模块，该模块比传统的特征存储器具有更低的特征漂移，从而提高了对比学习。在基准数据集上的大量实验表明，MeCoQ优于最先进的方法。代码和配置可在https://github.com/gimpong/AAAI22-MeCoQ上公开获取。
2022-03-08 cs.AI cs.CV cs.IR
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute（Mila-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）；University of Montreal（蒙特利尔大学）
我们研究了一种策略，通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失，SuNCEt，基于噪声对比估计和邻域成分分析，其目的是区分不同类别的例子，除了自我监督的实例借口任务。在ImageNet上，我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性，同时使用不到一半的预训练和计算量。我们的主要观点是，在预训练期间，而不仅仅是在微调期间，即使是少量的标记数据，也可以提供一个重要的信号，可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
CODE-MVP: Learning to Represent Source Code from Multiple Views with Contrastive Pre-Training
Wuhan University（武汉大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huazhong University of Science and Technology（华中科技大学）；Monash University（莫纳什大学）；Yunnan University（云南大学）
近年来，代码表示学习引起了越来越多的关注，其目的是将源代码的语义表示成分布式向量。目前，已经提出了各种工作来从不同的角度表示源代码的复杂语义，包括纯文本、抽象树（AST）和几种代码图（例如，控制/数据流图）。然而，大多数方法只考虑源代码的单个视图，而忽略了不同视图之间的对应关系。在本文中，我们提出了集成不同的视图与自然语言描述的源代码到一个统一的框架与多视图对比预训练，我们的模型命名为CODE-MVP。具体来说，我们首先使用编译器工具提取多个代码视图，并在对比学习框架下学习它们之间的互补信息。受编译中类型检查的启发，我们还在预训练中设计了一个细粒度的类型推断目标。在五个数据集上的三个下游任务上的实验证明了CODE-MVP与几个最先进的基线相比的优越性。例如，我们在自然语言代码检索、代码相似性和代码缺陷检测任务的MRR/MAP/Accuracy指标方面分别实现了2.4/2.3/1.1的增益。
2022-05-04 cs.AI cs.CL cs.PL
Contrastive Prompt Learning-based Code Search based on Interaction Matrix
Beihang University（北京航空航天大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出CPLCS，一种基于跨模态交互机制的对比提示学习代码搜索方法，通过对比学习、提示学习和交互机制解决语义表示不足与NL-PL语义鸿沟问题，实验验证了其有效性。
2023-10-10 cs.AI cs.SE
Type-IV Code Clone Detection via Layer-Wise Non-Contrastive Representation Learning
Université de Montréal（蒙特利尔大学）
针对Type-IV代码克隆检测，提出基于VICReg框架的非对比分层表示学习方法LWVIC4Code，通过跨层一致性正则化与深度加权生成鲁棒表示，在多个数据集上取得优于或媲美对比学习及大模型的性能。
2026-09-16 cs.LG cs.SE
Improving the Modality Representation with Multi-View Contrastive Learning for Multimodal Sentiment Analysis
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Henan University（河南大学）
模态表示学习是多模态情感分析（MSA）中的一个重要问题，高度可区分的表示有助于提高分析效果。以往的多模态表示学习研究主要集中在多模态融合策略上，而对模态表示学习的深入研究较少。近年来，对比学习被证实能有效地赋予学习到的表征更强的辨别能力。受此启发，本研究探索了对比学习对情态表征的改进途径。为此，我们设计了一个三阶段的框架与多视角对比学习，以改善表征的具体目标。在第一阶段，为了改进单峰表示，我们采用监督对比学习将同一类中的样本拉到一起，而将其他样本推开。在第二阶段，一个自我监督的对比学习被设计用于改进提取的单峰表示后，跨通道的相互作用。最后，我们再次利用监督对比学习来增强融合的多模态表示。在所有的对比度训练之后，我们接下来实现了基于冻结表示的分类任务。我们在三个开放数据集上进行了实验，结果表明了我们的模型的先进性。
2023-01-29 cs.AI cs.MM
Contrastive ECOC: Learning Output Codes for Adversarial Defense
Computer Science and Information Engineering（计算机科学与信息工程系）
本文针对传统 ECOC 码本设计耗时且次优的问题，提出三种基于对比学习的自动化码本学习模型，在四个数据集上显著提升了对对抗攻击的鲁棒性。
2025-08-14 cs.AI cs.IT cs.LG
PointACL:Adversarial Contrastive Learning for Robust Point Clouds Representation under Adversarial Attack
University at Buffalo（布法罗大学）
尽管最近基于自监督的对比学习模型在3D点云表示中取得了成功，但这种预训练模型的对抗鲁棒性引起了人们的关注。对抗性对比学习（ACL）被认为是提高预训练模型鲁棒性的有效方法。在对比学习中，投影器被认为是在对比预训练期间去除不必要的特征信息的有效组件，并且大多数ACL作品也使用投影特征表示的对比损失来在预训练中生成对抗性示例，而“未投影“特征表示用于在推理期间生成对抗性输入。它们的模型被限制为获得用于下游任务的鲁棒特征表示。我们介绍了一种新的方法来生成高质量的3D对抗训练的对抗例子，利用虚拟对抗损失与“未投影”的功能表示在对比学习框架。我们提出了我们强大的意识损失函数的训练自我监督的对比学习框架的对抗。此外，我们发现使用正常差异（DoN）算子选择高差异点作为对抗性自监督对比学习的额外输入可以显着提高预训练模型的对抗性鲁棒性。我们在下游任务上验证了我们的方法PointACL，包括多个数据集的3D分类和3D分割。它获得了与最先进的对比对抗学习方法相当的鲁棒准确性。
2022-09-14 cs.AI cs.CV
Pre-Training Representations of Binary Code Using Contrastive Learning
Department of Computer Science（计算机科学系）；Vanderbilt University（范德比大学）；National University of Singapore（新加坡国立大学）；College of William & Mary（威廉与玛丽学院）
本文提出ContraBin，一种整合源代码、注释与二进制代码的对比学习预训练方法，通过三个组件提升二进制代码分析任务性能，并发现合成注释优于人工注释。
2025-09-26 cs.LG cs.SE
Decomposed Mutual Information Estimation for Contrastive Representation Learning
Microsoft Research（微软研究院）；University of Alberta（阿尔伯塔大学）
最近的对比表示学习方法依赖于估计底层上下文的多个视图之间的互信息（MI）。例如，在一个示例中，通过应用数据增强，我们可以导出给定图像的多个视图，或者我们可以将序列分割成包括序列中某个步骤的过去和未来的视图。MI的对比下限很容易优化，但在估计大量MI时会有很强的低估偏差。我们建议将完整的MI估计问题分解成一个更小的估计问题的总和，通过将其中一个视图分解成逐步更知情的子视图，并通过在分解的视图之间应用MI链规则。该表达式包含无条件和条件MI项的总和，每个项测量总MI的适度块，这便于通过对比边界进行近似。为了最大限度地提高和，我们制定了一个对比的条件MI的下界，可以有效地近似。我们将我们的一般方法称为互信息分解估计（DEMI）。我们表明，DEMI可以捕获更大量的MI比标准的非分解的对比边界在合成设置，并学习更好的表示在视觉域和对话生成。
2021-06-25 cs.AI cs.LG
Deep Graph Contrastive Representation Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；RealAI（瑞莱智慧）；Tsinghua University（清华大学）
图表示学习现在成为分析图结构数据的基础。受对比方法最近成功的启发，在本文中，我们提出了一个新的框架，无监督图表示学习，利用对比目标在节点级别。具体来说，我们通过腐败生成两个图形视图，并通过最大化这两个视图中节点表示的一致性来学习节点表示。为了提供不同的节点上下文的对比目标，我们提出了一个混合方案，用于生成图视图的结构和属性级别。此外，我们从互信息和经典三重态损失两个角度对我们的动机进行了理论论证。我们使用各种真实世界的数据集进行实证实验的转导和归纳学习任务。实验结果表明，尽管它的简单性，我们提出的方法始终优于现有的最先进的方法的大利润率。此外，我们的无监督方法甚至超过了其监督对应的转换任务，展示了其在现实世界中的应用潜力。
2020-07-13 cs.LG stat.ML
Contrastive estimation reveals topic posterior information to linear models
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
对比学习是一种表示学习的方法，它利用自然发生的相似和不相似的数据点对来找到有用的数据嵌入。在主题建模假设下的文档分类的上下文中，我们证明了对比学习能够恢复表示的文件，揭示其潜在的主题后验信息的线性模型。我们应用这个过程中的半监督设置和经验表明，线性分类器与这些表示在文档分类任务中表现良好，只有很少的训练样本。
2020-03-04 cs.LG stat.ML
Contrastive Supervised Distillation for Continual Representation Learning
Università degli Studi di Firenze（佛罗伦萨大学）
在本文中，我们提出了一种新的训练过程中的连续表示学习问题，其中神经网络模型顺序学习，以减轻视觉搜索任务中的灾难性遗忘。我们的方法，称为对比监督蒸馏（CSD），减少特征遗忘，同时学习判别特征。这是通过在蒸馏设置中利用标签信息来实现的，在蒸馏设置中，学生模型是从教师模型中对比学习的。大量的实验表明，CSD在减轻灾难性遗忘方面表现良好，优于当前最先进的方法。我们的研究结果还提供了进一步的证据，视觉检索任务中的特征遗忘评估是不是灾难性的分类任务。代码：https://github.com/NiccoBiondi/ContrastiveSupervisedDistillation。
2022-06-10 cs.AI cs.CV cs.LG
CYBORGS: Contrastively Bootstrapping Object Representations by Grounding in Segmentation
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
最近对比学习中的许多方法都致力于缩小像ImageNet这样的标志性图像预训练和像COCO这样的复杂场景预训练之间的差距。这种差距的存在很大程度上是因为常用的随机裁剪增强在不同对象的拥挤场景图像中获得语义不一致的内容。以前的作品使用预处理管道来定位显着的对象，以改善裁剪，但端到端的解决方案仍然是难以捉摸的。在这项工作中，我们提出了一个框架，通过联合学习表示和分割来实现这一目标。我们利用分割掩模来训练具有掩模相关对比度损失的模型，并使用部分训练的模型来引导更好的掩模。通过在这两个组件之间进行迭代，我们在分割信息中进行对比更新，同时在整个预训练过程中改进分割。实验表明，我们的表示鲁棒地转移到下游的分类，检测和分割任务。
2022-08-16 cs.AI cs.CV cs.LG
An Investigation of Representation and Allocation Harms in Contrastive Learning
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI lab（MIT-IBM沃森人工智能实验室）
本研究针对自监督学习中少数群体表征损害研究不足的问题，验证了对比学习会引发少数群体表征坍缩的现象，通过因果分析明确其与下游分配损害的关联，并给出理论解释。
2023-10-02 cs.LG stat.ML
Contrastive Separative Coding for Self-supervised Representation Learning
Tencent AI Lab（腾讯人工智能实验室）
为了从语音数据的长序列建模中提取鲁棒的深度表示，我们提出了一种自监督学习方法，即对比分离编码（CSC）。我们的关键发现是通过将目标信号与对比干扰信号分离来学习这种表示。首先，构建了一个多任务分离编码器来提取共享的可分离和可区分的嵌入;其次，我们提出了一个强大的交叉注意机制，在各种干扰条件下对说话人表示执行，允许模型关注并全局聚合最关键的信息来回答“查询”（当前自下而上嵌入），同时较少关注干扰、噪声或无关部分;最后，我们构造了一种新的概率对比损失，它估计并最大化了表示与全局说话人向量之间的互信息。虽然大多数先前的无监督方法都专注于预测未来，相邻或缺失的样本，但我们对预测干扰样本采取了不同的观点。此外，我们的对比分离损失是免费的负采样。实验表明，我们的方法可以学习有用的表示，在不利条件下实现强大的说话者验证性能。
2021-03-01 cs.AI cs.LG cs.SD
Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
针对高维时间序列的概率推断难题，提出将对比学习变体应用于时间序列，证明其学到的表示遵循高斯-马尔可夫链，推断可转化为低维矩阵求逆，特殊情形下等价于表示插值，并通过46维内的数值模拟验证了理论。
2025-05-21 cs.LG stat.ML
Multi-modal contrastive learning adapts to intrinsic dimensions of shared latent variables
Department of Statistics, University of Chicago（芝加哥大学统计系）；Department of Statistics and Data Science, Yale University（耶鲁大学统计学与数据科学系）
该研究突破线性表示与特定分布的局限，从理论上证明温度优化下的多模态对比学习可适配数据远低于指定维度的固有维度，且经合成与真实数据集实验验证，为其低维信息表示学习能力提供了理论支撑。
2025-05-18 cs.LG math.ST stat.ML
Contrastive MIM: A Contrastive Mutual Information Framework for Unified Generative and Discriminative Representation Learning
NVIDIA
提出cMIM框架，通过对比目标增强MIM，统一生成式与判别式表示学习，无需正样本增强且对批次大小鲁棒，实验表明其在分类回归任务上优于MIM和InfoNCE。
2025-09-08 cs.LG
SynCoBERT: Syntax-Guided Multi-Modal Contrastive Pre-Training for Code Representation
Wuhan University（武汉大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Huazhong University of Science and Technology（华中科技大学）；Deakin University（迪肯大学）；Monash University（莫纳什大学）；Yunnan University（云南大学）
代码表示学习旨在将源代码的语义编码为分布式向量，在最近基于深度学习的代码智能模型中发挥着重要作用。最近，许多用于源代码的预训练的语言模型（例如，CuBERT和CodeBERT）已经被提出来对代码的上下文进行建模，并作为下游代码智能任务（如代码搜索、代码克隆检测和程序翻译）的基础。当前的方法通常将源代码视为令牌的普通序列，或者注入结构信息（例如，AST和数据流）进入序列模型预训练。为了进一步探索程序设计语言的特性，本文提出了SynCoBERT，一种语法引导的多模态对比预训练方法，用于更好的代码表示。特别地，我们从源代码的符号和语法属性出发，设计了两个新的预训练目标，即，标识符预测（IP）和AST边缘预测（TEP），其被设计为分别预测AST的两个节点之间的标识符和边缘。同时，为了利用语义等价模态中的互补信息（即，code，comment，AST），提出了一种多模态对比学习策略，以最大化不同模态之间的互信息。在与代码智能相关的四个下游任务上进行的大量实验表明，SynCoBERT在相同的预训练语料库和模型大小的情况下推进了最先进的技术。
2021-09-09 cs.AI cs.CL cs.PL
Generalization Analysis for Contrastive Representation Learning
Hong Kong Baptist University（香港浸会大学）；Texas A&M University（得克萨斯农工大学）；University of Sydney（悉尼大学）
最近，对比学习在解决各种机器学习任务方面取得了令人印象深刻的成功。然而，现有的泛化分析是非常有限的，甚至没有意义。特别是，现有的泛化误差界线性依赖于否定示例的数量$k$，而在实践中广泛表明，选择大的$k$是必要的，以保证在下游任务中的对比学习的良好泛化。在本文中，我们为对比学习建立了新的泛化界限，该界限不依赖于$k$，直到对数项。我们的分析使用的经验覆盖数和Rademacher复杂性的结构性结果，利用Lipschitz连续性的损失函数。对于自约束Lipschitz损失函数，我们进一步改善我们的结果，发展乐观的界限，这意味着在低噪声条件下的快速速率。我们将我们的结果应用于深度神经网络的线性表示和非线性表示的学习，对于这两种情况，我们推导出Rademacher复杂性界，以获得改进的泛化界。
2023-02-28 cs.AI cs.LG
Learning Fair Representation via Distributional Contrastive Disentanglement
University of Seoul（首尔大学）；Korea University（高丽大学）；POSTECH（浦项科技大学）
学习公平表示对于实现公平或消除敏感信息的偏见至关重要。大多数现有的作品依赖于对抗性表示学习来向表示注入一些不变性。然而，对抗性学习方法的训练相对不稳定，这可能会损害公平性和预测性之间的平衡。我们提出了一种新的方法，通过分布式对比变分自编码器（FarconVAE）学习FAIR表示，它导致潜在空间被解开成敏感和非敏感部分。我们首先构造具有不同敏感属性但具有相同标签的观测对。然后，FarconVAE强制每个非敏感潜伏期更接近，而敏感潜伏期彼此远离，并且通过对比它们的分布远离非敏感潜伏期。通过理论分析，提出了一种基于高斯核和Student-t核的分布式对比学习的对比损失模型。此外，我们采用了一种新的交换重构损失，以进一步促进解纠缠。FarconVAE在公平性、预训练模型去偏和领域泛化任务方面表现出优异的性能，这些任务来自各种模态，包括表格、图像和文本。
2022-06-17 cs.AI cs.CY cs.LG
ESCL: Equivariant Self-Contrastive Learning for Sentence Representations
China Mobile Research（中国移动研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
以往的句子表征对比学习方法往往只关注产生正对的不敏感变换，而忽略了对语义表征有害的敏感变换的作用。因此，我们提出了一个等变自对比学习（ESCL）方法，充分利用敏感的转换，这鼓励学习表示是敏感的某些类型的转换与额外的等变学习任务。同时，为了提高算法的实用性和通用性，ESCL从多任务学习的角度出发，简化了传统等变对比方法的实现，实现了模型参数的共享。我们评估我们的ESCL语义文本相似性任务。该方法取得了更好的效果，同时使用更少的学习参数相比，以前的方法。
2023-03-09 cs.CL cs.LG
Prototypical Contrastive Learning of Unsupervised Representations
Salesforce Research（赛富时研究院）
本文提出了原型对比学习（PCL），一种无监督的表示学习方法，解决了实例式对比学习的基本局限性。PCL不仅学习用于实例区分任务的低级特征，更重要的是，它将数据的语义结构隐式编码到学习的嵌入空间中。具体来说，我们引入原型作为潜在变量，以帮助在期望最大化框架中找到网络参数的最大似然估计。我们迭代地执行E-step，通过聚类找到原型的分布，M-step通过对比学习优化网络。我们提出了ProtoNCE损失，一个广义版本的InfoNCE损失的对比学习，鼓励表示更接近他们分配的原型。PCL在多个基准测试中的表现优于最先进的实例式对比学习方法，并在低资源迁移学习方面有实质性改进。代码和预训练模型可在https://github.com/salesforce/PCL上获得。
2021-03-30 cs.CV cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia（弗吉尼亚大学）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而，学习的表示可能会导致下游任务的性能差异，例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战，在这项工作中，我们研究了通过对比学习学习满足公平性概念的公平表示，即文本分类的均衡化几率。具体来说，我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系，然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验，以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外，我们还表明，所提出的方法是稳定的，在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning
ETH Zürich（苏黎世联邦理工学院）
本文通过测度论框架形式化对比学习中的多样性条件，提出支持校正的InfoNCE变体，并实验验证了采样多样性与编码器归纳偏置的相互作用。
2026-06-02 cs.AI cs.IR cs.LG
MobiCLR: Mobility Time Series Contrastive Learning for Urban Region Representations
Korea Advanced Institute of Science and Technology（韩国科学技术院）；New York University（纽约大学）
本文提出 MobiCLR 模型，通过移动性时间序列对比学习和流量特定正则化学习城市区域表示，并在三个美国城市的收入、教育程度和社会脆弱性预测任务中优于现有最先进模型。
2025-02-05 cs.AI cs.LG
Learning Video Representations using Contrastive Bidirectional Transformer
Google Research（谷歌研究）；Univ. Lyon, INSA-Lyon, CNRS, LIRIS（里昂大学、里昂国立应用科学学院、法国国家科学研究中心、里昂信息科学与应用实验室）
本文提出了一种视频特征的自监督学习方法，与现有方法相比，该方法在下游任务（如视频分类，字幕和分割）上的性能得到了显着提高。我们的方法扩展了文本序列的BERT模型的实值特征向量序列的情况下，通过替换softmax损失与噪声对比估计（NCE）。我们还展示了如何从视觉特征序列和来自ASR（自动语音识别）的单词序列中学习表示，并表明这种跨模态训练（如果可能的话）甚至更有帮助。
2019-09-27 cs.CV cs.LG stat.ML
Self-Supervised Video Representation Learning with Motion-Contrastive Perception
Fudan University（复旦大学）
纯视觉自监督学习在视频表示学习中取得了显著的进步。现有的相关方法鼓励模型通过利用对比学习或设计特定的借口任务来学习视频表示。然而，一些模型可能会关注背景，这对于学习视频表示并不重要。为了缓解这个问题，我们提出了一个新的视图称为远程残差帧，以获得更多的运动特定的信息。在此基础上，我们提出了运动对比感知网络（MCPNet），它包括两个分支，即运动信息感知（MIP）和对比实例感知（CIP），通过关注视频中的变化区域来学习通用视频表示。具体而言，MIP分支旨在学习细粒度的运动特征，CIP分支执行对比学习以学习每个实例的整体语义信息。在两个基准数据集UCF-101和HMDB-51上的实验表明，我们的方法优于当前最先进的视觉自监督方法。
2022-04-10 cs.AI cs.CV
A Simple Framework for Uncertainty in Contrastive Learning
Stanford University（斯坦福大学）
表示学习的对比方法最近显示出很大的希望。与生成方法相反，这些对比模型学习确定性编码器，没有不确定性或置信度的概念。在本文中，我们介绍了一种基于“对比分布”的简单方法，该方法学习为预训练的对比表示分配不确定性。特别是，我们训练一个深度网络，从一个表示到表示空间中的一个分布，其方差可以用作置信度的度量。在我们的实验中，我们证明了这种深度不确定性模型可以用于（1）直观地解释模型行为，（2）检测部署模型输入中的新噪声，（3）检测异常，其中我们在11个任务中优于10个基线方法，绝对改进高达14%，以及（4）对分布外的例子进行分类，其中我们的完全无监督模型与监督方法具有竞争力。
2020-10-05 cs.LG stat.ML
A 3D-Shape Similarity-based Contrastive Approach to Molecular Representation Learning
Genentech Research and Early Development（基因泰克研究与早期开发部）；Stanford University（斯坦福大学）
分子的形状和几何形状决定了关键的生物物理识别过程，然而许多图神经网络忽略了分子性质预测的3D信息。在这里，我们提出了一个新的对比学习过程的图神经网络，分子对比学习从形状相似性（MolCLaSS），隐式学习的三维表示。MolCLaSS不是直接编码或靶向三维姿态，而是基于高斯叠加匹配相似性目标，以学习分子形状的有意义的表示。我们展示了这个框架如何自然地捕捉二维表示不能的三维的关键方面，并提供了一个诱导框架的脚手架跳跃。
2022-11-03 cs.LG q-bio.QM
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Reproducibility Report: Contrastive Learning of Socially-aware Motion Representations
以下论文是ICCV 2021上发表的“Social NCE：对比学习of Socially-aware Motion Representations”{ \cite{liu2020snce} }的再现性报告，作为ML再现性挑战2021的一部分。原始代码由作者\footnote{\href{https://github.com/vita-epfl/social-nce}{https://github.com/vita-epfl/social-nce}}提供。我们试图验证作者声称的结果，并在PyTorch Lightning中重新实现了他们的代码。
2022-08-18 cs.CV cs.LG
Beyond Separability: Analyzing the Linear Transferability of Contrastive Representations to Related Subpopulations
Stanford University（斯坦福大学）
对比学习是一种从未标记数据中学习表示的高效方法。最近的工作表明，对比表示可以跨域传输，导致简单的国家的最先进的算法，无监督领域自适应。特别是，一个被训练来分离源域上的表示的线性分类器也可以准确地预测目标域上的类，即使这两个域的表示彼此相距甚远。我们把这种现象称为线性可转移性。本文分析了对比表示在一般无监督领域自适应环境中何时以及为什么表现出线性可传递性。我们证明了当来自不同域中的同一类的数据（例如，照片狗和卡通狗）比来自不同域中的不同类的数据彼此更相关（例如，照片狗和卡通猫）。我们的分析是在一个现实的制度，源和目标域可以有无限的密度比和弱相关，他们有遥远的表示跨域。
2022-05-23 cs.LG
