On Mutual Information in Contrastive Learning for Visual Representations
Stanford University（斯坦福大学）
近年来，视觉中的几种无监督的“对比”学习算法已被证明可以学习在迁移任务中表现出色的表示。我们发现，这个家庭的算法最大限度地提高了一个下界的互信息之间的两个或多个“意见”的图像，其中典型的意见来自图像增强的组合。我们的界限概括了InfoNCE目标，以支持从“困难”对比的限制区域进行负采样。我们发现，负样本和视图的选择是这些算法的成功的关键。根据互信息重新制定以前的学习目标也简化和稳定了它们。在实践中，我们的新目标产生的表示优于那些学习与以前的方法转移到分类，限界框检测，实例分割，和关键点检测。%的实验表明，选择更困难的负样本导致更强的表示，在分类，限界框检测，实例分割和关键点检测方面优于使用IR，LA和CMC学习的那些。互信息框架提供了一个统一的对比学习方法的比较，并揭示了影响表示学习的选择。
2020-06-05 cs.CV cs.LG stat.ML
Label-Efficient Self-Supervised Speaker Verification With Information Maximization and Contrastive Learning
Language Recognition Group (ESLR), Laboratoire de Recherche de l'EPITA, France
本研究提出一种结合信息最大化与对比学习的自监督方法，从原始音频学习说话人嵌入，在少量标记数据微调下超越监督基线。
2022-07-12 cs.LG cs.SD eess.AS
Deep Graph Clustering via Mutual Information Maximization and Mixture Model
Department of Electrical and Computer Engineering, Isfahan University of Technology（伊斯法罕理工大学电子与计算机工程系）
本文提出了一种对比学习框架，通过最大化互信息和混合高斯分布来学习适合聚类的节点嵌入，有效提升了图聚类性能。
2022-05-10 cs.LG
Towards a Rigorous Analysis of Mutual Information in Contrastive Learning
Seoul National University（首尔国立大学）；LG AI Research（LG人工智能研究院）
本文提出三种新方法及相关定理，以增强对比学习中互信息分析的严谨性，并重新评估小批量大小、互信息作为度量及InfoMin原则三个实例，促进深入理解并纠正误解。
2023-08-30 cs.AI cs.LG
Contrastive MIM: A Contrastive Mutual Information Framework for Unified Generative and Discriminative Representation Learning
NVIDIA
提出cMIM框架，通过对比目标增强MIM，统一生成式与判别式表示学习，无需正样本增强且对批次大小鲁棒，实验表明其在分类回归任务上优于MIM和InfoNCE。
2025-09-08 cs.LG
Representation Learning via Non-Contrastive Mutual Information
Google DeepMind（谷歌DeepMind）
本文提出互信息非对比（MINC）损失，结合对比与非对比方法优势，在ImageNet上提升表示学习性能。
2025-04-23 cs.AI cs.CV cs.LG
A Mutual Information Maximization Perspective of Language Representation Learning
DeepMind（深度思维）；Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
我们展示了最先进的单词表示学习方法最大化目标函数，该目标函数是单词序列的不同部分之间的互信息的下界（即，一个句子）。我们的公式提供了一个替代的观点，统一了经典的词嵌入模型（例如，Skip-gram）和现代上下文嵌入（例如，BERT、XLNet）。除了增强我们对这些方法的理论理解外，我们的推导还导致了一个原则性的框架，可以用来构建新的自我监督任务。我们提供了一个例子，从相关方法的启发，基于互信息最大化，已在计算机视觉中取得成功，并介绍了一个简单的自我监督的目标，最大化的全局句子表示和句子中的n-gram之间的互信息。我们的分析提供了表示学习方法的整体视图，以跨多个领域（例如，自然语言处理、计算机视觉、音频处理）。
2019-11-26 cs.CL cs.LG
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research（SAP人工智能研究院）
本文提出基于互信息的对比学习框架miCSE，通过强制不同视图间注意力模式对齐与结构一致性，提升了对比自监督学习的样本效率，在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
Decomposed Mutual Information Estimation for Contrastive Representation Learning
Microsoft Research（微软研究院）；University of Alberta（阿尔伯塔大学）
最近的对比表示学习方法依赖于估计底层上下文的多个视图之间的互信息（MI）。例如，在一个示例中，通过应用数据增强，我们可以导出给定图像的多个视图，或者我们可以将序列分割成包括序列中某个步骤的过去和未来的视图。MI的对比下限很容易优化，但在估计大量MI时会有很强的低估偏差。我们建议将完整的MI估计问题分解成一个更小的估计问题的总和，通过将其中一个视图分解成逐步更知情的子视图，并通过在分解的视图之间应用MI链规则。该表达式包含无条件和条件MI项的总和，每个项测量总MI的适度块，这便于通过对比边界进行近似。为了最大限度地提高和，我们制定了一个对比的条件MI的下界，可以有效地近似。我们将我们的一般方法称为互信息分解估计（DEMI）。我们表明，DEMI可以捕获更大量的MI比标准的非分解的对比边界在合成设置，并学习更好的表示在视觉域和对话生成。
2021-06-25 cs.AI cs.LG
Representation learning for maximization of MI, nonlinear ICA and nonlinear subspaces with robust density ratio estimation
Future University Hakodate（函馆未来大学）；National Graduate Institute for Policy Studies（政策研究大学院大学）；RIKEN AIP（理化学研究所先进智能项目中心）
对比学习是无监督表示学习中一种很有前途的方法，其中数据的特征表示是通过解决来自未标记数据的伪分类问题来学习的。然而，理解对比学习产生什么并不简单。另外，对比学习通常基于最大似然估计，这往往容易受到离群值的污染。为了加深对对比学习的理解，本文首先从理论上揭示了互信息（MI）最大化的联系。我们的结果表明，在一定条件下，密度比估计是极大化MI的充分必要条件。因此，与密度比估计相关的对比学习，如在流行的目标函数中所做的，可以被解释为最大化MI。其次，利用密度比，我们建立了非线性独立分量分析（ICA）中潜在源分量的新恢复条件。与现有的工作相比，所建立的条件包括一个新的洞察数据的维数，这是明确的支持数值实验。此外，受非线性ICA的启发，我们提出了一种新的框架来估计低维潜在源分量的非线性子空间，并建立了一些理论条件的子空间估计的密度比。然后，我们提出了一种实用的方法，通过离群鲁棒密度比估计，它可以看作是执行最大化的MI，非线性ICA或非线性子空间估计。此外，还提出了一种样本有效的非线性ICA方法。我们从理论上研究了所提出的方法的离群鲁棒性。最后，所提出的方法的有用性数值证明在非线性ICA和通过应用到线性分类。
2022-08-08 cs.LG eess.SP stat.ML
Contrastive Mutual Information Learning: Toward Robust Representations without Positive-Pair Augmentations
NVIDIA
提出对比互信息机（cMIM），通过对比目标扩展MIM，无需正样本增强且对批量大小不敏感，并引入信息性嵌入提升判别性能，在视觉和分子基准上优于MIM和InfoNCE。
2025-09-25 cs.LG stat.ML
Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE)
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of Miami（迈阿密大学）
本文提出 SCOPE 方法，通过在伪标签 EM 迭代中引入离群点抑制与对比剪除机制，减少混淆错误，显著提升半监督分类准确率，并在 CIFAR-10 上取得最优结果。
2023-10-27 cs.AI cs.LG
A Mutual Information Perspective on Federated Contrastive Learning
Qualcomm AI Research（高通人工智能研究）
本文从互信息最大化视角研究联邦对比学习，提出在本地 SimCLR 损失中加入用户验证损失以恢复全局多视图互信息下界，并将其扩展至联邦半监督场景，同时分析了非独立同分布性对全局目标的影响。
2024-05-03 cs.LG
Learning deep representations by mutual information estimation and maximization
MSR Montreal（微软研究院蒙特利尔分院）；MILA（蒙特利尔学习算法研究所）；UdeM（蒙特利尔大学）；IVADO（魁北克人工智能研究所）；MRN（磁共振研究所）；UNM（新墨西哥大学）；U Toronto（多伦多大学）；CIFAR（加拿大高级研究所）
在这项工作中，我们通过最大化深度神经网络编码器的输入和输出之间的互信息来执行表示的无监督学习。重要的是，我们表明，结构问题：将知识的输入到目标的局部性可以极大地影响表示的下游任务的适用性。我们进一步控制特性的表示匹配到一个先验分布adversarially。我们称之为Deep InfoMax（DIM）的方法优于许多流行的无监督学习方法，并在几个分类任务上与全监督学习竞争。DIM为表示的无监督学习开辟了新的途径，是为特定最终目标灵活制定表示学习目标的重要一步。
2019-02-22 cs.LG stat.ML
An Unsupervised Sentence Embedding Method by Mutual Information Maximization
Singapore University of Technology and Design（新加坡科技设计大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；ZJU-UIUC Institue（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院）
BERT对于聚类或语义搜索等句子对任务效率低下，因为它需要组合地评估许多句子对，这非常耗时。Sentence BERT（SBERT）试图通过学习单个句子的语义有意义的表示来解决这一挑战，从而可以轻松地进行相似性比较。然而，SBERT是在具有高质量标记句子对的语料库上训练的，这限制了其在标记数据极其稀缺的任务中的应用。在本文中，我们提出了一个轻量级的扩展上的BERT和一个新的自监督学习目标的基础上互信息最大化策略，以获得有意义的句子嵌入在无监督的方式。与SBERT不同，我们的方法不受标记数据可用性的限制，因此它可以应用于不同领域的特定语料库。实验结果表明，该方法在普通语义文本相似度（STS）任务和下游有监督任务上的性能明显优于其他无监督的句子嵌入基线。它还优于SBERT在设置中，在域标记的数据是不可用的，并实现性能与监督方法在各种任务上的竞争。
2021-02-05 cs.CL cs.LG
On Mutual Information Maximization for Representation Learning
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
许多最近的无监督或自监督表示学习方法通过最大化数据的不同视图之间的互信息（MI）的估计来训练特征提取器。这带来了几个直接的问题：例如，MI是出了名的难以估计，使用它作为表示学习的目标可能会导致高度纠缠的表示，因为它在任意可逆变换下不变性。然而，这些方法在实践中一再被证明是优越的。在本文中，我们认为，并提供经验证据，这些方法的成功不能单独归因于MI的属性，并且它们强烈依赖于在两个特征提取器架构的选择和所采用的MI估计的参数化的归纳偏差。最后，我们建立了与深度度量学习的联系，并认为这种解释可能是最近引入的方法成功的合理解释。
2020-01-23 cs.LG stat.ML
Contrastive Predictive Coding Done Right for Mutual Information Estimation
Department of EECS, MIT（麻省理工学院电子工程与计算机科学系）；Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
InfoNCE目标，最初介绍了对比表示学习，已成为一个流行的选择互信息（MI）估计，尽管其间接连接到MI。在本文中，我们证明了为什么InfoNCE不应该被视为一个有效的MI估计，我们介绍了一个简单的修改，我们称之为InfoNCE锚，准确的MI估计。我们的修改引入了一个辅助锚类，使一致的密度比估计，并产生一个插件MI估计显着减少的偏见。除此之外，我们使用适当的评分规则来概括我们的框架，当采用日志评分时，该规则将InfoNCE锚恢复为特殊情况。这种表述将广泛的对比目标，包括NCE、InfoNCE和$f$ -发散变体统一在一个原则性框架下。经验上，我们发现，InfoNCE锚与日志得分实现最准确的MI估计，然而，在自我监督的表示学习实验中，我们发现，锚不提高下游任务的性能。这些研究结果证实，对比表示学习受益于准确的MI估计本身，但从结构化密度比的学习。
2025-10-29 cs.IT cs.LG math.IT
FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning
School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）
针对非IID数据分布下联邦回归的多模态特征提取难题，提出FDRMFL框架，通过统一的四项局部目标应对挑战，实验表明该框架能有效降低平均MSE，在六种联邦算法中表现最佳。
2026-07-09 cs.AI cs.LG
Prototypical Contrastive Learning of Unsupervised Representations
Salesforce Research（赛富时研究院）
本文提出了原型对比学习（PCL），一种无监督的表示学习方法，解决了实例式对比学习的基本局限性。PCL不仅学习用于实例区分任务的低级特征，更重要的是，它将数据的语义结构隐式编码到学习的嵌入空间中。具体来说，我们引入原型作为潜在变量，以帮助在期望最大化框架中找到网络参数的最大似然估计。我们迭代地执行E-step，通过聚类找到原型的分布，M-step通过对比学习优化网络。我们提出了ProtoNCE损失，一个广义版本的InfoNCE损失的对比学习，鼓励表示更接近他们分配的原型。PCL在多个基准测试中的表现优于最先进的实例式对比学习方法，并在低资源迁移学习方面有实质性改进。代码和预训练模型可在https://github.com/salesforce/PCL上获得。
2021-03-30 cs.CV cs.LG
Learning Graph Representation by Aggregating Subgraphs via Mutual Information Maximization
University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们介绍了一个自监督学习方法，以提高图级表示的帮助下，一组子图。为此，我们提出了一个通用的框架，以自回归的方式生成子图，然后使用这些子图来指导学习的图表示的图神经网络。在这个框架下，我们可以以一种可学习的方式对图的结构有一个全面的了解。为了充分捕获原始图的信息，我们设计了三个信息聚合器：\textbf{attribute-conv}、\textbf{layer-conv}和\textbf{subgraph-conv}，从不同的角度收集信息。为了实现高效的对比学习，提出了一种头-尾对比结构来提供丰富的负样本。在所有提出的组件，可以推广到任何图神经网络，在无监督的情况下，我们实现了新的国家的最先进的结果在几个基准。我们还评估了我们的模型在半监督学习任务上的表现，并与最先进的半监督方法进行了公平的比较。
2021-05-07 cs.IT cs.LG math.IT
Genetic InfoMax: Exploring Mutual Information Maximization in High-Dimensional Imaging Genetics Studies
Texas A&M University（德克萨斯农工大学）；University of Texas Health Science Center（德克萨斯大学健康科学中心）
本文提出跨模态框架 Genetic InfoMax，通过正则化互信息估计器和遗传学信息 transformer 学习影像遗传性状表示，并在人脑三维 MRI 的 GWAS 评估中显著优于现有方法。
2023-09-26 cs.LG q-bio.QM
Deep Graph-Level Clustering Using Pseudo-Label-Guided Mutual Information Maximization Network
Fuzhou University（福州大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
在这项工作中，我们研究的问题划分一组图到不同的组，使在同一组中的图是相似的，而在不同的组中的图是不相似的。这个问题以前很少被研究，虽然已经有很多的工作，节点聚类和图分类。这个问题是具有挑战性的，因为它是很难衡量的相似性或图之间的距离。一种可行的方法是使用图核计算图的相似性矩阵，然后执行谱聚类，但现有的图核在测量图之间的相似性的有效性是非常有限的。为了解决这个问题，我们提出了一种新的方法，称为深度图级聚类（DGLC）。DGLC利用图同构网络来学习图级表示，通过最大化整个图和子结构的表示之间的互信息，在正则化的聚类模块，确保通过伪标签的歧视性表示。DGLC以端到端的方式实现图级表示学习和图级聚类。在六个基准数据集上的实验结果表明，与许多基线相比，我们的DGLC具有最先进的性能。
2023-02-05 cs.AI cs.LG
Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization
Northwestern Polytechnical University（西北工业大学）；Monash University（莫纳什大学）；University of Wollongong（伍伦贡大学）
学习图中信息节点表示的关键在于如何从邻域中获取上下文信息。在这项工作中，我们提出了一个简单而有效的自监督节点表示学习策略，通过直接最大化节点的隐藏表示和它们的邻域之间的互信息，这可以从理论上证明其链接到图平滑。在InfoNCE之后，我们的框架通过替代对比损失进行了优化，其中正选择支持表示学习的质量和效率。为此，我们提出了一个拓扑感知的积极采样策略，该策略通过考虑节点之间的结构依赖关系从邻域中采样积极的，从而实现正面选择。在极端情况下，当只有一个积极的采样，我们完全避免昂贵的邻域聚合。我们的方法在各种节点分类数据集上实现了有前途的性能。同样值得一提的是，通过将我们的损失函数应用于基于MLP的节点编码器，我们的方法可以比现有的解决方案快几个数量级。我们的代码和补充材料可在https://github.com/dongwei156/n2n上获得。
2022-03-23 cs.IT cs.LG math.IT
Active Contrastive Learning of Audio-Visual Video Representations
Microsoft（微软）；Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
对比学习已被证明通过最大化实例的不同视图之间的互信息（MI）的下限来产生音频和视觉数据的可概括表示。然而，获得严格的下限需要MI中的样本量指数，因此需要大量的阴性样本。我们可以通过构建一个大型的基于负样本的字典来合并更多的样本，但是即使有大量的负样本，性能改进也有理论上的限制。我们假设，\textit{random negative sampling}导致一个高度冗余的字典，导致下游任务的次优表示。在本文中，我们提出了一种主动对比学习方法，该方法构建了一个具有多样性和信息性项目的\textit{actively sampled}字典，该字典提高了负样本的质量，并提高了数据中具有高互信息的任务的性能，例如，视频分类我们的模型在具有挑战性的音频和视频下游基准测试中实现了最先进的性能，包括UCF 101，HMDB 51和ESC 50。\footnote{Code is available at: \url{https://github.com/yunyikristy/CM-ACC}}
2021-04-16 cs.CV cs.LG
Conditional Negative Sampling for Contrastive Learning of Visual Representations
Stanford University（斯坦福大学）
最近的方法学习无监督的视觉表示，被称为对比学习，优化噪声对比估计（NCE）之间的互信息的图像的两个视图。NCE使用随机抽样的负面例子来规范目标。在本文中，我们表明，选择困难的否定，或那些更相似的当前实例，可以产生更强的表示。为了做到这一点，我们引入了一个家庭的互信息估计，抽样消极的条件-在一个“环”周围的每个积极的。我们证明了这些估计下界互信息，具有较高的偏差，但较低的方差比NCE。在实验中，我们发现我们的方法，应用于现有的模型（IR，CMC和MoCo），在每种情况下，通过对四个标准图像数据集进行线性评估，准确度提高了2-5%。此外，我们发现在将特征从元数据集集合转移到各种新的图像分布以及转移到各种下游任务（如目标检测、实例分割和关键点检测）时，仍有好处。
2020-10-05 cs.LG stat.ML
S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization
School of Information, Renmin University of China（中国人民大学信息学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Meituan-Dianping Group（美团点评集团）；Université de Montréal（蒙特利尔大学）
最近，利用深度学习的顺序推荐取得了重大进展。现有的神经顺序推荐模型通常依赖于项目预测损失来学习模型参数或数据表示。然而，用这种损失训练的模型容易遭受数据稀疏问题。由于它过分强调最终的性能，上下文数据和序列数据之间的关联或融合没有被很好地捕获和利用顺序推荐。为了解决这个问题，我们提出了模型S^3-Rec，代表顺序推荐的自监督学习，基于自注意神经结构。我们的方法的主要思想是利用内在的数据相关性来获得自我监督信号，并通过预训练方法来增强数据表示，以改善顺序推荐。对于我们的任务，我们设计了四个辅助的自我监督的目标，学习属性，项目，子序列，序列之间的相关性，利用互信息最大化（MIM）原则。MIM提供了一种统一的方法来表征不同类型数据之间的相关性，这特别适合我们的场景。在六个真实数据集上进行的大量实验表明，我们提出的方法优于现有的最先进的方法，特别是当只有有限的训练数据。此外，我们还将自监督学习方法推广到其他推荐模型中，也提高了它们的性能。
2020-08-18 cs.IR cs.LG
Robust Contrastive Learning against Noisy Views
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）
对比学习依赖于肯定对包含相关视图的假设，例如，图像的块或视频的共同出现的多模态信号，其共享关于实例的某些基础信息。但如果这个假设被违背了呢？文献表明，对比学习在存在噪声视图的情况下产生次优表示，例如，没有明显共享信息的假阳性对。在这项工作中，我们提出了一个新的对比损失函数，是强大的噪声视图。我们提供了严格的理论依据，显示连接到强大的对称损失的嘈杂的二进制分类，并通过建立一个新的对比界互信息最大化的基础上的Wasserstein距离测量。所提出的损失是完全模态不可知的，并且是InfoNCE损失的简单替代品，这使得它很容易应用于现有的对比框架。我们表明，我们的方法提供了一致的改进，在国家的最先进的图像，视频和图形对比学习基准，表现出各种现实世界的噪声模式。
2022-01-12 cs.CV cs.LG
MIM4DD: Mutual Information Maximization for Dataset Distillation
Illinois Institute of Technology（伊利诺伊理工学院）；Huomo AI（霍默人工智能）
针对数据集蒸馏中信息保留度量缺失的问题，提出MIM4DD方法，利用互信息作为度量，通过对比学习框架最大化合成与真实数据间的共享信息，可作为模块提升现有方法性能。
2023-12-27 cs.LG
InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
National Taiwan University（国立台湾大学）；Mila-Quebec Institute for Learning Algorithms（米拉-魁北克学习算法研究所）；Harvard University（哈佛大学）；Aalto University（阿尔托大学）；HEC Montreal（蒙特利尔高等商学院）
本文研究了在无监督和半监督的情况下学习整个图的表示。图级表示在诸如预测分子性质和社交网络中的社区分析等各种实际应用中是至关重要的。传统的基于图核的方法是简单的，但有效地获得固定长度的表示图，但他们遭受由于手工设计的泛化能力差。最近也有一些基于语言模型（例如graph2vec）的方法，但它们往往只考虑某些子结构（例如子树）作为图的代表。受无监督表示学习最新进展的启发，本文提出了一种新的学习图级表示的方法InfoGraph。我们最大化图级表示与不同尺度的子结构的互信息（例如，节点、边、三角形）。通过这样做，图级表示对跨不同尺度的子结构共享的数据的方面进行编码。此外，我们还提出了InfoGraph*，这是InfoGraph在半监督场景中的扩展。InfoGraph* 最大化了InfoGraph学习的无监督图表示与现有监督方法学习的表示之间的互信息。因此，监督编码器从未标记的数据中学习，同时保留当前监督任务所青睐的潜在语义空间。图分类和分子性质预测任务的实验结果表明，InfoGraph优于最先进的基线，InfoGraph* 可以实现与最先进的半监督模型相媲美的性能。
2020-01-17 cs.AI cs.LG stat.ML
Evolution Is All You Need: Phylogenetic Augmentation for Contrastive Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
生物序列嵌入的自监督表示学习消除了下游任务的计算资源约束，同时避免了昂贵的实验标签获取。然而，现有的方法大多直接借用为NLP设计的大型语言模型，而不是考虑到生物信息学哲学。最近，对比互信息最大化方法已经为ImageNet实现了最先进的表示。在这篇观点文章中，我们讨论了如何将进化视为自然序列增强和最大化系统发育“噪声通道”中的信息，这是预训练编码器的生物学和理论上理想的目标。我们首先提供了一个回顾目前的对比学习文献，然后提供了一个说明性的例子，我们表明，使用进化增强的对比学习可以被用来作为一个代表性的学习目标，最大限度地提高生物序列和它们的保守功能之间的互信息，最后概述这种方法的基本原理。
2020-12-25 cs.LG cs.NE q-bio.BM
Self-Supervised Representation Learning as Mutual Information Maximization
Dalhousie University（达尔豪斯大学）；Layer 6 AI（Layer 6人工智能公司）
该研究从变分互信息下界出发推导出SDMI与JMI两种自监督表示学习训练范式，解释了现有方法中各类架构组件的理论依据，统一了相关算法的设计逻辑。
2026-09-30 cs.LG
Multi-label Contrastive Predictive Coding
Stanford University（斯坦福大学）
变分互信息（MI）估计器被广泛用于无监督表示学习方法，例如对比预测编码（CPC）。MI的下限可以从多类分类问题中获得，其中评论家试图区分从底层联合分布中提取的正样本和从合适的建议分布中提取的$(m-1)$负样本。使用这种方法，MI估计值以$\log m$为界，因此可能严重低估，除非$m$非常大。为了克服这一限制，我们引入了一种新的估计的基础上的多标签分类问题，其中的评论家需要共同确定多个积极的样本在同一时间。我们表明，使用相同数量的负样本，多标签CPC是能够超过$\log m$界，同时仍然是一个有效的下限的互信息。我们证明，所提出的方法是能够导致更好的互信息估计，在无监督表示学习中获得经验改进，并击败了目前最先进的知识蒸馏方法超过10个任务。
2020-12-02 cs.LG stat.ML
Multi-view Feature Extraction based on Dual Contrastive Head
China Agricultural University（中国农业大学）
多视图特征提取是解决高维多视图数据维数问题的有效方法。对比学习是一种流行的自监督学习方法，近年来引起了广泛的关注。大多数基于CL的方法仅从样本水平构建。本文提出了一种新的基于双对比度头的多视角特征提取方法。结构级CL使潜在子空间结构在任意两个交叉视图中保持一致，从而有助于样本级CL更有效地提取区分性特征。进一步证明了结构级CL与互信息、概率内散射和概率间散射之间的关系，为该算法的优良性能提供了理论支持。最后，在六个真实数据集上的数值实验表明，该方法与现有方法相比具有更好的性能.
2023-02-08 cs.CV cs.LG
Multi-view Contrastive Learning for Online Knowledge Distillation
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xiamen Data Intelligence Academy of ICT, CAS（中国科学院计算技术研究所厦门数据智能研究院）
以往的在线知识蒸馏（OKD）往往进行概率分布的相互交换，而忽略了有用的表征性知识。因此，我们提出了多视图对比学习（MCL）OKD隐式捕获多个对等网络编码的特征嵌入的相关性，它提供了各种视图来理解输入数据实例。受益于MCL，我们可以学习比以前的OKD方法更具鉴别力的分类表示空间。图像分类的实验结果表明，我们的MCL-OKD优于其他国家的最先进的OKD方法的大利润，而不牺牲额外的推理成本。代码可在https://github.com/winycg/MCL-OKD上获得。
2021-04-10 cs.CV cs.LG
Leveraging Superfluous Information in Contrastive Representation Learning
Worcester Polytechnic Institute（伍斯特理工学院）
本文提出SuperInfo损失，通过线性组合预测与冗余信息并调整系数，在图像分类、目标检测和实例分割上显著优于传统对比学习。
2024-08-19 cs.AI cs.LG
Generalizing Supervised Contrastive learning: A Projection Perspective
University of Michigan（密歇根大学）
本文提出ProjNCE，通过投影函数和负对调整项泛化InfoNCE损失，统一监督与自监督对比学习，证明其构成互信息下界，并在图像和音频数据集上优于SupCon和交叉熵训练。
2025-10-06 cs.IT cs.LG math.IT
Self-Supervised Learning with Kernel Dependence Maximization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；DeepMind；UCL（伦敦大学学院）；UBC（英属哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
我们从统计依赖的角度来研究图像表示的自监督学习，提出了基于希尔伯特-施密特独立准则的自监督学习（SSL-HSIC）。SSL-HSIC最大化图像变换的表示与图像身份之间的依赖性，同时最小化这些表示的核化方差。这个框架产生了一个新的理解InfoNCE，不同的转换之间的互信息（MI）的变分下界。虽然MI本身是已知的病理学，可以导致学习无意义的表示，它的界限是更好的表现：我们表明，它隐式近似SSL-HSIC（与略有不同的正则化）。我们的方法还让我们深入了解BYOL，一种无负SSL方法，因为SSL-HSIC类似地学习样本的局部邻域。SSL-HSIC允许我们直接优化批量大小中时间线性的统计相关性，而无需限制性数据假设或间接互信息估计。无论是否使用目标网络进行训练，SSL-HSIC都可以匹配ImageNet上的标准线性评估、半监督学习以及转移到其他分类和视觉任务（如语义分割、深度估计和对象识别）的最新技术水平。代码可在https://github.com/deepmind/ssl_hsic上获得。
2021-12-02 cs.AI cs.CV cs.LG
Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning
Peking University（北京大学）
我们研究离线Meta强化学习，这是一种实用的强化学习范式，它从离线数据中学习以适应新任务。离线数据的分布由行为策略和任务共同决定。现有的离线Meta强化学习算法无法区分这些因素，使得任务表示对行为策略的变化不稳定。为了解决这个问题，我们提出了一个对比学习框架的任务表示，是强大的分布不匹配的行为政策在训练和测试。我们设计了一个双层编码器结构，使用互信息最大化来形式化任务表示学习，推导出一个对比学习目标，并介绍了几种方法来近似负对的真实分布。在多种离线Meta强化学习基准测试上的实验证明了该方法相对于现有方法的优势，特别是在推广到分布外行为策略方面。该代码可在https://github.com/PKU-AI-Edge/CORRO上获得。
2022-06-21 cs.LG
Towards Generalizable Graph Contrastive Learning: An Information Theory Perspective
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
图对比学习（GCL）是图表示学习最具代表性的方法，它利用最大化互信息（InfoMax）的原则来学习应用于下游任务的节点表示。为了探索从GCL到下游任务的更好的泛化，以前的方法抽象地定义了数据增强或借口任务。然而，GCL的推广能力及其理论原理的报道还较少。在本文中，我们首先提出了一个名为GCL-GE的GCL推广能力的度量。考虑到由于下游任务的不可知性导致的度量的困难性，我们从信息论的角度理论上证明了它的互信息上界。在此基础上，我们设计了一个具有增强泛化能力的GCL框架InfoAdv，该框架联合优化了泛化度量和InfoMax，在前置任务拟合和下游任务泛化能力之间取得了平衡。我们经验验证了我们的理论研究结果的一些代表性的基准，实验结果表明，我们的模型达到了最先进的性能。
2022-11-20 cs.AI cs.LG
Can a MISL Fly? Analysis and Ingredients for Mutual Information Skill Learning
Princeton University（普林斯顿大学）
本文指出 METRA 的优势可在互信息技能学习（MISL）框架内解释，提出新方法 contrastive successor features，以更少组件保留其性能并揭示关键要素。
2025-10-10 cs.AI cs.LG
Maximizing Incremental Information Entropy for Contrastive Learning
本文提出IE-CL框架，通过优化增强视图间的熵增来提升对比学习性能，在CIFAR-10/100、STL-10和ImageNet数据集上验证了其有效性，并能无缝集成到现有框架中。
2026-03-13 cs.LG
Efficient Availability Attacks against Supervised and Contrastive Learning Simultaneously
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
提出同时针对监督与对比学习的高效可用性攻击，采用类对比数据增强于监督误差最小化/最大化框架，实现两者最坏情况不可学习性且计算消耗更低。
2024-02-06 cs.LG stat.ML
Poly-View Contrastive Learning
University of Oxford（牛津大学）；Apple（苹果公司）
该研究针对多相关视角的对比学习场景，基于信息最大化与充分统计量提出新的表示学习目标，通过实验证明固定计算预算下增加单样本视角数可提升效果，打破了对比学习需大批次、多轮次训练的固有认知。
2024-03-08 cs.AI cs.CV cs.IT
$f$-MICL: Understanding and Generalizing InfoNCE-based Contrastive Learning
School of Computer Science（计算机科学学院）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）
本文提出 $f$-MICL 框架，通过 $f$-散度将基于KL的互信息泛化，并推导出 $f$-高斯相似度，在视觉和自然语言基准上超越 InfoNCE。
2024-02-15 cs.LG
Integrating Contrastive Learning with Dynamic Models for Reinforcement Learning from Images
TU Darmstadt（达姆施塔特工业大学）；Huazhong University of Science and Technology（华中科技大学）
最近的图像强化学习方法使用辅助任务来学习智能体的策略或Q函数所使用的图像特征。特别地，基于对比学习的方法，其将潜在动态的线性或不变性引入到数据增强，已经被证明大大提高了强化学习算法的样本效率和学习嵌入的泛化能力。我们进一步认为，显式地提高学习嵌入的Markovianity是可取的，并提出了一种自监督的表示学习方法，该方法将对比学习与动态模型相结合，以协同地结合这三个目标：（1）最大化状态和动作之间的互信息的InfoNCE界，嵌入和下一状态的嵌入以引起线性预测嵌入而无需显式地学习线性转换模型，（2）我们通过使用回归显式学习非线性转换模型来进一步改进学习嵌入的马尔可夫性，以及（3）我们最大化基于当前动作和两个独立增强的下一个嵌入的两个非线性预测之间的互信息的当前状态，这自然导致变换不变性不仅为状态嵌入，而且为非线性过渡模型。在Deepmind控制套件上的实验评估表明，与基于对比学习或重构的最新方法相比，我们提出的方法实现了更高的样本效率和更好的泛化能力。
2022-03-02 cs.AI cs.LG
Functional sufficient dimension reduction through information maximization with application to classification
本文针对函数型预测变量与类别响应变量，提出两种基于互信息和平方损失互信息的函数型充分降维方法，无需线性条件均值与常数协方差假设，能避免协方差算子求逆问题，并在二分类等少类别情形下有效估计多个降维方向。
2024-02-27 cs.LG stat.ML
Structure-enhanced Contrastive Learning for Graph Clustering
School of Computer and Artificial Intelligence, Henan Finance University（河南财政金融学院计算机与人工智能学院）
针对现有图聚类对比学习方法依赖数据增强、忽略高阶聚类结构的问题，提出结构增强对比学习SECL，通过跨视图对比、结构一致性模块和模块度最大化策略提升聚类性能，实验证明其优于现有SOTA方法。
2024-08-19 cs.LG
The Hidden Link Between RLHF and Contrastive Learning
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Soochow University（苏州大学）
本研究从互信息最大化视角揭示RLHF和DPO与对比学习的联系，指出其无法本质激励推理能力，并提出互信息优化（MIO）方法以缓解DPO的似然后期下降，在多基准上取得更优性能。
2025-10-13 cs.AI cs.LG stat.ML
CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery
UC Berkeley（加州大学伯克利分校）；NYU（纽约大学）；MetaAI（元人工智能）；Covariant（协变公司）
我们介绍了对比内在控制（CIC），无监督的技能发现算法，最大限度地提高状态转换和潜在技能向量之间的互信息。CIC利用状态转换和技能之间的对比学习来学习行为嵌入，并将这些嵌入的熵最大化作为鼓励行为多样性的内在奖励。我们在无监督强化学习基准测试中评估了我们的算法，该测试包括一个长时间的无奖励预训练阶段，然后是一个短时间的适应阶段，以适应具有外部奖励的下游任务。CIC在适应效率方面大大提高了现有方法，比现有的无监督技能发现方法高出1.79倍，比下一个领先的整体探索算法高出1.18倍。
2022-03-30 cs.AI cs.LG
HTCInfoMax: A Global Model for Hierarchical Text Classification via Information Maximization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）；Tianjin University（天津大学）
目前最先进的层次文本分类模型HiAGM有两个局限性。首先，它将每个文本样本与数据集中包含不相关信息的所有标签相关联。第二，它不考虑任何统计约束的标签表示学习的结构编码器，而表示学习的约束被证明是有帮助的，在以前的工作。在本文中，我们提出HTCInfoMax来解决这些问题，通过引入信息最大化，其中包括两个模块：文本标签互信息最大化和标签先验匹配。第一个模块可以显式地对每个文本样本与其地面真值标签之间的交互进行建模，从而过滤掉不相关的信息。第二个鼓励结构编码器学习更好的表示与所需的特性，为所有的标签，可以更好地处理标签不平衡的分层文本分类。在两个基准数据集上的实验结果证明了所提出的HTCInfoMax的有效性。
2021-04-12 cs.CL cs.LG
Multi-modal contrastive learning adapts to intrinsic dimensions of shared latent variables
Department of Statistics, University of Chicago（芝加哥大学统计系）；Department of Statistics and Data Science, Yale University（耶鲁大学统计学与数据科学系）
该研究突破线性表示与特定分布的局限，从理论上证明温度优化下的多模态对比学习可适配数据远低于指定维度的固有维度，且经合成与真实数据集实验验证，为其低维信息表示学习能力提供了理论支撑。
2025-05-18 cs.LG math.ST stat.ML
Which Mutual-Information Representation Learning Objectives are Sufficient for Control?
University of California, Berkeley（加州大学伯克利分校）
互信息最大化提供了一个有吸引力的形式主义学习表示的数据。在强化学习（RL）的背景下，这种表示可以通过丢弃不相关和冗余的信息来加速学习，同时保留控制所需的信息。这些方法的大部分先前的工作已经解决了从高维观测的样本估计互信息的实际困难，而相对较少的是了解哪些互信息目标产生表示，从理论的角度来看是足够的RL。在本文中，我们形式化了用于学习和表示最优策略的状态表示的充分性，并通过这个镜头研究了几个流行的基于互信息的目标。令人惊讶的是，我们发现，这些目标中的两个可以产生不充分的代表性温和和共同的假设的MDP的结构。我们证实了我们的理论结果与实证实验的模拟游戏环境与视觉观察。
2021-06-14 cs.AI cs.LG
Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization
Stanford University（斯坦福大学）
压缩感知技术能够通过低维投影有效地采集和恢复稀疏的高维数据信号。在这项工作中，我们提出了不确定性自动编码器，这是一种受压缩感知启发的无监督表示学习框架。我们将低维投影视为自动编码器的噪声潜在表示，并直接学习采集（即，编码）和摊销恢复（即，解码）过程。我们的学习目标优化了数据点和潜在表示之间的互信息的易处理的变分下界。我们展示了我们的框架如何提供一个统一的治疗几条线的研究降维，压缩感知和生成建模。从经验上讲，我们证明了32%的改进，平均超过竞争的方法的任务，统计压缩感知的高维数据集。
2019-04-11 cs.LG cs.NE stat.ML
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University（哥伦比亚大学）
变分自编码器（VAE）遭受后验崩溃，其中用于建模和推理的强大神经网络优化目标，而没有有意义地使用潜在表示。我们引入推理批评，检测和激励后崩溃，要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接，我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息，减轻了后崩溃。这种方法很容易实现，并且需要比现有方法少得多的训练时间，但在三个已建立的数据集上获得了有竞争力的结果。总的来说，该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础，强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
