Neighborhood Contrastive Learning for Novel Class Discovery
University of Trento（特伦托大学）；Xiamen University（厦门大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
在本文中，我们解决了新的类发现（NCD），在一组未标记的样本中发现新的类的任务，给定一个带有已知类的标记数据集。我们利用NCD的特点，建立一个新的框架，命名为邻域对比学习（NCL），学习判别表示，是重要的聚类性能。我们的贡献是双重的。首先，我们发现在标记集上训练的特征提取器生成表示，其中通用查询样本及其邻居可能共享同一个类。我们利用这一观察结果来检索和聚合伪正对与对比学习，从而鼓励模型学习更多的歧视性表示。其次，我们注意到大多数实例很容易被网络区分，对对比损失的贡献较小。为了克服这个问题，我们建议通过在特征空间中混合标记和未标记的样本来生成硬底片。我们的实验证明，这两个成分显着有助于聚类性能，并导致我们的模型以较大幅度优于最先进的方法（例如，CIFAR-100上的聚类准确率为+13%，ImageNet上为+8%）。
2021-06-20 cs.AI cs.CV cs.LG
Graph Soft-Contrastive Learning via Neighborhood Ranking
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；University of Macau（澳门大学）；University of Central Florida（中佛罗里达大学）；Rutgers University（罗格斯大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有图对比学习依赖指定绝对相似对的局限性，提出图软对比学习（GSCL）范式，利用邻域排序和门控排序InfoNCE损失保留节点相对相似性，在11个数据集上优于20种SOTA方法。
2023-08-02 cs.AI cs.LG
pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based Unsupervised Representation Learning Problems
Jadavpur University（贾达布尔大学）；UiT The Arctic University of Norway（挪威UiT北极大学）
本文针对自监督表示学习中最近邻支撑集质量受限的问题，提出pNNCLR，通过伪最近邻随机采样和平滑权重更新提升性能，实验显示其较NNCLR最高提升8%。
2023-08-14 cs.AI cs.CV cs.LG
SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
Henery M.Rowan College of Engineering（亨利·M·罗恩工程学院）；Rowan University（罗恩大学）；MLNomads
本研究提出一种基于SimO损失的无锚点对比学习方法，通过半度量损失同时优化相似/不相似样本的嵌入距离与正交性，在CIFAR-10上验证其能形成结构良好的类别邻域，为表征几何特性的应用提供新思路。
2024-10-07 cs.AI cs.CV cs.LG
Eliciting Structural and Semantic Global Knowledge in Unsupervised Graph Contrastive Learning
Arizona State University（亚利桑那州立大学）
图对比学习（GCL）是近年来研究的热点，它以自监督的方式学习可泛化的节点表示。一般来说，GCL中的对比学习过程是在由图神经网络（GNN）主干学习的表示之上执行的，GNN主干基于节点的局部邻域来转换和传播节点上下文信息。然而，共享相似特征的节点可能并不总是在地理上接近，这对无监督GCL工作构成了巨大的挑战，因为它们在捕获这种全局图知识方面存在固有的局限性。在这项工作中，我们通过提出一个简单而有效的框架来解决它们固有的局限性--具有结构和语义对比学习的简单神经网络（S^3-CL）。值得注意的是，凭借所提出的结构和语义对比学习算法，即使是简单的神经网络也可以学习保留有价值的全局结构和语义模式的表达性节点表示。我们的实验表明，与最先进的无监督GCL方法相比，S^3-CL学习的节点表示在不同的下游任务上具有更好的性能。实施和更多实验细节可在\url{https://github.com/kaize0409/S-3-CL.}上公开获取
2022-12-04 cs.LG
Contrastive Learning for Time Series on Dynamic Graphs
McGill University（麦吉尔大学）
最近已经有几个努力发展表示多变量时间序列的无监督学习框架。这种表示可以证明在诸如活动识别、健康监测和异常检测等任务中是有益的。在本文中，我们考虑一个设置，我们观察时间序列中的每个节点的动态图。我们提出了一个称为GraphTNC的框架，用于图和时间序列的联合表示的无监督学习。我们的方法采用了对比学习策略。基于一个假设，即时间序列和图形演化动力学是分段光滑的，我们确定的信号表现出近似平稳的局部时间窗口。然后，我们训练一种编码，该编码允许将邻域内的信号分布与非相邻信号的分布区分开。我们首先使用合成数据展示了我们提出的框架的性能，随后我们证明了它可以证明对真实世界数据集的分类任务是有益的。
2022-09-21 cs.LG
When Contrastive Learning Meets Active Learning: A Novel Graph Active Learning Paradigm with Self-Supervision
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文研究了图上的主动学习，其目的是发现信息量最大的节点，以最大化图神经网络的性能。以前，大多数图AL方法专注于从精心选择的标记数据集中学习节点表示，忽略了大量未标记的数据。受对比学习（CL）成功的启发，我们提出了一种新的范式，无缝集成图AL与CL。在能够以自我监督的方式利用丰富的未标记数据的能力的同时，由AL选择的节点进一步提供可以更好地指导表示学习的语义信息。此外，以前的工作测量节点的信息量，而不考虑GNN的邻域传播方案，因此可能会选择噪声节点。我们认为，由于GNN的平滑性质，来自同构子图的中心节点应该最有利于模型训练。为此，我们提出了一个极大极小选择方案，明确利用邻域信息和发现同伦子图，以促进积极的选择。在五个公共数据集上进行的全面、无混淆的实验表明，我们的方法优于最先进的方法。
2021-04-16 cs.LG stat.ML
Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning
IBM（国际商业机器公司）
人类能够从少数（标记的）样本中学习新概念，增量和持续。这发生在我们可以区分样本的上下文中，以及样本和大量其他数据（未标记和标记）之间。这表明，在人类学习中，基于范例的概念监督学习发生在基于未标记和标记数据的对比自监督学习（CSSL）的更大背景下。我们讨论扩展CSSL（1）主要基于样本，其次是数据增强，（2）适用于未标记的数据（一般有大量可用）和标记的数据（一些样本可以获得有价值的监督知识）。这些扩展的主要好处是基于范例的CSSL，具有监督微调，支持Few-Shot类增量学习（CIL）。具体来说，我们讨论了基于样本的CSSL，包括：最近邻CSSL，监督预训练的邻域CSSL，以及监督微调的样本CSSL。我们进一步讨论使用基于范例的CSSL，以促进少样本学习，特别是，Few-Shot CIL。
2022-02-05 cs.LG
MUSE: Multi-View Contrastive Learning for Heterophilic Graphs
East China Normal University（华东师范大学）
针对异配图自监督学习效果受限问题，提出多视图对比学习模型MUSE，通过构建自我节点与邻域视图并利用信息融合控制器和交替训练方案，有效提升了节点分类与聚类性能。
2023-07-29 cs.LG cs.SI
A Novel Graph Fraud Detector via Grouped Attribute Completion and Confidence-Aware Contrastive Learning
College of Computer and Information Science（计算机与信息科学学院）；Southwest University（西南大学）
针对图欺诈检测中现有GNN检测器受节点属性不完整和类不平衡限制的问题，提出GFD-GC框架，通过模仿邻域结构进行组内聚合补全节点特征，引入置信度感知对比学习增强欺诈表示，实验验证该框架优于现有基线。
2026-07-14 cs.LG
Differentiable Koopman Operator for Contrastive Learning on Dynamic Graphs
University of Southern California（南加州大学）；Islamic University of Technology（伊斯兰理工大学）；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）
针对动态图对比学习缺乏显式时间演化建模的问题，提出嵌入可微Koopman算子的自监督框架KAIROS，在九个基准上异常检测达最优，最高提升23.15 ROC-AUC点。
2026-10-05 cs.LG
Contrastive Learning-Based Dependency Modeling for Anomaly Detection in Cloud Services
University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；Northeastern University（东北大学）；Trine University（特里恩大学）
本文提出融合对比学习与依赖图建模的云服务异常检测方法，通过图卷积聚合与时间一致性约束增强表示，实验证明在关键指标上优于现有方法且鲁棒性强。
2025-10-15 cs.LG
Contrastive Diffusion Alignment: Learning Structured Latents for Controllable Generation
Department of Psychiatry, Weill Cornell Medicine, New York, NY, USA（威立·科林斯医学中心精神科）；Department of Psychiatry, Stanford University, Stanford, CA, USA（斯坦福大学精神科）；Department of Neuroscience, University of Connecticut School of Medicine, Farmington, CT, USA（康涅狄格大学医学院神经科学系）
ConDA通过对比学习在扩散模型中学习结构化潜在空间，实现可控生成和动态解释。
2026-08-06 cs.LG
Unsupervised Representation Learning for Time Series with Temporal Neighborhood Coding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；The Hospital for Sick Children（病童医院）
时间序列通常复杂且信息丰富，但标记稀疏，因此建模具有挑战性。在本文中，我们提出了一个自监督的框架，学习非平稳时间序列的一般化表示。我们的方法，称为时间邻域编码（TNC），利用信号的生成过程的局部平滑性来定义具有固定属性的时间邻域。使用去偏对比目标，我们的框架通过确保在编码空间中，来自邻域内的信号分布与非相邻信号的分布是可区分的来学习时间序列表示。我们的动机源于医学领域，在那里，对时间序列数据的动态性质进行建模的能力对于识别、跟踪和预测潜在患者的潜在状态特别有价值，而在这些设置中，标记数据几乎是不可能的。我们将我们的方法与最近开发的无监督表示学习方法进行比较，并在多个数据集的聚类和分类任务上表现出卓越的性能。
2021-06-01 cs.LG stat.ML
Self-Supervised Dynamic Graph Representation Learning via Temporal Subgraph Contrast
Nanjing University of Posts and Telecommunications（南京邮电大学）
图上的自监督学习由于其独立于标签和表示的鲁棒性而引起了人们的广泛关注。目前的研究主要是利用图的结构等静态信息，而不能很好地捕捉边的时间戳等动态信息。真实图通常是动态的，这意味着节点之间的交互发生在特定的时间。提出了一种自监督动态图表示学习框架（DySubC），该框架定义了一个时态子图对比学习任务来同时学习动态图的结构和演化特征。首先提出了一种新的时间子图采样策略，该策略以动态图的每个节点为中心节点，同时利用邻域结构和边时间戳对相应的时间子图进行采样。在对每个子图中的节点进行编码后，根据邻域节点对中心节点的影响设计子图表示函数。最后，定义了结构对比损失和时态对比损失，以最大化节点表示和时态子图表示之间的互信息。在5个真实数据集上的实验表明：（1）DySubC在下游链接预测任务中的表现优于相关基线，包括2个图对比学习模型和4个动态图表示学习模型;（2）时间信息的使用不仅可以采样更多有效的子图，而且可以通过时间对比损失学习更好的表示。
2021-12-16 cs.AI cs.LG
Cross-Contrastive Clustering for Multimodal Attributed Graphs with Dual Graph Filtering
Hong Kong Baptist University（香港 Baptist 大学）
本文提出双图过滤方案，通过特征去噪和三交叉对比学习提升多模态属性图的聚类性能。
2025-11-25 cs.LG
Simple and Asymmetric Graph Contrastive Learning without Augmentations
Zhejiang University（浙江大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出GraphACL，一种无需图增强和同质性假设的简单非对称图对比学习方法，通过捕获一跳邻域与两跳单配相似性，在同配和异配图上均显著超越现有方法。
2024-02-24 cs.LG stat.ML
Attributed Graph Clustering with Multi-Scale Weight-Based Pairwise Coarsening and Contrastive Learning
Stirling College, Chengdu University（成都大学斯特林学院）；College of Computer Science, Chengdu University（成都大学计算机学院）
提出 MPCCL 属性图聚类模型，利用多尺度加权成对粗化保留结构，并通过一对多对比、图重建与 KL 约束提升特征多样性和跨尺度一致性。
2025-07-28 cs.LG
A Tale of Two Classes: Adapting Supervised Contrastive Learning to Binary Imbalanced Datasets
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Imperial College London（伦敦帝国学院）
针对监督对比学习在二分类不平衡数据集上表现不佳的问题，提出两种评估表示空间质量的新指标并设计适配的监督对比学习策略，最高可将下游分类准确率提升35%。
2025-03-21 cs.CV cs.LG
Decentralized Unsupervised Learning of Visual Representations
University of Pittsburgh（匹兹堡大学）；George Mason University（乔治梅森大学）；University of Notre Dame（圣母大学）；Facebook（脸书）
协作学习使分布式客户端能够学习用于预测的共享模型，同时将训练数据保持在每个客户端上的本地。然而，现有的协作学习方法需要完全标记的数据进行训练，这是不方便或有时不可行的，由于高标记成本和专业知识的要求。缺乏标签使得协作学习在许多现实环境中不切实际。自监督学习可以通过从未标记的数据中学习来解决这一挑战。对比学习（CL）是一种自监督学习方法，可以有效地从未标记的图像数据中学习视觉表示。然而，在客户端上收集的分布式数据通常在客户端之间不是独立和相同分布的（非IID），并且每个客户端可能只有少数几类数据，这降低了CL和学习表示的性能。为了解决这个问题，我们提出了一个合作的对比学习框架，包括两种方法：特征融合和邻域匹配，通过它一个统一的特征空间之间的客户端学习更好的数据表示。特征融合为每个客户端提供远程特征作为准确的对比信息，以更好地进行本地学习。邻域匹配进一步将每个客户端的本地特征与远程特征对齐，使得可以学习客户端之间的良好聚类的特征。大量的实验表明了该框架的有效性。它在IID数据上的性能比其他方法高出11%，并与集中式学习的性能相匹配。
2022-04-22 cs.CV cs.LG
Mask-informed Deep Contrastive Incomplete Multi-view Clustering
Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；School of Computer Science, China University of Geosciences（中国地质大学计算机学院）
针对多视图聚类中缺失样本影响知识整合的问题，提出掩码感知融合网络与先验知识辅助对比学习的Mask-IMvC方法，实验证明其在完整和不完整场景下均优于现有方法。
2025-03-30 cs.CV cs.LG
Local Structure-aware Graph Contrastive Representation Learning
Yangzhou University（扬州大学）；University of Shanghai for Science and Technology（上海理工大学）
本文提出局部结构感知的图对比表示学习方法LS-GCL，通过构建语义子图并结合局部与全局视角的多级对比学习，在节点分类和链路预测任务上取得优于现有方法的性能。
2023-08-07 cs.AI cs.LG
Hyper Meta-Path Contrastive Learning for Multi-Behavior Recommendation
University of Technology Sydney（悉尼科技大学）；Wuhan University of Technology（武汉理工大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多行为信息下的用户购买预测仍然是当前推荐系统的一个挑战性问题。已经提出了各种方法来通过利用图神经网络（GNN）或多任务学习的优点来解决它。然而，大多数现有的工作没有考虑到用户的不同行为之间的复杂依赖关系。它们利用简单而固定的方案，如邻域信息聚合或向量的数学计算，融合不同用户行为的嵌入，以获得一个统一的嵌入来表示用户的行为模式，这将用于下游的推荐任务。为了解决这一问题，本文首先提出了超元路径的概念来构造超元路径或超元图，以明确地表示用户不同行为之间的依赖关系。如何从超元路径中为用户获得统一的嵌入，同时避免前面提到的限制是至关重要的。由于图对比学习最近的成功，我们利用它来学习用户行为模式的自适应嵌入，而不是分配一个固定的方案来理解不同行为之间的依赖关系。通过与超元路径的耦合，提出了一种新的基于图的对比学习框架HMG-CR，在大量的对比实验中，该框架的性能始终显著优于所有基线。
2021-09-07 cs.IR cs.LG
Generative Subgraph Contrast for Self-Supervised Graph Representation Learning
Nanjing University of Science and Technology（南京理工大学）
对比学习在图表示学习领域显示出巨大的潜力。大多数图对比学习方法通过人工构造正/负样本，依赖于基于向量内积的相似性度量来区分用于图表示的样本。然而，手工制作的样品结构（例如，图的节点或边上的扰动）可能不能有效地捕获图的固有局部结构。另外，基于向量内积的相似性度量不能充分利用图的局部结构来表征图的差异。为此，在本文中，我们提出了一种新的自适应子图生成的对比学习框架，高效和强大的自监督图表示学习，和最佳的传输距离被用作子图之间的相似性度量。该方法的目标是通过捕捉图的内在结构来生成对比样本，同时根据子图的特征和结构来区分样本。具体来说，对于每个中心节点，通过自适应学习的关系权重的节点的相应的邻域，我们首先开发一个网络来生成插值子图。然后，我们从相同和不同的节点，分别构造的积极和消极对的子图。最后，我们采用两种类型的最佳运输距离（即，Wasserstein距离和Gromov-Wasserstein距离）来构建结构化对比损失。在基准数据集上的大量节点分类实验验证了我们的图对比学习方法的有效性。
2022-07-26 cs.AI cs.LG
Towards Graph Self-Supervised Learning with Contrastive Adjusted Zooming
Monash University（莫纳什大学）；Griffith University（格里菲斯大学）；Beihang University（北京航空航天大学）；Zhejiang Normal University（浙江师范大学）；Alibaba Group（阿里巴巴集团）
图表示学习（GRL）是图结构数据分析的关键。然而，大多数现有的图神经网络（GNN）严重依赖于标签信息，这通常是昂贵的，以获得在现实世界中。虽然一些现有的作品旨在以无监督的方式有效地学习图表示，但它们受到一定的限制，例如严重依赖单调对比度和有限的可扩展性。为了克服上述问题，我们引入了一种新的自监督图表示学习算法，通过图对比调整缩放，即G-Zoom，学习节点表示，利用所提出的调整缩放方案。具体来说，这种机制使G-Zoom能够从多个尺度的图中探索和提取自我监督信号：微观（即，节点级），中间（即，邻域级），以及宏（即，子图级）。首先，我们通过两种不同的图增强生成输入图的两个增强视图。然后，我们建立了三个不同的对比度在上述三个尺度上逐步，从节点，邻居，子图的水平，在那里我们最大限度地提高跨尺度的图表示之间的协议。虽然我们可以从微观和宏观角度的给定图形中提取有价值的线索，但相邻级别的对比度为G-Zoom提供了基于我们调整的缩放方案的可定制选项的能力，以手动选择介于微观和宏观角度之间的最佳视点，以更好地理解图形数据。此外，为了使我们的模型可扩展到大型图，我们采用了并行图扩散方法来将模型训练与图大小解耦。我们在真实世界的数据集上进行了大量的实验，结果表明我们提出的模型始终优于最先进的方法。
2022-11-21 cs.AI cs.LG
Contrastive Learning for Seismic Horizon Tracking with Domain-Specific Priors
IMT Atlantique, LAB-STICC, UMR CNRS 6285（IMT Atlantique, LAB-STICC, CNRS 6285联合实验室）；TotalEnergies, OneTech（道达尔能源公司, OneTech）
提出自监督融合信号与纹理的方法，利用信号导出的局部层位对应作为领域先验训练纹理深度学习模型，通过对比学习保持层位身份，实现跨不连续面的层位追踪。
2026-06-16 cs.CV cs.LG
Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph
National University of Singapore（新加坡国立大学）；University of Washington（华盛顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出了一种单次无增强图对比学习方法SP-GCL，通过研究邻域聚合特征的集中性质，为同配图和异配图均提供了性能保证，并在14个基准数据集上以更低计算开销匹配或超越强基线。
2023-11-20 cs.LG cs.SI
Regularized Contrastive Partial Multi-view Outlier Detection
UCAS（中国科学院大学）；ICT, CAS（中国科学院自动化研究所）；IIE, CAS（中国科学院工程热物理研究所）；IIP, ICT, CAS（中国科学院自动化研究所模式识别国家重点实验室）；BDKM, CAS（中国科学院大数据挖掘与知识管理重点实验室）
针对现有多视图异常检测方法抗异常干扰弱、邻域适应性差且不适用于部分多视图数据的问题，提出RCPMOD方法，通过三类对比与正则化损失及跨视图关系迁移补全缺失视图，在四个基准数据集上性能超越现有最优方法。
2024-08-02 cs.CV cs.LG cs.MM
L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering
Sun Yat-sen University（中山大学）；Platform and Content Group, Tencent（腾讯平台与内容事业群）
提出L2CL层间对比学习框架，仅用一跳对比学习捕获图结构语义，避免数据增强噪声，在五个数据集上超越现有协同过滤方法。
2024-07-19 cs.IR cs.LG
TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning
East China Normal University（华东师范大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；Harvard University（哈佛大学）；Ant Group（蚂蚁集团）；Gatech（佐治亚理工学院）
动态图建模由于其在推荐系统、金融交易、社交网络等领域的广泛应用而受到广泛关注。虽然近年来已经提出了许多工作动态图建模，有效的和可扩展的模型还有待开发。在本文中，我们提出了一种新的图神经网络的方法，称为TCL，它处理动态演变的图形在连续时间的方式，并使有效的动态节点表示学习，捕捉时间和拓扑信息。从技术上讲，我们的模型包含三个新的方面。首先，我们将普通的Transformer推广到时态图学习场景，并设计了一个图拓扑感知的Transformer。其次，顶部的建议图Transformer，我们引入了一个两个流编码器，分别提取表示与两个相互作用的节点，然后利用共同关注的Transformer模型在语义层面上的相互依赖关系。最后，我们受到最近开发的对比学习的启发，提出通过最大化两个未来交互节点的预测表示之间的互信息（MI）来优化我们的模型。受益于此，我们的动态表示可以保持高层次（或全球）语义的互动，从而是强大的嘈杂的互动。据我们所知，这是首次尝试将对比学习应用于动态图上的表示学习。我们在四个基准数据集上评估了我们的模型，实验结果证明了我们的模型的优越性。
2021-05-17 cs.AI cs.LG
CoDCL: Counterfactual-Inspired Augmentation Contrastive Learning for Temporal Link Prediction in Social Networks
Jiangsu Key Laboratory of Net-Worked Collective Intelligence, School of Cyber Science and Engineering, Southeast University（江苏网络集体智能重点实验室，网络安全科学与工程学院，东南大学）；School of Mathematics, Southeast University（数学学院，东南大学）；Frontiers Science Center for Mobile Information Communication and Security, School of Mathematics, Southeast University（移动信息通信与安全前沿科学中心，数学学院，东南大学）；Purple Mountain Laboratories（紫金山实验室）
本文提出CoDCL框架，结合反事实增强与对比学习，提升时序链接预测的鲁棒性，通过动态处理设计和高效结构邻域探索生成高质量反事实数据，在多个数据集上优于现有方法。
2026-05-08 cs.AI cs.LG
Contrastive Neighborhood Alignment
Amazon/AWS AI（亚马逊/AWS 人工智能）
我们提出了对比邻域对齐（CNA），一种流形学习方法来保持学习特征的拓扑结构，从而将源（教师）模型映射到附近表示的数据点也映射到目标（学生）模型的邻居。目标模型的目标是使用对比损失来模仿源表示空间的局部结构。CNA是一种无监督学习算法，它不需要单个样本的地面实况标签。CNA在三个场景中进行了说明：流形学习，其中模型在降维空间中维护原始数据的局部拓扑结构;模型蒸馏，其中一个小的学生模型被训练来模仿一个更大的老师;以及遗留模型更新，其中一个更强大的模型取代了旧的模型。实验表明，CNA能够捕获高维空间中的流形，并与各自领域的竞争方法相比，提高了性能。
2022-01-06 cs.CV cs.LG
GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation
Harbin Institute of Technology（哈尔滨工业大学）
本文提出GTC架构，通过GNN与Transformer协同学习并结合跨视图对比学习，有效解决了过平滑问题，实现了自监督异构图表示。
2024-03-22 cs.IR cs.LG
The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning
University of Southern California（南加州大学）
自监督学习（Self-supervised learning，SSL）是计算机视觉中一种理想的学习模式，因为监督模型无法学习能够在有限标签域中泛化的表示。最近SSL的流行导致了几种模型的开发，这些模型利用了不同的训练策略、架构和数据增强策略，而没有现有的统一框架来研究或评估它们在迁移学习中的有效性。我们提出了一个数据驱动的几何策略来分析不同的SSL模型，使用本地邻居的特征空间中引起的每一个。与现有的考虑参数、单个组件或优化景观的数学近似的方法不同，我们的工作旨在探索SSL模型学习的表示流形的几何特性。我们提出的流形图度量（MGM）提供了对可用SSL模型之间的几何相似性和差异的见解，它们对特定增强的不变性，以及它们在迁移学习任务上的表现。我们的主要发现有两个方面：（i）与流行的观点相反，SSL模型的几何结构与其训练范式（对比，非对比和基于聚类）无关;（ii）我们可以根据其语义和增强流形的几何属性预测特定模型的迁移学习能力。
2022-09-18 cs.LG
Neighbor Does Matter: Density-Aware Contrastive Learning for Medical Semi-supervised Segmentation
Monash University（莫纳什大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
针对医学多器官半监督分割中标签不足与软组织对比度低的问题，提出密度感知对比学习策略，利用特征密度定位稀疏区域并将锚定特征推向高密度簇中心，结合标签协同训练与几何正则化，在公开数据集上取得优于现有方法的分割性能。
2024-12-27 cs.CV cs.LG
Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data
Indiana University Bloomington（印第安纳大学伯明顿分校）；Renmin University of China（中国人民大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
电子健康记录（EHR）数据在医疗保健人工智能（AI）中具有巨大的实用性，例如预测未来的临床事件。然而，当使用经典机器学习模型时，由于包括类不平衡和数据异构性（即，复杂的类内方差）。为了解决这些研究空白，本文利用令人兴奋的对比学习框架，提出了一种新的对比正则化临床分类模型。对比损失被发现大大增强了基于EHR的预测：它有效地表征了相似/不相似的模式（通过其“推拉”形式），同时通过学习更平衡的特征空间来减轻高度偏斜的类分布（最近的研究结果也与此相呼应）。特别地，当天真地将对比学习导出到EHR数据时，一个障碍是生成正样本，因为EHR数据不像图像数据那样可用于数据增强。为此，我们引入了两种独特的正采样策略，专门为EHR数据量身定制：基于特征的正采样，利用特征空间邻域结构来加强特征学习;基于属性的正采样，结合预先生成的患者相似性度量来定义样本接近度。这两种抽样方法的设计与EHR数据中独特的高类内方差的意识。我们的整体框架在预测真实世界COVID-19 EHR数据的死亡率风险方面产生了极具竞争力的实验结果，共有5，712名患者被大型城市卫生系统收治。具体来说，我们的方法达到了0.959的高AUROC预测得分，优于其他基线和替代方案：交叉熵（0.873）和焦点丢失（0.931）。
2021-04-07 cs.AI cs.CY cs.LG
On the Effect of Data-Augmentation on Local Embedding Properties in the Contrastive Learning of Music Audio Representations
SiriusXM-Pandora
本文研究对比学习音乐音频嵌入中数据增强对局部性质的影响，发现适当增强可降低音高、速度等属性的局部化，同时提升体裁、情绪等显著特征的局部性，并在最近邻检索上取得最优性能。
2024-01-17 cs.IR cs.LG cs.MM
Recursive KL Divergence Optimization: A Dynamic Framework for Representation Learning
Cadenzai, Inc.（Cadenzai公司）
本文提出 Recursive KL Divergence Optimization (RKDO) 动态框架，将表征学习构建为跨数据邻域的 KL 散度演化，实验证明其相比静态方法损失值约低30%、计算资源减少60%至80%，为资源受限应用提供了更高效的优化空间。
2025-04-30 cs.AI cs.CV cs.IT
ECG-NAT: A Self-supervised Neighborhood Attention Transformer for Multi-lead Electrocardiogram Classification
Department of Computer Engineering, University of Kurdistan（库尔德斯坦大学计算机工程系）；Department of Mathematics and Operational Research, University of Mons（蒙斯大学数学与运筹学系）
本文提出ECG-NAT，一种自监督学习方法，通过分阶段预训练和微调，有效提取多尺度特征，实现高效准确的多导联心电图分类，仅用1%标注数据即可达到88.1%的准确率。
2026-05-13 cs.AI cs.LG
What Has Been Overlooked in Contrastive Source-Free Domain Adaptation: Leveraging Source-Informed Latent Augmentation within Neighborhood Context
The University of British Columbia（不列颠哥伦比亚大学）；Department of Mechanical Engineering（机械工程系）；Department of Computer Science（计算机科学系）
针对无源域自适应中难以估计域差距的问题，本文提出一种基于源预训练模型引导的邻域潜在特征增强方法，通过提升正键信息量优化对比学习，在多个基准数据集上超越现有方法。
2024-12-18 cs.CV cs.LG
Structure Aware Negative Sampling in Knowledge Graphs
McGill University（麦吉尔大学）；Montreal Institute of Learning Algorithms (Mila)（蒙特利尔学习算法研究所（米拉））
使用对比估计学习知识图谱中的实体和关系的低维表示代表了用于推断连接模式的可扩展且有效的方法。对比学习方法的一个关键方面是选择产生硬负样本的腐败分布，这迫使嵌入模型学习判别表示并找到观察数据的关键特征。虽然早期的方法要么采用过于简单的腐败分布，即均匀的，容易产生无信息的否定或复杂的对抗性分布具有挑战性的优化方案，但它们没有明确地结合已知的图形结构，导致次优否定。在本文中，我们提出了结构感知负采样（SANS），一个廉价的负采样策略，利用丰富的图形结构，从节点的k跳邻域选择负样本。从经验上讲，我们证明了SANS发现语义上有意义的负面影响，并与SOTA方法竞争，同时不需要额外的参数，也不需要困难的对抗性优化。
2020-10-07 cs.CL cs.LG stat.ML
Hypersolid: Emergent Vision Representations via Short-Range Repulsion
Universidad de Costa Rica（哥斯达黎加大学）
Hypersolid通过短程排斥约束实现视觉表示的高分离度，提升细粒度和低分辨率分类性能。
2026-09-29 cs.AI cs.CV cs.LG
Discovering Dual-Origin Slow Wind from Solar Orbiter with Self-Supervised Contrastive Learning
Baylor University（贝勒大学）
本研究提出自监督对比深度聚类框架Solar-CDC，利用太阳轨道器数据分离慢速太阳风的不同粒子群体，成功恢复其双起源特征，为日冕源诊断提供新方法。
2026-08-25 astro-ph.SR cs.AI cs.LG
AURORA: Contextual Orthogonalization for Geometric Representation Learning in Healthcare Foundation Models
University of the Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
本文提出AURORA框架，通过上下文潜在几何进行正交化，以解决医疗基础模型中潜在表示的语义模糊和上下文变化不稳定性问题，提升了模型在不同机构分布变化下的鲁棒性和预测性能。
2026-05-18 cs.LG
Contrast and Clustering: Learning Neighborhood Pair Representation for Source-free Domain Adaptation
Jiaxing University（嘉兴学院）；Zhejiang Normal University（浙江师范大学）；Zhejiang Sci-Tech University（浙江理工大学）
针对无源域数据的无监督域适应场景，本文从对比学习视角出发，通过最近邻聚类、扩展邻域构造难负样本对、结合噪声对比估计的方法学习域不变特征，在三个基准数据集上取得了优于现有最优方法的效果。
2023-12-13 cs.CV cs.LG
Robust Contrastive Graph Clustering with Adaptive Local-Global Integration
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；College of Management and Economics, Tianjin University（天津大学管理学院）
提出一种对比图聚类框架，通过注意力机制自适应融合多尺度局部结构和全局语义原型，以解决复杂图中高阶局部结构捕获不足和全局语义忽略问题，提升聚类性能。
2026-05-30 cs.LG
Improving PTM Site Prediction by Coupling of Multi-Granularity Structure and Multi-Scale Sequence Representation
Huazhong Agricultural University（华中农业大学）
本文提出PTM-CMGMS方法，通过耦合多粒度结构表示（氨基酸、原子、蛋白质粒度）与多尺度序列表示，并利用对比学习和基序信息，在三个数据集上实现了优于现有方法的PTM位点预测性能。
2024-01-04 cs.AI cs.LG q-bio.QM
Probabilistic Contrastive Pretraining for Multi-task ADME Property Prediction
NVIDIA（英伟达）
提出分子图-Transformer预训练框架，结合化学自监督与对比互信息，通过统一概率潜变量目标优化重构、对比和化学任务，在多任务微调中采用任务特定MLP头，在三个数据集上平均提升7.6%-9.5%。
2026-06-11 cs.LG q-bio.QM
Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency
Harvard University（哈佛大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
由于预训练和目标域之间的潜在不匹配，时间序列的预训练构成了一个独特的挑战，例如时间动态的变化，快速演变的趋势以及长范围和短周期效应，这可能导致下游性能不佳。虽然领域自适应方法可以减轻这些变化，但大多数方法需要直接来自目标领域的示例，这使得它们对于预训练来说是次优的。为了应对这一挑战，方法需要适应具有不同时间动态的目标域，并且能够在预训练期间不看到任何目标示例的情况下做到这一点。相对于其他模态，在时间序列中，我们期望同一示例的基于时间和基于频率的表示在时间-频率空间中靠近在一起。为此，我们认为时频一致性（TF-C）-嵌入一个例子的基于时间的邻域接近其基于频率的邻域-对于预训练是可取的。受TF-C的启发，我们定义了一个可分解的预训练模型，其中自监督信号由时间和频率分量之间的距离提供，每个分量都通过对比估计单独训练。我们在八个数据集上评估了新方法，包括电诊断测试，人类活动识别，机械故障检测和身体状态监测。针对八种最先进方法的实验表明，在一对一的设置中，TF-C平均优于基线15.4%（F1得分）（例如，在EMG数据上微调EEG预训练模型）和8.4%（精度）的挑战性一对多设置（例如，微调用于手势识别或机械故障预测的EEG预训练模型），反映了现实世界应用中出现的场景的广度。代码和数据集：https://github.com/mims-harvard/TFC-pretraining。
2022-10-15 cs.AI cs.LG
Brain Network Classification Based on Graph Contrastive Learning and Graph Transformer
本文提出PHGCL-DDGformer模型，通过结合自适应图增强、双域图Transformer和图对比学习，有效解决脑网络分类中数据稀缺与监督不足问题，并在真实数据集上取得优于现有方法的性能。
2025-04-01 cs.AI cs.LG
Learning the Neighborhood: Contrast-Free Multimodal Self-Supervised Molecular Graph Pretraining
University of Tübingen（图宾根大学）
提出C-FREE框架，通过预测子图嵌入与互补邻域的关系，融合2D拓扑和3D构象信息，实现无对比、无负样本的多模态自监督分子图预训练，在MoleculeNet上取得最优结果。
2026-06-02 cs.AI cs.LG
scAGC: Learning Adaptive Cell Graphs with Contrastive Guidance for Single-Cell Clustering
Shanghai Key Laboratory of Trustworthy Computing, East China Normal University, Shanghai, China（上海可信计算实验室，华东师范大学）；Department of Computational Biology, Mohamed bin Zayed University of AI, Abu Dhabi, UAE（计算生物学系，马尔代夫人工智能大学）；Department of Computer Science, Stevens Institute of Technology, Hoboken, USA（计算机科学系，史蒂文斯理工学院）；College of Electronics and Information Engineering, Tongji University, Shanghai, China（电子信息工程学院，同济大学）
提出scAGC方法，通过拓扑自适应图自编码器、ZINB损失和对比学习，在对比引导下端到端学习自适应细胞图，有效解决scRNA-seq数据聚类问题，在9个数据集上表现优于现有方法。
2025-08-07 cs.AI cs.LG
G-Loss: Graph-Guided Fine-Tuning of Language Models
BITS Pilani（BITS 派拉尼）；Bucknell University（巴克内尔大学）
提出G-Loss损失函数，通过构建文档相似度图并利用半监督标签传播捕捉全局语义结构，引导语言模型学习更具判别性和鲁棒性的嵌入，在多个分类任务上提升准确率并加速收敛。
2026-08-31 cs.AI cs.CL cs.LG
Self-Supervised Graph Learning with Proximity-based Views and Channel Contrast
Sun Yat-sen University（中山大学）
我们认为图表示学习在一个自我监督的方式。图神经网络（GNN）使用邻域聚合作为核心组件，其导致邻近节点之间的特征平滑。虽然在各种预测任务中取得了成功，但这种范式无法在长距离上捕获节点的相似性，这对于高质量的学习很重要。为了解决这个问题，我们用两个额外的图视图来加强图，其中节点直接链接到具有最相似特征或局部结构的节点。生成的视图不受原始图中的连通性的限制，允许模型通过新的和互补的视角来增强其表达能力，从这些视角来看待节点之间的关系。遵循对比学习方法，我们提出了一种方法，旨在最大限度地提高跨生成的视图和原始图的表示之间的协议。我们还提出了一个通道级对比度的方法，大大降低了计算成本，相比常用的节点级对比度，这需要计算成本的二次节点的数量。在七个独立图和四个独立图上的实验证明了该方法的有效性。
2021-07-19 cs.LG
