Augmentations in Hypergraph Contrastive Learning: Fabricated and Generative
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德州农工大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文的目标是通过应用图像/图形的对比学习方法（我们称之为HyperGCL）来提高超图神经网络在低标签区域的泛化能力。我们主要研究了以下问题：如何通过增广构造超图的对比视图？我们提供了两个折叠的解决方案。首先，在领域知识的指导下，我们提出了两种方案来增加超边与高阶关系编码，并采用三个顶点增加策略，从图结构的数据。其次，为了以数据驱动的方式寻找更有效的视图，我们首次提出了一个超图生成模型来生成增强视图，然后提出了一个端到端的可微分管道来共同学习超图增强和模型参数。我们的技术创新体现在设计超图的制造和生成增强。实验结果包括：（i）在HyperGCL中的构造扩充中，扩充超边提供了最多的数值增益，这意味着结构中的高阶信息通常更下游相关;（ii）生成扩充在保留高阶信息方面做得更好，以进一步有利于推广;（iii）HyperGCL还提高了超图表示学习的鲁棒性和公平性。代码发布于https://github.com/weitianxin/HyperGCL。
2022-10-07 cs.AI cs.LG
Understanding Contrastive Learning Requires Incorporating Inductive Biases
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Harvard University（哈佛大学）
对比学习是自监督学习的一种流行形式，它鼓励相同输入的增强（视图）与不同输入的增强相比具有更相似的表示。最近试图从理论上解释下游分类任务上的对比学习的成功证明了依赖于{\em增强}的属性和表示的{\em对比损失}的值的保证。我们证明，这种分析，忽略{\em归纳偏见}的功能类和训练算法，不能充分解释对比学习的成功，甚至{\em probably}导致在某些设置中的空洞的保证。在图像和文本领域的大量实验突出了这个问题的普遍性-不同的函数类和算法在下游任务上的行为非常不同，尽管具有相同的增强和对比损失。线性表示类的理论分析，其中将归纳偏见的功能类允许对比学习与较不严格的条件相比，以前的分析。
2022-02-28 cs.AI cs.LG
Temporal Graph Representation Learning with Adaptive Augmentation Contrastive
Hangzhou Dianzi University（杭州电子科技大学）；Tianjin University（天津大学）
针对时序图表示学习易捕捉时序相关噪声的问题，提出结合先验与时序信息的自适应增强对比TGAC模型及三种拓扑修改增强策略，在真实网络上性能优于现有方法。
2023-11-07 cs.AI cs.LG
HiTeC: Hierarchical Contrastive Learning on Text-Attributed Hypergraph with Semantic-Aware Augmentation
The University of New South Wales（新南威尔士大学）；University of Wollongong（沃拉彭大学）
提出HiTeC框架，通过两阶段层次对比学习，结合结构感知文本编码预训练和语义感知增强，解决文本属性超图中文本与拓扑关联不足、随机增强噪声及长程依赖捕获问题。
2026-05-25 cs.AI cs.LG
Supervised Contrastive Prototype Learning: Augmentation Free Robust Neural Network
University of Southern California（南加州大学）
深度神经网络（DNN）的输入空间中的变换导致特征空间中的意外变化。几乎感知上相同的输入，例如对抗性的例子，可能具有非常遥远的特征表示。相反，分布外（OOD）样本可以具有与训练集样本高度相似的特征表示。我们对使用分类头训练的DNN的理论分析表明，受分类问题大小限制的不灵活的logit空间是缺乏$\textit{robustness}$的根本原因之一。我们的第二个观察结果是DNN过度拟合训练增强技术，并且不学习$\textit{nuance invariant}$表示。受到最近成功的原型和对比学习框架的启发，提高鲁棒性和学习细微差别不变表示，我们提出了一个训练框架，$\textbf{Supervised Contrastive Prototype Learning}$（SCPL）。我们使用N对对比损失与原型的相同和相反的类，并取代一个分类头与$\textbf{Prototype Classification Head}$（PCH）。我们的方法是$\textit{sample efficient}$，不需要$\textit{sample mining}$，可以在任何现有的DNN上实现，而无需修改其架构，并与其他训练增强技术相结合。我们经验性地评估了我们的方法在分布外和对抗性样本上的$\textbf{clean}$鲁棒性。我们的框架优于其他国家的最先进的对比和原型学习方法在$\textit…
2022-11-26 cs.AI cs.LG
Improving Contrastive Learning with Model Augmentation
Salesforce Research（赛富时研究院）；Arizona State University（亚利桑那州立大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
序列推荐的目的是预测用户行为中的下一个项目，可以通过描述序列中项目之间的关系来解决。针对序列中数据稀疏性和噪声问题，提出了一种新的自监督学习（SSL）方法，利用序列正反两个视角之间的对比学习来提高学习性能。然而，现有的方法都是从数据的角度采用增强来构建视图，而我们认为：1）最佳的数据增强方法很难设计，2）数据增强方法破坏序列相关性，3）数据增强未能纳入全面的自监督信号。因此，我们调查的可能性模型增强构建视图对。我们提出了三个层次的模型增强方法：神经元掩蔽，层下降，和编码器补充。这项工作开辟了一个新的方向，在构建对比SSL的意见。实验验证了模型增强方法在SSL序列推荐中的有效性。代码为\footnote{\url{https://github.com/salesforce/SRMA}}。
2022-03-25 cs.AI cs.IR cs.LG
Analysis of Augmentations for Contrastive ECG Representation Learning
Ingenuity Labs Research Institute（Ingenuity Labs研究院）
本文系统地研究了心电图（ECG）信号的对比自监督学习的各种增强的有效性，并确定了最佳参数。我们提出的自监督框架的基线包括两个主要部分：对比学习和下游任务。在第一阶段，我们训练编码器使用一些扩增提取概括的ECG信号表示。然后，我们冻结编码器并微调具有不同量的标记数据的几个线性层，用于下游心律失常检测。然后，我们用各种增强技术进行实验，并探索一系列参数。我们的实验是在PTB-XL上完成的，PTB-XL是一个大型的公开的12导联ECG数据集。结果表明，在特定的复杂度范围内应用增强对于自监督对比学习效果更好。例如，当添加高斯噪声时，0.1到0.2范围内的sigma可以获得更好的结果，而当添加的噪声太小或太大（超出指定范围）时，会出现较差的训练。在其他增强中也观察到类似的趋势，这表明为所添加的增强选择最佳难度水平的重要性，因为太简单的增强不会导致有效的训练，而太困难的增强也会阻止模型有效地学习广义表示。我们的工作可以影响未来的研究自我监督对比学习的生物信号，并帮助选择最佳参数为不同的增强。
2022-05-30 cs.AI cs.LG eess.SP
Graph Contrastive Learning with Augmentations
University of Science and Technology of China（中国科学技术大学）；Google Research, Brain Team（谷歌研究院，大脑团队）；Texas A&M University（德克萨斯A&M大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
对图结构数据的可推广、可转移和鲁棒的表示学习仍然是当前图神经网络（GNN）的挑战。与针对图像数据的卷积神经网络（CNN）开发的不同，GNN较少探索自监督学习和预训练。在本文中，我们提出了一个图对比学习（GraphCL）框架学习无监督表示的图形数据。我们首先设计了四种类型的图扩充，将各种先验。然后，我们系统地研究了图增强的各种组合对多个数据集的影响，在四个不同的设置：半监督，无监督和迁移学习以及对抗攻击。结果表明，即使没有调整增强范围，也没有使用复杂的GNN架构，与最先进的方法相比，我们的GraphCL框架也可以产生类似或更好的泛化能力，可转移性和鲁棒性的图形表示。我们还研究了参数化图增强范围和模式的影响，并在初步实验中观察到进一步的性能提升。我们的代码可在https://github.com/Shen-Lab/GraphCL上获得。
2021-04-03 cs.AI cs.LG
Perfect Alignment May be Poisonous to Graph Contrastive Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
本文研究了图对比学习中数据增强与下游性能的关系，发现完美对齐虽有助于对比损失但损害泛化能力，因此需要专门设计的增强来实现适当对齐，从而提高下游准确率。
2024-12-24 cs.AI cs.LG
ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
该研究针对自监督对比学习可迁移性理论理解不足的问题，构建理论框架分析数据增强的影响，发现对比学习难学域不变特征，据此提出ArCL方法，可提升对比学习的可迁移性。
2023-12-12 cs.AI cs.CV cs.LG
Signed Directed Graph Contrastive Learning with Laplacian Augmentation
Seoul National University（首尔国立大学）；Korea Institute of Energy Technology（韩国能源技术研究院）
图对比学习已经成为一种强大的技术，用于一些图挖掘任务。它从增广图的不同角度学习判别表示。在我们的日常生活中，有向图是各种图类型中最复杂和最棘手的分析。这就是为什么有向图对比学习的研究还不多，而无向图和无向图的对比研究却很多的原因。因此，本文提出了一种新的符号有向图对比学习，SDGCL。该方法构造了两种不同结构的扰动图视图，并通过磁拉普拉斯扰动得到节点表示。我们使用一个节点级的对比损失，以最大限度地提高两个图形视图之间的互信息。该模型与对比和监督目标联合学习。SDGCL的图形编码器不依赖于社会理论或预定义的假设。因此，它不需要查找三元组或选择要聚合的邻居。它通过磁性拉普拉斯算子仅利用边缘符号和方向。据我们所知，它是第一个引入磁拉普拉斯扰动和符号谱图对比学习。通过对四个真实数据集的详尽实验，证明了该模型的优越性。SDGCL在四个评估指标上显示出比其他最先进的性能更好的性能。
2023-01-12 cs.AI cs.LG
Augmentation-Free Graph Contrastive Learning of Invariant-Discriminative Representations
Central South University（中南大学）
预任务主要建立在互信息估计的基础上，这需要数据增强来构造具有相似语义的正样本以学习不变信号和具有不相似语义的负样本以增强表示的可辨别性。然而，一个合适的数据增强配置在很大程度上取决于大量的经验试验，如选择数据增强技术的组成和相应的超参数设置。我们提出了一种无增广图对比学习方法，不变判别图对比学习（iGCL），它本质上不需要负样本。iGCL设计了不变判别损失（ID损失）来学习不变和判别表示。一方面，ID损失通过直接最小化表示空间中的目标样本和正样本之间的均方误差来学习不变信号。另一方面，ID损失通过正交约束确保表示是有区别的，该正交约束迫使表示的不同维度彼此独立。这可以防止表示塌陷为点或子空间。我们的理论分析解释了有效的ID损失的角度的冗余减少标准，典型相关分析，和信息瓶颈原则。实验结果表明，iGCL在5节点分类基准数据集上的性能优于所有基线。iGCL在不同的标记率下也表现出了优异的性能，并且能够抵抗图攻击，这表明iGCL具有良好的泛化能力和鲁棒性。源代码可在https://github.com/lehaifeng/T-GCN/tree/master/iGCL上获得。
2023-03-06 cs.AI cs.LG
Adversarial Graph Augmentation to Improve Graph Contrastive Learning
Purdue University（普渡大学）；Georgia Tech（佐治亚理工学院）；Microsoft Research（微软研究院）
由于现实世界的图/网络数据中普遍存在的标签稀缺问题，图神经网络（GNN）的自监督学习非常需要。图对比学习（GCL）通过训练GNN以最大化相同图的不同增强形式的表示之间的对应关系，即使不使用标签，也可以产生鲁棒和可转移的GNN。然而，由传统GCL训练的GNN通常有捕获冗余图特征的风险，因此可能很脆弱，并在下游任务中提供低于标准的性能。在这里，我们提出了一种新的原则，称为adversarial-GCL（AD-GCL），它使GNN能够通过优化GCL中使用的对抗图增强策略来避免在训练过程中捕获冗余信息。我们将AD-GCL与理论解释配对，并设计了一个基于可训练边丢弃图增强的实用实例。我们通过与最先进的GCL方法进行比较来实验验证AD-GCL，并在无监督的情况下实现了高达$14\%$的性能增益，在传输中实现了$6\%$，在半监督学习设置中实现了$3\%$的性能增益，其中18个不同的基准数据集用于分子属性回归和分类以及社会网络分类。
2021-11-03 cs.AI cs.LG
FreRA: A Frequency-Refined Augmentation for Contrastive Learning on Time Series Classification
Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-国立科技大学新加坡联合研究机构）；College of Computing and Data Science, Nanyang Technological University Singapore（国立科技大学新加坡计算机与数据科学学院）；CFAR, A*STAR Singapore（新加坡A*STAR医学研究中心）
针对时间序列分类对比学习中时域增强跨模态不兼容的问题，提出频域增强方法FreRA，通过自动分离频率成分并分别修改以保护语义信息，在分类、异常检测和迁移学习任务上优于十个基线方法。
2025-05-29 cs.AI cs.LG
CLR-GAM: Contrastive Point Cloud Learning with Guided Augmentation and Feature Mapping
Samsung Semiconductor US（美国三星半导体）；National Yang Ming Chiao Tung University（国立阳明交通大学）
点云数据在机器人和自动驾驶应用中起着至关重要的作用。然而，注释点云数据是耗时且不平凡的，而它们能够学习有区别的3D表示，从而增强下游任务，例如分类和分割。最近，基于对比学习的框架已经显示出以自监督方式学习3D表示的有希望的结果。然而，现有的对比学习方法不能精确地编码和关联结构特征，并且不能有效地搜索更高维的增强空间。在本文中，我们提出了CLR-GAM，一种新的对比学习为基础的框架与引导增强（GA）有效的动态探索策略和引导特征映射（GFM）增强点云之间的相似结构特征关联。我们经验证明，所提出的方法在模拟和真实世界的3D点云数据集上实现了最先进的性能，用于三个不同的下游任务，即，3D点云分类、少样本学习和对象部分分割。
2023-02-28 cs.AI cs.CV cs.LG
Enhancing Contrastive Link Prediction With Edge Balancing Augmentation
National Tsing Hua University（国立清华大学）；National Central University（国立中央大学）
针对对比学习在链接预测中缺乏理论分析和未充分考虑节点度的问题，本文首次提供相关理论分析并提出边平衡增强（EBA）方法，结合新对比损失形成CoEBA，在8个基准数据集上显著优于现有模型。
2025-08-20 cs.LG
Graph Data Augmentation with Contrastive Learning on Covariate Distribution Shift
School of Intelligent Systems Science and Engineering（智能系统科学与工程学院）
本文提出MPAIACL方法，通过对比学习增强向量表示，解决图数据中因训练集与测试集结构特征不一致导致的协变量偏移问题，实验表明其在多个OOD数据集上表现优异。
2026-04-21 cs.AI cs.LG
Training GANs with Stronger Augmentations via Contrastive Discriminator
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
生成对抗网络（GANs）的最新工作正在积极地重新审视各种数据增强技术，作为防止过拟合的有效方法。然而，目前还不清楚哪些增强可以真正改善GANs，特别是如何在训练中应用更广泛的增强。在本文中，我们提出了一种新的方法来解决这些问题，将最近的对比表示学习计划纳入GAN的框架，创造了ContraD。这种“融合”使判别器能够在不增加其训练不稳定性的情况下使用更强的增强，从而更有效地防止GANs中的过拟合问题。更好的是，我们观察到对比学习本身也受益于我们的GAN训练，即，通过维持真实样本和假样本之间的区分特征，表明两个世界之间具有很强的一致性：良好的对比表示也有利于GAN鉴别器，反之亦然。我们的实验结果表明，与采用数据增强的其他最新技术相比，具有ContradD的GANs始终提高了FID和IS，在线性评估方面仍然保持了高分辨力的特征。最后，作为一个副产品，我们还表明，我们的GANs以无监督的方式（无标签）训练，可以通过简单的潜在采样，利用ContraD的学习功能，诱导许多条件生成模型。代码可在https://github.com/jh-jeong/ContraD上获得。
2021-03-17 cs.AI cs.CV cs.LG
Efficient Contrastive Learning via Novel Data Augmentation and Curriculum Learning
School of Computing, KAIST（韩国科学技术院计算机学院）
我们引入了EfficientCL，这是一种高效记忆的持续预训练方法，它采用了具有新数据增强和课程学习的对比学习。对于数据增强，我们依次堆叠两种类型的操作：截断和PCA抖动。当预训练步骤进行时，我们通过增加每个难度步骤的增强程度来应用课程学习。在数据增强完成后，对原始样本和扩充样本的投影嵌入应用对比学习。当在GLUE基准上进行微调时，我们的模型优于基线模型，特别是对于任务级任务。此外，与基线模型相比，这种改进仅需要70%的计算内存。
2021-10-18 cs.CL cs.LG
Spectral Feature Augmentation for Graph Contrastive Learning and Beyond
The Chinese University of Hong Kong（香港中文大学）；Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
虽然增强（例如，图边缘的扰动、图像裁剪）提高了对比学习（CL）的效率，特征级增强是另一种合理的、互补的但尚未得到充分研究的策略。因此，我们提出了一种新的光谱特征论证的对比学习的图形（和图像）。为此，对于每个数据视图，我们估计每个特征映射的低秩近似，并从映射中减去该近似以获得其补。这是通过本文提出的不完全功率迭代来实现的，不完全功率迭代是一种非标准功率迭代机制，其具有两个有价值的副产品（在仅仅一次或两次迭代下）：（i）它部分地平衡特征图的频谱，以及（ii）它将噪声注入到特征图的重新平衡的奇异值中（频谱增强）。对于两个视图，我们将这些重新平衡的特征图对齐，因为改进的对齐步骤可以更多地关注两个视图的矩阵的不太占主导地位的奇异值，而光谱增强不影响光谱角度对齐（奇异向量不受干扰）。我们推导出的解析形式：（i）不完整的功率迭代，以捕捉其频谱平衡效果，和（ii）的奇异值的方差增加隐含的噪声。我们还表明，谱增强提高了泛化界。在图形/图像数据集上的实验表明，我们的光谱特征增强优于基线，与其他增强策略互补，并与各种对比度损失兼容。
2022-12-02 cs.AI cs.CV cs.LG
An Augmentation-Aware Theory for Self-Supervised Contrastive Learning
Peking University（北京大学）；University of Twente（特文特大学）
首次提出自监督对比学习的增强感知误差界，揭示数据增强引发的权衡对监督风险的影响，并通过像素级和表示级实验验证了理论结果。
2025-05-28 cs.LG
Contrastive Learning with Stronger Augmentations
Purdue University（普渡大学）；Futurewei Seattle Cloud Lab（未来威西雅图云实验室）
随着对比学习方法的发展，表示学习得到了长足的发展。这些方法中的大多数都受益于各种数据增强，这些数据增强被仔细指定以保持它们的身份，以便仍然可以检索从同一实例转换的图像。然而，这些精心设计的转换限制了我们进一步探索其他转换所揭示的新模式。同时，我们在实验中发现，强增强会使图像的结构发生扭曲，导致检索困难。因此，我们提出了一个通用的框架，称为对比学习与更强的增强~（CLSA），以补充目前的对比学习的方法。在这里，弱增强图像和强增强图像之间的分布差异表示银行被用来监督强增强查询从一个池的实例检索。在ImageNet数据集和下游数据集上的实验表明，来自强增强图像的信息可以显着提高性能。例如，CLSA在ImageNet上实现了76.2%的top-1准确率，采用标准ResNet-50架构，并对单层分类器进行了微调，这几乎与76.5%的监督结果相同。代码和预训练模型可在https://github.com/maple-research-lab/CLSA中找到。
2022-01-21 cs.AI cs.CV cs.LG
Adversarial Curriculum Graph Contrastive Learning with Pair-wise Augmentation
City University of Hong Kong（香港城市大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Duke Kunshan University（昆山杜克大学）；ByteDance Research（字节跳动研究院）
针对图对比学习中样本相似度难以控制的问题，提出ACGCL框架，利用成对增强生成可控相似度的样本并结合子图对比学习，通过对抗性课程训练克服稀疏性问题，在六个基准数据集上显著超越基线。
2024-02-16 cs.AI cs.LG
Time Series Contrastive Learning with Information-Aware Augmentations
Florida International University（佛罗里达国际大学）；NEC Labs America（NEC美国实验室）；North Carolina State University（北卡罗来纳州立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
近年来，各种对比学习方法被提出并取得了显著的实证成功。虽然有效和普遍，对比学习已较少探索时间序列数据。对比学习的一个关键组成部分是选择适当的增强施加一些先验来构造可行的正样本，使得编码器可以被训练为学习鲁棒的和有区别的表示。与图像和语言领域不同，在这些领域中，“期望的”增强样本可以用预制的人类先验知识指导的经验法则来生成，时间序列增强的特设手动选择受到其多样性和人类无法识别的时间结构的阻碍。如何找到对给定的对比学习任务和数据集有意义的时间序列数据的期望增强仍然是一个悬而未决的问题。在这项工作中，我们解决这个问题，鼓励高\textit{fidelity}和\textit{variety}基于信息论。理论分析导致选择可行的数据增强的标准。最重要的是，我们提出了一个新的对比学习方法与信息感知增强，InfoTS，自适应地选择最佳的增强时间序列表示学习。在不同数据集上的实验表明，该算法具有很强的竞争力，在预测任务上的MSE降低了12.0%，在分类任务上的准确率相对提高了3.7%.
2023-03-21 cs.LG
Label-invariant Augmentation for Semi-Supervised Graph Classification
Brandeis University（布兰迪斯大学）
近年来，基于对比度的增强技术在计算机视觉领域掀起了一个新的高潮，旋转、裁剪、翻转等操作与专用算法相结合，极大地提高了模型的泛化能力和鲁棒性。在这种趋势下，一些开创性的尝试将类似的想法用于图形数据。然而，与图像不同，在不改变图的性质的情况下设计合理的增强要困难得多。虽然令人兴奋，但目前的图形对比学习并没有达到视觉对比学习那样有前途的性能。我们推测，图对比学习的当前性能可能受到违反标签不变扩增假设的限制。有鉴于此，我们提出了一个标签不变的增强图结构的数据，以解决这一挑战。与节点/边修改和子图提取不同，我们在表示空间中进行增强，并在最困难的方向生成增强样本，同时保持增强数据的标签与原始样本相同。在半监督的情况下，我们证明了我们提出的方法优于经典的图神经网络的方法和最近的图对比学习的8个基准图结构的数据，其次是几个深入的实验，以进一步探索标签不变的增强在几个方面。
2022-05-19 cs.AI cs.CV cs.LG
Learning Visual Robotic Control Efficiently with Contrastive Pre-training and Data Augmentation
New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）
无监督表示学习的最新进展显着提高了模拟环境中训练强化学习策略的样本效率。然而，类似的收益还没有看到真正的机器人强化学习。在这项工作中，我们专注于从像素实现数据高效的真实机器人学习。我们提出了用于高效机器人学习（CoDER）的对比预训练和数据增强，这是一种利用数据增强和无监督学习来实现稀疏奖励的真实机器人手臂策略的样本有效训练的方法。虽然对比预训练、数据增强、演示和强化学习本身不足以实现有效的学习，但我们的主要贡献是将这些不同的技术结合起来，从而产生了一种简单但数据高效的方法。我们证明，只要给出10个演示，一个机器人手臂就可以从像素中学习稀疏奖励操作策略，例如在30分钟的平均真实训练时间内达到，拾取，移动，拉动大型物体，翻转开关和打开抽屉。我们在项目网站上提供了视频和代码：https://sites.google.com/view/efficient-robotic-manipulation/home
2022-10-17 cs.AI cs.LG cs.RO
Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation
SKLSDE, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院软件开发环境国家重点实验室）；Beijing Advanced Institution on Big Data and Brain Computing, Beihang University（北京航空航天大学大数据与脑机智能高精尖创新中心）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）
对比学习在无监督环境下通过自我监督的表示学习中取得了显著的成功。然而，有效地使对比学习适应监督学习任务在实践中仍然是一个挑战。在这项工作中，我们引入了一个双重对比学习（DualCL）框架，同时学习输入样本的特征和分类器的参数在同一个空间。DualCL将分类器的参数看作是与不同标签相关联的增强样本，然后利用输入样本和增强样本之间的对比学习。对五个基准文本分类数据集及其低资源版本的实证研究表明，分类精度有所提高，并证实了DualCL学习判别表示的能力。
2022-01-21 cs.AI cs.CL cs.LG
Virtual Augmentation Supported Contrastive Learning of Sentence Representations
AWS AI Labs（AWS人工智能实验室）
尽管取得了巨大的成功，对比表示学习依赖于使用特定领域知识精心设计的数据增强。这种挑战在自然语言处理中被放大，其中由于自然语言的离散性质，不存在用于数据增强的一般规则。我们提出了一个虚拟增强支持的对比学习的句子表示（VaSCL）来应对这一挑战。从数据增强本质上构建每个训练实例的邻域的解释出发，我们反过来利用邻域来生成有效的数据增强。利用对比学习的大批量训练，我们通过表示空间中的K-最近邻来近似实例的邻域。然后，我们定义了一个关于这个邻域的实例判别任务，并以对抗训练的方式生成虚拟增强。我们在广泛的下游任务上访问VaSCL的性能，并为无监督句子表示学习设置了一个新的最先进的技术。
2022-02-25 cs.CL cs.LG
Contrastive Learning Via Equivariant Representation
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Science and Technology of China（中国科学技术大学）；University of Liverpool（利物浦大学）
本文提出CLeVER等变对比学习框架，通过兼容任意复杂增强策略提取并融入等变信息，有效提升了主流CL模型的训练效率、鲁棒性及下游任务性能，并增强了旋转不变性与敏感性。
2024-10-10 cs.AI cs.LG
Augment with Care: Contrastive Learning for Combinatorial Problems
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；ETH Zürich（苏黎世联邦理工学院）
监督学习可以改进组合问题的最新求解器的设计，但是由于指数最坏情况的复杂性，标记大量的组合实例通常是不切实际的。受最近图像对比预训练成功的启发，我们对增强设计对布尔可满足性问题的对比预训练的影响进行了科学研究。虽然典型的图对比预训练使用标签不可知的增强，但我们的关键见解是，许多组合问题具有经过充分研究的不变性，这允许设计标签保持增强。我们发现，保留标签的增强是成功的对比预训练的关键。我们表明，我们的表示能够实现与完全监督学习相当的测试准确度，同时只使用1%的标签。我们还表明，我们的陈述是更大的问题，从看不见的域转移。我们的代码可在https://github.com/h4duan/contrastive-sat上获得。
2022-06-20 cs.AI cs.LG cs.LO
Contrastive General Graph Matching with Adaptive Augmentation Sampling
Singapore Management University（新加坡管理大学）
针对图匹配自监督学习依赖辅助信息和难以设计最优图增强的问题，提出无需辅助信息的对比框架GCGM，并引入自适应增强采样器BiAS选择更具挑战性的增强，在多数据集上超越现有自监督方法。
2024-06-25 cs.LG
Contrastive Representation Learning with Trainable Augmentation Channel
Preferred Networks, Inc.（Preferred Networks公司）；University of Oxford（牛津大学）
在对比表示学习中，训练数据表示，以便即使图像被增强改变，它也可以对图像实例进行分类。然而，根据数据集的不同，一些增强可能会损坏图像的信息，使其无法识别，并且这种增强可能会导致崩溃的表示。我们提出了一个部分解决这个问题的形式化的随机编码过程中，存在一个拔河之间的数据损坏所引入的扩增和编码器保存的信息。我们表明，基于此框架的infoMax目标，我们可以学习数据依赖的增强分布，以避免表示的崩溃。
2021-11-15 cs.LG stat.ML
Hybrid-Collaborative Augmentation and Contrastive Sample Adaptive-Differential Awareness for Robust Attributed Graph Clustering
College of Information Science and Technology, Beijing University of Chemical Technology（北京化工大学信息科学与技术学院）；Beijing University of Technology（北京工业大学）；The University of Sydney Business School, The University of Sydney（悉尼大学商学院）
针对现有对比属性图聚类忽略边级增强及样本对差异的问题，提出融合混合协同增强与对比样本自适应差分感知的鲁棒聚类方法，在六个基准数据集上性能优于现有最优方法。
2025-10-03 cs.LG
Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）
近年来，图神经网络（GNNs）在推荐方面取得了显著的成功.为了减少数据稀疏性的影响，图对比学习（GCL）被用于基于GNN的CF方法，以提高性能。大多数GCL方法包括数据增强和对比损失（例如，InfoNCE）。GCL方法通过手工制作的图增强来构建对比对，并最大化同一节点的不同视图与其他节点的视图之间的一致性，这被称为InfoMax原则。然而，不适当的数据增强会阻碍GCL的性能。InfoMin原则，即良好的视图集共享最少的信息，并为设计更好的数据增强提供指导。在本文中，我们首先提出了一种新的数据增强（即，边缘操作包括边缘增加和边缘减少）。在此基础上，提出了一个基于信息最小化原理的对比学习框架--可学习的数据增强对比学习（LDA-GCL）。我们的方法包括数据增强学习和图对比学习，分别遵循InfoMin和InfoMax原则。在实现中，我们的方法优化了对抗损失函数，以学习数据增强和用户和项目的有效表示。在四个公共基准数据集上的实验证明了LDA-GCL的有效性。
2023-02-05 cs.IR cs.LG cs.SI
Hyperbolic Contrastive Learning with Model-augmentation for Knowledge-aware Recommendation
City University of Hong Kong（香港城市大学）
针对知识感知推荐中层次结构建模不足及图结构增强导致偏好偏移的问题，提出结合Lorentzian知识聚合与模型级增强的双曲对比学习方法，最高性能提升11.03%。
2025-05-13 cs.AI cs.IR
MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
对比学习（Contrasive learning，CL）能够提取不同对比视图之间共享的信息，已成为视觉表示学习的一种流行范式。受计算机视觉成功的启发，最近的工作将CL引入图建模，称为图对比学习（GCL）。然而，在图中生成对比视图比在图像中更具有挑战性，因为我们对如何在不改变其标签的情况下显着增强图几乎没有先验知识。我们认为，典型的数据增强技术（例如，边缘下降）不能产生足够多样的对比视图来滤除噪声。此外，以前的GCL方法使用两个具有完全相同的神经结构和绑定参数的视图编码器，这进一步损害了增强视图的多样性。为了解决这个问题，我们提出了一个新的范式命名为模型增强GCL（MA-GCL），这将集中在操纵视图编码器的架构，而不是扰动图形输入。具体来说，我们提出了三种易于实现的GCL模型增强技巧，即非对称、随机和洗牌，它们分别有助于消除高频噪声、丰富训练实例和带来更安全的增强。所有这三种技巧都与典型的数据增强兼容。实验结果表明，MA-GCL可以通过在简单的基础模型上应用这三个技巧来实现节点分类基准测试的最新性能。广泛的研究也验证了我们的动机和每一个技巧的有效性。(Code数据和附录可在https://github.com/GXM1141/MA-GCL上获得。)
2022-12-14 cs.LG
CoDCL: Counterfactual-Inspired Augmentation Contrastive Learning for Temporal Link Prediction in Social Networks
Jiangsu Key Laboratory of Net-Worked Collective Intelligence, School of Cyber Science and Engineering, Southeast University（江苏网络集体智能重点实验室，网络安全科学与工程学院，东南大学）；School of Mathematics, Southeast University（数学学院，东南大学）；Frontiers Science Center for Mobile Information Communication and Security, School of Mathematics, Southeast University（移动信息通信与安全前沿科学中心，数学学院，东南大学）；Purple Mountain Laboratories（紫金山实验室）
本文提出CoDCL框架，结合反事实增强与对比学习，提升时序链接预测的鲁棒性，通过动态处理设计和高效结构邻域探索生成高质量反事实数据，在多个数据集上优于现有方法。
2026-05-08 cs.AI cs.LG
Graph Contrastive Learning with Personalized Augmentation
The Hong Kong Polytechnic University（香港理工大学）；Texas A&M University（德州农工大学）
图对比学习（GCL）已经成为学习图的无监督表示的有效工具。关键思想是通过数据增强来最大化每个图的两个增强视图之间的一致性。现有的GCL模型主要集中在对给定场景中的所有图应用\textit{identical augmentation strategies}。然而，现实世界的图往往不是单形的，而是不同性质的抽象。即使在相同的场景中（例如，大分子和在线社区），不同的图可能需要不同的增强来执行有效的GCL。因此，盲目地扩充所有图而不考虑它们的个体特征可能会破坏GCL艺术的性能。为了解决这个问题，我们提出了第一个原则性框架，称为\textit{G}，使用\textit{P} sonalized \textit{A} ugmentation（GPA）进行对比学习，通过允许每个图选择自己合适的扩充操作来改进传统的GCL。本质上，GPA通过一个可学习的增强选择器，根据每个图的拓扑和节点属性为每个图推断定制的增强策略，该选择器是一个即插即用模块，可以通过下游GCL模型进行端到端的有效训练。在不同类型和领域的11个基准图上进行的大量实验证明了GPA相对于最先进竞争对手的优越性。此外，通过可视化不同类型数据集上的学习增强分布，我们表明GPA可以有效地根据每个图的特征识别最合适的增强。
2022-09-15 cs.LG
GIMM: InfoMin-Max for Automated Graph Contrastive Learning
本文提出GIMM方法，通过对抗训练自动生成InfoMin最优视图并结合InfoMax进行视图比较，首次在GCL中统一两种信息原则，并通过引入随机性增强稳定性，在节点和图分类任务上优于现有GCL方法。
2023-05-27 cs.AI cs.LG
Edge Contrastive Learning: An Augmentation-Free Graph Contrastive Learning Model
Northwestern Polytechnical University（西北工业大学）；China Telecom（中国电信）；The University of Hong Kong（香港大学）
针对图对比学习中边缘级对比未被充分探索且计算负担重的问题，提出无增强边缘对比学习模型AFECL，通过节点嵌入拼接生成边缘特征并定义正负边缘对，在链接预测和半监督节点分类上达到SOTA性能。
2024-12-15 cs.LG
Graph Contrastive Learning with Implicit Augmentations
The University of Sydney（悉尼大学）；ByteDance AI Lab（字节跳动人工智能实验室）；University of California San Diego（加利福尼亚大学圣迭戈分校）
现有的图对比学习方法依赖于基于随机扰动的增强技术（例如，随机添加或丢弃边和节点）。然而，改变某些边或节点可能会意外地改变图形特征，并且为每个数据集选择最佳扰动率需要繁重的手动调整。在本文中，我们介绍了隐式图对比学习（iGCL），它利用增广的潜在空间学习的变化图自动编码器通过重建图的拓扑结构。重要的是，而不是显式地从潜在分布中采样增强，我们进一步提出了一个上限的预期对比损失，以提高我们的学习算法的效率。因此，图语义可以以智能的方式保留在扩充中，而无需任意的手动设计或先前的人类知识。图形级和节点级任务的实验结果表明，与其他基准测试相比，所提出的方法达到了最先进的性能，其中消融研究最终证明了iGCL中模块的有效性。
2022-11-07 cs.LG stat.ML
CONVERT:Contrastive Graph Clustering with Reliable Augmentation
National University of Defense Technology（国防科技大学）；Westlake University（西湖大学）
本文提出CONVERT对比图聚类网络，通过可逆扰动-恢复网络提取可靠语义信息，结合语义损失和标签匹配机制解决增强图语义漂移问题，在七个数据集上验证了有效性。
2023-10-20 cs.LG
AS-GCL: Asymmetric Spectral Augmentation on Graph Contrastive Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyberspace Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Renmin University of China（中国人民大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对图对比学习中随机增强破坏频谱结构的问题，本文提出AS-GCL，通过频谱增强、非对称扩散编码器和类间类内距离均衡的上界损失提升泛化，并在八个节点级基准上验证其优势。
2025-02-19 cs.LG
Feature Dropout: Revisiting the Role of Augmentations in Contrastive Learning
Stanford University（斯坦福大学）
增强在对比学习中扮演什么角色？最近的工作表明，良好的扩增是标签保留相对于一个特定的下游任务。我们通过展示破坏标签的增强在基础模型设置中可能是有用的来使这幅图复杂化，在该设置中，目标是为多个下游任务学习多样化的通用表示。我们对一系列图像和音频数据集进行了对比学习实验，并进行了多个下游任务（例如，叠加在照片上的数字，预测一个与另一个的类别）。我们发现，Viewmaker网络，最近提出的对比学习的学习增强模型，产生标签破坏增强，随机破坏不同的下游任务所需的功能。这些增强是可解释的（例如，改变形状，数字或添加到图像中的字母），并且令人惊讶的是，与专家设计的增强相比，这些增强通常会产生更好的性能，尽管不保留标签信息。为了支持我们的实证结果，我们从理论上分析了一个简单的对比学习设置与线性模型。在这种情况下，标签破坏增强对于防止一组特征抑制对另一个下游任务有用的特征的学习至关重要。我们的研究结果强调，需要分析多个下游任务之间的相互作用时，试图解释基础模型的成功。
2022-12-16 cs.CV cs.LG cs.SD
Auto-Augmentation Contrastive Learning for Wearable-based Human Activity Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The Beijing Key Laboratory of Mobile Computing and Pervasive Device（北京移动计算与普适设备重点实验室）；Shandong Academy of Intelligent Computing Technology（山东省智能计算技术研究院）；Peng Cheng Laboratory（鹏城实验室）；Institute of Robotics and Autonomous Systems（机器人与自主系统研究所）
本文提出了一种自适应增强对比学习方法，用于提升基于可穿戴设备的人体活动识别的识别准确率。
2026-01-30 cs.AI cs.LG eess.SP
Graph Contrastive Learning with Adaptive Augmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Alibaba Group（阿里巴巴集团）
近年来，对比学习（CL）已成为无监督图表示学习的一种成功方法。大多数图CL方法首先在输入图上执行随机增强以获得两个图视图，并最大化两个视图中的表示的一致性。尽管图CL方法的繁荣发展，图增强方案的设计-CL中的一个重要组成部分-仍然很少探索。我们认为，数据增强计划应该保持固有的结构和属性的图，这将迫使模型学习表示不敏感的扰动不重要的节点和边缘。然而，大多数现有的方法采用统一的数据增强方案，如均匀地丢弃边缘和均匀地混洗特征，导致次优性能。在本文中，我们提出了一种新的图形对比表示学习方法与自适应增强，结合各种先验的拓扑和语义方面的图。具体而言，在拓扑结构层面上，我们设计的增强方案的基础上，节点中心性措施，突出重要的连接结构。在节点属性层，我们通过向不重要的节点特征添加更多的噪声来破坏节点特征，以强制模型识别底层语义信息。我们在各种真实世界的数据集上进行了大量的节点分类实验。实验结果表明，我们提出的方法始终优于现有的最先进的基线，甚至超过一些监督同行，这验证了所提出的自适应增强的对比框架的有效性。
2021-02-26 cs.LG
DDA: Dimensionality Driven Augmentation Search for Contrastive Learning in Laparoscopic Surgery
the University of Melbourne（墨尔本大学）；St Vincent’s Hospital Melbourne（墨尔本圣文森特医院）
本文提出维度驱动增强搜索方法DDA，利用深度表示局部维度作为代理目标，在对比学习中自动搜索腹腔镜手术图像的合适增强策略，并在三个分类与分割任务上显著优于现有基线。
2024-06-06 cs.CV cs.LG
PolyCL: Contrastive Learning for Polymer Representation Learning via Explicit and Implicit Augmentations
Imperial College London（帝国理工学院）
本研究提出自监督对比学习范式PolyCL，结合显式与隐式增强策略无需标签学习高质量聚合物表示，在迁移学习任务上性能优异，还确定了最优增强组合。
2024-08-14 cs.LG
Parametric Augmentation for Time Series Contrastive Learning
School of Computing and Information Sciences, Florida International University（佛罗里达国际大学计算与信息科学学院）；NEC Laboratories America（美国NEC实验室）
本研究提出参数化增强的对比学习框架 AutoTCL，通过信息论分析时间序列数据增强，支持与不同骨干编码器无缝集成，在预测和分类任务上取得优于基线的性能。
2024-02-16 cs.LG
Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
The University of Hong Kong（香港大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院）；Fudan University（复旦大学）；School of Artificial Intelligence, OPtics（人工智能学院）；ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学电子学院）
本文研究对比学习与正激励噪声的联系，定义了任务熵并提出正激励噪声生成器，通过可视化证明所提方法有效。
2026-05-08 cs.CV cs.LG
Automatic Data Augmentation Selection and Parametrization in Contrastive Self-Supervised Speech Representation Learning
对比学习通过最大化相似信号段的潜在表示之间的相似性，使得能够学习有用的音频和语音表示而无需地面实况标签。在这个框架中，通常利用各种数据增强技术来帮助在学习的表示中执行所需的不变性，由于更鲁棒的嵌入，提高了各种音频任务的性能。现在，选择最相关的增强已被证明是改善下游性能的关键。因此，这项工作介绍了一种基于条件独立性的方法，该方法允许从一组预定义的增强及其参数化的选择中自动选择合适的分布，用于对比自监督预训练。这是针对感兴趣的下游任务执行的，因此节省了昂贵的超参数搜索。在两个不同的下游任务上进行的实验验证了所提出的方法，显示出比没有增强或基线增强的实验更好的结果。此外，我们根据所考虑的最终下游数据集对自动选择的增强及其变化进行定性分析。
2022-04-08 cs.LG cs.SD eess.AS
Enhancing Contrastive Learning for Retinal Imaging via Adjusted Augmentation Scales
UCL（伦敦大学学院）；UCL Institute of Ophthalmology（伦敦大学学院眼科研究所）
针对对比学习在视网膜医学图像上表现次优的问题，本文通过六个临床相关数据集比较不同增强策略，发现弱增强预训练可显著提升模型性能与外部泛化能力。
2025-01-05 cs.AI cs.CV
Rethinking the Effect of Data Augmentation in Adversarial Contrastive Learning
Peking University（北京大学）
最近的研究表明，自监督学习在与对抗训练（AT）相结合时可以实现显着的鲁棒性。然而，监督AT（sup-AT）和自监督AT（self-AT）之间的鲁棒性差距仍然很大。受此观察的启发，我们重新审视现有的自AT方法，并发现影响自AT鲁棒性的固有困境：无论是强还是弱数据增强都对自AT有害，中等强度不足以弥合差距。为了解决这个难题，我们提出了一个简单的补救措施，名为DYNACL（动态对抗对比学习）。特别是，我们提出了一个增强时间表，逐渐退火从一个强增强到一个弱的，从两个极端的情况下受益。此外，我们采用了快速的后处理阶段，以适应下游任务。通过大量的实验，我们证明了DYNACL可以在CIFAR-10数据集上的自动攻击下将最先进的自AT鲁棒性提高8.84%，甚至可以首次超过普通的监督对抗训练。我们的代码可在\url{https://github.com/PKU-ML/DYNACL}上获得。
2023-03-03 cs.LG
Finding Order in Chaos: A Novel Data Augmentation Method for Time Series in Contrastive Learning
ETH Zürich（苏黎世联邦理工学院）
针对时间序列对比学习，提出一种基于mixup并考虑周期性的数据增强方法，控制混沌程度以连接类内样本，在心率估计等三个任务上优于现有方法。
2023-12-21 cs.AI cs.LG eess.SP
