MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning
Beijing University of Posts and Telecommunications(北京邮电大学)
对比学习(Contrasive learning,CL)能够提取不同对比视图之间共享的信息,已成为视觉表示学习的一种流行范式。受计算机视觉成功的启发,最近的工作将CL引入图建模,称为图对比学习(GCL)。然而,在图中生成对比视图比在图像中更具有挑战性,因为我们对如何在不改变其标签的情况下显着增强图几乎没有先验知识。我们认为,典型的数据增强技术(例如,边缘下降)不能产生足够多样的对比视图来滤除噪声。此外,以前的GCL方法使用两个具有完全相同的神经结构和绑定参数的视图编码器,这进一步损害了增强视图的多样性。为了解决这个问题,我们提出了一个新的范式命名为模型增强GCL(MA-GCL),这将集中在操纵视图编码器的架构,而不是扰动图形输入。具体来说,我们提出了三种易于实现的GCL模型增强技巧,即非对称、随机和洗牌,它们分别有助于消除高频噪声、丰富训练实例和带来更安全的增强。所有这三种技巧都与典型的数据增强兼容。实验结果表明,MA-GCL可以通过在简单的基础模型上应用这三个技巧来实现节点分类基准测试的最新性能。广泛的研究也验证了我们的动机和每一个技巧的有效性。(Code数据和附录可在https://github.com/GXM1141/MA-GCL上获得。)
2022-12-14 cs.LG
CONVERT:Contrastive Graph Clustering with Reliable Augmentation
National University of Defense Technology(国防科技大学);Westlake University(西湖大学)
本文提出CONVERT对比图聚类网络,通过可逆扰动-恢复网络提取可靠语义信息,结合语义损失和标签匹配机制解决增强图语义漂移问题,在七个数据集上验证了有效性。
2023-10-20 cs.LG
Graph Contrastive Learning with Adaptive Augmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学);Alibaba Group(阿里巴巴集团)
近年来,对比学习(CL)已成为无监督图表示学习的一种成功方法。大多数图CL方法首先在输入图上执行随机增强以获得两个图视图,并最大化两个视图中的表示的一致性。尽管图CL方法的繁荣发展,图增强方案的设计-CL中的一个重要组成部分-仍然很少探索。我们认为,数据增强计划应该保持固有的结构和属性的图,这将迫使模型学习表示不敏感的扰动不重要的节点和边缘。然而,大多数现有的方法采用统一的数据增强方案,如均匀地丢弃边缘和均匀地混洗特征,导致次优性能。在本文中,我们提出了一种新的图形对比表示学习方法与自适应增强,结合各种先验的拓扑和语义方面的图。具体而言,在拓扑结构层面上,我们设计的增强方案的基础上,节点中心性措施,突出重要的连接结构。在节点属性层,我们通过向不重要的节点特征添加更多的噪声来破坏节点特征,以强制模型识别底层语义信息。我们在各种真实世界的数据集上进行了大量的节点分类实验。实验结果表明,我们提出的方法始终优于现有的最先进的基线,甚至超过一些监督同行,这验证了所提出的自适应增强的对比框架的有效性。
2021-02-26 cs.LG
AS-GCL: Asymmetric Spectral Augmentation on Graph Contrastive Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyberspace Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Renmin University of China(中国人民大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对图对比学习中随机增强破坏频谱结构的问题,本文提出AS-GCL,通过频谱增强、非对称扩散编码器和类间类内距离均衡的上界损失提升泛化,并在八个节点级基准上验证其优势。
2025-02-19 cs.LG
Edge Contrastive Learning: An Augmentation-Free Graph Contrastive Learning Model
Northwestern Polytechnical University(西北工业大学);China Telecom(中国电信);The University of Hong Kong(香港大学)
针对图对比学习中边缘级对比未被充分探索且计算负担重的问题,提出无增强边缘对比学习模型AFECL,通过节点嵌入拼接生成边缘特征并定义正负边缘对,在链接预测和半监督节点分类上达到SOTA性能。
2024-12-15 cs.LG
Parametric Augmentation for Time Series Contrastive Learning
School of Computing and Information Sciences, Florida International University(佛罗里达国际大学计算与信息科学学院);NEC Laboratories America(美国NEC实验室)
本研究提出参数化增强的对比学习框架 AutoTCL,通过信息论分析时间序列数据增强,支持与不同骨干编码器无缝集成,在预测和分类任务上取得优于基线的性能。
2024-02-16 cs.LG
PolyCL: Contrastive Learning for Polymer Representation Learning via Explicit and Implicit Augmentations
Imperial College London(帝国理工学院)
本研究提出自监督对比学习范式PolyCL,结合显式与隐式增强策略无需标签学习高质量聚合物表示,在迁移学习任务上性能优异,还确定了最优增强组合。
2024-08-14 cs.LG
Rethinking the Effect of Data Augmentation in Adversarial Contrastive Learning
Peking University(北京大学)
最近的研究表明,自监督学习在与对抗训练(AT)相结合时可以实现显着的鲁棒性。然而,监督AT(sup-AT)和自监督AT(self-AT)之间的鲁棒性差距仍然很大。受此观察的启发,我们重新审视现有的自AT方法,并发现影响自AT鲁棒性的固有困境:无论是强还是弱数据增强都对自AT有害,中等强度不足以弥合差距。为了解决这个难题,我们提出了一个简单的补救措施,名为DYNACL(动态对抗对比学习)。特别是,我们提出了一个增强时间表,逐渐退火从一个强增强到一个弱的,从两个极端的情况下受益。此外,我们采用了快速的后处理阶段,以适应下游任务。通过大量的实验,我们证明了DYNACL可以在CIFAR-10数据集上的自动攻击下将最先进的自AT鲁棒性提高8.84%,甚至可以首次超过普通的监督对抗训练。我们的代码可在\url{https://github.com/PKU-ML/DYNACL}上获得。
2023-03-03 cs.LG
Efficient Contrastive Learning via Novel Data Augmentation and Curriculum Learning
School of Computing, KAIST(韩国科学技术院计算机学院)
我们引入了EfficientCL,这是一种高效记忆的持续预训练方法,它采用了具有新数据增强和课程学习的对比学习。对于数据增强,我们依次堆叠两种类型的操作:截断和PCA抖动。当预训练步骤进行时,我们通过增加每个难度步骤的增强程度来应用课程学习。在数据增强完成后,对原始样本和扩充样本的投影嵌入应用对比学习。当在GLUE基准上进行微调时,我们的模型优于基线模型,特别是对于任务级任务。此外,与基线模型相比,这种改进仅需要70%的计算内存。
2021-10-18 cs.CL cs.LG
AASAE: Augmentation-Augmented Stochastic Autoencoders
Grid AI Labs(Grid人工智能实验室);New York University(纽约大学)
最近的自监督学习方法可以分为两种范式:对比和非对比方法。它们的成功在很大程度上归功于数据增强管道,该管道生成单个输入的多个视图,这些视图保留了底层语义。在这项工作中,我们介绍了增强随机自动编码器(AASAE),另一种替代自监督学习,基于自动编码。我们从传统的变分自编码器(VAE)开始,通过替换KL发散正则化,这是不可知的输入域,数据增强,明确鼓励内部表示编码域特定的不变性和等变性。我们凭经验评估所提出的AASAE对图像分类,类似于最近的对比和非对比学习算法已被评估。我们的实验证实了数据增强作为KL发散正则化的替代的有效性。AASAE在CIFAR-10上的表现优于VAE 30%,在STL-10上为40%,在Imagenet上为45%。在CIFAR-10和STL-10上,AASAE的结果在很大程度上与自监督学习的最新算法相当。
2022-02-07 cs.LG
SOLA-GCL: Subgraph-Oriented Learnable Augmentation Method for Graph Contrastive Learning
Beihang University(北京航空航天大学);Baidu Inc.(百度公司);Nanyang Technological University(南洋理工大学);Shanghai Jiao Tong University(上海交通大学)
本文提出 SOLA-GCL,一种面向子图的可学习图对比增强框架,通过子图划分及子图内外联合增强生成定制视图,并在多场景实验中验证其优于现有 GCL 方法。
2025-03-13 cs.LG
Augmentations in Graph Contrastive Learning: Current Methodological Flaws & Towards Better Practices
University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校)
无监督图表示学习对于标签可能稀缺或购买昂贵的广泛应用至关重要。对比学习(CL)是一个越来越受欢迎的范例,这种设置和国家的最先进的无监督视觉表示学习。最近的工作将视觉CL的成功归因于使用任务相关的增强和大型,多样化的数据集。有趣的是,图CL框架报告了强大的性能,尽管使用了数量级较小的数据集并采用了域不可知图增强(DAGA)。出于这种差异,我们探讨了使用DAGA的流行图CL框架学习的表示质量。我们发现,DAGA可以破坏任务相关的信息,损害模型的能力,学习歧视性的表示。在小的基准数据集上,我们证明了图神经网络的归纳偏差可以显着弥补这种弱的可分辨性。基于我们的研究结果,我们提出了几个健全的检查,使从业者能够快速评估他们的模型的学习表示的质量。我们进一步提出了一个广泛的策略,用于设计任务感知的增强,是服从图CL,并证明其功效两个大规模的,复杂的图形应用程序。例如,在基于图的文档分类中,我们发现任务感知增强将准确率提高了20%。
2022-03-11 cs.LG
A Theoretical Characterization of Optimal Data Augmentations in Self-Supervised Learning
School of Computation, Information and Technology(计算、信息与技术学院)
本文利用核理论推导 VICReg、Barlow Twins 与 Spectral Contrastive Loss 下实现目标表示的最优数据增强,并给出构造算法,证明增强无需类似或多样且架构影响显著。
2025-06-08 cs.LG
COSTA: Covariance-Preserving Feature Augmentation for Graph Contrastive Learning
The Chinese University of Hong Kong(香港中文大学);Australian National University(澳大利亚国立大学);Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
图对比学习(GCL)改进了图表示学习,从而在各种下游任务上实现SOTA。图增强步骤是GCL的一个重要但很少研究的步骤。在本文中,我们证明了通过图增强获得的节点嵌入是高度有偏的,这在一定程度上限制了对比模型学习下游任务的判别特征。因此,而不是调查输入空间中的图增强,我们也建议对隐藏特征进行增强(特征增强)。受所谓的矩阵草图的启发,我们提出了COSTA,一种新的协方差预服务的GCL特征空间增强框架,它通过保持原始特征的“良好草图”来生成增强特征。为了突出COSTA的特征增强的优越性,我们研究了一个单视图设置(除了多视图),节省内存和计算。我们表明,与COSTA的功能增强实现可比/更好的结果比基于图增强模型。
2022-06-13 cs.AI cs.LG
Contrastive Representation Learning with Trainable Augmentation Channel
Preferred Networks, Inc.(Preferred Networks公司);University of Oxford(牛津大学)
在对比表示学习中,训练数据表示,以便即使图像被增强改变,它也可以对图像实例进行分类。然而,根据数据集的不同,一些增强可能会损坏图像的信息,使其无法识别,并且这种增强可能会导致崩溃的表示。我们提出了一个部分解决这个问题的形式化的随机编码过程中,存在一个拔河之间的数据损坏所引入的扩增和编码器保存的信息。我们表明,基于此框架的infoMax目标,我们可以学习数据依赖的增强分布,以避免表示的崩溃。
2021-11-15 cs.LG stat.ML
Virtual Augmentation Supported Contrastive Learning of Sentence Representations
AWS AI Labs(AWS人工智能实验室)
尽管取得了巨大的成功,对比表示学习依赖于使用特定领域知识精心设计的数据增强。这种挑战在自然语言处理中被放大,其中由于自然语言的离散性质,不存在用于数据增强的一般规则。我们提出了一个虚拟增强支持的对比学习的句子表示(VaSCL)来应对这一挑战。从数据增强本质上构建每个训练实例的邻域的解释出发,我们反过来利用邻域来生成有效的数据增强。利用对比学习的大批量训练,我们通过表示空间中的K-最近邻来近似实例的邻域。然后,我们定义了一个关于这个邻域的实例判别任务,并以对抗训练的方式生成虚拟增强。我们在广泛的下游任务上访问VaSCL的性能,并为无监督句子表示学习设置了一个新的最先进的技术。
2022-02-25 cs.CL cs.LG
Heterogeneous Graph Contrastive Learning with Spectral Augmentation
School of Cyber Science and Engineering, Southeast University(东南大学网络空间安全学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
本文针对异构图表示学习忽略频谱信息的问题,提出谱增强图对比学习模型SHCL,首次在异构图神经网络中引入谱增强算法,通过自适应扰动频谱维度的结构信息提升学习效果,并在多个真实数据集上验证了其优势。
2024-06-30 cs.LG
Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室);Simon Fraser University(西蒙菲莎大学)
图对比学习(GCL)是通过扩充图来学习节点表示的一种学习方法。尽管各种图增强策略的扩散,一些基本的问题仍然不清楚:什么信息本质上是编码到学习表示的GCL?在不同的扩充背后是否有一些通用的图扩充规则?如果是,它们是什么,它们能带来什么样的见解?本文通过建立GCL与图谱之间的联系,回答了这些问题。通过谱域的实验研究,我们首先发现了GCL的广义grAph增强(GAME)规则,即,两个增广图之间的高频部分的差异应该大于低频部分的差异。该规则揭示了重新审视现有图扩充和设计新的有效图扩充的基本原理。然后,我们从理论上证明了GCL能够通过对比不变性定理学习不变性信息,结合我们的GAME规则,我们首次发现GCL学习的表示本质上编码了低频信息,这解释了为什么GCL工作。在此规则的指导下,我们提出了一个谱图对比学习模块(SpCo),这是一个通用的和GCL友好的插件。我们将其与不同的现有GCL模型相结合,大量的实验表明,它可以进一步提高各种不同的GCL方法的性能。
2022-10-05 cs.LG
DDA: Dimensionality Driven Augmentation Search for Contrastive Learning in Laparoscopic Surgery
the University of Melbourne(墨尔本大学);St Vincent’s Hospital Melbourne(墨尔本圣文森特医院)
本文提出维度驱动增强搜索方法DDA,利用深度表示局部维度作为代理目标,在对比学习中自动搜索腹腔镜手术图像的合适增强策略,并在三个分类与分割任务上显著优于现有基线。
2024-06-06 cs.CV cs.LG
Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations
Texas A&M University(德克萨斯A&M大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
自我监督最近在图形学习的新前沿蓬勃发展。它促进了有利于下游任务的图形表示;但它的成功可能取决于手工或通常昂贵的试验和错误的领域知识。即使是其最先进的代表,图对比学习(GraphCL),也不能完全摆脱这些需求,因为GraphCL使用由图数据增强的临时手动选择反映的预制先验。我们的工作旨在通过回答以下问题来推进GraphCL:如何表示图增强视图的空间?在那个空间里,学习先验知识可以依靠什么原则?什么样的框架可以被构建来与对比学习同步学习先验知识?因此,我们已经扩展了预制的离散先验的增强集,一个可学习的连续先验的参数空间中的图形生成器,假设图形先验本身,类似于图像流形的概念,可以通过数据生成来学习。此外,为了形成对比视图,而不会由于先前的可学习性而崩溃到平凡的解决方案,我们利用了信息最小化(InfoMin)和信息瓶颈(InfoBN)的原则来正则化学习的先验知识。最终,对比学习,InfoMin和InfoBN有机地结合到一个框架的双层优化。我们的原则性和自动化方法已被证明与最先进的图形自我监督方法(包括GraphCL)在小图基准上具有竞争力;并且在大规模图上显示出更好的泛化能力,而无需诉诸人类专业知识或下游验证。我们的代码在https://github.com/Shen-Lab/GraphCL_Automated上公开发布。
2022-01-04 cs.LG
Graph Contrastive Learning with Implicit Augmentations
The University of Sydney(悉尼大学);ByteDance AI Lab(字节跳动人工智能实验室);University of California San Diego(加利福尼亚大学圣迭戈分校)
现有的图对比学习方法依赖于基于随机扰动的增强技术(例如,随机添加或丢弃边和节点)。然而,改变某些边或节点可能会意外地改变图形特征,并且为每个数据集选择最佳扰动率需要繁重的手动调整。在本文中,我们介绍了隐式图对比学习(iGCL),它利用增广的潜在空间学习的变化图自动编码器通过重建图的拓扑结构。重要的是,而不是显式地从潜在分布中采样增强,我们进一步提出了一个上限的预期对比损失,以提高我们的学习算法的效率。因此,图语义可以以智能的方式保留在扩充中,而无需任意的手动设计或先前的人类知识。图形级和节点级任务的实验结果表明,与其他基准测试相比,所提出的方法达到了最先进的性能,其中消融研究最终证明了iGCL中模块的有效性。
2022-11-07 cs.LG stat.ML
Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯)
近年来,图神经网络(GNNs)在推荐方面取得了显著的成功.为了减少数据稀疏性的影响,图对比学习(GCL)被用于基于GNN的CF方法,以提高性能。大多数GCL方法包括数据增强和对比损失(例如,InfoNCE)。GCL方法通过手工制作的图增强来构建对比对,并最大化同一节点的不同视图与其他节点的视图之间的一致性,这被称为InfoMax原则。然而,不适当的数据增强会阻碍GCL的性能。InfoMin原则,即良好的视图集共享最少的信息,并为设计更好的数据增强提供指导。在本文中,我们首先提出了一种新的数据增强(即,边缘操作包括边缘增加和边缘减少)。在此基础上,提出了一个基于信息最小化原理的对比学习框架--可学习的数据增强对比学习(LDA-GCL)。我们的方法包括数据增强学习和图对比学习,分别遵循InfoMin和InfoMax原则。在实现中,我们的方法优化了对抗损失函数,以学习数据增强和用户和项目的有效表示。在四个公共基准数据集上的实验证明了LDA-GCL的有效性。
2023-02-05 cs.IR cs.LG cs.SI
Graph Contrastive Learning Automated
Texas A&M University(德州农工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
图结构数据上的自监督学习最近引起了人们的兴趣,从未标记的图中学习可推广的,可转移的和鲁棒的表示。其中,图对比学习(GraphCL)已经出现了有前途的表示学习性能。不幸的是,与图像数据上的对应物不同,GraphCL的有效性取决于ad-hoc数据增强,由于图形数据的多样性,这些数据必须通过经验法则或试错法手动选择每个数据集。这极大地限制了GraphCL的更普遍的适用性。为了填补这一关键空白,本文提出了一个统一的双层优化框架,自动,自适应和动态选择数据增强时,特定的图形数据执行GraphCL。一般的框架,被称为JOint增强优化(JOAO),被实例化为最小-最大优化。JOAO所做的增强选择显示出与以前从手工调整中观察到的“最佳实践”基本一致:但现在是自动化的,更加灵活和通用。此外,我们提出了一种新的增强感知投影头机制,该机制将通过与每个训练步骤中选择的不同增强相对应的不同投影头来路由输出特征。大量的实验表明,JOAO在各种规模和类型的多个图数据集上的表现与包括GraphCL在内的最先进的竞争对手相当,有时甚至更好,但无需对增强选择进行任何费力的特定于小程序的调整。我们在https://github.com/Shen-Lab/GraphCL_Automated上发布代码。
2021-06-28 cs.LG
Spectral Augmentations for Graph Contrastive Learning
Huawei(华为);Tianjin University(天津大学);McGill(麦吉尔大学)
对比学习已经成为一种在有监督或无监督的情况下学习表征的首要方法。最近的研究表明,它的效用图表示学习的预训练。尽管取得了成功,但对如何设计有效的图增强的理解仍然是不完整的,这些图增强可以捕获许多不同类型的下游图所共有的结构属性。我们提出了一组动机良好的图变换操作,通过图谱分析,以提供一个银行的候选人时,构建增强图对比目标,使对比学习,以捕捉有用的结构表示从预训练图数据集。首先,我们提出了一个频谱图裁剪增强,涉及过滤节点应用阈值的领导拉普拉斯特征向量的特征值。我们的第二个新的增强重新排序的图形频率分量的结构拉普拉斯导出的位置图嵌入。此外,我们介绍了一种方法,导致改进的本地子图的意见,通过执行对齐通过全球随机游走嵌入。我们的实验结果表明,与最先进的图对比学习方法相比,域外图数据传输得到了一致的改进,从而揭示了如何设计一个能够学习不同图类型共同结构属性的图学习器。
2023-02-06 cs.AI cs.LG
Improving Contrastive Learning with Model Augmentation
Salesforce Research(赛富时研究院);Arizona State University(亚利桑那州立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
序列推荐的目的是预测用户行为中的下一个项目,可以通过描述序列中项目之间的关系来解决。针对序列中数据稀疏性和噪声问题,提出了一种新的自监督学习(SSL)方法,利用序列正反两个视角之间的对比学习来提高学习性能。然而,现有的方法都是从数据的角度采用增强来构建视图,而我们认为:1)最佳的数据增强方法很难设计,2)数据增强方法破坏序列相关性,3)数据增强未能纳入全面的自监督信号。因此,我们调查的可能性模型增强构建视图对。我们提出了三个层次的模型增强方法:神经元掩蔽,层下降,和编码器补充。这项工作开辟了一个新的方向,在构建对比SSL的意见。实验验证了模型增强方法在SSL序列推荐中的有效性。代码为\footnote{\url{https://github.com/salesforce/SRMA}}。
2022-03-25 cs.AI cs.IR cs.LG
Guidelines for Augmentation Selection in Contrastive Learning for Time Series Classification
RMIT(皇家墨尔本理工大学)
针对时间序列对比学习中增强选择依赖经验或网格搜索效率低的问题,提出基于趋势、季节性特征的增强选择框架,经合成与真实数据集验证,Recall@3达0.667,为相关研究提供指导。
2024-07-12 cs.AI cs.LG
LAC: Graph Contrastive Learning with Learnable Augmentation in Continuous Space
School of Computer Science(计算机学院);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出图对比学习框架 LAC,通过在正交连续空间中进行可学习的数据增强,并结合 InfoBal 信息论原则设计 pretext 任务,在无监督节点表示学习中显著超越现有方法。
2024-10-20 cs.AI cs.LG
Features Based Adaptive Augmentation for Graph Contrastive Learning
University of Science and Technology of China(中国科学技术大学)
自监督学习旨在消除图表示学习中昂贵的注释,其中图对比学习(GCL)使用包含数据-数据对的自监督信号进行训练。这些数据-数据对是在原始图上使用随机函数增强而生成的。我们认为,某些特征可能比其他特征更关键,这取决于下游任务,并且均匀地应用随机函数会破坏有影响力的特征,导致准确性降低。为了解决这个问题,我们引入了一种基于特征的自适应增强(FebAA)方法,该方法可以识别和保留潜在的有影响力的特征,并破坏其余的特征。我们将FebAA实现为即插即用层,并将其与最先进的深度图对比学习(GRACE)和引导图潜在(BGRL)一起使用。我们成功地提高了八个图表示学习的基准数据集上的GRACE和BGRL的准确性。
2022-07-05 cs.AI cs.LG
CGCL: Collaborative Graph Contrastive Learning without Handcrafted Graph Data Augmentations
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司);Chinese Academy of Sciences(中国科学院)
本文提出协作图对比学习框架CGCL,通过多个互补图编码器观察图并以其特征作为对比视图,避免手工图增强带来的不稳定扰动,从而提升无监督图级表示学习性能。
2024-04-01 cs.AI cs.LG
Analysis of Augmentations for Contrastive ECG Representation Learning
Ingenuity Labs Research Institute(Ingenuity Labs研究院)
本文系统地研究了心电图(ECG)信号的对比自监督学习的各种增强的有效性,并确定了最佳参数。我们提出的自监督框架的基线包括两个主要部分:对比学习和下游任务。在第一阶段,我们训练编码器使用一些扩增提取概括的ECG信号表示。然后,我们冻结编码器并微调具有不同量的标记数据的几个线性层,用于下游心律失常检测。然后,我们用各种增强技术进行实验,并探索一系列参数。我们的实验是在PTB-XL上完成的,PTB-XL是一个大型的公开的12导联ECG数据集。结果表明,在特定的复杂度范围内应用增强对于自监督对比学习效果更好。例如,当添加高斯噪声时,0.1到0.2范围内的sigma可以获得更好的结果,而当添加的噪声太小或太大(超出指定范围)时,会出现较差的训练。在其他增强中也观察到类似的趋势,这表明为所添加的增强选择最佳难度水平的重要性,因为太简单的增强不会导致有效的训练,而太困难的增强也会阻止模型有效地学习广义表示。我们的工作可以影响未来的研究自我监督对比学习的生物信号,并帮助选择最佳参数为不同的增强。
2022-05-30 cs.AI cs.LG eess.SP
An Augmentation Overlap Theory of Contrastive Learning
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(一般人工智能国家重点实验室,智能科学与技术学院,北京大学);CSAIL, MIT(计算机科学与人工智能实验室,麻省理工学院);Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学)
本文针对自监督对比学习机制不清的问题,提出增强重叠理论,通过放宽条件独立性假设推导下游性能渐近闭合界限,并基于该理论开发了一种与下游性能高度对齐的无监督表示评估指标。
2025-11-05 cs.AI cs.LG
ARIEL: Adversarial Graph Contrastive Learning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
本文提出对抗性图对比学习(ARIEL),通过对抗性图视图增强数据,结合信息正则化与子图采样,在节点和图级分类任务上优于现有方法,并更具鲁棒性。
2024-02-06 cs.LG
Feature Dropout: Revisiting the Role of Augmentations in Contrastive Learning
Stanford University(斯坦福大学)
增强在对比学习中扮演什么角色?最近的工作表明,良好的扩增是标签保留相对于一个特定的下游任务。我们通过展示破坏标签的增强在基础模型设置中可能是有用的来使这幅图复杂化,在该设置中,目标是为多个下游任务学习多样化的通用表示。我们对一系列图像和音频数据集进行了对比学习实验,并进行了多个下游任务(例如,叠加在照片上的数字,预测一个与另一个的类别)。我们发现,Viewmaker网络,最近提出的对比学习的学习增强模型,产生标签破坏增强,随机破坏不同的下游任务所需的功能。这些增强是可解释的(例如,改变形状,数字或添加到图像中的字母),并且令人惊讶的是,与专家设计的增强相比,这些增强通常会产生更好的性能,尽管不保留标签信息。为了支持我们的实证结果,我们从理论上分析了一个简单的对比学习设置与线性模型。在这种情况下,标签破坏增强对于防止一组特征抑制对另一个下游任务有用的特征的学习至关重要。我们的研究结果强调,需要分析多个下游任务之间的相互作用时,试图解释基础模型的成功。
2022-12-16 cs.CV cs.LG cs.SD
Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
The University of Hong Kong(香港大学);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院);Fudan University(复旦大学);School of Artificial Intelligence, OPtics(人工智能学院);ElectroNics (iOPEN), Northwestern Polytechnical University(西北工业大学电子学院)
本文研究对比学习与正激励噪声的联系,定义了任务熵并提出正激励噪声生成器,通过可视化证明所提方法有效。
2026-05-08 cs.CV cs.LG
Multi-Task Curriculum Graph Contrastive Learning with Clustering Entropy Guidance
Northwestern Polytechnical University(西北工业大学);China Telecom(中国电信)
针对图对比学习中随机增强破坏语义及固定样本选择策略难以处理复杂数据的问题,提出CCGL框架,利用聚类熵引导图增强与多任务课程学习,自适应调整样本选择策略,显著提升了无监督深度图聚类的性能。
2024-08-22 cs.LG
Analyzing Data-Centric Properties for Graph Contrastive Learning
University of Michigan(密歇根大学);CBS, Harvard University(哈佛大学CBS);Lawrence Livermore National Labs(劳伦斯利弗莫尔国家实验室)
最近对自监督学习(SSL)的分析发现,以下以数据为中心的属性对于学习良好的表示至关重要:对任务无关语义的不变性,某些潜在空间中的类的可分离性,以及从增强样本中恢复标签的可恢复性。然而,鉴于其离散的非欧几里德性质,图数据集和图SSL方法不太可能满足这些属性。这就提出了一个问题:图SSL方法,如对比学习(CL),如何工作得很好?为了系统地探讨这个问题,我们使用通用图增强(GGA)时对CL进行了泛化分析,重点是以数据为中心的属性。我们的分析产生正式的见解GGA的局限性和任务相关的增强的必要性。正如我们的经验所示,GGA不会在常见的基准数据集上引起任务相关的不变性,从而导致相对于天真的、未经训练的基线只有边际收益。我们的理论激发了一个合成数据生成过程,使控制任务相关的信息,并拥有预定义的最佳增强。这个灵活的基准可以帮助我们识别高级增强技术中尚未认识到的限制(例如,自动化方法)。总的来说,我们的工作严格地从经验和理论上分析了以数据为中心的属性对图SSL的增强策略和学习范式的影响。
2023-01-23 cs.LG
Temporal Graph Representation Learning with Adaptive Augmentation Contrastive
Hangzhou Dianzi University(杭州电子科技大学);Tianjin University(天津大学)
针对时序图表示学习易捕捉时序相关噪声的问题,提出结合先验与时序信息的自适应增强对比TGAC模型及三种拓扑修改增强策略,在真实网络上性能优于现有方法。
2023-11-07 cs.AI cs.LG
Augmentations in Hypergraph Contrastive Learning: Fabricated and Generative
University of Texas at Austin(德克萨斯大学奥斯汀分校);Texas A&M University(德州农工大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文的目标是通过应用图像/图形的对比学习方法(我们称之为HyperGCL)来提高超图神经网络在低标签区域的泛化能力。我们主要研究了以下问题:如何通过增广构造超图的对比视图?我们提供了两个折叠的解决方案。首先,在领域知识的指导下,我们提出了两种方案来增加超边与高阶关系编码,并采用三个顶点增加策略,从图结构的数据。其次,为了以数据驱动的方式寻找更有效的视图,我们首次提出了一个超图生成模型来生成增强视图,然后提出了一个端到端的可微分管道来共同学习超图增强和模型参数。我们的技术创新体现在设计超图的制造和生成增强。实验结果包括:(i)在HyperGCL中的构造扩充中,扩充超边提供了最多的数值增益,这意味着结构中的高阶信息通常更下游相关;(ii)生成扩充在保留高阶信息方面做得更好,以进一步有利于推广;(iii)HyperGCL还提高了超图表示学习的鲁棒性和公平性。代码发布于https://github.com/weitianxin/HyperGCL。
2022-10-07 cs.AI cs.LG
Simple Graph Contrastive Learning via Fractional-order Neural Diffusion Networks
Nanyang Technological University(南洋理工大学);Anhui University(安徽大学)
本文提出一种基于分数阶微分方程的无增强图对比学习框架,通过调节阶参数生成多样视图,无需负样本,适用于同质与异质数据集,性能达到最优。
2025-04-24 cs.LG
SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Zhejiang University(浙江大学)
图对比学习(GCL)已经成为图表示学习的主要技术,它最大化共享相同语义的成对图增强之间的互信息。不幸的是,鉴于图数据的多样性,在扩充期间很难很好地保持语义。目前,GCL中旨在保持语义的数据扩充大致分为三种不令人满意的方式。首先,可以通过试错法手动挑选每个数据集的增强。其次,可以通过繁琐的搜索来选择增强。第三,可以通过引入昂贵的特定领域知识作为指导来获得增强。所有这些都限制了现有GCL方法的效率和更普遍的适用性。为了规避这些关键问题,我们提出了一个\underline{Sim} ple框架,用于\underline{GRA} ph \underline{C}对比\underline{E} arning,为简洁起见,\textbf{SimGRACE},它不需要数据扩充。具体来说,我们以原始图作为输入,GNN模型及其扰动版本作为两个编码器,以获得两个相关的视图进行对比。SimGRACE的灵感来自于这样的观察:图数据可以在编码器扰动期间很好地保留其语义,同时不需要手动试错、繁琐的搜索或昂贵的领域知识来进行增强选择。同时,我们也解释了为什么SimGRACE能够成功。此外,我们设计了对抗训练方案,称为\textbf{AT-SimGRACE},以提高图对比学习的鲁棒性,并从理论上解释了原因。虽然简单,我们表明,SimGRACE可以产生竞争力或更好的性能相比,国家的最先进的方法在概括性,可转移性和…
2023-03-20 cs.LG cs.SI
Automatic Data Augmentation Selection and Parametrization in Contrastive Self-Supervised Speech Representation Learning
对比学习通过最大化相似信号段的潜在表示之间的相似性,使得能够学习有用的音频和语音表示而无需地面实况标签。在这个框架中,通常利用各种数据增强技术来帮助在学习的表示中执行所需的不变性,由于更鲁棒的嵌入,提高了各种音频任务的性能。现在,选择最相关的增强已被证明是改善下游性能的关键。因此,这项工作介绍了一种基于条件独立性的方法,该方法允许从一组预定义的增强及其参数化的选择中自动选择合适的分布,用于对比自监督预训练。这是针对感兴趣的下游任务执行的,因此节省了昂贵的超参数搜索。在两个不同的下游任务上进行的实验验证了所提出的方法,显示出比没有增强或基线增强的实验更好的结果。此外,我们根据所考虑的最终下游数据集对自动选择的增强及其变化进行定性分析。
2022-04-08 cs.LG cs.SD eess.AS
Unifying Graph Contrastive Learning via Graph Message Augmentation
Anhui University(安徽大学)
本文提出图消息增强(GMA)作为统一现有图数据增强方法的通用方案,并基于此构建图消息对比学习(GMCL)框架,为图自监督学习提供了新视角与更有效的增强手段。
2024-01-08 cs.CV cs.LG
Augmentation Component Analysis: Modeling Similarity via the Augmentation Overlaps
Nanjing University(南京大学)
自监督学习旨在学习语义相似样本接近的嵌入空间。对比学习方法将样本的视图拉到一起,将不同的样本推开,利用了增强的语义不变性,但忽略了样本之间的关系。为了更好地利用增强的力量,我们观察到语义相似的样本更有可能具有相似的增强视图。因此,我们可以将增强视图作为样本的特殊描述。在本文中,我们模型的增广分布,我们称之为增广功能的描述。增强特征的相似性反映了两个样本的视图重叠程度,并与它们的语义相似性有关。在没有计算负担来明确估计增强特征的值的情况下,我们提出了增强分量分析(ACA),其具有类似对比的损失来学习主分量和实时投影损失来嵌入数据。ACA相当于PCA的有效降维,并提取低维嵌入,理论上保持了样本之间增强分布的相似性。实验结果表明,我们的方法可以取得竞争力的结果,对各种传统的对比学习方法在不同的基准。
2023-02-16 cs.CV cs.LG
ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
该研究针对自监督对比学习可迁移性理论理解不足的问题,构建理论框架分析数据增强的影响,发现对比学习难学域不变特征,据此提出ArCL方法,可提升对比学习的可迁移性。
2023-12-12 cs.AI cs.CV cs.LG
Evolution Is All You Need: Phylogenetic Augmentation for Contrastive Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
生物序列嵌入的自监督表示学习消除了下游任务的计算资源约束,同时避免了昂贵的实验标签获取。然而,现有的方法大多直接借用为NLP设计的大型语言模型,而不是考虑到生物信息学哲学。最近,对比互信息最大化方法已经为ImageNet实现了最先进的表示。在这篇观点文章中,我们讨论了如何将进化视为自然序列增强和最大化系统发育“噪声通道”中的信息,这是预训练编码器的生物学和理论上理想的目标。我们首先提供了一个回顾目前的对比学习文献,然后提供了一个说明性的例子,我们表明,使用进化增强的对比学习可以被用来作为一个代表性的学习目标,最大限度地提高生物序列和它们的保守功能之间的互信息,最后概述这种方法的基本原理。
2020-12-25 cs.LG cs.NE q-bio.BM
Spatiotemporal Contrastive Learning of Facial Expressions in Videos
Queen’s University(女王大学);Ingenuity Labs Research Institute(英格纽蒂实验室研究院)
提出了一种自监督的对比学习方法用于视频中的面部表情识别。我们提出了一种新的基于时间采样的增强方案,除了标准的空间增强用于对比学习。我们提出的时间增强方案从三种时间采样技术中随机选取:(1)纯随机采样,(2)均匀采样和(3)顺序采样。随后是最多三个标准空间增强的组合。然后,我们使用一个深度R(2+1)D网络的FER,我们训练在一个自我监督的方式的基础上增强,随后微调。在Oulu-CASIA数据集上进行了实验,并将其性能与FER中的其他作品进行了比较。结果表明,我们的方法达到了89.4%的准确率,设置一个新的国家的最先进的优于其他作品。额外的实验和分析证实了相当大的贡献,拟议的时间增强与现有的空间。
2021-08-06 cs.CV cs.LG
Augmentation-Free Graph Contrastive Learning with Performance Guarantee
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);University of Technology Sydney(悉尼科技大学)
图对比学习(Graph Contrast Learning,GCL)是最具代表性和最流行的图结构数据自监督学习方法。尽管其显着的成功,现有的GCL方法高度依赖于增强方案来学习在不同的增强视图中不变的表示。在这项工作中,我们重新审视这样一个公约在GCL通过检查增强技术对图形数据的影响,通过镜头的光谱理论。我们发现,图扩充保留了低频分量,扰动了图的中高频分量,这有助于GCL算法在同伦图上的成功,但由于异伦数据的高频偏好,阻碍了其在异伦图上的应用。基于此,我们提出了一种新的,理论上的原则,和增广的GCL方法,命名为AF-GCL,(1)利用图神经网络聚合的特征来构建自我监督信号,而不是增广,因此(2)对图的同质性程度不太敏感。在理论上,我们提出了AF-GCL的性能保证,并分析了AF-GCL的有效性。在14个具有不同程度的异质性的基准数据集上进行的大量实验表明,AF-GCL在同质图上具有竞争力或更好的性能,并且在异质图上的性能优于所有现有的最先进的GCL方法,并且计算开销显着减少。
2022-06-05 cs.LG cs.SI
Domain Generalisation with Domain Augmented Supervised Contrastive Learning (Student Abstract)
The University of Adelaide(阿德莱德大学)
域泛化(DG)方法解决了当训练域和目标域的分布不匹配时的域转移问题。数据增强方法已成为DG的一种有前途的替代方案。然而,单独的数据增强不足以实现较低的概括误差。该项目提出了一种新的方法,结合数据增强和域距离最小化,以解决与数据增强相关的问题,并提供一个学习性能的保证,在现有的框架下。从经验上讲,我们的方法优于DG基准的基线结果。
2020-12-27 cs.CV cs.LG
Consistency of augmentation graph and network approximability in contrastive learning
Department of Statistics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校统计学系);Faculty of Mathematics, University of Vienna(维也纳大学数学系)
本文通过证明增强图拉普拉斯算子在特定条件下收敛于流形上的加权 Laplace-Beltrami 算子,建立了谱一致性,从而解决了对比学习中神经可逼近性的可实现性假设问题。
2026-09-15 cs.LG math.AP math.SP
Graph Contrastive Learning with Augmentations
University of Science and Technology of China(中国科学技术大学);Google Research, Brain Team(谷歌研究院,大脑团队);Texas A&M University(德克萨斯A&M大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
对图结构数据的可推广、可转移和鲁棒的表示学习仍然是当前图神经网络(GNN)的挑战。与针对图像数据的卷积神经网络(CNN)开发的不同,GNN较少探索自监督学习和预训练。在本文中,我们提出了一个图对比学习(GraphCL)框架学习无监督表示的图形数据。我们首先设计了四种类型的图扩充,将各种先验。然后,我们系统地研究了图增强的各种组合对多个数据集的影响,在四个不同的设置:半监督,无监督和迁移学习以及对抗攻击。结果表明,即使没有调整增强范围,也没有使用复杂的GNN架构,与最先进的方法相比,我们的GraphCL框架也可以产生类似或更好的泛化能力,可转移性和鲁棒性的图形表示。我们还研究了参数化图增强范围和模式的影响,并在初步实验中观察到进一步的性能提升。我们的代码可在https://github.com/Shen-Lab/GraphCL上获得。
2021-04-03 cs.AI cs.LG
Spectral Feature Augmentation for Graph Contrastive Learning and Beyond
The Chinese University of Hong Kong(香港中文大学);Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/澳大利亚联邦科学与工业研究组织)
虽然增强(例如,图边缘的扰动、图像裁剪)提高了对比学习(CL)的效率,特征级增强是另一种合理的、互补的但尚未得到充分研究的策略。因此,我们提出了一种新的光谱特征论证的对比学习的图形(和图像)。为此,对于每个数据视图,我们估计每个特征映射的低秩近似,并从映射中减去该近似以获得其补。这是通过本文提出的不完全功率迭代来实现的,不完全功率迭代是一种非标准功率迭代机制,其具有两个有价值的副产品(在仅仅一次或两次迭代下):(i)它部分地平衡特征图的频谱,以及(ii)它将噪声注入到特征图的重新平衡的奇异值中(频谱增强)。对于两个视图,我们将这些重新平衡的特征图对齐,因为改进的对齐步骤可以更多地关注两个视图的矩阵的不太占主导地位的奇异值,而光谱增强不影响光谱角度对齐(奇异向量不受干扰)。我们推导出的解析形式:(i)不完整的功率迭代,以捕捉其频谱平衡效果,和(ii)的奇异值的方差增加隐含的噪声。我们还表明,谱增强提高了泛化界。在图形/图像数据集上的实验表明,我们的光谱特征增强优于基线,与其他增强策略互补,并与各种对比度损失兼容。
2022-12-02 cs.AI cs.CV cs.LG
Simple and Asymmetric Graph Contrastive Learning without Augmentations
Zhejiang University(浙江大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出GraphACL,一种无需图增强和同质性假设的简单非对称图对比学习方法,通过捕获一跳邻域与两跳单配相似性,在同配和异配图上均显著超越现有方法。
2024-02-24 cs.LG stat.ML
Training GANs with Stronger Augmentations via Contrastive Discriminator
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
生成对抗网络(GANs)的最新工作正在积极地重新审视各种数据增强技术,作为防止过拟合的有效方法。然而,目前还不清楚哪些增强可以真正改善GANs,特别是如何在训练中应用更广泛的增强。在本文中,我们提出了一种新的方法来解决这些问题,将最近的对比表示学习计划纳入GAN的框架,创造了ContraD。这种“融合”使判别器能够在不增加其训练不稳定性的情况下使用更强的增强,从而更有效地防止GANs中的过拟合问题。更好的是,我们观察到对比学习本身也受益于我们的GAN训练,即,通过维持真实样本和假样本之间的区分特征,表明两个世界之间具有很强的一致性:良好的对比表示也有利于GAN鉴别器,反之亦然。我们的实验结果表明,与采用数据增强的其他最新技术相比,具有ContradD的GANs始终提高了FID和IS,在线性评估方面仍然保持了高分辨力的特征。最后,作为一个副产品,我们还表明,我们的GANs以无监督的方式(无标签)训练,可以通过简单的潜在采样,利用ContraD的学习功能,诱导许多条件生成模型。代码可在https://github.com/jh-jeong/ContraD上获得。
2021-03-17 cs.AI cs.CV cs.LG
HiTeC: Hierarchical Contrastive Learning on Text-Attributed Hypergraph with Semantic-Aware Augmentation
The University of New South Wales(新南威尔士大学);University of Wollongong(沃拉彭大学)
提出HiTeC框架,通过两阶段层次对比学习,结合结构感知文本编码预训练和语义感知增强,解决文本属性超图中文本与拓扑关联不足、随机增强噪声及长程依赖捕获问题。
2026-05-25 cs.AI cs.LG