Through the Dual-Prism: A Spectral Perspective on Graph Data Augmentation for Graph Classification
National University of Singapore(新加坡国立大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文从频谱视角研究图数据增强,提出保留低频特征值的Dual-Prism方法(含DP-Noise和DP-Mask),在保持图属性的同时实现结构多样化,为图分类增强提供新方向。
2025-01-29 cs.LG
AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification
Seoul National University(首尔大学);Soongsil University(崇实大学)
针对图分类中图神经网络过拟合问题,提出增强感知框架AugWard,通过预测增强图与原始图的图距离并引入一致性正则化,在监督、半监督及迁移学习中达到最先进性能。
2025-03-27 cs.LG
Learnable Model Augmentation Self-Supervised Learning for Sequential Recommendation
Soochow University(苏州大学);Suzhou Vocational University(苏州市职业大学);Macquarie University(麦考瑞大学);Beihang University(北京航空航天大学);Rutgers University(罗格斯大学);The University of Central Arkansas(中阿肯色大学)
顺序推荐的目标是根据用户行为预测下一个项目。最近,已经提出了自监督学习(SSL)来提高推荐性能。然而,大多数现有的SSL方法使用统一的数据增强方案,这丢失了原始序列的序列相关性。为此,在本文中,我们提出了一个可学习的模型增强自监督学习顺序推荐(LMA 4 Rec)。具体来说,LMA4Rec首先将模型增强作为数据增强的补充方法来生成视图。然后,LMA4Rec使用可学习的Bernoulli dropout来实现模型增强可学习操作。接下来,在对比视图之间使用自监督学习以从原始序列中提取自监督信号。最后,在三个公开数据集上的实验表明,与基线方法相比,LMA4Rec方法有效地提高了顺序推荐性能.
2022-04-21 cs.IR cs.LG
Data Augmentation for Graph Data: Recent Advancements
Information Technology University(信息技术大学)
基于图神经网络(GNNs)的方法最近已经成为一种流行的工具来处理图形数据,因为它们能够合并结构信息。GNN性能的唯一障碍是缺乏标记数据。由于图形数据的复杂性和非欧性,图像和文本数据的数据增强技术不能用于图形数据。这一差距迫使研究人员将重点转向图形数据的数据增强技术的发展。大多数提出的图数据增强(GDA)技术是特定于任务的。在本文中,我们调查现有的GDA技术的基础上,不同的图形任务。本调查不仅为GDA的研究提供了参考,也为其他领域的研究者提供了必要的信息。
2022-08-25 cs.LG
Explanation-Preserving Augmentation for Semi-Supervised Graph Representation Learning
Florida International University(佛罗里达国际大学)
针对现有图表示学习增强方法仅关注数据扰动、忽略语义保留的问题,提出半监督的EPA-GRL方法,利用图解释生成语义保留增强,经理论与实验验证其性能优于现有SOTA方法。
2025-11-14 cs.LG
Data Augmentation for Graph Neural Networks
Snap Inc.(Snap公司)
数据增强已被广泛用于提高机器学习模型的泛化能力。然而,相对较少的工作研究数据增强的图形。这在很大程度上是由于图的复杂的非欧几里德结构,这限制了可能的操作。在视觉和语言中常用的增广运算在图形中没有类似的东西。我们的工作研究了在改进半监督节点分类的背景下图神经网络(GNNs)的图数据增强。我们讨论了实际和理论的动机,考虑和战略图数据增强。我们的工作表明,神经边缘预测器可以有效地编码类同构结构,以促进给定图结构中的类内边缘和降级类间边缘,我们的主要贡献是引入了GAug图数据增强框架,该框架利用这些见解通过边缘预测来提高基于GNN的节点分类的性能。在多个基准测试上进行的大量实验表明,通过GAug进行增强可以提高GNN架构和数据集的性能。
2020-12-02 cs.LG stat.ML
Metropolis-Hastings Data Augmentation for Graph Neural Networks
Korea University(高丽大学);NAVER CLOVA;NAVER AI LAB(NAVER人工智能实验室)
图神经网络(GNNs)尽管在各种基于图的任务上有很好的效果,但由于稀疏标记的数据,GNNs通常会遭受弱泛化。数据增强是一种普遍的方法来提高模型的泛化能力。然而,由于数据空间的非欧几里得性质和样本之间的依赖性,设计有效的增强图是具有挑战性的。在本文中,我们提出了一个新的框架大都市-黑斯廷斯数据增强(MH-Aug),从一个明确的目标分布半监督学习绘制增强图。MH-Aug从目标分布中生成一系列增强图,可以灵活控制增强的强度和多样性。由于从复杂目标分布中直接采样具有挑战性,我们采用Metropolis-Hastings算法来获得增强样本。我们还提出了一种简单有效的半监督学习策略,使用MH-Aug生成的样本。我们广泛的实验表明,MH-Aug可以根据目标分布生成样本序列,以显着提高GNN的性能。
2022-03-26 cs.LG
Data Augmentation on Graphs: A Technical Survey
Zhejiang University of Technology(浙江工业大学);City University of Hong Kong(香港城市大学)
本综述全面梳理图数据增强(GDAug)技术,按多尺度图元素分类,明确各类技术定义与细节,覆盖多类特殊图的增强方法,总结评估指标与设计准则,展望应用与未来方向。
2024-06-21 cs.LG
Label-invariant Augmentation for Semi-Supervised Graph Classification
Brandeis University(布兰迪斯大学)
近年来,基于对比度的增强技术在计算机视觉领域掀起了一个新的高潮,旋转、裁剪、翻转等操作与专用算法相结合,极大地提高了模型的泛化能力和鲁棒性。在这种趋势下,一些开创性的尝试将类似的想法用于图形数据。然而,与图像不同,在不改变图的性质的情况下设计合理的增强要困难得多。虽然令人兴奋,但目前的图形对比学习并没有达到视觉对比学习那样有前途的性能。我们推测,图对比学习的当前性能可能受到违反标签不变扩增假设的限制。有鉴于此,我们提出了一个标签不变的增强图结构的数据,以解决这一挑战。与节点/边修改和子图提取不同,我们在表示空间中进行增强,并在最困难的方向生成增强样本,同时保持增强数据的标签与原始样本相同。在半监督的情况下,我们证明了我们提出的方法优于经典的图神经网络的方法和最近的图对比学习的8个基准图结构的数据,其次是几个深入的实验,以进一步探索标签不变的增强在几个方面。
2022-05-19 cs.AI cs.CV cs.LG
Structural Imbalance Aware Graph Augmentation Learning
Nanjing University of Posts and Telecommunications(南京邮电大学)
图机器学习(GML)在节点分类、链接预测、图分类等方面取得了很大进展,但现实中的图往往是结构不平衡的,即只有少数枢纽节点具有更密集的局部结构和更高的影响力。这种不平衡可能会损害现有GML模型的鲁棒性,特别是在学习尾节点方面。本文提出了一种选择性图增强方法(SAug)来解决这个问题。首先,设计了一种基于Pagerank的采样策略来识别图中的中心节点和尾节点。其次,提出了一种选择性增强策略,该策略在一侧丢弃中心节点的噪声邻居,在另一侧发现尾节点的潜在邻居并生成伪邻居。它还可以缓解两类节点之间的结构不平衡。最后,GNN模型将在增强图上重新训练。大量的实验表明,SAug可以显着提高骨干GNN,并实现优越的性能,其竞争对手的图增强方法和枢纽/尾部感知方法。
2023-03-24 cs.AI cs.LG
Democratizing Large Language Model-Based Graph Data Augmentation via Latent Knowledge Graphs
The University of Hong Kong(香港大学)
针对现有图数据增强忽略上下文、LLM图学习方法难民主化的问题,提出黑盒上下文驱动的DemoGraph方法,利用LLM生成知识图谱并动态整合,结合粒度感知提示和指令微调,实验证明其优于现有方法且在EHRs场景表现突出。
2025-02-19 cs.AI cs.LG
Data Augmentation in Graph Neural Networks: The Role of Generated Synthetic Graphs
Istanbul Technical University(伊斯坦布尔理工大学);ITU, AI Research and Application Center(伊斯坦布尔理工大学AI研究与应用中心);ITU, Department of Computer Engineering(伊斯坦布尔理工大学计算机工程系);BTS Group(BTS集团);Gazi University(加齐大学)
本研究探索利用生成模型合成图进行数据增强,比较生成图与真实图结合的性能及数量影响,提出按图大小选择生成器以平衡扩展性与质量,确保标签一致并提升图分类性能。
2024-07-20 cs.AI cs.DB cs.IT
Improving Recommendation Fairness via Data Augmentation
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
基于协同过滤的推荐技术从用户的历史行为数据中学习用户的偏好,以帮助用户进行决策。近年来,推荐的公平性问题变得越来越重要。当推荐系统不能根据用户的敏感属性对不同的用户组表现得同样好时,它被认为是不公平的(例如,性别、种族)。已经提出了许多方法来通过优化预定义的公平性目标或改变不平衡的训练数据的分布来减轻不公平。然而,它们要么受到特定公平性优化指标的影响,要么依赖于重新设计当前的推荐架构。本文从数据增强的角度研究如何提高推荐公平性。推荐模型放大了不平衡的训练数据固有的不公平性。我们将不平衡的训练数据增加到平衡的数据分布,以提高公平性。所提出的框架通常适用于任何基于嵌入的推荐,并且不需要预先定义公平性度量。在两个真实数据集上的大量实验清楚地表明了我们所提出的框架的优越性。我们在https://github.com/newlei/FDA上发布源代码。
2023-02-21 cs.IR cs.LG
VoteGCL: Enhancing Graph-based Recommendations with Majority-Voting LLM-Rerank Augmentation
Center for AI Research, VinUniversity(越南 Vin 大学人工智能研究中心);The Chinese University of Hong Kong(香港中文大学);RMIT University(皇家墨尔本理工大学);VNU University of Engineering and Technology(越南工程与技术大学)
本文提出利用LLM和物品文本描述增强交互数据,通过多数投票生成高置信度合成用户-物品交互,结合图对比学习框架缓解分布偏移和流行度偏差,实验显示提升准确率并减少流行度偏差。
2026-04-21 cs.IR cs.LG
Sequential Data Augmentation for Generative Recommendation
Snap Inc.(Snap公司)
本文研究了生成推荐中数据增强的影响,提出了一种系统化的框架GenPAS,通过三种受偏步骤统一了多种增强策略,提升了模型的准确率、数据效率和参数效率。
2026-05-20 cs.IR cs.LG
ContrastVAE: Contrastive Variational AutoEncoder for Sequential Recommendation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce(赛富时)
顺序推荐是一种利用用户行为序列中丰富信息的推荐方法,在实际推荐系统中得到了广泛的应用。然而,目前的方法存在以下问题:1)用户-项目交互的稀疏性,2)顺序记录的不确定性,3)长尾项目。在本文中,我们建议将对比学习纳入变分自编码器的框架中,以同时应对这些挑战。首先,我们介绍了一种新的训练目标,将传统的单视图ELBO扩展到双视图的情况下,并从理论上建立了VAE和对比学习之间的连接从双视图的角度。然后,我们提出了对比变分自编码器(简称ContrastVAE),一个两分支的VAE模型与对比正则化作为一个实施例的ContrastELBO顺序推荐。我们进一步介绍了两个简单而有效的增强策略,命名为模型增强和变分增强,以创建一个序列的第二个视图,从而使对比学习成为可能。在四个基准数据集上的实验证明了ContrastVAE和所提出的增强方法的有效性。代码可在https://github.com/YuWang-1024/ContrastVAE上获得
2022-12-05 cs.IR cs.LG
Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯)
近年来,图神经网络(GNNs)在推荐方面取得了显著的成功.为了减少数据稀疏性的影响,图对比学习(GCL)被用于基于GNN的CF方法,以提高性能。大多数GCL方法包括数据增强和对比损失(例如,InfoNCE)。GCL方法通过手工制作的图增强来构建对比对,并最大化同一节点的不同视图与其他节点的视图之间的一致性,这被称为InfoMax原则。然而,不适当的数据增强会阻碍GCL的性能。InfoMin原则,即良好的视图集共享最少的信息,并为设计更好的数据增强提供指导。在本文中,我们首先提出了一种新的数据增强(即,边缘操作包括边缘增加和边缘减少)。在此基础上,提出了一个基于信息最小化原理的对比学习框架--可学习的数据增强对比学习(LDA-GCL)。我们的方法包括数据增强学习和图对比学习,分别遵循InfoMin和InfoMax原则。在实现中,我们的方法优化了对抗损失函数,以学习数据增强和用户和项目的有效表示。在四个公共基准数据集上的实验证明了LDA-GCL的有效性。
2023-02-05 cs.IR cs.LG cs.SI
Improving Rare Medication Recommendation with Counterfactual Data Augmentation and Large Language Models
KAIST(韩国科学技术院);Korea University(高丽大学)
针对现有方法在推荐罕见药物时性能低的问题,提出GenRxR框架,利用大语言模型生成反事实数据缓解数据稀缺,集成大语言模型建模联合推荐药物关系,经指令调整增强临床推理,实验显示其性能优于多个基线。
2026-07-29 cs.IR cs.LG
Episodes Discovery Recommendation with Multi-Source Augmentations
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Spotify Research(Spotify研究院)
推荐系统(RS)通常通过基于历史交互的用户兴趣建模,从大量的项目中为用户检索潜在的候选项目。然而,历史交互数据是高度稀疏的,大多数项目是长尾项目,这限制了项目发现的表示学习。新的或冷启动项目的发现进一步加剧了这个问题。例如,在用户在播客空间中显示对比特币金融投资节目的兴趣之后,推荐系统可能想要建议,例如,一个新发布的区块链节目,来自一个更技术化的节目。事件相关性有助于发现,特别是当事件的交互数据有限时。因此,我们建立在经典的双塔模型,并引入新的多源增强使用对比学习框架(MACL),以提高情节嵌入学习,从众多相关的语义结合积极的情节。在一个大型音频流媒体平台的真实播客推荐数据集上进行的大量实验表明了该框架对用户播客探索和冷启动剧集推荐的有效性。
2023-01-17 cs.AI cs.IR cs.LG
LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation
University of Hong Kong(香港大学)
针对现有图对比学习推荐方法难保留语义结构、易受噪声干扰的问题,提出仅用奇异值分解做对比增强的LightGCL范式,在多个基准数据集上性能优于现有最优方法,且对数据稀疏性和流行度偏差鲁棒性更强。
2023-06-14 cs.IR cs.LG
Retrieve-then-Adapt: Retrieval-Augmented Test-Time Adaptation for Sequential Recommendation
Shenzhen Technology University(深圳技术大学);City University of Hong Kong(香港城市大学);McGill University(麦吉尔大学);Shenzhen University(深圳大学)
本文提出ReAd框架,通过检索用户偏好信号动态适应序列推荐模型,提升测试时适应性能,实验表明优于现有方法。
2026-08-17 cs.IR cs.LG
Uniform Sequence Better: Time Interval Aware Data Augmentation for Sequential Recommendation
Northeastern University(东北大学);Alibaba Group(阿里巴巴集团)
针对序列推荐中时间间隔不均导致的偏好漂移问题,提出五种时间间隔感知增强算子及长度控制策略,将非均匀序列转化为均匀序列,并在四个真实数据集上显著优于11种对比方法。
2023-12-17 cs.IR cs.LG
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
提出MixSGCL方法,将推荐与对比损失整合为监督对比学习损失以统一优化方向,并引入节点级和边级混合挖掘监督信号,有效缓解数据稀疏性,在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
Data augmentation and feature selection for automatic model recommendation in computational physics
SafranTech(赛峰科技);MINES ParisTech, PSL University(巴黎文理研究大学巴黎矿业学院)
分类算法最近在计算物理学中找到了应用,用于选择适合于物理系统的环境和状态的数值方法或模型。对于这样的分类任务,标记的训练数据来自数值模拟,并且通常对应于在网格上离散化的物理场。三个具有挑战性的困难出现:缺乏训练数据,他们的高维性,以及不适用于常见的数据增强技术的物理数据。本文介绍了两种算法来解决这些问题,一种是通过特征选择进行降维,另一种是数据增强。这些算法与各种各样的分类器相结合,以进行评估。当结合堆叠合奏由六个多层感知器和脊逻辑斯谛回归,他们能够达到90%的准确率对我们的分类问题的非线性结构力学。
2021-01-12 cs.LG physics.comp-ph stat.ML
Improving Contrastive Learning with Model Augmentation
Salesforce Research(赛富时研究院);Arizona State University(亚利桑那州立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
序列推荐的目的是预测用户行为中的下一个项目,可以通过描述序列中项目之间的关系来解决。针对序列中数据稀疏性和噪声问题,提出了一种新的自监督学习(SSL)方法,利用序列正反两个视角之间的对比学习来提高学习性能。然而,现有的方法都是从数据的角度采用增强来构建视图,而我们认为:1)最佳的数据增强方法很难设计,2)数据增强方法破坏序列相关性,3)数据增强未能纳入全面的自监督信号。因此,我们调查的可能性模型增强构建视图对。我们提出了三个层次的模型增强方法:神经元掩蔽,层下降,和编码器补充。这项工作开辟了一个新的方向,在构建对比SSL的意见。实验验证了模型增强方法在SSL序列推荐中的有效性。代码为\footnote{\url{https://github.com/salesforce/SRMA}}。
2022-03-25 cs.AI cs.IR cs.LG
Graph Collaborative Signals Denoising and Augmentation for Recommendation
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Amazon Ads(亚马逊广告);Beihang University(北京航空航天大学);University of California, Davis(加州大学戴维斯分校)
本文提出 GraphDA,通过 top-K 采样去噪用户-物品交互矩阵,并增广用户-用户与物品-物品相关性,以提升图协同过滤在交互丰富和稀疏场景下的推荐性能。
2023-04-10 cs.AI cs.IR cs.LG
Dual-Channel Latent Factor Analysis Enhanced Graph Contrastive Learning for Recommendation
Chongqing University of Posts and Telecommunications(重庆邮电大学);Southwest University(西南大学)
针对图对比推荐中随机增强引入噪声且难利用全局协同信号的问题,提出LFA-GCL,通过潜在因子分析进行无约束结构精化并构建全局协同图,在四个公开数据集上优于现有方法。
2024-08-09 cs.IR cs.LG
Mutual Wasserstein Discrepancy Minimization for Sequential Recommendation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce AI Research(赛富时人工智能研究院);Beihang University(北京航空航天大学)
针对序列推荐中互信息估计的KL散度局限和数据增强破坏序列相关性的问题,提出基于互Wasserstein散度最小化MStein的自监督框架,利用2-Wasserstein距离度量增强序列间互信息,在四个基准数据集上验证了有效性和鲁棒性。
2023-06-20 cs.AI cs.IR cs.LG
GraphFusionSBR: Denoising Multi-Channel Graphs for Session-Based Recommendation
Department of Computer Science and Information Engineering(计算机科学与信息工程系);National Central University(国立中央大学)
图融合SBR通过多通道图融合和去噪技术提升基于会话的推荐准确性
2026-01-13 cs.IR cs.LG
Reinforcement Knowledge Graph Reasoning for Explainable Recommendation
Rutgers University(罗格斯大学)
个性化推荐的最新进展激发了人们对利用知识图谱提供的丰富结构化信息的极大兴趣。与大多数现有的方法,只专注于利用知识图谱更准确的建议,我们进行明确的推理与决策的知识,使建议产生和支持的解释因果推理过程。为此,我们提出了一种称为策略引导路径推理(PGPR)的方法,该方法通过在知识图谱中提供实际路径来耦合推荐和可解释性。我们的贡献包括四个方面。我们首先强调的意义,将知识图谱的建议,正式定义和解释的推理过程。其次,我们提出了一个强化学习(RL)的方法,具有创新的软奖励策略,用户条件动作修剪和多跳评分函数。第三,我们设计了一个策略引导的图搜索算法,以有效地和有效地采样推理路径的推荐。最后,我们在几个大规模的真实世界的基准数据集上广泛地评估了我们的方法,与最先进的方法相比,获得了有利的结果。
2019-06-12 cs.IR cs.LG
Ultra Fast Warm Start Solution for Graph Recommendations
HSE University(俄罗斯莫斯科高等经济大学)
本研究针对图推荐系统UltraGCN的推荐更新需求,提出适配低秩近似的线性热启动方法,速度较传统方法最高快30倍,同时提升推荐质量,具备高可扩展性。
2025-09-01 cs.IR cs.LG
Symmetric Graph Contrastive Learning against Noisy Views for Recommendation
Software College, Northeastern University(东北大学软件学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院)
针对图对比推荐中数据增强产生噪声视图而损害性能的问题,本文提出具有理论保证、模型无关的SGCL对称对比框架,并在三个数据集上验证其最高12.25%的相对提升。
2024-08-03 cs.AI cs.IR cs.LG
Recommendation System in Advertising and Streaming Media: Unsupervised Data Enhancement Sequence Suggestions
Meta Fintech(Meta金融科技);Fuqua School of Business, Duke University(杜克大学福库商学院)
针对序列推荐中监督信号有限、数据噪声及现有方法忽略多序列物品关联的问题,提出UDA4SR框架,通过GAN数据增强、GIG构建、图对比学习及目标注意力增强CapsNet,显著提升性能。
2025-03-23 cs.IR cs.LG
RDGCL: Reaction-Diffusion Graph Contrastive Learning for Recommendation
Yonsei University(延世大学);KAIST(韩国科学技术院)
受反应-扩散方程启发,提出RDGCL模型,通过结合低通与高通滤波器设计GCN并在反应与扩散嵌入间进行对比学习,无需图增强,在5个数据集上提升了推荐准确性与多样性。
2024-08-22 cs.AI cs.IR cs.LG
Graph-Based Recommendation System
University College London(伦敦大学学院)
在这项工作中,我们研究推荐系统建模为上下文多臂强盗(MAB)问题。我们提出了一个基于图的推荐系统,学习和利用用户空间的几何形状,在用户域中创建有意义的集群。这降低了推荐问题的维度,同时保持了MAB的准确性。然后,我们研究了图的稀疏性和集群大小对MAB性能的影响,并在合成和真实情况下的数据集提供详尽的模拟结果。仿真结果表明,相对于国家的最先进的MAB算法的改进。
2018-07-31 cs.IR cs.LG stat.ML
Sequential Recommendation with Relation-Aware Kernelized Self-Attention
最近的研究表明,顺序推荐是由注意力机制改善。通过这种发展,我们提出了一个自注意力机制的Transformer的概率模型的增强的感知核自注意力(RKSA)。Transformer最初的自注意力是一种确定性测度,没有关系意识。因此,我们引入了一个潜在的空间的自注意力力,和潜在的空间模型的推荐上下文的关系作为一个多变量的偏态正态分布与核化协方差矩阵的同现,项目的特点,和用户信息。该工作通过添加推荐任务细节的概率模型,将Transformer的自注意力和顺序推荐相结合。我们在基准数据集上进行了RKSA实验,与最近的基线模型相比,RKSA显示出显着的改进。此外,RKSA还能够生成一个潜在空间模型来回答推荐的原因。
2019-11-15 cs.IR cs.LG stat.ML
Improved Recurrent Neural Networks for Session-based Recommendations
Institute of High Performance Computing, A*STAR(高性能计算研究所,新加坡科技研究局)
循环神经网络(RNN)最近被提出用于基于会话的推荐任务。这些模型显示出比传统推荐方法有希望的改进。在这项工作中,我们进一步研究了基于RNN的会话推荐模型。我们提出了两种技术的应用,以提高模型的性能,即,数据增强,和一种方法来考虑在输入数据分布的变化。我们还实证研究了使用广义蒸馏,和一种新的替代模型,直接预测项目嵌入。在RecSys Challenge 2015数据集上的实验表明,在Recall@20和Mean Reciprocal Rank@20指标上,与先前报告的结果相比,分别有12.8%和14.8%的相对改善。
2016-09-16 cs.LG
Graph Data Augmentation for Graph Machine Learning: A Survey
Snap Inc.(Snap公司);University of Notre Dame(圣母大学);Michigan State University(密歇根州立大学);Cornell University(康奈尔大学);Technical University of Munich(慕尼黑工业大学)
数据增强最近在图机器学习中引起了越来越多的兴趣,因为它被证明能够通过添加训练数据来提高模型性能和泛化能力。尽管最近出现了这种激增,但由于图数据的复杂非欧几里德结构带来的挑战,该领域仍然相对未被充分探索,这限制了对其他类型的图像,视频或文本数据的传统增强操作的直接类比。我们的工作的目的是给现有的图形数据增强方法的必要和及时的概述,值得注意的是,我们提出了一个全面和系统的调查图数据增强的方法,总结文献结构化的方式。我们首先介绍了三种不同的分类法,分别从数据,任务和学习的角度对图数据增强方法进行分类。接下来,我们将介绍图数据增强的最新进展,按其方法和应用区分。最后,我们概述了目前未解决的挑战和未来的研究方向。总的来说,我们的工作旨在澄清图数据增强的现有文献的情况,并激励在这一领域的额外工作,为更广泛的图机器学习领域的研究人员和从业人员提供有用的资源。此外,我们在https://github.com/zhao-tong/graph-data-augmentation-papers上提供了一个不断更新的阅读清单。
2023-01-19 cs.LG
Graph Structure Based Data Augmentation Method
VUNO Inc.(VUNO公司)
本文提出一种利用医学波形数据固有图结构的数据增强方法,通过缓解导联角度扰动提升模型性能与鲁棒性,并可与现有增强技术正交结合以进一步改善最终表现。
2022-05-29 cs.LG
Graph Contrastive Learning with Personalized Augmentation
The Hong Kong Polytechnic University(香港理工大学);Texas A&M University(德州农工大学)
图对比学习(GCL)已经成为学习图的无监督表示的有效工具。关键思想是通过数据增强来最大化每个图的两个增强视图之间的一致性。现有的GCL模型主要集中在对给定场景中的所有图应用\textit{identical augmentation strategies}。然而,现实世界的图往往不是单形的,而是不同性质的抽象。即使在相同的场景中(例如,大分子和在线社区),不同的图可能需要不同的增强来执行有效的GCL。因此,盲目地扩充所有图而不考虑它们的个体特征可能会破坏GCL艺术的性能。为了解决这个问题,我们提出了第一个原则性框架,称为\textit{G},使用\textit{P} sonalized \textit{A} ugmentation(GPA)进行对比学习,通过允许每个图选择自己合适的扩充操作来改进传统的GCL。本质上,GPA通过一个可学习的增强选择器,根据每个图的拓扑和节点属性为每个图推断定制的增强策略,该选择器是一个即插即用模块,可以通过下游GCL模型进行端到端的有效训练。在不同类型和领域的11个基准图上进行的大量实验证明了GPA相对于最先进竞争对手的优越性。此外,通过可视化不同类型数据集上的学习增强分布,我们表明GPA可以有效地根据每个图的特征识别最合适的增强。
2022-09-15 cs.LG
QoS-Aware Graph Contrastive Learning for Web Service Recommendation
Yonsei University(延世大学);Jeonbuk National University(全北国立大学)
针对Web服务推荐中的数据稀疏和冷启动问题,提出QAGCL模型,利用图对比学习构建包含地理位置信息的增强图以学习嵌入,有效提升了QoS感知推荐的准确性。
2024-01-06 cs.IR cs.LG cs.SE
Learning Graph Augmentations to Learn Graph Representations
Autodesk AI Lab(Autodesk AI 实验室)
设计用于图对比学习的增强是具有挑战性的,因为它们具有不规则的结构,剧烈的分布偏移以及跨数据集的不等价特征空间。我们引入了LG2AR,学习图增强以学习图表示,这是一个端到端的自动图增强框架,可以帮助编码器在节点和图级别上学习可概括的表示。LG2AR由一个概率策略和一组概率增强头组成,该概率策略学习增强参数的分布。我们表明,LG2AR在线性和半监督评估协议下,与以前的无监督模型相比,在20个图级和节点级基准中有18个达到了最先进的结果。源代码将在这里发布:https://github.com/kavehhassani/lg2ar
2022-01-24 cs.LG cs.NE
Contrastive General Graph Matching with Adaptive Augmentation Sampling
Singapore Management University(新加坡管理大学)
针对图匹配自监督学习依赖辅助信息和难以设计最优图增强的问题,提出无需辅助信息的对比框架GCGM,并引入自适应增强采样器BiAS选择更具挑战性的增强,在多数据集上超越现有自监督方法。
2024-06-25 cs.LG
Automated Data Augmentations for Graph Classification
Texas A&M University(得克萨斯农工大学);Fujitsu Research of America, INC.(美国富士通研究公司);Fujitsu Research, Fujitsu Limited(富士通有限公司富士通研究所)
数据增强是提高学习机不变性的有效方法。我们认为,数据增强的核心挑战在于设计保留标签的数据转换。这对于图像来说相对简单,但对于图形来说更具挑战性。在这项工作中,我们提出了GraphAug,一种新的自动数据增强方法,旨在计算标签不变的增强图分类。与现有研究中使用统一变换不同,GraphAug使用自动增强模型来避免损害图的关键标签相关信息,从而在大多数情况下产生标签不变的增强。为了确保标签不变性,我们开发了一种基于强化学习的训练方法,以最大化估计的标签不变性概率。实验表明,GraphAug在各种图分类任务上优于以前的图增强方法。
2023-02-28 cs.AI cs.LG
COSTA: Covariance-Preserving Feature Augmentation for Graph Contrastive Learning
The Chinese University of Hong Kong(香港中文大学);Australian National University(澳大利亚国立大学);Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
图对比学习(GCL)改进了图表示学习,从而在各种下游任务上实现SOTA。图增强步骤是GCL的一个重要但很少研究的步骤。在本文中,我们证明了通过图增强获得的节点嵌入是高度有偏的,这在一定程度上限制了对比模型学习下游任务的判别特征。因此,而不是调查输入空间中的图增强,我们也建议对隐藏特征进行增强(特征增强)。受所谓的矩阵草图的启发,我们提出了COSTA,一种新的协方差预服务的GCL特征空间增强框架,它通过保持原始特征的“良好草图”来生成增强特征。为了突出COSTA的特征增强的优越性,我们研究了一个单视图设置(除了多视图),节省内存和计算。我们表明,与COSTA的功能增强实现可比/更好的结果比基于图增强模型。
2022-06-13 cs.AI cs.LG
Graph Augmentation for Cross Graph Domain Generalization
Tsinghua University(清华大学)
本文提出图结构增强方法,通过低权重边丢弃和聚类边添加,提升跨图节点分类中GNN的域泛化能力,并在分布外数据集上取得最优性能。
2025-02-25 cs.LG
Augmentation-Free Self-Supervised Learning on Graphs
KAIST(韩国科学技术院)
受最近应用于图像的自监督方法的成功的启发,图结构数据的自监督学习已经看到了快速增长,特别是以基于增强的对比方法为中心。然而,我们认为,如果没有精心设计的增强技术,图上的增强可能会表现得任意,因为图的底层语义可以急剧变化。因此,现有的基于增强的方法的性能高度依赖于增强方案的选择,即,与增强相关的超参数。在本文中,我们提出了一种新的增强自由图的自监督学习框架,命名为AFGRL。具体来说,我们通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图。对各种节点级任务进行了广泛的实验,即,在各种真实世界数据集上的节点分类、聚类和相似性搜索证明了AFGRL的优越性。AFGRL的源代码可在https://github.com/Namkyeong/AFGRL上获得。
2021-12-07 cs.AI cs.LG
Guidelines for Augmentation Selection in Contrastive Learning for Time Series Classification
RMIT(皇家墨尔本理工大学)
针对时间序列对比学习中增强选择依赖经验或网格搜索效率低的问题,提出基于趋势、季节性特征的增强选择框架,经合成与真实数据集验证,Recall@3达0.667,为相关研究提供指导。
2024-07-12 cs.AI cs.LG
Graph Contrastive Learning with Adaptive Augmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学);Alibaba Group(阿里巴巴集团)
近年来,对比学习(CL)已成为无监督图表示学习的一种成功方法。大多数图CL方法首先在输入图上执行随机增强以获得两个图视图,并最大化两个视图中的表示的一致性。尽管图CL方法的繁荣发展,图增强方案的设计-CL中的一个重要组成部分-仍然很少探索。我们认为,数据增强计划应该保持固有的结构和属性的图,这将迫使模型学习表示不敏感的扰动不重要的节点和边缘。然而,大多数现有的方法采用统一的数据增强方案,如均匀地丢弃边缘和均匀地混洗特征,导致次优性能。在本文中,我们提出了一种新的图形对比表示学习方法与自适应增强,结合各种先验的拓扑和语义方面的图。具体而言,在拓扑结构层面上,我们设计的增强方案的基础上,节点中心性措施,突出重要的连接结构。在节点属性层,我们通过向不重要的节点特征添加更多的噪声来破坏节点特征,以强制模型识别底层语义信息。我们在各种真实世界的数据集上进行了大量的节点分类实验。实验结果表明,我们提出的方法始终优于现有的最先进的基线,甚至超过一些监督同行,这验证了所提出的自适应增强的对比框架的有效性。
2021-02-26 cs.LG
Model-Agnostic Augmentation for Accurate Graph Classification
Seoul National University(首尔国立大学)
给定一个图数据集,我们如何增强它以实现准确的图分类?图增强是提高基于图的任务性能的重要策略,并已被广泛用于分析Web和社交图。然而,以前的图增强工作要么a)在增强过程中涉及目标模型,失去了对其他任务的泛化能力,要么b)依赖于简单的算法,导致不可靠的结果。在这项工作中,我们介绍了五个所需的属性有效的增强。然后,我们提出了NodeSam(节点拆分和合并)和SubMix(子图混合),这两种模型无关的方法用于图增强,满足不同动机的所有期望属性。NodeSam对图结构进行了平衡的更改,以最大限度地降低语义更改的风险,而SubMix混合了多个图的随机子图,以创建丰富的软标签,将不同类别的证据结合在一起。我们在社交网络和分子图上的实验表明,NodeSam和SubMix在图分类方面优于现有方法。
2022-02-21 cs.LG cs.SI
Bootstrapping Informative Graph Augmentation via A Meta Learning Approach
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Tsinghua University(清华大学)
最近的作品探索学习图表示在一个自我监督的方式。在图对比学习中,基准测试方法应用各种图增强方法。然而,大多数增强方法是不可学习的,这导致生成无益的增强图的问题。这种增强可能会退化图对比学习方法的表示能力。因此,我们激励我们的方法来生成增强图的可学习的图增强器,称为Meta图增强(MEGA)。然后,我们澄清,一个“好”的图增强必须在实例级的均匀性和特征级的信息性。为此,我们提出了一种新的方法来学习一个图形增强器,可以生成一个增强的均匀性和信息。图增强器的目标是促进我们的特征提取网络学习更具鉴别力的特征表示,这促使我们提出一个元学习范式。经验上,在多个基准数据集上的实验表明,MEGA在图自监督学习任务中优于最先进的方法。进一步的实验研究证明了MEGA不同项的有效性。
2022-05-26 cs.AI cs.LG
Spectral Augmentation for Self-Supervised Learning on Graphs
The Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
本文从谱域视角提出谱增强方法,通过最大化谱变化指导拓扑增强,提升图对比学习在自监督表示学习、迁移学习及对抗鲁棒性上的性能。
2023-06-20 cs.AI cs.LG
Graph data augmentation with Gromow-Wasserstein Barycenters
University of Milano-Bicocca(米兰比可卡大学)
针对图数据增强难的问题,提出基于graphon估计、在非欧空间运行的新型图增强策略,用Gromov-Wasserstein距离优化graphon近似,可提升图分类模型性能,还能验证graphon估计方法。
2024-04-12 cs.AI cs.LG
Augmentation-Free Graph Contrastive Learning with Performance Guarantee
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);University of Technology Sydney(悉尼科技大学)
图对比学习(Graph Contrast Learning,GCL)是最具代表性和最流行的图结构数据自监督学习方法。尽管其显着的成功,现有的GCL方法高度依赖于增强方案来学习在不同的增强视图中不变的表示。在这项工作中,我们重新审视这样一个公约在GCL通过检查增强技术对图形数据的影响,通过镜头的光谱理论。我们发现,图扩充保留了低频分量,扰动了图的中高频分量,这有助于GCL算法在同伦图上的成功,但由于异伦数据的高频偏好,阻碍了其在异伦图上的应用。基于此,我们提出了一种新的,理论上的原则,和增广的GCL方法,命名为AF-GCL,(1)利用图神经网络聚合的特征来构建自我监督信号,而不是增广,因此(2)对图的同质性程度不太敏感。在理论上,我们提出了AF-GCL的性能保证,并分析了AF-GCL的有效性。在14个具有不同程度的异质性的基准数据集上进行的大量实验表明,AF-GCL在同质图上具有竞争力或更好的性能,并且在异质图上的性能优于所有现有的最先进的GCL方法,并且计算开销显着减少。
2022-06-05 cs.LG cs.SI