GraTO: Graph Neural Network Framework Tackling Over-smoothing with Neural Architecture Search
Xi’an Jiaotong University(西安交通大学);University of Washington(华盛顿大学);Ant Group(蚂蚁集团)
当前的图神经网络(GNN)存在过度平滑问题,这导致不可区分的节点表示和GNN层越多模型性能越低。近年来,人们提出了许多解决这一问题的方法。然而,现有的处理过平滑的方法强调模型的性能,忽略了节点表示的过平滑。此外,不同的方法一次应用一种,而缺乏一个整体框架来联合利用多个解决方案来应对过度平滑的挑战。为了解决这些问题,我们提出了Grato,一个基于神经结构搜索的框架来自动搜索GNNs结构。Grato采用了一种新的损失函数,以便于在模型性能和表示平滑度之间取得平衡。除了现有的方法,我们的搜索空间还包括DropAttribute,一个新的计划,以减轻过度平滑的挑战,充分利用不同的解决方案。我们在六个真实世界的数据集上进行了广泛的实验来评估Grato,这表明Grato在过平滑度量方面优于基线,并在准确性方面达到了有竞争力的性能。随着GNN层数的增加,Grato特别有效和强大。进一步的实验证明了使用Grato学习的节点表示的质量和模型架构的有效性。我们在Github(\url{https://github.com/fxsxjtu/GraTO})上提供了Cide of Grato。
2022-10-22 cs.LG
NodeMixup: Tackling Under-Reaching for Graph Neural Networks
Xidian University(西安电子科技大学)
针对图神经网络中标记节点欠达导致性能下降的问题,提出架构无关的NodeMixup方法,通过标记-未标记混合、类内邻居融合和基于度与标签相似性的采样权重,提升GNN半监督节点分类性能。
2023-12-21 cs.AI cs.LG
Tackling Size Generalization of Graph Neural Networks on Biological Data from a Spectral Perspective
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Dartmouth College(达特茅斯学院)
针对图神经网络因图规模分布偏移导致的泛化难题,从谱视角分析生物图中子图模式驱动的谱差异与性能的关联,提出规模密集注意力等模型无关策略,显著提升大测试图的分类效果。
2025-08-01 cs.AI cs.LG
GraphSB: Boosting Imbalanced Node Classification on Graphs through Structural Balance
China University of Mining and Technology(中国矿业大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
GraphSB通过结构平衡策略解决图结构不平衡问题,提升图上不平衡节点分类的性能。
2026-01-27 cs.LG
Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification
Vanderbilt University(范德堡大学);IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
近年来,图神经网络(GNNs)在学习有效的节点表示进行分类方面取得了显著的成功。然而,目前的GNN大多是在平衡的数据分割下构建的,这与许多现实世界的网络不一致,其中训练节点的数量在类之间可能非常不平衡。因此,直接在不平衡数据上使用当前的GNN将生成少数类别中节点的粗略表示,并最终损害分类性能。因此,这预示着开发有效的GNN来处理不平衡图形数据的重要性。在这项工作中,我们提出了一种新的距离明智的原型图神经网络(DPGNN),它提出了一个类原型驱动的训练,以平衡大多数和少数类之间的训练损失,然后利用距离度量学习来区分不同维度的表示的贡献,并充分编码每个节点到每个类原型的相对位置。此外,我们设计了一个新的不平衡标签传播机制,以获得额外的监督从未标记的节点,并采用自监督学习平滑表示相邻节点,同时分离类间原型。在多个网络上进行了全面的节点分类实验和参数分析,所提出的DPGNN几乎总是显着优于所有其他基线,这表明它在不平衡节点分类的有效性。DPGNN的实现可在\url{https://github.com/YuWVandy/DPGNN}上获得。
2021-10-22 cs.LG cs.SI
Imbalanced Graph Classification via Graph-of-Graph Neural Networks
Vanderbilt University(范德堡大学);Snap Research(Snap研究院)
图神经网络(GNN)在识别图的分类标签方面取得了前所未有的成功。然而,大多数现有的GNN图分类问题都遵循平衡数据分割的协议,这与许多现实场景不一致,其中一些类的标签比其他类少得多。在这种不平衡的情况下直接训练GNN可能会导致少数类别中的图的无信息表示,并损害整体分类性能,这表明开发有效的GNN对处理不平衡图分类的重要性。现有的方法要么是针对非图结构化数据量身定制的,要么是专门为不平衡节点分类而设计的,而很少关注不平衡图分类。为此,我们引入了一个新的框架,图的图神经网络(G $^2$ GNN),它通过从相邻图中全局导出额外的监督和从图的随机扩充中局部导出额外的监督来解决图的不平衡问题。在全球范围内,我们构建了一个图形的图形(GoG)的基础上内核相似性和执行GoG传播聚合相邻的图形表示。在局部,我们采用拓扑增强通过掩蔽节点功能或下降的边缘与自洽正则化生成每个图的随机增强,提高模型的泛化能力。在七个基准数据集上进行的广泛的图分类实验表明,我们提出的G $^2$ GNN在F1宏观和F1微观分数上都优于许多基线约5%。G $^2$ GNN的实现可在https://github.com/YuWVandy/G2GNN}{https://github.com/YuWVandy/G2GNN
2022-09-28 cs.LG cs.SI
GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks
College of Information Science and Technology, Penn State University(宾夕法尼亚州立大学信息科学与技术学院)
节点分类是图学习中的一个重要研究课题。图神经网络(GNN)已经实现了节点分类的最新性能。然而,现有的GNN解决了不同类的节点样本平衡的问题;而对于许多现实场景,某些类的实例可能比其他类少得多。在这种情况下,直接训练GNN分类器将不充分表示来自那些少数类别的样本,并导致次优性能。因此,开发用于不平衡节点分类的GNN非常重要。然而,这方面的工作相当有限。因此,我们寻求将先前的用于i.i.d数据的不平衡学习技术扩展到不平衡节点分类任务,以促进GNN分类器。特别是,我们选择采用合成少数过采样算法,因为它们被发现是最有效和最稳定的。这个任务是不平凡的,因为以前的合成少数过采样算法未能提供新合成的样本,这是至关重要的学习图的关系信息。此外,节点属性是高维的。在原始输入域中直接过采样可能会产生域外样本,这可能会损害分类器的准确性。我们提出了一个新的框架,GraphSMOTE,其中嵌入空间被构造成编码节点之间的相似性。在这个空间中合成新的样品以确保准确性。此外,还同时训练边缘生成器来对关系信息进行建模,并将其提供给那些新的样本。该框架是通用的,并且可以容易地扩展为不同的变体。使用三个不同的数据集对所提出的框架进行了评估,它的性能优于所有基线,并且具有很大的优势。
2021-03-16 cs.LG
Beyond Real-world Benchmark Datasets: An Empirical Study of Node Classification with GNNs
Osaka University(大阪大学);TDAI Lab Co., Ltd.(TDAI实验室有限公司)
图神经网络(GNNs)在节点分类任务上取得了巨大的成功。尽管人们对开发和评估GNN有广泛的兴趣,但它们是用有限的基准数据集进行评估的。因此,GNN的现有评估缺乏对图的各种特征的细粒度分析。出于这一动机,我们进行了广泛的实验与合成图生成器,可以生成具有控制特性的细粒度分析的图形。我们的实证研究从具有节点类标签的真实世界图的四个主要特征中阐明了GNN的优点和缺点,即,1)类大小分布(平衡对不平衡),2)类之间的边连接比例(同性对异性),3)属性值(有偏对随机),以及4)图大小(小对大)。此外,为了促进未来对GNN的研究,我们公开发布了我们的代码库,允许用户使用各种图表评估各种GNN。我们希望这项工作为未来的研究提供有趣的见解。
2022-12-28 cs.LG
GraphSR: A Data Augmentation Algorithm for Imbalanced Node Classification
University of Macau(澳门大学);Guangdong-Macau Joint Laboratory for Advanced and Intelligent Computing(粤澳先进与智能计算联合实验室)
针对图神经网络中类别不平衡导致少数类分类性能差的问题,提出数据增强算法GraphSR,通过基于相似性和强化学习的双模块从未标记节点中选取代表性节点增强少数类,自适应确定采样规模,在多个不平衡数据集上优于基线方法。
2023-06-27 cs.LG
ECGN: A Cluster-Aware Approach to Graph Neural Networks for Imbalanced Classification
Georgia State University(佐治亚州立大学);Amazon Science(亚马逊科学);McGill University(麦吉尔大学);UT Austin(德克萨斯大学奥斯汀分校)
提出增强聚类感知图网络(ECGN),通过结合特定聚类训练与合成少数类节点生成,解决图节点不平衡分类问题,在基准数据集上性能提升达11%。
2024-10-15 cs.LG
GraphSB: Boosting Imbalanced Node Classification on Graphs through Structural Balance
针对图学习中不平衡节点分类问题,提出GraphSB框架,通过结构增强和关系扩散两阶段优化不平衡图结构,在节点合成前平衡结构分布,显著提升分类性能,且可作为即插即用模块平均提升现有方法准确率3.67%。
2025-11-13 cs.LG cs.SI
Synthetic Over-sampling for Imbalanced Node Classification with Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
近年来,图神经网络(GNN)已经实现了节点分类的最新性能。然而,大多数现有的GNN都会受到图不平衡问题的困扰。在许多现实场景中,节点类是不平衡的,一些多数类构成了图的大部分。GNN中的消息传播机制将进一步放大这些多数类的优势,导致分类性能次优。在这项工作中,我们试图通过生成少数类的伪实例来平衡训练数据,扩展以前的基于过采样的技术来解决这个问题。这个任务是不平凡的,因为这些技术是在假设实例是独立的情况下设计的。忽视关系信息会使这种过采样过程变得复杂。此外,节点分类任务通常采用仅具有少数标记节点的半监督设置,从而为少数实例的生成提供不足的监督。生成的低质量的新节点会损害训练好的分类器。在这项工作中,我们解决这些困难,通过合成新的节点在一个构建的嵌入空间,编码节点属性和拓扑信息。此外,边生成器同时被训练来对图结构进行建模并为新样本提供关系。为了进一步提高数据效率,我们还探索合成混合的“中间”节点,以利用在这个过采样过程中的大多数类的节点。在真实数据集上的实验验证了该框架的有效性。
2022-06-10 cs.LG cs.SI
ImGAGN:Imbalanced Network Embedding via Generative Adversarial Graph Networks
Southern University of Science and Technology(南方科技大学);The University of Queensland(昆士兰大学)
图上的不平衡分类在许多现实世界的应用中普遍存在,但具有挑战性,例如欺诈节点检测。最近,图神经网络(GNNs)在许多网络分析任务中表现出了良好的性能。然而,大多数现有的GNN几乎只专注于平衡网络,并且在不平衡网络上会得到不吸引人的性能。为了弥合这一差距,在本文中,我们提出了一个生成对抗图网络模型,称为ImGAGN,以解决图上的不平衡分类问题。介绍了一种新的图结构数据生成器GraphGenerator,它通过生成一组合成的少数类节点来模拟少数类节点的属性分布和网络拓扑结构分布,使得不同类节点的数量能够均衡。然后,训练图卷积网络(GCN)来区分真实节点和伪节点(即,生成的)节点之间,以及合成平衡网络上的少数节点和多数节点之间。为了验证所提出的方法的有效性,进行了广泛的实验上的四个现实世界的不平衡网络数据集。实验结果表明,该方法ImGAGN优于国家的最先进的半监督不平衡节点分类任务的算法。
2021-06-05 cs.AI cs.LG
Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing
Beihang University(北京航空航天大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
拓扑不平衡是由标记节点的拓扑位置不均匀引起的特定于图的不平衡问题,它严重损害了GNN的性能。拓扑不平衡意味着什么以及如何衡量其对图学习的影响仍然没有得到充分的探索。在本文中,我们提供了一个新的理解的拓扑不平衡从全局来看的监管信息分布的不足和过度挤压,这促使两个定量指标作为测量。基于我们的分析,我们提出了一种新的位置感知图结构学习框架PASTEL,它直接优化了信息传播路径,从本质上解决了拓扑不平衡问题。我们的关键见解是提高同一类内节点的连通性,以获得更多的监督信息,从而缓解不足和过度挤压现象。具体来说,我们设计了一个基于锚点的位置编码机制,它更好地结合了相对拓扑位置,并通过最大化标签影响来增强类内归纳偏差。我们进一步提出了一个类的冲突措施作为边的权重,这有利于不同的节点类的分离。大量的实验证明了PASTEL在增强GNN在不同数据标注场景中的能力方面的优越潜力和适应性。
2022-08-17 cs.AI cs.LG
Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective
Michigan State University(密歇根州立大学);New Jersey Institute of Technology(新泽西理工学院);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
近年来,图神经网络(GNNs)在许多现实世界的应用中取得了显着的成功,如推荐和药物发现。尽管取得了成功,但过度平滑已被确定为限制深度GNN性能的关键问题之一。这表明,由于堆叠的聚合器,学习的节点表示是高度不可区分的。在本文中,我们提出了一个新的视角来看待深度GNN的性能下降,即,特征过相关通过对这一问题的实证和理论研究,我们证明了更深层次GNN中特征过相关性的存在,并揭示了导致这一问题的潜在原因。为了减少特征相关性,我们提出了一个通用框架DeCorr,它可以鼓励GNN编码更少的冗余信息。大量的实验表明,DeCorr可以帮助实现更深的GNN,并且是对解决过度平滑问题的现有技术的补充。
2022-06-15 cs.AI cs.LG
Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph Representation Learning
Brandeis University(布兰迪斯大学);University of Hong Kong(香港大学);University of Notre Dame(圣母大学);Hunan University(湖南大学)
即使通过最先进的网络压缩方法进行修剪,与规则欧几里得空间中的数据相比,由于非欧几里得图数据的不规则和讨厌的密度特性,图神经网络(GNNs)在非欧几里得图数据上的训练通常会遇到相对较高的时间成本。与图相伴的另一个自然属性是类不平衡,这不能通过大量的图数据来缓解,同时阻碍了GNN的推广。为了完全解决这些令人不快的特性,(i)理论上,我们引入了一个假设,即训练数据的子集在多大程度上可以近似于整个数据集的学习效率。通过子集和全集之间的梯度距离进一步保证和证明了有效性;(ii)经验上,我们发现在GNN的学习过程中,训练数据集中的一些样本对于提供梯度来更新模型参数是有用的。此外,在训练过程中,信息子集是不固定的。在当前训练时期中提供信息的样本在下一个训练时期中可能不是这样。我们还注意到,从经过良好训练的GNN中修剪出来的稀疏子网有时会忘记信息子集提供的信息,这反映在它们在该子集上的糟糕性能上。基于这些发现,我们开发了一个统一的数据模型动态稀疏性框架命名为图Decantation(GraphDec),以解决在大量类不平衡图数据上训练所带来的挑战。GraphDec的核心思想是采用稀疏图对比学习在训练过程中动态识别信息子集。在基准数据集上进行的大量实验表明,GraphDec在分类准确性和数据使用效率方面优于图和节点任务的基线。
2022-10-01 cs.LG
SamGoG: A Sampling-Based Graph-of-Graphs Framework for Imbalanced Graph Classification
School of Artificial Intelligence and Data Science, University of Science and Technology of China (USTC)(人工智能与数据科学学院,中国科学技术大学);School of Biomedical Engineering, USTC(生物医学工程学院,中国科学技术大学);Data Darkness Lab, Suzhou Institute for Advanced Research, USTC(数据黑暗实验室,苏州先进研究院)
本文提出SamGoG框架,通过基于重要性的采样构建多个图之图并顺序训练,同时缓解类别不平衡和图规模不平衡,可与多种GNN集成,在基准数据集上实现最高15.66%的准确率提升和6.7倍训练加速。
2025-07-18 cs.AI cs.LG
Topology-Imbalance Learning for Semi-Supervised Node Classification
Tencent Inc.(腾讯公司);Peking University(北京大学)
类不平衡问题作为学习节点表示中的一个重要问题,越来越受到社会各界的关注。虽然现有研究所考虑的不平衡根源于不同类别中标记示例的不相等数量(数量不平衡),但我们认为,图数据暴露了标记节点的不对称拓扑特性的唯一不平衡来源,即,标记的节点就其在图中的结构角色而言是不相等的(拓扑不平衡)。在这项工作中,我们首先探讨了以前未知的拓扑不平衡问题,包括其特征,原因和威胁半监督节点分类学习。然后,我们提供了一个统一的观点,联合分析数量和拓扑不平衡的问题,考虑节点的影响力转移现象与标签传播算法。根据我们的分析,我们设计了一个基于影响冲突检测的度量龙猫来衡量图的拓扑不平衡的程度,并提出了一个模型无关的方法ReNode来解决拓扑不平衡的问题,通过重新加权标记节点的影响自适应基于它们的相对位置类边界。系统实验表明,该方法在缓解拓扑不平衡问题和促进半监督节点分类方面的有效性和通用性。进一步的分析揭示了不同的图神经网络对拓扑不平衡的不同敏感性,这可能成为评估GNN结构的一个新视角。
2021-10-08 cs.LG
Alternately Optimized Graph Neural Networks
Michigan State University(密歇根州立大学);North Carolina State University(北卡罗来纳州立大学);Amazon(亚马逊);TigerGraph(图数据库)
针对现有端到端训练的图神经网络计算与内存效率低的问题,本文提出可通过交替优化算法求解的新型图半监督学习优化框架,在性能比肩或优于当前最优基线的同时显著提升了计算与内存效率。
2023-07-19 cs.LG
GraphMixup: Improving Class-Imbalanced Node Classification on Graphs by Self-supervised Context Prediction
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Zhejiang University(浙江大学)
近年来,图神经网络(GNNs)在处理节点分类任务方面取得了巨大成功。然而,大多数现有的GNN都是基于不同类别的节点样本是平衡的假设,而对于许多现实世界的图,存在类别不平衡的问题,即,某些类可能具有比其它类少得多的样本。在这种情况下,直接用原始数据训练GNN分类器将代表来自这些少数类别的样本,并导致次优性能。本文提出了GraphMixup,一种新的基于混合的框架,用于改善图上的类不平衡节点分类。然而,直接执行混合在输入空间或嵌入空间可能会产生域外的样本,由于少数类的极端稀疏性,因此,我们构建语义关系空间,允许在语义层面上执行的功能混合。此外,我们采用两种基于上下文的自监督技术来捕获图结构中的局部和全局信息,然后提出专门针对图数据的边缘混合。最后,我们开发了一个\emph{Reinforcement Mixup}机制,以自适应地确定有多少样本是由这些少数类的混合产生。在三个真实数据集上的广泛实验表明,GraphMixup对于类不平衡的节点分类任务产生了真正令人鼓舞的结果。
2021-06-21 cs.AI cs.LG
HeRB: Heterophily-Resolved Structure Balancer for Graph Neural Networks
Jiangsu Key Laboratory of Big Data Security & Intelligent Processing, Nanjing University of Posts and Telecommunications(江苏大数据安全与智能处理重点实验室,南京邮电大学);School of Computer Science, Nanjing University of Posts and Telecommunications(计算机科学学院,南京邮电大学);State Key Laboratory of Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
针对图神经网络的结构不平衡问题,提出 HeRB 方法,先纠正异相性再传递同相知识,通过减少类间边和增加类内边及头尾节点知识传递,在多个基准数据集上取得优越性能。
2025-04-24 cs.LG
Topological Graph Neural Networks
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所);KU Leuven(鲁汶大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学)
图神经网络(GNN)是处理图学习任务的强大架构,但已被证明对循环等重要子结构不敏感。我们提出了TOGL,一个新的层,采用持久同源性的图的全局拓扑信息。TOGL可以很容易地集成到任何类型的GNN中,并且比消息传递GNN更具有严格的表达性(根据Weisfeiler-Lehman图同构测试)。使用TOGL增强GNN可以提高图和节点分类任务的预测性能,无论是在合成数据集上,这些数据集可以由人类使用其拓扑结构进行分类,但不能由普通GNN进行分类,还是在现实世界的数据上。
2022-03-17 cs.LG math.AT stat.ML
Overcoming Class Imbalance: Unified GNN Learning with Structural and Semantic Connectivity Representations
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出统一图神经网络学习框架Uni-GNN,通过融合结构与语义连接表示并利用平衡伪标签机制扩充少数类标注节点,有效缓解图节点分类中的类别不平衡问题,并在多个基准数据集上取得优于现有方法的性能。
2024-12-30 cs.AI cs.LG
Graffin: Stand for Tails in Imbalanced Node Classification
Nankai University(南开大学)
针对图节点分类中头部数据主导、尾部表示不足的问题,本文提出可插拔模块 Graffin,利用图序列化和 RNN 式特征流动融合局部与全局结构,在四个真实数据集上提升尾部适应性且保持整体性能。
2024-09-09 cs.LG
GraphSHA: Synthesizing Harder Samples for Class-Imbalanced Node Classification
Sun Yat-sen University(中山大学);HKUST (GZ)(香港科技大学(广州));HKUST(香港科技大学)
针对图神经网络在类别不平衡节点分类中少数类表征不足的问题,提出GraphSHA框架合成更难少数类样本扩大决策边界,搭配SemiMixup模块避免侵犯邻类子空间,在7个基准数据集上优于多种基线方法。
2023-06-16 cs.LG
Enhancing Graph Neural Networks: A Mutual Learning Approach
Department of Computer Science and Engineering, University of Texas at Arlington(德克萨斯理工大学阿灵顿分校计算机科学与工程系);Department of Computing Sciences, Villanova University(维拉诺瓦大学计算机科学系)
本文提出一种无教师模型的GNN互学习框架,通过集成学生网络相互教学、自适应logit加权和熵增强技术,在节点和图分类任务上提升推理性能。
2025-10-27 cs.LG
How effective are Graph Neural Networks in Fraud Detection for Network Data?
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
基于图的神经网络(GNN)是最近创建的用于学习节点(和图)表示的模型,其在检测与不同实体相关的大规模数据中出现的模式时取得了有希望的结果。在这些模式中,金融欺诈因其社会经济相关性和提出的特殊挑战而脱颖而出,例如积极(欺诈)和消极(合法交易)类别之间的极端不平衡,以及概念漂移(即,数据的统计特性随时间改变)。由于GNN基于消息传播,节点的表示受到其邻居和网络枢纽的强烈影响,从而放大了不平衡效应。最近的工作试图调整GNN的欠采样和过采样策略,以减轻这种影响,但不考虑概念漂移。在这项工作中,我们进行实验,以评估现有的技术检测网络欺诈,考虑到前面的两个挑战。为此,我们使用真实的数据集,辅以从这里介绍的新方法创建的合成数据。在此基础上,我们提出了一系列的改进点,应该在未来的研究进行调查。
2021-05-30 cs.AI cs.LG
T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and Structure via Teacher-Student Distillation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Economics and Management, Beijing University of Posts and Telecommunications(北京邮电大学经济管理学院);Pinterest
图神经网络(GNN)已经成为用于处理图数据上的各种分析任务的流行技术。GNN卓越性能的一个关键前提依赖于完整和可信的初始图描述(即,节点特征和图结构),这通常是不满足的,因为真实世界的图由于各种不可避免的因素而通常是不完整的。特别是,当节点特征和图结构同时不完整时,GNN面临更大的挑战。现有的方法要么侧重于特征完备化,要么侧重于结构完备化。它们通常依赖于特征和结构之间的匹配关系,或者采用节点表示和特征(或结构)完成的联合学习,希望实现互利。然而,最近的研究证实,特征和结构之间的相互干扰导致GNN的性能下降。当特征和结构都不完整时,由缺失的随机性引起的特征和结构之间的不匹配加剧了两者之间的干扰,这可能触发对节点表示产生负面影响的不正确的完成。为此,本文提出了一个基于师生蒸馏的通用GNN框架,以提高GNN在不完全图上的性能,即T2-GNN。为了避免特征和结构之间的干扰,我们分别设计了特征级和结构级教师模型,通过蒸馏为学生模型(基本GNN,如GCN)提供有针对性的指导。然后,我们设计了两种个性化的方法来获得训练有素的特征和结构的教师。为了保证教师模型中的知识能够全面有效地提取到学生模型中,我们进一步提出了双重提取模式,使学生能够获得尽可能多的专家知识。
2022-12-24 cs.LG
Imbalanced Node Processing Method in Graph Neural Network Classification Task
近年来,图神经网络(GNNs)中的节点分类任务发展迅速,带动了各个领域研究的发展。然而,图数据中存在大量的类别不平衡,不同类别的数量之间存在很大的差距,导致分类结果不理想。提出解决不平衡问题的方案已成为我们成功推进下游任务的必要条件。因此,我们从损失函数入手,试图寻找一种能够有效解决图节点参与节点分类任务不平衡的损失函数。因此,我们在图神经网络中引入了GHMC损失来处理非边缘的困难样本。衰减边际样本和简单样本的损失贡献。在多个基准测试上的实验表明,该方法能有效地处理类不平衡问题,与传统的损失函数相比,准确率提高了3%.
2022-10-12 cs.CV cs.LG
BuffGraph: Enhancing Class-Imbalanced Node Classification via Buffer Nodes
National University of Singapore(新加坡国立大学)
BuffGraph通过在图结构中插入缓冲节点来调节多数类影响,从而缓解类别不平衡节点分类中的偏差问题,并在多个数据集上取得优于现有方法的性能。
2024-02-20 cs.AI cs.LG
Tackling Oversmoothing in GNN via Graph Sparsification: A Truss-based Approach
Department of Computer Science, Georgia State University(计算机科学系,佐治亚州立大学)
针对GNN重复聚合导致的过平滑问题,提出基于桁架的图稀疏化模型,从密集区域修剪冗余边以减少过度邻域信息聚合,将其应用于多种基线模型后,在真实数据集的图分类任务中显著提升性能。
2024-07-16 cs.AI cs.LG
Boosting-GNN: Boosting Algorithm for Graph Networks on Imbalanced Node Classification
PLA Strategy Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
图神经网络(GNN)已被广泛用于图形数据表示。然而,现有的研究只考虑了理想的平衡数据集,不平衡数据集很少考虑。传统的处理不平衡数据集的方法,如重新排序,重新加权和合成样本,在GNN中不再适用。本文提出了一种集成模型Boosting-GNN,它在Boosting过程中使用GNN作为基分类器。在Boosting-GNN中,为未被前一个分类器正确分类的训练样本设置更高的权重,从而实现更高的分类精度和更好的可靠性。此外,还采用了迁移学习来降低计算量,提高拟合能力。实验结果表明,与GCN、GraphSAGE、GAT、SGC、N-GCN等算法相比,本文提出的Boosting-GNN模型在合成不平衡数据集上的平均性能提高了4.5%
2022-05-08 cs.CV cs.LG
Link Prediction without Graph Neural Networks
Rice University(莱斯大学)
针对图神经网络在链路预测中因图稀疏性导致的类别不平衡问题,提出拓扑中心框架Gelato,结合图学习增强与N-pair损失训练,准确率提升145%且大幅降低参数量和计算开销。
2023-05-23 cs.LG cs.SI
Structural Imbalance Aware Graph Augmentation Learning
Nanjing University of Posts and Telecommunications(南京邮电大学)
图机器学习(GML)在节点分类、链接预测、图分类等方面取得了很大进展,但现实中的图往往是结构不平衡的,即只有少数枢纽节点具有更密集的局部结构和更高的影响力。这种不平衡可能会损害现有GML模型的鲁棒性,特别是在学习尾节点方面。本文提出了一种选择性图增强方法(SAug)来解决这个问题。首先,设计了一种基于Pagerank的采样策略来识别图中的中心节点和尾节点。其次,提出了一种选择性增强策略,该策略在一侧丢弃中心节点的噪声邻居,在另一侧发现尾节点的潜在邻居并生成伪邻居。它还可以缓解两类节点之间的结构不平衡。最后,GNN模型将在增强图上重新训练。大量的实验表明,SAug可以显着提高骨干GNN,并实现优越的性能,其竞争对手的图增强方法和枢纽/尾部感知方法。
2023-03-24 cs.AI cs.LG
Topology Attack and Defense for Graph Neural Networks: An Optimization Perspective
Northeastern University(东北大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);Massachusetts Institute of Technology(麻省理工学院);University of Minnesota(明尼苏达大学)
将深度神经网络应用于图数据的图神经网络(GNN)在半监督节点分类任务中取得了显著的性能。然而,只有很少的工作解决了GNN的对抗鲁棒性。在本文中,我们首先提出了一种新的基于梯度的攻击方法,方便了处理离散图数据的困难。当与当前对GNN的对抗攻击相比时,结果表明,通过仅扰动少量的边缘扰动,包括添加和删除,我们基于优化的攻击可以导致分类性能的显著下降。此外,利用我们基于梯度的攻击,我们提出了第一个基于优化的GNN对抗训练。我们的方法产生更高的鲁棒性对不同的梯度和贪婪的攻击方法,而不牺牲原始图的分类精度。
2019-10-14 cs.CR cs.LG cs.SI
Restructuring Graph for Higher Homophily via Adaptive Spectral Clustering
School of Computing, Australian National University(澳大利亚国立大学计算学院);CSE & GSAI, POSTECH(浦项科技大学计算机科学与工程系及人工智能研究生院);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61)
提出一种可集成于任意GNN的图重构方法,通过自适应谱聚类、密度感知同质性度量及邻接矩阵重构,显著提升经典GNN在低同质性图上的性能。
2024-04-29 cs.LG cs.SI
Enhancing Imbalanced Node Classification via Curriculum-Guided Feature Learning and Three-Stage Attention Network
Griffith University(格里菲斯大学);Chang’an University(长安大学)
CL3AN-GNN通过三阶段注意力网络和课程引导的特征学习,解决图神经网络中不平衡节点分类问题,提升模型在少数类上的性能。
2026-02-03 cs.AI cs.LG
Tackling Multilabel Imbalance through Label Decoupling and Data Resampling Hybridization
University of Granada(格拉纳达大学);University of Jaén(哈恩大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
从不平衡数据中学习是标准分类中的一个深入研究的问题,近年来,在多标签分类中也是如此。近年来提出了一些多标签重定位方法,旨在平衡标签分布。然而,这些方法必须面对一个新的障碍,具体的多标签数据,是少数和多数标签在相同的数据模式的联合外观。我们最近提出了一个新的算法,旨在解耦不平衡标签并发在同一个实例中,称为REMEDIAL(\textit{REsampling MultilabEl datasets by Decoupling highly ImbAlanced Labels})。这项工作的目标是提出一种程序,将该方法与文献中可用的一些最佳重采样算法混合,包括随机过采样、启发式欠采样和合成样本生成技术。然后对这些混合方法进行经验分析,确定它们的行为如何受到标签解耦过程的影响。因此,可以从所进行的实验中得出一套关于综合使用这些技术的值得注意的准则。
2018-02-14 cs.LG
NeuBM: Mitigating Model Bias in Graph Neural Networks through Neutral Input Calibration
School of Computing and Information Technology, Great Bay University(大海湾大学计算机与信息学院);Dongguan Key Laboratory for Intelligence and Information Technology(东莞智能与信息科技重点实验室);Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
NeuBM通过动态更新的中性图校准输入,减去其logits以缓解GNN模型偏差,提升少数类别的平衡准确率和召回率,尤其在严重类别不平衡和少标注数据场景下效果显著。
2025-05-23 cs.LG
Quantifying the Reproducibility of Graph Neural Networks using Multigraph Brain Data
Istanbul Technical University(伊斯坦布尔理工大学);University of Dundee(邓迪大学)
图神经网络(GNN)在解决计算机视觉、计算机辅助诊断和相关领域中的若干问题方面已经见证了前所未有的增长。虽然之前的研究都集中在提高模型的准确性上,但量化GNN识别的最具鉴别力的特征的可重复性仍然是一个完整的问题,特别是在临床应用中,人们对GNN的可靠性表示担忧。具体而言,生物标志物在临床数据集之间的再现性和在类别之间的分布偏移(例如,健康和紊乱的大脑)对于揭示疾病的基本机制以及推动个性化治疗的发展至关重要。出于这些问题的动机,我们首次提出了基于再现性的GNN选择(RG-Select),这是一个通过量化最具鉴别力的特征(即,生物标志物)在不同模型之间共享。为了确定我们的框架的合理性,再现性评估包括不同因素的变化,如训练策略和数据扰动。尽管存在这些挑战,我们的框架成功地在不同的训练策略和各种临床数据集上得出了可复制的结论。因此,我们的研究结果可以为计算机辅助诊断和预后任务的生物标志物可信度和可靠性评估方法的发展铺平道路。RG-Select代码可在GitHub上获得,网址为https://github.com/basiralab/RG-Select。
2021-09-06 cs.LG
Oversmoothing Alleviation in Graph Neural Networks: A Survey and Unified View
本文提出ATNPA统一视角和分类体系,系统综述图神经网络过平滑缓解方法,将其归纳为三个主题和六个类别,为深层GNN研究提供路线图。
2025-07-18 cs.AI cs.LG
PIMPC-GNN: Physics-Informed Multi-Phase Consensus Learning for Enhancing Imbalanced Node Classification in Graph Neural Networks
School of Information and Communication Technology, Griffith University(信息与通信技术学院,格里菲斯大学)
PIMPC-GNN通过融合物理信息的多阶段共识学习,提升图神经网络在不平衡节点分类中的性能,实现少数类召回率和平衡准确率的显著提升。
2026-02-02 cs.AI cs.LG
A Survey of Graph Neural Networks in Real world: Imbalance, Noise, Privacy and OOD Challenges
本文系统综述了现实世界中图神经网络在不平衡、噪声、隐私和分布外四类挑战下的模型与解决方案,并展望了未来研究方向。
2025-11-05 cs.AI cs.IR cs.LG
GraphIFE: Rethinking Graph Imbalance Node Classification via Invariant Learning
School of Intelligent Systems Science and Engineering, Jinan University(智能系统科学与工程学院,暨南大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对图数据类别不平衡问题,提出GraphIFE框架,结合图不变学习与嵌入空间增强,解决合成节点质量不一致,提升少数类性能,实验验证其有效性与泛化性。
2026-09-16 cs.AI cs.LG
Node Duplication Improves Cold-start Link Prediction
University of Washington(华盛顿大学);Snap Inc.(Snap公司);University of Notre Dame(诺特丹大学);University of California, Riverside(加州大学河滨分校)
针对图神经网络在链路预测中低度节点(冷启动场景)性能不佳的问题,提出即插即用的NodeDup节点复制增强技术,通过多视图视角提升性能,且不损害高度节点表现,实验验证了显著效果。
2025-08-01 cs.LG cs.SI
MolGraph: a Python package for the implementation of molecular graphs and graph neural networks with TensorFlow and Keras
University of Leuven (KU Leuven)(鲁汶大学(KU Leuven));Vrije Universiteit Brussel (VUB)(布鲁塞尔自由大学(VUB))
MolGraph是一个Python包,用于实现分子图和基于TensorFlow与Keras的图神经网络,通过基准测试验证了其性能,并提高了色谱保留时间数据的可解释性。
2023-09-04 cs.LG q-bio.QM
LTE4G: Long-Tail Experts for Graph Neural Networks
KAIST(韩国科学技术院)
现有的图神经网络(GNNs)通常假设类分布和节点度分布都是平衡的。然而,在现实世界的情况下,我们经常遇到一些类(即,头类)支配其他类(即,尾类)以及节点度的角度,因此天真地应用现有的GNN最终无法推广到尾的情况。虽然最近的研究提出了一些方法来处理图的长尾情况,但它们只关注类长尾或度长尾。在本文中,我们提出了一种用于训练GNN的新框架,称为图的长尾专家(LTE4G),它联合考虑了节点分类的类长尾性和度长尾性。其核心思想是为每个节点子集分配一个专家GNN模型,这些节点以平衡的方式分割,同时考虑类和度的长尾性。在为每个平衡子集训练了一个专家后,我们采用知识蒸馏来获得两个类的学生,即,头类学生和尾类学生,每个学生分别负责对头类和尾类中的节点进行分类。我们证明了LTE4G在手动和自然不平衡图上评估的节点分类中优于各种最先进的方法。LTE4G的源代码可以在https://github.com/SukwonYun/LTE4G上找到。
2022-09-08 cs.LG
STEM Rebalance: A Novel Approach for Tackling Imbalanced Datasets using SMOTE, Edited Nearest Neighbour, and Mixup
University of Limerick(利默里克大学)
针对医学影像不平衡数据集,提出结合SMOTE-ENN与Mixup的STEM方法,缓解类间与类内不平衡,在乳腺癌数据集上取得高AUC,并适用于集成学习。
2023-11-13 cs.LG
Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出UGPP新场景,无需标签和源数据,通过一致性正则化和伪标签训练提示函数,解决GNN无监督提示问题,实验证明优于有监督方法。
2026-06-29 cs.LG
Subgraph Pooling: Tackling Negative Transfer on Graphs
University of Notre Dame(圣母大学);Brandeis University(布兰迪斯大学)
本文针对图迁移学习中因结构差异导致的负迁移问题,提出子图池化(SP)和SP++方法,通过聚合k跳邻域或随机游走节点来缓解结构差异影响,并在多种设置下验证了其有效性和通用性。
2024-05-04 cs.AI cs.LG cs.SI
Predicting Drug Effects from High-Dimensional, Asymmetric Drug Datasets by Using Graph Neural Networks: A Comprehensive Analysis of Multitarget Drug Effect Prediction
Oak Ridge National Laboratory(橡树岭国家实验室)
针对高维不对称数据集下图神经网络预测药物效应性能不佳的问题,提出新的过采样技术以改善数据不平衡,并开发混合GNN模型在多标签分类任务上显著优于其他机器学习模型。
2024-10-11 cs.LG
MIDiff: Tackling Sparsity and Imbalance in Mobile Usage Generation via Multivariate-Imaging Diffusion
针对移动使用数据存在的稀疏性、变量异构及使用不平衡问题,提出多变量成像扩散框架MIDiff,通过C-GASF转换数据,在U-Net中用三重注意力保持一致性和依赖性,实验表明该方法在生成移动使用轨迹上性能优异。
2026-07-17 cs.LG
Distributed Graph Neural Network Training: A Survey
Beijing University of Posts and Telecommunications(北京邮电大学);Carnegie Mellon University(卡内基梅隆大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);Peking University(北京大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本综述针对分布式图神经网络训练的三大挑战,提出优化技术新分类体系并梳理各类技术,总结了适配不同硬件的现有系统,指明了未来研究方向。
2023-08-25 cs.AI cs.DB cs.DC
Pure Node Selection for Imbalanced Graph Node Classification
School of Intelligent Systems Science(智能系统科学学院);Engineering, Jinan University, Zhuhai 519070, China(济南大学珠海校区);College of Cyber Security, Jinan University, Guangzhou 510632, China(网络安全学院);Department of Computer Science, University of Illinois Chicago, Chicago 60607, USA(伊利诺伊大学芝加哥分校计算机科学系)
针对图节点分类中随机种子诱发异常连接并降低性能的问题,本文提出即插即用的 PNS 节点合成模块,在多种 GNN 与基准上稳定提升并超过基线。
2025-09-28 cs.AI cs.LG