SGS-GNN: A Supervised Graph Sparsification method for Graph Neural Networks
Purdue University(普渡大学);Islamic University of Technology(伊斯兰科技大学);Pacific Northwest National Lab(太平洋西北国家实验室)
本文提出监督式图稀疏化方法 SGS-GNN,通过学习边采样分布并利用正则化增强子图同配性,在33个图上以20%边保留率提升精度并显著降低训练与推理成本。
2025-02-14 cs.LG
Connectivity-Guided Sparsification of 2-FWL GNNs: Preserving Full Expressivity with Improved Efficiency
针对2-FWL高阶图神经网络计算复杂度高、现有提速方法损失表达能力的问题,提出Co-Sparsify连通性引导稀疏化框架,在保留完整2-FWL表达力的同时削减冗余计算,在多个基准上取得最优性能。
2025-11-16 cs.AI cs.LG
Improving the interpretability of GNN predictions through conformal-based graph sparsification
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);McGill University(麦吉尔大学);Saarland University(萨尔大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文提出一种基于共形预测和强化学习的GNN训练方法,通过移除不相关边和节点生成稀疏子图,在保持分类性能的同时提升预测可解释性。
2024-04-18 cs.LG cs.SI stat.ML
Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification
Georgia Institute of Technology(佐治亚理工学院);IQVIA(艾昆纬);University of Illinois, Urbana-Champagne(伊利诺伊大学厄巴纳-香槟分校)
注意力机制在图神经网络(GNN)中的节点上的推理表现出优越的性能,然而,它们在训练和推理期间都导致高计算负担。我们提出了FastGAT,这是一种通过使用频谱稀疏化来生成输入图的最佳修剪来使基于注意力的GNNs轻量化的方法。这导致每纪元时间在图节点的数量上几乎是线性的,而不是二次的。我们从理论上证明,频谱稀疏保留的GAT模型计算的功能,从而证明我们的算法。我们实验评估FastGAT在几个大的真实世界的图形数据集的节点分类任务下的归纳和转换设置。FastGAT可以显著减少(高达\textbf{10x})计算时间和内存需求,允许在大型图上使用基于注意力的GNN。
2020-10-05 cs.LG stat.ML
Scaffold: Support Graph Theory Based Sparsification for Graph Neural Networks
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Adobe(Adobe公司);Boise State University(博伊西州立大学);Purdue University(普渡大学)
针对图神经网络计算成本高的问题,提出基于支撑图理论的稀疏化框架Scaffold,通过联合控制扩张与拥塞保留关键通信结构,在19个基准上以10%-50%的边实现全图性能,并降低内存与训练时间。
2026-09-28 cs.LG
Spectral Graph Sparsification Preserves Representation Geometry in Graph Neural Networks
Department of Computer Science, University of California Santa Barbara(加州大学圣芭芭拉分校计算机科学系)
本文研究了图神经网络中谱图稀疏化是否保持嵌入表示的几何结构,证明了稀疏化对多项式滤波器GNN的扰动,并通过实验验证了稀疏化在保持表示几何方面的有效性。
2026-11-10 cs.LG cs.SI math.SP
Spatio-Temporal Sparsification for General Robust Graph Convolution Networks
Central South University(中南大学)
图神经网络(GNN)因其在各种图结构数据上的成功应用而引起越来越多的关注。然而,最近的研究表明,对抗攻击正在威胁GNN的功能。虽然已经提出了许多工作,以防止对抗攻击从不同的角度来看,他们中的大多数可以是强大的攻击,只有在特定的情况下。为了解决这种鲁棒泛化的不足,我们提出通过在GNN隐藏节点表示上应用时空稀疏化(称为ST稀疏)来防御对GNN的对抗攻击。ST-Sparse在精神上类似于Dropout正则化。通过对GCN作为目标GNN模型的深入实验评估,我们发现ST-Sparse的优点如下:(1)ST-Sparse在大多数情况下表现出防御性能的改善,因为它可以有效地提高鲁棒精度,最高可提高6%;(2)ST-Sparse通过与现有的防御方法相结合,展示了其强大的泛化能力,类似于将Dropout集成到各种深度学习模型中作为标准正则化技术;(3)ST-Sparse在干净数据集上也表现出普通的泛化能力,(ST-Sparse与原GCN的融合)的性能甚至优于原GCN,而其他三种代表性的防御方法都不如原GCN。
2021-03-23 cs.AI cs.LG
Towards Sparsification of Graph Neural Networks
University of Connecticut(康涅狄格大学);University of Rochester(罗切斯特大学);George Mason University(乔治梅森大学)
随着现实世界的图规模扩大,部署了具有数十亿参数的更大的GNN模型。这种模型中的高参数计数使得图上的训练和推理昂贵且具有挑战性。为了减少GNN的计算和存储成本,通常采用诸如修剪输入图中的冗余节点和边的优化方法。然而,直接以模型层的稀疏化为目标的模型压缩主要限于用于诸如图像分类和目标检测之类的任务的传统深度神经网络(DNN)。在本文中,我们利用两种最先进的模型压缩方法(1)训练和修剪(2)稀疏训练用于GNN中权重层的稀疏化。我们评估和比较这两种方法的准确性,训练稀疏性和训练FLOPs在现实世界中的图形的效率。我们的实验结果表明,在ia-email,wiki-talk和stackoverflow数据集上进行链接预测,具有低得多的训练FLOP的稀疏训练与训练和修剪方法实现了相当的准确性。在用于节点分类的大脑数据集上,稀疏训练使用较低数量的FLOP(小于训练和修剪方法的1/7 FLOP),并且在极端模型稀疏度下保持更好的准确性性能。
2023-02-24 cs.LG
Visualization and Analysis of the Loss Landscape in Graph Neural Networks
Faculty of Computer Science, University of Vienna(计算机科学系,维也纳大学);University of Vienna(维也纳大学)
本文提出一种高效的可学习降维方法来可视化GNN损失景观,并分析了多种技术对GNN优化的影响,为架构与训练策略设计提供了新见解。
2025-09-15 cs.LG
Less Is More -- On the Importance of Sparsification for Transformers and Graph Neural Networks for TSP
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group Trucks Technology(沃尔沃集团卡车技术部门)
针对机器学习求解TSP时编码器在全图聚合信息的问题,提出图稀疏化与注意力掩码的数据预处理方法及多级集成策略,显著提升了GNN性能,并设计了达到SOTA的transformer编码器,大幅缩小了模型与最优解的差距。
2024-03-25 cs.AI cs.LG
Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification
Tsinghua University(清华大学);Lanzhou University(兰州大学)
针对现有图神经架构搜索未适配资源受限场景的问题,提出结合图稀疏化与网络剪枝的轻量搜索方法GASSIP,通过双模块迭代优化实现性能相当但参数更少、图更稀疏的轻量GNN搜索。
2024-06-24 cs.AI cs.LG cs.SI
On the Adversarial Robustness of Graph Neural Networks with Graph Reduction
Rensselaer Polytechnic Institute(罗文学院);University of Hong Kong(香港大学);Fordham University(福坦姆大学)
本文通过大量实验系统研究了图稀疏化和图粗化对GNN对抗鲁棒性的影响,发现稀疏化可部分缓解Mettack等攻击,而粗化会放大攻击效果,并为图加速系统中鲁棒GNN设计提供了分析见解。
2025-07-03 cs.CR cs.LG
Knowledge Graph Sparsification for GNN-based Rare Disease Diagnosis
Department of Computer Science, Technical University of Munich(技术大学慕尼黑计算机科学系);Munich Center for Machine Learning (MCML), Munich, Germany(慕尼黑机器学习中心(MCML));Johns Hopkins University, Baltimore, Maryland, USA(约翰霍普金斯大学)
针对罕见病诊断数据稀缺等挑战,提出基于子图的图神经网络RareNet,仅用表型识别致病基因,可独立或辅助其他方法,提升预测性能并惠及资源有限地区。
2025-10-09 cs.AI cs.LG q-bio.GN
Interpretable Sparsification of Brain Graphs: Better Practices and Effective Designs for Graph Neural Networks
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Georgia State University(佐治亚州立大学);University of North Carolina, Charlotte(北卡罗来纳大学夏洛特分校);Dartmouth College(达特茅斯学院)
针对密集脑图计算成本高且可解释性差的问题,提出可解释图稀疏化模型IGS,通过在GNN训练中联合学习跨图共享边选择并利用任务相关梯度,在减少55.0%边的同时将分类性能提升5.1%,且保留边具神经科学解释性。
2023-06-26 cs.LG q-bio.NC
Graph Sparsification for Enhanced Conformal Prediction in Graph Neural Networks
The Ohio State University(俄亥俄州立大学)
针对图神经网络保形预测缺乏训练阶段优化的问题,提出融合图稀疏化与专属目标的SparGCP方法,过滤任务无关边以提升效率,实验显示其预测集规模平均缩小32%,可适配普通GPU上的大规模网络。
2024-10-28 cs.LG
Exploring the impact of adaptive rewiring in Graph Neural Networks
Data Science Department, Institute for Computing and Information Sciences, Radboud University(数据科学系,计算与信息科学研究所,拉德堡德大学)
本文提出了一种自适应重 wiring 方法,通过稀疏化技术提升图神经网络在电网可靠性分析中的性能和可扩展性。
2026-02-11 cs.AI cs.LG cs.SY
Distributed Link Sparsification for Scalable Scheduling Using Graph Neural Networks (Journal Version)
Department of Electrical and Computer Engineering, Rice University(电气与计算机工程系,里士满大学);DEVCOM Army Research Laboratory (ARL)(陆军研究实验室(ARL))
针对密集无线网络中分布式链路调度开销大的问题,提出基于图神经网络的分布式链路稀疏化方案,通过离线约束无监督学习调整竞争阈值,在保持网络容量的同时降低开销,实验验证了其有效性。
2025-09-05 cs.DM cs.LG cs.NI
On the Robustness of Graph Reduction Against GNN Backdoor
Rensselaer Polytechnic Institute(伦斯勒理工学院);Ulsan National Institute of Science and Technology(蔚山国家科学技术研究院);The University of Hong Kong(香港大学)
该研究针对图约简技术与GNN后门攻击的相互作用不明确的问题,分析了12种图约简方法在3种GNN架构下抵御3种后门攻击的鲁棒性,发现不同方法效果差异大,部分会加剧攻击,强调需在图约简中纳入鲁棒性考量以保障GNN安全。
2024-07-09 cs.CR cs.LG
Rethinking Graph Lottery Tickets: Graph Sparsity Matters
Auburn University(奥本大学);The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Clemson University(克莱姆森大学)
该研究针对图神经网络剪枝中高图稀疏度导致性能骤降的问题,提出含辅助损失头与最小-最大优化的改进剪枝方法,性能优于UGS,还提出并验证了可迁移图彩票假设。
2023-05-03 cs.AI cs.LG
TEDDY: Trimming Edges with Degree-based Discrimination strategY
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院);AITRICS
TEDDY提出一次性边稀疏化框架,利用边度数信息实现高效图彩票发现,在单次训练中达到目标稀疏度,泛化性能显著优于迭代方法。
2024-03-15 cs.AI cs.LG
MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Microsoft Research Asia(微软亚洲研究院)
图神经网络(GNN)通过聚合来自邻居的信息,在图表示学习上表现出了表达性能。最近,一些研究讨论了在图上建模邻域分布的重要性。然而,大多数现有的GNN通过单个统计来聚合邻居的特征(例如,mean,max,sum),这丢失了与邻居的特征分布相关的信息,因此降低了模型性能。本文受统计学中矩方法的启发,提出用多阶矩来描述邻域的特征分布。设计了一种新的GNN模型--混合矩图神经网络(MM-GNN),它包括多阶矩嵌入(MME)模块和基于元素注意力的矩适配器模块。MM-GNN首先计算每个节点的邻居的多阶矩作为签名,然后使用基于元素注意力的矩适配器为每个节点的重要矩分配更大的权重并更新节点表示。我们在15个真实世界的图(包括社交网络、引文网络和网页网络等)上进行了广泛的实验。评估我们的模型,结果表明MM-GNN优于现有的国家的最先进的模型。
2023-01-28 cs.LG
On the Ability of Graph Neural Networks to Model Interactions Between Vertices
Tel Aviv University(特拉维夫大学)
本文通过分离秩形式化GNNs对顶点交互的建模能力,发现其由划分的游走索引决定,并提出边稀疏化算法WIS以在移除边时保留该能力且提升预测精度。
2023-10-23 cs.AI cs.LG cs.NE
Generalizing Aggregation Functions in GNNs:High-Capacity GNNs via Nonlinear Neighborhood Aggregators
Anhui University(安徽大学)
图神经网络(GNNs)在许多图学习任务中取得了巨大的成功。为现有GNN提供动力的主要方面是多层网络架构,以学习特定学习任务的非线性图表示。GNN中的核心操作是消息传播,其中每个节点通过聚合其邻居的表示来更新其表示。现有的GNN在消息传播中主要采用线性邻域聚合(均值,和)或最大聚合器。(1)对于线性聚合器,由于更深的GNN通常遭受过平滑问题,GNN的整体非线性和网络容量通常是有限的。(2)对于最大聚集器,它通常不能知道的细节信息的节点表示的邻域内。为了克服这些问题,我们重新思考GNN中的消息传播机制,并旨在开发用于GNN中邻域信息聚合的通用非线性聚合器。我们提出的非线性聚合器的一个主要方面是,它们提供了最大和平均/总和聚合之间的最佳平衡聚合器。因此,我们的聚合器可以继承(i)增加网络容量的高非线性和(ii)在GNN的消息传播中保留表示的详细信息的细节敏感性。在多个数据集上的实验表明了所提出的非线性聚集器的有效性。
2022-02-18 cs.CV cs.LG
Unifews: You Need Fewer Operations for Efficient Graph Neural Networks
College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡);College of Computing(计算学院);Data Science, Nanyang Technological University, Singapore(数据科学,南洋理工大学,新加坡)
提出Unifews联合稀疏化技术统一图与权重矩阵操作,在保证精度下实现10-20倍操作减少及最高100倍加速,显著提升GNN学习效率。
2025-07-10 cs.DB cs.LG
Sparsifying the Update Step in Graph Neural Networks
École Polytechnique(巴黎综合理工学院);Institute Polytechnique de Paris(巴黎理工学院)
消息传递神经网络(MPNNs)是最著名的图神经网络(GNN)框架,在图结构数据的分析方面取得了巨大的成功。同时,神经网络模型的稀疏化也引起了学术界和工业界的极大兴趣。在本文中,我们进行了一个结构化的,实证研究稀疏化的MPNN的可训练部分的更新步骤的影响。为此,我们设计了一系列模型,以在更新步骤中连续稀疏线性变换。具体来说,我们提出了具有可调稀疏率的ExpanderGNN模型和仅激活GNN模型,后者在更新步骤中没有线性变换。与文献中的增长趋势一致,稀疏化范式通过初始化稀疏神经网络架构而不是昂贵地稀疏化已经训练的架构来改变。我们的新基准模型能够更好地理解更新步骤对模型性能的影响,并优于现有的简化基准模型,如简单图卷积。ExpanderGNN,在某些情况下,仅激活模型,在几个下游任务上实现了与普通模型相当的性能,同时包含更少的可训练参数。我们的代码可在https://github.com/ChangminWu/ExpanderGNN上公开获取。
2022-04-15 cs.AI cs.LG cs.SI
Towards Precise Prediction Uncertainty in GNNs: Refining GNNs with Topology-grouping Strategy
KAIST(韩国科学技术院);AITRICS;Polymerize
针对GNN校准中邻域相似性假设的局限性,提出Simi-Mailbox方法,结合邻域相似性与节点置信度进行分组温度缩放,实现细粒度校准,最高降低13.79%预测误差。
2025-02-23 cs.LG
Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction
Korea University(高丽大学)
图神经网络(GNN)已经被广泛应用于各种领域,用于对图结构数据进行学习。它们在节点分类和图分类等各种任务上都比传统的探试法有了显着的改进。然而,由于GNN严重依赖于平滑的节点特征而不是图结构,因此它们在链接预测中通常表现出比简单的探试法差的性能,其中结构信息,例如,重叠的邻域、度和最短路径是至关重要的。为了解决这一限制,我们提出了邻域重叠感知图神经网络(Neo-GNNs),它从邻接矩阵中学习有用的结构特征,并估计用于链接预测的重叠邻域。我们的Neo-GNNs推广了基于邻域的探试法,并处理重叠的多跳邻域。我们在Open Graph Benchmark数据集(OGB)上进行的大量实验表明,Neo-GNN在链接预测中始终达到最先进的性能。我们的代码可在https://github.com/seongjunyun/Neo_GNNs上公开获取。
2022-06-09 cs.AI cs.LG
Layer-Neighbor Sampling -- Defusing Neighborhood Explosion in GNNs
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Amazon Web Services(亚马逊云科技)
提出LABOR采样算法,作为NS的直接替代方案,在保持相同fanout超参数和质量的同时显著减少采样顶点数,提高收敛速度和批大小。
2023-05-19 cs.LG
Bayesian Neighborhood Adaptation for Graph Neural Networks
Golisano College of Computing and Information Science(计算与信息科学学院);Rochester Institute of Technology(罗切斯特理工学院);Amazon.com, Inc.(亚马逊公司)
本文提出基于贝叶斯邻域适应的图神经网络方法,通过将跳数建模为beta过程,提升GNN的表达能力并在节点分类任务中取得优异性能。
2026-02-12 cs.LG
Theoretical Learning Performance of Graph Neural Networks: The Impact of Jumping Connections and Layer-wise Sparsification
Department of Electrical, Computer, and Systems Engineering(电气、计算机与系统工程系);Rensselaer Polytechnic Institute(伦塞拉尔理工大学);Department of Electrical and Systems Engineering(电气与系统工程系);University of Pennsylvania(宾夕法尼亚大学)
本文首次从理论上分析了带跳跃连接和图稀疏化的GCN的学习动力学与泛化性能,证明稀疏化在保留关键边时不影响泛化,并揭示跳跃连接导致不同层对稀疏化要求不同。
2025-07-07 cs.LG
Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness
Tongji Univerity(同济大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology (Guangzhou Campus)(香港科技大学(广州校区));Griffith University(格里菲斯大学);Massachusetts Institute of Technology(麻省理工学院)
针对现有图神经网络大规模图计算挑战,提出融合拓扑与语义感知的图稀疏训练方法GST,通过锚点对齐与均衡稀疏化原则,在更高稀疏度下保留拓扑完整性且无性能下降,实现推理加速并可应用于图对抗防御等任务。
2024-02-02 cs.LG
Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification
Westlake University(西湖大学)
本文提出完全基于MLP的GSDN框架,利用邻域结构先验进行知识自蒸馏,在保持无数据依赖快速推理的同时,显著提升节点分类性能。
2023-06-04 cs.LG
AGS-GNN: Attribute-guided Sampling for Graph Neural Networks
Purdue University(普渡大学);Pacific Northwest National Lab.(太平洋西北国家实验室);Boise State University(博伊西州立大学)
AGS-GNN提出属性引导采样算法,利用特征相似性与多样性双通道自适应处理同质/异质图,通过子模性实现多样采样,在35个图上达到最优异质GNN精度且收敛更快。
2024-05-24 cs.LG
Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily
Fudan University(复旦大学);The University of Sydney(悉尼大学)
本文针对GNN在异配图上的性能问题,提出基于冯·诺依曼熵的新指标和卷积无关框架CAGNNs,通过学习邻居效应提升大多数GNN在异配数据集上的表现。
2023-04-16 cs.AI cs.LG
2-hop Neighbor Class Similarity (2NCS): A graph structural metric indicative of graph neural network performance
Huawei Munich Research Center(华为慕尼黑研究中心)
图神经网络(GNN)在众多领域的图结构数据上实现了最先进的性能。它们将节点表示为其邻近区域的摘要的潜在能力已被证明对同构图特别有效,其中相同类型的节点倾向于连接。在不同类型的节点可能连接的异质图上,GNN的表现不太一致,因为邻域信息可能不太具有代表性,甚至具有误导性。另一方面,GNN的性能在所有异质图上都不差,并且缺乏对其他图形属性影响GNN性能的理解。在这项工作中,我们强调了广泛使用的同质比和最近的跨类邻域相似性(CCNS)度量在估计GNN性能方面的局限性。为了克服这些限制,我们引入了2跳邻居类相似性(2NCS),这是一种新的定量图形结构属性,与GNN性能的相关性比其他指标更强,更一致。2NCS认为两跳的邻居作为一个理论推导的两步标签传播过程的结果支配GCN的训练推理过程。一个合成和八个真实世界的图数据集上的实验证实了在估计基于GCN和GAT的架构对节点分类任务的准确性方面,与现有指标相比的一致改进。
2022-12-26 cs.LG
Search to aggregate neighborhood for graph neural network
Paradigm Inc.(第四范式公司);Tsinghua University(清华大学)
近年来,图神经网络(GNN)在各种场景中得到了普及和成功。为了获得数据特定的GNN架构,研究人员转向神经架构搜索(NAS),它在发现卷积神经网络中的有效架构方面取得了令人印象深刻的成功。然而,由于搜索空间设计中的挑战和现有NAS方法的昂贵搜索成本,将NAS方法应用于GNN是不平凡的。在这项工作中,为了获得特定于数据的GNN架构并解决NAS方法所面临的计算挑战,我们提出了一个框架,该框架试图搜索聚合邻域(SANE),以自动设计特定于数据的GNN架构。通过设计一个新颖的和有表现力的搜索空间,我们提出了一个可微的搜索算法,这是更有效的比以前的强化学习的方法。在四个任务和七个真实数据集上的实验结果表明,SANE与现有的GNN模型和NAS方法相比,在有效性和效率方面具有优越性。(Code可在以下网址获得:https://github.com/AutoML-4Paradigm/SANE)。
2021-04-20 cs.LG
$P^2$GNN: Two Prototype Sets to boost GNN Performance
Amazon, India(亚马逊(印度))
$P^2$GNN通过引入两种原型集提升GNN性能,有效增强全局上下文和去噪效果,实验表明其在电商和开源数据集上均取得优异表现。
2026-03-10 cs.LG
Deeper-GXX: Deepening Arbitrary GNNs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Arizona State University(亚利桑那州立大学)
近年来,在实际应用的推动下,图神经网络的一个主要研究方向是探索更深层次的结构。例如,图连通性并不总是与标签分布一致(例如,某些节点的最近邻居不属于同一类别)。在这种情况下,GNN需要堆叠更多的层,以便在更长的路径中找到相同的分类邻居,以捕获类别区分信息。然而,两个主要问题阻碍了更深的GNN获得令人满意的性能,即,消失梯度和过度平滑。一方面,堆叠层使得神经网络难以训练,因为前几层的梯度消失了。此外,当简单地解决GNN中的消失梯度时,我们发现了阴影邻居效应(即,堆叠层不适当地扭曲了图的非IID信息并降低了GNN的性能)。另一方面,更深的GNN从公共邻居聚合更多的信息,使得各个节点表示共享更多的重叠特征,这使得最终的输出表示不具有区分性(即,过度平滑)。在本文中,我们首次解决了这两个问题,以实现更深的GNN,并提出了Deeper-GXX,它由权重衰减图剩余连接模块(WDG-ResNet)和拓扑引导图对比损失(TGCL)组成。在真实世界数据集上进行的大量实验表明,Deeper-GXX的性能优于最先进的更深基线。
2022-10-25 cs.LG
NEAR: Neighborhood Edge AggregatoR for Graph Classification
POSTECH(浦项科技大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
由于图神经网络在生物信息学、化学信息学、社会网络分析和数据采掘等领域的广泛应用,它在图结构数据学习中的应用已成为近年来的一个重要研究领域。最近的GNN算法基于神经消息传递,这使得GNN能够递归地集成局部结构和节点特征。然而,过去的GNN算法的基础上1跳邻域神经消息传递暴露于局部结构和关系的信息丢失的风险。在本文中,我们提出了Neighborhood Edge AggregatoR(NEAR),这是一个通过边缘聚集邻域中节点之间关系的框架。NEAR可以与图同构网络(GIN)正交结合,提供描述邻域中哪些节点连接的综合信息。因此,NEAR可以反映1跳邻域中的节点本身之外的每个节点的局部结构的附加信息。多个图分类任务的实验结果表明,我们的算法比其他现有的基于1-hop的基于GNN的算法有很好的改善。
2021-12-15 cs.LG stat.ML
Grothendieck Graph Neural Networks Framework: An Algebraic Platform for Crafting Topology-Aware GNNs
Department of Electrical Engineering(电气工程系);École de Technologie Supérieure (ÉTS)(高级技术学院);University of Quebec(魁北克大学);Montreal, Canada(加拿大蒙特利尔)
本文提出Grothendieck图神经网络框架,通过将邻域扩展为覆盖,为构建拓扑感知的GNN提供代数基础,并设计了Sieve Neural Networks以提升拓扑评估能力。
2026-04-28 cs.LG
Demystifying Distributed Training of Graph Neural Networks for Link Prediction
Department of Computer Science, Texas State University(计算机科学系,德克萨斯州立大学)
本文揭示了图神经网络分布式链接预测训练中的性能下降问题,提出SpLPG方法利用图稀疏化在基本保持预测准确率的同时将通信开销降低约80%。
2025-06-25 cs.LG
ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion
Ocean University of China(海洋大学);Harbin Institute of Technology(哈尔滨工业大学);Shandong University of Science and Technology(山东科技大学);School of Computer, National University of Defense Technology(国防科技大学计算机学院)
ScaleGNN通过自适应融合多跳节点特征,解决大规模图神经网络的可扩展性和过平滑问题,提升预测准确性和效率。
2026-03-09 cs.LG
Graph Neural Networks with Parallel Neighborhood Aggregations for Graph Classification
Indian Institute of Science(印度科学学院)
我们专注于图形分类使用图神经网络(GNN)模型,预先计算的节点功能,使用一个银行的邻域聚合图运营商并行排列。由于预先计算,这些GNN模型具有减少训练和推理时间的天然优势,但也与在训练期间通过顺序邻域聚合过程更新节点特征的流行GNN变体有根本不同。我们提供的理论条件下,一个通用的GNN模型与并行邻域聚合(PA-GNN,在短时间内)可证明为强大的著名的Weisfeiler-Lehman(WL)图同构测试在区分非同构图。虽然PA-GNN模型与WL测试没有明显的关系,但我们证明了从这两种方法获得的图嵌入是注入相关的。然后,我们提出了一个专门的PA-GNN模型,称为SPIN,它服从开发的条件。我们通过数值实验证明,所开发的模型在许多不同的现实世界数据集上实现了最先进的性能,同时保持了WL测试的区分能力和在训练过程之前预处理图形的计算优势。
2021-11-22 cs.LG eess.SP stat.ML
Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods
Amazon(亚马逊)
图神经网络(GNN)在节点分类、回归和推荐任务中已经实现了最先进的性能。GNN在丰富和高质量的连接可用时工作良好。然而,他们的有效性往往是危及许多现实世界中的节点度有幂律分布的图。这种情况的极端情况,即节点可能没有邻居,称为严格冷启动(SCS)。SCS强制预测完全依赖于节点自身的特征。我们提出了Cold Brew,这是一种师生蒸馏方法,用于解决GNN的SCS和噪声邻居挑战。我们还引入了特征贡献率(FCR),这是一个量化归纳GNN解决SCS的行为的度量。我们的实验表明,FCR解开不同的图形数据组件的贡献,并帮助选择最佳的体系结构SCS推广。我们进一步证明了Cold Brew在几个公共基准和专有电子商务数据集上的卓越性能,其中许多节点的连接很少或有噪声。我们的源代码可在https://github.com/amazon-research/gnn-tail-generalization上获得。
2022-03-13 cs.LG
SEEN: Sharpening Explanations for Graph Neural Networks using Explanations from Neighborhoods
Samsung SDS(三星SDS);Mobilint(莫比林特)
本文提出后置方法 SEEN,通过聚合重要邻接节点的辅助解释提升 GNN 节点分类解释质量,无需改图且兼容多种解释技术,实验显示准确率最高提升 12.71%。
2021-06-16 cs.LG
Evaluating Neighbor Explainability for Graph Neural Networks
Ericsson Cognitive Network Solutions(爱立信认知网络解决方案部门);Ericsson Global Artificial Intelligence Accelerator(爱立信全球人工智能加速器);Ericsson Research(爱立信研究院);Etvös Loránd University(厄特沃什·罗兰大学)
本文研究图神经网络节点分类中邻居重要性的评估问题,通过重构现有可解释性方法并提出四种新指标,发现梯度类方法解释差异很小,且无自环 GNN 下许多方法无法识别重要邻居。
2024-03-30 cs.AI cs.LG
Deep Ensembles for Graphs with Higher-order Dependencies
Lucy Family Institute for Data and Society(露西家庭数据与社会研究所);University of Notre Dame(圣母大学)
图神经网络(GNN)在许多图学习任务上继续实现最先进的性能,但依赖于给定图是真实邻域结构的充分近似的假设。当一个系统包含高阶顺序依赖关系时,我们发现传统图表示不适合每个节点的邻域的趋势会导致现有的GNN泛化能力差。为了解决这个问题,我们提出了一种新的深度图包围(DGE),它通过在高阶网络结构中同一节点的不同邻域子空间上训练GNN的集合来捕获邻域方差。我们表明,即使在类似的参数预算下,DGE在六个具有已知高阶依赖关系的真实世界数据集上的半监督和监督任务上的性能始终优于现有的GNN。我们证明了学习多样化和准确的基础分类器是DGE成功的关键,并讨论了这些研究结果对未来GNNs合奏工作的影响。
2023-02-07 cs.LG
HERTA: A High-Efficiency and Rigorous Training Algorithm for Unfolded Graph Neural Networks
University of Michigan(密歇根大学)
本文提出 HERTA,一种用于展开图神经网络的高效严格训练算法,通过近线性时间最坏情况收敛保证加速训练并收敛至原始模型最优解以保留可解释性,同时提出新谱稀疏化方法,实验验证了其优越性与适应性。
2024-03-26 cs.LG
GNNDelete: A General Strategy for Unlearning in Graph Neural Networks
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Adobe(奥多比);Harvard University(哈佛大学)
图去学习涉及从训练的图神经网络(GNN)模型中删除节点、节点标签和关系等图形元素,对于数据元素可能变得不相关、不准确或隐私敏感的现实应用至关重要。然而,现有的方法图unlearning要么恶化模型的权重共享所有节点或未能有效地删除边缘,由于他们的强烈依赖于局部图邻域。为了解决这些限制,我们引入了GNNDelete,这是一种新的模型不可知的逐层操作符,它优化了两个关键属性,即边缘一致性和邻域影响,用于图形学习。边缘一致性确保从模型权重和相邻表示中删除删除元素的影响,而邻域影响确保删除后保留剩余的模型知识。GNNDelete更新表示以从模型中删除节点和边,同时保留其余的学习知识。我们在七个真实世界的图上进行了实验,结果表明GNNDelete在边缘、节点和节点特征删除任务上的性能比现有方法高出38.8%(AUC),在区分删除的边缘和未删除的边缘上的性能比现有方法高出32.2%。此外,GNNDelete是高效的,比在WordNet18上从头开始重新训练GNN节省了12.3倍的时间和9.3倍的空间。
2023-02-26 cs.AI cs.LG
MEGA: Message Passing Neural Networks for Multigraphs with EdGe Attributes
Delft University of Technology(代尔夫特理工大学);University of Neuchâtel(纳沙泰尔大学)
针对带边属性多重图学习的局限,该研究提出邻居感知聚合算子,构建MEGA-GNN框架,在社交和金融数据集上验证其性能达到或超越现有最优方法。
2026-09-01 cs.LG
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat(拉巴特国际大学)
本文从统计信号处理角度重新审视GNN中的邻域聚合,指出基准模型在边缘独立标签假设下的概念缺陷,并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
Graph Auto-Encoder Via Neighborhood Wasserstein Reconstruction
University of Virginia(弗吉尼亚大学);Emory University(埃默里大学);Purdue University(普渡大学)
图神经网络(GNNs)近年来引起了广泛的研究关注,主要是在半监督学习的背景下。当首选任务不可知表示或监督不可用时,自动编码器框架可以方便地使用自然图重建目标进行无监督GNN训练。然而,现有的图自动编码器被设计为重建直接链接,因此以这种方式训练的GNN仅针对面向邻近的图挖掘任务进行优化,并且在拓扑结构重要时会出现不足。在这项工作中,我们重新审视了GNNs的图形编码过程,该过程基本上是学习将每个节点的邻域信息编码到嵌入向量中,并提出了一种新的图形解码器,通过邻域Wasserstein重建(NWR)来重建关于邻近度和结构的整个邻域信息。具体来说,从每个节点的GNN嵌入,NWR联合预测其节点度和邻居特征分布,其中分布预测采用基于Wasserstein距离的最优传输损失。在合成和真实网络数据集上的大量实验表明,使用NWR学习的无监督节点表示在面向结构的图挖掘任务中具有更大的优势,同时在面向邻近度的任务中也具有竞争力的性能。
2022-02-18 cs.LG cs.SI
EDiS: Edge Disjoint Subgraph Sparsification Framework for Graph Neural Networks
University of Texas at Dallas(德克萨斯大学达拉斯分校);Pacific Northwest National Laboratory(太平洋西北国家实验室);Adobe Research(Adobe研究院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Cisco(思科);Purdue University(普渡大学)
EDiS框架将图结构一次性分解为可缓存的边不相交子图,并在各训练周期按边预算重组,兼顾稀疏训练效率与拓扑多样性,在19个基准上超越17个基线。
2026-10-08 cs.LG
Node Embedding using Mutual Information and Self-Supervision based Bi-level Aggregation
Independent University Bangladesh(孟加拉国独立大学)
图神经网络(GNN)通过聚集来自图中的邻域的信息来学习节点的低维表示。然而,传统的GNN由于其本地($l$ -跳邻域)聚合方案而遭受两个基本缺点。第一,并非邻域中的所有节点都携带目标节点的相关信息。由于GNN不排除其邻域中的噪声节点,因此不相关的信息被聚合,这降低了表示的质量。其次,传统GNN也无法捕获节点之间的远程非本地依赖关系。为了解决这些限制,我们利用互信息(MI)来定义两种类型的邻居,1)\textit{Local Neighborhood},其中节点在社区内密集连接,每个节点将与其邻居共享更高的MI,以及2)\textit{Non-Local Neighborhood},其中引入基于MI的节点聚类来组装信息丰富但图形上遥远的节点在同一个集群。为了生成节点表示,我们结合了由两级聚合生成的嵌入-局部聚合以聚合来自局部邻域的特征以避免噪声信息和非局部聚合以聚合来自非局部邻域的特征。此外,我们利用自我监督学习来估计MI与少量的标记数据。最后,我们表明,我们的模型显着优于国家的最先进的方法,在广泛的双折射和双折射图。
2021-04-27 cs.LG