The Oversmoothing Fallacy: A Misguided Narrative in GNN Research
Graduate School of Artificial Intelligence（人工智能研究生院）；Department of Computer Science & Engineering（计算机科学与工程系）；POSTECH
本文指出GNN研究中过度平滑问题被夸大，其本质常与梯度消失混淆，并证明跳跃连接和归一化可支持深度GNN堆叠而不损失性能。
2025-06-05 cs.LG
LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation
North Carolina State University（北卡罗来纳州立大学）；Michigan State University（密歇根州立大学）；Amazon（亚马逊）；Duke University（杜克大学）
本文提出 LazyGNN，用浅层模型捕获长距离依赖，避免深层 GNN 的邻域爆炸问题，并支持小批量采样加速，在大规模图基准上取得优越性能。
2023-06-01 cs.LG
Geometry-Induced Diffusion on Graphs: A Learnable Weighted Laplacian for Spectral GNNs
École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院（EPFL））；École Normale Supérieure – PSL（巴黎高等师范学院–PSL）
本文提出了一种简单的谱GNN架构mu-ChebNet，通过学习节点级权重函数mu来修改图拉普拉斯算子，从而改变传播几何而不改变图拓扑，从而促进信息传播的优选路径，帮助长距离信号避免高收缩瓶颈，无需重复层堆叠。
2026-05-21 cs.LG
Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
本文将消息传递逆过程应用于三种 GNN 变体，在异配图上生成可区分节点表示，显著提升预测性能并可在数百层下缓解过平滑。
2024-06-11 cs.LG cs.SI
Linkless Link Prediction via Relational Distillation
University of Notre Dame（圣母大学）；University of California, Riverside（加州大学河滨分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Snap Inc.（Snap公司）
针对GNN链路预测延迟高而MLP缺乏关系知识的问题，本文提出关系蒸馏框架LLP，通过围绕锚节点的排序与分布匹配训练MLP，在多数基准上超过教师GNN并实现70.68倍推理加速。
2023-06-05 cs.LG
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络（GNN）是为图结构数据定制的神经模型家族，并且在学习图结构数据的表示方面表现出优异的性能。然而，在大型图上训练GNN仍然具有挑战性，一个有前途的方向是分布式GNN训练，即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中，我们研究了分布式GNNs训练过程中的通信复杂性，并提出了一种简单的无损通信减少方法，称为通信前聚合（ABC）方法。ABC方法利用GNNs层的置换不变属性，并导致一种范式，其中顶点切割被证明比当前流行的范式（边缘切割）具有更好的通信性能。此外，我们表明，新的分区范例是特别理想的情况下，动态图，它是不可行的，以控制边缘的位置，由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
Hyperbolic Benchmarking Unveils Network Topology-Feature Relationship in GNN Performance
Universitat de Barcelona（巴塞罗那大学）；UBICS；ICREA（加泰罗尼亚研究与高级研究所）
本研究提出基于双曲空间几何软配置模型的图机器学习基准测试框架，通过生成合成网络评估网络拓扑与节点特征对GNN性能的影响，为模型选择提供指导。
2024-06-04 cs.LG
Hierarchical graph neural nets can capture long-range interactions
Mila（米拉研究所）
已知基于相邻节点之间的消息传递的图神经网络（GNN）不足以捕获图中的远程交互。在这个项目中，我们研究层次消息传递模型，利用一个给定的图的多分辨率表示。这有助于学习跨越大感受野的特征，而不会丢失局部信息，这一点在以前的分层GNN工作中没有研究过。我们引入层次图网络（HGNet），其中任何两个连接的节点保证存在的消息传递路径的最多对数长度w.r.t.输入图形的大小。然而，在温和的假设下，其内部层次结构保持渐近大小等于输入图。我们观察到，我们的HGNet优于传统的GCN层堆叠，特别是在分子性质预测基准。最后，我们提出了两个基准测试任务，旨在阐明GNN利用图中的远程交互的能力。
2021-08-15 cs.LG stat.ML
Node Embedding from Hamiltonian Information Propagation in Graph Neural Networks
C3 AI（C3人工智能公司）；Nanyang Technological University（南洋理工大学）
图神经网络（GNN）在图结构数据的各种推理任务中取得了成功。然而，文献中许多GNN面临的共同挑战包括各种几何形状下的图节点嵌入问题和过平滑问题。为了解决这些问题，我们提出了一种新的图信息传播策略，称为Hamilton动态GNN（HDG），它使用Hamilton力学方法来学习图中的节点嵌入。HDG中的哈密顿能量函数是可学习的，并且可以适应任何给定图形数据集的底层几何。我们展示了HDG自动学习图形数据集的底层几何结构的能力，即使是那些具有复杂和混合几何结构的图形数据集，通过对各种下游任务的最先进基线进行全面评估。我们还验证了HDG对小扰动是稳定的，并且可以减轻堆叠许多层时的过度平滑问题。
2023-03-02 cs.LG
NAFS: A Simple yet Tough-to-beat Baseline for Graph Representation Learning
Peking University（北京大学）；Institute of Computational Social Science, Peking University (Qingdao)（北京大学（青岛）计算社会科学研究院）
最近，图神经网络（GNN）通过利用来自图结构和节点特征的知识，在图表示学习中表现出突出的性能。然而，它们中的大多数都有两个主要限制。首先，GNN可以通过堆叠更多层来学习高阶结构信息，但由于过度平滑问题而无法处理大深度。其次，由于计算成本高和内存占用量大，这些方法不容易应用于大型图。在本文中，我们提出了节点自适应特征平滑（NAFS），一个简单的非参数方法，构建节点表示，而无需参数学习。NAFS首先通过特征平滑提取每个节点及其不同跳数邻居的特征，然后自适应地组合平滑后的特征。此外，构造的节点表示可以进一步增强通过不同的平滑策略提取的平滑特征的集成。我们在四个基准数据集上进行实验，在两个不同的应用场景：节点聚类和链接预测。值得注意的是，具有特征集成的NAFS在这些任务上优于最先进的GNN，并减轻了大多数基于学习的GNN对应物的上述两个限制。
2022-06-17 cs.LG
Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification
JD AI Research（京东人工智能研究院）；Stanford University（斯坦福大学）
最近的方面级情感分类工作已经证明了将句法结构（如依赖树）与图神经网络（GNN）相结合的有效性，但这些方法通常容易出现解析错误。为了更好地利用语法信息，面对不可避免的错误，我们提出了一个简单而有效的图集成技术，GraphMerge，利用不同的解析器的预测。我们没有为每个依赖树分配一组模型参数，而是首先将来自不同解析的依赖关系组合在一起，然后将GNN应用于结果图。这使得GNN模型能够在没有额外计算成本的情况下强大地解析错误，并通过将更多的连接引入到系综图中来帮助避免GNN层堆叠的过度参数化和过度拟合。我们在SemEval 2014 Task 4和ACL 14 Twitter数据集上的实验表明，我们的GraphMerge模型不仅优于单依赖树模型，而且在不添加模型参数的情况下击败了其他集成模型。
2021-03-12 cs.CL cs.LG
Reducing Over-smoothing in Graph Neural Networks Using Relational Embeddings
University of Amsterdam（阿姆斯特丹大学）
图神经网络（GNN）在处理图结构数据方面取得了很大的成功。然而，据观察，GNN的性能不会随着层数的增加而改善（甚至恶化）。这种效应被称为过度平滑，这意味着当堆叠多个层时，不同类的图节点的表示将变得无法区分。在这项工作中，我们提出了一种新的简单而有效的方法，通过显式地使用节点嵌入之间的关系来减轻GNNs中过度平滑问题的影响。在真实世界数据集上的实验表明，利用节点嵌入关系使GNN模型（如图注意力网络）对过度平滑更具鲁棒性，并在更深的GNN中实现更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。GNN应用程序是无止境的，取决于用户的目标和他们拥有的数据类型。解决过度平滑问题可以潜在地提高模型在所有这些任务上的性能。
2023-01-07 cs.AI cs.LG
Efficiently Forgetting What You Have Learned in Graph Representation Learning via Projection
The Pennsylvania State University（宾夕法尼亚州立大学）
随着隐私保护受到越来越多的关注，从预训练的图学习模型中消除特定节点的影响也变得同样重要。然而，由于图结构数据中的节点依赖性，图神经网络（GNNs）中的表示学习是具有挑战性的，并且还没有得到很好的探索。在本文中，我们填补了这一空白，首先研究了线性GNNs中的非学习问题，然后将其扩展到非线性结构。给定一组要遗忘的节点，我们提出了一种投影器，它通过将预训练模型的权重参数投影到与要遗忘的节点的特征无关的子空间上来进行遗忘。PROJECTOR可以克服节点依赖性带来的挑战，并享受完美的数据删除，即，未学习的模型参数不包含关于由算法构造保证的未学习的节点特征的任何信息。在真实数据集上的实验结果表明了PROJECTOR的有效性和效率。
2023-02-17 cs.AI cs.LG
How to Build a Graph-Based Deep Learning Architecture in Traffic Domain: A Survey
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Macau（澳门大学）
近年来，已经提出了各种深度学习架构来解决交通领域的复杂挑战（例如空间依赖性，时间依赖性），并取得了令人满意的性能。这些架构由多种深度学习技术组成，以应对交通任务中的各种挑战。传统上，卷积神经网络（CNN）被用来通过将交通网络分解为网格来建模空间依赖性。然而，许多交通网络本质上是图结构的。为了充分利用这些空间信息，将交通网络用数学图形表示更为合适。最近，已经开发了各种新颖的深度学习技术来处理图形数据，称为图形神经网络（GNN）。越来越多的工作将GNN与其他深度学习技术相结合，构建了一个处理复杂交通任务中各种挑战的架构，其中GNN负责提取交通网络中的空间相关性。这些基于图的架构已经实现了最先进的性能。为了全面清晰地了解这一新兴趋势，本调查仔细研究了许多交通应用中各种基于图的深度学习架构。我们首先给出了基于图的交通问题的指导方针，并从各种交通数据集构造图。然后，我们分解这些基于图的架构，讨论它们共享的深度学习技术，阐明每种技术在流量任务中的应用。更重要的是，我们总结了一些常见的流量挑战以及针对每个挑战的相应的基于图的深度学习解决方案。最后，我们提供了基准数据集，开源代码和未来的研究方向在这个快速增长的领域。
2020-10-11 cs.LG eess.SP
Unified Robust Training for Graph NeuralNetworks against Label Noise
Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）；Discipline of Business Analytics, The University of Sydney（悉尼大学商业分析学科）
图神经网络（GNN）已经实现了图上节点分类的最新性能。绝大多数现有的作品假设，真正的节点标签总是提供训练。然而，关于如何在存在标签噪声的情况下提高GNN的鲁棒性的研究很少。标签噪声学习主要是在图像分类的背景下研究的，但这些技术不能直接应用于图结构的数据，由于两个主要的挑战-标签稀疏性和标签依赖性-在图上学习所面临的。在本文中，我们提出了一个新的框架，UnionNET，用于在半监督设置下使用图上的噪声标签进行学习。我们的方法提供了一个统一的解决方案，用于鲁棒训练GNN并同时执行标签校正。其核心思想是执行标签聚合来估计节点级别的类概率分布，用于指导样本重新加权和标签校正。与现有的作品相比，UnionNET有两个吸引人的优点。首先，它不需要额外的干净的监督，或显式估计的噪声转移矩阵。其次，提出了一个统一的学习框架，以端到端的方式鲁棒地训练GNN。实验结果表明，我们提出的方法：（1）是有效的，提高模型的鲁棒性对不同类型和水平的标签噪声;（2）产生显着的改善，比最先进的基线。
2021-03-05 cs.LG
RAN-GNNs: breaking the capacity limits of graph neural networks
Politecnico di Torino（都灵理工大学）
图神经网络已经成为解决图上定义的数据的学习和分析问题的主要工具。然而，一些结果表明，在提取更好的性能，通过增加层数的固有困难。最近的工作将此归因于基于图的任务中节点特征的提取所特有的现象，即，需要同时考虑多个邻域大小并自适应地调整它们。在本文中，我们研究了最近提出的随机布线架构的上下文中的图神经网络。我们证明，采用随机连接的架构可以更有效地增加网络的容量并获得更丰富的表示，而不是通过堆叠许多层来构建更深的网络。我们表明，这样的架构表现得像一个合奏的路径，这是能够合并的贡献，从不同大小的感受野。此外，这些感受野也可以通过路径上的可训练权重被调制为更宽或更窄。我们还提供了大量的实验证据，证明随机布线架构在多个任务和四个图卷积定义上的卓越性能，使用最近的基准测试框架，解决了以前测试方法的可靠性。
2021-03-29 cs.CV cs.LG
Personalised Meta-path Generation for Heterogeneous GNNs
University of Luxembourg（卢森堡大学）；National Cheng Kung University（台湾成功大学）
近年来，异构图表示学习（HGRL）的研究受到越来越多的关注，它旨在将异构信息网络（HIN）中丰富的结构和语义信息嵌入到低维节点表示中。到目前为止，大多数HGRL模型依赖于手工制作的元路径。然而，依赖于手动定义的元路径需要领域知识，这是很难获得复杂的HIN。更重要的是，附加到每个节点类型或节点对的所有现有HGRL方法的预定义或生成的元路径不能被个性化到每个单独的节点。为了充分释放HGRL的力量，我们提出了一种新的框架，基于个性化元路径的异构图神经网络（PM-HGNN），以联合生成HIN中每个节点的个性化元路径，并学习目标下游任务（如节点分类）的节点表示。准确地说，PM-HGNN将元路径生成视为马尔可夫决策过程，并利用策略网络自适应地为每个节点生成元路径，同时学习有效的节点表示。策略网络通过利用下游任务的性能改进来利用深度强化学习进行训练。我们进一步提出了一个扩展PM-HGNN++，以更好地编码关系结构并加速元路径生成过程中的训练。实验结果表明，PM-HGNN和PM-HGNN++在各种节点分类设置中都可以显著且一致地优于16种竞争基线和最先进的方法。定性分析还表明，PM-HGNN++可以识别被人类知识忽略的有意义的元路径。
2022-10-11 cs.LG
Orthogonal Graph Neural Networks
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Department of Computer Science, Rice University（莱斯大学计算机科学系）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
图神经网络（GNNs）由于其在学习节点表示方面的优越性而受到了极大的关注。这些模型依赖于消息传递和特征转换函数来编码来自邻居的结构和特征信息。然而，堆叠更多的卷积层会显着降低GNN的性能。最近的研究将此限制归因于过度平滑问题，其中节点嵌入收敛到不可区分的向量。通过大量的实验观察，我们认为降低性能的主要因素是由于特征变换设计不当而导致的不稳定的前向归一化和后向梯度，特别是对于没有发生过平滑的浅GNN。因此，我们提出了一种新的正交特征变换，名为Ortho-GConv，它通常可以增强现有的GNN主干，以稳定模型训练并提高模型的泛化性能。具体地说，我们从三个角度，即混合权重初始化，正交变换，正交正则化，全面保持特征变换的正交性。通过为现有的GNN（例如GCN，JKNet，GCNII）配备Ortho-GConv，我们证明了正交特征变换的通用性，以实现稳定的训练，并显示其对节点和图分类任务的有效性。
2021-12-01 cs.AI cs.LG
Structural Explanations for Graph Neural Networks using HSIC
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）；OIST（冲绳科学技术大学院大学）
图神经网络（GNN）是一种以端到端方式处理图形任务的神经模型。最近，GNN在机器学习和数据挖掘社区中受到越来越多的关注，因为它们在各种任务中实现了更高的性能，包括图分类，链接预测和推荐。然而，GNN的复杂动力学使得很难理解图特征的哪些部分对预测的贡献更大。为了处理可解释性问题，最近，已经提出了各种GNN解释方法。在这项研究中，一个灵活的模型不可知的解释方法，提出了使用希尔伯特-施密特独立性准则（HSIC），捕捉两个变量之间的非线性依赖通过内核检测图中的重要结构。更具体地说，我们扩展了GraphLIME方法的节点解释与组套索和融合套索为基础的节点解释方法。使用GraphLIME的群和融合正则化可以在子结构单元中解释GNN。然后，我们表明，所提出的方法可以用于顺序图分类任务的解释。通过实验，证明了我们的方法可以在各种设置中识别目标图中的关键结构。
2023-02-04 cs.LG stat.ML
Towards Scale-Invariant Graph-related Problem Solving by Iterative Homogeneous Graph Neural Networks
Shanghai Jiao Tong University（上海交通大学）；UC San Diego（加州大学圣地亚哥分校）
当前的图神经网络（GNN）缺乏关于尺度（图大小、图直径、边权重等）的泛化能力。在解决许多图形分析问题时。以合成图论程序的角度来看，我们提出了几个扩展来解决这个问题。首先，受常见图论算法的迭代次数对图大小的依赖性的启发，我们学习根据计算进度自适应地终止GNNs中的消息传递过程。其次，受许多图论算法在图权重方面是齐次的这一事实的启发，我们引入了齐次变换层，它们是通用齐次函数逼近器，将普通GNN转换为齐次。在实验中，我们证明了我们的GNN可以从小规模图中训练出来，但对于一些基本的图论问题，它可以很好地推广到大规模图中。它也显示了多体物理仿真和基于图像的导航问题的应用程序的通用性。
2020-10-26 cs.CV cs.LG
Tree Decomposed Graph Neural Network
Vanderbilt University（范德堡大学）
图神经网络（GNN）通过迭代地执行特征传播和变换来利用邻域信息，在学习更好的表示方面取得了重大成功。然而，迭代传播限制了高层邻域的信息通过低层邻域传输并与之融合，这必然导致不同层邻域之间的特征平滑，从而损害性能，特别是在异质网络上。此外，大多数深度GNN只认识到高层邻居的重要性，而尚未充分探索不同层邻居上下文中多跳依赖性在学习更好表示方面的重要性。在这项工作中，我们首先从理论上分析了不同层的邻域之间的特征平滑，并从经验上证明了不同层的邻域之间的同质性水平的方差。受这些分析的启发，我们进一步提出了一种树分解方法来解开不同层中的邻域，以减轻这些层之间的特征平滑。此外，我们通过我们的树分解公式中的图扩散来表征多跳依赖，以构建树分解图神经网络（TDGNN），它可以灵活地将来自大感受野的信息和利用多跳依赖聚集这些信息。综合实验结果表明，TDGNN在各种节点分类设置下，在同质和异质网络上都具有优异的性能。广泛的参数分析突出了TDGNN防止过度平滑并将浅层特征与更深的多跳依赖性结合的能力，这为更深层次的图神经网络提供了新的见解。TDGNN代码：http://github.com/YuWVandy/TDGNN
2021-08-25 cs.AI cs.LG cs.SI
Specformer: Spectral Graph Neural Networks Meet Transformers
University of British Columbia（不列颠哥伦比亚大学）
谱图神经网络（GNN）通过谱域图卷积来学习图表示。然而，大多数现有的谱图滤波器是标量到标量函数，即，将单个特征值映射到单个滤波值，从而忽略频谱的全局模式。此外，这些滤波器往往是基于一些固定阶多项式，这具有有限的表达性和灵活性。为了解决这些问题，我们引入了Specformer，它有效地对所有特征值的集合进行编码，并在谱域中执行自注意，从而形成可学习的集合到集合的谱滤波器。我们还设计了一个具有可学习基础的解码器，以实现非局部图卷积。重要的是，Specformer与置换是等变的。通过堆叠多个Specformer层，可以构建强大的光谱GNN。在合成数据集上，我们证明了我们的Specformer可以比其他光谱GNN更好地恢复地面实况光谱滤波器。在真实世界的图数据集上进行的节点级和图级任务的广泛实验表明，我们的Specformer优于最先进的GNN，并学习有意义的频谱模式。代码和数据可在https://github.com/bdy9527/Specformer上获得。
2023-03-02 cs.AI cs.LG cs.SI
From Images to Connections: Can DQN with GNNs learn the Strategic Game of Hex?
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
研究GNN能否在自博弈强化学习中替代CNN处理Hex等策略游戏，发现GNN擅长处理长距离依赖且不易过拟合，但在识别局部模式上较弱，暗示利用游戏特定结构重塑RL的范式转变。
2023-11-22 cs.AI cs.GT cs.LG
Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）；Nanyang Technological University（南洋理工大学）
针对多元时间序列数据中现有GNN方法无法捕获不同时间戳下不同传感器间相关性的问题，提出全连接时空图神经网络（FC-STGNN），通过衰减图构建和移动池化GNN层有效捕获时空依赖，在多个数据集上表现优异。
2024-01-10 cs.LG
Ramanujan Graph Rewiring with Non Negative Resistance Curvature
Université Sorbonne Paris Nord, CNRS, LIPN, France（索邦巴黎北部大学，法国国家科学研究中心，计算机科学、信息处理与网络实验室）
提出拉马努金传播策略，通过重连图结构缓解图神经网络中的过挤压问题，利用拉马努金图保证非负电阻曲率，促进信息高效流动，实验优于九种现有方法。
2026-06-25 cs.AI cs.LG
Graph Mamba: Towards Learning on Graphs with State Space Models
Cornell University（康奈尔大学）
针对现有GNN的过度挤压、长程依赖捕捉差及GTs计算成本高等问题，提出基于选择性状态空间模型的Graph Mamba Networks框架，通过四个必需和一个可选步骤设计，在大幅降低计算成本的同时于多种基准数据集上取得优异性能。
2024-02-19 cs.LG
Hierarchical Estimation for Effective and Efficient Sampling Graph Neural Network
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）
提高GNN的可扩展性对于大型图至关重要。现有的方法利用三种抽样范式，包括逐点抽样，逐层抽样和子图抽样，然后设计无偏估计的可扩展性。然而，高方差仍然严重阻碍了GNN的性能。针对以往研究缺乏方差分析或只关注某一特定抽样范式的问题，提出了一个统一的节点抽样方差分析框架，分析了最小方差抽样的核心挑战“循环依赖”，即最小方差抽样的循环依赖性。例如，采样概率取决于节点嵌入，而节点嵌入直到采样完成才能计算。现有的研究要么忽略节点嵌入，要么引入外部参数，导致缺乏一种既高效又有效的方差缩减方法。因此，我们提出了基于\textbf{S}的\textbf{H}算法\textbf{E}估计的广义广义图神经网络（HE-SGNN），第一层估计节点嵌入的采样概率，以打破循环依赖，第二层利用采样GNN算子估计节点在整个图上的表示.考虑到技术上的差异，我们提出了不同的第一层估计，即，分层采样的时间序列模拟和子图采样的基于特征的模拟。在7个有代表性的数据集上的实验结果证明了该方法的有效性和效率。
2022-11-16 cs.AI cs.LG
Heterogeneous Graph Tree Networks
Institute for Financial Services Analytics University of Delaware Newark, USA
异构图神经网络（HGNNs）是近三年来研究的热点。大多数现有的HGNN分为两类。一类是基于元路径的HGNN，它要么需要领域知识来手工制作元路径，要么消耗大量的时间和内存来自动构建元路径。另一类不依赖于元路径构造。它以同构卷积图神经网络（Conv-GNNs）为骨干，通过引入节点类型和边类型相关的参数将其扩展到异构图。无论元路径依赖性如何，大多数现有的HGNN都采用诸如GCN和GAT之类的浅层Conv-GNN来聚合邻域信息，并且可能具有有限的从高阶邻域捕获信息的能力。在这项工作中，我们提出了两个异构图树网络模型：异构图树卷积网络（HetGTCN）和异构图树注意力网络（HetGTAN），它不依赖于元路径来编码节点特征和图结构的异构性。在三个真实世界的异构图数据上进行的大量实验表明，所提出的HetGTCN和HetGTAN是有效的，并且在半监督节点分类任务上始终优于所有最先进的HGNN基线，并且可以深入而不影响性能。
2022-09-01 cs.LG
Bi-Level Attention Graph Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）
针对异构图中节点级与关系级注意力难以联合建模且关系依赖被忽视的问题，提出BA-GNN，利用局部邻域上下文分层建模两类交互，并在七个真实数据集上验证其优越性能与注意力可迁移性。
2023-04-23 cs.IR cs.LG
SST-GNN: Simplified Spatio-temporal Traffic forecasting model using Graph Neural Network
Independent University, Bangladesh（孟加拉国独立大学）
为了捕捉交通数据中的空间关系和时间动态，交通预测的时空模型近年来引起了人们的极大关注。最近的工作大多采用多层图神经网络（GNN）来捕获空间依赖性。然而，具有不同跳距的路口可以携带不同的交通信息，这些交通信息应该单独利用，但是现有的多层GNN无法区分它们的影响。同样，为了捕捉时间的相互关系，递归神经网络在最先进的方法中很常见，这些方法通常无法捕捉长期依赖关系。此外，交通数据显示每天或每周的重复模式，应明确解决。为了解决这些限制，我们设计了一个简化的时空交通预测GNN（SST-GNN），有效地编码的空间依赖性分别聚合不同的邻域表示，而不是与多个层和捕获的时间依赖性与一个简单而有效的加权时空聚合机制。我们捕获的周期性的交通模式，通过使用一种新的位置编码方案与历史和当前的数据在两个不同的模型。通过广泛的实验分析，我们已经表明，我们的模型在性能测量系统（PeMS）的三个真实世界的流量数据集上的表现明显优于最先进的模型。
2021-03-31 cs.LG
Learning Graph Normalization for Graph Neural Networks
Ping An Property & Casualty Insurance（平安财产保险股份有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
图神经网络（GNNs）已经引起了相当大的关注，并已成为一个新的有前途的范式来处理图结构的数据。GNN通常堆叠到多个层，并且通过传播和聚合关于图的相邻节点特征来计算每层中的节点表示。通过堆叠到多个层，GNN能够捕获图上数据之间的长期依赖关系，从而带来性能改进。为了有效地训练具有多个层的GNN，需要一些归一化技术（例如，逐节点归一化、逐批归一化）是必要的。然而，GNN的归一化技术与任务高度相关，不同的应用任务更喜欢不同的归一化技术，这是很难提前知道的。为了解决这个问题，在本文中，我们提出通过优化四个不同级别的归一化技术的加权组合来学习图归一化，包括节点归一化，邻接归一化，图形归一化和批量归一化，在其中，邻接方式归一化和图形-本文提出了分别考虑图的局部结构和全局结构的智能归一化方法。通过学习最佳权重，我们能够为特定任务自动选择单个最佳或多个归一化的最佳组合。我们对不同任务的基准数据集进行了广泛的实验，包括节点分类，链接预测，图分类和图回归，并确认学习的图规范化导致有竞争力的结果，学习的权重建议适当的规范化技术的特定任务。源代码发布在https://github.com/cyh1112/GraphNormalization。
2020-09-24 cs.CV cs.LG
DynDepNet: Learning Time-Varying Dependency Structures from fMRI Data via Dynamic Graph Structure Learning
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Milano-Bicocca（米兰比可卡大学）；University of Rome Tor Vergata（罗马第二大学）；Harvard Medical School（哈佛医学院）
本文提出DynDepNet，通过动态图结构学习从fMRI数据中学习由下游任务诱导的最优时变依赖结构，在性别分类任务上显著超越基线，并发现与神经科学文献一致的预测相关脑区。
2023-07-09 cs.LG stat.AP stat.ML
Inference in Probabilistic Graphical Models by Graph Neural Networks
Hanyang University（汉阳大学）；Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）；University of Toronto（多伦多大学）；Uber ATG Toronto（优步先进技术集团多伦多分部）；Vector Institute（向量研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
统计推断和准确决策的基本计算是计算任务相关变量的边际概率或最可能状态。概率图模型可以有效地表示这种复杂数据的结构，但执行这些推理通常是困难的。消息传递算法（如置信传播）是在利用图结构的同时在相关变量之间传播证据的自然方式，但当条件依赖图包含循环时，这些算法可能会遇到困难。在这里，我们使用图神经网络（GNNs）来学习解决这些推理任务的消息传递算法。我们首先证明了GNN的架构与推理任务非常匹配。然后，我们通过在一组图形模型上训练GNN来证明这种推理方法的有效性，并表明它们在循环图上的表现大大优于信念传播。我们的消息传递算法从训练集推广到更大的图和具有不同结构的图。
2019-06-27 cs.AI cs.LG stat.ML
Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One
School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学光电与人工智能学院）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（中国电信股份有限公司人工智能研究院）
针对GNN因节点依赖指数增长导致的训练低效问题，提出将其解耦为多个简单模块，结合前向与后向训练机制并行优化，理论上证明误差不累积，实验验证了方法的高效性与合理性能。
2024-04-21 cs.AI cs.LG
Simplifying Graph Kernels for Efficient
The Hong Kong Polytechnic University（香港理工大学）
针对图神经网络与核方法结合时的效率与可扩展性挑战，提出两种简化图核方法，通过 $K$ 步消息聚合和无限宽高斯过程理论避免深层迭代，在保持准确率的同时显著降低运行时间。
2025-07-16 cs.LG
Discourse-level Relation Extraction via Graph Pooling
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；Michigan State University（密歇根州立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
捕捉文章中复杂的语言结构和词与词之间的长期依赖关系的能力对于语篇级关系抽取（DRE）任务至关重要。图神经网络（GNNs）是编码依赖图的方法之一，在先前的DRE工作中已经被证明是有效的。然而，相对较少关注GNN的接受域，这对于需要话语理解的超长文本的情况至关重要。在这项工作中，我们利用图池的思想，并提出使用池化-解池化框架的DRE任务。池化分支减小了图的大小，并使GNN能够在更少的层中获得更大的感受野;解池化分支将池化图恢复到其原始分辨率，以便可以提取实体提及的表示。我们提出了子句匹配（CM），一种新的语言启发的图池方法的NLP任务。在两个DRE数据集上的实验表明，当需要建模长期依赖关系时，我们的模型显着改善基线，这表明了池化-解池化框架和我们的CM池化方法的有效性。
2021-11-13 cs.AI cs.CL cs.LG
GPT-GNN: Generative Pre-Training of Graph Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Microsoft Research（微软研究院）
图神经网络（GNN）已被证明是强大的建模图结构的数据。然而，训练GNN通常需要大量特定于任务的标记数据，而获得这些数据通常非常昂贵。减少标记工作的一种有效方法是在具有自我监督的未标记数据上预训练表达性GNN模型，然后将学习到的模型转移到只有几个标签的下游任务。在本文中，我们提出了GPT-GNN框架，通过生成预训练来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务来预训练GNN，以便它可以捕获图的结构和语义属性。我们将图生成的可能性分解为两个部分：1）属性生成和2）边生成。通过对这两个组件进行建模，GPT-GNN在生成过程中捕获了节点属性和图结构之间的固有依赖关系。在十亿规模的开放学术图谱和亚马逊推荐数据上进行的综合实验表明，GPT-GNN在各种下游任务中的性能明显优于没有预训练的最先进的GNN模型，最高可达9.1%。
2020-06-27 cs.LG cs.SI stat.ML
A Piece-wise Polynomial Filtering Approach for Graph Neural Networks
Microsoft Research India（微软印度研究院）
图神经网络（GNN）利用来自节点特征和输入图拓扑的信号来提高节点分类任务性能。然而，这些模型往往在异嗜图上表现不佳，其中连接的节点具有不同的标签。最近提出的GNN可以在具有不同同质性水平的图上工作。其中，依赖于多项式图过滤器的模型已经显示出了希望。我们观察到，这些多项式图过滤器模型的解决方案也是一个超定方程组的解决方案。这表明，在某些情况下，模型需要学习一个合理的高阶多项式。在调查中，我们发现所提出的模型在学习这样的多项式，由于他们的设计无效。为了缓解这个问题，我们执行的图的特征分解，并建议学习多个自适应多项式滤波器作用于不同的子集的频谱。我们从理论上和经验上证明，我们提出的模型可以学习更好的过滤器，从而提高分类精度。我们研究了我们提出的模型的各个方面，包括依赖于使用的特征分量的数量，学习的潜在多项式过滤器，以及节点分类任务上的各个多项式的性能。我们进一步表明，我们的模型是可扩展的，通过评估大型图。我们的模型比最先进的模型实现了高达5%的性能增益，并且总体上优于现有的基于多项式滤波器的方法。
2021-12-07 cs.LG
Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Snap Inc.（色拉布公司）
图神经网络（GNN）是图机器学习的热门工具，在广泛的节点分类任务中表现出了很好的效果。然而，由于数据依赖性带来的可扩展性挑战，它们在行业实际部署中不太受欢迎。也就是说，GNN推理依赖于距离目标多跳的邻居节点，并且获取它们会给延迟受限的应用程序带来负担。现有的推理加速方法（如修剪和量化）可以通过减少乘法和累积（MAC）操作来加速GNN，但由于数据依赖性没有得到解决，因此改进是有限的。相反，多层感知器（MLP）没有图形依赖性，并且比GNN更快地进行推断，即使它们通常在节点分类方面不如GNN准确。在这些互补的优势和劣势的激励下，我们通过知识蒸馏（KD）将GNN和MLP结合在一起。我们的工作表明，使用GNN KD可以大幅提高MLP的性能。我们称提取的MLP为无图神经网络（GLNN），因为它们没有推理图依赖。我们发现，具有竞争力准确性的GLNN比GNN的推断速度快146倍-273倍，比其他加速方法快14倍-27倍。在涉及7个数据集的转换和归纳预测的生产环境下，GLNN的准确性平均比独立的MLP提高了12.36%，并在6/7个数据集上与GNN相匹配。综合分析显示了GLNN何时以及为什么可以达到与GNN竞争的精度，并建议GLNN作为延迟受限应用的方便选择。
2022-03-23 cs.AI cs.LG
Learning Discrete Structures for Graph Neural Networks
Istituto Italiano di Tecnologia（意大利技术研究院）；University College London（伦敦大学学院）；NEC Labs Europe（NEC欧洲实验室）
图神经网络（GNN）是一类流行的机器学习模型，其主要优点是它们能够在数据点之间合并稀疏和离散的依赖结构。不幸的是，GNN只能在这样的图结构可用时使用。然而，在实践中，现实世界的图形通常是嘈杂且不完整的，或者可能根本不可用。有了这项工作，我们提出了共同学习的图形结构和参数的图卷积网络（GCN），通过近似求解一个双层程序，学习一个离散的概率分布的边缘图。这使得人们不仅可以在给定图不完整或损坏的情况下应用GCN，而且还可以在图不可用的情况下应用GCN。我们进行了一系列的实验，分析所提出的方法的行为，并证明它优于相关方法的显着保证金。
2020-06-19 cs.LG stat.ML
Towards Robust Fidelity for Evaluating Explainability of Graph Neural Networks
School of Computing and Information Sciences, Florida International University（佛罗里达国际大学计算与信息科学学院）；NEC Laboratories America（美国NEC实验室）；School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
本文针对图神经网络可解释性评估，指出现有保真度指标因分布偏移而失效，提出基于信息论的稳健保真度度量，并在合成与真实数据上验证其与黄金标准更一致。
2024-03-17 cs.LG
Efficient Learning of Mesh-Based Physical Simulation with BSMS-GNN
Department of Computer Science, UCLA, Los Angeles, USA（加州大学洛杉矶分校计算机科学系）；AR Perception, Google, Los Angeles, USA（谷歌AR感知部门）；Department of Mathematics, UCLA, Los Angeles, USA（加州大学洛杉矶分校数学系）
针对大规模网格物理模拟中图神经网络扩展复杂度和过平滑问题，提出基于二分图确定的双步幅池化策略BSMS-GNN，无需人工粗网格且避免几何边界错误边，显著提升精度和计算效率。
2026-05-25 cs.LG
Deep Neural Sheaf Diffusion
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology, Stockholm, Sweden（电气工程与计算机科学学院，皇家理工学院，斯德哥尔摩，瑞典）
针对图神经网络深层堆叠导致表示崩溃的问题，提出用层邻接算子替代层拉普拉斯算子，结合归一化、奇非线性函数和门控机制，在合成和真实数据集上显著提升深层网络性能。
2026-11-02 cs.LG
Attention-based Spatial-Temporal Graph Neural ODE for Traffic Prediction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对智能交通系统中的交通预测问题，提出基于注意力的图神经常微分方程模型ASTGODE，可显式学习交通系统动力学、聚合多时段交通模式，在两个真实数据集上的均方根误差精度优于现有GNN模型。
2023-05-01 cs.LG
Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement
Renmin University of China（中国人民大学）；Wuhan University of Technology（武汉理工大学）；Hong Kong University Of Science and Technology（香港科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
提出CeFeGNN框架，通过嵌入细胞属性实现体积信息传递和特征增强，在PDE系统及真实数据上超越基线，提升时空动态建模性能。
2025-10-07 cs.LG
Is uniform expressivity too restrictive? Towards efficient expressivity of graph neural networks
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对统一表达能力的局限性，本文证明sigmoid、tanh等Pfaffian激活函数GNN无法实现GC2查询统一表达能力，提出其可通过参数对数依赖输入图最大度高效表达GC2查询，还实现对数-对数依赖，放宽了统一表达能力限制。
2024-12-05 cs.CC cs.LG cs.LO
Heterogeneous Graph Transformer
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
近年来，图神经网络（GNNs）在结构化数据建模方面取得了巨大的成功。然而，大多数GNN都是为同构图设计的，其中所有节点和边都属于相同的类型，这使得它们无法表示异构结构。在本文中，我们提出了异构图Transformer（HGT）的架构建模Web规模的异构图。为了对异质性进行建模，我们设计了节点和边缘类型相关的参数来表征每个边缘上的异质注意力，使HGT能够为不同类型的节点和边缘保持专用的表示。为了处理动态异构图，我们将相对时间编码技术引入到HGT中，它能够捕获具有任意持续时间的动态结构依赖。为了处理Web规模的图数据，我们设计了异构小批量图采样算法--HGSampling--以实现高效和可扩展的训练。在1.79亿个节点和20亿条边的Open Academic Graph上进行的大量实验表明，所提出的HGT模型在各种下游任务上的性能始终优于所有最先进的GNN基线9%-21%。
2020-03-03 cs.LG cs.SI stat.ML
On the Trade-off between Over-smoothing and Over-squashing in Deep Graph Neural Networks
Télécom Paris - Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；BLUAI；La Rochelle Université（拉罗谢尔大学）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）
本文揭示了深度图神经网络中过度平滑与过度压缩受图谱隙制约而无法同时缓解的权衡关系，并提出随机Jost和Liu曲率重连算法SJLR，通过在训练中动态增删边来取得折中，实验表明其具有竞争力。
2023-08-11 cs.AI cs.LG
Graph Neural Networks: A Review of Methods and Applications
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent Incorporation（腾讯公司）
大量的学习任务需要处理图数据，而图数据中包含了丰富的元素间关系信息。建模物理系统，学习分子指纹，预测蛋白质界面和分类疾病需要一个模型从图形输入中学习。在其他领域，如从非结构化数据，如文本和图像的学习，推理提取的结构（如依赖树的句子和图像的场景图）是一个重要的研究课题，也需要图推理模型。图神经网络（Graph Neural Network，GNN）是一种通过图的节点之间的消息传递来捕获图的依赖关系的神经模型。近年来，诸如图卷积网络（GCN）、图注意力网络（GAT）、图递归网络（GRN）等GNN的变体在许多深度学习任务上表现出了突破性的性能。在这项调查中，我们提出了GNN模型的一般设计管道，并讨论了每个组件的变体，系统地对应用程序进行分类，并提出了未来研究的四个开放问题。
2021-10-06 cs.AI cs.LG stat.ML
MHNF: Multi-hop Heterogeneous Neighborhood information Fusion graph representation learning
Harbin Institute of Technology（哈尔滨工业大学）
注意力机制使图神经网络（GNN）能够学习目标节点与其单跳邻居之间的注意力权重，从而进一步提高性能。然而，大多数现有的GNN都面向同构图，并且其中每一层只能聚合一跳邻居的信息。堆叠多层网络引入了相当大的噪声，并且容易导致过度平滑。提出了一种多跳异构邻域信息融合图表示学习方法。具体来说，我们提出了一个混合元路径自主提取模型，有效地提取多跳混合邻居。然后，我们制定了一个跳级的异构信息聚合模型，有选择地聚合不同的跳邻域信息在同一个混合元路径。最后，构建了一个层次化的语义注意力融合模型（HSAF），该模型可以有效地融合不同跳和不同路径的邻域信息。以这种方式，本文解决了聚合多跳邻域信息和学习混合元路径的目标任务的问题。这减轻了手动指定元路径的限制。此外，HSAF还可以提取元路径内部节点信息，更好地整合不同层次的语义信息。在真实数据集上的实验结果表明，MHNF在只有1/10 ~ 1/100的参数和计算预算的情况下，达到了最好的或有竞争力的性能。我们的代码可在https://github.com/PHD-lanyu/MHNF上公开获取。
2022-06-23 cs.AI cs.LG
Better Feature Integration for Named Entity Recognition
Singapore University of Technology and Design（新加坡科技设计大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；ByteDance（字节跳动）
它已被证明，命名实体识别（NER）可以受益于纳入依赖树捕获的长距离结构化信息。我们认为这是因为两种类型的特征-线性序列捕获的上下文信息和依赖树捕获的结构化信息可以相互补充。然而，现有的方法主要集中在堆叠LSTM和图神经网络（如图卷积网络（GCN））以构建改进的NER模型，其中两种类型的特征之间的确切交互机制不是很清楚，并且性能增益似乎并不显着。在这项工作中，我们提出了一个简单而强大的解决方案，将这两种类型的功能与我们的Synagized-LSTM（Syn-LSTM）结合起来，它清楚地捕捉了这两种类型的功能如何相互作用。我们在四种语言的几个标准数据集上进行了广泛的实验。结果表明，该模型实现了更好的性能比以前的方法，而需要更少的参数。我们的进一步分析表明，与强基线相比，我们的模型可以捕获更长的依赖关系。
2021-04-12 cs.CL cs.LG
Distributed Graph Neural Network Training: A Survey
Beijing University of Posts and Telecommunications（北京邮电大学）；Carnegie Mellon University（卡内基梅隆大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；Peking University（北京大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本综述针对分布式图神经网络训练的三大挑战，提出优化技术新分类体系并梳理各类技术，总结了适配不同硬件的现有系统，指明了未来研究方向。
2023-08-25 cs.AI cs.DB cs.DC
Training Robust Graph Neural Networks by Modeling Noise Dependencies
KAIST（韩国科学技术院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（Adobe研究）
针对图节点特征噪声依赖问题，提出DANG噪声模型和DA-GNN，利用变分推断建模因果关系，并发布新基准，实验证明其鲁棒性优于现有方法。
2025-10-23 cs.LG stat.ML
Staleness-Alleviated Distributed GNN Training via Online Dynamic-Embedding Prediction
Emory University（埃默里大学）；University of Waterloo（滑铁卢大学）；University of Virginia（弗吉尼亚大学）
针对分布式 GNN 训练中历史嵌入缓存导致的陈旧与收敛问题，本文提出 SAT 框架，通过在线交替训练的时间图嵌入预测器预测未来嵌入，从而降低陈旧性并提升性能与收敛速度。
2023-12-10 cs.LG
