Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective
Southeast University（东南大学）；Chinese Academy of Sciences（中国科学院）；Purple Mountain Laboratories（紫金山实验室）
近年来，为下游任务设计的基于图的模型极大地推进了对图神经网络（GNN）的研究。基于神经消息传递机制（如GCN和GAT）的GNN基线随着网络的深化而表现更差。因此，已经提出了许多GNN变体来解决这个性能下降问题，包括许多深度GNN。然而，仍然缺乏一个统一的框架来连接这些现有的模型，并在高层次上解释其有效性。在这项工作中，我们专注于深度GNN，并提出了一个新的观点来理解它们。我们建立了一个理论框架，通过推理的概率图模型。给定从马尔可夫随机场的变分推理导出的不动点方程（FPE），深度GNN（包括JKNet，GCNII，DGCN）和经典GNN（如GCN，GAT和APPNP）可以被视为FPE的不同近似。此外，在此框架下，FPE的更准确的近似，指导我们设计一个更强大的GNN：耦合图神经网络（CoGNet）。对引文网络和自然语言处理下游任务进行了广泛的实验。结果表明，CoGNet优于SOTA模型。
2023-01-25 cs.LG
Exploring and Improving Initialization for Deep Graph Neural Networks: A Signal Propagation Perspective
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心）
本文从信号传播视角提出控制前向传播、后向传播和图嵌入变化三个指标，并设计SPoGInit初始化方法优化权重方差，有效解决了深度图神经网络性能下降问题。
2025-07-15 cs.LG
On Improving Graph Neural Networks for QSAR by Pre-training on Extended-Connectivity Fingerprints
Department of Statistics, University of Oxford（牛津大学统计系）；Mathematical Institute, University of Oxford（牛津大学数学院）；Molecular Informatics and AI, Lhasa Limited（Lhasa有限公司分子信息学与人工智能部门）
本文通过预训练扩展连接指纹提升图神经网络在QSAR中的性能，验证了在生物生成基准测试中标准性能指标的显著提升，但对复杂终点如结合亲和力预测在分布外设置中表现欠佳。
2026-05-11 cs.LG
Improving Subgraph-GNNs via Edge-Level Ego-Network Encodings
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；ISI Foundation Turin（都灵ISI基金会）
本文提出边级自我网络编码以增强子图GNN，理论上证明其表达能力优于基于节点的子图MP-GNN，并在多个基准上匹配或改进基线且显著降低内存使用。
2024-05-02 cs.AI cs.LG
Improving Fairness in Graph Neural Networks via Counterfactual Debiasing
Tianjin University（天津大学）
针对图神经网络（GNNs）因图结构和消息传递机制加剧的预测偏差问题，提出Fair-ICD方法：通过反事实数据增强创建多样化邻域学习无偏表示，结合对抗性判别器减少偏差，实验证明其在保持预测性能的同时显著提升公平性指标。
2025-08-20 cs.LG
ITEM: Improving Training and Evaluation of Message-Passing based GNNs for top-k recommendation
Conservatoire national des arts et métiers（法国国立工艺学院）；Sorbonne Université（索邦大学）
本研究针对top-k推荐中基于消息传递的GNN训练与评估问题，提出排序损失平滑优化方法与个性化PageRank负采样策略，还拓展了归纳式用户中心评估协议，在多数据集和架构上实现性能与训练速度的双重提升。
2024-07-03 cs.IR cs.LG
SaGIF: Improving Individual Fairness in Graph Neural Networks via Similarity Encoding
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；School of Software Engineering, Sun Yat-Sen University（中山大学软件工程学院）
本文提出SaGIF，通过相似性编码改善图神经网络的个体公平性，引入拓扑融合和特征融合指标，实验验证其优于现有方法。
2025-06-23 cs.LG
Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification
Beihang University（北京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）
本文通过充分调参与消融实验重新评估 GCN、GAT、GraphSAGE，发现经典 GNN 在 18 个数据集中的 17 个上可匹敌甚至超越 GT。
2024-10-28 cs.LG
Maximising Weather Forecasting Accuracy through the Utilisation of Graph Neural Networks and Dynamic GNNs
天气预报是应对全球气候变化的重要任务。天气预报需要分析异构气象传感器生成的多变量数据。这些传感器包括地面传感器、无线电探空仪和安装在卫星上的传感器等，为了分析这些传感器产生的数据，我们使用基于图神经网络（GNNs）的天气预报模型。GNN是基于图学习的模型，在许多机器学习方法中表现出强大的经验性能。在这项研究中，我们研究了使用GNNs和传统的基于机器学习的模型进行天气预报的性能。
2023-02-08 cs.LG
Improving Graph Machine Learning Performance Through Feature Augmentation Based on Network Control Theory
Vanderbilt University（范德堡大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Information Technology University（信息技术大学）
本文提出 NCT-EFA 方法，将网络控制理论中的平均可控性及中心性指标用于特征增强，以解决节点特征缺失问题，在六个基准 GNN 模型上实现最高 11% 的性能提升。
2024-05-03 cs.LG
Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；University of British Columbia（不列颠哥伦比亚大学）
图神经网络（GNN）在高效处理稀疏和非结构化数据方面表现突出。具体来说，GNN被证明对节点分类任务非常有效，其中标记的信息仅适用于一小部分节点。通常，通过目标函数，优化过程仅考虑标记的节点，而忽略其余节点。在本文中，我们提出了新的目标术语来训练用于节点分类的GNN，旨在利用所有可用数据并提高准确性。我们的第一项旨在最大限度地提高节点和标签特征之间的互信息，同时考虑优化过程中的标记和未标记节点。我们的第二项促进了预测图中的各向异性平滑度。最后，我们提出了一种交叉验证梯度方法来增强对标记数据的学习。我们提出的目标是通用的，可以应用于各种GNN，不需要架构修改。广泛的实验证明了我们的方法使用流行的GNN，如GCN，GAT和GCNII，在10个真实世界的节点分类数据集上读取一致和显着的准确性提高。
2022-11-29 cs.LG cs.SI
Grain: Improving Data Efficiency of Graph Neural Networks via Diversified Influence Maximization
Peking University（北京大学）；Tencent Inc.（腾讯公司）
数据选择方法，如主动学习和核心集选择，是提高大规模数据集上深度学习模型数据效率的有用工具。然而，最近的深度学习模型已经从独立和相同分布的数据向前发展到图形结构的数据，例如社交网络，电子商务用户项图和知识图谱。这种演变导致了图神经网络（GNN）的出现，它超越了现有数据选择方法所设计的模型。因此，我们提出了Grain，这是一个有效的框架，通过将GNN中的数据选择与社会影响力最大化联系起来，开辟了一个新的视角。通过利用GNN的常见模式，Grain引入了一种新的特征传播概念，一个具有新的影响力和多样性函数的多样化影响力最大化目标，以及一个具有近似保证的贪心算法。对公共数据集的实证研究表明，Grain显著提高了GNN数据选择（包括主动学习和核心集选择）的性能和效率。据我们所知，这是第一次尝试在GNN的设置中连接两个基本平行的研究线程，数据选择和社会影响力最大化，为提高数据效率铺平了新的道路。
2021-07-31 cs.AI cs.LG
Improving Graph Neural Networks on Multi-node Tasks with the Labeling Trick
Institute for Artificial Intelligence Peking University（北京大学人工智能研究院）；School of Electrical and Computer Engineering Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
本文提出标注技巧，通过在GNN前标注节点与目标节点集合的关系，解决多节点表示学习中无法捕捉节点间依赖的问题，并在链接预测、超边预测和子图预测等任务上验证其有效性。
2025-03-09 cs.LG
Improving Expressivity of GNNs with Subgraph-specific Factor Embedded Normalization
Zhejiang University（浙江大学）；China Electric Power Research Institute（中国电力科学研究院）；State Grid Shanghai Municipal Electric Power Company（国网上海市电力公司）
针对现有GNN忽略节点诱导子图结构特征、表达能力受限的问题，提出即插即用的SuperNorm归一化方案，理论上证明其可使GNN达到1-WL测试的区分能力，还能缓解过平滑，多数据集实验验证了有效性。
2023-06-11 cs.AI cs.LG
Improving Attention Mechanism in Graph Neural Networks via Cardinality Preservation
The Graduate Center, The City University of New York（纽约市立大学研究生中心）；Hunter College, The City University of New York（纽约市立大学亨特学院）
图神经网络（GNN）在学习图结构数据的表示方面非常强大。大多数GNN使用消息传递方案，其中节点的嵌入通过聚合其邻居的信息来迭代更新。为了更好地表达节点的影响力，注意力机制已经变得流行，以向聚合中的节点分配可训练的权重。虽然基于注意力的GNN在各种任务中取得了显着的成果，但人们对其辨别能力缺乏清晰的认识。在这项工作中，我们提出了一个理论分析的GNN，采用注意力机制作为聚合器的代表性的属性。我们的分析确定了那些基于注意力的GNN总是无法区分某些不同结构的所有情况。这些情况的出现是由于忽视了基于注意力的聚合中的基数信息。为了提高基于注意力的GNNs的性能，我们提出了基数保持注意力（CPA）模型，可以应用于任何类型的注意力机制。我们对节点和图分类的实验证实了我们的理论分析，并显示了我们的CPA模型的竞争力。
2020-05-04 cs.LG stat.ML
Theoretically Improving Graph Neural Networks via Anonymous Walk Graph Kernels
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）
图神经网络在图挖掘中取得了巨大的成功。然而，GNN无法对图中的子结构进行建模仍然是一个显著的缺点。具体来说，作为GNN的主流类型，消息传递GNN（MPGNN）在理论上已经被证明无法区分，检测或计数许多图的子结构。虽然已经付出了努力，以补充的能力，现有的作品要么依赖于预定义的子结构集，从而不太灵活，或缺乏理论见解。在本文中，我们提出了GSKN，一个GNN模型，具有理论上更强的区分图结构的能力。具体来说，我们设计GSKN的基础上匿名散步（AW），灵活的子结构单元，并得出它的特征映射的图形内核（GK）。我们从理论上证明了GSKN可证明地扩展了1-WL测试，因此从图级和节点级的角度来看，最强大的MPGNN。相应地，利用各种实验来评估GSKN，其中GSKN优于广泛的基线，从而支持分析。
2021-04-07 cs.AI cs.LG
Solving Oversmoothing in GNNs via Nonlocal Message Passing: Algebraic Smoothing and Depth Scalability
School of Mathematical Sciences, Fudan University（复旦大学数学学院）
本文提出一种基于Post-LN的非局部消息传递方法，通过代数平滑解决图神经网络中的过度平滑问题，并支持更深层网络，提升性能且无需额外参数。
2025-12-10 cs.LG
Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision
CSIRO’s DATA61（澳大利亚联邦科学与工业研究组织DATA61部门）
使用图神经网络（GNNs）学习有用的节点和图表示是一项具有挑战性的任务。众所周知，深度GNN会受到过度平滑的影响，随着层数的增加，节点表示变得几乎无法区分，下游任务的模型性能显着下降。为了解决这个问题，我们提出了深度监督GNN（DSGNN），即，通过深度监督增强的GNN，其中在所有层学习的表示都用于训练。我们的经验表明，DSGNNs是弹性的过度平滑，可以超越节点和图形属性预测问题的竞争基准。
2022-02-25 cs.LG
On the Topology Awareness and Generalization Performance of Graph Neural Networks
the University of Hong Kong（香港大学）
本文提出刻画GNN对任意拓扑特征感知能力的统一框架，揭示增强拓扑感知可能导致跨结构群体的不公平泛化，并通过最短路径距离实验与图主动学习冷启动应用验证其理论和实用价值。
2024-07-08 cs.LG
Improving Graph Neural Networks with Learnable Propagation Operators
Ben-Gurion University（本-古里安大学）；Emory University（埃默里大学）
针对图神经网络传播算子表达受限、易过平滑的问题，提出带可训练逐通道加权因子的ωGNN方法，混合多种传播算子，两种变体经理论与实验验证无过平滑，在15个真实数据集上性能达SOTA水平。
2023-05-05 cs.LG
A Comparative Study on Robust Graph Neural Networks to Structural Noises
Eindhoven University of Technology（埃因霍温理工大学）
图神经网络（GNN）通过在相邻节点之间传递和聚合消息来学习节点表示。GNN已成功应用于多个应用领域，并取得了良好的性能。然而，GNN可能容易受到结构噪声的影响，因为消息传递机制可能会将噪声传播到整个图中。虽然已经提出了一系列鲁棒GNN，但它们是用不同的结构噪声进行评估的，并且缺乏与一致设置的系统比较。在这项工作中，我们对一致结构噪声设置下的不同类型的鲁棒GNN进行了全面而系统的比较研究。从噪声方面，我们设计了三种不同的结构噪声水平，即，本地、社区和全局噪声。在模型方面，我们从基于样本、基于修正和基于构造的鲁棒GNN中选取了一些具有代表性的模型。根据实证结果，我们为鲁棒GNN选择提供了一些实用建议。
2021-12-11 cs.LG
Understanding and Improving Laplacian Positional Encodings For Temporal GNNs
Technion – Israel Institute of Technology（技术学院–以色列理工学院）；Ben-Gurion University of the Negev（贝纳-加隆大学奈杰夫分校）；University of Cambridge（剑桥大学）；NVIDIA（英伟达）
本文针对时序图神经网络中拉普拉斯位置编码计算成本高、理论不清的问题，提出理论框架和高效计算方法，并通过实验揭示其适用场景。
2025-06-02 cs.AI cs.LG
Neural Priority Queues for Graph Neural Networks
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
针对图神经算法推理中外部存储增强研究不足的问题，提出可微的神经优先级队列模块，验证其符合存储设计准则，且在算法推理和长程图交互任务上表现有效。
2023-07-18 cs.LG
A Survey on Oversmoothing in Graph Neural Networks
ETH Zurich（苏黎世联邦理工学院）；University of Oxford（牛津大学）
随着网络深度的增加，图神经网络的节点特征趋于相似。这种效应被称为过度平滑，我们公理化地定义为节点特征上合适的相似性度量的指数收敛。我们的定义统一了以前的方法，并产生了新的量化措施的过度平滑。此外，我们经验性地证明了这种行为的几个过度平滑措施在不同的图（小，中，大规模）。我们还回顾了几种减轻过度平滑的方法，并在真实世界的图形数据集上实证测试了它们的有效性。通过说明性的例子，我们证明了减轻过度平滑是构建深度GNN的必要条件，但不是充分条件，这些深度GNN在广泛的图学习任务上都是有表现力的。最后，我们将过度平滑的定义扩展到快速新兴的连续时间GNN领域。
2023-03-20 cs.LG
Understanding Oversquashing in GNNs through the Lens of Effective Resistance
Oregon State University（俄勒冈州立大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文以节点间有效电阻刻画 GNN 的过度挤压，提出用总有效电阻界定挤压程度，并设计边添加算法最小化该指标，从而通过图重连提升 GNN 性能。
2023-06-06 cs.LG
A Survey on The Expressive Power of Graph Neural Networks
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
图神经网络（GNNs）是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功，GNN的理论局限性已被揭示最近。因此，已经提出了许多GNN模型来克服这些限制。在本调查中，我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford（牛津大学）；RWTH Aachen University（亚琛工业大学）
图神经网络是关系数据表示学习的有效模型。然而，标准GNN的表达能力有限，因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍，GNN已经通过随机节点初始化（RNI）进行了增强，其中的想法是用随机初始节点特征训练和运行模型。在这项工作中，我们用RNI分析了GNNs的表达能力，并证明了这些模型是通用的，这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立，并且在预期中保持了GNN的不变性。然后，我们根据精心构建的数据集，实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
Exponentially Improving the Complexity of Simulating the Weisfeiler-Lehman Test with Graph Neural Networks
MIT（麻省理工学院）；Amazon AWS（亚马逊云科技）
最近的工作表明，图神经网络（GNN）在区分非同构图方面的表达能力与Weisfeiler-Lehman（WL）图测试完全相同。特别是，他们表明WL测试可以用GNN来模拟。然而，这些模拟涉及神经网络的“组合”功能的大小多项式，甚至指数的图形节点$n$的数量，以及特征向量的长度线性$n$。我们提出了一个改进的模拟的WL测试的GNN与\emph{exponentially}较低的复杂性。特别地，在每个节点中实现组合功能的神经网络在$n$中仅具有多对数数量的参数，并且由GNN的节点交换的特征向量仅由$O(\log n)$位组成。我们还给出了特征向量长度和神经网络大小的对数下界，表明我们的构造是（近）最优的。
2022-12-21 cs.LG stat.ML
Revisiting Pre-Propagation GNNs: Robust Diffusion Operators and Hidden-State Re-Propagation
School of Electrical and Computer Engineering, Cornell University, Ithaca, New York, USA（电气与计算机工程系，康奈尔大学，纽约州伊萨卡市）
提出鲁棒图扩散算子和少量隐状态再传播方案，使预传播图神经网络在保持训练效率的同时匹配消息传递图神经网络的精度。
2026-05-24 cs.LG
What Expressivity Theory Misses: Message Passing Complexity for GNNs
School of Computation, Information and Technology & Munich Data Science Institute（计算、信息与技术学院及慕尼黑数据科学研究所）
针对表达性理论忽视实际限制的问题，提出消息传递复杂度（MPC）连续度量，量化GNN解决任务的难度，兼顾过压缩等实际因素，并通过实验验证其预测与性能相关，为理解与改进GNN提供新框架。
2025-10-22 cs.LG
Relational Graph Modeling for Credit Default Prediction: Heterogeneous GNNs and Hybrid Ensemble Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出异构图神经网络与混合集成学习方法，通过构建大规模异构图整合借款人与交易数据，提升信用违约预测的准确性和公平性。
2026-01-21 cs.LG
Graph Classification with GNNs: Optimisation, Representation and Inductive Bias
IIT Madras（印度马德拉斯理工学院）
本文指出 GNN 等价性研究忽略了优化问题，通过理论与实验证明了图分类中消息传递层在不同全局池化下寻找判别性子图或节点的隐式归纳偏置，并展示了其在注意力架构中融入领域知识的应用。
2024-08-23 cs.LG
FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；School of Mathematics and Statistics, Guangdong University of Technology（广东工业大学数学与统计学院）
针对GNNs中随机Dropout率依赖启发式搜索导致泛化误差增加的问题，提出FlexiDrop方法，利用Rademacher复杂度推导出约束泛化误差的函数并将其作为正则化项，实现Dropout率与经验损失的同时优化及自适应调整，有效平衡了模型复杂度与泛化能力。
2024-05-30 cs.LG
Expressivity and Generalization: Fragment-Biases for Molecular GNNs
School of Computation, Information & Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Helmholtz Center for Computational Health（亥姆霍兹计算健康中心）
本文提出Fragment-WL测试以理论分析片段偏置GNNs，并基于此开发新架构与无限词表片段化方法，显著提升表达力，在多个分子数据集上超越现有GNNs，泛化能力优于基于transformer的架构。
2024-07-25 cs.LG
GNNSampler: Bridging the Gap between Sampling Algorithms of GNN and Hardware
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
采样是图神经网络（GNN）训练中的一个关键操作，有助于降低成本。先前的文献已经探索了通过数学和统计方法来改进采样算法。然而，在采样算法和硬件之间存在差距。在不考虑硬件的情况下，算法设计者仅仅在算法级优化采样，错过了利用硬件特性提升现有采样算法效率的巨大潜力。在本文中，我们开创性地提出了一个统一的编程模型，主流的采样算法，称为GNNSampler，涵盖了各种类别的采样算法的关键过程。其次，利用硬件的特点，我们选择的数据局部性作为一个案例研究，并探讨数据局部性之间的节点和他们的邻居在一个图，以减轻不规则的内存访问采样。第三，我们在GNNSampler中对各种采样算法实现了局部感知优化，以优化一般采样过程。最后，我们着重在大型图数据集上进行实验，以分析训练时间，准确性和硬件级指标之间的相关性。大量的实验表明，我们的方法是通用的主流采样算法，并有助于显着减少训练时间，特别是在大规模的图形。
2022-06-24 cs.LG
Understanding and Extending Subgraph GNNs by Rethinking Their Symmetries
Imperial College London（帝国理工学院）；Twitter（推特）；Purdue University（普渡大学）；University of Oxford（牛津大学）；NVIDIA Research（英伟达研究院）
子图GNN是最近一类表达性图神经网络（GNN），其将图建模为子图的集合。到目前为止，可能的子图GNN架构的设计空间以及它们的基本理论属性在很大程度上仍然是未开发的。在本文中，我们研究了最突出的形式的子图方法，它采用基于节点的子图选择策略，如自我网络或节点标记和删除。我们解决两个中心问题：（1）这些方法的表达能力的上限是什么？（2）这些子图集合上的等变消息传递层族是什么？我们在回答这些问题的第一步是一个新的对称性分析表明，建模的对称性的基于节点的子图集合需要一个显着较小的对称群比在以前的作品中采用的。然后，该分析用于建立子图GNN和不变图网络（IGN）之间的链接。我们首先通过3-WL限制子图方法的表达能力来回答上述问题，然后为子图方法提出一个通用的消息传递层家族，该家族概括了所有以前的基于节点的子图GNN。最后，我们设计了一个新的子图GNN称为SUN，它在理论上统一了以前的架构，同时在多个基准测试中提供了更好的经验性能。
2022-10-13 cs.LG
Improving Graph Neural Networks at Scale: Combining Approximate PageRank and CoreRank
Télécom Paris, IP Paris（巴黎电信学院，巴黎理工学院）；École Polytechnique, IP Paris（巴黎综合理工学院，巴黎理工学院）；Sorbonne University（索邦大学）；CNRS-LIP6（法国国家科学研究中心-巴黎第六大学计算机实验室）
图神经网络（GNNs）在许多图结构的学习任务中取得了巨大的成功。尽管如此，为了传播信息，GNN依赖于消息传递方案，当使用工业规模的图时，该方案可能变得过于昂贵。受PPRGo模型的启发，我们提出了CorePPR模型，这是一种可扩展的解决方案，利用近似个性化PageRank和CoreRank的可学习凸组合来扩散GNN中的多跳邻域信息。此外，我们还引入了一种动态机制来为特定节点选择最有影响力的邻居，从而减少了训练时间，同时保持了模型的性能。总的来说，我们证明了CorePPR优于PPRGo，特别是在选择最有影响力的节点与可扩展性特别相关的大型图形上。我们的代码可在https://github.com/arielramos97/CorePPR上公开获取。
2022-11-08 cs.LG cs.SI stat.ML
Beyond Over-smoothing: Uncovering the Trainability Challenges in Deep Graph Neural Networks
Renmin University of China（中国人民大学）；Gaoling School of Artificial Intelligence（高瓴人工智能学院）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
本文通过理论梯度分析与实验证明，深度图神经网络性能下降的主要原因是深度MLP的训练困难而非过度平滑，并发现约束梯度流上界可显著提升GNN可训练性。
2024-08-07 cs.LG
Distance-Restricted Folklore Weisfeiler-Leman GNNs with Provable Cycle Counting Power
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
本文提出距离受限的d-DRFWL(2) GNN，通过限制消息传递的节点对距离避免子图提取开销，并证明其在d=2时即可计数3至6环，成为目前最高效的环计数GNN模型。
2024-01-11 cs.LG
Locality-Aware Graph-Rewiring in GNNs
University of Oxford（牛津大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
本文针对GNN中的过度挤压问题，提出一种局部性感知的图重连框架，在减少过度挤压的同时兼顾图局部性与稀疏性，并在多个基准上验证其优于现有方法。
2024-05-04 cs.LG
PROXI: Challenging the GNNs for Link Prediction
Astrit Tola（独立研究者）；Jack Myrick（独立研究者）；Baris Coskunuzer（独立研究者）
PROXI通过利用节点对在图和属性空间中的接近性信息，在链接预测任务中超越了传统GNN模型。
2024-10-02 cs.CG cs.LG
Hierarchical Model Selection for Graph Neural Netoworks
The University of Electro-Communications（电气通信大学）
图数据上的节点分类是一个主要问题，并且已经提出了各种图神经网络（GNN）。GNN的变体，如H2GCN和CPF，通过改进传统GNN的弱点，性能优于图卷积网络（GCN）。然而，在一些图数据中，这些GNN变体在节点分类任务中的表现不如其他GNN。这是因为H2GCN在具有高平均度的图数据上具有特征细化，并且CPF引起关于标签传播适合性的问题。因此，我们提出了一个分层模型选择框架（HMSF），通过分析每个图数据的指标来选择合适的GNN模型。在实验中，我们表明，我们的HMSF选择的模型实现了高性能的节点分类的各种类型的图数据。
2022-12-01 cs.LG
Measuring and Improving the Use of Graph Information in Graph Neural Networks
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）
图神经网络（GNN）已被广泛用于对图数据的表示学习。然而，对于GNN实际上从图形数据中获得多少性能的理解有限。本文介绍了一个上下文周围的GNN框架，并提出了两个平滑度度量，以衡量从图数据中获得的信息的数量和质量。一个新的GNN模型，称为CS-GNN，然后设计，以提高使用的图信息的基础上的平滑度值。CS-GNN在不同类型的实数图中表现出比现有方法更好的性能。
2022-06-27 cs.AI cs.LG
AIMing for Standardised Explainability Evaluation in GNNs: A Framework and Case Study on Graph Kernel Networks
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出AIM框架，用于评估图神经网络的解释性，通过实例级和模型级解释提升解释性评估的全面性，并以图核网络为例展示改进模型xGKN的开发。
2026-05-15 cs.LG
Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs
Tsinghua University（清华大学）；Simon Fraser University（西蒙弗雷泽大学）
图神经网络（GNN）是一种新兴的基于图的机器学习模型。虽然理论上已经证明足够深的GNN能够完全保留图结构，但实际上大多数现有的GNN模型都是浅的，基本上是以特征为中心的。我们的经验和分析表明，现有的浅GNN不能很好地保持图形结构。为了克服这一根本挑战，我们提出了Eigen-GNN，这是一个简单而有效的通用插件模块，可以提高GNN保留图结构的能力。具体来说，我们通过将GNNs视为一种降维并扩展初始降维基，将图结构的特征空间与GNNs集成在一起。在不需要增加深度的情况下，Eigen-GNN在处理特征驱动和结构驱动的任务时具有更大的灵活性，因为初始基包含节点特征和图结构。我们提出了广泛的实验结果，以证明本征GNN的任务，包括节点分类，链接预测，图同构测试的有效性。
2020-06-08 cs.LG stat.ML
On the Rademacher Complexity of Graph Neural Networks: Unifying Expressivity and Geometry
University of Fribourg（弗里堡大学）；Johns Hopkins University（约翰·霍普金斯大学）；Université Paris-Saclay（巴黎萨克雷大学）；University of Ferrara（费拉拉大学）；Technical University of Munich（慕尼黑技术大学）；University of Siena（锡耶纳大学）
该研究针对图神经网络（GNNs）泛化与表达性的权衡，采用依赖数据的经验拉德马赫复杂度，推导结合GNN表达力与输入空间几何的紧泛化界，扩展至任意GNN架构，助力GNN泛化统一理论构建。
2026-07-30 cs.LG
Theoretical and Empirical Insights into the Origins of Degree Bias in Graph Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；University of Rochester（罗切斯特大学）
该研究针对图神经网络存在的度偏差问题，通过理论分析与8个真实网络实验，揭示了偏差的多方面起源，统一了部分过往假设并质疑了部分假设，提出了缓解偏差的路线图。
2024-10-31 cs.LG cs.SI
On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning
University of Oxford（牛津大学）；University of Pisa（比萨大学）；AITHYRA；EPFL（苏黎世联邦理工学院）
本文通过线性控制理论统一分析GNN中的梯度消失、过平滑与过挤压问题，提出将GNN视为循环模型，采用状态空间形式在无额外参数下缓解这些现象，并理论实证表明过平滑与梯度消失直接相关，过挤压需结合图重连与梯度消失缓解。
2025-10-26 cs.AI cs.LG
Universally Invariant Learning in Equivariant GNNs
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学明德学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大模型与智能治理重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心）；DAMO Academy, Alibaba Group（阿里达摩院）；Hupan Lab（虎斑实验室）
本研究提出一种高效构建完备等变GNN的理论框架，通过规范标量函数与满秩可转向基集，在少量层下实现普适逼近并降低计算成本。
2025-10-15 cs.LG
Understanding the Robustness of Graph Neural Networks against Adversarial Attacks
School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）；School of Cyber Security and Information Law, Chongqing University of Posts and Telecommunications（重庆邮电大学网络安全与信息法学院）；School of Software Engineering, Chengdu University of Information Technology（成都信息科技学院软件工程学院）；School of Computer and Information Science, Chongqing Normal University（重庆师范大学计算机与信息科学学院）；School of Computer Science, University of Technology Sydney（悉尼大学计算机科学学院）
本研究首次大规模系统分析图神经网络对抗鲁棒性，提出经验框架与两个评估指标，并给出11条设计鲁棒GNNs的指南。
2025-05-25 cs.LG cs.SI
GNNs Meet Sequence Models Along the Shortest-Path: an Expressive Method for Link Prediction
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
提出SP4LP框架，结合GNN节点编码与最短路径序列建模，以高效捕捉多跳结构模式，在链接预测基准上达到最先进性能并证明其表达力优于现有方法。
2026-11-05 cs.LG
Node Duplication Improves Cold-start Link Prediction
University of Washington（华盛顿大学）；Snap Inc.（Snap公司）；University of Notre Dame（诺特丹大学）；University of California, Riverside（加州大学河滨分校）
针对图神经网络在链路预测中低度节点（冷启动场景）性能不佳的问题，提出即插即用的NodeDup节点复制增强技术，通过多视图视角提升性能，且不损害高度节点表现，实验验证了显著效果。
2025-08-01 cs.LG cs.SI
Rethinking the Effectiveness of Graph Classification Datasets in Benchmarks for Assessing GNNs
Guangzhou University（广州大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Huazhong University of Science and Technology（华中科技大学）
针对图分类基准能否有效区分GNN与其他方法进步的问题，提出实证方案和量化数据集有效性的新指标，探究低有效性成因并开发可控合成数据集生成技术，推动基准发展。
2024-07-06 cs.LG
Bregman Graph Neural Network
The University of Sydney（悉尼大学）
提出受 Bregman 距离启发的 GNNs 双层优化框架，通过引入类跳跃连接机制有效缓解过平滑问题，在同质和异质图中均优于原始模型且在深层网络中保持稳健精度。
2023-09-12 cs.LG
