Explaining Dynamic Graph Neural Networks via Relevance Back-propagation
University of California Irvine（加州大学欧文分校）
图神经网络（GNN）在捕获图结构数据中的丰富信息方面表现出显着的有效性。然而，GNN的黑盒性质阻碍了用户对模型的理解和信任，从而导致其应用的困难。虽然近年来对GNN的解释研究很繁荣，但大多数研究都集中在静态图上，而动态GNN的解释几乎没有探索。由于动态GNN具有时变图结构的独特特性，因此解释动态GNN具有挑战性。直接使用现有的模型设计的静态图上的动态图是不可行的，因为他们忽略了快照之间的时间依赖性。在这项工作中，我们提出DGExplainer来为动态GNN提供可靠的解释。DGExplainer将动态GNN的输出激活分数重新分配到其前一层神经元的相关性，迭代直到获得输入神经元的相关性分数。我们在真实世界的数据集上进行定量和定性实验，以证明所提出的框架在识别动态GNN的链接预测和节点回归的重要节点方面的有效性。
2022-07-22 cs.LG
Fast Graph Neural Tangent Kernel via Kronecker Sketching
Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe 研究院）；Princeton University（普林斯顿大学）；Duke University（杜克大学）
许多深度学习任务必须处理图形（例如，蛋白质结构、社交网络、源代码抽象语法树）。由于这些任务的重要性，人们转向图神经网络（GNNs）作为在图上学习的实际方法。GNN由于其令人信服的性能而得到广泛应用。不幸的是，使用GNN的一个主要障碍是GNN需要大量的时间和资源来进行训练。最近，一种用于在图数据上学习的新方法是图神经切线核（GNTK）[Du，Hou，Salakhutdinov，Poczos，Wang和Xu 19]。GNTK是神经切线核（NTK）[Jacot，Gabriel和Hongler 18]（一种核方法）在图形数据上的应用，解决NTK回归相当于使用梯度下降来训练无限宽的神经网络。使用GNTK的主要好处是，与任何内核方法类似，GNTK的参数可以在单个步骤中直接求解。这可以避免耗时的梯度下降。同时，草图已经越来越多地用于加速各种优化问题，包括解决核回归。给定$n$图的核矩阵，在求解核回归时使用草图法，可将计算时间减少到$o(n^3)$。但不幸的是，这样的方法通常需要事先对核矩阵有广泛的了解，而在GNTK的情况下，我们发现核矩阵的构造已经是$O(n^2N^4)$了，假设每个图都有$N$节点。当图$N$的大小增加时，核矩阵构造时间可能是主要的性能瓶颈。因此，一个自然的问题是，我们是否可以加快内核矩阵的构造，以改善GNTK回归的端到端运行时间。本文首次提出了在$o(n^2N^3)$运行时构…
2021-12-04 cs.LG
Understanding the Message Passing in Graph Neural Networks via Power Iteration Clustering
Harbin Institute of Technology（哈尔滨工业大学）
图神经网络的消息传递机制至今仍是一个谜。除了卷积神经网络之外，没有提出GNN的理论起源。令我们惊讶的是，消息传递最好用幂迭代来理解。通过完全或部分去除GNN的激活函数和层权重，我们提出了子空间幂迭代聚类（SPIC）模型，该模型仅使用一个聚合器进行迭代学习。实验表明，我们的模型扩展了GNN，增强了它们处理随机特征网络的能力。此外，我们展示了一些最先进的GNN在设计中的冗余性，并通过消息传递的随机聚合器定义了模型评估的下限。我们的发现推动了对神经网络理论理解的边界。
2021-01-11 cs.LG stat.ML
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford（牛津大学）；RWTH Aachen University（亚琛工业大学）
图神经网络是关系数据表示学习的有效模型。然而，标准GNN的表达能力有限，因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍，GNN已经通过随机节点初始化（RNI）进行了增强，其中的想法是用随机初始节点特征训练和运行模型。在这项工作中，我们用RNI分析了GNNs的表达能力，并证明了这些模型是通用的，这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立，并且在预期中保持了GNN的不变性。然后，我们根据精心构建的数据集，实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
Interpretable A-posteriori Error Indication for Graph Neural Network Surrogate Models
Transportation and Power Systems Division, Argonne National Laboratory（阿贡国家实验室交通与动力系统分部）；College of Information Sciences and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；Mathematics and Computer Science Division, Argonne National Laboratory（阿贡国家实验室数学与计算机科学分部）
本文提出一种可解释GNN增强流程，在非结构网格流体代理模型中自适应识别任务相关子图并标记主要预测误差节点，同时保持基线预测能力。
2024-10-24 cs.LG physics.comp-ph physics.flu-dyn
Graph Classification with GNNs: Optimisation, Representation and Inductive Bias
IIT Madras（印度马德拉斯理工学院）
本文指出 GNN 等价性研究忽略了优化问题，通过理论与实验证明了图分类中消息传递层在不同全局池化下寻找判别性子图或节点的隐式归纳偏置，并展示了其在注意力架构中融入领域知识的应用。
2024-08-23 cs.LG
A Hierarchy of Graph Neural Networks Based on Learnable Local Features
Operational Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）；Institute for Applied Computational Science（应用计算科学研究所）；Harvard University（哈佛大学）；Harvard School of Engineering and Applied Sciences（哈佛工程与应用科学学院）
图神经网络（GNN）是通过迭代地聚合来自节点邻域的特征来学习图上的表示的强大工具。已经提出了许多变体模型，但对于如何比较不同的架构以及如何系统地构建GNN的理解有限。在这里，我们提出了一个基于其聚合区域的GNN层次结构。我们推导出理论结果的判别力和特征表示能力的每一类。然后，我们展示了如何利用这个框架来系统地构建任意强大的GNN。作为一个例子，我们构建了一个简单的架构，超过了Weisfeiler-Lehman图同构测试的表现力。我们在合成和现实世界的基准测试中实证验证了我们的理论，并证明了我们的示例的理论能力转化为节点分类，图分类和图回归任务的强大结果。
2019-11-13 cs.CV cs.LG stat.ML
On the equivalence between graph isomorphism testing and function approximation with GNNs
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Center for Data Science（数据科学中心）
图神经网络（GNNs）在图结构数据上取得了很大的成功。有鉴于此，人们对研究它们的表达能力越来越感兴趣。一条工作线研究了GNN在图上近似置换不变函数的能力，另一条工作线则专注于它们作为图同构测试的能力。我们的工作连接这两个角度，并证明他们的等价性。我们进一步开发了一个框架的GNN的表达能力，结合这两个观点使用的语言sigma代数，通过它，我们比较不同类型的GNN的表达能力与其他图同构测试。特别地，我们证明了二阶不变图网络不能区分具有相同度的非同构正则图。然后，我们将其扩展到一个新的架构，Ring-GNN，它成功地区分这些图，并在现实世界的数据集上实现了良好的性能。
2023-02-11 cs.LG stat.ML
GraphMDN: Leveraging graph structure and deep learning to solve inverse problems
Massachusetts Institute of Technology（麻省理工学院）；Vectra AI（维特拉人工智能公司）
最近引入的图神经网络（GNN）及其在过去几年中的日益普及，使得深度学习算法能够应用于非欧几里德的图结构数据。GNN在一系列令人印象深刻的基于图的机器学习问题上取得了最先进的结果。然而，尽管GNN的发展速度很快，但其大部分工作都集中在图分类和嵌入技术上，在很大程度上忽略了图数据的回归任务。在本文中，我们开发了一个图混合密度网络（GraphMDN），它结合了图神经网络与混合密度网络（MDN）的输出。通过结合这些技术，GraphMDN具有自然能够将图结构化信息纳入神经架构的优势，以及对多模态回归目标建模的能力。因此，GraphMDN被设计为在回归任务中表现出色，其中数据是图形结构的，并且目标统计数据更好地由密度的混合而不是奇异值（所谓的“逆问题”）表示。为了证明这一点，我们将现有的GNN架构（称为Semantic GCN（SemGCN））扩展到GraphMDN结构，并显示Human3.6M姿态估计任务的结果。扩展模型始终优于GCN和MDN架构本身，具有相当数量的参数。
2020-10-26 cs.AI cs.LG
Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文通过提出PMLP模型，揭示GNNs性能优势主要源于内在泛化能力而非表达能力，并从NTK特征映射和外推行为角度分析其泛化机制。
2023-08-04 cs.LG
Reachability is not enough: Diagnosing long-range behavior in GNNs
UiT The Arctic University of Norway（挪威北极大学）；NORCE Norwegian Research Centre（NORCE挪威研究中心）
本文提出诊断框架，揭示GNN长程能力不仅依赖架构可达性，更取决于学习并保持对远距离信息的有效利用。
2026-09-29 cs.LG
Improving Subgraph-GNNs via Edge-Level Ego-Network Encodings
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；ISI Foundation Turin（都灵ISI基金会）
本文提出边级自我网络编码以增强子图GNN，理论上证明其表达能力优于基于节点的子图MP-GNN，并在多个基准上匹配或改进基线且显著降低内存使用。
2024-05-02 cs.AI cs.LG
Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks
TU Dortmund University（多特蒙德工业大学）；RWTH Aachen University（亚琛工业大学）；McGill University（麦吉尔大学）；MILA（MILA（蒙特利尔学习算法研究所））
近年来，图神经网络（GNN）已经成为一种强大的神经架构，可以以有监督的端到端方式学习节点和图的向量表示。到目前为止，GNN只进行了经验评估-显示出有希望的结果。以下工作从理论的角度研究GNN，并将其与$1$维Weisfeiler-Leman图同构启发式（$1$ -WL）联系起来。我们表明，GNNs具有相同的表现力的$1$ -WL在区分非同构（子）图。因此，这两种算法也具有相同的缺点。在此基础上，我们提出了一个广义的GNN，所谓的$k$维GNN（$k$ -GNN），它可以考虑在多个尺度的高阶图结构。这些高阶结构在表征社交网络和分子图中起着至关重要的作用。我们的实验评估证实了我们的理论研究结果，以及确认，高阶信息是有用的图分类和回归的任务。
2021-11-30 cs.AI cs.CV cs.LG
Graph Neural Network Expressivity and Meta-Learning for Molecular Property Regression
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cornell University（康奈尔大学）
我们证明了元学习的模型不可知算法的适用性，特别是爬行动物，GNN模型在分子回归任务。使用元学习，我们能够学习新的化学预测任务，只需几个模型更新，而使用随机初始化的GNN需要从头开始学习每个回归任务。我们的实验表明，GNN层的表现力与改进的元学习相关。此外，我们还对GNN集成进行了实验，这些集成为k-shot学习提供了最佳性能和快速收敛。
2022-11-24 cs.LG q-bio.BM q-bio.QM
Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence
Beihang University（北洋大学）；The Hong Kong Polytechnic University（香港理工大学）
本研究提出GNN+框架，通过集成六种常用技术增强经典GNN，在14个图级数据集上系统评估表明，经典GNN性能匹配或超越GTs且效率更高，挑战了复杂机制对图级性能必不可少的观念。
2025-11-01 cs.LG
Rethinking the Power of Graph Canonization in Graph Representation Learning with Stability
Washington University in St. Louis（圣路易斯华盛顿大学）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文通过图规范化最大化GNN表达能力，并引入通用图规范化解决表达能力与稳定性的权衡，实验表明该方法在多个基准上提升性能，最高提升SOTA达31%。
2024-02-09 cs.LG
Weisfeiler-Lehman goes Dynamic: An Analysis of the Expressive Power of Graph Neural Networks for Attributed and Dynamic Graphs
University of Kassel（卡塞尔大学）；University of Siena（锡耶纳大学）
本文将静态属性同质图上的 GNN 表达能力理论扩展到动态图和带边属性的属性图，证明其与 1-WL 测试能力等价且为通用逼近器。
2024-05-03 cs.AI cs.LG
UniSG^GA: A 3D scenegraph powered by Geometric Algebra unifying geometry, behavior and GNNs towards generative AI
FORTH - ICS（希腊基础研究与技术基金会-计算机科学研究所）；University of Crete（克里特大学）；ORamaVR（ORamaVR公司）；University of Western Macedonia（西马其顿大学）；University of Geneva（日内瓦大学）
提出UniSG^GA，一种集成几何代数与行为数据的3D场景图结构，通过无缝整合GNN提升生成与预测任务性能，为基于图的生成式AI奠定基础。
2023-06-18 cs.GR cs.LG
Simulating Liquids with Graph Networks
使用传统模拟器模拟流体等复杂动力学在计算上具有挑战性。深度学习模型已经被提出作为一种有效的替代方案，扩展或取代传统模拟器的部分。我们研究了用于学习流体动力学的图神经网络（GNNs），发现它们的泛化能力比以前的工作所建议的更有限。我们还挑战了目前的做法，增加随机噪声的网络输入，以提高其泛化能力和仿真稳定性。我们发现，插入真实的数据分布，例如通过展开多个模拟步骤，可以提高准确性，并且从学习模型中隐藏所有特定领域的特征可以提高泛化能力。我们的研究结果表明，学习模型（如GNN）无法学习确切的潜在动态，除非训练集没有任何其他可以用作捷径的特定问题相关性。
2022-03-14 cs.LG physics.flu-dyn
A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks
Heriot-Watt University（赫瑞-瓦特大学）
近年来，图神经网络（GNNs）由于具有处理图相关问题的优异能力而受到越来越多的关注。在实践中，超参数优化（HPO）对于GNN实现令人满意的结果至关重要，但这个过程成本很高，因为不同超参数设置的评估需要过度训练许多GNN。已经提出了许多方法HPO，其目的是有效地识别有前途的超参数。特别地，已经探索了用于HPO的遗传算法（GA），其将GNN视为黑盒模型，给定一组超参数，只能观察其输出。然而，由于GNN模型非常复杂，并且对GNN上的超参数进行评估非常昂贵，因此GA需要先进的技术来平衡搜索的探索和利用，并在有限的计算资源下使优化更加有效。因此，我们提出了一个树结构的变异策略，遗传算法来缓解这个问题。同时，我们回顾了HPO的最新研究成果，为树结构的思想提供了发展的空间，希望我们的方法能在未来进一步完善这些HPO方法。
2021-04-28 cs.LG cs.NE
LON-GNN: Spectral GNNs with Learnable Orthonormal Basis
Alibaba Group（阿里巴巴集团）；Renmin University of China（中国人民大学）
近年来，大量的谱图神经网络（GNN）方法利用多项式基与可学习的系数，以实现许多节点级任务的顶级性能。虽然已经探索了各种各样的多项式基，但每种方法都采用固定的多项式基，这可能不是给定图的最佳选择。此外，我们确定了这些方法的所谓的超越问题，并表明这在某种程度上是植根于他们的规则化策略和非规范化的基础。在本文中，我们首次尝试解决这两个问题。利用Jacobi多项式，我们设计了一种新的谱GNN，LON-GNN，具有可学习的OrthoNormal基，并证明了正则化系数现在等价于正则化学习滤波器函数的范数。我们在不同的图数据集上进行了广泛的实验，以评估LON-GNN的拟合和泛化能力，结果表明其优越性。
2023-03-30 cs.AI cs.LG
Task-Agnostic Graph Neural Network Evaluation via Adversarial Collaboration
Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Valence Discovery（Valence Discovery公司）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Cambridge（剑桥大学）
越来越需要开发可靠的方法来评估用于分子表示学习的图神经网络（GNN）研究进展。现有的用于分子表示学习的GNN基准测试方法专注于比较GNN在某些数据集上的某些节点/图分类/回归任务上的性能。然而，缺乏一种原则性的、与任务无关的方法来直接比较两个GNN。此外，大多数现有的自监督学习作品将手工增强的数据，这有几个严重的困难，以应用于图，由于其独特的特点。为了解决上述问题，我们提出了GraphAC（Graph Adversarial Collaboration）--一个概念新颖、原则性强、任务不可知且稳定的框架，用于通过对比自我监督来评估GNN。我们引入了一个新颖的目标函数：竞争巴洛双胞胎，它允许两个GNN在相互直接竞争的情况下联合更新自己。GraphAC成功地区分了各个方面的不同表现力的GNN，并已被证明是一种原则性和可靠的GNN评估方法，无需任何增强。
2023-03-27 cs.LG
A Manifold Perspective on the Statistical Generalization of Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
本文从流形与谱域视角建立 GNN 统计泛化理论，证明泛化界在对数尺度上随图规模线性下降，并通过合成及真实数据集验证。
2025-06-06 cs.LG stat.ML
From GNNs to Symbolic Surrogates via Kolmogorov-Arnold Networks for Delay Prediction
本文提出FlowKANet，通过Kolmogorov-Arnold网络替代传统MLP层，实现高效且准确的延迟预测，并通过符号代理模型提升部署透明性。
2026-02-16 cs.LG cs.NI
Haar Graph Pooling
University of New South Wales（新南威尔士大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Zhejiang Normal University（浙江师范大学）；Princeton University（普林斯顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；City University of Hong Kong（香港城市大学）
深度图神经网络（GNN）是用于图分类和基于图的回归任务的有用模型。在这些任务中，图池是GNN适应不同大小和结构的输入图的关键因素。提出了一种基于压缩Haar变换的图池操作-- HaarPooling。HaarPooling实现了池化操作的级联;它是通过遵循输入图的聚类序列来计算的。HaarPooling层将给定的输入图转换为具有较小节点数和相同特征维数的输出图;压缩Haar变换过滤出Haar小波域中的精细细节信息。通过这种方式，所有HaarPooling层一起将任何给定输入图的特征合成为统一大小的特征向量。这样的变换提供了数据的稀疏表征，并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。
2020-06-24 cs.LG stat.ML
Do We Really Need Graph Neural Networks for Traffic Forecasting?
National University of Singapore（新加坡国立大学）；University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）
时空图神经网络（STGNN）已成为最流行的交通预测解决方案。虽然成功，但它们依赖于GNN的消息传递方案来建立节点之间的空间依赖关系，因此不可避免地继承了GNN臭名昭著的低效率。鉴于这些事实，在本文中，我们提出了一个非常简单但非常有效的时空学习方法，名为SimST。具体来说，SimST通过两种空间学习技术来近似GNN的功效，这两种空间学习技术分别对局部和全局空间相关性进行建模。此外，SimST可以与各种时间模型一起使用，并涉及量身定制的训练策略。我们进行了五个流量基准测试的实验，以评估SimST的效率和有效性方面的能力。实验结果表明，与更复杂的STGNN相比，SimST将预测吞吐量提高了39倍，同时获得了相当的性能，这表明GNN不是交通预测中空间建模的唯一选择。
2023-01-30 cs.LG cs.SI
Feature Interaction-aware Graph Neural Networks
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）；Singapore Management University（新加坡管理大学）
受深度学习巨大成功的启发，图神经网络（GNN）被广泛用于学习强大的节点表示，并在不同的图学习任务中表现出良好的性能。然而，大多数真实世界的图通常具有高维和稀疏的节点特征，使得从现有GNN架构中学习的节点表示表达能力较低。在本文中，我们提出了\textit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)}，即插即用的GNN框架学习节点表示编码的信息功能的相互作用。具体来说，所提出的框架是能够突出信息功能的交互，以个性化的方式，并进一步学习高度表达的节点表示特征稀疏图。在各种数据集上进行的大量实验证明了FI-GNN在图学习任务中的卓越能力。
2020-01-22 cs.LG stat.ML
Graph as a feature: improving node classification with non-neural graph-aware logistic regression
Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；i3, Télécom Paris（巴黎电信学院i3研究所）
本文提出非神经的图感知逻辑回归（GLR），将节点关系编码为额外特征向量并结合节点自身属性，在节点分类任务中超越最先进GNN模型，同时显著提升泛化能力和计算效率。
2024-11-19 cs.LG
Modality-Independent Graph Neural Networks with Global Transformers for Multimodal Recommendation
National University of Singapore（新加坡国立大学）；Shandong University（山东大学）
针对多模态推荐中GNN最优感受野因模态而异且过小限制全局信息捕获的问题，提出模态无关感受野GNN与基于采样的全局Transformer，有效整合全局信息并显著提升推荐性能。
2024-12-18 cs.LG cs.SI
Graph Representation Learning via Aggregation Enhancement
Technion（以色列理工学院）；Habana Labs（Habana实验室）
图神经网络（GNN）已经成为处理图结构数据的强大工具，但在有效地聚合和传播层之间的信息方面仍然面临挑战，这限制了它们的性能。我们用核回归（KR）方法来解决这个问题，使用KR损失作为自监督设置中的主要损失或作为监督设置中的正则化项。与最先进的技术相比，我们在多个转导和归纳节点分类数据集的两种情况下都显示出了实质性的性能改进，特别是对于深度网络。与互信息（MI）相反，KR损失是凸的，并且在高维情况下易于估计，即使它间接地最大化其输入之间的MI。我们的工作突出了KR推进图表示学习领域和增强GNN性能的潜力。复制我们实验的代码可以在https://github.com/Anonymous1252022/KR_for_GNNs上找到。
2023-02-08 cs.LG
Mitigating the Structural Bias in Graph Adversarial Defenses
Department of Electrical Engineering, City University of Hong Kong（香港城市大学电子工程系）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院）
针对图对抗防御方法在低度数节点上表现出的结构偏差问题，提出包含异质-同质增强图构建、$k$NN增强图构建和多视图节点级注意力模块的防御策略，有效缓解了GNNs对抗攻击的结构偏差并提升了防御鲁棒性。
2025-04-29 cs.AI cs.CR cs.LG
Automatic Relation-aware Graph Network Proliferation
University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
由于图神经网络在许多关系型任务中表现出强大的推理能力，图神经结构搜索引起了人们的广泛关注。然而，目前使用的图搜索空间过于强调学习节点特征，而忽略了层次关系信息的挖掘。此外，由于消息传递中的不同机制，图搜索空间比CNN大得多。这阻碍了经典的搜索策略在复杂图搜索空间中的直接应用。我们提出了自动感知图网络增殖（ARGNP），用于通过关系引导的消息传递机制有效地搜索GNN。具体来说，我们首先设计了一个新的双重关系感知图搜索空间，包括节点和关系学习操作。这些操作可以提取层次节点/关系信息，并为图上的消息传递提供各向异性指导。其次，类似于细胞增殖，我们设计了一个网络增殖搜索范式，通过迭代执行网络划分和分化来逐步确定GNN架构。针对四个图学习任务的六个数据集的实验表明，由我们的方法产生的GNN优于当前最先进的手工制作和基于搜索的GNN。代码可在https://github.com/phython96/ARGNP上获得。
2022-05-31 cs.AI cs.CV cs.LG
Ranking Structured Objects with Graph Neural Networks
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）；Institute of Informatics（信息学研究所）；University of Munich（慕尼黑大学）
图神经网络（GNN）已成功应用于许多结构化数据领域，其应用范围从分子性质预测到社交网络分析。受GNNs广泛适用性的启发，我们提出了所谓的RankGNNs家族，这是神经学习排序（LtR）方法和GNNs的组合。RankGNN是用一组图之间的成对偏好来训练的，这表明其中一个比另一个更受欢迎。这个问题的一个实际应用是药物筛选，专家希望在大量候选药物中找到最有希望的分子。我们根据经验证明，我们提出的成对RankGNN方法显著优于或至少匹配朴素逐点基线方法的排名性能，其中LtR问题通过基于GNN的图回归来解决。
2021-10-11 cs.LG
Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract)
Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang Lab（之江实验室）
针对 Web 规模搜索中 Transformer 与 GNN 难以集成于统一学习排序框架的问题，提出 MPGraf 模型，利用模块化和基于胶囊的预训练策略融合两者优势，并通过离线与在线实验验证了其性能。
2024-09-25 cs.IR cs.LG
Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods
Amazon（亚马逊）
图神经网络（GNN）在节点分类、回归和推荐任务中已经实现了最先进的性能。GNN在丰富和高质量的连接可用时工作良好。然而，他们的有效性往往是危及许多现实世界中的节点度有幂律分布的图。这种情况的极端情况，即节点可能没有邻居，称为严格冷启动（SCS）。SCS强制预测完全依赖于节点自身的特征。我们提出了Cold Brew，这是一种师生蒸馏方法，用于解决GNN的SCS和噪声邻居挑战。我们还引入了特征贡献率（FCR），这是一个量化归纳GNN解决SCS的行为的度量。我们的实验表明，FCR解开不同的图形数据组件的贡献，并帮助选择最佳的体系结构SCS推广。我们进一步证明了Cold Brew在几个公共基准和专有电子商务数据集上的卓越性能，其中许多节点的连接很少或有噪声。我们的源代码可在https://github.com/amazon-research/gnn-tail-generalization上获得。
2022-03-13 cs.LG
Simple GNNs with Low Rank Non-parametric Aggregators
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对半监督节点分类（SSNC）中现有GNN架构过度设计的问题，提出用非参数学习器替代特征聚合以简化GNN设计并避免超参数选择复杂性，实验验证其在多种图类型上的适用性并关注评估惯例变化对性能的影响。
2024-11-26 cs.LG stat.ML
Improving Attention Mechanism in Graph Neural Networks via Cardinality Preservation
The Graduate Center, The City University of New York（纽约市立大学研究生中心）；Hunter College, The City University of New York（纽约市立大学亨特学院）
图神经网络（GNN）在学习图结构数据的表示方面非常强大。大多数GNN使用消息传递方案，其中节点的嵌入通过聚合其邻居的信息来迭代更新。为了更好地表达节点的影响力，注意力机制已经变得流行，以向聚合中的节点分配可训练的权重。虽然基于注意力的GNN在各种任务中取得了显着的成果，但人们对其辨别能力缺乏清晰的认识。在这项工作中，我们提出了一个理论分析的GNN，采用注意力机制作为聚合器的代表性的属性。我们的分析确定了那些基于注意力的GNN总是无法区分某些不同结构的所有情况。这些情况的出现是由于忽视了基于注意力的聚合中的基数信息。为了提高基于注意力的GNNs的性能，我们提出了基数保持注意力（CPA）模型，可以应用于任何类型的注意力机制。我们对节点和图分类的实验证实了我们的理论分析，并显示了我们的CPA模型的竞争力。
2020-05-04 cs.LG stat.ML
Contextualized Messages Boost Graph Representations
Nara Institute of Science and Technology（奈良科学技术大学）；De La Salle University - Manila（德拉萨大学-马尼拉）；Ateneo de Manila University（马尼拉大学）
针对不可数节点特征空间，提出软同构关系图卷积网络（SIR-GCN），通过伪度量软放松单射条件并采用各向异性动态消息，在节点和图预测任务中优于可比模型。
2025-04-07 cs.LG
Hierarchical graph neural nets can capture long-range interactions
Mila（米拉研究所）
已知基于相邻节点之间的消息传递的图神经网络（GNN）不足以捕获图中的远程交互。在这个项目中，我们研究层次消息传递模型，利用一个给定的图的多分辨率表示。这有助于学习跨越大感受野的特征，而不会丢失局部信息，这一点在以前的分层GNN工作中没有研究过。我们引入层次图网络（HGNet），其中任何两个连接的节点保证存在的消息传递路径的最多对数长度w.r.t.输入图形的大小。然而，在温和的假设下，其内部层次结构保持渐近大小等于输入图。我们观察到，我们的HGNet优于传统的GCN层堆叠，特别是在分子性质预测基准。最后，我们提出了两个基准测试任务，旨在阐明GNN利用图中的远程交互的能力。
2021-08-15 cs.LG stat.ML
Learning Graph Normalization for Graph Neural Networks
Ping An Property & Casualty Insurance（平安财产保险股份有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
图神经网络（GNNs）已经引起了相当大的关注，并已成为一个新的有前途的范式来处理图结构的数据。GNN通常堆叠到多个层，并且通过传播和聚合关于图的相邻节点特征来计算每层中的节点表示。通过堆叠到多个层，GNN能够捕获图上数据之间的长期依赖关系，从而带来性能改进。为了有效地训练具有多个层的GNN，需要一些归一化技术（例如，逐节点归一化、逐批归一化）是必要的。然而，GNN的归一化技术与任务高度相关，不同的应用任务更喜欢不同的归一化技术，这是很难提前知道的。为了解决这个问题，在本文中，我们提出通过优化四个不同级别的归一化技术的加权组合来学习图归一化，包括节点归一化，邻接归一化，图形归一化和批量归一化，在其中，邻接方式归一化和图形-本文提出了分别考虑图的局部结构和全局结构的智能归一化方法。通过学习最佳权重，我们能够为特定任务自动选择单个最佳或多个归一化的最佳组合。我们对不同任务的基准数据集进行了广泛的实验，包括节点分类，链接预测，图分类和图回归，并确认学习的图规范化导致有竞争力的结果，学习的权重建议适当的规范化技术的特定任务。源代码发布在https://github.com/cyh1112/GraphNormalization。
2020-09-24 cs.CV cs.LG
Federated Graph Neural Networks: Overview, Techniques and Challenges
Nanyang Technological University（南洋理工大学）
图神经网络具有处理图形数据的能力，在实际应用中得到广泛应用，近年来引起了广泛的研究关注。随着社会越来越关注数据隐私保护的需求，GNN需要适应这种新常态。此外，由于联邦学习（FL）中的客户可能具有关系，因此需要更强大的工具来利用这些隐含信息来提高性能。这导致了联邦图神经网络（FedGNNs）这一新兴研究领域的快速发展。这个充满希望的跨学科领域对于感兴趣的研究人员来说是极具挑战性的。缺乏对这一主题的深入调查进一步加剧了进入困难。在本文中，我们通过对这一新兴领域的全面调查来弥合这一差距。我们提出了FedGNNs文献的二维分类法：1）主要分类法通过分析GNNs如何增强FL训练以及FL如何辅助GNNs训练，为GNNs和FL的集成提供了清晰的视角，2）辅助分类法提供了FedGNNs如何处理FL客户端异构性的视图。通过对现有工作的关键思想、挑战和局限性的讨论，我们设想了未来的研究方向，这些方向可以帮助构建更强大、更可解释、更高效、更公平、更归纳和更全面的FedGNN。
2022-12-21 cs.DC cs.LG
Flow-Attentional Graph Neural Networks
University of Kassel（卡塞尔大学）；University of Greifswald（格里夫斯瓦尔德大学）
针对现有图神经网络未考虑物理资源流相关图的守恒定律导致性能下降的问题，提出满足基尔霍夫第一定律的流注意力机制，验证其表达能力优势并通过实验证明其可提升相关GNN任务性能。
2025-11-14 cs.LG
KA-GNN: Kolmogorov-Arnold Graph Neural Networks for Molecular Property Prediction
School of Mathematics, Shandong University（山东大学数学学院）；Data Science Institute, Shandong University（山东大学数据科学研究院）；Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学数理科学学院数学科学部）
提出首个基于Kolmogorov-Arnold网络的图神经网络KA-GNN，通过优化节点嵌入、消息传递和读出提升分子性质预测精度与效率，并在七个基准数据集上优于传统GNN。
2024-12-18 cs.LG q-bio.QM
Rethinking Graph Neural Networks for the Graph Coloring Problem
Carnegie Mellon University（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
图着色是一个经典的、关键的NP-难问题，它是指给连通的节点分配尽可能不同的颜色。然而，我们观察到最先进的GNN在图着色问题上不太成功。我们从两个方面分析其原因。首先，大多数GNN未能将同质性下的任务推广到异质性，即，连接的节点被分配不同颜色的图形。其次，GNNs是由网络深度的限制，使他们可能是一个局部的方法，这已被证明是非最优的最大独立集（MIS）问题。在本文中，我们专注于聚合组合GNN（AC-GNN），这是一类流行的GNN。我们首先将AC-GNN在着色问题中的能力定义为节点分配不同颜色的能力。这一定义与以往基于同质性假设的定义不同。我们识别AC-GNN无法区分的节点对。此外，我们证明了任何AC-GNN是一个局部着色方法，任何局部着色方法都是非最优的，通过探索稀疏随机图上局部方法的限制，从而证明了AC-GNN的非最优性，由于其局部性质。然后，我们证明了模型深度和它的着色能力之间的正相关关系。此外，我们还讨论了图的颜色等变性，以解决一些实际的限制，如预固定的限制。在上面的讨论之后，我们总结了一系列规则，这些规则使得GNN颜色等变并且在着色问题中很强大。然后，我们提出了一个简单的AC-GNN变化满足这些规则。我们经验验证我们的理论研究结果，并证明我们的简单模型大大优于国家的最先进的启发式算法的质量和运行时间。
2022-08-19 cs.AI cs.LG
Fully Distributed Online Training of Graph Neural Networks in Networked Systems
Rice University（莱斯大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
针对网络系统中GNN集中训练范式的局限，提出通信高效的全分布式在线训练方法，仅少量增加消息传递轮次与消息大小，在多类任务及三种学习范式下均验证有效。
2024-12-08 cs.DC cs.LG
Informed, but Not Always Improved: Challenging the Benefit of Background Knowledge in GNNs
University of Rostock（罗斯托克大学）；University of Rostock, University of Marburg（罗斯托克大学、马堡大学）
本文研究背景知识图在癌症亚型分类等GNN任务中的实际作用，发现现有GNN并未因背景知识而优于线性回归且对知识扰动不敏感，进而提出评估框架并指出架构与知识特征对齐是提升性能的关键。
2025-09-22 cs.LG
Relating-Up: Advancing Graph Neural Networks through Inter-Graph Relationships
Shandong University（山东大学）
本文提出即插即用模块Relating-Up，通过关系感知编码器和反馈训练策略利用图间关系增强GNNs，在16个基准数据集上显著提升图表示学习性能。
2024-05-07 cs.AI cs.LG
VC dimension of Graph Neural Networks with Pfaffian activation functions
University of Siena（锡耶纳大学）
本文利用 Pfaffian 函数理论，将图神经网络 VC 维的泛化界分析从分段多项式激活函数扩展到 sigmoid 和双曲正切等常用激活函数，并给出与架构参数及 1-WL 颜色数相关的界。
2024-04-02 cs.LG stat.ML
RELIANT: Fair Knowledge Distillation for Graph Neural Networks
University of Virginia（弗吉尼亚大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Texas A&M University（德克萨斯农工大学）；Northeastern University（东北大学）
图神经网络（GNN）在各种图学习任务上表现出令人满意的性能。为了实现更好的拟合能力，大多数GNN都具有大量参数，这使得这些GNN的计算成本很高。因此，很难将它们部署到具有稀缺计算资源的边缘设备上，例如，移动电话和可穿戴智能设备。知识蒸馏（KD）是压缩GNN的常见解决方案，其中轻量模型（即，学生模型）被鼓励模仿计算上昂贵的GNN的行为（即，教师GNN模型）。然而，大多数现有的基于GNN的KD方法缺乏公平性考虑。因此，学生模型通常继承甚至夸大了教师GNN的偏差。为了处理这样的问题，我们采取了初步措施，以实现GNN的公平知识蒸馏。具体来说，我们首先制定了一个新的问题，公平的知识蒸馏基于GNN的师生框架。然后，我们提出了一个名为RELIANT的原则性框架，以减轻学生模型所表现出的偏见。值得注意的是，RELIANT的设计与任何特定的教师和学生模型结构解耦，因此可以轻松地适应各种基于GNN的KD框架。我们在多个真实世界的数据集上进行了广泛的实验，这证实了RELIANT在保持高预测效用的同时实现了偏差较小的GNN知识蒸馏。
2023-01-04 cs.CY cs.LG
OpenGLT: A Comprehensive Benchmark of Graph Neural Networks for Graph-Level Tasks
COMP, PolyU Hong Kong SAR China（香港理工大学计算机系）；DSA, HKSUT (GZ) Guangzhou China（香港科技大学（广州）数据科学与分析系）
本文提出OpenGLT框架，系统分类图神经网络为五类，通过26个数据集评估20种模型，揭示不同架构在表达性、鲁棒性和效率上的差异，以及图拓扑特征对架构选择的影响。
2026-04-09 cs.AI cs.DB cs.LG
When Graph Neural Network Meets Causality: Opportunities, Methodologies and An Outlook
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本文综述因果启发的图神经网络（CIGNNs），用因果工具分析 GNN 可信性风险，并按因果推理与因果表示学习梳理方法、资源和未来方向。
2024-06-18 cs.AI cs.LG stat.ME
Graph Neural Networks Are More Than Filters: Revisiting and Benchmarking from A Spectral Perspective
Florida State University（佛罗里达州立大学）；University of Virginia（弗吉尼亚大学）
本文针对“GNN主要由邻域聚合决定谱域行为”的观点，构建谱视角基准与理论支持的评估协议，验证GNN可生成输入中缺失的频率成分，并在真实数据集上给出新发现。
2024-12-10 cs.AI cs.LG
Geometric GNNs for Charged Particle Tracking at GlueX
Thomas Jefferson National Accelerator Facility（托马斯·杰斐逊国家加速器设施）；Department of Computer Science, University of Houston（休斯顿大学计算机科学系）；Department of Physics, William & Mary（威廉与玛丽学院物理系）；Computer Science Department, Old Dominion University（老 Dominion 大学计算机科学系）
本研究评估了基于图神经网络（GNN）的带电粒子径迹寻找方法在GlueX实验中的应用，结果表明其在固定纯度下的效率和推理速度均优于传统组合方法，并探讨了GPU与FPGA实现的权衡。
2025-05-28 cs.LG
Graph Neural Networks with Continual Learning for Fake News Detection from Social Media
The University of Melbourne（墨尔本大学）
尽管在事实核查方面做出了重大努力，但社交媒体上假新闻的盛行仍然是一个严重的问题，对司法、公众信任和我们的社会产生了深远的影响。在这项工作中，我们专注于基于传播的假新闻检测，因为最近的研究表明，假新闻和真实新闻在网上的传播方式不同。具体来说，考虑到图神经网络（GNNs）处理非欧数据的能力，我们使用GNNs来区分社交媒体上假新闻和真新闻的传播模式。特别是，我们集中在两个问题：（1）不依赖于任何文本信息，例如，Twitter内容、回复和用户描述，GNN识别假新闻的准确性如何？众所周知，机器学习模型容易受到对抗攻击的攻击，避免依赖基于文本的特征可以使模型不太容易受到先进的假新闻制造者的操纵。(2)如何处理新的、看不见的数据？换句话说，在给定数据集上训练的GNN如何在新的和可能截然不同的数据集上执行？如果它达到了令人不满意的性能，我们如何解决这个问题，而不从头开始在整个数据上重新训练模型？我们在两个包含数千个标记新闻条目的数据集上研究了上述问题，我们的结果表明：（1）GNN可以在没有任何文本信息的情况下实现与最先进方法相当或更好的性能。(2)在给定数据集上训练的GNN可能在新的、看不见的数据上表现不佳，直接增量训练无法解决这个问题--这个问题在以前的工作中没有得到解决，这些工作将GNN应用于假新闻检测。为了解决这个问题，我们提出了一种方法，通过使用持续学习的技术来增量地训练GNNs，在现有和…
2020-08-14 cs.LG cs.SI
