The expressive power of pooling in Graph Neural Networks
UiT the Arctic University of Norway（挪威北极大学）；NORCE, Norwegian Research Centre AS（挪威研究中心NORCE AS）；University of Siena（锡耶纳大学）
本研究为图神经网络中的池化算子提出保留消息传递层表达能力的充分条件，作为选择或设计池化算子的理论标准，并实证验证其对图同构测试的影响。
2023-10-12 cs.LG
Theoretically Expressive and Edge-aware Graph Learning
University of Pisa（比萨大学）
我们提出了一个新的图神经网络，结合了该领域的最新进展。通过证明该模型比图同构网络和门控图神经网络更严格地通用，因为它可以近似相同的函数并处理任意的边值，我们给出了理论贡献。然后，我们展示了单个节点信息如何在图中流动而不改变。
2020-01-24 cs.AI cs.LG stat.ML
Expressive Power of Invariant and Equivariant Graph Neural Networks
ENS, PSL University（巴黎高等师范学院，巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）
各种类型的图神经网络（GNN）已经被提出，并被证明是成功的，在广泛的应用程序与图形结构的数据。在本文中，我们提出了一个理论框架，能够比较这些GNN架构的表达能力。目前的普适性定理只适用于难以处理的GNN类。在这里，我们证明了实用GNN的第一近似保证，为更好地理解其泛化铺平了道路。我们的理论结果被证明为不变的GNNs计算图嵌入（输入图的节点的置换不影响输出）和等变的GNNs计算节点的嵌入（输入的置换置换输出）。我们表明，Folklet图神经网络（FGNN），这是张量为基础的GNNs增强矩阵乘法是迄今为止提出的最具表现力的架构为一个给定的张量顺序。我们通过展示FGNNs能够学习如何解决问题来说明我们在二次分配问题（NP难组合问题）上的结果，从而比现有算法（基于谱，SDP或其他GNNs架构）具有更好的平均性能。在实践方面，我们还实现了掩码张量来处理不同大小的批量图。
2021-06-06 cs.DM cs.LG stat.ML
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings
TU Dortmund University（多特蒙德工业大学）；Stanford University（斯坦福大学）
我们提出了GNNAutoScale（GAS），这是一个将任意消息传递GNN扩展到大型图形的框架。GAS通过利用来自先前训练迭代的历史嵌入来修剪计算图的整个子树，从而导致相对于输入节点大小的恒定GPU内存消耗，而不会丢弃任何数据。虽然现有的解决方案由于边缘的子采样或不可训练的传播而削弱了消息传递的表达能力，但我们的方法可以证明能够保持原始GNN的表达能力。我们通过提供历史嵌入的近似误差界来实现这一点，并展示了如何在实践中收紧它们。从经验上讲，我们证明了我们的框架PyGAS的实际实现，PyGAS是PyTorch Geometric的一个易于使用的扩展，既快速又节省内存，学习表达性节点表示，非常类似于它们的非缩放对应物的性能，并在大规模图上达到最先进的性能。
2021-06-10 cs.LG
How Expressive Are Graph Neural Networks in the Presence of Node Identifiers?
Institute for Logic Language and Computation（逻辑语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Oxford（牛津大学）；Lehrstuhl Informatik 7（信息学7系）；RWTH Aachen University（亚琛工业大学）
本文研究了在存在唯一节点标识符时，图神经网络的表达能力，探讨了其在不同聚合方式下的表现。
2026-01-29 cs.LG cs.LO
The Expressive Power of Graph Neural Networks: A Survey
College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）
本文首次综述不同定义下增强图神经网络表达能力的模型，并按图特征、图拓扑和 GNN 架构增强三类系统梳理相关工作。
2025-01-10 cs.LG cs.SI
Logical Expressiveness of Graph Neural Networks with Hierarchical Node Individualization
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一种具有层次节点个体化的图神经网络，通过理论分析和实验验证，展示了其在区分同构图方面的表达能力及实用性。
2026-01-23 cs.AI cs.LG cs.LO
A new perspective on building efficient and expressive 3D equivariant graph neural networks
Chinese Academy of Sciences（中国科学院）；Cornell University（康奈尔大学）；Texas A&M University（得克萨斯农工大学）；Zhejiang University（浙江大学）
本文提出3D同构局部层级体系评估等变GNN表达力，并设计LSE与FTE两个关键模块，据此构建LEFTNet在分子性质预测任务上取得最先进性能。
2023-04-07 cs.AI cs.LG
Breaking the Expressive Bottlenecks of Graph Neural Networks
Dalian University of Technology（大连理工大学）
最近，Weisfeiler-Lehman（WL）图同构测试被用来衡量图神经网络（GNNs）的表达能力，表明邻域聚合GNNs在区分图结构方面最多与1-WL测试一样强大。还提出了类似于$k$测试（$k>1$）的改进。然而，这些GNN中的聚合器远不是WL测试所要求的内射，并且具有较弱的区分能力，使其成为表达瓶颈。在本文中，我们通过探索强大的聚合器来提高表达能力。我们用相应的聚合系数矩阵重新定义了聚合，然后系统地分析了构建更强大的聚合器甚至内射聚合器对聚合系数矩阵的要求。它也可以被看作是保持隐藏特征的秩的策略，并意味着基本聚合器对应于低秩变换的特殊情况。我们还展示了在聚合之前应用非线性单元的必要性，这与大多数基于聚合的GNN不同。基于我们的理论分析，我们开发了两个GNN层，ExpandingConv和CombConv。实验结果表明，我们的模型显着提高性能，特别是对于大型和密集连接的图形。
2020-12-14 cs.AI cs.LG
Graph Neural Networks Exponentially Lose Expressive Power for Node Classification
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks公司）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
图神经网络（图NN）是一种很有前途的分析图结构数据的深度学习方法。然而，众所周知，当我们堆积许多层并添加非线性时，它们并没有提高（有时甚至恶化）它们的预测性能。为了解决这个问题，我们研究了图NN的表达能力，通过它们的渐近行为，层大小趋于无穷大。我们的策略是推广的前向传播的图卷积网络（GCN），这是一个流行的图NN的变种，作为一个特定的动力系统。在一个GCN的情况下，我们表明，当它的权重满足（增强）归一化拉普拉斯算子的频谱所确定的条件时，它的输出指数接近的信号集，携带的信息的连接组件和节点度仅用于区分节点。我们的理论使我们能够将GCN的表达能力与图谱中固有的底层图的拓扑信息联系起来。为了证明这一点，我们刻画了GCN在Erdens-Rényi图上的渐近行为。我们证明了当Erdens-Rényi图足够稠密且足够大时，其上的大范围GCN在无限层的极限下以很高的概率遭受"信息损失"。在此基础上，我们为图神经网络的权值归一化提供了一个原则性的指导。我们通过实验证实，提出的权重缩放增强了GCN在真实数据中的预测性能。代码可在www.example.com上获得。
2021-01-06 cs.LG stat.ML
On the Expressive Power of Spectral Invariant Graph Neural Networks
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
本文提出统一框架EPNN，系统分析了各类谱不变GNN的表达能力层级，证明其严格弱于3-WL，并探讨了与更强GNN结合的潜力。
2024-06-06 cs.DM cs.DS cs.LG
Invariant-Stratified Propagation for Expressive Graph Neural Networks
Department of Mechanical Engineering University of Melbourne（墨尔本大学机械工程系）；School of Computing Australian National University（澳大利亚国立大学计算机学院）
本文提出不变量分层传播框架，通过改进的WL变体和高效神经网络实现，提升图神经网络的表达能力，解决结构异质性捕捉问题。
2026-03-02 cs.LG stat.ML
Unsupervised Constrained Community Detection via Self-Expressive Graph Neural Network
Amazon Science（亚马逊科学）；IBM Research（IBM研究院）；Indian Institute of Science（印度科学院）
图神经网络（GNN）能够在多个图下游任务（例如节点分类和链接预测）上实现有希望的性能。相对较少的工作已经完成，设计GNN，可以直接操作的社区发现图。传统上，GNN是在半监督或自监督损失函数上训练的，然后应用聚类算法来检测社区。然而，这种解耦的方法本质上是次优的。设计一个无监督的损失函数来训练GNN并以综合的方式提取社区是一个根本的挑战。为了解决这个问题，我们在文献中首次将自表达原理与自监督图神经网络框架相结合，用于无监督社区发现。我们的解决方案以端到端的方式进行训练，并在多个公开可用的数据集上实现最先进的社区发现性能。
2021-10-19 cs.LG cs.SI
Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater Relational Expressiveness
Arizona State University（亚利桑那州立大学）
神经张量网络（NTN）被构造为编码实体对之间的关系程度，用于逻辑张量网络（LTN）中，以促进一阶逻辑中的统计关系学习（SRL）。在本文中，我们提出了随机加权张量网络（RWTNs），它将随机抽取的未训练张量与训练的解码器网络合并到NTN编码器网络中。我们表明，RWTN满足或超过传统训练的LTNs的语义图像判读（SII）的任务，已被用作一个代表性的例子，LTNs如何利用推理超过一阶逻辑的性能，超过单纯的数据驱动的方法的性能。我们证明了RWTN优于LTNs的检测对象之间的关系的相关部分，我们表明，RWTN可以实现类似的性能LTNs的对象分类，同时使用更少的参数进行学习。此外，我们证明，由于随机化的权重不依赖于数据，几个解码器网络可以共享一个NTN，使RWTN的同步分类任务的空间规模的独特经济。
2020-10-03 cs.LG stat.ML
Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction
Beijing University of Posts and Telecommunications（北京邮电大学）；National University of Singapore（新加坡国立大学）
针对谱图神经网络因拉普拉斯矩阵重复特征值导致表达能力受限的问题，提出特征值校正策略以增强特征值均匀分布，提升多项式滤波器拟合能力，并在合成与真实数据集上验证了优越性。
2025-02-23 cs.LG cs.SI
Equivariant Hypergraph Neural Networks
KAIST（韩国科学技术院）；LG AI Research（LG人工智能研究院）
计算机视觉和机器学习中的许多问题都可以转换为表示高阶关系的超图上的学习。最近的超图学习方法扩展了基于消息传递的图神经网络，这是简单的，但从根本上限制了建模的长期依赖性和表达能力。另一方面，基于张量的等变神经网络具有最大的表达能力，但由于计算量大和对固定阶超边的严格假设，其应用在超图中受到限制。我们解决了这些问题，并提出了等变超图神经网络（EHNN），第一次尝试实现最大表达的一般超图学习的等变层。我们还提出了我们的框架的两个实际实现的基础上超网络（EHNN-MLP）和自我注意（EHNN-Transformer），这是很容易实现，理论上更有表现力的消息传递方法。我们展示了他们在一系列超图学习问题中的能力，包括合成k边识别，半监督分类和视觉关键点匹配，并报告了在强消息传递基线上的改进性能。我们的实现可以在https://github.com/jw9730/ehnn上获得。
2022-08-22 cs.LG
How Powerful are K-hop Message Passing Graph Neural Networks
Washington University in St. Louis（圣路易斯华盛顿大学）；Washington University School of Medicine（华盛顿大学医学院）；Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
图神经网络（GNN）最流行的设计范例是单跳消息传递-重复聚合来自单跳邻居的信息。然而，1跳消息传递的表达能力受到Weisfeiler-Lehman（1-WL）测试的限制。最近，研究人员通过同时聚合来自K跳邻居节点的信息，将1跳消息传递扩展为K跳消息传递。然而，没有工作分析的表达能力的K跳消息传递。在这项工作中，我们从理论上描述了K跳消息传递的表达能力。具体来说，我们首先正式区分两个不同的内核的K跳消息传递，这是经常被滥用在以前的作品。然后，我们表征的表达能力的K跳消息传递表明，它是更强大的1-WL，可以区分几乎所有的正则图。尽管更高的表达能力，我们表明，K跳消息传递仍然不能区分一些简单的正则图，其表达能力是由3-WL的范围。为了进一步增强其表达能力，我们引入了KP-GNN框架，该框架通过利用每一跳中的外围子图信息来改进K跳消息传递。我们表明，KP-GNN可以区分许多距离正则图，不能区分以前的距离编码或3-WL方法。实验结果验证了KP-GNN的表达能力和有效性。KP-GNN在所有基准数据集上都取得了有竞争力的结果。
2023-01-06 cs.AI cs.LG
From Relational Pooling to Subgraph GNNs: A Universal Framework for More Expressive Graph Neural Networks
Tsinghua University（清华大学）；Peking University（北京大学）
本文提出从关系池化出发，通过显式节点标签和$k,l$-WL算法构建通用框架，统一子图GNN并提升任意基础GNN的表达力，实验验证其优越性能。
2023-05-08 cs.AI cs.LG
On the Expressive Power of Graph Neural Networks
本文梳理了图神经网络表达能力的多种研究视角与定义，包括通用逼近特性、图结构区分能力、图属性计算能力等，为GNN架构设计提供理论参考与见解。
2024-03-08 cs.AI cs.LG
On the Expressive Power of Subgraph Graph Neural Networks for Graphs with Bounded Cycles
Massachusetts Institute of Technology（麻省理工学院）；Sierra Canyon School（塞拉峡谷学校）
本文研究 $k$-跳子图 GNN 的表达能力，证明其可逼近无长于 $2k+1$ 环的图上的任意置换不变/等变连续函数，并通过实验验证聚合距离与环大小的关系。
2025-02-06 cs.LG
On the Completeness of Invariant Geometric Deep Learning Models
Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）；School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学）
该研究刻画全连接条件下不变几何深度学习模型的理论表达能力，证明多种经典及子图类不变几何模型可实现E(3)-完备性，填补了该领域的表达能力理论空白。
2025-06-16 cs.AI cs.LG
How Powerful are Spectral Graph Neural Networks
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
谱图神经网络是一种基于图信号滤波器的图神经网络。最近出现了一些能够学习任意光谱滤波器的模型。然而，很少有作品分析谱GNNs的表达能力。本文从理论上研究了谱GNN的表达能力。我们首先证明了即使没有非线性的谱GNNs也可以产生任意的图形信号，并给出了达到普适性的两个条件。它们是：1）没有图拉普拉斯的重特征值，2）没有丢失的频率分量的节点特征。我们还建立了谱GNN的表达能力和图同构（GI）测试之间的联系，后者通常用于表征空间GNN的表达能力。此外，我们从优化的角度研究了具有相同表达能力的不同谱GNN之间的经验性能差异，并鼓励使用正交基，其权重函数对应于谱中的图形信号密度。受分析的启发，我们提出了JacobiConv，它使用Jacobi基，由于其正交性和灵活性，以适应广泛的权重函数。JacobiConv放弃了非线性，同时在合成和真实世界的数据集上都优于所有基线。
2022-06-17 cs.AI cs.LG
Bridging Theory and Practice in Link Representation with Graph Neural Networks
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）；University of Aalborg（奥胡斯大学）
本文首次全面研究了GNN在链接表示中的表达能力，提出统一框架和合成评估基准，证明表达能力强的模型在对称性高的数据上表现更优。
2025-06-30 cs.AI cs.LG
Full-Spectrum Graph Neural Networks: Expressive and Scalable
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore 637371, Singapore（数学科学学院，物理与数学科学学院，南洋理工大学，新加坡637371，新加坡）
提出全谱图神经网络（FSpecGNN），通过将信号从节点域提升到节点对域并将单变量谱滤波器扩展为双变量滤波器，实现了对节点对信号的通用逼近，同时保持可扩展性。
2026-05-24 cs.LG
Towards Expressive Spectral-Temporal Graph Neural Networks for Time Series Forecasting
Griffith University（格里菲斯大学）；Monash University（莫纳什大学）；University of Stuttgart（斯图加特大学）；Alibaba Group（阿里巴巴集团）；University of New South Wales（新南威尔士大学）；Emory University（埃默里大学）；Squirrel Ai Learning
本文建立理论框架揭示谱时图神经网络的表达能力，提出线性组件TGGC模型，在时间序列预测中显著优于现有方法，并提升模型效率。
2025-02-23 cs.AI cs.LG
Chordless Structure: A Pathway to Simple and Expressive GNNs
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
本文提出无弦结构图神经网络CSGNN，通过省略环中的弦来简化图结构，证明其表现力强于k跳GNN，并在真实数据集上以更低计算成本超越现有GNN及3-WL表现力模型。
2025-05-25 cs.LG
Will More Expressive Graph Neural Networks do Better on Generative Tasks?
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
本文通过将图生成模型中的底层GNN替换为更具表达力的GNN，在ZINC-250k上系统评估六种GNN在自回归与一次性生成框架下的表现，证明更强GNN可提升分子生成性能并取得领先结果，但表达能力并非优秀生成模型的必要条件。
2024-02-20 cs.AI cs.LG q-bio.BM
The Logical Expressiveness of Topological Neural Networks
Aalto University（阿alto大学）；Federal Institute of Ceará（塞阿拉联邦理工学院）；YaiYai Ltd（YaiYai公司）
本文研究拓扑神经网络的逻辑表达能力，通过分析拓扑同构测试和引入拓扑计数逻辑，证明k-CCWL与TC_{k+2}及拓扑(k+2)-pebble游戏的等价性，确立了TNN的逻辑表达理论。
2026-04-21 cs.LG cs.LO
Random Search Neural Networks for Efficient and Expressive Graph Learning
University of Michigan（密歇根大学）
针对随机游走神经网络在稀疏图上覆盖不足的问题，提出随机搜索神经网络，保证节点全覆盖，理论降低采样复杂度，并具有同构不变性，在分子和蛋白质基准上优于现有方法。
2025-10-26 cs.LG
Feature Interaction-aware Graph Neural Networks
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）；Singapore Management University（新加坡管理大学）
受深度学习巨大成功的启发，图神经网络（GNN）被广泛用于学习强大的节点表示，并在不同的图学习任务中表现出良好的性能。然而，大多数真实世界的图通常具有高维和稀疏的节点特征，使得从现有GNN架构中学习的节点表示表达能力较低。在本文中，我们提出了\textit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)}，即插即用的GNN框架学习节点表示编码的信息功能的相互作用。具体来说，所提出的框架是能够突出信息功能的交互，以个性化的方式，并进一步学习高度表达的节点表示特征稀疏图。在各种数据集上进行的大量实验证明了FI-GNN在图学习任务中的卓越能力。
2020-01-22 cs.LG stat.ML
How Expressive are Graph Neural Networks in Recommendation?
The University of Hong Kong（香港大学）
本文从图同构、节点自同构和拓扑接近度三个层次理论分析GNN在推荐中的表达能力，提出拓扑接近度度量及相应的无学习GNN算法，并通过与最先进GNN模型的对比实验验证该度量在推荐任务中的可解释性。
2023-09-15 cs.IR cs.LG cs.SI
A Theoretical Comparison of Graph Neural Network Extensions
ETH Zürich（苏黎世联邦理工学院）
我们研究并比较了不同的图神经网络扩展，这些扩展提高了GNN的表达能力，超出了Weisfeiler-Leman测试。我们专注于（i）基于高阶WL方法的GNNs，（ii）预处理图中的小子结构的GNNs，（iii）预处理图到小半径的GNNs，以及（iv）稍微扰动图以计算嵌入的GNNs。首先，我们对最后一个扩展做了一个简单的改进，它严格地提高了GNN变体的表达能力。然后，作为我们的主要结果，我们通过一系列的例子，可以区分的扩展，但不是由另一个结构，这些扩展的表达能力相互比较。我们还展示了负面的例子，是特别具有挑战性的每个扩展，我们证明了几个索赔的能力，这些扩展计算集团和周期图。
2022-01-30 cs.LG
The expressive power of kth-order invariant graph networks
University of Antwerp（安特卫普大学）
图神经网络形式主义的表达能力通常由它们区分图的能力来衡量。对于许多形式主义，k维Weisfeiler-Leman（k-WL）图同构测试被用作衡量标准。在本文中，我们考虑的表达能力的k阶不变（线性）图网络（k-IGN）。已知k-IGN具有足够的表达能力来模拟k-WL。这意味着，对于任何两个可以通过k-WL区分的图，可以找到一个也可以区分这些图的k-IGN。问题仍然是k-IGN是否可以比k-WL区分更多的图。最近的研究表明，当k=2时，这是错误的。在这里，我们将这个结果推广到任意k。换句话说，我们表明，k-IGN的表达能力是有界的k-WL。这意味着k-IGN和k-WL在区分图方面同样强大。
2020-07-23 cs.LG math.CO stat.ML
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford（牛津大学）；RWTH Aachen University（亚琛工业大学）
图神经网络是关系数据表示学习的有效模型。然而，标准GNN的表达能力有限，因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍，GNN已经通过随机节点初始化（RNI）进行了增强，其中的想法是用随机初始节点特征训练和运行模型。在这项工作中，我们用RNI分析了GNNs的表达能力，并证明了这些模型是通用的，这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立，并且在预期中保持了GNN的不变性。然后，我们根据精心构建的数据集，实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
A Practical, Progressively-Expressive GNN
Carnegie Mellon University（卡内基梅隆大学）；RWTH Aachen University（亚琛工业大学）；Snap Inc.（Snap公司）
近年来，消息传递神经网络（MPNN）已成为图神经网络（GNNs）的主流。然而，MPNN有显着的局限性，即，它们最多与1维Weisfeiler-Leman（1-WL）测试一样强大，在图同构测试框架中区分图。为此，研究人员从k-WL层次结构中汲取灵感，开发更具表达力的GNN。然而，当前的k-WL等效GNN对于即使很小的k值也是不实用的，因为随着k的增长，k-WL在组合上变得更加复杂。与此同时，一些工作在没有高度表达模型的图学习任务中取得了巨大的经验成功，这意味着在实际任务中通常不需要使用像k-WL这样的粗粒度表达规则来追求表达能力。为了真正理解表达性-复杂性的权衡，需要一个更细粒度的标尺，它可以更渐进地增加表达性。我们的工作提出了这样一个建议：即，我们首先提出了（k，c）（<=）-SETWL的层次结构，大大降低了复杂性从k-WL，实现了从k-元组的节点，以集<=k节点定义在<=c连通组件的诱导原始图。我们给出了与k-WL有关的该模型的有利的理论结果，并通过（k，c）（<=）-SETGNN将其具体化，该模型与（k，c）（<=）-SETWL一样具有表达性。我们的模型是实用的和渐进的表达，随着k和c的增加而增加。我们在几个基准数据集上证明了有效性，实现了几个最先进的结果，运行时和内存使用适用于实际图形。我们在https://github.com/LingxiaoShawn/KCSetGNN上…
2022-11-03 cs.LG
Expressiveness and Approximation Properties of Graph Neural Networks
University of Antwerp（安特卫普大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；IMFD（智利数学与计算机科学研究所）
表征图神经网络（GNN）的分离能力，可以理解它们在图学习任务中的局限性。然而，关于分离能力的结果通常针对特定的GNN架构，并且通常缺乏理解任意GNN架构的工具。我们提供了一种优雅的方法来轻松地获得GNN分离能力的界限，Weisfeiler-Leman（WL）测试已经成为衡量GNN分离能力的标尺。关键是将GNN视为描述GNN层中计算的过程张量语言的表达式。然后，通过简单的分析所获得的表达式，在索引的数量和嵌套深度的总和方面，在WL测试方面的分离能力的界限容易遵循。我们使用张量语言来定义高阶消息传递神经网络（或k-MPNN），这是MPNN的自然扩展。此外，张量语言的观点允许以自然的方式导出GNN类的普适性结果。我们的方法提供了一个工具箱，GNN架构设计人员可以使用它来分析他们的GNN的分离能力，而不需要知道WL测试的复杂性。我们还提供了提高GNN分离能力所需的见解。
2022-04-10 cs.LG
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study（高等研究院）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然图核（GK）易于训练并享有可证明的理论保证，但它们的实际性能受到其表达能力的限制，因为核函数通常依赖于图的手工组合特征。与图核相比，图神经网络（GNN）通常具有更好的实际性能，因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而，由于大量的超参数和训练过程的非凸性质，GNN更难训练。GNN的理论保证也没有得到很好的理解。此外，GNN的表达能力与参数的数量成比例，因此当计算资源有限时，很难利用GNN的全部功能。本文提出了一类新的图核，图神经切线核（GNTKs），它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力，继承了GK的优点。从理论上讲，我们证明了GNTK可以在图上学习一类光滑函数。根据经验，我们在图分类数据集上测试了GNTK，并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
Asynchronous Neural Networks for Learning in Graphs
ETH Zurich（苏黎世联邦理工学院）
本文研究异步消息传递（AMP），这是一种将基于神经网络的学习应用于图的新范式。现有的图神经网络采用同步分布式计算模型，在每一轮中对相邻节点进行聚合，导致了过平滑等问题，限制了其表达能力。另一方面，AMP基于异步模型，其中节点单独对其邻居的消息做出反应。我们证明了（i）AMP可以模拟同步GNN，（ii）AMP可以在理论上区分任何一对图。我们实验验证AMP的表现力。此外，我们表明，AMP可能更适合于在图形中长距离传播消息，并在几个图形分类基准上表现良好。
2022-05-24 cs.LG
Weisfeiler and Leman Go Relational
Institute for Mathematical and Computational Engineering, PUC Chile（智利天主教大学数学与计算工程研究所）；IMFD Chile（智利数据基础研究所）；CENIA Chile（智利国家人工智能中心）；Mila Quebec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；RWTH Aachen University（亚琛工业大学）；Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学）
知识图谱，建模多关系数据，改善了许多应用程序，如问答或图形逻辑推理。最近出现了许多用于此类数据的图神经网络，它们的性能通常优于浅层架构。然而，这种多关系图神经网络的设计是特别的，主要由直觉和经验见解驱动。到目前为止，他们的表现力，他们之间的关系，他们的（实际）学习表现知之甚少。在这里，我们开始研究多关系图神经网络获得更有原则的理解。也就是说，我们研究了著名的关系型GCN和组合型GCN架构的表达能力的局限性，并揭示了它们的实际学习性能。通过将两种架构与Weisfeiler-Leman测试的合适版本对齐，我们建立了在哪些条件下两种模型在区分具有不同结构角色的非同构（多关系）图或顶点时具有相同的表达能力。此外，通过利用最新的进展，设计表达图神经网络，我们介绍了$k$ -RN架构，证明克服了上述两种架构的表达能力的限制。从经验上讲，我们证实了我们的理论研究结果，在一个顶点分类设置在小型和大型多关系图。
2022-11-30 cs.LG cs.NE stat.ML
Improving the Expressiveness of $K$-hop Message-Passing GNNs by Injecting Contextualized Substructure Information
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出子结构编码函数并注入情境化子结构信息，以克服$K$跳消息传递GNN的局限性，在理论和实验上均显著提升了模型的表达能力与性能。
2024-06-27 cs.LG
The Logical Expressiveness of Temporal GNNs via Two-Dimensional Product Logics
RPTU Kaiserslautern-Landau（亚琛工业大学凯撒斯劳滕-兰道分校）；Queen Mary University of London（伦敦女王大学）；University of Łódź（卢宾大学）；Theoretical Computer Science / Formal Methods（理论计算机科学/形式方法）；University of Kassel（卡塞尔大学）
该研究首次通过二维乘积逻辑刻画时序GNN的表达能力，证明递归应用静态GNN的时序GNN可表达PTL与K的乘积逻辑的全部性质，而图-时间、全局TGNN仅能表达受限片段。
2025-10-28 cs.AI cs.LG cs.LO
Equivariant Polynomials for Graph Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA Research（英伟达研究院）；Meta AI Research Centre for Artificial Intelligence（Meta人工智能研究中心）
本文以 GNN 可计算的等变多项式次数构建表达能力层级，刻画等变图多项式基，并用张量缩并分析及增强常见 GNN，在多个基准上达到最先进性能。
2023-06-04 cs.AI cs.LG
Reducing Smoothness with Expressive Memory Enhanced Hierarchical Graph Neural Networks
The University of Auckland（奥克兰大学）；University of Canterbury（坎特伯雷大学）
针对分层图模型中层级传递的信息丢失问题，提出分层图流网络，通过引入动态大小记忆缓冲区存储跨分辨率信息，降低特征映射平滑性并提升WL表达力，在MAE和RMSE上平均至少优于基线6.1%和6.2%。
2025-04-02 cs.LG
On The Expressive Power of GNN Derivatives
Technion – Israel Institute of Technology（以色列技术学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；NVIDIA Research（NVIDIA研究）
针对图神经网络表达能力有限的问题，提出利用高阶节点导数增强表达能力的HOD-GNN方法，其表达能力匹配WL层级，兼具高效计算性，在主流图学习基准任务上表现优异。
2025-10-02 cs.LG
Expressive Power of Temporal Message Passing
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）；TU Wien（维也纳工业大学）
该研究将时序消息传递机制分为全局与局部两类，通过Weisfeiler-Leman刻画分析其表达能力，证明二者在任意图上表达能力不可比较，在颜色持久时序图上局部机制表达能力更强，且结论得到实验验证。
2024-08-19 cs.LG
Learning Efficient Positional Encodings with Graph Neural Networks
Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
提出可学习图位置编码框架PEARL，利用消息传递GNN作为特征向量的非线性映射，以线性复杂度实现了高表达力、稳定性和置换等变性，性能媲美完整特征向量方法且计算复杂度显著降低。
2025-02-03 cs.LG
Weisfeiler-Lehman goes Dynamic: An Analysis of the Expressive Power of Graph Neural Networks for Attributed and Dynamic Graphs
University of Kassel（卡塞尔大学）；University of Siena（锡耶纳大学）
本文将静态属性同质图上的 GNN 表达能力理论扩展到动态图和带边属性的属性图，证明其与 1-WL 测试能力等价且为通用逼近器。
2024-05-03 cs.AI cs.LG
ForceNet: A Graph Neural Network for Large-Scale Quantum Calculations
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
随着大量原子模拟数据的可用，有一个巨大的机会来开发快速和准确的机器学习模型，以近似昂贵的基于物理的计算。要估计的关键量是原子力，其中最先进的图神经网络（GNN）明确执行基本的物理约束，如旋转协方差。然而，为了严格满足物理约束，现有的模型必须在计算效率和模型表达能力之间做出权衡。在这里，我们探索一种替代方法。通过不施加显式的物理约束，我们可以灵活地设计表达模型，同时保持其计算效率。通过使用基于物理的数据增强训练模型来隐含地施加物理约束。为了评估该方法，我们仔细设计了一个可扩展和表达的GNN模型ForceNet，并将其应用于OC 20（Chanussot et al.，2020年），一个前所未有的量子物理计算数据集。我们提出的ForceNet能够比最先进的基于物理的GNN更准确地预测原子力，同时在训练和推理方面都更快。总的来说，我们有希望和反直觉的结果为未来的研究开辟了一条令人兴奋的道路。
2021-03-02 cs.LG
Uplifting Message Passing Neural Network with Graph Original Information
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
消息传递神经网络（MPNN）基于图的原始信息（包括节点特征和图结构）学习图结构数据的表示，在节点分类任务中表现出惊人的改进。然而，MPNN的表达能力是上限的一阶Weisfeiler-Leman测试和其准确性仍然有改进的空间。本文从理论和实证两个方面研究了如何充分利用图的原始信息来提高MPNN的表达能力和泛化能力。它进一步提出了一种新的GNN模型，称为INGNN（信息增强的图神经网络），利用洞察力来提高节点分类性能。在合成数据集和真实数据集上进行的大量实验表明，与最先进的方法相比，我们的INGNN具有优越性（平均排名1.78）。
2023-01-26 cs.AI cs.LG
Counting Substructures with Higher-Order Graph Neural Networks: Possibility and Impossibility Results
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
本文提出一种新的局部邻域递归池化技术，使GNN能计数大小为k的子图，克服低阶GNN局限，并利用稀疏性降低计算复杂度，同时给出信息论与时间复杂度的下界。
2021-10-11 cs.LG
Expressive Power of Graph Neural Networks for (Mixed-Integer) Quadratic Programs
Department of Mathematics, Massachusetts Institute of Technology（麻省理工学院数学系）；Decision Intelligence Lab, Damo Academy, Alibaba US（达摩院决策智能实验室）；Department of Statistics and Data Science, University of Central Florida（中央佛罗里达大学统计与数据科学系）
本文从理论上刻画了图神经网络在线性约束二次规划中的表达能力，证明消息传递GNN可通用表示凸QP的可行性、最优目标值与最优解，并识别出混合整数情形下GNN可可靠表示的问题子类。
2025-09-21 cs.LG math.OC
Towards Expressive Graph Representation
Feinberg School of Medicine（Feinberg医学院）；Northwestern University（西北大学）
图神经网络（GNN）将每个节点的邻域聚合成节点嵌入，显示出强大的图表示学习能力。然而，大多数现有的GNN变体以固定的非内射方式聚合邻域信息，这可能将不同的图或节点映射到相同的嵌入，从而降低了模型的表达能力。我们提出了一个理论框架，设计一个连续的内射集函数的邻域聚合GNN。使用该框架，我们提出了表达性GNN，它用连续内射集函数聚合每个节点的邻域，以便GNN层将具有相似邻域的相似节点映射到相似的嵌入，将不同的节点映射到不同的嵌入，将等效节点或同构图映射到相同的嵌入。此外，所提出的表达GNN可以自然地学习具有连续节点属性的图的表达表示。我们在多个基准数据集（包括简单图和属性图）上验证了所提出的表达GNN（ExpGNN）的图分类。实验结果表明，我们的模型在大多数基准测试中达到了最先进的性能。
2020-10-12 cs.AI cs.IT cs.LG
On Halting vs Converging in Recurrent Graph Neural Networks
Hasselt University（哈塞尔特大学）
本文研究了三种递归图神经网络模型，探讨了它们的表达能力关系，发现收敛型RGNN与某些停止型RGNN具有相同表达能力，而输出收敛型RGNN至少具有同等能力，且结果适用于ReLU网络。
2026-04-28 cs.AI cs.LG cs.LO
GRANOLA: Adaptive Normalization for Graph Neural Networks
University of Cambridge（剑桥大学）；Purdue University（普渡大学）；Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
针对现有归一化层难以适配图结构数据的问题，提出基于随机节点特征传播的图自适应归一化层GRANOLA，经理论与多基准实验验证，其在同时间复杂度下性能优于现有方法。
2024-10-31 cs.AI cs.LG
