Fine-Grained Expressive Power of Weisfeiler-Leman: A Homomorphism Counting Perspective
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文提出广义民间传说 Weisfeiler-Leman（GFWL）算法作为统一设计基础，并建立理论框架以算法化确定任意 GNN 类别的同态计数能力，从而扩展了现有表达力分析并支持 GNN 模型自动设计。
2024-10-04 cs.DM cs.LG
Weisfeiler and Leman Go Infinite: Spectral and Combinatorial Pre-Colorings
Technion – Israel Institute of Technology（以色列理工学院）
图的同构测试通常通过比较图的不变量来实现。在表达能力和计算效率之间提供良好折衷的两种流行替代方案是组合的（即，通过Weisfeiler-Leman（WL）检验获得）和谱不变量。虽然后者的确切功率仍然是一个悬而未决的问题，但当使用统一预着色的标准配置时，前者经常因其有限的功率而受到批评。这一缺陷阻碍了消息传递图神经网络（MPGNNs）的应用，其表达能力是由WL测试的上限。放松均匀预着色的假设，我们表明，可以无限地增加WL测试的表达能力。接下来，我们提出了一种基于光谱特征的高效预着色方法，可以证明它可以提高vanilla WL测试的表达能力。上述主张伴随着大量的合成和真实数据实验。复制我们实验的代码可以在https://github.com/TPFI22/Spectral-and-Combinatorial上找到。
2022-03-02 cs.DS cs.LG
Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win
University of Vienna（维也纳大学）
本文从理论上研究图神经网络中彩票 ticket 假设，提出并证明强表达力彩票 ticket 假设，表明稀疏初始化 GNN 保持表达力可加速收敛并提升泛化，为 LTH 与 GNN 研究提供新理论基础。
2025-06-04 cs.LG
A Topological characterisation of Weisfeiler-Leman equivalence classes
EPFL（洛桑联邦理工学院）
图神经网络（GNN）是旨在处理图和图上的信号的学习模型。最流行和最成功的GNN是基于消息传递方案的。当涉及到区分两个非同构图时，这样的方案固有地具有有限的表达能力。在这篇文章中，我们依靠覆盖空间的理论来完全描述GNN无法区分的图类。然后，我们生成任意多个不能被GNN区分的非同构图，从而生成GraphCovers数据集。我们还表明，在我们的数据集中，不可区分的图形的数量与节点的数量超指数增长。最后，我们在几个GNN架构上测试了GraphCovers数据集，结果表明它们都不能区分它包含的任何两个图。
2022-06-23 cs.LG stat.ML
Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks
TU Dortmund University（多特蒙德工业大学）；RWTH Aachen University（亚琛工业大学）；McGill University（麦吉尔大学）；MILA（MILA（蒙特利尔学习算法研究所））
近年来，图神经网络（GNN）已经成为一种强大的神经架构，可以以有监督的端到端方式学习节点和图的向量表示。到目前为止，GNN只进行了经验评估-显示出有希望的结果。以下工作从理论的角度研究GNN，并将其与$1$维Weisfeiler-Leman图同构启发式（$1$ -WL）联系起来。我们表明，GNNs具有相同的表现力的$1$ -WL在区分非同构（子）图。因此，这两种算法也具有相同的缺点。在此基础上，我们提出了一个广义的GNN，所谓的$k$维GNN（$k$ -GNN），它可以考虑在多个尺度的高阶图结构。这些高阶结构在表征社交网络和分子图中起着至关重要的作用。我们的实验评估证实了我们的理论研究结果，以及确认，高阶信息是有用的图分类和回归的任务。
2021-11-30 cs.AI cs.CV cs.LG
Scaling Weisfeiler-Leman Expressiveness Analysis to Massive Graphs with GPUs
IMT Lucca（IMT卢塞恩大学）；Sapienza University Rome（罗马大学）
研究Weisfeiler-Leman测试稳定着色计算瓶颈，提出线性代数解释，给出随机细化算法及批处理方案，映射到GPU原语，实现加速并能处理大规模图。
2026-07-07 cs.DC cs.LG
Weisfeiler and Leman Follow the Arrow of Time: Expressive Power of Message Passing in Temporal Event Graphs
Chair of Machine Learning for Complex Networks（复杂网络机器学习教授席）；Center for AI and Data Science (CAIDAS)（人工智能与数据科学中心（CAIDAS））；University of Würzburg（乌尔姆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Karlsruhe（卡尔斯鲁厄大学）；Institute for Computer Science 1（计算机科学研究所1）；University of Bonn（波恩大学）
研究探讨了时间事件图中消息传递方法的表达能力，提出了一种基于一致事件图同构的扩展Weisfeiler-Leman算法，以区分非同构的时间图。
2026-10-14 cs.LG
Weisfeiler-Leman Is Incomplete on Simple Spectrum Graphs, so Canonicalize Them
IT University of Copenhagen（哥本哈根IT大学）
本文证明 Weisfeiler-Leman 测试无法区分所有非同构的简单谱图，并提出 PRiSM 方法，通过规范化解实现对这些图的完全表达性。
2026-05-22 cs.LG math.CO
Aligning Transformers with Weisfeiler-Leman
RWTH Aachen University（亚琛工业大学）
本文推进了 Transformer 与 $k$-WL 层次结构的对齐，为每个 $k$ 展示了更强的表达能力，开发了研究位置编码的理论框架，并在大规模数据集上验证了其竞争力的预测性能。
2024-06-05 cs.LG
Weisfeiler Leman for Euclidean Equivariant Machine Learning
Faculty of Mathematics, Technion - Israel Institute of Technology（以色列理工学院数学学院）；Faculty of Computer Science, Technion - Israel Institute of Technology（以色列理工学院计算机科学学院）
本文扩展了2-WL测试到点云数据，证明PPGN可模拟2-WL，提出等变通用性框架，并开发出在N-Body和GEOM-QM9任务上达到最先进性能的WeLNet架构。
2024-06-26 cs.LG
Weisfeiler and Leman Go Measurement Modeling: Probing the Validity of the WL Test
University of California, Los Angeles（加州大学洛杉矶分校）；Meta AI
本文通过调查和基准审计揭示 k-WL 测试在衡量图神经网络表达能力时存在可靠性问题，并主张基于基准进行外延式定义与测量，同时提出构建基准的指导性问题。
2024-03-31 cs.LG cs.SI
On the Expressive Power of Implicit Line-Graph Higher-Order Weisfeiler--Leman
本文研究隐式线图WL（ILG-$k$-WL）的表达能力，证明ILG-$3$-WL严格强于$3$-WL，并给出反向包含关系，实验验证其区分能力。
2026-09-16 cs.AI cs.LG cs.SI
Weisfeiler and Leman Go Relational
Institute for Mathematical and Computational Engineering, PUC Chile（智利天主教大学数学与计算工程研究所）；IMFD Chile（智利数据基础研究所）；CENIA Chile（智利国家人工智能中心）；Mila Quebec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；RWTH Aachen University（亚琛工业大学）；Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学）
知识图谱，建模多关系数据，改善了许多应用程序，如问答或图形逻辑推理。最近出现了许多用于此类数据的图神经网络，它们的性能通常优于浅层架构。然而，这种多关系图神经网络的设计是特别的，主要由直觉和经验见解驱动。到目前为止，他们的表现力，他们之间的关系，他们的（实际）学习表现知之甚少。在这里，我们开始研究多关系图神经网络获得更有原则的理解。也就是说，我们研究了著名的关系型GCN和组合型GCN架构的表达能力的局限性，并揭示了它们的实际学习性能。通过将两种架构与Weisfeiler-Leman测试的合适版本对齐，我们建立了在哪些条件下两种模型在区分具有不同结构角色的非同构（多关系）图或顶点时具有相同的表达能力。此外，通过利用最新的进展，设计表达图神经网络，我们介绍了$k$ -RN架构，证明克服了上述两种架构的表达能力的限制。从经验上讲，我们证实了我们的理论研究结果，在一个顶点分类设置在小型和大型多关系图。
2022-11-30 cs.LG cs.NE stat.ML
A Weisfeiler-Leman Characterization of Global-Attention Graph Transformers for Mixed-Integer Linear Programs
University of Southern California（南加州大学）；USC Information Sciences Institute（南加州大学信息科学研究所）
研究通过图同构测试，探讨具有全局注意力的图基础模型对混合整数线性规划的表达能力，证明一类分层图变换器受1-WL测试限制，验证多种图编码器，表明超越其表达能力源于输入编码，提供与编码器无关的诊断方法。
2026-07-21 cs.LG
Weisfeiler-Leman at the margin: When more expressivity matters
University of Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）；RWTH Aachen University（亚琛工业大学）；Google Research（谷歌研究院）；University of Antwerp（安特卫普大学）
本文研究图神经网络表达力与泛化性能的关系，利用边际理论分析子图增强的1-WL和MPNN，证明梯度流趋向最大边际解，并提出具有可证明泛化性质的架构变体。
2024-05-28 cs.DM cs.LG cs.NE
On the Power of the Weisfeiler-Leman Test for Graph Motif Parameters
TU Wien（维也纳技术大学）；University of Oxford（牛津大学）；PUC Chile（智利天主教大学）；IMFD（数学与物理研究所）；CENIA（智利国家核能委员会）
本文刻画了带标签图motif参数的Weisfeiler-Leman维度，统一了子图计数与导出子图计数问题，并给出判定子图计数WL维度的多项式时间算法。
2024-03-28 cs.LG
Scalable Message-Passing Quantum Graph Neural Networks in the Weisfeiler-Leman Hierarchy
LIP6, CNRS, Sorbonne Université, Paris, France（巴黎大学LIP6研究所、法国国家科学研究中心、索邦大学）；QC Ware, Palo Alto, USA and Paris, France（QC Ware公司，美国帕洛阿尔托及法国巴黎）；School of Informatics, University of Edinburgh, Edinburgh, UK（爱丁堡大学信息学院，英国爱丁堡）；Fujitsu Research of Europe Ltd., United Kingdom（日本富士通欧洲研究有限公司，英国）；Terra Quantum GmbH, Germany（德国Terra Quantum GmbH公司）；Quantum Research Center, Technology Innovation Institute, Abu Dhabi, UAE（阿布扎赫尔技术创新研究所量子研究中心，阿联酋）
本文构建了可执行消息传递、置换等变且处于指定Weisfeiler-Leman层次的量子图神经网络，通过小图预训练缓解训练问题，并在多达56量子比特的大规模模拟中验证了其可扩展性和表达能力。
2026-10-30 cs.LG quant-ph
Distance-Restricted Folklore Weisfeiler-Leman GNNs with Provable Cycle Counting Power
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
本文提出距离受限的d-DRFWL(2) GNN，通过限制消息传递的节点对距离避免子图提取开销，并证明其在d=2时即可计数3至6环，成为目前最高效的环计数GNN模型。
2024-01-11 cs.LG
The Logic of Graph Neural Networks
RWTH Aachen University（亚琛工业大学）
图神经网络（GNN）是用于图上的机器学习问题的深度学习架构。最近已经表明，GNN的表达能力可以通过组合Weisfeiler-Leman算法和有限变量计数逻辑来精确表征。这种对应关系甚至导致了新的高阶GNN，对应于更高维度的WL算法。本文的目的是解释GNN的这些描述性特征。
2022-01-09 cs.AI cs.LG cs.LO
Weisfeiler and Leman Go Walking: Random Walk Kernels Revisited
University of Vienna（维也纳大学）
随机游走核在图学习的开创性工作中被引入，后来在很大程度上被基于图同构的Weisfeiler-Leman测试的核所取代。我们给出了一个统一的看法，这两类图核。我们研究步行为基础的节点细化方法，并正式将它们与几个广泛使用的技术，包括摩根的分子经典化算法和Weisfeiler-Leman测试。我们定义相应的步行为基础的内核节点，允许细粒度的参数化邻域比较，达到Weisfeiler-Leman的表达，并使用内核技巧计算。从这一点上，我们表明，经典的随机游走内核，只有轻微的修改有关的定义和计算的表达广泛使用的Weisfeiler-Leman子树内核，但支持非严格的邻域比较。我们通过实验验证了基于行走的内核在现实世界的分类任务中达到甚至超过Weisfeiler-Leman内核的准确性。
2023-01-15 cs.DS cs.LG stat.ML
The Power of the Weisfeiler-Leman Algorithm for Machine Learning with Graphs
Polytechnique Montréal（蒙特利尔理工学院）；TU Dortmund University（多特蒙德工业大学）；University of Vienna（维也纳大学）
近年来，基于Weisfeiler-Leman算法的算法和神经架构，一个著名的启发式图同构问题，出现了一个强大的工具（监督）机器学习与图形和关系数据。在这里，我们全面概述了该算法在机器学习环境中的使用。我们讨论的理论背景，展示如何使用它的监督图和节点分类，讨论最近的扩展，以及它的连接到神经架构。此外，我们还概述了当前的应用和未来的方向，以刺激研究。
2021-11-22 cs.AI cs.DS cs.LG
Repetition Makes Perfect: Recurrent Graph Neural Networks Match Message-Passing Limit
本文研究了可计算递归图神经网络的表达能力，证明其能计算符合颜色细化算法自然消息传递不变性的任意图算法，且通过随机初始化可表达所有图算法。
2025-12-08 cs.CC cs.LG
Uplifting Message Passing Neural Network with Graph Original Information
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
消息传递神经网络（MPNN）基于图的原始信息（包括节点特征和图结构）学习图结构数据的表示，在节点分类任务中表现出惊人的改进。然而，MPNN的表达能力是上限的一阶Weisfeiler-Leman测试和其准确性仍然有改进的空间。本文从理论和实证两个方面研究了如何充分利用图的原始信息来提高MPNN的表达能力和泛化能力。它进一步提出了一种新的GNN模型，称为INGNN（信息增强的图神经网络），利用洞察力来提高节点分类性能。在合成数据集和真实数据集上进行的大量实验表明，与最先进的方法相比，我们的INGNN具有优越性（平均排名1.78）。
2023-01-26 cs.AI cs.LG
Link Prediction with Relational Hypergraphs
University of Oxford（牛津大学）；Universidad Católica de Chile（智利天主教大学）
本文提出关系超图链接预测框架，使图神经网络适用于 k 元完全关系结构，并结合关系型 Weisfeiler-Leman 算法与逻辑表达性分析其能力，实验在归纳式和直推式任务上取得优异结果。
2025-06-09 cs.AI cs.LG
Scaling Higher-Order Graph Learning with Maximal Clique Complexes
LTCI, Télécom Paris Institut Polytechnique de Paris（巴黎理工学院LTCI研究所）；SAMOVAR, Télécom SudParis Institut Polytechnique de Paris（巴黎理工学院南巴黎研究所）；CentraleSupélec, Inria Université Paris-Saclay（中央理工-巴黎高等师范学院与巴黎-萨克雷大学）
提出简化与分解的细胞Weisfeiler-Leman测试及最大团复形，结合CliqueWalk随机游走，实现可扩展的高阶图神经网络。
2026-05-29 cs.AI cs.LG
A method for the systematic generation of graph XAI benchmarks via Weisfeiler-Leman coloring
Department of Computer Science, University of Pisa（意大利比萨大学计算机科学系）
本文提出一种自动化生成图XAI基准的方法，利用Weisfeiler-Leman算法提取子图特征，构建了OpenGraphXAI基准集，用于评估图解释器的有效性。
2025-10-29 cs.AI cs.LG
Gradual Weisfeiler-Leman: Slow and Steady Wins the Race
University of Vienna（维也纳大学）
经典的Weisfeiler-Leman算法（又称颜色细化）是使用核和神经网络进行图学习的基础。该算法最初是为图同构测试而开发的，它迭代地细化顶点颜色。在许多数据集上，稳定着色在几次迭代之后达到，并且机器学习任务的最佳迭代次数通常甚至更低。这表明颜色发散得太快，定义的相似性太粗糙。我们概括了颜色细化的概念，并提出了一个逐步邻域细化的框架，它允许较慢的收敛到稳定的着色，从而提供了一个更细粒度的细化层次结构和顶点相似性。我们通过聚类顶点邻域来分配新的颜色，取代了原来的单射颜色分配函数。我们的方法是用来获得新的变种现有的图形内核和近似的图形编辑距离通过最佳分配顶点相似性。我们表明，在这两个任务中，我们的方法优于原来的颜色细化，只有一个温和的增加运行时间推进的最先进的。
2022-12-08 cs.DS cs.LG
Walk Message Passing Neural Networks and Second-Order Graph Neural Networks
University of Antwerp（安特卫普大学）
消息传递神经网络（MPNN）的表达能力与一维Weisfeiler-Leman图（1-WL）同构测试的表达能力相当。为了提高MPNN的表达能力，最近提出了许多基于高维Weisfeiler-Leman测试的图神经网络架构。在本文中，我们考虑的二维（2-WL）的测试，并介绍了一种新类型的MPNN，称为$\ell$行走MPNN，聚合功能沿行走的长度$\ell$之间的顶点。我们发现，$2$ -walk MPNN的表达能力与2-WL相匹配。更一般地说，对于任何$\ell\geq 2$，$\ell$ -游走MPNN都显示出与最近引入的$\ell$ -游走精化过程（W[ $\ell$ ]）的表达能力相匹配.基于2-WL和W[ $\ell$ ]之间的对应关系，我们观察到$\ell$ -walk MPNN和$2$ -walk MPNN具有相同的表达能力，即，它们可以区分相同的图对，但是$\ell$ -行走MPNN可能比$2$ -行走MPNN更快地区分图对。当涉及到在表达能力上与2-WL或W[ $\ell$ ]匹配的具体可学习图神经网络（GNN）形式时，我们考虑允许非线性层的二阶图神经网络。特别地，为了在表达能力上与W[ $\ell$ ]相匹配，我们允许在每一层中进行$\ell-1$矩阵乘法。我们根据特征的类型（即，来自可数集或来自不可数集），因为这影响表示特征所需的维数。我们的研究结果表明，通过允许多…
2020-06-16 cs.LG stat.ML
On the Expressive Power of GNNs for Boolean Satisfiability
ETH Zürich（苏黎世联邦理工学院）
本文研究了GNNs在SAT求解中的表达能力，通过WL测试发现其无法区分可满足与不可满足实例，并分析了不同SAT实例对表达性需求的影响。
2026-02-09 cs.AI cs.LG
Towards Principled Graph Transformers
RWTH Aachen University（亚琛工业大学）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究证明Edge Transformer至少具有3-WL表达能力，且不依赖位置或结构编码，在预测性能上超越其他理论对齐架构，为图变换器提供了理论依据。
2024-11-08 cs.AI cs.LG
Weisfeiler and Leman go Machine Learning: The Story so far
RWTH Aachen University（亚琛工业大学）；Meta AI Research（Meta人工智能研究院）；Weizmann Institute of Science（魏茨曼科学研究所）；NVIDIA Research（英伟达研究院）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）；Technical University of Munich（慕尼黑工业大学）；University of Vienna（维也纳大学）；ETH Zürich（苏黎世联邦理工学院）；Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所）
本文全面综述了Weisfeiler–Leman算法在机器学习尤其是监督学习场景中的应用，涵盖理论背景、图与节点表示学习方法、近期扩展、与等变神经架构的关联，以及应用和未来方向。
2023-07-13 cs.DS cs.LG cs.NE
From Relational Pooling to Subgraph GNNs: A Universal Framework for More Expressive Graph Neural Networks
Tsinghua University（清华大学）；Peking University（北京大学）
本文提出从关系池化出发，通过显式节点标签和$k,l$-WL算法构建通用框架，统一子图GNN并提升任意基础GNN的表达力，实验验证其优越性能。
2023-05-08 cs.AI cs.LG
Exploring Consistency in Graph Representations:from Graph Kernels to Graph Neural Networks
Dartmouth College（达特茅斯学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
该研究针对图神经网络难捕捉一致图间相似性的问题，对比分析图核一致性特性提出跨层一致性损失，有效提升了多骨干多数据集的图分类性能。
2024-12-11 cs.AI cs.LG
FSW-GNN: A Bi-Lipschitz WL-Equivalent Graph Neural Network
Faculty of Mathematics, Technion–Israel Institute of Technology, Haifa, Israel.（数学系，技术ion-以色列理工学院，海法，以色列）
FSW-GNN是一种首次实现完全双向Lipschitz的MPNN，通过避免过平滑和过挤压提升长距离图学习任务的准确性。
2026-03-02 cs.AI cs.LG
Weisfeiler-Lehman goes Dynamic: An Analysis of the Expressive Power of Graph Neural Networks for Attributed and Dynamic Graphs
University of Kassel（卡塞尔大学）；University of Siena（锡耶纳大学）
本文将静态属性同质图上的 GNN 表达能力理论扩展到动态图和带边属性的属性图，证明其与 1-WL 测试能力等价且为通用逼近器。
2024-05-03 cs.AI cs.LG
Going beyond persistent homology using persistent homology
University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）；Federal Institute of Ceará（塞阿拉联邦学院）；YaiYai Ltd（YaiYai有限公司）
本文提出颜色分离集概念，完整刻画了持久同调区分属性图的条件，并设计RePHINE融合顶点与边级PH，增强图神经网络表达能力，在多个基准上超越标准PH。
2023-11-10 cs.AI cs.LG
Relational Pooling for Graph Representations
Purdue University（普渡大学）
这项工作概括了图神经网络（GNN），超越了那些基于Weisfeiler-Lehman（WL）算法，图拉普拉斯算子和扩散。我们的方法，表示关系池（RP），从有限的部分交换的理论，提供了一个框架，最大的代表性权力的图形。RP可以与现有的图表示模型一起工作，并且有点违反直觉，可以使它们比原始的WL同构测试更强大。此外，RP允许像递归神经网络和卷积神经网络这样的架构用于理论上合理的图分类方法。我们证明了基于RP的图形表示在许多任务上比最先进的方法性能更好。
2019-05-14 cs.LG stat.ML
A Theoretical Comparison of Graph Neural Network Extensions
ETH Zürich（苏黎世联邦理工学院）
我们研究并比较了不同的图神经网络扩展，这些扩展提高了GNN的表达能力，超出了Weisfeiler-Leman测试。我们专注于（i）基于高阶WL方法的GNNs，（ii）预处理图中的小子结构的GNNs，（iii）预处理图到小半径的GNNs，以及（iv）稍微扰动图以计算嵌入的GNNs。首先，我们对最后一个扩展做了一个简单的改进，它严格地提高了GNN变体的表达能力。然后，作为我们的主要结果，我们通过一系列的例子，可以区分的扩展，但不是由另一个结构，这些扩展的表达能力相互比较。我们还展示了负面的例子，是特别具有挑战性的每个扩展，我们证明了几个索赔的能力，这些扩展计算集团和周期图。
2022-01-30 cs.LG
Expressive Power of Temporal Message Passing
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）；TU Wien（维也纳工业大学）
该研究将时序消息传递机制分为全局与局部两类，通过Weisfeiler-Leman刻画分析其表达能力，证明二者在任意图上表达能力不可比较，在颜色持久时序图上局部机制表达能力更强，且结论得到实验验证。
2024-08-19 cs.LG
On Local Limits of Sparse Random Graphs: Color Convergence and the Refined Configuration Model
本文提出颜色收敛概念，并基于此构建精细化配置模型，该模型在局部树状随机图模型中具有普适性，可完整刻画随机树的局部极限。
2025-10-24 cs.DM cs.LG
Weisfeiler and Lehman Go Topological: Message Passing Simplicial Networks
University of Cambridge（剑桥大学）；Twitter（推特）；Imperial College London（帝国理工学院）；University of New South Wales（新南威尔士大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）
图机器学习的成对交互范例主要支配关系系统的建模。然而，图本身不能捕捉到许多复杂系统中存在的多层次的相互作用，这种计划的表达能力被证明是有限的。为了克服这些限制，我们提出了消息传递单纯网络（MPSN），一类模型，执行单纯复合体（SC）上的消息传递。为了从理论上分析我们的模型的表现力，我们引入了一个简单的Weisfeiler-Lehman（SWL）着色程序来区分非同构的SC。我们与SWL的权力区分非同构图的问题，并表明，SWL和MPSNs是严格更强大的WL测试和不低于3-WL测试的强大。我们通过比较我们的模型与传统的具有ReLU激活的图神经网络（GNNs），根据它们可以表示的函数的线性区域的数量来深化分析。我们经验上支持我们的理论主张，表明MPSN可以区分具有挑战性的强正则图，GNN失败，当配备定向等变层时，与GNN基线相比，它们可以提高定向SC的分类精度。
2021-06-14 cs.LG cs.SI
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford（牛津大学）；RWTH Aachen University（亚琛工业大学）
图神经网络是关系数据表示学习的有效模型。然而，标准GNN的表达能力有限，因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍，GNN已经通过随机节点初始化（RNI）进行了增强，其中的想法是用随机初始节点特征训练和运行模型。在这项工作中，我们用RNI分析了GNNs的表达能力，并证明了这些模型是通用的，这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立，并且在预期中保持了GNN的不变性。然后，我们根据精心构建的数据集，实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
Explainability in subgraphs-enhanced Graph Neural Networks
UiT the Arctic University of Norway（挪威北极大学）；Sapienza University of Rome（罗马第一大学）；NORCE Norwegian Research Centre（挪威NORCE研究中心）
近年来，为了提高图神经网络（GNNs）的表达能力，引入了子图增强的图神经网络（SGNNs）。新范式建议使用从输入图中提取的子图来提高模型的表达能力，但额外的复杂性加剧了GNN中已经具有挑战性的问题：解释它们的预测。在这项工作中，我们将PGExplainer（GNN的最新解释器之一）改编为SGNN。所提出的解释器考虑了所有不同子图的贡献，并且可以产生人类可以解释的有意义的解释。我们在真实和合成数据集上进行的实验表明，我们的框架成功地解释了SGNN在图分类任务上的决策过程。
2023-01-19 cs.LG
A note on the VC dimension of 1-dimensional GNNs
本文通过研究VC维探讨GNN的泛化能力，证明单参数1维GNN及使用解析非多项式激活函数的GNN在无界图上具有无限VC维，揭示了最简单GNN在泛化上的固有局限。
2024-10-10 cs.LG
k-hop Graph Neural Networks
École Polytechnique（巴黎综合理工学院）；Athens University of Economics and Business（雅典经济与商业大学）
图神经网络（GNN）最近已经成为用于学习节点和图表示的强大架构。标准GNN在区分非同构图方面具有与图同构的Weisfeiler-Leman测试相同的表达能力。然而，最近的研究表明，该测试无法识别基本的图形属性，如连通性和三角形自由度。我们证明了GNN也受到同样的限制。为了解决这个限制，我们提出了一个更具表现力的架构，k-hop GNNs，它通过聚合不仅来自其直接邻居，而且来自其k-hop邻域的信息来更新节点的表示。我们表明，所提出的架构可以识别基本的图形属性。我们评估标准的节点分类和图分类数据集的建议架构。我们的实验评估证实了我们的理论研究结果，因为所提出的模型实现了更好的性能或与标准GNN和最先进的算法相当。
2020-08-09 cs.LG stat.ML
The expressive power of kth-order invariant graph networks
University of Antwerp（安特卫普大学）
图神经网络形式主义的表达能力通常由它们区分图的能力来衡量。对于许多形式主义，k维Weisfeiler-Leman（k-WL）图同构测试被用作衡量标准。在本文中，我们考虑的表达能力的k阶不变（线性）图网络（k-IGN）。已知k-IGN具有足够的表达能力来模拟k-WL。这意味着，对于任何两个可以通过k-WL区分的图，可以找到一个也可以区分这些图的k-IGN。问题仍然是k-IGN是否可以比k-WL区分更多的图。最近的研究表明，当k=2时，这是错误的。在这里，我们将这个结果推广到任意k。换句话说，我们表明，k-IGN的表达能力是有界的k-WL。这意味着k-IGN和k-WL在区分图方面同样强大。
2020-07-23 cs.LG math.CO stat.ML
Unifying approach to uniform expressivity of graph neural networks
School of Computer Science, University of Sheffield, UK（谢菲尔德大学计算机科学学院）；School of Computing Science, University of Glasgow, UK（格拉斯哥大学计算科学学院）
本文提出模板GNNs框架和Graded template modal logic逻辑，统一分析图神经网络的表达能力，并展示标准AC-GNNs及其变体作为T-GNNs的实例。
2026-02-20 cs.AI cs.LG cs.LO
Graph Persistence goes Spectral
University of Pennsylvania（宾夕法尼亚大学）；Federal Institute of Ceará（巴西塞阿腊联邦理工学院）；Aalto University（艾尔沃斯大学）
本文提出SpectRe，一种结合谱信息的图拓扑描述符，以提升图神经网络的表达能力。
2026-02-04 cs.AI cs.LG stat.ML
GRAFENNE: Learning on Graphs with Heterogeneous and Dynamic Feature Sets
IIT Delhi（德里印度理工学院）
本文提出 GRAFENNE 框架，通过二部同素异形变换解耦节点与异构动态特征，实现对未见节点和特征的归纳学习，并保持表达能力与持续学习效果。
2023-06-06 cs.AI cs.LG
A Unifying Relational Perspective on Expressive Lottery Tickets
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学学院）；Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院）；CeMM Research Center for Molecular Medicine of the Austrian Academy of Sciences（奥地利科学院CeMM分子医学研究中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦大学玛丽女王学院电子工程与计算机科学学院）；Research Network Data Science, University of Vienna（维也纳大学数据科学研究网络）
该研究将强表达能力彩票票假设推广至多关系和时序领域，证明参数充足的关系型图神经网络含维持1-RWL表达能力的稀疏子网络，还通过实验验证相关概率下界并分析预训练表达能力与模型性能的关联。
2026-08-20 cs.LG stat.ML
Towards Expressive Spectral-Temporal Graph Neural Networks for Time Series Forecasting
Griffith University（格里菲斯大学）；Monash University（莫纳什大学）；University of Stuttgart（斯图加特大学）；Alibaba Group（阿里巴巴集团）；University of New South Wales（新南威尔士大学）；Emory University（埃默里大学）；Squirrel Ai Learning
本文建立理论框架揭示谱时图神经网络的表达能力，提出线性组件TGGC模型，在时间序列预测中显著优于现有方法，并提升模型效率。
2025-02-23 cs.AI cs.LG
mHC-GNN: Manifold-Constrained Hyper-Connections for Graph Neural Networks
National Institute of Science Education and Research（国家科学教育与研究 institute）
研究针对图神经网络的过度平滑及表达能力受限问题，提出mHC-GNN方法，通过流形约束超连接扩展节点表示，经双机制分析减轻过度平滑，能区分超越1-WL的图，实验验证其在深度网络中效果显著，消融实验凸显流形约束的重要性。
2026-07-21 cs.AI cs.LG
Iterative Graph Neural Network Enhancement via Frequent Subgraph Mining of Explanations
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；HUN-REN-SZTE Research Group on AI（HUN-REN-塞格德大学人工智能研究组）
本研究提出迭代自改进算法EEGL，通过挖掘GNN解释子图的频繁模式生成特征以增强模型，解决了1-WL算法子图扩展的相关公开问题，在合成与真实数据上预测性能更优、节点区分能力更强。
2024-03-12 cs.LG
Ordered Subgraph Aggregation Networks
TU Munich（慕尼黑工业大学）；RWTH Aachen University（亚琛工业大学）；University of Antwerp（安特卫普大学）；University of Stuttgart（斯图加特大学）
最近出现了许多子图增强的图神经网络（GNN），可以证明它提高了标准（消息传递）GNN的表达能力。然而，有一个有限的理解，这些方法是如何相互关联，以及Weisfeiler-Leman层次。此外，目前的方法要么使用给定大小的所有子图，随机均匀地对它们进行采样，要么使用手工制作的算法，而不是学习以数据驱动的方式选择子图。在这里，我们通过引入理论框架并扩展子图增强GNN的已知表达性结果，提供了一种统一的方法来研究此类架构。具体而言，我们表明，增加子图的大小总是增加的表达能力，并制定了更好地了解他们的局限性，将它们与建立$k\text{-}\mathsf{WL}$层次。此外，我们探索不同的方法来学习采样子图使用最近的方法通过复杂的离散概率分布的反向传播。从经验上讲，我们研究了不同子图增强型GNN的预测性能，表明与非数据驱动的子图增强型图神经网络相比，我们的数据驱动架构提高了标准基准数据集的预测准确性，同时减少了计算时间。
2022-10-15 cs.AI cs.DS cs.LG
