A Short Tutorial on The Weisfeiler-Lehman Test And Its Variants
Johns Hopkins University（约翰斯·霍普金斯大学）
图神经网络被设计为学习图上的函数。通常，相关目标函数相对于置换的动作是不变的。因此，一些图神经网络结构的设计受到图同构算法的启发。经典的Weisfeiler-Lehman算法（WL）--一种基于颜色细化的图同构测试--与图神经网络的研究相关。WL测试可以推广到高阶测试的层次结构，称为$k$ -WL。这种层次结构已被用来表征图神经网络的表达能力，并启发图神经网络架构的设计。WL等级的一些变体出现在文献中。这篇短文的目的是教学和实用：我们解释了WL和民间传说WL公式之间的差异，并指出了文献中现有的讨论。我们照亮的配方之间的差异，通过可视化的例子。
2022-11-01 cs.LG stat.ML
Exponentially Improving the Complexity of Simulating the Weisfeiler-Lehman Test with Graph Neural Networks
MIT（麻省理工学院）；Amazon AWS（亚马逊云科技）
最近的工作表明，图神经网络（GNN）在区分非同构图方面的表达能力与Weisfeiler-Lehman（WL）图测试完全相同。特别是，他们表明WL测试可以用GNN来模拟。然而，这些模拟涉及神经网络的“组合”功能的大小多项式，甚至指数的图形节点$n$的数量，以及特征向量的长度线性$n$。我们提出了一个改进的模拟的WL测试的GNN与\emph{exponentially}较低的复杂性。特别地，在每个节点中实现组合功能的神经网络在$n$中仅具有多对数数量的参数，并且由GNN的节点交换的特征向量仅由$O(\log n)$位组成。我们还给出了特征向量长度和神经网络大小的对数下界，表明我们的构造是（近）最优的。
2022-12-21 cs.LG stat.ML
A Generalized Weisfeiler-Lehman Graph Kernel
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
Weisfeiler-Lehman图核由于其显著的时间复杂度和预测性能而成为最流行的图核之一。他们的关键概念是基于邻域表示树关于相等性的隐式比较（即，同构）。然而，这种二进制值的比较，可以说是过于严格的定义合适的相似性措施的图。为了克服这一限制，我们提出了一个推广的Weisfeiler-Lehman图内核，它考虑到树之间的相似性，而不是平等。我们实现这一点，使用一个专门适合的变化，众所周知的树编辑距离，可以有效地计算。我们的经验表明，我们的方法显着优于国家的最先进的方法，在预测性能的数据集包含结构上更复杂的图超出了通常认为的分子图。
2021-01-20 cs.LG
The PWLR Graph Representation: A Persistent Weisfeiler-Lehman scheme with Random Walks for Graph Classification
National Institute for Mathematical Sciences（国家数学科学研究所）；KAIST（韩国科学技术院）
本文提出了持久Weisfeiler-Lehman随机游走计划（简称PWLR）的图形表示，一种新的数学框架，产生一个集合的可解释的低维表示的图形与离散和连续的节点功能。该方案有效地结合了规范化Weisfeiler-Lehman过程，图上的随机游动和持久同源性。因此，我们整合了三个不同的性质的图，这是局部拓扑特征，节点度，和全球拓扑不变量，同时保持稳定的图形扰动。这推广了Weisfeiler-Lehman过程的许多变体，这些变体主要用于嵌入具有离散节点标签的图。实证结果表明，这些表示可以有效地利用产生可比的结果，以国家的最先进的技术，在分类图与离散节点标签，和增强的性能，在分类那些与连续节点功能。
2022-08-29 cs.LG math.AT
Graph Kernels exploiting Weisfeiler-Lehman Graph Isomorphism Test Extensions
University of Padova（帕多瓦大学）
在本文中，我们提出了一种新的图形核框架的启发Weisfeiler-Lehman（WL）同构测试。任何WL测试都包括基于从图中提取的测试特定信息（例如节点的邻居集合）的节点的重新标记阶段。我们定义了一种新的重标记方法，并从中推导出了该框架的两个核函数，这两个新的核函数在五个真实数据集上的计算速度非常快，并取得了最先进的结果。
2015-09-22 cs.AI cs.LG
Predicting Organic Reaction Outcomes with Weisfeiler-Lehman Network
Computer Science and Artificial Intelligence Lab, MIT（麻省理工学院计算机科学与人工智能实验室）；Department of Chemical Engineering, MIT（麻省理工学院化学工程系）
有机反应产物的预测是计算化学中的一个基本问题。由于反应可能涉及数百个原子，因此完全探索可能的转变空间是困难的。目前的解决方案利用反应模板来限制空间，但它受到覆盖和效率问题的影响。在本文中，我们提出了一种无模板的方法，通过首先精确定位反应中心来有效地探索产物分子的空间-发生图形编辑的节点和边缘的集合。由于只有少量的原子参与反应中心，我们可以直接计算候选产物。生成的候选人通过Weisfeiler-Lehman差分网络进行评分，该网络模拟分子中节点处发生的变化之间的高阶相互作用。我们的框架优于性能最好的基于模板的方法，具有10%的利润率，同时运行速度更快。最后，我们证明了模型的准确性领域专家的表现相媲美。
2017-12-29 cs.AI cs.LG stat.ML
Wasserstein Weisfeiler-Lehman Graph Kernels
ETH Zurich（苏黎世联邦理工学院）；SIB Swiss Institute of Bioinformatics（SIB瑞士生物信息学研究所）
大多数图形内核都是$\mathcal{R}$ -卷积内核类的一个实例，它通过比较对象的子结构来度量对象的相似性。尽管它们在经验上取得了成功，但大多数图内核使用最终子结构集合的朴素聚合，通常是总和或平均值，从而可能会丢弃有关单个组件分布的有价值信息。此外，这些方法中只有有限的实例可以扩展到连续属性图。我们提出了一种新的方法，依赖于两个图的节点特征向量分布之间的Wasserstein距离，它允许通过将图视为高维对象而不是简单的方法来找到数据集中的细微差异。我们进一步提出了一个Weisfeiler-Lehman启发的嵌入方案，用于具有连续节点属性和加权边的图，通过计算Wasserstein距离来增强它，从而提高了几个图分类任务的最新预测性能。
2019-10-30 cs.LG q-bio.MN stat.ML
The Weisfeiler-Lehman Distance: Reinterpretation and Connection with GNNs
University of California San Diego（加州大学圣地亚哥分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；The Ohio State University（俄亥俄州立大学）
本文利用随机过程概念重新解释 WL 距离，揭示其与随机过程距离、Gromov-Wasserstein 距离及消息传递神经网络的联系，并阐明其对 Lipschitz 性和通用逼近的理论意义。
2023-09-29 cs.LG
WL-Align: Weisfeiler-Lehman Relabeling for Aligning Users across Networks via Regularized Representation Learning
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Beijing Institute of Technology（北京理工大学）；Hong Kong Baptist University（香港浸会大学）
已经发现使用图表示学习跨网络对齐用户是有效的，其中对齐在低维嵌入空间中完成。然而，实现高度精确的对齐仍然具有挑战性，特别是当遇到与标记锚具有长距离连接的节点时。为了缓解这一限制，我们有目的地设计了WL-Align，它采用正则化的表示学习框架来学习不同的节点表示。它扩展了Weisfeiler-Lehman同构测试，并在“跨网络Weisfeiler-Lehman重新标记”和“保持邻近性的表示学习“的交替阶段学习对齐。跨网络的Weisfeiler-Lehman重标记是通过迭代基于锚的标签传播和基于相似性的散列来实现的，以高效和鲁棒的方式利用已知锚到不同节点的连接性。表示学习模块保留了各个网络内的二阶邻近性，并通过跨网络Weisfeiler-Lehman哈希标签进行正则化。在真实世界和合成数据集上的大量实验表明，我们提出的WL-Align优于最先进的方法，在“精确匹配”场景中实现了显着的性能改进。WL-Align的数据和代码可在https://github.com/ChenPengGang/WLAlignCode上获得。
2022-12-29 cs.AI cs.LG cs.SI
Two-Dimensional Weisfeiler-Lehman Graph Neural Networks for Link Prediction
Peking University（北京大学）；Purdue University（普渡大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
链接预测是图神经网络的一个重要应用。大多数现有的用于链接预测的GNN是基于一维Weisfeiler-Lehman（1-WL）检验的。1-WL-GNN首先通过迭代地将相邻节点特征传递到中心来计算节点表示，然后通过聚合成对节点表示来获得链路表示。正如以前的工作所指出的，这种两步过程导致低识别能力，因为1-WL-GNN本质上学习节点级表示而不是链路级表示。在本文中，我们研究了一个完全不同的方法，可以直接获得节点对（链接）表示的基础上\textit{two-dimensional Weisfeiler-Lehman (2-WL) tests}。2-WL测试直接使用链接（2-元组）作为消息传递单元，而不是节点，因此可以直接获得链接表示。从理论上分析了2-WL测试对非同构链接的判别能力，证明了其优于1-WL的链接判别能力。基于不同的2-WL变体，我们提出了一系列新的2-WL-GNN模型用于链接预测。在广泛的真实世界数据集上进行的实验证明了它们与最先进的基线相比的竞争性能和优于普通1-WL-GNN的优势。
2022-06-20 cs.LG
Twin Weisfeiler-Lehman: High Expressive GNNs for Graph Classification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
通过Weisfeiler-Lehman（WL）测试，消息传递GNN的表达能力有上限。为了实现WL测试之外的高表达GNN，我们提出了一种新的图同构测试方法，即Twin-WL，它同时传递节点标签和节点身份，而不是只传递节点标签作为WL。身份传递机制编码了有根子图的完整结构信息，因此Twin-WL可以在区分图结构方面提供比WL更大的能力。在Twin-WL的基础上，通过定义有根子图上的读出函数，实现了两个Twin-GNN用于图分类：一个简单地读出有根子图的大小，另一个按照GNN的风格读出子图的丰富结构信息。我们证明了这两个Twin-GNN都比传统的消息传递GNN具有更高的表达能力。实验还表明，Twin-GNN在图分类任务中的表现明显优于最先进的方法。
2022-03-22 cs.LG
Weisfeiler-Lehman meets Gromov-Wasserstein
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；The Ohio State University（俄亥俄州立大学）；Halıcıoğlu Data Science Institute（哈利奇奥卢数据科学研究所）
Weisfeiler-Lehman（WL）测试是图同构测试的经典过程。WL测试也被广泛用于设计图核和分析图神经网络。在本文中，我们提出了Weisfeiler-Lehman（WL）距离，标记测度马尔可夫链（LMMC）之间的距离的概念，其中标记图是特殊情况。WL距离是多项式时间可计算的，也是兼容的WL测试的意义上，前者是积极的，当且仅当WL测试可以区分两个涉及的图。WL距离捕获并比较底层LMMC的细微结构，因此，它比用于定义最先进的Wasserstein Weisfeiler-Lehman图内核的图之间的距离更具鉴别力。受到WL距离结构的启发，我们在LMMCs上识别出一个神经网络架构，该架构被证明是通用的w.r.t.定义在所有LMMC（包括所有图）的空间上的连续函数，赋予WL距离。最后，WL距离被证明是稳定的w.r.t. Gromov-Wasserstein（GW）距离的自然变体，用于比较我们识别的度量马尔可夫链。因此，WL距离也可以被解释为GW距离的多项式时间下限，其通常是NP难计算的。
2022-02-05 cs.LG math.MG
Contextual Weisfeiler-Lehman Graph Kernel For Malware Detection
Nanyang Technological University（南洋理工大学）
在本文中，我们提出了一种新的图形内核，专门解决网络安全领域的一个具有挑战性的问题，即恶意软件检测。先前的研究已经揭示了以下内容：（1）程序的图形表示非常适合于恶意软件检测，因为它们对几种攻击是鲁棒的，（2）除了捕获拓扑邻域（即，结构信息），重要的是从这些图中捕获邻域可达的上下文以准确地检测恶意邻域。我们观察到，国家的最先进的图形内核，如Weisfeiler-Lehman内核（WLK）捕捉结构信息，但未能捕捉上下文信息。为了解决这个问题，我们开发了上下文Weisfeiler-Lehman内核（CWLK），它能够捕获这两种类型的信息。我们表明，对于恶意软件检测问题，CWLK更有表现力，因此比WLK更准确，同时保持相当的效率。通过我们对50，000多个真实Android应用程序的大规模实验，我们证明CWLK在保持高效率的同时，分别比两种最先进的图形内核（包括WLK）和三种恶意软件检测技术的性能高出5.27%和4.87%以上。这种高准确性和效率使CWLK适合大规模现实世界的恶意软件检测。
2016-06-21 cs.CR cs.LG
Weisfeiler and Lehman Go Categorical
POSTECH（浦项科技大学）；Center for Geometry and Physics, Institute for Basic Science (IBS)（基础科学研究院几何与物理中心）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出基于范畴论的韦斯费尔-莱曼框架，通过引入两种函子推导出超图同构网络，系统提升了超图信息传递拓扑的表达能力，并通过实验验证了其理论效果。
2026-02-06 cs.LG math.CT
Weisfeiler and Lehman Go Cellular: CW Networks
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；Twitter（推特）；UCLA（加州大学洛杉矶分校）；MPI-MIS（马克斯·普朗克智能系统研究所）；SJTU（上海交通大学）；UNSW（新南威尔士大学）
图神经网络（GNN）的表达能力有限，难以处理远程交互，并且缺乏对高阶结构建模的原则性方法。这些问题可以归因于计算图和输入图结构之间的强耦合。最近提出的消息传递简单网络通过在图的团复合体上执行消息传递来自然地解耦这些元素。然而，这些模型可能会受到单纯形复合体（SC）的严格组合结构的严重限制。在这项工作中，我们扩展最近的理论结果SC定期细胞复杂，拓扑对象，灵活suburbanSC和图形。我们表明，这种概括提供了一个强大的图形“提升”变换，每个导致一个独特的层次信息传递过程。由此产生的方法，我们统称为CW网络（CWNs），严格来说比WL测试更强大，并且不比3-WL测试更强大。特别是，我们证明了这样一个计划的有效性，基于环，当应用到分子图问题。所提出的架构受益于可证明的比常用GNN更大的表达能力，高阶信号的原则性建模以及压缩节点之间的距离。我们证明了我们的模型在各种分子数据集上实现了最先进的结果。
2022-01-31 cs.LG stat.ML
Weisfeiler and Lehman Go Paths: Learning Topological Features via Path Complexes
Thayer School of Engineering, Dartmouth College（达特茅斯学院塞耶工程学院）
本文提出基于路径复形的拓扑图神经网络，通过聚焦简单路径突破 1-WL 表达力限制，无需子结构假设即可在多个基准上取得最优性能。
2024-03-31 cs.LG
HWL-HIN: A Hypergraph-Level Hypergraph Isomorphism Network as Powerful as the Hypergraph Weisfeiler-Lehman Test with Application to Higher-Order Network Robustness
本文提出了一种超图级别的超图同构网络，其表达能力与超图Weisfeiler-Lehman测试相当，用于预测更高阶网络的鲁棒性。
2025-12-26 cs.LG
Generalizing Weisfeiler-Lehman Kernels to Subgraphs
KAIST, Republic of Korea（韩国延世大学）
针对GNN在子图级任务中难以捕捉复杂交互的问题，提出WLKS——基于诱导k跳邻域推广的Weisfeiler-Lehman核，结合多k跳层级核以增强结构表达，在8个基准上5个数据集性能优于主流方法且训练时间大幅缩短。
2025-11-11 cs.AI cs.LG cs.SI
Learning subtree pattern importance for Weisfeiler-Lehmanbased graph kernels
The University of Tokyo（东京大学）；Kyoto University（京都大学）；Alato University（阿尔托大学）
图是关系数据的一种常用表示方法，在分子、生物、社交网络等领域中普遍存在。一种流行的方法来学习与图结构的数据是利用graph kernels，它衡量之间的相似性，并被插入到一个核心机器，如支持向量机。Weisfeiler-Lehman（WL）的基于图的核，采用WL标记方案来提取子树模式和执行节点嵌入，被证明可以实现很好的性能，同时是有效的可计算性。然而，通用核的一个主要缺点是核构造和学习过程的解耦。对于分子图，通常的核函数如WL子树，基于分子的子结构，认为所有可用的子结构具有相同的重要性，这可能不适合于实际应用。在本文中，我们提出了一种在WWL内核框架中学习子树模式权重的方法，这是图分类任务的最新方法[14]。为了克服大规模数据集上的计算问题，我们提出了一种有效的学习算法，并推导了一个泛化间隙界来证明其收敛性。最后，通过对合成数据集和真实数据集的实验，我们证明了我们提出的方法学习子树模式的权重的有效性。
2021-06-08 cs.LG
Weisfeiler-Lehman meets Events: An Expressivity Analysis for Continuous-Time Dynamic Graph Neural Networks
University of Kassel, Germany（德国凯泽尔大学）
针对现实系统异步演化且可能不连通的问题，本文扩展属性离散动态图理论至连续时间场景，提出连续时间动态1-WL测试并证明其与展开树等价，识别出保留区分能力和逼近保证的CGNN类，还给出实用设计指南。
2025-08-25 cs.LG
Wasserstein Graph Distance Based on $L_1$-Approximated Tree Edit Distance between Weisfeiler-Lehman Subtrees
WASEDA University（早稻田大学）
针对Weisfeiler-Lehman检验无法捕捉图细微结构差异的局限，提出结合Wasserstein距离与$L_1$近似树编辑距离的WWLS图度量，在相关实验中性能优于基线。
2023-05-01 cs.AI cs.LG
Weisfeiler and Lehman Go Topological: Message Passing Simplicial Networks
University of Cambridge（剑桥大学）；Twitter（推特）；Imperial College London（帝国理工学院）；University of New South Wales（新南威尔士大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）
图机器学习的成对交互范例主要支配关系系统的建模。然而，图本身不能捕捉到许多复杂系统中存在的多层次的相互作用，这种计划的表达能力被证明是有限的。为了克服这些限制，我们提出了消息传递单纯网络（MPSN），一类模型，执行单纯复合体（SC）上的消息传递。为了从理论上分析我们的模型的表现力，我们引入了一个简单的Weisfeiler-Lehman（SWL）着色程序来区分非同构的SC。我们与SWL的权力区分非同构图的问题，并表明，SWL和MPSNs是严格更强大的WL测试和不低于3-WL测试的强大。我们通过比较我们的模型与传统的具有ReLU激活的图神经网络（GNNs），根据它们可以表示的函数的线性区域的数量来深化分析。我们经验上支持我们的理论主张，表明MPSN可以区分具有挑战性的强正则图，GNN失败，当配备定向等变层时，与GNN基线相比，它们可以提高定向SC的分类精度。
2021-06-14 cs.LG cs.SI
Edged Weisfeiler-Lehman Algorithm
Oakland University（奥克兰大学）；Massey University（马斯赛大学）；China University of Geosciences（中国地质大学）
本文提出带边特征的Weisfeiler-Lehman算法（E-WL）和图同构网络（EGIN）模型，通过引入边特征提升图分类任务的性能。
2025-12-04 cs.LG
A Complete Expressiveness Hierarchy for Subgraph GNNs via Subgraph Weisfeiler-Lehman Tests
Peking University（北京大学）
近年来，子图神经网络已成为表达性图神经网络（GNNs）的一个重要发展方向。虽然已经提出了许多架构，但到目前为止，对于各种设计范式在表达能力方面的差异仍然存在有限的理解，也不清楚什么设计原则可以以最小的架构复杂性实现最大的表达能力。为了解决这些基本问题，本文通过子图Weisfeiler-Lehman测试（SWL）的镜头，对一般的基于节点的子图GNN进行了系统的研究。我们的中心结果是建立一个完整的层次结构的SWL严格增长的表现力。具体地说，我们证明了任何基于节点的子图GNN属于六个SWL等价类之一，其中$\mathsf{SSWL}$达到最大的表达能力。我们还研究了这些等价类如何在它们的实际表现力，如编码图距离和双连通性方面有所不同。此外，我们给出了一个紧密的表现力上界的所有SWL算法建立一个密切的关系，本地化版本的WL和FolkingWL（FWL）测试。我们的研究结果提供了对现有子图GNN的能力的深入了解，指导了新架构的设计，并通过揭示与2-FWL测试的固有差距来指出它们的局限性。最后，实验表明，尽管非常简单，但$\mathsf{SSWL}$启发的子图GNN在多个基准测试中的性能明显优于先前的架构。
2023-03-29 cs.CC cs.GT cs.LG
Weisfeiler Lehman Test on Combinatorial Complexes: Generalized Expressive Power of Topological Neural Networks
Jiangsu Key Laboratory of Networked Collective Intelligence, School of Mathematics, Southeast University（江苏网络化集体智能重点实验室，东南大学数学学院）
提出组合复形Weisfeiler-Lehman（CCWL）框架，通过四种结构邻域统一拓扑神经网络的表达能力，并证明在特定条件下可简化为仅使用上下邻域桥信息，实例化为CCIN网络，实验验证其有效性。
2026-06-17 cs.LG
Graph Filtration Kernels
Center for Machine Learning, Sankt Augustin（机器学习中心，圣奥古斯丁）
大多数流行的图核是基于Haussler的$\mathcal{R}$ -卷积核的概念，并根据相互子结构定义图的相似性。在这项工作中，我们丰富了这些相似性的措施，考虑图过滤：使用有意义的顺序的边缘集，这允许构建一个序列的嵌套图，我们可以考虑在多个粒度的图。首先，这提供了对不同分辨率级别的功能的访问。此外，它不是简单地比较图中特征的频率，而是允许根据它们在序列中存在的时间和时间进行比较。在这项工作中，我们提出了一个家庭的图形内核，将这些存在区间的功能。虽然我们的方法可以应用于任意图形特征，但我们特别强调Weisfeiler-Lehman顶点标签，从而获得高效的内核。我们表明，使用Weisfeiler-Lehman标签在一定的过滤严格增加了表达能力，在普通的Weisfeiler-Lehman程序决定图同构。事实上，这一结果直接产生了更强大的图形内核的基础上，这些功能，并具有影响图神经网络，由于其密切关系的Weisfeiler-Lehman方法。我们根据经验验证了我们的图内核的表达能力，并在各种真实世界基准数据集的预测性能方面显示出比最先进的图内核的显着改进。
2021-10-22 cs.LG
Extending the Design Space of Graph Neural Networks by Rethinking Folklore Weisfeiler-Lehman
Washington University in St. Louis（圣路易斯华盛顿大学）；JD Explore Academy（京东探索研究院）；Peking University（北京大学）
本文针对$k$-WL/FWL图神经网络空间复杂度过高和设计空间僵化的问题，提出$(k,t)$-FWL+框架及其实例N$^2$-FWL和神经版本N$^2$-GNN，在$O(n^2)$空间下实现不弱于3-WL的表达能力，并在ZINC-Subset和BREC上取得新SOTA结果。
2024-01-14 cs.LG stat.ML
Attacking Graph Neural Networks with Bit Flips: Weisfeiler and Lehman Go Indifferent
University of Vienna（维也纳大学）；Doctoral School Computer Science, Faculty of Computer Science, University of Vienna（维也纳大学计算机学院计算机科学博士学院）；Christian Doppler Laboratory for Assurance and Transparency in Software Protection, Faculty of Computer Science, University of Vienna（维也纳大学计算机学院克里斯蒂安·多普勒软件保护保障与透明度实验室）；Research Network Data Science, Faculty of Computer Science, University of Vienna（维也纳大学计算机学院数据科学研究网络）
该研究提出首个专门针对图神经网络的Injectivity Bit Flip Attack，通过攻击量化消息传递神经网络的邻域聚合函数削弱其结构区分能力，仅翻转少量比特就能让高表达力的图同构网络输出随机结果，破坏力优于迁移自CNN的位翻转攻击。
2024-08-16 cs.AI cs.CR cs.LG
How Hard Is It for Message-Passing GNNs to Simulate One Weisfeiler-Lehman Color-Refinement Step?
Renmin University of China（中国人民大学）；Boston College（波士顿学院）
研究信息传递图神经网络在无标签图上模拟Weisfeiler-Lehman颜色细化步骤的资源需求，区分无偏和实例依赖模拟，发现颜色细化隐藏了全局重标问题，且浅层网络难以解决，但大颜色集可降低成本。
2026-05-08 cs.AI cs.LG
Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文提出同态表达力这一统一量化框架，克服 WL 层级粗糙且定性的局限，系统刻画四类 GNN 在不变与等变设定下的表达能力，并通过实验验证其与实际性能一致。
2024-01-16 cs.DM cs.DS cs.LG
On Valid Optimal Assignment Kernels and Applications to Graph Classification
TU Dortmund（多特蒙德工业大学）；University of York（约克大学）
核方法的成功引发了新的半正定函数的设计，特别是结构化数据。一个领先的设计范例是卷积核，它将结构化对象分解为它们的部分，并对所有部分对求和。相比之下，分配核是从部分之间的最佳双射获得的，这可以提供更有效的相似性概念。然而，在一般情况下，最优分配产生不定函数，这使得它们在核方法中的使用变得复杂。我们刻画了一类用于比较保证半正定最优分配核的部分的基础核。这些基本内核产生的层次结构，从其中的最佳分配内核计算在线性时间的直方图相交。我们应用这些结果，通过开发的Weisfeiler-Lehman最优分配核图。它在广泛使用的基准数据集上提供了较高的分类精度，优于原始的Weisfeiler-Lehman内核。
2017-01-31 cs.LG stat.ML
Improving the Expressive Power of Graph Neural Network with Tinhofer Algorithm
近年来，图神经网络（GNN）在处理基于图的数据方面取得了长足的发展。大多数GNN遵循消息传递方案，并且它们的表达能力在数学上受到Weisfeiler-Lehman（WL）测试的区分能力的限制。根据Tinhofer对紧致图的研究，我们提出了一种称为Weisfeiler-Lehman-Tinhofer GNN（WLT-GNN）的消息传递方案的变体，该方案在理论上突破了WL测试的限制。此外，我们进行了比较实验和消融研究几个著名的数据集。实验结果表明，本文提出的方法在这些数据集上具有相当的性能和更好的表达能力。
2021-04-05 cs.LG
Weisfeiler-Lehman goes Dynamic: An Analysis of the Expressive Power of Graph Neural Networks for Attributed and Dynamic Graphs
University of Kassel（卡塞尔大学）；University of Siena（锡耶纳大学）
本文将静态属性同质图上的 GNN 表达能力理论扩展到动态图和带边属性的属性图，证明其与 1-WL 测试能力等价且为通用逼近器。
2024-05-03 cs.AI cs.LG
Using Weisfeiler-Leman Features for Algorithm Selection in Constraint Optimisation
University of Southern Denmark（南丹麦大学）
本文提出基于Weisfeiler-Leman的自动化特征提取方法，构建\texttt{WLc}割表示，在MiniZinc挑战赛实例上验证其在SVM等算法选择任务中优于传统特征，为约束优化算法选择提供新方案。
2026-10-09 cs.AI cs.LG
Improving Expressivity of Graph Neural Networks
University of Innsbruck（因斯布鲁克大学）
我们提出了一个图神经网络，其表达能力比常用的GNN更强-不限于仅区分Weisfeiler-Lehman测试识别为非同构的图。我们使用一个具有扩展注意力窗口的图注意力网络，它以指数方式聚集来自遥远节点的信息。我们还使用了部分随机的初始嵌入，允许区分看起来相同的节点。这可能会导致传统的dropout机制出现问题，因此我们使用“head dropout”，随机忽略一些注意力头，而不是嵌入的一些维度。
2020-04-08 cs.LG stat.ML
NASGEM: Neural Architecture Search via Graph Embedding Method
Duke University（杜克大学）；Facebook, Inc（脸书公司）；Tsinghua University（清华大学）；University of Nevada, Reno（内华达大学雷诺分校）
神经结构搜索（NAS）使神经网络的设计自动化并繁荣起来。最近提出了基于估计器的NAS来建模架构与其性能之间的关系，以实现可扩展和灵活的搜索。然而，现有的基于估计的方法编码的架构到一个潜在的空间，而不考虑图形的相似性。忽略基于节点的搜索空间中的图相似性可能引起相似图之间的大的不一致性以及它们在连续编码空间中的距离，导致不准确的编码表示和/或降低的表示容量，这可能产生次优的搜索结果。为了在编码中保留图的相关信息，我们提出了NASGEM，它代表通过图嵌入方法的神经结构搜索。NASGEM是由一种新的图嵌入方法，配备了相似性措施，捕捉图的拓扑信息。NASGEM通过精确估计图的距离并使用辅助Weisfeiler-Lehman核来指导编码，可以利用额外的结构信息来获得更精确的图表示，从而提高搜索效率。GEMNet是NASGEM发现的一组网络，在分类任务中始终优于现有搜索方法制作的网络，即，精度提高0.4%-3.6%，而乘法累积次数减少11%- 21%。我们进一步转移GEMNet用于COCO目标检测。在单阶段和两阶段检测器中，我们的GEMNet都超过了手动制作和自动搜索的同类产品。
2020-09-28 cs.AI cs.LG
Rethinking the Expressive Power of GNNs via Graph Biconnectivity
Peking University（北京大学）
本文提出基于图双连通性的表达能力度量指标，发现主流GNN架构无法有效学习这些指标，并开发GD-WL方法，通过类Transformer架构实现全并行且可证明对所有双连通性指标具有表达能力，实验证明其持续优于先前GNN架构。
2024-02-11 cs.LG stat.ML
edGNN: a Simple and Powerful GNN for Directed Labeled Graphs
IBM Research（IBM研究院）；EPFL（洛桑联邦理工学院）；ETH（苏黎世联邦理工学院）
图神经网络（GNN）利用图拓扑和图标签的能力是构建有区别的节点和图嵌入的基础。在以前工作的基础上，我们从理论上证明了edGNN，我们的有向标记图的模型，与图同构的Weisfeiler-Lehman算法一样强大。我们的实验支持我们的理论研究结果，确认图神经网络可以有效地用于有向图的节点和边标签的推理问题。代码可在https://github.com/guillaumejaume/edGNN获得。
2019-12-04 cs.LG stat.ML
Geometry-Aware Simplicial Message Passing
AIDOS Lab, University of Fribourg（AIDOS实验室，弗里堡大学）
本文提出几何感知的单纯形消息传递方法，通过引入顶点坐标提升表达能力，并结合欧拉特征变换提供完整不变量，验证了几何模型的层次结构。
2026-09-28 cs.CG cs.LG math.AT
Resolving Node Identifiability in Graph Neural Processes via Laplacian Spectral Encodings
National University of Defense Technology（国防科技大学）；School of Urban Design（城市设计学院）
本文提出一种基于拉普拉斯谱编码的图神经过程方法，解决节点可识别性问题，并在药物-药物相互作用任务中取得显著提升。
2025-11-24 cs.LG math.PR
Learning from graphs with structural variation
University of Copenhagen（哥本哈根大学）
我们研究了图数据的结构变化对图核预测性能的影响。为此，我们引入了一种新颖的，对GraphHopper内核具有噪声鲁棒性的自适应，并在基准数据上对其进行了验证，在一系列数据集上获得了适度改进的预测性能。接下来，我们研究了最先进的Weisfeiler-Lehman图核在增加合成结构错误下的性能，发现引入错误的效果强烈依赖于数据集。
2018-06-29 cs.DS cs.LG stat.ML
Relational Pooling for Graph Representations
Purdue University（普渡大学）
这项工作概括了图神经网络（GNN），超越了那些基于Weisfeiler-Lehman（WL）算法，图拉普拉斯算子和扩散。我们的方法，表示关系池（RP），从有限的部分交换的理论，提供了一个框架，最大的代表性权力的图形。RP可以与现有的图表示模型一起工作，并且有点违反直觉，可以使它们比原始的WL同构测试更强大。此外，RP允许像递归神经网络和卷积神经网络这样的架构用于理论上合理的图分类方法。我们证明了基于RP的图形表示在许多任务上比最先进的方法性能更好。
2019-05-14 cs.LG stat.ML
Faster Kernels for Graphs with Continuous Attributes via Hashing
TU Dortmund University（多特蒙德工业大学）
虽然用于具有离散标签的图的最先进的内核可以很好地扩展到具有数千个节点的图，但不幸的是，用于具有连续属性的图的少数现有内核不能很好地扩展。为了克服这一限制，我们提出了散列图内核，一个通用的框架，从离散的连续属性的图形获得内核。其思想是使用随机哈希函数迭代地将连续属性转换为离散标签。我们说明哈希图内核的Weisfeiler-Lehman子树内核和最短路径内核。由此产生的新的图形内核被证明是，两者，能够处理具有连续属性的图形和可扩展到大型图形和数据集。这是支持我们的理论分析，并证明了广泛的实验评估。
2016-10-01 cs.LG stat.ML
Deep Graphs
Carnegie Mellon University（卡内基梅隆大学）；AWS Machine Learning（AWS机器学习）；Amazon（亚马逊）
我们提出了一种在网络和图上进行深度学习的算法。它依赖于许多图算法的概念，如PageRank，Weisfeiler-Lehman或Message Passing可以表示为迭代顶点更新。与依赖于设计者的独创性的先前方法不同，深度图自适应于估计问题。训练和部署都是有效的，因为成本是$O(|E| + |V|)$，其中$E$和$V$分别是边和顶点的集合。简而言之，我们学习循环更新函数，而不是设定它们的特定函数形式。这产生了一个算法，在图标记和回归任务上都实现了出色的准确性。
2018-06-04 cs.AI cs.LG stat.ML
MIPS: a Multimodal Infinite Polymer Sequence Pre-training Framework for Polymer Property Prediction
Department of Electronic Engineering, Tsinghua University Beijing China；Zhongguancun Institute of Artificial Intelligence Beijing China；Department of Electronic Engineering \& College of AI, Tsinghua University Beijing National Research Center for Information Science；Department of Electronic Engineering, Tsinghua University；Zhongguancun Institute of Artificial Intelligence
本文提出MIPS预训练框架，将聚合物建模为无限单体序列，融合拓扑与三维空间信息，并在八项性质预测任务上达到最先进性能。
2025-07-27 cs.AI cs.LG
Lecture Notes on Verifying Graph Neural Networks
ENS de Lyon（里昂高等师范学院）
本文回顾了图神经网络与多种逻辑的联系，提出了一种包含线性不等式中计数模态的模态逻辑以解决图神经网络验证任务，并给出了基于tableau方法扩展的可满足性算法。
2025-10-13 cs.LG cs.LO
Exploring Consistency in Graph Representations:from Graph Kernels to Graph Neural Networks
Dartmouth College（达特茅斯学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
该研究针对图神经网络难捕捉一致图间相似性的问题，对比分析图核一致性特性提出跨层一致性损失，有效提升了多骨干多数据集的图分类性能。
2024-12-11 cs.AI cs.LG
Topological Graph Neural Networks
ETH Zurich（苏黎世联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；KU Leuven（鲁汶大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
图神经网络（GNN）是处理图学习任务的强大架构，但已被证明对循环等重要子结构不敏感。我们提出了TOGL，一个新的层，采用持久同源性的图的全局拓扑信息。TOGL可以很容易地集成到任何类型的GNN中，并且比消息传递GNN更具有严格的表达性（根据Weisfeiler-Lehman图同构测试）。使用TOGL增强GNN可以提高图和节点分类任务的预测性能，无论是在合成数据集上，这些数据集可以由人类使用其拓扑结构进行分类，但不能由普通GNN进行分类，还是在现实世界的数据上。
2022-03-17 cs.LG math.AT stat.ML
Learning Backtrackless Aligned-Spatial Graph Convolutional Networks for Graph Classification
Central University of Finance and Economics（中央财经大学）；Southern University of Science and Technology（南方科技大学）；University of York（约克大学）
在本文中，我们开发了一种新的无回溯对齐空间图卷积网络（BASGCN）模型来学习有效的图分类特征。我们的想法是将任意大小的图转换为固定大小的无回溯对齐网格结构，并定义一个新的空间图卷积操作与网格结构。我们表明，提出的BASGCN模型不仅减少了现有的基于空间的图卷积网络（GCN）模型中出现的信息丢失和不精确的信息表示的问题，但也弥合了传统的卷积神经网络（CNN）模型和基于空间的GCN模型之间的理论差距。此外，BASGCN模型能够在卷积过程中自适应地区分指定顶点之间的重要性，并减少现有基于空间的GCN与Weisfeiler-Lehman算法相关的臭名昭著的抖动问题，说明了该模型的有效性.在标准图数据集上的实验证明了该模型的有效性。
2019-11-17 cs.LG stat.ML
Going Deeper into Permutation-Sensitive Graph Neural Networks
Tsinghua University（清华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research Asia（微软亚洲研究院）
邻接矩阵的排列不变性，即，图同构是图神经网络（GNN）的首要要求。传统上，这一前提条件可以通过聚合消息时对节点排列的不变操作来满足。然而，这种不变的方式可能会忽略相邻节点之间的关系，从而阻碍GNN的表达能力。在这项工作中，我们设计了一个有效的置换敏感的聚合机制，通过置换群，捕捉相邻节点之间的成对相关性。我们证明，我们的方法是严格更强大的2维Weisfeiler-Lehman（2-WL）图同构测试和不低于3-WL测试。此外，我们证明了我们的方法达到了线性采样复杂度。在多个合成数据集和真实数据集上的综合实验证明了该模型的优越性。
2022-05-28 cs.DM cs.LG stat.ML
On the Universality of Graph Neural Networks on Large Random Graphs
CNRS（法国国家科学研究中心）；GIPSA-lab（GIPSA实验室）；NYU Center for Data Science（纽约大学数据科学中心）；IMB, Université de Bourgogne（勃艮第大学IMB研究所）
研究了图神经网络（GNNs）对潜在位置随机图的逼近能力.在大型图的限制下，GNN会收敛到某些称为c-GNN的“连续”模型，这直接使得研究它们在随机图模型上的近似能力成为可能。然而，在缺乏输入节点特征的情况下，正如GNN受到Weisfeiler-Lehman同构测试的限制一样，c-GNN在简单随机图模型上也会受到严重限制。例如，它们将无法区分具有常数度函数的良好分离的随机块模型（SBM）的社区。因此，我们考虑最近提出的用唯一节点标识符增强GNN的架构，这里称为结构GNN（SGNN）。在大随机图极限下，研究了SGNNs在新的节点标识符条件下向连续SGNNs（c-SGNNs）的收敛性.然后，我们证明了c-SGNNs在连续极限下比c-GNNs更强大，并证明了它们在几个感兴趣的随机图模型上的普适性，包括大多数SBM和一大类随机几何图。我们的结果涵盖了置换不变和置换等变架构。
2021-05-28 cs.LG stat.ML
A Hierarchy of Graph Neural Networks Based on Learnable Local Features
Operational Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）；Institute for Applied Computational Science（应用计算科学研究所）；Harvard University（哈佛大学）；Harvard School of Engineering and Applied Sciences（哈佛工程与应用科学学院）
图神经网络（GNN）是通过迭代地聚合来自节点邻域的特征来学习图上的表示的强大工具。已经提出了许多变体模型，但对于如何比较不同的架构以及如何系统地构建GNN的理解有限。在这里，我们提出了一个基于其聚合区域的GNN层次结构。我们推导出理论结果的判别力和特征表示能力的每一类。然后，我们展示了如何利用这个框架来系统地构建任意强大的GNN。作为一个例子，我们构建了一个简单的架构，超过了Weisfeiler-Lehman图同构测试的表现力。我们在合成和现实世界的基准测试中实证验证了我们的理论，并证明了我们的示例的理论能力转化为节点分类，图分类和图回归任务的强大结果。
2019-11-13 cs.CV cs.LG stat.ML
How Powerful are Graph Neural Networks?
MIT（麻省理工学院）；Stanford University（斯坦福大学）
图神经网络是一种有效的图的表示学习框架。GNN遵循邻域聚合方案，其中节点的表示向量通过递归聚合和变换其相邻节点的表示向量来计算。已经提出了许多GNN变体，并在节点和图分类任务上取得了最先进的结果。然而，尽管GNN彻底改变了图表示学习，但对其表示属性和局限性的理解有限。在这里，我们提出了一个理论框架，用于分析GNN捕获不同图结构的表达能力。我们的研究结果描述了流行的GNN变体（如图卷积网络和GraphSAGE）的区分能力，并表明它们无法学习区分某些简单的图结构。然后，我们开发了一个简单的架构，可以证明是最具表现力的GNN类，是一样强大的Weisfeiler-Lehman图同构测试。我们在一些图分类基准上实证验证了我们的理论研究结果，并证明我们的模型达到了最先进的性能。
2019-02-22 cs.CV cs.LG stat.ML
Let's Agree to Degree: Comparing Graph Convolutional Networks in the Message-Passing Framework
University of Antwerp（安特卫普大学）；Max Planck Institute for Software Sciences（马克斯·普朗克软件科学研究所）
在本文中，我们铸造的神经网络定义在图上的消息传递神经网络（MPNNs），以研究不同类别的这种模型的区分能力。我们感兴趣的是，某些架构是否能够根据图形输入的特征标签区分顶点。我们考虑两种变体的MPNNS：匿名MPNN的消息功能只依赖于标签的顶点所涉及的;度感知MPNN中的消息功能可以另外使用有关的顶点的程度的信息。前一类涵盖了一个流行的形式化计算函数的图：图神经网络（GNN）。后者涵盖了所谓的图卷积网络（GCN），这是Kipf和Welling最近引入的GNN变体。我们得到的下界和上界的区分能力的Weisfeiler-Lehman（WL）算法的MPNNs的区分能力。我们的研究结果表明：（i）GCN的区分能力是由WL算法的限制，但他们是一个步骤的领先;（ii）WL算法不能模拟的“普通”GCN，但增加了一个权衡参数之间的功能的顶点和它的邻居（Kipf和Welling自己提出的）解决了这个问题。
2020-04-06 cs.LG stat.ML
