The expressive power of pooling in Graph Neural Networks
UiT the Arctic University of Norway（挪威北极大学）；NORCE, Norwegian Research Centre AS（挪威研究中心NORCE AS）；University of Siena（锡耶纳大学）
本研究为图神经网络中的池化算子提出保留消息传递层表达能力的充分条件，作为选择或设计池化算子的理论标准，并实证验证其对图同构测试的影响。
2023-10-12 cs.LG
Ginex: SSD-enabled Billion-scale Graph Neural Network Training on a Single Machine via Provably Optimal In-memory Caching
Seoul National University（首尔国立大学）
最近，图神经网络（GNN）作为一种强大的工具，可以有效地为图结构数据的各种推理任务提供服务，因此受到了人们的关注。随着真实世界图形的规模不断扩大，GNN训练系统面临着可扩展性的挑战。分布式训练是通过扩展CPU节点来解决这一挑战的流行方法。然而，基于磁盘的GNN训练并没有受到太多关注，它可以通过利用NVMe SSD等高性能存储设备以更经济高效的方式扩展单节点系统。我们观察到，主存储器和磁盘之间的数据移动是基于SSD的训练系统的主要瓶颈，而传统的GNN训练管道在不考虑这种开销的情况下是次优的。因此，我们提出了Ginex，这是第一个基于SSD的GNN训练系统，可以在一台机器上处理数十亿规模的图数据集。受编译器优化中的检查器-执行器执行模型的启发，Ginex通过分离采样和收集阶段来重构GNN训练管道。这种分离使Ginex能够实现一种可证明的最佳替换算法，称为Belady算法，用于在内存中缓存特征向量，这些特征向量占I/O访问的主要部分。根据我们对40亿级图数据集的评估，Ginex的训练吞吐量平均比SSD扩展的PyTorch Geometric高2.11倍（最高可达2.67倍）。
2022-08-19 cs.LG
Equivariant Hypergraph Neural Networks
KAIST（韩国科学技术院）；LG AI Research（LG人工智能研究院）
计算机视觉和机器学习中的许多问题都可以转换为表示高阶关系的超图上的学习。最近的超图学习方法扩展了基于消息传递的图神经网络，这是简单的，但从根本上限制了建模的长期依赖性和表达能力。另一方面，基于张量的等变神经网络具有最大的表达能力，但由于计算量大和对固定阶超边的严格假设，其应用在超图中受到限制。我们解决了这些问题，并提出了等变超图神经网络（EHNN），第一次尝试实现最大表达的一般超图学习的等变层。我们还提出了我们的框架的两个实际实现的基础上超网络（EHNN-MLP）和自我注意（EHNN-Transformer），这是很容易实现，理论上更有表现力的消息传递方法。我们展示了他们在一系列超图学习问题中的能力，包括合成k边识别，半监督分类和视觉关键点匹配，并报告了在强消息传递基线上的改进性能。我们的实现可以在https://github.com/jw9730/ehnn上获得。
2022-08-22 cs.LG
On the Expressive Power of Subgraph Graph Neural Networks for Graphs with Bounded Cycles
Massachusetts Institute of Technology（麻省理工学院）；Sierra Canyon School（塞拉峡谷学校）
本文研究 $k$-跳子图 GNN 的表达能力，证明其可逼近无长于 $2k+1$ 环的图上的任意置换不变/等变连续函数，并通过实验验证聚合距离与环大小的关系。
2025-02-06 cs.LG
Provably expressive temporal graph networks
Aalto University（阿尔托大学）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）；University of Manchester（曼彻斯特大学）；YaiYai Ltd（YaiYai有限公司）
时间图网络（TGN）作为嵌入动态交互的模型已经变得突出，但对其理论基础知之甚少。我们建立的基本结果的代表性的权力和限制的两个主要类别的TGNs：那些聚合的时间行走（WA-TGNs），和那些增强本地消息传递与经常性的记忆模块（MP-TGNs）。具体来说，新的结构揭示了MP-TGN和WA-TGN的不足，证明了这两个类别都不包含另一个。我们扩展的1-WL（Weisfeiler-Leman）测试时间图，并表明，最强大的MP-TGN应该使用内射更新，因为在这种情况下，他们成为表达的时间WL。此外，我们表明，足够深的MP-TGNs不能受益于内存，MP/WA-TGNs无法计算图形属性，如周长。这些理论的见解使我们PINT-一种新的架构，利用内射时间消息传递和相对位置的功能。重要的是，PINT可以证明比MP-TGN和WA-TGN更具表达力。PINT在几个真实世界的基准测试中显着优于现有的TGN。
2022-09-29 cs.LG
Improving the Expressiveness of $K$-hop Message-Passing GNNs by Injecting Contextualized Substructure Information
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出子结构编码函数并注入情境化子结构信息，以克服$K$跳消息传递GNN的局限性，在理论和实验上均显著提升了模型的表达能力与性能。
2024-06-27 cs.LG
Full-Spectrum Graph Neural Networks: Expressive and Scalable
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore 637371, Singapore（数学科学学院，物理与数学科学学院，南洋理工大学，新加坡637371，新加坡）
提出全谱图神经网络（FSpecGNN），通过将信号从节点域提升到节点对域并将单变量谱滤波器扩展为双变量滤波器，实现了对节点对信号的通用逼近，同时保持可扩展性。
2026-05-24 cs.LG
Provably Powerful Graph Neural Networks for Directed Multigraphs
IBM Research Europe（IBM欧洲研究院）
本文提出将标准消息传递GNN通过多重图端口编号、自我ID和反向消息传递转化为有向多重图神经网络，理论上可检测任意有向子图模式，实验显示在合成任务及金融犯罪检测中显著提升F1分数并超越基线。
2024-01-04 cs.AI cs.LG
Chordless Structure: A Pathway to Simple and Expressive GNNs
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
本文提出无弦结构图神经网络CSGNN，通过省略环中的弦来简化图结构，证明其表现力强于k跳GNN，并在真实数据集上以更低计算成本超越现有GNN及3-WL表现力模型。
2025-05-25 cs.LG
Random Search Neural Networks for Efficient and Expressive Graph Learning
University of Michigan（密歇根大学）
针对随机游走神经网络在稀疏图上覆盖不足的问题，提出随机搜索神经网络，保证节点全覆盖，理论降低采样复杂度，并具有同构不变性，在分子和蛋白质基准上优于现有方法。
2025-10-26 cs.LG
Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning
Purdue University（普渡大学）；Stanford University（斯坦福大学）
学习图中节点集的表示对于从节点角色发现到链接预测和分子分类的应用是至关重要的。图神经网络在图表示学习方面取得了巨大的成功。然而，GNN的表达能力受到1-Weisfeiler-Lehman（WL）测试的限制，因此GNN为实际上可能非常不同的图子结构生成相同的表示。最近通过模仿高阶WL测试提出的更强大的GNN只专注于表示整个图，并且它们在计算上效率低下，因为它们不能利用底层图的稀疏性。在这里，我们提出并数学分析了一般类的结构相关的功能，称为距离编码（DE）。DE帮助GNN表示任何节点集，同时提供比1-WL测试更严格的表达能力。DE捕获要学习其表示的节点集与图中每个节点之间的距离。为了捕获距离，DE可以应用各种图距离度量，例如最短路径距离或广义PageRank分数。我们提出了两种方式让GNN使用DE（1）作为额外的节点特征，以及（2）作为GNN中消息聚合的控制器。这两种方法都可以利用底层图的稀疏结构，从而提高计算效率和可扩展性。我们还证明了DE可以区分嵌入在几乎所有常规图中的节点集，而传统的GNN总是失败。我们评估DE在六个真实网络上的三个任务：结构角色预测，链接预测和三角预测。结果表明，我们的模型在准确性和AUROC方面优于没有DE的GNN高达15%。此外，我们的模型也明显优于其他专门为上述任务设计的最先进的方法。
2020-10-29 cs.LG stat.ML
Residual connections provably mitigate oversmoothing in graph neural networks
Massachusetts Institute of Technology（麻省理工学院）
本文基于乘性遍历定理推导归一化顶点相似性度量的收敛速率，证明残差连接能在多类参数分布下缓解或防止深层 GNN 的过平滑，并经数值实验验证。
2025-01-04 cs.LG math.DS math.PR
Walk Message Passing Neural Networks and Second-Order Graph Neural Networks
University of Antwerp（安特卫普大学）
消息传递神经网络（MPNN）的表达能力与一维Weisfeiler-Leman图（1-WL）同构测试的表达能力相当。为了提高MPNN的表达能力，最近提出了许多基于高维Weisfeiler-Leman测试的图神经网络架构。在本文中，我们考虑的二维（2-WL）的测试，并介绍了一种新类型的MPNN，称为$\ell$行走MPNN，聚合功能沿行走的长度$\ell$之间的顶点。我们发现，$2$ -walk MPNN的表达能力与2-WL相匹配。更一般地说，对于任何$\ell\geq 2$，$\ell$ -游走MPNN都显示出与最近引入的$\ell$ -游走精化过程（W[ $\ell$ ]）的表达能力相匹配.基于2-WL和W[ $\ell$ ]之间的对应关系，我们观察到$\ell$ -walk MPNN和$2$ -walk MPNN具有相同的表达能力，即，它们可以区分相同的图对，但是$\ell$ -行走MPNN可能比$2$ -行走MPNN更快地区分图对。当涉及到在表达能力上与2-WL或W[ $\ell$ ]匹配的具体可学习图神经网络（GNN）形式时，我们考虑允许非线性层的二阶图神经网络。特别地，为了在表达能力上与W[ $\ell$ ]相匹配，我们允许在每一层中进行$\ell-1$矩阵乘法。我们根据特征的类型（即，来自可数集或来自不可数集），因为这影响表示特征所需的维数。我们的研究结果表明，通过允许多…
2020-06-16 cs.LG stat.ML
Towards graph neural networks for provably solving convex optimization problems
RWTH Aachen University（亚琛工业大学）
本文提出一种迭代式消息传递图神经网络框架，可证明地模拟内点法并保证可行性，在凸优化问题求解质量、泛化性和速度上优于现有神经基线及部分商业求解器。
2025-02-04 cs.AI cs.LG cs.NE
Weisfeiler and Leman Go Infinite: Spectral and Combinatorial Pre-Colorings
Technion – Israel Institute of Technology（以色列理工学院）
图的同构测试通常通过比较图的不变量来实现。在表达能力和计算效率之间提供良好折衷的两种流行替代方案是组合的（即，通过Weisfeiler-Leman（WL）检验获得）和谱不变量。虽然后者的确切功率仍然是一个悬而未决的问题，但当使用统一预着色的标准配置时，前者经常因其有限的功率而受到批评。这一缺陷阻碍了消息传递图神经网络（MPGNNs）的应用，其表达能力是由WL测试的上限。放松均匀预着色的假设，我们表明，可以无限地增加WL测试的表达能力。接下来，我们提出了一种基于光谱特征的高效预着色方法，可以证明它可以提高vanilla WL测试的表达能力。上述主张伴随着大量的合成和真实数据实验。复制我们实验的代码可以在https://github.com/TPFI22/Spectral-and-Combinatorial上找到。
2022-03-02 cs.DS cs.LG
How Expressive Are Graph Neural Networks in the Presence of Node Identifiers?
Institute for Logic Language and Computation（逻辑语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Oxford（牛津大学）；Lehrstuhl Informatik 7（信息学7系）；RWTH Aachen University（亚琛工业大学）
本文研究了在存在唯一节点标识符时，图神经网络的表达能力，探讨了其在不同聚合方式下的表现。
2026-01-29 cs.LG cs.LO
The Expressive Power of Graph Neural Networks: A Survey
College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）
本文首次综述不同定义下增强图神经网络表达能力的模型，并按图特征、图拓扑和 GNN 架构增强三类系统梳理相关工作。
2025-01-10 cs.LG cs.SI
Scaling Weisfeiler-Leman Expressiveness Analysis to Massive Graphs with GPUs
IMT Lucca（IMT卢塞恩大学）；Sapienza University Rome（罗马大学）
研究Weisfeiler-Leman测试稳定着色计算瓶颈，提出线性代数解释，给出随机细化算法及批处理方案，映射到GPU原语，实现加速并能处理大规模图。
2026-07-07 cs.DC cs.LG
Path Neural Networks: Expressive and Accurate Graph Neural Networks
École Polytechnique（巴黎综合理工学院）；Deezer Research（Deezer研究院）
针对标准图神经网络表达能力受限于1-WL算法的问题，提出通过聚合节点路径更新表示的路径神经网络，三种变体经理论与实验验证具备更强表达能力，且在图任务上多优于基线。
2023-06-09 cs.LG stat.ML
A new perspective on building efficient and expressive 3D equivariant graph neural networks
Chinese Academy of Sciences（中国科学院）；Cornell University（康奈尔大学）；Texas A&M University（得克萨斯农工大学）；Zhejiang University（浙江大学）
本文提出3D同构局部层级体系评估等变GNN表达力，并设计LSE与FTE两个关键模块，据此构建LEFTNet在分子性质预测任务上取得最先进性能。
2023-04-07 cs.AI cs.LG
Breaking the Expressive Bottlenecks of Graph Neural Networks
Dalian University of Technology（大连理工大学）
最近，Weisfeiler-Lehman（WL）图同构测试被用来衡量图神经网络（GNNs）的表达能力，表明邻域聚合GNNs在区分图结构方面最多与1-WL测试一样强大。还提出了类似于$k$测试（$k>1$）的改进。然而，这些GNN中的聚合器远不是WL测试所要求的内射，并且具有较弱的区分能力，使其成为表达瓶颈。在本文中，我们通过探索强大的聚合器来提高表达能力。我们用相应的聚合系数矩阵重新定义了聚合，然后系统地分析了构建更强大的聚合器甚至内射聚合器对聚合系数矩阵的要求。它也可以被看作是保持隐藏特征的秩的策略，并意味着基本聚合器对应于低秩变换的特殊情况。我们还展示了在聚合之前应用非线性单元的必要性，这与大多数基于聚合的GNN不同。基于我们的理论分析，我们开发了两个GNN层，ExpandingConv和CombConv。实验结果表明，我们的模型显着提高性能，特别是对于大型和密集连接的图形。
2020-12-14 cs.AI cs.LG
Reconstruction for Powerful Graph Representations
Purdue University（普渡大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
图神经网络（GNN）的表达能力有限，无法正确表示许多图类。虽然更具表现力的图表示学习（GRL）替代方案可以区分其中的一些类，但它们很难实现，可能无法很好地扩展，并且在现实任务中没有表现出优于调优的GNN。因此，设计简单，可扩展和表达的GRL架构，同时实现现实世界的改进仍然是一个开放的挑战。在这项工作中，我们展示了在何种程度上图重建-从它的子图重建图-可以减轻目前所面临的GRL架构的理论和实际问题。首先，我们利用图重构来构建两个新的表达图表示类。其次，我们展示了图重构如何增强任何GNN架构的表达能力，同时是一个（可证明）强大的归纳偏差，对顶点移除的不变性。从经验上讲，我们展示了重建如何提高GNN的表达能力-同时保持其对顶点排列的不变性-通过解决原始GNN无法解决的七个图形属性任务。此外，我们还展示了它如何在九个真实世界的基准数据集上提高最先进的GNN的性能。
2021-12-07 cs.AI cs.DM cs.LG
Unsupervised Constrained Community Detection via Self-Expressive Graph Neural Network
Amazon Science（亚马逊科学）；IBM Research（IBM研究院）；Indian Institute of Science（印度科学院）
图神经网络（GNN）能够在多个图下游任务（例如节点分类和链接预测）上实现有希望的性能。相对较少的工作已经完成，设计GNN，可以直接操作的社区发现图。传统上，GNN是在半监督或自监督损失函数上训练的，然后应用聚类算法来检测社区。然而，这种解耦的方法本质上是次优的。设计一个无监督的损失函数来训练GNN并以综合的方式提取社区是一个根本的挑战。为了解决这个问题，我们在文献中首次将自表达原理与自监督图神经网络框架相结合，用于无监督社区发现。我们的解决方案以端到端的方式进行训练，并在多个公开可用的数据集上实现最先进的社区发现性能。
2021-10-19 cs.LG cs.SI
Improved Knowledge Graph Embedding using Background Taxonomic Information
The University of British Columbia（不列颠哥伦比亚大学）
知识图谱用于以三元组的形式表示关系信息。为了能够学习域，可以使用嵌入模型（例如张量因子分解模型）来预测新的三元组。通常还应该考虑背景分类学信息（根据子类和亚特性）。我们表明，现有的充分表达（a.k.a.通用）模型不能证明地尊重子类和子属性信息。我们表明，最小的修改现有的知识图谱完成方法，使注入分类信息。此外，我们证明了我们的模型是完全表达，假设一个下限的嵌入的大小。公共知识图谱上的实验结果表明，尽管它的简单，我们的方法是令人惊讶的有效。
2018-12-07 cs.LG stat.ML
On Structural Expressive Power of Graph Transformers
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
针对图Transformer结构表达能力缺乏理论分析的问题，提出SEG-WL测试作为广义图同构算法，证明其为多种图Transformer表达能力上界，并据此开发了更强的SPIS结构编码方法。
2023-05-23 cs.AI cs.LG
Logical Expressiveness of Graph Neural Networks with Hierarchical Node Individualization
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一种具有层次节点个体化的图神经网络，通过理论分析和实验验证，展示了其在区分同构图方面的表达能力及实用性。
2026-01-23 cs.AI cs.LG cs.LO
Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction
Beijing University of Posts and Telecommunications（北京邮电大学）；National University of Singapore（新加坡国立大学）
针对谱图神经网络因拉普拉斯矩阵重复特征值导致表达能力受限的问题，提出特征值校正策略以增强特征值均匀分布，提升多项式滤波器拟合能力，并在合成与真实数据集上验证了优越性。
2025-02-23 cs.LG cs.SI
How Powerful are K-hop Message Passing Graph Neural Networks
Washington University in St. Louis（圣路易斯华盛顿大学）；Washington University School of Medicine（华盛顿大学医学院）；Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
图神经网络（GNN）最流行的设计范例是单跳消息传递-重复聚合来自单跳邻居的信息。然而，1跳消息传递的表达能力受到Weisfeiler-Lehman（1-WL）测试的限制。最近，研究人员通过同时聚合来自K跳邻居节点的信息，将1跳消息传递扩展为K跳消息传递。然而，没有工作分析的表达能力的K跳消息传递。在这项工作中，我们从理论上描述了K跳消息传递的表达能力。具体来说，我们首先正式区分两个不同的内核的K跳消息传递，这是经常被滥用在以前的作品。然后，我们表征的表达能力的K跳消息传递表明，它是更强大的1-WL，可以区分几乎所有的正则图。尽管更高的表达能力，我们表明，K跳消息传递仍然不能区分一些简单的正则图，其表达能力是由3-WL的范围。为了进一步增强其表达能力，我们引入了KP-GNN框架，该框架通过利用每一跳中的外围子图信息来改进K跳消息传递。我们表明，KP-GNN可以区分许多距离正则图，不能区分以前的距离编码或3-WL方法。实验结果验证了KP-GNN的表达能力和有效性。KP-GNN在所有基准数据集上都取得了有竞争力的结果。
2023-01-06 cs.AI cs.LG
From Relational Pooling to Subgraph GNNs: A Universal Framework for More Expressive Graph Neural Networks
Tsinghua University（清华大学）；Peking University（北京大学）
本文提出从关系池化出发，通过显式节点标签和$k,l$-WL算法构建通用框架，统一子图GNN并提升任意基础GNN的表达力，实验验证其优越性能。
2023-05-08 cs.AI cs.LG
On the Expressive Power of Graph Neural Networks
本文梳理了图神经网络表达能力的多种研究视角与定义，包括通用逼近特性、图结构区分能力、图属性计算能力等，为GNN架构设计提供理论参考与见解。
2024-03-08 cs.AI cs.LG
Hyper-Fold: Exploring the Expressive Limit of Sequence-Geometry Learning for Proteins via Hypergraph Modeling
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Shanghai University（上海大学）；Xi’an Jiaotong University（西安交通大学）
Hyper-Fold通过超图建模探索蛋白质序列-几何学习的表达极限，其相关变体在多项蛋白质结构相关任务中取得最优结果，且Hyper-Fold-Pocket性能优于对比模型，参数与延迟更优。
2026-09-02 cs.AI cs.LG
On the Stability of Expressive Positional Encodings for Graphs
Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）；Stanford University（斯坦福大学）；Tongji University（同济大学）；Peking University（北京大学）；MIT（麻省理工学院）
本文针对图拉普拉斯特征向量位置编码的不稳定性问题，提出SPE架构，通过特征值软划分特征空间，实现可证明稳定且具有通用表达性的位置编码，并在分子性质预测和分布外泛化任务上验证了其优越性。
2024-06-08 cs.AI cs.LG
How Powerful are Spectral Graph Neural Networks
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
谱图神经网络是一种基于图信号滤波器的图神经网络。最近出现了一些能够学习任意光谱滤波器的模型。然而，很少有作品分析谱GNNs的表达能力。本文从理论上研究了谱GNN的表达能力。我们首先证明了即使没有非线性的谱GNNs也可以产生任意的图形信号，并给出了达到普适性的两个条件。它们是：1）没有图拉普拉斯的重特征值，2）没有丢失的频率分量的节点特征。我们还建立了谱GNN的表达能力和图同构（GI）测试之间的联系，后者通常用于表征空间GNN的表达能力。此外，我们从优化的角度研究了具有相同表达能力的不同谱GNN之间的经验性能差异，并鼓励使用正交基，其权重函数对应于谱中的图形信号密度。受分析的启发，我们提出了JacobiConv，它使用Jacobi基，由于其正交性和灵活性，以适应广泛的权重函数。JacobiConv放弃了非线性，同时在合成和真实世界的数据集上都优于所有基线。
2022-06-17 cs.AI cs.LG
Bridging Theory and Practice in Link Representation with Graph Neural Networks
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）；University of Aalborg（奥胡斯大学）
本文首次全面研究了GNN在链接表示中的表达能力，提出统一框架和合成评估基准，证明表达能力强的模型在对称性高的数据上表现更优。
2025-06-30 cs.AI cs.LG
Towards Expressive Spectral-Temporal Graph Neural Networks for Time Series Forecasting
Griffith University（格里菲斯大学）；Monash University（莫纳什大学）；University of Stuttgart（斯图加特大学）；Alibaba Group（阿里巴巴集团）；University of New South Wales（新南威尔士大学）；Emory University（埃默里大学）；Squirrel Ai Learning
本文建立理论框架揭示谱时图神经网络的表达能力，提出线性组件TGGC模型，在时间序列预测中显著优于现有方法，并提升模型效率。
2025-02-23 cs.AI cs.LG
Empowering GNNs via Edge-Aware Weisfeiler-Leman Algorithm
Texas A&M University（得克萨斯A&M大学）
本文提出边感知的 NC-1-WL 及其神经版本 NC-GNN，在保持消息传递可扩展性的同时，使表达能力严格介于 1-WL 与 3-WL 之间，并在基准实验中验证其效果与效率。
2024-01-23 cs.AI cs.LG
On the Expressive Power of Spectral Invariant Graph Neural Networks
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
本文提出统一框架EPNN，系统分析了各类谱不变GNN的表达能力层级，证明其严格弱于3-WL，并探讨了与更强GNN结合的潜力。
2024-06-06 cs.DM cs.DS cs.LG
Theoretically Expressive and Edge-aware Graph Learning
University of Pisa（比萨大学）
我们提出了一个新的图神经网络，结合了该领域的最新进展。通过证明该模型比图同构网络和门控图神经网络更严格地通用，因为它可以近似相同的函数并处理任意的边值，我们给出了理论贡献。然后，我们展示了单个节点信息如何在图中流动而不改变。
2020-01-24 cs.AI cs.LG stat.ML
The Logical Expressiveness of Topological Neural Networks
Aalto University（阿alto大学）；Federal Institute of Ceará（塞阿拉联邦理工学院）；YaiYai Ltd（YaiYai公司）
本文研究拓扑神经网络的逻辑表达能力，通过分析拓扑同构测试和引入拓扑计数逻辑，证明k-CCWL与TC_{k+2}及拓扑(k+2)-pebble游戏的等价性，确立了TNN的逻辑表达理论。
2026-04-21 cs.LG cs.LO
Expressive Power of Invariant and Equivariant Graph Neural Networks
ENS, PSL University（巴黎高等师范学院，巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）
各种类型的图神经网络（GNN）已经被提出，并被证明是成功的，在广泛的应用程序与图形结构的数据。在本文中，我们提出了一个理论框架，能够比较这些GNN架构的表达能力。目前的普适性定理只适用于难以处理的GNN类。在这里，我们证明了实用GNN的第一近似保证，为更好地理解其泛化铺平了道路。我们的理论结果被证明为不变的GNNs计算图嵌入（输入图的节点的置换不影响输出）和等变的GNNs计算节点的嵌入（输入的置换置换输出）。我们表明，Folklet图神经网络（FGNN），这是张量为基础的GNNs增强矩阵乘法是迄今为止提出的最具表现力的架构为一个给定的张量顺序。我们通过展示FGNNs能够学习如何解决问题来说明我们在二次分配问题（NP难组合问题）上的结果，从而比现有算法（基于谱，SDP或其他GNNs架构）具有更好的平均性能。在实践方面，我们还实现了掩码张量来处理不同大小的批量图。
2021-06-06 cs.DM cs.LG stat.ML
How Expressive are Graph Neural Networks in Recommendation?
The University of Hong Kong（香港大学）
本文从图同构、节点自同构和拓扑接近度三个层次理论分析GNN在推荐中的表达能力，提出拓扑接近度度量及相应的无学习GNN算法，并通过与最先进GNN模型的对比实验验证该度量在推荐任务中的可解释性。
2023-09-15 cs.IR cs.LG cs.SI
On the Expressive Power of Geometric Graph Neural Networks
University of Cambridge（剑桥大学）；Qualcomm AI Research（高通人工智能研究中心）
本文提出尊重置换、旋转、反射和平移对称性的几何 WL 测试 GWL，用以刻画几何 GNN 的表达能力，并阐明不变层、等变层、高阶张量与标量化对区分几何图及通用逼近的作用。
2024-03-03 cs.LG math.GR stat.ML
Provably efficient neural network representation for image classification
California Institute of Technology（加州理工学院）
用于图像分类的现有技术方法基于神经网络。从数学上讲，对图像进行分类的任务相当于找到将图像映射到与之相关联的标签的函数。为了严格地建立神经网络方法的成功，我们应该首先证明函数具有有效的神经网络表示，然后设计可证明有效的训练算法来找到这样的表示。在这里，我们实现了第一个目标的基础上，对图像中的模式的一组假设。这些假设的有效性在许多图像分类问题中是非常直观的，包括但不限于识别手写数字。
2017-11-13 cs.LG
MAML and ANIL Provably Learn Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）
本文从理论上证明 MAML、ANIL 及其一阶近似能在多任务线性表征学习中以指数速率恢复真实共享表征，并解释最后一层适配利用任务多样性是关键机制。
2023-06-04 cs.LG
Normalizing self-supervised learning for provably reliable Change Point Detection
Applied AI Center Skoltech（斯科尔科沃科学技术研究院应用人工智能中心）
针对传统无监督变化点检测（CPD）的局限性及表示学习方法缺乏理论基础的问题，本文将谱归一化（SN）整合到深度表示学习中，证明其嵌入对CPD的信息性，且在三个标准数据集上显著优于现有方法。
2024-12-03 cs.AI cs.LG
1-Lipschitz Neural Networks are more expressive with N-Activations
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
本文研究激活函数在1-Lipschitz神经网络中的作用，指出常用两段分段线性激活函数限制了表达能力，并提出表达能力更强的N-activation函数。
2024-06-03 cs.LG
Provably Accurate Adaptive Sampling for Collocation Points in Physics-informed Neural Networks
1 Hubert Curien Laboratory, Jean Monnet University, Saint-\'Etienne, France
针对 PINN 配置点采样问题，本文基于 PDE 残差 Hessian 和新型定积分求积法提出一种可证明准确的自适应采样方法，并在一维、二维 PDE 实验中验证其优势。
2025-06-10 cs.LG
1-WL Expressiveness Is (Almost) All You Need
NEC Laboratories Europe GmbH（NEC欧洲实验室有限责任公司）
事实证明，消息传递神经网络（MPNN）是一种流行的用于图结构数据的神经网络家族，其表达能力最多与一阶Weisfeiler-Leman（1-WL）图同构测试一样，这促进了更具表达力的架构的开发。在这项工作中，我们分析了有限的表达能力是否实际上是标准图数据集中MPNN和其他基于WL的模型的限制因素。有趣的是，我们发现WL的表现力足以识别大多数数据集中的几乎所有图。此外，我们发现，分类精度上限往往接近100%。此外，我们发现，简单的WL为基础的神经网络和几个MPNN可以适合几个数据集。总之，我们的结论是WL/MPNN的性能并不局限于他们的表现力在实践中。
2022-02-21 cs.LG
A Theoretical Study of Neural Network Expressive Power via Manifold Topology
Stony Brook University（石溪大学）；CUNY Queens College（纽约城市大学皇后学院）
该研究结合数据流形的拓扑与几何特征，从潜在流形角度探究神经网络表达能力，推导得出ReLU神经网络的规模上界，丰富了流形视角下的网络表达能力理论。
2024-10-29 cs.LG
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比，我们考虑了一组通用的平滑激活函数。在这种更一般的设置下，（i）我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界，（ii）我们提出了一个算法，可证明次线性遗憾界，也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣，以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
Expressive power of recurrent neural networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Institute of Numerical Mathematics RAS（俄罗斯科学院数值数学研究所）
深度神经网络在解决实际任务方面的效率令人惊讶，但这一现象背后的理论才刚刚开始赶上实践。大量的工作表明，深度是这种效率的关键。某一类深度卷积网络--即对应于分层塔克（HT）张量分解的网络--已被证明具有比浅层网络更高的表达能力。即，需要指数宽度的浅网络来实现与深度架构计算的相同的得分函数。在本文中，我们证明了表达能力定理（指数下界的宽度等效浅网络）的一类循环神经网络-对应于张量训练（TT）分解。这意味着，即使用RNN逐块处理图像，也可以比具有一个隐藏层的（浅）卷积网络以指数方式更有效。使用张量分解之间的关系的理论结果，我们比较HT和TT网络的表达能力。我们还实现了经常性的TT网络，并提供了它们的表现力的数值证据。
2018-02-07 cs.LG
SHAP Meets Tensor Networks: Provably Tractable Explanations with Parallelism
LIRMM, UMR 5506, University of Montpellier, CNRS（蒙彼利埃大学LIRMM研究所，法国国家科研中心）；The Hebrew University of Jeursalem（耶路撒冷希伯来大学）
本文研究了张量网络中SHAP解释的计算问题，提出了一种通用框架，证明了在张量网络结构下，通过并行计算可实现多项式对数时间复杂度的SHAP计算，从而改进了多种机器学习模型的复杂度分析。
2026-03-19 cs.CC cs.FL cs.LG
Depth and Feature Learning are Provably Beneficial for Neural Network Discriminators
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
我们在$\mathbb{R}^d$上构造分布对$μ_d, ν_d$，使得对于具有多项式宽度和权重的三层ReLU网络$F$，数量$|\mathbb{E}_{x \sim μ_d} [F(x)] - \mathbb{E}_{x \sim ν_d} [F(x)]|$以$Ω(1/d^2)$的形式减少，而如果$F$是具有多项式权重的任何两层网络，则在$d$中呈指数下降。这表明深GAN鉴别器能够区分浅鉴别器不能区分的分布。类似地，我们在$\mathbb{R}^d$上构建分布对$μ_d, ν_d$，使得对于具有多项式权重的双层ReLU网络，$|\mathbb{E}_{x \sim μ_d} [F(x)] - \mathbb{E}_{x \sim ν_d} [F(x)]|$随着$Ω(1/(d\log d))$而减少，而对于相关RKHS中的有界范数函数，则呈指数下降。这证实了特征学习对鉴别器是有益的。我们的边界是基于傅立叶变换。
2021-12-27 cs.LG
HyResPINNs: A Hybrid Residual Physics-Informed Neural Network Architecture Designed to Balance Expressiveness and Trainability
Scientific Computing Institute（科学计算研究所）；University of Utah（犹他大学）；Kahlert School of Computing（Kahlert 计算学学院）
HyResPINNs通过混合残差物理信息神经网络架构，在保持训练效率的同时提升PDE求解的准确性。
2026-01-27 cs.LG
