A Geometric Insight into Equivariant Message Passing Neural Networks on Riemannian Manifolds
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Université Paris-Saclay（巴黎萨克雷大学）；University of Cambridge（剑桥大学）
本文通过度量保持的最优嵌入准则，将等变消息传递建模为扭曲Polyakov作用量最小化导出的扩散过程，并离散化得到高阶等变GNN，推广ACE/MACE至黎曼流形。
2023-10-16 cs.LG stat.ML
E(n) Equivariant Message Passing Simplicial Networks
University of Amsterdam（阿姆斯特丹大学）
本文提出 E(n) 等变消息传递单纯复形网络（EMPSNs），通过学习高维单纯形特征并引入几何信息，提升了几何图学习的等变性与性能，有效缓解过平滑问题。
2023-10-22 cs.AI cs.LG
Equivariant Graph Hierarchy-Based Neural Networks
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Tencent AI Lab（腾讯人工智能实验室）
等变图神经网络（EGN）是描述多体物理系统动力学的一种有效方法。现有的EGN进行平面消息传递，这，然而，是无法捕捉的空间/动态层次结构的复杂系统，特别是，限制子结构发现和全球信息融合。在本文中，我们提出了基于等变层次图网络（EGHN），它包括三个关键组件：广义等变矩阵消息传递（EMMP），E-Pool和E-UpPool。EMMP能够提高传统等变消息传递的表达能力，E-Pool将底层节点的数量分配到高层簇中，E-UpPool利用高层信息更新底层节点的动态。正如它们的名字所暗示的，E-Pool和E-UpPool都保证是等变的，以满足对称性。大量的实验评估验证了我们的EGHN的有效性，包括多目标动力学模拟，运动捕捉，蛋白质动力学建模的几个应用程序。
2022-10-15 cs.LG
Utility of Equivariant Message Passing in Cortical Mesh Segmentation
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Imperial College London（帝国理工学院）；DeepMind（深度思维）
大脑皮层区域的自动分割一直是医学图像分析中的一个长期挑战。大脑皮层的复杂几何形状通常表示为多边形网格，其分割可以通过基于图的学习方法来解决。当皮质网格在受试者之间未对齐时，当前方法产生显著更差的分割结果，限制了其处理多域数据的能力。在本文中，我们研究了E（n）-等变图神经网络（EGNNs）的效用，比较了它们与普通图神经网络（GNNs）的性能。我们的评估表明，GNN在对齐网格上的性能优于EGNN，因为它们能够利用全局坐标系的存在。在未对齐的网格上，普通GNN的性能大幅下降，而E（n）-等变消息传递保持相同的分割结果。通过在重新对齐的数据（全局坐标系中的共配准网格）上使用普通GNN也可以获得最佳结果。
2022-06-15 cs.CV cs.LG
EDEN: A Plug-in Equivariant Distance Encoding to Beyond the 1-WL Test
Shanghai Jiao Tong University（上海交通大学）
消息传递机制是图表示学习的核心。虽然大多数现有的消息传递图神经网络（MPNN）在图级表示学习中是置换不变的，而在节点和边级表示学习中是置换等变的，但它们的表达能力通常受到1-Weisfeiler-Lehman（1-WL）图同构测试的限制。最近提出的表达图神经网络（GNNs）与专门设计的复杂的消息传递机制是不实用的。为了弥补这一差距，我们提出了一个插件等变距离ENcoding（EDEN）的MPNN。EDEN是从图的距离矩阵上的一系列可解释的变换中推导出来的。我们从理论上证明了EDEN对所有层次的图表示学习都是置换等变的，并从实验上证明了EDEN的表达能力可以达到3-WL测试。在真实世界数据集上进行的大量实验表明，将EDEN与传统的GNN相结合超越了最近的先进GNN。
2022-11-19 cs.LG
Building powerful and equivariant graph neural networks with structural message-passing
EPFL（洛桑联邦理工学院）
消息传递已被证明是设计图神经网络的一种有效方法，因为它能够利用置换等方差和对学习局部结构的归纳偏差，以实现良好的泛化。然而，目前的消息传递架构具有有限的表示能力，并且无法学习图的基本拓扑属性。我们解决这个问题，并提出了一个强大的和equivariant消息传递框架的基础上两个想法：第一，我们传播一个热编码的节点，除了功能，为了学习每个节点周围的本地上下文矩阵。该矩阵包含关于特征和拓扑的丰富的本地信息，并且最终可以被合并以构建节点表示。其次，我们提出的方法参数化的消息和更新功能，确保置换等变性。具有独立于独热编码的特定选择的表示允许归纳推理并导致更好的泛化属性。实验上，我们的模型可以比以前的方法更准确地预测合成数据的各种图拓扑属性，并在ZINC数据集上的分子图回归方面取得了最先进的结果。
2020-10-23 cs.LG stat.ML
Equivariant Hypergraph Neural Networks
KAIST（韩国科学技术院）；LG AI Research（LG人工智能研究院）
计算机视觉和机器学习中的许多问题都可以转换为表示高阶关系的超图上的学习。最近的超图学习方法扩展了基于消息传递的图神经网络，这是简单的，但从根本上限制了建模的长期依赖性和表达能力。另一方面，基于张量的等变神经网络具有最大的表达能力，但由于计算量大和对固定阶超边的严格假设，其应用在超图中受到限制。我们解决了这些问题，并提出了等变超图神经网络（EHNN），第一次尝试实现最大表达的一般超图学习的等变层。我们还提出了我们的框架的两个实际实现的基础上超网络（EHNN-MLP）和自我注意（EHNN-Transformer），这是很容易实现，理论上更有表现力的消息传递方法。我们展示了他们在一系列超图学习问题中的能力，包括合成k边识别，半监督分类和视觉关键点匹配，并报告了在强消息传递基线上的改进性能。我们的实现可以在https://github.com/jw9730/ehnn上获得。
2022-08-22 cs.LG
Learning Local Equivariant Representations for Large-Scale Atomistic Dynamics
Harvard University（哈佛大学）；Robert Bosch LLC Research and Technology Center（罗伯特·博世有限责任公司研究与技术中心）
同时精确和计算效率高的分子和材料的能量和原子力的参数化是自然科学的长期目标。为了实现这一目标，神经消息传递通过沿着原子图迭代传递消息来描述原子的多体相关性，从而导致了范式转变。然而，这种信息的传播使得并行计算变得困难，并且限制了可以研究的长度尺度。另一方面，严格的基于局部的方法可以扩展到大型系统，但目前无法与消息传递方法所观察到的高精度相匹配。这项工作引入了Allegro，这是一种严格的局部等变深度学习原子间势，同时具有出色的并行计算精度和可扩展性。Allegro使用一系列学习的等变表示的张量积来学习原子坐标的多体函数，但不依赖于消息传递。Allegro在QM 9和修订的MD-17数据集上获得了最先进方法的改进。在QM 9基准测试中，单个张量积层的性能优于现有的深度消息传递神经网络和Transformers。此外，Allegro显示出显着的泛化分布外的数据。基于Allegro的分子动力学模拟与第一性原理计算非常一致地恢复了无定形磷酸盐电解质的结构和动力学性质。最后，我们展示了并行缩放的Allegro与1亿个原子的动力学模拟。
2022-04-11 cond-mat.mtrl-sci cs.LG physics.chem-ph
Equivariant Cellular Sheaves for Molecular Electronic Structure: Bridging Sheaf Cohomology and E(3)-Equivariant Hamiltonian Learning
Elkins High School（埃尔金斯高中）
本文提出等变胞层网络，将分子哈密顿量建模为胞层拉普拉斯算子，兼具拓扑性质与E(3)等变性，在共轭分子非键轨道预测等任务上性能更优。
2026-08-26 cs.LG physics.chem-ph
Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）；Tencent（腾讯）
图神经网络（GNN）是一种新兴的基于图的机器学习模型。置换等方差和邻近感知是GNN非常需要的两个重要属性。这两个属性都需要解决一些具有挑战性的图形问题，例如寻找社区和领导者。在本文中，我们首先分析表明，现有的GNNs，主要是基于消息传递机制，不能同时保持这两个属性。然后，我们提出了随机消息传递（SMP）模型，一个通用的和简单的GNN保持接近意识和置换等变性。为了保持节点的邻近性，我们用随机节点表示来增强现有的GNN。我们从理论上证明了该机制可以使GNN保持节点的邻近性，同时，保持一定的参数化的置换等变性。我们报告了广泛的实验结果，在10个数据集上，并证明了SMP的有效性和效率的各种典型的图挖掘任务，包括图重建，节点分类，和链接预测。
2022-02-22 cs.LG stat.ML
Higher-Rank Irreducible Cartesian Tensors for Equivariant Message Passing
NEC Laboratories Europe（欧洲NEC实验室）；NEC Italy（意大利NEC）；University of Stuttgart（斯图加特大学）
针对现有等变消息传递模型计算量大或架构灵活性不足的问题，本研究将高阶不可约笛卡尔张量积融入消息传递神经网络，证明其等变与无迹特性，在多基准数据集上取得了媲美或优于现有最优模型的表现。
2024-11-02 cs.LG physics.comp-ph
Geometric and Physical Quantities Improve E(3) Equivariant Message Passing
University of Amsterdam（阿姆斯特丹大学）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；UvA-Bosch DeltaLab（阿姆斯特丹大学-博世德尔塔实验室）
包括协变信息，如位置，力，速度或自旋在计算物理和化学中的许多任务中是重要的。我们引入了可操纵E（3）等变图神经网络（SEGNN），它推广了等变图网络，使得节点和边属性不限于不变标量，而是可以包含协变信息，如向量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中结合几何和物理信息。通过定义可操纵节点属性，MLP提供了一类新的激活函数，可与可操纵特征场一起通用。我们通过等变非线性卷积的镜头来讨论我们和相关工作，这进一步使我们能够确定SEGNN的成功组件：非线性消息聚合改进了经典的线性（可转向）点卷积;可转向消息改进了最近发送不变消息的等变图网络。我们证明了我们的方法在计算物理和化学的几个任务的有效性，并提供了广泛的消融研究。
2022-03-26 cs.AI cs.LG stat.ML
Molecule Graph Networks with Many-body Equivariant Interactions
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学物理与数学科学学院）；Center for Basic Research on Materials, National Institute for Materials Science（材料基础研究机构，日本国家材料科学研究所）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）
针对消息传递神经网络中两体键向量抵消导致方向信息丢失的问题，提出显式整合l=1等变多体相互作用的ENINet，经数学证明必要性并推广到N体，实验显示其提升了多种量子化学性质的预测精度。
2025-07-31 cond-mat.mtrl-sci cs.LG
Bayesian E(3)-Equivariant Interatomic Potential with Iterative Restratification of Many-body Message Passing
Sungkyunkwan University（成均馆大学）；Institute for Basic Science (IBS)（基础科学研究院）；Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）；Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；Gwangju Institute of Science and Technology（光州科学技术院）；KAIST（韩国科学技术院）
本文提出一种贝叶斯E(3)等价机器学习势，通过迭代重分配多体信息传递来解决不确定性量化问题，提升了能量和力的预测精度，并在主动学习和异常检测中表现出色。
2026-04-08 cs.LG
P-Tensors: a General Formalism for Constructing Higher Order Message Passing Networks
Department of Computer Science（计算机科学系）；University of Chicago（芝加哥大学）；Computational and Applied Math Department of Statistics（计算与应用数学统计系）；Department of Statistics（统计系）
本文提出P-张量作为一种通用形式化方法，用于构建高阶信息传递网络，通过在子图神经网络中实现高阶排列等价的信息传递，从而在分子数据集上取得最佳性能。
2026-02-03 cs.LG math.ST stat.ML
Gauge-Equivariant Graph Neural Networks for Lattice Gauge Theories
Department of Physics, University of Virginia, Charlottesville, VA 22904, USA（弗吉尼亚大学物理系）；Department of Computer Science, Old Dominion University, Norfolk, VA 22904, USA（老 Dominion 大学计算机科学系）
本文提出一种 gauge-等价图神经网络，通过矩阵值 gauge-协变 特征和对称兼容更新，实现非阿贝尔对称的嵌入，扩展了 equivariant 学习到完全局部对称。
2026-04-22 cond-mat.str-el cs.LG hep-lat
A Clifford Algebraic Approach to E(n)-Equivariant High-order Graph Neural Networks
National University of Singapore（新加坡国立大学）
针对现有 EGNN 表达能力受限及高阶图网络缺乏等变性的问题，本文提出基于 Clifford 代数的 CG-EGNN，以高阶与 $k$-hop 消息传递增强几何图学习，并在多个基准上验证其优势。
2025-03-13 cs.LG stat.ML
Multiresolution Equivariant Graph Variational Autoencoder
University of Chicago（芝加哥大学）
在本文中，我们提出了多分辨率等变图变分自编码器（MGVAE），第一个层次的生成模型学习和生成图形的多分辨率和等变的方式。在每个分辨率级别上，MGVAE采用高阶消息传递来编码图形，同时学习将其划分为互斥的集群并粗化为最终创建潜在分布层次结构的较低分辨率。然后，MGVAE构建了一个分层生成模型，变分解码成一个层次的粗化图。重要的是，我们提出的框架是端到端的置换等变的节点排序。MGVAE通过几个生成任务实现了有竞争力的结果，包括通用图生成、分子生成、预测分子性质的无监督分子表示学习、引文图上的链接预测和基于图的图像生成。
2022-06-28 cs.LG cs.SI physics.chem-ph
Lorentz Local Canonicalization: How to Make Any Network Lorentz-Equivariant
ITP, Heidelberg University, Germany（海德堡大学ITP, 德国）；CP3, UCLouvain, Belgium（列日大学CP3, 比利时）；IWR, Heidelberg University, Germany（海德堡大学IWR, 德国）
提出LLoCa框架，通过等变局部参考系使任意骨干网络精确洛伦兹等变，构建变换器与图网络，在粒子物理任务上达到最先进精度且速度提升4倍、计算量减少10倍。
2025-10-24 cs.LG hep-ph stat.ML
A Complete Guide to Spherical Equivariant Graph Transformers
University of Pennsylvania（宾夕法尼亚大学）
本指南介绍球面等变图变换器，涵盖群表示、张量积、等变核构建及SE(3)-Transformer架构，用于三维分子和生物分子系统的等变建模与预测。
2025-12-15 cs.LG q-bio.QM
NEMORA: Neural Equivariant Multipole Operators for Long-Range Atomistic Learning
Courant Institute（库朗研究所）；New York University（纽约大学）；Tandon School of Engineering（坦登工程学院）；The University of Chicago（芝加哥大学）
NEMORA是FMM的神经等变扩展，可线性复杂度处理数十万个原子，在非局部基准上大幅降低力和能量误差，性能优于或媲美现有长程方法。
2026-10-09 cs.LG physics.chem-ph physics.comp-ph
Equivariant neural networks for recovery of Hadamard matrices
Inductiva Research Labs（Inductiva Research Labs（Inductiva研究实验室））
我们提出了一个消息传递神经网络架构设计成等变的列和行排列的矩阵。我们说明了它的优势，传统的架构，如多层感知器（MLP），卷积神经网络（CNN），甚至Transformers，在组合优化任务恢复一组删除的条目的阿达玛矩阵。我们认为，这是几何深度学习原理在基础数学中的强大应用，也是使用机器学习技术对阿达玛猜想进行更多深入了解的潜在垫脚石。
2022-01-31 cs.DM cs.LG
Geometrically Equivariant Graph Neural Networks: A Survey
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
许多科学问题需要以几何图形的形式处理数据。与一般图形数据不同，几何图形表现出平移、旋转和/或反射的对称性。研究人员利用这种归纳偏差，开发了几何等变图神经网络（GNNs），以更好地表征几何图的几何和拓扑结构。尽管取得了丰硕的成果，但仍然缺乏一个综述来描述同变GNN是如何发展的，这反过来又阻碍了同变GNN的进一步发展。为此，基于必要但简洁的数学描述，我们分析并将现有方法分为三组，分别关于GNN中的消息传递和聚合如何表示。我们还总结了基准以及相关的数据集，以方便以后的研究方法的发展和实验评估。并对今后的发展方向进行了展望。
2022-02-22 cs.LG
XANE(3): An E(3)-Equivariant Graph Neural Network for Accurate Prediction of XANES Spectra from Atomic Structures
Chemical Sciences and Engineering Division（化学科学与工程部）
XANE(3)通过结合张量积消息传递与球谐函数边特征，利用等价层归一化和自适应门控残差连接，实现了从原子结构准确预测XANES光谱，并在铁氧化物表面晶面数据集上取得高精度结果。
2026-04-13 cond-mat.mtrl-sci cs.LG physics.chem-ph
Geometric Hyena Networks for Large-scale Equivariant Learning
Johnson and Johnson Innovative Medicine（强生创新制药）
针对大规模等变学习中计算复杂度高且易丢失全局信息的问题，提出首个等变长卷积模型Geometric Hyena，以亚二次复杂度捕获全局几何上下文并保持等变性，在大幅降低内存和计算开销的同时显著提升了处理速度与上下文长度。
2025-05-28 cs.LG
Unified theory of atom-centered representations and message-passing machine-learning schemes
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；National Centre for Computational Design and Discovery of Novel Materials (MARVEL)（新型材料计算设计与发现国家中心（MARVEL））
将分子和晶体结构与其微观性质相关联的数据驱动方案需要对其原子成分的排列进行简洁有效的描述。许多类型的模型依赖于对原子中心环境的描述，这些环境与原子属性或原子对广泛宏观量的贡献相关联。在这一类的框架可以理解的原子中心的密度相关性（ACDC），这是作为一个基础的身体有序，自适应扩展的目标。其他几个方案，收集信息的关系相邻原子使用“消息传递”的想法，不能直接映射到相关性围绕一个单一的原子。我们推广的ACDC框架，包括多中心的信息，生成表示，提供了一个完整的线性基础，回归对称函数的原子坐标，并提供了一个连贯的基础，系统化我们的理解原子为中心的和消息传递，不变和等变机器学习计划。
2022-04-01 cs.LG physics.chem-ph stat.ML
GEqTrain: A Configuration-Driven Framework for Retargeting Equivariant Graph Neural Networks Across 3D Scientific Tasks
Faculty of Biomedical Sciences, Euler Institute, Universitá della Svizzera italiana（瑞士意大利语区大学 生物医学科学学院欧拉研究所）
研究针对等变图神经网络重用受限问题，提出配置驱动框架GEqTrain，可通过配置重新定位到新任务，在多3D科学任务展示灵活性，还引入GEqDiff，验证其能力，目标是提升等变建模的可重复性、扩展性和可重用性。
2026-08-19 cs.LG q-bio.BM
StrainTensorNet: Predicting crystal structure elastic properties using SE(3)-equivariant graph neural networks
Chulalongkorn University（朱拉隆功大学）
本文提出StrainTensorNet，一种基于SE(3)-等变图神经网络的数据驱动方法，高效预测晶体弹性质，包括弹性模量、应变能量密度及弹性常数，并具备可解释性。
2023-11-10 cond-mat.dis-nn cond-mat.mtrl-sci cs.LG
Equivariant Networks for Crystal Structures
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）
基于深度模型的监督学习在材料科学中具有巨大的应用潜力。最近，图神经网络已被用于这方面，从分子模型中获得直接灵感。然而，材料通常比分子结构化得多，这是这些模型没有利用的特征。在这项工作中，我们介绍了一类模型是等变的结晶对称群。我们通过定义消息传递操作的一般化来实现这一点，这些操作可以与更一般的置换群一起使用，或者可以被视为在晶体图上定义表达卷积操作。从经验上讲，这些模型在属性预测任务上具有最先进的竞争力。
2023-01-16 cond-mat.mtrl-sci cs.LG
Symphony: Symmetry-Equivariant Point-Centered Spherical Harmonics for 3D Molecule Generation
Massachusetts Institute of Technology（麻省理工学院）；NVIDIA（英伟达公司）
提出Symphony，一种基于高阶E(3)-等变特征消息传递和球谐信号的3D分子自回归生成模型，能从QM9数据集准确生成小分子，性能超越现有自回归模型并接近扩散模型。
2024-09-21 cs.LG q-bio.BM
Equivariant Graph Mechanics Networks with Constraints
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在机器学习中，学习推理多个交互对象之间的关系和动态是一个具有挑战性的课题。挑战主要来自于相互作用系统是指数组成的，对称的，通常几何约束。目前的方法，特别是基于等变图神经网络（GNNs）的方法，针对前两个挑战，但仍然不成熟的约束系统。在本文中，我们提出了图力学网络（GMN），这是组合有效，等变和约束感知。GMN的核心是用广义坐标表示结构物体的正运动学信息（位置和速度）。以这种方式，几何约束被隐含地且自然地编码在正运动学中。此外，为了允许在GMN中传递等变消息，我们已经开发了一种通用形式的正交等变函数，考虑到约束系统的动力学比无约束系统更复杂。理论上，证明了所提出的等变公式在一定条件下具有普适性。大量的实验支持GMN的优势相比，国家的最先进的GNNs在预测精度，约束满足和数据效率方面的模拟系统组成的粒子，棍棒和铰链，以及两个现实世界的数据集的分子动力学预测和人体运动捕捉。
2022-03-12 cs.LG
Learning Non-Local Molecular Interactions via Equivariant Local Representations and Charge Equilibration
TUM School of Engineering and Design, Technical University of Munich（慕尼黑技术大学工程与设计学院）；Technical University of Munich（慕尼黑技术大学）
本文提出电荷平衡层（CELLI），将经典电荷平衡方法推广为等变图神经网络的模型无关组件，使局部模型能高效模拟非局部长程相互作用，在基准上取得最优结果且具高可解释性。
2025-06-27 cs.LG physics.chem-ph physics.comp-ph
A Flexible, Equivariant Framework for Subgraph GNNs via Graph Products and Graph Coarsening
Computer Science Technion - Israel Institute of Technology（技术学院-以色列理工学院计算机科学系）；Electrical & Computer Engineering Technion - Israel Institute of Technology（技术学院-以色列理工学院电气与计算机工程系）；NVIDIA Research（NVIDIA研究）
本文提出一种基于图粗化与图乘积的子图GNN等变框架，通过将子图与节点簇关联实现任意数量子图的灵活选择，在保持表达能力的同时显著提升了可扩展性与性能。
2025-05-29 cs.LG
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology（麻省理工学院）
尽管Transformer网络在各个领域都取得了广泛的成功，但即使考虑到与3D相关的诱导偏差（如平移不变性和旋转等变性），它也尚未在3D原子图（如分子）领域的数据集上表现良好。在本文中，我们证明了Transformers可以很好地推广到3D原子图，并提出了Equiformer，这是一种利用Transformer架构的优势并基于不可约表示（irreps）结合SE（3）/E（3）-等变特征的图神经网络。首先，我们提出了一个简单而有效的架构，只取代原来的操作在Transformers与他们的等变同行，并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改，该架构已经取得了很好的经验结果。其次，我们提出了一种新的注意力机制，称为等变图注意力，它改善了典型的注意力在Transformers，通过取代点积的注意力与多层感知器的注意力，并包括非线性消息传递。通过这两项创新，Equiformer在QM 9，MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Subgraph Permutation Equivariant Networks
University of Glasgow（格拉斯哥大学）
在这项工作中，我们开发了一种新的方法，命名为子图置换等变网络（SPEN），它提供了一个框架，用于构建操作子图的图神经网络，同时使用一个基更新函数，是置换等变的，是等变的一个新的选择的自同构群。消息传递神经网络已被证明是有限的，在他们的表达能力和最近的方法来克服这要么缺乏可扩展性或需要结构信息被编码到特征空间。这里提出的一般框架克服了可扩展性问题与全球置换等方差的操作更本地的子图。此外，通过对子图进行操作，提高了高维全局置换等变网络的表达能力;这是由于两个不可区分的图通常包含可区分的子图。此外，所提出的框架仅需要选择用于创建自我网络子图的$k$跳和选择用于每层的表示空间，这使得该方法容易地适用于基于图的域的范围。我们在一系列图基准分类任务上通过实验验证了该方法，在七个基准中的六个基准上展示了统计上与最先进的结果无法区分的结果。此外，我们证明了本地更新功能的使用提供了一个显着的改善GPU内存的全局方法。
2022-10-17 cs.LG
Topological Neural Networks go Persistent, Equivariant, and Continuous
Aalto University（阿尔托大学）；Federal Institute of Ceará（塞阿拉联邦学院）；YaiYai Ltd（YaiYai有限公司）
本文提出TopNets框架，统一了TNNs与持续同调方法，并扩展至几何复形的等变与连续空间设置，理论证明其能增强网络表达能力，在抗体设计等任务上表现优异。
2024-06-05 cs.LG
Invariant and Equivariant Graph Networks
Weizmann Institute of Science（魏茨曼科学研究所）
不变和等变网络已成功用于学习图像、集合、点云和图形。开发这种网络的一个基本挑战是找到不变和等变线性层的最大集合。虽然前三个例子回答了这个问题（至少对于流行的变换），但图的不变和等变线性层的完整表征还不清楚。在本文中，我们提供了所有的置换不变和等变的线性层（超）图数据的一个特征，并表明其维数，在边值图数据的情况下，分别为2和15。更一般地，对于在节点的k元组上定义的图形数据，维度是第k个和第2k个贝尔数。计算层的正交基，包括对多图数据的泛化。恒定数量的基本元素及其特性允许成功地将网络应用于不同大小的图。从理论的角度来看，我们的研究结果推广和统一了等变深度学习的最新进展。特别是，我们表明，我们的模型是能够近似任何消息传递神经网络应用这些新的线性层在一个简单的深神经网络框架显示，以实现可比的结果，以国家的最先进的，并具有更好的表现力比以前的不变和等变的基础。
2019-04-30 cs.LG stat.ML
Multivector Neurons: Better and Faster O(n)-Equivariant Clifford Graph Neural Networks
AMLab；AI4Science Lab（AI4Science实验室）；Anton Pannekoek Institute（安东·潘内科克研究所）
针对现有O(n)/SO(n)等变深度学习模型的局限，提出基于Clifford多向量的新型消息传递GNN，结合不变标量特征与等变几何积算子，在N体模拟和蛋白质去噪任务上实现性能提升与高效率。
2024-07-10 cs.AI cs.LG
A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis
École Normale Supérieure, PSL（巴黎高等师范学院（PSL大学））；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
强彩票假说（SLTH）规定了在一个充分过参数化（密集）的神经网络中存在一个子网络，当随机初始化并且没有任何训练时，它可以达到完全训练的目标网络的精度。最近的作品达库尼亚等。2022年; Burkholz 2022证明了SLTH可以扩展到翻译等变网络-即CNN-与密集网络中的SLTs所需的相同水平的过度参数化。然而，现代神经网络能够结合的不仅仅是平移对称性，并且开发通用的等变架构，如旋转和置换已经成为一个强大的设计原则。在本文中，我们推广的SLTH功能，保持组$G$的行动-即$G$ -等变网络-并证明，以高概率，可以近似任何$G$ -等变网络的宽度和深度固定的修剪随机初始化overparametrized $G$-等变网络的$G$-等变子网。我们进一步证明，我们规定的overparametrization方案是最佳的，并提供了一个下界的有效参数的数量作为一个函数的容错性。我们发展了我们的理论，为大范围的群体，包括子组的欧几里德PDMATHAMN和对称组$G \leq \mathcal{S}_n$ -使我们能够找到SLTs的MLP，CNN，$\text{E}(2)$ -可操纵CNN，和置换等变网络作为我们的统一框架的具体实例。从经验上讲，我们通过修剪过参数化的$\text{E}(2)$ -可操纵CNN、$k$ -阶GNN和消息传递GNN来验证我们的理论，以匹配训练的目标网络的性能。
2023-02-16 cs.LG
Are High-Degree Representations Really Unnecessary in Equivariant Graph Neural Networks?
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）；Laboratories, Huawei Technologies, Shanghai（华为技术有限公司上海2012实验室）
本文通过理论分析证明固定低阶表示的等变GNNs会退化为零函数，并提出高阶版本HEGNN以增强表达能力，实验验证其在对称结构和复杂数据集上的有效性。
2025-10-15 cs.LG
OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs
Purdue University（普渡大学）；Ludwig-Maximilians-Universitat München（慕尼黑大学）
这项工作提供了关于图消息传递神经网络（gMPNN）-如图神经网络（GNN）-执行归纳分布外（OOD）链接预测任务的能力的第一个理论研究，其中部署（测试）图的大小大于训练图。我们首先证明了非渐近界，表明基于置换等变（结构）节点嵌入gMPNN的链接预测可以收敛到一个随机猜测的测试图变得更大。然后，我们提出了一个理论上合理的gMPNN输出结构成对（2节点）嵌入，并证明非渐近界显示，随着测试图的增长，这些嵌入收敛到一个连续函数的嵌入，保留其预测链接OOD的能力。随机图上的实验结果与我们的理论结果一致。
2022-10-10 cs.AI cs.LG cs.NA
Augmented Equivariant Mesh Networks for Anatomical Segmentation
Department of Pathology and Molecular Medicine（病理学与分子医学系）
本文提出EAMS，基于等变网格神经网络，结合内在网格描述符和解剖感知先验，实现鲁棒的解剖网格分割，在不同监督类型下表现优异。
2026-10-02 cs.CV cs.LG
Equivariant Matrix Function Neural Networks
University of Cambridge（剑桥大学）；Beijing Normal University（北京师范大学）；University of British Columbia（不列颠哥伦比亚大学）
针对MPNN建模图非局部相互作用时的过平滑、过挤压问题，以及现有方法泛化性或结构捕捉能力不足的缺陷，提出通过解析矩阵等变函数参数化非局部相互作用的矩阵函数神经网络，在标准图基准取得SOTA，还可捕捉量子系统非局部相互作用。
2024-01-30 cond-mat.mtrl-sci cs.LG physics.chem-ph
Emergent Loop Geometry in Gauge-Equivariant Graph Neural Networks
University of Virginia（弗吉尼亚大学）
该研究针对规范等变图神经网络，探究其生成的闭合格点游走的统计系综，揭示了轮廓长度与空间扩张的增长层级，为学习格点规范可观测量提供了几何视角。
2026-10-14 cond-mat.stat-mech cond-mat.str-el cs.LG
Lost in Aggregation: On a Fundamental Expressivity Limit of Message-Passing Graph Neural Networks
RWTH Aachen University（亚琛工业大学）
本文定义了聚合函数的信息-复杂度属性，证明了具有此类聚合的MP-GNN模型在所有图上仅诱导多项式数量的等价类，而非同构图的数量是超指数级的。
2026-08-12 cs.CC cs.LG
SpeqNets: Sparsity-aware Permutation-equivariant Graph Networks
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；RWTH Aachen University（亚琛工业大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
虽然（消息传递）图神经网络在图或一般关系数据上近似置换等变函数方面具有明显的局限性，但更具表达力的高阶图神经网络不能扩展到大型图。它们要么在$k$阶张量上操作，要么考虑所有$k$节点子图，这意味着内存需求对$k$的指数依赖，并且不适应图的稀疏性。通过引入新的算法的图同构问题，我们设计了一类通用的，置换等变图网络，这与以前的架构不同，提供了一个细粒度的控制之间的表达性和可扩展性，并适应稀疏的图形。与标准高阶图网络相比，这些架构在监督节点级和图级分类和回归机制中大大减少了计算时间，同时在预测性能方面显著改善了标准图神经网络和图核架构。
2022-08-30 cs.AI cs.DS cs.LG
The Design Space of E(3)-Equivariant Atom-Centered Interatomic Potentials
University of Cambridge（剑桥大学）；Université Paris-Saclay（巴黎萨克雷大学）；Harvard University（哈佛大学）；Ruhr-Universität Bochum（波鸿鲁尔大学）；University of British Columbia（不列颠哥伦比亚大学）；Robert Bosch LLC Research and Technology Center（罗伯特博世有限责任公司研究与技术中心）
在过去的几年里，机器学习原子间相互作用势的快速发展产生了许多新的架构。其中特别值得注意的是原子簇扩展（ACE），它统一了许多早期的想法，围绕原子密度为基础的描述符，和神经等变原子间电位（NequIP），一个消息传递神经网络与等变功能，显示出最先进的准确性。在这项工作中，我们构建了一个数学框架，统一这些模型：ACE是广义的，使它可以被重铸为一个多层架构的一层。从另一个角度来看，NequIP的线性化版本被理解为一个更大的多项式模型的特定稀疏化。我们的框架还提供了一个实用的工具，系统地探讨不同的选择，在统一的设计空间。我们通过一组实验对NequIP进行消融研究来证明这一点，这些实验研究了域内和域外的准确性以及距离训练数据很远的平滑外推，并阐明了哪些设计选择对于实现高准确性至关重要。最后，我们提出了BOTNet（Body-Ordered-Tensor-Network），这是NequIP的一个简化版本，它具有可解释的架构，并在基准数据集上保持准确性。
2022-11-24 cond-mat.mtrl-sci cs.LG physics.chem-ph
MEGA: Message Passing Neural Networks for Multigraphs with EdGe Attributes
Delft University of Technology（代尔夫特理工大学）；University of Neuchâtel（纳沙泰尔大学）
针对带边属性多重图学习的局限，该研究提出邻居感知聚合算子，构建MEGA-GNN框架，在社交和金融数据集上验证其性能达到或超越现有最优方法。
2026-09-01 cs.LG
EquiCPI: SE(3)-Equivariant Geometric Deep Learning for Structure-Aware Prediction of Compound-Protein Interactions
Korea University（高丽大学）；AIGEN Sciences（AIGEN科学公司）
EquiCPI提出一种SE(3)-等变几何深度学习框架，结合ESMFold与DiffDock-L进行3D结构建模，通过等变消息传递与球谐函数张量积编码局部相互作用，在BindingDB和DUD-E上取得与最先进方法相当或更优的CPI预测性能。
2025-04-07 cs.AI cs.LG q-bio.QM
TABASCO: A Fast, Simplified Model for Molecular Generation with Improved Physical Quality
ETH Zurich, Switzerland（苏黎世联邦理工学院，瑞士）；University of Cambridge, United Kingdom（剑桥大学，英国）
TABASCO通过采用非等变transformer架构、将原子视为序列并确定性重建化学键，在GEOM-Drugs上以约10倍推理加速实现最先进的PoseBusters有效性，为高通量药物设计提供极简生成模型蓝图。
2025-07-01 cs.LG
Equivariant Hypergraph Diffusion Neural Operators
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Waterloo（滑铁卢大学）；Purdue University（普渡大学）；Georgia Tech（佐治亚理工学院）
超图神经网络（HNN）使用神经网络对超图进行编码，提供了一种有前途的方式来对数据中的高阶关系进行建模，并进一步解决建立在这种高阶关系上的相关预测任务。然而，高阶关系在实践中包含复杂的模式，往往是非常不规则的。因此，设计一个足以表达这些关系同时保持计算效率的HNN通常具有挑战性。受超图扩散算法的启发，本文提出了一种新的HNN架构，命名为ED-HNN，它可证明地表示任何连续等变超图扩散算子，可以建模广泛的高阶关系。将超图的星型展开与标准的消息传递神经网络相结合，可以有效地实现ED-HNN。ED-HNN在处理异嗜超图和构建深度模型方面进一步显示出巨大的优势。我们评估ED-HNN的节点分类在九个真实世界的超图数据集。ED-HNN在这九个数据集上的表现一致优于最佳基线，并且在其中的四个数据集上的预测精度达到2%以上的$\uparrow$。
2023-02-15 cs.LG cs.SI
Equivariant Polynomial Functional Networks
National University of Singapore（新加坡国立大学）；FPT Software AI Center, Vietnam（越南FPT软件AI中心）；VinUniversity, Vietnam（越南Vin大学）
本文提出MAGEP-NFN，通过多项式形式构建非线性等变层，实现低内存消耗和高表达性的排列和缩放等变神经功能网络。
2025-12-20 cs.LG
Foundations of Equivariant Deep Learning: Unifying Graph and Sheaf Neural Networks
扩展几何深度学习利用更丰富对称结构，开发等变神经网络，刻画线性等变映射，构建层并证明连续等变映射的通用逼近定理，还扩展到范畴等变神经网络，给出等变神经网络通用形式及定理。
2026-08-12 cs.AI cs.CV cs.LG
Equivariance by Local Canonicalization: A Matter of Representation
PMLRExtended（扩展的PMLR会议）
本文提出将张量场网络转换为局部规范化范式的框架，在保持等变性和精度的同时提升运行效率，并发布 tensor_frames 包以便集成到消息传递网络。
2025-09-30 cs.LG
