Permutation-Equivariant 2D State Space Models: Theory and Canonical Architecture for Multivariate Time Series
Department of Artificial Intelligence, Korea University（人工智能学院，韩国大学）
本文提出了一种基于置换对称的二维状态空间模型，通过消除变量轴上的序列依赖，实现多变量时间序列的高效建模与预测。
2026-03-07 cs.AI cs.LG stat.ML
A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis
École Normale Supérieure, PSL（巴黎高等师范学院（PSL大学））；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
强彩票假说（SLTH）规定了在一个充分过参数化（密集）的神经网络中存在一个子网络，当随机初始化并且没有任何训练时，它可以达到完全训练的目标网络的精度。最近的作品达库尼亚等。2022年; Burkholz 2022证明了SLTH可以扩展到翻译等变网络-即CNN-与密集网络中的SLTs所需的相同水平的过度参数化。然而，现代神经网络能够结合的不仅仅是平移对称性，并且开发通用的等变架构，如旋转和置换已经成为一个强大的设计原则。在本文中，我们推广的SLTH功能，保持组$G$的行动-即$G$ -等变网络-并证明，以高概率，可以近似任何$G$ -等变网络的宽度和深度固定的修剪随机初始化overparametrized $G$-等变网络的$G$-等变子网。我们进一步证明，我们规定的overparametrization方案是最佳的，并提供了一个下界的有效参数的数量作为一个函数的容错性。我们发展了我们的理论，为大范围的群体，包括子组的欧几里德PDMATHAMN和对称组$G \leq \mathcal{S}_n$ -使我们能够找到SLTs的MLP，CNN，$\text{E}(2)$ -可操纵CNN，和置换等变网络作为我们的统一框架的具体实例。从经验上讲，我们通过修剪过参数化的$\text{E}(2)$ -可操纵CNN、$k$ -阶GNN和消息传递GNN来验证我们的理论，以匹配训练的目标网络的性能。
2023-02-16 cs.LG
Quasi-Equivariant Metanetworks
FPT Software AI Center（FPT软件人工智能中心）
本文提出准等变元网络，通过引入准等变性概念，在保留功能一致性的同时，突破严格等变性的刚性限制，提升元网络的表达能力和鲁棒性。
2026-04-26 cs.LG
Quantitative Approximation Rates for Group Equivariant Learning
Department of Mathematics（数学系）；Texas A&M University（德克萨斯A&M大学）；Faculty of Mathematics（数学系）；Technion- Israel Institute of Technology（技术学院-以色列理工学院）；Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文研究群等变学习中ReLU网络对α-霍尔德函数的逼近速率，证明等变架构与普通MLP在表达能力上相当，无需牺牲逼近能力。
2026-04-16 cs.LG cs.NA math.NA
On the Universality of Rotation Equivariant Point Cloud Networks
Duke University（杜克大学）；NVIDIA Research（英伟达研究（NVIDIA Research））
点云上的学习函数在许多领域都有应用，包括计算机视觉、计算机图形学、物理学和化学。最近，人们越来越关注对点云的所有三种形状保持变换（平移、旋转和置换）不变或等变的神经架构。在本文中，我们提出了这些架构的近似功率的第一次研究。首先，我们推导出两个充分条件的等变结构具有普遍的逼近性能，基于一个新的表征空间的等变多项式。然后，我们使用这些条件表明，最近提出的两个模型是通用的，并设计另外两个新的通用架构。
2020-10-06 cs.CG cs.LG
Equivariant neural networks for recovery of Hadamard matrices
Inductiva Research Labs（Inductiva Research Labs（Inductiva研究实验室））
我们提出了一个消息传递神经网络架构设计成等变的列和行排列的矩阵。我们说明了它的优势，传统的架构，如多层感知器（MLP），卷积神经网络（CNN），甚至Transformers，在组合优化任务恢复一组删除的条目的阿达玛矩阵。我们认为，这是几何深度学习原理在基础数学中的强大应用，也是使用机器学习技术对阿达玛猜想进行更多深入了解的潜在垫脚石。
2022-01-31 cs.DM cs.LG
Equivariant Entity-Relationship Networks
University of British Columbia（不列颠哥伦比亚大学）；McGill University（麦吉尔大学）；Mila（米拉研究所）
关系模型是大数据的普遍表示，部分原因是它在数据库中的广泛使用。在本文中，我们提出了等变的机密关系网络（EERN），这是一个多层感知器等变的对称变换的机密关系模型。为此，我们确定了最有表现力的线性映射，是完全等变的实体关系对称性的家庭，并进一步表明，他们subterranean最近推出的等变映射集，可交换张量，和图形。所提出的前馈层具有线性复杂度的数据，并可用于归纳和直推推理的关系数据库，包括数据库嵌入，和预测丢失的记录。这为将深度学习应用于最丰富的数据形式之一提供了原则性的理论基础。经验上，EERN优于不同的变种耦合矩阵张量分解在合成和真实数据的实验。
2020-06-05 cs.LG stat.ML
Permutation Equivariant Generative Adversarial Networks for Graphs
University of Geneva（日内瓦大学）
图生成建模中讨论最多的问题之一是表示的排序。一种解决方案包括使用等变生成函数，这确保了排序不变性。在讨论了这些函数的一些性质之后，我们提出了3G-GAN，一个依赖于GANs和等变函数的3阶段模型。该模型仍在开发中。然而，我们提出了一些令人鼓舞的探索性实验，并讨论了仍有待解决的问题。
2021-12-07 cs.LG
Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power
University of Science and Technology of China（中国科学技术大学）；University of Edinburgh（爱丁堡大学）；Nanyang Technological University（南洋理工大学）
本文研究了强制等变性对表达能力的影响，发现其会降低表达能力，但通过扩大模型规模可补偿，并证明了补偿所需的规模上限，同时发现扩大后的架构具有更优的泛化能力。
2026-05-14 cs.AI cs.LG cs.NE
Subgraph Permutation Equivariant Networks
University of Glasgow（格拉斯哥大学）
在这项工作中，我们开发了一种新的方法，命名为子图置换等变网络（SPEN），它提供了一个框架，用于构建操作子图的图神经网络，同时使用一个基更新函数，是置换等变的，是等变的一个新的选择的自同构群。消息传递神经网络已被证明是有限的，在他们的表达能力和最近的方法来克服这要么缺乏可扩展性或需要结构信息被编码到特征空间。这里提出的一般框架克服了可扩展性问题与全球置换等方差的操作更本地的子图。此外，通过对子图进行操作，提高了高维全局置换等变网络的表达能力;这是由于两个不可区分的图通常包含可区分的子图。此外，所提出的框架仅需要选择用于创建自我网络子图的$k$跳和选择用于每层的表示空间，这使得该方法容易地适用于基于图的域的范围。我们在一系列图基准分类任务上通过实验验证了该方法，在七个基准中的六个基准上展示了统计上与最先进的结果无法区分的结果。此外，我们证明了本地更新功能的使用提供了一个显着的改善GPU内存的全局方法。
2022-10-17 cs.LG
A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups
New York University（纽约大学）；University of Amsterdam（阿姆斯特丹大学）
对称性和等变性是神经网络在图像、图形和点云等领域推广的基础。现有的工作主要集中在少数群体，如平移，旋转和置换群。在这项工作中，我们提供了一个完全通用的算法求解矩阵群的等变层。除了从其他作品中恢复解决方案作为特殊情况下，我们构建多层感知器等变的多个群体，从来没有被处理过，包括$\mathrm{O}(1,3)$，$\mathrm{O}(5)$，$\mathrm{Sp}(n)$，和魔方组。我们的方法优于非等变基线，粒子物理和动力系统的应用。我们发布我们的软件库，使研究人员能够构建任意矩阵群的等变层。
2021-04-19 cs.LG math.DS stat.ML
Permutation Equivariant Neural Controlled Differential Equations for Dynamic Graph Representation Learning
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；City University of Hong Kong（香港城市大学）；IAR, Karlsruhe Institute of Technology（卡尔斯鲁厄技术大学IAR研究所）；Department of Psychiatry, Warneford Hospital（沃内福德医院精神病科）
本文提出置换等变神经图受控微分方程，通过将模型投影到置换等变空间减少参数，提升动态图表示学习的训练效率与泛化，在插值和外推任务中表现更优。
2025-10-27 cs.LG
HiPerformer: Hierarchically Permutation-Equivariant Transformer for Time Series Forecasting
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
提出层级置换等变Transformer（HiPerformer），通过考虑组内与组间关系，提升多时间序列预测性能，并在真实数据上超越现有最先进方法。
2023-05-14 cs.LG
Equivariant Hypergraph Neural Networks
KAIST（韩国科学技术院）；LG AI Research（LG人工智能研究院）
计算机视觉和机器学习中的许多问题都可以转换为表示高阶关系的超图上的学习。最近的超图学习方法扩展了基于消息传递的图神经网络，这是简单的，但从根本上限制了建模的长期依赖性和表达能力。另一方面，基于张量的等变神经网络具有最大的表达能力，但由于计算量大和对固定阶超边的严格假设，其应用在超图中受到限制。我们解决了这些问题，并提出了等变超图神经网络（EHNN），第一次尝试实现最大表达的一般超图学习的等变层。我们还提出了我们的框架的两个实际实现的基础上超网络（EHNN-MLP）和自我注意（EHNN-Transformer），这是很容易实现，理论上更有表现力的消息传递方法。我们展示了他们在一系列超图学习问题中的能力，包括合成k边识别，半监督分类和视觉关键点匹配，并报告了在强消息传递基线上的改进性能。我们的实现可以在https://github.com/jw9730/ehnn上获得。
2022-08-22 cs.LG
EDEN: A Plug-in Equivariant Distance Encoding to Beyond the 1-WL Test
Shanghai Jiao Tong University（上海交通大学）
消息传递机制是图表示学习的核心。虽然大多数现有的消息传递图神经网络（MPNN）在图级表示学习中是置换不变的，而在节点和边级表示学习中是置换等变的，但它们的表达能力通常受到1-Weisfeiler-Lehman（1-WL）图同构测试的限制。最近提出的表达图神经网络（GNNs）与专门设计的复杂的消息传递机制是不实用的。为了弥补这一差距，我们提出了一个插件等变距离ENcoding（EDEN）的MPNN。EDEN是从图的距离矩阵上的一系列可解释的变换中推导出来的。我们从理论上证明了EDEN对所有层次的图表示学习都是置换等变的，并从实验上证明了EDEN的表达能力可以达到3-WL测试。在真实世界数据集上进行的大量实验表明，将EDEN与传统的GNN相结合超越了最近的先进GNN。
2022-11-19 cs.LG
Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation
本文提出用置换等变图元网络参数化流匹配速度场，实现无需对齐的神经权重生成，能再现独立训练网络的统计特性并泛化到新架构。
2026-09-29 cs.LG
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；École Normale Supérieure Paris-Saclay（巴黎萨克雷高等师范学院）
在本文中，我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地，对于一个给定的$G$ -不变/等变函数，我们通过深度神经网络构造了它的通用逼近器，该深度神经网络的层装备了$G$ -作用，并且每个仿射变换都是$G$ -等变/不变的。由于表示理论，我们可以证明，这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
Set Norm and Equivariant Skip Connections: Putting the Deep in Deep Sets
New York University（纽约大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
排列不变神经网络是一种很有前途的工具，从集进行预测。然而，我们表明，现有的置换不变架构，深集和集Transformer，可以遭受消失或爆炸梯度时，他们是深。此外，层规范（Set Transformer中选择的规范化）可能会删除对预测有用的信息，从而损害性能。为了解决这些问题，我们引入了等变剩余连接的清洁路径原则，并开发了集规范，一个为集合量身定制的规范化。有了这些，我们构建了Deep Sets++和Set Transformer++，这些模型在不同的任务套件上达到了更高的深度，并具有与原始模型相当或更好的性能。我们还介绍了Flow-RBC，一个新的单细胞数据集和置换不变预测的实际应用。我们在这里开源我们的数据和代码：https://github.com/rajesh-lab/deep_permutation_invariant。
2022-07-14 cs.LG
On the Expressive Power of Floating-Point Transformers
Department of Artificial Intelligence, Korea University（韩国大学人工智能系）；Department of Mathematics and Statistics, Sejong University（世宗大学数学与统计学系）；Department of Mathematical Sciences, Gwangju Institute of Science and Technology（全州科学技术研究院数学科学系）
本文研究了浮点数变换器的表达能力，发现其在特定条件下可表示非排列等价函数，并揭示了位置编码对表示能力的影响。
2026-01-23 cs.LG
A new perspective on building efficient and expressive 3D equivariant graph neural networks
Chinese Academy of Sciences（中国科学院）；Cornell University（康奈尔大学）；Texas A&M University（得克萨斯农工大学）；Zhejiang University（浙江大学）
本文提出3D同构局部层级体系评估等变GNN表达力，并设计LSE与FTE两个关键模块，据此构建LEFTNet在分子性质预测任务上取得最先进性能。
2023-04-07 cs.AI cs.LG
Expressive Sign Equivariant Networks for Spectral Geometric Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Stanford University（斯坦福大学）；TU Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达）
针对谱几何学习中符号不变性的理论局限，论文提出基于符号等变多项式解析刻画的新型符号等变网络，并通过合成实验验证其表达性优势。
2023-12-04 cs.AI cs.LG stat.ML
On Universal Equivariant Set Networks
Weizmann Institute of Science（魏茨曼科学研究所）；Department of Computer Science and Applied Mathematics（计算机科学与应用数学系）
使用对排列不变或等变的深度神经网络来学习无序集合上的函数已经变得普遍。最流行的基本模型是DeepSets [Zaheer et al. 2017]和PointNet [Qi et al. 2017]。虽然已知DeepSets和PointNet对于近似不变函数是通用的，但在近似\emph{equivariant}集合函数时并不通用。另一方面，最近的几个等变集架构已被证明是等变泛的[Sannai et al. 2019]，[Keriven et al. 2019]，然而这些模型要么使用不是置换等变的层（在标准意义上）和/或使用较不实用的高阶张量变量。因此，在理解流行的同变集模型与理论模型的普遍性方面存在差距。在本文中，我们通过证明：（i）PointNet不是等变通用的;（ii）添加单个线性传输层使PointNet通用。我们称这种架构PointNetST，并认为它是迄今为止已知的最简单的置换等变通用模型。另一个结果是DeepSets是通用的，PointNetSeg，一种流行的点云分割网络（例如，在[Qi et al. 2017]中使用）也是通用的。用于证明上述结果的关键理论工具是所有置换等变多项式层的显式表征。最后，我们提供了数值实验验证理论结果和比较不同的置换等变模型。
2020-01-23 cs.LG stat.ML
The general theory of permutation equivarant neural networks and higher order graph variational encoders
University of Chicago（芝加哥大学）；Flatiron Institute（弗莱提伦研究所）
以前关于对称群等变神经网络的工作通常只考虑了群通过置换单个向量的元素来起作用的情况。本文给出了一般置换等变层的计算公式，包括置换等变层作用于矩阵的行列同时置换的情形。这种情况在图学习和关系学习应用中自然出现。作为高阶置换等变网络的一个特例，我们提出了一个二阶图变分编码器，并证明了等变生成模型的潜分布必须是可交换的.我们证明了这种架构的功效上的任务，链接预测在引文图和分子图生成。
2020-04-08 cs.LG stat.ML
Connecting Permutation Equivariant Neural Networks and Partition Diagrams
Imperial College London（帝国理工学院）
本文通过 Schur-Weyl 对偶性建立了置换等变神经网络权重矩阵与划分代数之间的联系，并提出一种图解方法直接计算这些权重矩阵。
2024-08-08 cs.LG math.CO math.RT
E(n) Equivariant Message Passing Cellular Networks
University of Amsterdam（阿姆斯特丹大学）；University of Cambridge（剑桥大学）
本文提出E(n)等变消息传递细胞网络（EMPCNs），通过纳入任意细胞并采用解耦技术，在无需可转向性的情况下实现接近最先进的性能，并展现出更强的泛化能力，为高阶消息传递提供了可扩展且富有表达力的框架。
2024-07-18 cs.LG
Permutation Equivariant Model-based Offline Reinforcement Learning for Auto-bidding
Alibaba Group（阿里巴巴集团）
本文提出PE-MORL算法，通过排列等变模型和悲观Q学习弥合模拟器与现实差距，在真实数据上扩展状态覆盖，超越现有自动出价方法。
2025-06-22 cs.AI cs.LG
Centralized Permutation Equivariant Policy for Cooperative Multi-Agent Reinforcement Learning
本文提出集中式置换等变（CPE）学习框架，通过轻量可扩展的全局-局部置换等变（GLPE）网络实现完全集中式策略，可无缝集成价值分解与演员-评论家方法，在 MPE、SMAC 和 RWARE 等协作基准上显著提升标准 CTDE 算法性能。
2025-08-13 cs.AI cs.LG cs.MA
PELICAN: Permutation Equivariant and Lorentz Invariant or Covariant Aggregator Network for Particle Physics
University of Chicago（芝加哥大学）；Enrico Fermi Institute（恩里科·费米研究所）
目前粒子物理学中的许多机器学习方法都使用通用架构，这些架构需要大量参数，而忽略了底层的物理原理，限制了它们作为科学建模工具的适用性。在这项工作中，我们提出了一种机器学习架构，该架构使用一组相对于完整的6维洛伦兹对称性最大限度地减少的输入，并且在整个过程中完全是置换等变的。我们研究了这种网络架构的应用程序的顶夸克标记的标准任务，并表明，所产生的网络优于所有现有的竞争对手，尽管模型的复杂性低得多。此外，我们提出了一个洛伦兹协变变量的相同的网络应用于4动量回归任务。
2022-12-23 cs.LG hep-ex hep-ph
Concept Prerequisite Relation Prediction by Using Permutation-Equivariant Directed Graph Neural Networks
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Big data Storage and Management MIIT Lab（大数据存储与管理工业和信息化部实验室）
针对现有有向图神经网络处理概念先修关系预测时存在的图同构表达能力不足问题，提出融合Weisfeiler-Lehman测试的置换等变有向GNN模型，在三个公开数据集上取得优于现有最优方法的预测效果。
2024-06-21 cs.AI cs.LG
Self-Attentive Document Interaction Networks for Permutation Equivariant Ranking
Google（谷歌）
如何利用跨文档交互来提高排序性能是信息检索研究的一个重要课题。然而，这个主题还没有得到很好的研究，在学习排名设置和大多数现有的工作仍然对待每个文件独立，而评分。深度学习的最新发展显示了在跨序列和集合建模复杂关系方面的实力。因此，它激励我们研究如何利用跨文档交互在深度学习框架中进行学习排名。在本文中，我们正式定义了一个评分功能，捕捉跨文档的相互作用的置换等方差要求。然后，我们提出了一个自我注意的文档交互网络，并表明它满足置换等变的要求，并可以产生不同大小的文档集的分数。我们提出的方法可以自动学习捕获文档交互，而无需任何辅助信息，并且可以在大型文档集上扩展。我们在三个排名数据集上进行实验：基准Web30k，Gmail搜索和Google Drive快速访问数据集。实验结果表明，我们提出的方法是更有效的和高效的基线。
2019-10-23 cs.IR cs.LG
Equivariant vs. Invariant Layers: A Comparison of Backbone and Pooling for Point Cloud Classification
Vanderbilt University（范德堡大学）
该研究针对点云分类任务，探究置换等变骨干网络与置换不变全局池化的相互作用，发现池化层选择对性能影响显著，为设计更优的置换不变集合神经网络提供参考。
2024-07-12 cs.CV cs.LG
Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）；Tencent（腾讯）
图神经网络（GNN）是一种新兴的基于图的机器学习模型。置换等方差和邻近感知是GNN非常需要的两个重要属性。这两个属性都需要解决一些具有挑战性的图形问题，例如寻找社区和领导者。在本文中，我们首先分析表明，现有的GNNs，主要是基于消息传递机制，不能同时保持这两个属性。然后，我们提出了随机消息传递（SMP）模型，一个通用的和简单的GNN保持接近意识和置换等变性。为了保持节点的邻近性，我们用随机节点表示来增强现有的GNN。我们从理论上证明了该机制可以使GNN保持节点的邻近性，同时，保持一定的参数化的置换等变性。我们报告了广泛的实验结果，在10个数据集上，并证明了SMP的有效性和效率的各种典型的图挖掘任务，包括图重建，节点分类，和链接预测。
2022-02-22 cs.LG stat.ML
Fast computation of permutation equivariant layers with the partition algebra
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
线性神经网络层对其输入的排列是等变的或不变的，它们形成了现代深度学习架构的核心构建块。示例包括DeepSets的层，以及在Transformers和一些图神经网络的注意力块中出现的线性层。置换等变线性层的空间可以被确定为某个对称群表示的不变子空间，最近的工作通过展示一个基来参数化这个空间，该基的向量是关于对称群作用的标准基元素的轨道之和。参数化打开了通过梯度下降学习置换等变线性层的权重的可能性。置换等变线性层空间是划分代数的推广，划分代数是统计物理中首次发现的对象，与对称群的表示理论有着深刻的联系，上面描述的基推广了划分代数的所谓轨道基。我们展示了一个替代的基础上，概括的图的基础上的分区代数，计算的好处源于这样一个事实，即张量构成的基础是低秩的意义上，他们自然分解成克罗内克产品。正如乘一个秩为1的矩阵远比乘一个任意矩阵便宜，乘这些低秩张量远比乘轨道基的元素便宜。最后，我们描述了一个算法实现乘法与这些基本元素。
2023-03-10 cs.LG math.CO math.RT
SpeqNets: Sparsity-aware Permutation-equivariant Graph Networks
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；RWTH Aachen University（亚琛工业大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
虽然（消息传递）图神经网络在图或一般关系数据上近似置换等变函数方面具有明显的局限性，但更具表达力的高阶图神经网络不能扩展到大型图。它们要么在$k$阶张量上操作，要么考虑所有$k$节点子图，这意味着内存需求对$k$的指数依赖，并且不适应图的稀疏性。通过引入新的算法的图同构问题，我们设计了一类通用的，置换等变图网络，这与以前的架构不同，提供了一个细粒度的控制之间的表达性和可扩展性，并适应稀疏的图形。与标准高阶图网络相比，这些架构在监督节点级和图级分类和回归机制中大大减少了计算时间，同时在预测性能方面显著改善了标准图神经网络和图核架构。
2022-08-30 cs.AI cs.DS cs.LG
Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups
KTH Royal Institute of Technology（KTH皇家理工学院）
本文用代数几何刻画线性全连接网络在置换群下的等变与不变函数簇，给出其结构、维数、次数及参数化与权重共享结论，并将平方误差训练归结为到行列式簇的欧氏距离最小化。
2025-01-10 cs.LG math.AG
Equivariant Polynomial Functional Networks
National University of Singapore（新加坡国立大学）；FPT Software AI Center, Vietnam（越南FPT软件AI中心）；VinUniversity, Vietnam（越南Vin大学）
本文提出MAGEP-NFN，通过多项式形式构建非线性等变层，实现低内存消耗和高表达性的排列和缩放等变神经功能网络。
2025-12-20 cs.LG
TraceGrad: a Framework Learning Expressive SO(3)-equivariant Non-linear Representations for Electronic-Structure Hamiltonian Prediction
Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；University of Science and Technology of China（中国科学技术大学）
提出TraceGrad框架，通过构建SO(3)-不变迹量作为监督标签学习高质量不变特征，并利用基于梯度的机制生成SO(3)-等变编码，在保持严格等变性的同时引入非线性表达能力，在八个基准上实现了最先进的哈密顿量预测精度。
2025-01-31 cond-mat.mtrl-sci cs.LG physics.chem-ph
Expressive Power of Invariant and Equivariant Graph Neural Networks
ENS, PSL University（巴黎高等师范学院，巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）
各种类型的图神经网络（GNN）已经被提出，并被证明是成功的，在广泛的应用程序与图形结构的数据。在本文中，我们提出了一个理论框架，能够比较这些GNN架构的表达能力。目前的普适性定理只适用于难以处理的GNN类。在这里，我们证明了实用GNN的第一近似保证，为更好地理解其泛化铺平了道路。我们的理论结果被证明为不变的GNNs计算图嵌入（输入图的节点的置换不影响输出）和等变的GNNs计算节点的嵌入（输入的置换置换输出）。我们表明，Folklet图神经网络（FGNN），这是张量为基础的GNNs增强矩阵乘法是迄今为止提出的最具表现力的架构为一个给定的张量顺序。我们通过展示FGNNs能够学习如何解决问题来说明我们在二次分配问题（NP难组合问题）上的结果，从而比现有算法（基于谱，SDP或其他GNNs架构）具有更好的平均性能。在实践方面，我们还实现了掩码张量来处理不同大小的批量图。
2021-06-06 cs.DM cs.LG stat.ML
Any-Subgroup Equivariant Networks via Symmetry Breaking
MIT（麻省理工学院）；TUM（技术大学慕尼黑）；Flatiron Institute（Flatiron研究院）
本文提出Any-Subgroup Equivariant Network，通过调节辅助输入特征实现多组等变，理论证明其能模拟等变MLP，实验验证其在图、图像及序列任务中优于单独等变模型。
2026-03-19 cs.LG
Permutation Equivariant Graph Framelets for Heterophilous Graph Learning
City University of Hong Kong（香港城市大学）；Zhejiang Normal University（浙江师范大学）
针对异嗜图学习，本文提出基于置换等变Haar型图框架小波的PEGFAN模型，实现多尺度特征提取，在多个异嗜数据集上达到最优或竞争力性能。
2023-10-17 cs.AI cs.LG cs.SI
Equivariant Polynomials for Graph Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA Research（英伟达研究院）；Meta AI Research Centre for Artificial Intelligence（Meta人工智能研究中心）
本文以 GNN 可计算的等变多项式次数构建表达能力层级，刻画等变图多项式基，并用张量缩并分析及增强常见 GNN，在多个基准上达到最先进性能。
2023-06-04 cs.AI cs.LG
HyQuRP: Hybrid quantum-classical neural network with rotational and permutational equivariance
School of Integrated Technology, Yonsei University, Seoul 03722, Korea（整合技术学院，延世大学，首尔03722，韩国）；Department of Quantum Information, Yonsei University, Seoul 03722, Korea（量子信息系，延世大学，首尔03722，韩国）
本文提出HyQuRP，一种具有旋转和置换等价性的混合量子-经典神经网络，通过组表示理论分析门空间维度，实验证明其在稀疏点云分类中优于经典和量子基线模型。
2026-05-07 cs.LG quant-ph
Deep Permutation Equivariant Structure from Motion
Weizmann Institute of Science（魏茨曼科学研究学院）；NVIDIA Research（英伟达研究院）
现有的深度方法在立体和多视图立体设置中产生高度精确的3D重建，即，当摄像机被内部和外部校准时。然而，在具有深度网络的多视图设置中同时恢复相机姿势和3D场景结构的挑战仍然突出。受运动恢复结构（SFM）的投影因式分解和深度矩阵完成技术的启发，我们提出了一种神经网络架构，该架构在静态场景的多个图像中给定一组点轨迹，通过最小化无监督重投影损失来恢复相机参数和（稀疏）场景结构。我们的网络架构的目的是尊重问题的结构：寻求输出是equivariant的相机和场景点的排列。值得注意的是，我们的方法不需要初始化相机参数或3D点定位。我们在两个设置中测试我们的架构：（1）单个场景重建和（2）从多个场景中学习。我们的实验，在内部校准和未校准设置的各种数据集上进行，表明我们的方法准确地恢复姿势和结构，与经典的最先进的方法相当。此外，我们还证明了一个预先训练好的网络可以用来重建新的场景，使用廉价的微调，而不会损失准确性。
2021-10-24 cs.CV cs.LG
Permutation-equivariant quantum convolutional neural networks
Istituto Nazionale di Ottica del Consiglio Nazionale delle Ricerche (CNR-INO)（意大利国家光学研究所（国家研究委员会光学研究所））；University of Florence（佛罗伦萨大学）；European Laboratory for Non-Linear Spectroscopy (LENS)（欧洲非线性光谱实验室）
借助几何量子机器学习，本文提出了遵循对称群及其子群的等变量子卷积神经网络架构，通过优化像素到量子比特的嵌入顺序及引入dropout策略，在图像与图分类任务中显著提升了性能。
2024-04-28 cs.AI cs.CV cs.LG
PEAR: Permutation-Equivariant Adaptive Routing Multi-Agent Debate
University of Edinburgh（爱丁堡大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出PEAR协议，通过动态重配置通信角色和稀疏拓扑，消除固定拓扑中的位置偏差，提升多智能体辩论的准确性和鲁棒性。
2026-09-01 cs.AI cs.CL cs.LG
Theoretical Guarantees for Permutation-Equivariant Quantum Neural Networks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）
针对量子神经网络训练中的贫瘠高原等问题，本文构建了处理置换对称性问题的 $S_n$-等变QNNs，证明其无贫瘠高原、快速过参数化且泛化良好，并通过图态分类任务验证，为等变QNNs提供了首个理论保证。
2024-02-14 cs.LG quant-ph stat.ML
Weisfeiler Leman for Euclidean Equivariant Machine Learning
Faculty of Mathematics, Technion - Israel Institute of Technology（以色列理工学院数学学院）；Faculty of Computer Science, Technion - Israel Institute of Technology（以色列理工学院计算机科学学院）
本文扩展了2-WL测试到点云数据，证明PPGN可模拟2-WL，提出等变通用性框架，并开发出在N-Body和GEOM-QM9任务上达到最先进性能的WeLNet架构。
2024-06-26 cs.LG
Beyond permutation equivariance in graph networks
GlaxoSmithKline（葛兰素史克）
在这篇论文草案中，我们介绍了一种新的架构图网络，这是等价于欧几里德集团在$n$维。该模型被设计为以其一般形式与图网络一起工作，并且可以显示为包括作为特殊情况的特定变体。由于它的等方差特性，我们期望所提出的模型相对于经典图架构具有更高的数据效率，并且本质上具有更好的归纳偏差。我们把对这件事的调查推迟到将来的工作中去做。
2021-05-21 cs.LG
EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers
Massachusetts Institute of Technology (MIT)（麻省理工学院）
本文提出EquiformerV3，通过优化软件实现、引入等价合并层归一化和改进的前馈网络参数，提升了效率、表达力和通用性，实现了对光滑变化的势能面的精确建模。
2026-04-10 cs.AI cs.LG physics.comp-ph
On Representing Electronic Wave Functions with Sign Equivariant Neural Networks
Technical University of Munich（慕尼黑工业大学）
本研究探索用先计算反对称量再应用符号等变神经网络的反向思路表示电子波函数，理论和实验均证明该方法等价于Jastrow因子，相比基线无明显优势。
2024-03-08 cs.LG physics.chem-ph physics.comp-ph
Frame Averaging for Invariant and Equivariant Network Design
Weizmann Institute of Science（魏茨曼科学研究所）；Facebook AI Research（脸书人工智能研究院）
许多机器学习任务涉及学习已知对于输入数据的某些对称性不变或等变的函数。然而，设计尊重这些对称性同时具有表达性和计算效率的神经网络架构通常是具有挑战性的。例如，欧几里德运动不变/等变图或点云神经网络。我们介绍帧平均（FA），一个通用的和系统的框架，用于适应已知的（骨干）架构，成为新的对称类型不变或等变。我们的框架建立在众所周知的组平均算子，保证不变性或等变性，但难以处理。相反，我们观察到，对于许多重要的对称类，这个算子可以用一个平均算子在一个小的子集的组元素，称为一个框架。我们表明，平均在一个帧保证确切的不变性或等变性，而往往是更简单的计算比平均在整个组。此外，我们证明了基于FA的模型在广泛的环境中具有最大的表达能力，并且在一般情况下保留了其骨干架构的表达能力。使用帧平均，我们提出了一类新的通用图神经网络（GNNs），通用欧几里德运动不变点云网络，和欧几里德运动不变消息传递（MP）GNNs。我们证明了FA在几个应用程序中的实际有效性，包括点云正常估计，超越$2$ -WL图分离，和$n$ -身体动力学预测，在所有这些基准测试中达到最先进的结果。
2022-03-15 cs.LG stat.ML
Group Equivariant Conditional Neural Processes
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目中心）
我们提出了组等变条件神经过程（EquivCNP），这是一种元学习方法，与传统的条件神经过程（CNP）一样，在数据集中具有排列不变性，并且在数据空间中也具有变换等变性。解释组等方差，如旋转和缩放等方差，提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理，这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中，我们使用李群卷积层构建架构以供实际实现。我们表明，翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外，我们证明，将适当的李群等方差，EquivCNP是能够zero-shot概括的图像完成任务，通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
A Characterization Theorem for Equivariant Networks with Point-wise Activations
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；University of Oxford（牛津大学）；University of Venice（威尼斯大学）
本文提出刻画有限维表示、坐标选择与逐点激活构成精确等变层的一般定理，并据此分析旋转、置换及可导向 CNN 等网络的不变性与表示性质。
2024-01-17 cs.AI cs.LG
TERM Model: Tensor Ring Mixture Model for Density Estimation
University of Electronic Science and Technology of China（电子科技大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对张量网络密度估计中排列候选多、表达能力受限的问题，提出基于张量环分解的TERM模型及带自适应权重的混合模型，在中等维度数据集的密度估计和采样任务上取得更优效果。
2023-12-13 cs.LG stat.ML
