Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations
Technion – Israel Institute of Technology（以色列理工学院）
本文基于不可约表示与舒尔引理提出新方法，推导了DeepSets等模型，扩展到未对齐对称集时发现大量非暹罗式层，经实验其可提升多项任务性能。
2026-08-25 cs.AI cs.LG
Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）；Tencent（腾讯）
图神经网络（GNN）是一种新兴的基于图的机器学习模型。置换等方差和邻近感知是GNN非常需要的两个重要属性。这两个属性都需要解决一些具有挑战性的图形问题，例如寻找社区和领导者。在本文中，我们首先分析表明，现有的GNNs，主要是基于消息传递机制，不能同时保持这两个属性。然后，我们提出了随机消息传递（SMP）模型，一个通用的和简单的GNN保持接近意识和置换等变性。为了保持节点的邻近性，我们用随机节点表示来增强现有的GNN。我们从理论上证明了该机制可以使GNN保持节点的邻近性，同时，保持一定的参数化的置换等变性。我们报告了广泛的实验结果，在10个数据集上，并证明了SMP的有效性和效率的各种典型的图挖掘任务，包括图重建，节点分类，和链接预测。
2022-02-22 cs.LG stat.ML
Group Equivariant Conditional Neural Processes
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目中心）
我们提出了组等变条件神经过程（EquivCNP），这是一种元学习方法，与传统的条件神经过程（CNP）一样，在数据集中具有排列不变性，并且在数据空间中也具有变换等变性。解释组等方差，如旋转和缩放等方差，提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理，这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中，我们使用李群卷积层构建架构以供实际实现。我们表明，翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外，我们证明，将适当的李群等方差，EquivCNP是能够zero-shot概括的图像完成任务，通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
Balancing Symmetry and Efficiency in Graph Flow Matching
LTS4, EPFL, Lausanne, Switzerland（LTS4，瑞士洛桑联邦理工学院，拉夫斯堡）
通过可控对称调制方案，研究图生成模型中严格等变性带来的计算成本与收敛速度之间的权衡，发现适当调节对称性可在加速收敛的同时避免过拟合。
2026-06-02 cs.LG
Equivariance Everywhere All At Once: A Recipe for Graph Foundation Models
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）；AITHYRA；Technion – Israel Institute of Technology（以色列理工学院）
针对图机器学习架构任务定制化导致泛化性不足的问题，本研究从对称性出发提出图基础模型构建方案，证明其为多重集通用逼近器，在29个节点分类数据集上验证了优异的零样本性能和随训练数据增长的提升效果。
2025-10-28 cs.LG cs.SI stat.ML
Double Equivariance for Inductive Link Prediction for Both New Nodes and New Relation Types
Purdue University（普渡大学）
针对知识图谱完全归纳式链接预测任务，提出双重置换等变表示概念，证明其必要性并指出现有模型符合该框架，同时揭示其固有局限性，说明双重等变性并非充分条件。
2025-01-14 cs.AI cs.CL cs.LG
EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks
INRIA（法国国家信息与自动化研究所）；University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；PriorLabs
等价表型前馈网络通过设计完全目标等价的架构，解决目标排列变化导致的预测不稳定性问题，在计算开销较低的情况下提升分类性能。
2026-01-07 cs.AI cs.LG
Spatial Attention Kinetic Networks with E(n)-Equivariance
Weill Cornell Medical College（威尔康奈尔医学院）；Sloan Kettering Institute（斯隆凯特琳研究所）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
神经网络在n维几何空间上的旋转、平移、反射和置换等变，在物理建模中显示出了希望，例如精确但廉价地建模复杂的势能表面，以指导复杂动力系统的采样或预测它们的时间演化。目前最先进的方法采用球谐函数来编码粒子之间的高阶相互作用，这在计算上是昂贵的。在本文中，我们提出了一个简单的替代功能形式，使用神经参数化的线性组合的边缘向量，以实现等方差，同时仍然普遍近似节点环境。为了证明这一点，我们设计了具有E（n）-等方差（SAKE）的空间注意力动力学网络，它在多体系统建模任务中具有竞争力，同时速度明显更快。
2023-01-24 cs.LG physics.app-ph
Permutation Equivariant Neural Networks for Symmetric Tensors
Department of Mathematics, Imperial College London, United Kingdom（伦敦帝国学院数学系）
本文提出对称张量上线性置换等变函数的两种刻画，证明其相比标准MLP具有高数据效率，并能泛化到不同大小的对称张量。
2025-05-23 cs.LG math.CO math.RT
PERM EQ x GRAPH EQ: Equivariant Neural Networks for Quantum Molecular Learning
Independent Researcher, College Park, Maryland, United States（独立研究者，马里兰州学院公园，美国）；Independent AI Researcher, San Francisco, California, United States（独立AI研究者，加利福尼亚州旧金山，美国）
本文提出了一种基于等变神经网络的量子分子学习方法，通过比较不同等变性模型的性能，发现置换对称嵌入在几何学习中具有最佳通用性。
2025-12-05 cs.AI cs.LG quant-ph
Position Paper: Generalized grammar rules and structure-based generalization beyond classical equivariance for lexical tasks and transduction
PUC Chile（智利天主教大学）；CSAIL（计算机科学与人工智能实验室）
针对神经网络组合泛化能力弱于人类词汇学习的问题，提出基于广义语法规则（GGRs）的通用建模框架，将其作为转导任务中等变性的对应物，可涵盖现有研究并关联强化学习等领域。
2024-02-02 cs.CL cs.LG stat.ML
Geometric Algebra Attention Networks for Small Point Clouds
Vector Institute（向量研究所）
深度学习的大部分成功都来自于构建适当尊重其操作数据中潜在对称性和结构的架构--这是一组在几何深度学习旗帜下统一的考虑因素。物理科学中的问题通常涉及二维或三维空间中相对较小的点集，其中平移，旋转和置换等方差对于模型在实践中有用是重要的，甚至是至关重要的。在这项工作中，我们提出了旋转和置换等变架构，用于在这些小点云上进行深度学习，这些小点云由一组来自几何代数的项的乘积和使用注意力机制对这些乘积的约简组成。几何代数提供了有价值的数学结构，通过它可以以系统的方式组合矢量、标量和其他类型的几何输入，以说明旋转不变性或协方差，而注意力则提供了一种强有力的方式来施加置换等变性。我们通过训练模型来解决与物理，化学和生物学相关的样本问题，展示了这些架构的有用性。
2022-10-03 cs.CV cs.LG
GRAMA: Adaptive Graph Autoregressive Moving Average Models
University of Cambridge（剑桥大学）；University of Pisa（比萨大学）
本文提出GRAMA，一种基于可学习ARMA框架的图自适应方法，通过将静态图转为序列数据并引入选择性注意力机制，在保持置换等变性的同时实现高效长程信息传播，在14个数据集上优于骨干模型并媲美最先进方法。
2025-01-22 cs.LG
Equivariant Diffusion for Crystal Structure Prediction
School of Computer Science；Engineering, Sun Yat-sen University, Guangzhou, China；National Supercomputer Center in Guangzhou, China；Dept. of Comp. Sci. \& Tech., Institute for AI, Tsinghua University, Beijing, China；Institute for AIR, Tsinghua University, Beijing, China；Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China；Beijing Key Laboratory of Big Data Management；Analysis Methods, Beijing, China
EquiCSP通过等价扩散模型解决晶体结构预测中的对称性问题，提升生成结构的准确性并加快训练收敛速度。
2025-12-08 cond-mat.mtrl-sci cs.LG
Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation
本文提出用置换等变图元网络参数化流匹配速度场，实现无需对齐的神经权重生成，能再现独立训练网络的统计特性并泛化到新架构。
2026-09-29 cs.LG
DIVER-0 : A Fully Channel Equivariant EEG Foundation Model
snu（首尔国立大学）；bnl（布鲁克海文国家实验室）
本文提出完全通道等变的EEG基础模型DIVER-0，通过RoPE、二值注意力偏置和滑动时间条件位置编码实现时空注意力建模，仅用10%预训练数据即可在任意电极配置下保持鲁棒泛化性能。
2025-06-13 cs.AI cs.LG eess.SP
CrossGMN: Graph Metanetworks for Cross-Architecture Weight-Space Transformations
Technion – Israel Institute of Technology（以色列理工学院）；NVIDIA Research（英伟达研究院）
针对跨架构权重空间变换，提出CrossGMN图元网络，通过对称保持的跨网络消息传递实现等变算子，具备普适性，在模型压缩中加速蒸馏最高8.89倍并支持跨数据集迁移。
2026-10-02 cs.LG
Subgraph Permutation Equivariant Networks
University of Glasgow（格拉斯哥大学）
在这项工作中，我们开发了一种新的方法，命名为子图置换等变网络（SPEN），它提供了一个框架，用于构建操作子图的图神经网络，同时使用一个基更新函数，是置换等变的，是等变的一个新的选择的自同构群。消息传递神经网络已被证明是有限的，在他们的表达能力和最近的方法来克服这要么缺乏可扩展性或需要结构信息被编码到特征空间。这里提出的一般框架克服了可扩展性问题与全球置换等方差的操作更本地的子图。此外，通过对子图进行操作，提高了高维全局置换等变网络的表达能力;这是由于两个不可区分的图通常包含可区分的子图。此外，所提出的框架仅需要选择用于创建自我网络子图的$k$跳和选择用于每层的表示空间，这使得该方法容易地适用于基于图的域的范围。我们在一系列图基准分类任务上通过实验验证了该方法，在七个基准中的六个基准上展示了统计上与最先进的结果无法区分的结果。此外，我们证明了本地更新功能的使用提供了一个显着的改善GPU内存的全局方法。
2022-10-17 cs.LG
Exchangeable Neural ODE for Set Modeling
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；The University of North Carolina（北卡罗来纳大学）
对由一组向量组成的实例（如点云）进行推理，需要考虑元素之间的集合内相关特征。然而，由于这些实例是无序的，因此当输入的顺序被置换时，元素的特征应该保持不变。这种性质，即置换等方差，对于大多数神经架构来说是一个具有挑战性的约束。虽然最近的工作提出了全球池和注意力为基础的解决方案，这些可能是有限的方式，在实践中捕获的内部依赖关系。在这项工作中，我们提出了一个更一般的配方，通过常微分方程（ODE）实现置换等变性。我们提出的模块，可交换神经ODE（ExNODE），可以无缝地应用于判别和生成任务。我们还扩展了时间维度的集合建模，并提出了一个基于VAE的时间集合建模模型。大量的实验证明了我们的方法在强基线上的有效性。
2020-08-06 cs.LG stat.ML
Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks
University of Pennsylvania（宾夕法尼亚大学）；Intel Corporation（英特尔公司）
研究了自由空间光前传网络中的最优资源分配问题。最优分配最大化平均加权和容量受功率限制和数据拥塞约束。基于链路的瞬时信道状态信息（CSI），考虑自适应功率分配和节点选择。通过参数化的资源分配政策，我们制定的问题作为一个无监督的统计学习问题。我们认为图形神经网络（GNN）的政策参数化，利用FSO网络结构与小规模的训练参数。GNN保持与网络中的资源分配策略的置换等方差相匹配的置换等方差。原始-对偶学习算法的开发训练的GNN在无模型的方式，其中的知识系统模型是不需要的。数值模拟显示GNN相对于具有相等功率分配和随机节点选择的基线策略的强大性能。
2020-06-26 cs.LG eess.SP
ZZ-Net: A Universal Rotation Equivariant Architecture for 2D Point Clouds
Chalmers University of Technology（查尔姆斯理工大学）；Umeå University（于默奥大学）
本文研究了二维点云数据的旋转等方差问题。我们描述了一组特殊的功能，能够近似任何连续的旋转等变和置换不变的功能。基于这一结果，我们提出了一种新的神经网络架构处理二维点云，我们证明了它的通用性，表现出这些对称性的近似函数。我们还展示了如何扩展的架构，接受一组2D-2D的对应作为indata，同时保持类似的等方差属性。对立体视觉中的基本矩阵估计进行了实验研究。
2022-03-28 cs.CV cs.LG
A Unified Analysis of Stochastic Gradient Descent with Arbitrary Data Permutations and Beyond
Beijing University of Posts and Telecommunications（北京邮电大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文为基于排列的SGD提出统一收敛分析框架，涵盖含跨epoch依赖的排列类别，并将其扩展至联邦学习中的客户端排序。
2025-01-27 cs.LG
Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
KAIST（韩国科学技术院）
该研究提出概率对称化框架，用小型等变网络参数化对称化分布，结合任意基础模型端到端训练，实现架构无关的群等变性，在多对称群测试中性能媲美定制等变架构，还可跨模态预训练增强效果。
2024-04-13 cs.AI cs.LG
On the Expressive Power of Floating-Point Transformers
Department of Artificial Intelligence, Korea University（韩国大学人工智能系）；Department of Mathematics and Statistics, Sejong University（世宗大学数学与统计学系）；Department of Mathematical Sciences, Gwangju Institute of Science and Technology（全州科学技术研究院数学科学系）
本文研究了浮点数变换器的表达能力，发现其在特定条件下可表示非排列等价函数，并揭示了位置编码对表示能力的影响。
2026-01-23 cs.LG
On the Utilization of Unique Node Identifiers in Graph Neural Networks
Blavatnik School of Computer Science, Tel-Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；University of Cambridge（剑桥大学）；Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学应用数学与理论物理系）；Edmond J. Safra Center for Bioinformatics, Tel-Aviv University（特拉维夫大学埃德蒙·J·萨夫拉生物信息学中心）；Meta；Google Research（谷歌研究院）
针对图神经网络中唯一节点标识符（UIDs）丧失置换等变性的问题，提出利用对比损失正则化UID模型以趋向置换等变性的方法，提升了泛化与外推能力，并在BREC基准上取得同类方法最优性能。
2024-11-12 cs.AI cs.LG stat.ML
Relaxing Continuous Constraints of Equivariant Graph Neural Networks for Physical Dynamics Learning
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯AI Lab）
针对现有图神经网络在离散对称物理动力学场景中等变性适配不足的问题，提出离散等变图神经网络DEGNN通过松弛连续等变约束，采用两种置换不变函数实现方式，在多类物理动力学20种场景中性能优于现有最优方法，且数据效率高、跨场景泛化性强。
2024-06-24 cs.AI cs.LG
Any-Subgroup Equivariant Networks via Symmetry Breaking
MIT（麻省理工学院）；TUM（技术大学慕尼黑）；Flatiron Institute（Flatiron研究院）
本文提出Any-Subgroup Equivariant Network，通过调节辅助输入特征实现多组等变，理论证明其能模拟等变MLP，实验验证其在图、图像及序列任务中优于单独等变模型。
2026-03-19 cs.LG
Building powerful and equivariant graph neural networks with structural message-passing
EPFL（洛桑联邦理工学院）
消息传递已被证明是设计图神经网络的一种有效方法，因为它能够利用置换等方差和对学习局部结构的归纳偏差，以实现良好的泛化。然而，目前的消息传递架构具有有限的表示能力，并且无法学习图的基本拓扑属性。我们解决这个问题，并提出了一个强大的和equivariant消息传递框架的基础上两个想法：第一，我们传播一个热编码的节点，除了功能，为了学习每个节点周围的本地上下文矩阵。该矩阵包含关于特征和拓扑的丰富的本地信息，并且最终可以被合并以构建节点表示。其次，我们提出的方法参数化的消息和更新功能，确保置换等变性。具有独立于独热编码的特定选择的表示允许归纳推理并导致更好的泛化属性。实验上，我们的模型可以比以前的方法更准确地预测合成数据的各种图拓扑属性，并在ZINC数据集上的分子图回归方面取得了最先进的结果。
2020-10-23 cs.LG stat.ML
Provable Adversarial Robustness for Group Equivariant Tasks: Graphs, Point Clouds, Molecules, and More
Technical University of Munich（慕尼黑工业大学）；Department of Computer Science & Munich Data Science Institute（计算机科学系与慕尼黑数据科学研究所）
本文首次提出考虑任务等变性的对抗鲁棒性概念，并通过匹配模型等变性与传统认证、以及提出保持等变性的随机平滑框架和首个图编辑距离证书，实现了对图、点云、分子等任务的架构无关可证明鲁棒性。
2024-01-15 cs.CR cs.LG stat.ML
3D-Rotation-Equivariant Quaternion Neural Networks
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
提出了一套规则，将用于三维点云处理的各种神经网络修正为旋转等变四元数神经网络（REQNNs）。我们发现，当一个神经网络在一定条件下使用四元数特征时，网络特征自然具有旋转等变性。旋转等方差意味着对输入点云应用特定的旋转变换等效于对所有中间层四元数特征应用相同的旋转变换。此外，REQNN还确保了中间层特征对输入点的排列是不变的。与原神经网络相比，REQNN具有更高的旋转鲁棒性。
2020-10-11 cs.CV cs.LG stat.ML
Towards a Unified Representation Evaluation Framework Beyond Downstream Tasks
Queen Mary University of London（伦敦女王学院）；Universal Music Group（环球音乐集团）
本文提出一个统一的标准化表示评估框架，超越下游探测，量化表示的 informativeness、等变性、不变性和解耦性，并发现下游性能相似的模型在这些属性上存在显著差异。
2025-05-09 cs.LG
Self-Attentive Document Interaction Networks for Permutation Equivariant Ranking
Google（谷歌）
如何利用跨文档交互来提高排序性能是信息检索研究的一个重要课题。然而，这个主题还没有得到很好的研究，在学习排名设置和大多数现有的工作仍然对待每个文件独立，而评分。深度学习的最新发展显示了在跨序列和集合建模复杂关系方面的实力。因此，它激励我们研究如何利用跨文档交互在深度学习框架中进行学习排名。在本文中，我们正式定义了一个评分功能，捕捉跨文档的相互作用的置换等方差要求。然后，我们提出了一个自我注意的文档交互网络，并表明它满足置换等变的要求，并可以产生不同大小的文档集的分数。我们提出的方法可以自动学习捕获文档交互，而无需任何辅助信息，并且可以在大型文档集上扩展。我们在三个排名数据集上进行实验：基准Web30k，Gmail搜索和Google Drive快速访问数据集。实验结果表明，我们提出的方法是更有效的和高效的基线。
2019-10-23 cs.IR cs.LG
Graph Ordering Attention Networks
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
图神经网络（GNN）已成功地用于涉及图结构数据的许多问题，实现了最先进的性能。GNN通常采用消息传递方案，其中每个节点使用置换不变聚合函数聚合来自其邻居的信息。标准的经过充分检验的选择，如平均值或总和聚合函数的功能有限，因为它们无法捕获邻居之间的交互。在这项工作中，我们正式这些相互作用使用的信息理论框架，特别是包括协同信息。在这个定义的驱动下，我们引入了图排序注意力（GOAT）层，这是一个新颖的GNN组件，可以捕获邻域中节点之间的交互。这是通过经由注意力机制学习局部节点排序并使用递归神经网络聚合器处理有序表示来实现的。这种设计使我们能够利用一个置换敏感的聚合器，同时保持所提出的GOAT层的置换等变性。GOAT模型展示了其在建模图度量方面的性能提高，这些度量捕获复杂信息，例如节点的介数中心性和有效大小。在实际用例中，其优越的建模能力通过其在几个真实世界的节点分类基准测试中的成功得到证实。
2022-11-21 cs.LG
Quasi-Equivariant Metanetworks
FPT Software AI Center（FPT软件人工智能中心）
本文提出准等变元网络，通过引入准等变性概念，在保留功能一致性的同时，突破严格等变性的刚性限制，提升元网络的表达能力和鲁棒性。
2026-04-26 cs.LG
Deep Sets
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊网络服务公司）
我们研究了在\emph{sets}上定义的机器学习任务的模型设计问题。与传统的操作固定维向量的方法相比，我们考虑定义在集合上的目标函数是不变的排列。这样的问题是普遍存在的，从人口统计\cite{poczos13aistats}的估计，异常检测堤坝\cite{Jung15Exploration}的测压计数据，宇宙学\cite{Ntampaka16Dynamical,Ravanbakhsh16ICML1}。我们的主要定理的特点置换不变的功能，并提供了一个家庭的功能，任何置换不变的目标函数必须属于。这一系列函数具有特殊的结构，使我们能够设计一个可以对集合进行操作的深度网络架构，并且可以部署在各种场景中，包括无监督和监督学习任务。我们还得到了置换等方差的必要条件和充分条件在深模型。我们证明了我们的方法在人口统计估计，点云分类，集合扩展和离群点检测的适用性。
2018-04-14 cs.LG stat.ML
Top-N: Equivariant set and graph generation without exchangeability
EPFL（洛桑联邦理工学院）
这项工作解决了一次拍摄集和图形生成，更具体地说，概率解码器的参数化，映射一个矢量形状之前的分布集或图形。集合和图形通常由第一采样点i.i.d.生成。从正态分布，然后使用Transformer层或图神经网络处理这些点以及先前的向量。该架构被设计为生成可交换的分布，即，所生成的输出的所有排列都是同样可能的。然而，我们表明，它只优化代理的证据下限，这使得它很难训练。然后，我们研究生成设置中的等方差，并表明非交换方法仍然可以实现置换等方差。利用这个结果，我们引入了Top-n创建，这是一种可微分生成机制，它使用潜在向量从可训练的参考集中选择最相关的点。Top-n可以代替i.i.d.在任何变分自编码器或生成对抗网络中生成。实验上，我们的方法优于i.i.d.在SetMNIST重建时生成15%，在CLEVR上的目标检测时生成33%，生成的集合更接近合成分子样数据集上的真实分布74%，并在QM 9上生成更多有效分子。
2022-04-01 cs.LG stat.ML
TABASCO: A Fast, Simplified Model for Molecular Generation with Improved Physical Quality
ETH Zurich, Switzerland（苏黎世联邦理工学院，瑞士）；University of Cambridge, United Kingdom（剑桥大学，英国）
TABASCO通过采用非等变transformer架构、将原子视为序列并确定性重建化学键，在GEOM-Drugs上以约10倍推理加速实现最先进的PoseBusters有效性，为高通量药物设计提供极简生成模型蓝图。
2025-07-01 cs.LG
Approximately Equivariant Graph Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Technion – Israel Institute of Technology（以色列理工学院）
本研究提出近似等变图网络，通过图粗化定义近似对称性，并给出偏差-方差公式以权衡表达性与正则性，实验证明选择介于自同构与置换群之间的对称群可获得最佳泛化。
2023-11-17 cs.LG stat.ML
Group-Equivariant Poincaré Convolutional Networks
School of Computing Sciences, University of East Anglia（东安格利亚大学计算机科学学院）；Department of Physics and Technology, UiT The Arctic University of Norway（北极大学挪威分校物理与技术系）
针对庞加莱ResNet优化困难及标准双曲网络无法处理空间变换等变性的问题，提出结合双曲几何与离散对称群的等变庞加莱ResNet，通过几何安全的张量重塑、左正则置换和联合定向批归一化，实现边界约束下的快速收敛和空间群等变性。
2026-08-25 cs.AI cs.LG
A Permutation-Equivariant Neural Network Architecture For Auction Design
Princeton University（普林斯顿大学）；New York University（纽约大学）；Institute for Advanced Study（高等研究院）
设计一个激励相容的拍卖，使期望收益最大化是拍卖设计中的一个核心问题。在过去的几十年里，解决这个问题的理论方法已经达到了一些极限，只有少数几个简单的设置的分析解决方案是已知的。通过使用LP来解决问题的计算方法有其自身的局限性。在深度学习成功的基础上，Duetting等人（2019）最近提出了一种新方法，其中拍卖由前馈神经网络建模，设计问题被视为学习问题。在这项工作中使用的神经架构是通用的，并且没有利用问题可能存在的任何对称性，例如置换等变性。在这项工作中，我们考虑拍卖设计问题，具有置换等变对称性，并构建了一个神经架构，能够完美地恢复置换等变最优机制，这是我们不可能与以前的架构。我们证明，置换等变架构不仅能够恢复以前的结果，他们也有更好的推广性能。
2021-10-25 cs.GT cs.LG stat.ML
Permutation Equivariant Graph Framelets for Heterophilous Graph Learning
City University of Hong Kong（香港城市大学）；Zhejiang Normal University（浙江师范大学）
针对异嗜图学习，本文提出基于置换等变Haar型图框架小波的PEGFAN模型，实现多尺度特征提取，在多个异嗜数据集上达到最优或竞争力性能。
2023-10-17 cs.AI cs.LG cs.SI
VolterraNet: A higher order convolutional network with group equivariance for homogeneous manifolds
FaceBook（脸书）；University of California, Berkeley（加州大学伯克利分校）；University of Florida（佛罗里达大学）
卷积神经网络由于其平移等方差特性，在基于图像的学习任务中获得了高度成功。最近的工作已经将传统的卷积神经网络的卷积层推广到非欧空间，并显示了广义卷积运算的组等变性。在本文中，我们提出了一种新的高阶Volterra卷积神经网络（VolterraNet）的数据定义为样本的函数在黎曼齐性空间。类似于传统卷积的结果，我们证明了Volterra函数卷积与黎曼齐性空间中等距群的作用是等变的，并且在一定的限制条件下，任何非线性等变函数都可以表示为齐性空间Volterra卷积，推广了欧氏空间中Volterra展开式的非线性移位等变特征.我们还证明了二阶函数卷积运算可以表示为级联卷积，这导致了一个有效的实现。除此之外，我们还提出了一个扩展的VolterraNet模型。这些进步导致相对于基线非欧几里德CNN的参数大幅减少。为了证明VolterraNet性能的有效性，我们提出了几个真实的数据实验，涉及球形MNIST，原子能，Shrec17数据集的分类任务，以及扩散MRI数据的组测试。性能比较的国家的最先进的。
2021-06-05 cs.CV cs.LG
Efficient Equivariant Transformer for Self-Driving Agent Modeling
Waabi；University of Toronto（多伦多大学）
本文提出DriveGATr，一种基于变换器的架构，通过多向量在2D投影几何代数中建模几何关系，实现SE(2)-等价性，无需显式成对相对位置编码，提升大规模场景下的效率。
2026-04-01 cs.CV cs.LG cs.RO
Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
许多不变（或等变）神经网络已经成功地处理不变的数据，如点云和图形。然而，神经网络的推广理论还没有得到很好的发展，因为该理论的几个基本因素，如网络大小和边缘分布，没有深入联系的不变性和等变性。在这项研究中，我们开发了一个新的泛化误差界不变和等变深度神经网络。为了描述不变性和等变性对推广的影响，我们提出了一个\textit{quotient feature space}的概念，它度量了群作用对性质的影响。我们的主要结果证明了商特征空间的体积可以描述泛化误差。此外，该界表明，不变性和等变性显着改善的领先项的界。我们将我们的结果应用于特定的不变和等变网络，例如DeepSets（Zaheer et al.（2017）），并表明它们的泛化界被$\sqrt{n!}$大大提高，其中$n!$是排列的数量。我们还讨论了不变DNN的表达能力，并表明它们可以实现最佳近似率。我们的实验结果支持了我们的理论主张。
2021-06-19 cs.LG stat.ML
Equivariance and generalization in neural networks
Institute for Theoretical Physics, TU Wien（维也纳工业大学理论物理研究所）
高能物理学和格点场论的基本对称性所起的关键作用要求在应用于所考虑的物理系统的神经网络架构中实现这种对称性。在这些程序中，我们专注于将平移等方差网络属性之间的后果，特别是在性能和泛化方面。通过研究复杂的标量场理论，研究了各种回归和分类任务，证明了等变网络的好处。为了进行有意义的比较，通过系统搜索确定有前途的等变和非等变架构。结果表明，在大多数任务中，我们最好的等变架构可以执行和推广显着优于其非等变对应物，这不仅适用于训练集中表示的物理参数，而且适用于不同的晶格尺寸。
2021-12-23 cs.LG hep-lat hep-ph
Principled Simplicial Neural Networks for Trajectory Prediction
Rice University（莱斯大学）
我们考虑单纯复形数据的神经网络架构的建设。在研究单纯复形的链复形上的映射时，我们定义了单纯神经网络体系结构的三个理想性质：即排列等变性，方向等变性和单纯意识。前两个性质分别说明了单纯复形中的节点索引和单形方向是任意的。最后一个属性编码了期望的特征，即神经网络的输出取决于整个单纯复形而不是其维度的子集。基于这些属性，我们提出了一个简单的卷积架构，植根于工具从代数拓扑，轨迹预测的问题，并表明，它服从所有这三个属性时，一个奇数，非线性激活函数使用。然后，我们证明了这种架构在合成和真实数据集上外推轨迹的有效性，特别强调了不可见轨迹的可推广性。
2021-06-07 cs.LG cs.SI
A Simple and Universal Rotation Equivariant Point-cloud Network
Technion – Israel Institute of Technology（以色列理工学院）；NVIDIA Research（英伟达研究院）
置换和刚性运动的等变性是各种3D学习问题的重要归纳偏差。最近已经证明，等变张量场网络架构是通用的-它可以近似任何等变函数。在本文中，我们提出了一个更简单的架构，证明它享有相同的通用性保证，并评估其性能的Modelnet 40。重现我们实验的代码可以在\url{https://github.com/simpleinvariance/UniversalNetwork}上找到
2022-05-27 cs.CV cs.LG
EDEN: A Plug-in Equivariant Distance Encoding to Beyond the 1-WL Test
Shanghai Jiao Tong University（上海交通大学）
消息传递机制是图表示学习的核心。虽然大多数现有的消息传递图神经网络（MPNN）在图级表示学习中是置换不变的，而在节点和边级表示学习中是置换等变的，但它们的表达能力通常受到1-Weisfeiler-Lehman（1-WL）图同构测试的限制。最近提出的表达图神经网络（GNNs）与专门设计的复杂的消息传递机制是不实用的。为了弥补这一差距，我们提出了一个插件等变距离ENcoding（EDEN）的MPNN。EDEN是从图的距离矩阵上的一系列可解释的变换中推导出来的。我们从理论上证明了EDEN对所有层次的图表示学习都是置换等变的，并从实验上证明了EDEN的表达能力可以达到3-WL测试。在真实世界数据集上进行的大量实验表明，将EDEN与传统的GNN相结合超越了最近的先进GNN。
2022-11-19 cs.LG
Autobahn: Automorphism-based Graph Neural Nets
Flatiron Institute（弗莱顿研究所）；New York University（纽约大学）；University of Chicago（芝加哥大学）
我们介绍了基于自同构的图神经网络（Autobahn），一个新的家庭的图神经网络。在一个高速公路，我们分解成一个子图的集合图，并应用局部卷积是等变的每个子图的自同构群。局部邻域和子图的特定选择恢复了现有的架构，例如消息传递神经网络。我们的形式主义还包括新颖的架构：作为一个例子，我们引入了一个图神经网络，它将图分解为路径和循环。由此产生的卷积反映了部分图可以变换的自然方式，保留了卷积的直观含义，而不会牺牲全局置换等方差。我们验证了我们的方法，应用Autobahn分子图，在那里它实现了竞争的结果与国家的最先进的消息传递算法。
2022-02-03 cs.LG
SPECTra: Scalable Multi-Agent Reinforcement Learning with Permutation-Free Networks
University of Seoul（首尔大学）
针对协作式 MARL 的置换问题与智能体数量扩展难题，本文提出 SPECTra，利用低复杂度置换等变智能体网络、可扩展超网络非线性混合及课程学习，在 SMACv2 和 GRF 上取得优于现有方法的性能。
2025-03-14 cs.AI cs.LG
Breaking the Curse of Dimensionality in Multiagent State Space: A Unified Agent Permutation Framework
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；Northwestern Polytechnical University（西北工业大学）
多智能体强化学习（MARL）中的状态空间随着智能体的数量呈指数增长。这种维数灾难导致了较差的可扩展性和低样本效率，抑制了MARL数十年。为了打破这一诅咒，我们提出了一个统一的代理置换框架，利用置换不变性（PI）和置换等变性（PE）的诱导偏差，以减少多智能体状态空间。我们的见解是，置换的实体在分解的多智能体状态空间的顺序不会改变的信息。具体来说，我们提出了两个新的实现：动态置换网络（DPN）和超策略网络（HPN）。其核心思想是构建独立的实体PI输入和PE输出网络模块，以端到端的方式连接实体分解的状态空间和动作空间。DPN通过两个独立的模块选择网络来实现这种连接，这两个网络一致地将相同的输入模块分配给相同的输入实体（保证PI），并将相同的输出模块分配给相同的实体相关输出（保证PE）。HPN用超网络代替DPN的模块选择网络，直接生成相应的模块权值，增强了模型的表示能力。在SMAC、Google Research Football和MPE上的大量实验表明，所提方法显著提高了现有MARL算法的性能和学习效率。值得注意的是，在SMAC中，我们在几乎所有的硬和超硬场景中实现了100%的胜率（以前从未实现过）。
2022-10-19 cs.AI cs.LG cs.MA
E(n) Equivariant Graph Neural Networks
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一种新的学习与旋转、平移、反射和置换等变的图神经网络的模型，称为E（n）-等变图神经网络（EGNNs）。与现有的方法相比，我们的工作不需要在中间层计算昂贵的高阶表示，同时它仍然实现了竞争力或更好的性能。此外，尽管现有的方法仅限于三维空间上的等方差，但我们的模型很容易扩展到高维空间。我们证明了我们的方法对动力学系统建模，图自动编码器中的表示学习和预测分子性质的有效性。
2022-02-16 cs.LG stat.ML
Equivariant Mesh Attention Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Imperial College London（帝国理工学院）；Qualcomm AI Research（高通人工智能研究院）
对称性的等变性已被证明是深度学习研究中的一个强大的归纳偏差。最近的工作网格处理集中在各种自然的对称性，包括平移，旋转，缩放，节点排列和规范变换。到目前为止，还没有一个现有的体系结构是所有这些转换的等价物。在本文中，我们提出了一个基于注意力的架构，网格数据，可证明是等变的上述所有转换。我们的管道依赖于使用相对切向特征：一个简单，有效，等方差友好的替代原始节点位置作为输入。FAUST和TOSCA数据集上的实验证实，我们提出的架构在这些基准测试中实现了更好的性能，并且确实是等变的，因此对各种局部/全局变换都是鲁棒的。
2022-08-27 cs.CV cs.LG stat.ML
Beyond the Permutation Symmetry of Transformers: The Role of Rotation for Model Fusion
University of Virginia（弗吉尼亚大学）
本文提出用于 Transformer 的旋转对称性，通过在连续域旋转自注意力层参数矩阵扩大等价集，并据此提出理论上最优的即插即用参数匹配算法，显著提升了自然语言与视觉任务中的模型融合效果。
2025-05-28 cs.CV cs.LG
