Approximately Equivariant Networks for Imperfectly Symmetric Dynamics
University of California San Diego(加州大学圣地亚哥分校);Northeastern University(东北大学)
将对称性作为归纳偏差引入神经网络体系结构中,导致了动力学建模中泛化、数据效率和物理一致性的改进。诸如CNN或等变神经网络之类的方法使用权重绑定来强制对称性,例如移位不变性或旋转等变性。然而,尽管物理定律服从许多对称性,但现实世界的动力学数据很少符合严格的数学对称性,这要么是由于噪声或不完整的数据,要么是由于基础动力学系统中的对称性破缺特征。我们探讨近似等变网络偏向于保持对称性,但不严格限制这样做。通过放松等方差约束,我们发现,我们的模型可以优于两个基线没有对称性偏差和基线过于严格的对称性在模拟的湍流域和现实世界的多流射流。
2022-06-16 cs.LG
Improving Equivariant Networks with Probabilistic Symmetry Breaking
MIT(麻省理工学院);UCL(伦敦大学学院);Samsung – SAIT AI Lab(三星SAIT AI实验室);McGill University(麦吉尔大学)
针对等变网络无法打破对称性的根本限制,提出基于随机规范化的SymPE方法,通过等变条件分布实现对称性破缺,在多个图与物理任务上显著提升性能。
2025-03-27 cs.LG stat.ML
Relaxed Equivariant Graph Neural Networks
Northeastern University(东北大学)
该研究基于e3nn框架提出松弛$E(3)$图等变神经网络框架,通过松弛权重实现可控对称性破缺,实验验证其可学习到恰当的破缺程度,为复杂物理系统建模提供新方法。
2024-12-10 cs.LG
Reducing Symmetry Increase in Equivariant Neural Networks
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文针对等变神经网络处理对称输入时的对称性增加问题,通过理论刻画提出降低策略,经合成及QM9数据集实验验证了方法的有效性。
2026-08-13 cs.LG
Morphological-Symmetry-Equivariant Heterogeneous Graph Neural Network for Robotic Dynamics Learning
California Institute of Technology(加州理工学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出MS-HGNN,通过整合机器人运动学结构和形态对称性,实现高效的动力学学习,并在多个四足机器人任务中验证了其有效性。
2026-03-10 cs.LG cs.RO
Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry
Kyoto University(京都大学);RIKEN(理化学研究所);Kanazawa Institute of Technology(金泽工业大学);Grenoble INP(格勒诺布尔理工学院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文建立了群作用下等变映射与不变映射之间的一一对应关系,揭示了具有对称性的深度神经网络机制,并据此提出通用等变架构构造,分析了模型参数复杂度及ReLU网络的逼近率。
2024-09-25 cs.LG
Lattice gauge symmetry in neural networks
TU Wien(维也纳工业大学)
我们回顾了一种新的神经网络架构,称为格规范等变卷积神经网络(L-CNN),它可以应用于格点规范理论中的通用机器学习问题,同时精确地保持规范对称性。我们讨论了规范等变的概念,我们使用它来显式地构建规范等变卷积层和双线性层。使用看似简单的非线性回归任务比较了L-CNN和非等变CNN的性能,其中L-CNN表现出泛化能力,并且与非等变对应物相比,其预测精度较高。
2021-11-08 cs.LG hep-lat hep-ph
Recurrent Equivariant Constraint Modulation: Learning Per-Layer Symmetry Relaxation from Data
University of Pennsylvania(宾夕法尼亚大学);Fermi National Accelerator Laboratory(费米国家加速器实验室)
RECM通过从数据中学习每层对称性放松水平,提高等变神经网络的泛化能力与学习效率。
2026-02-23 cs.LG
Equivariant Hamiltonian Flows
Google(谷歌公司)
本文介绍了等变哈密顿流,学习表达密度的方法是不变的相对于一个已知的李代数的局部对称变换,同时提供一个等变表示的数据。我们提供了如何学习这些流的原理证明,以及如何添加对称不变性约束可以提高数据效率和泛化。最后,我们将连接到解纠缠表示学习,并展示这项工作如何与最近提出的定义相关。
2019-09-30 cs.LG stat.ML
Preserving Continuous Symmetry in Discrete Spaces: Geometric-Aware Quantization for SO(3)-Equivariant GNNs
本文提出几何感知量化框架,通过分离不变长度与等价方向,改进等价GNNs的量化方法,实现对称性保护并提升计算效率。
2026-03-16 cs.LG
Symphony: Symmetry-Equivariant Point-Centered Spherical Harmonics for 3D Molecule Generation
Massachusetts Institute of Technology(麻省理工学院);NVIDIA(英伟达公司)
提出Symphony,一种基于高阶E(3)-等变特征消息传递和球谐信号的3D分子自回归生成模型,能从QM9数据集准确生成小分子,性能超越现有自回归模型并接近扩散模型。
2024-09-21 cs.LG q-bio.BM
Universal Approximation Theorem for Equivariant Maps by Group CNNs
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能研究中心)
群对称性在各种各样的数据分布中是固有的。保持对称性的数据处理被描述为等变映射,并且通常在实现高性能方面有效。卷积神经网络(CNN)被认为是具有等变的模型,并被证明可以近似于某些特定群体的等变映射。然而,CNN的通用近似定理已经根据每个组和设置使用单独的技术分别推导出来。本文提供了一个统一的方法,以获得通用的逼近定理等变映射的CNN在各种设置。作为其显著的优点,我们可以处理非紧群的无限维空间之间的非线性等变映射。
2020-12-27 cs.LG stat.ML
Learning with Category-Equivariant Architectures for Human Activity Recognition
School of Informatics, Nagoya University, Japan(名古屋大学信息学系);School of Computing, Australian National University, Australia(澳大利亚国立大学计算学系)
提出类别等变神经网络CatEquiv,通过编码时间、幅度和结构对称性提升人类活动识别在分布外扰动下的鲁棒性,在不增加模型容量的情况下实现强不变性和泛化能力。
2025-11-04 cs.AI cs.CV cs.HC
Equivariant neural networks for inverse problems
NTNU(挪威科技大学);University of Bath(巴斯大学);University of Cambridge(剑桥大学)
近年来,在神经网络中使用卷积层来编码归纳偏差(平移等方差)已被证明是一个非常富有成效的想法。这种方法的成功激发了一系列研究,将其他对称性纳入深度学习方法,以组等变卷积神经网络的形式。这项工作的大部分集中在旋转平移对称的$\mathbf R^d$,但其他的例子是缩放对称的$\mathbf R^d$和旋转对称的球。在这项工作中,我们证明了群等变卷积运算可以自然地融入到由变分正则化方法驱动的逆问题的学习重建方法中。事实上,如果正则化泛函在群对称下是不变的,则相应的邻近算子将满足关于相同群对称的等方差性质。由于这一观察结果,我们设计了学习迭代法,其中邻近算子被建模为组等变卷积神经网络。我们使用的方法,并将其应用到低剂量的计算机断层扫描重建和子采样的磁共振成像重建的问题的旋转-旋转等变运算。所提出的方法被证明可以提高学习重建方法的重建质量,在训练时具有一点额外的计算成本,但在测试时没有任何额外的成本。
2021-02-23 cs.LG
Theory for Equivariant Quantum Neural Networks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Harvard University(哈佛大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California Davis(加州大学戴维斯分校)
本研究提出等变量子神经网络的通用理论框架,开发多种等变层构建方法,可高效处理大/连续对称群,推广群等变量子卷积神经网络,数值验证其在物相分类任务上的优势,为缓解量子机器学习核心难题提供思路。
2024-05-11 cs.LG quant-ph stat.ML
Equivariant Flow Matching for Symmetry-Breaking Bifurcation Problems
Department of Mechanical Engineering, Eindhoven University of Technology(埃因霍温理工大学机械工程系);DIFFER – Dutch Institute for Fundamental Energy Research(荷兰基础能源研究所);Faculty of Civil Engineering, Department of Mechanics, Czech Technical University in Prague(布拉格捷克技术大学土木工程学院力学系);Department of Mathematics and Computer Science, Eindhoven University of Technology(埃因霍温理工大学数学与计算机科学系)
针对非线性动力系统中对称破缺导致的多稳态共存问题,提出等变流匹配方法,结合等变架构与最优传输耦合机制,准确捕捉多模态分布和对称破缺分岔,优于非概率和变分方法。
2026-06-12 cs.AI cs.CE cs.LG
Lorentz Group Equivariant Neural Network for Particle Physics
University of Chicago(芝加哥大学);Atomwise(Atomwise公司);Enrico Fermi Institute(恩里科·费米研究所);Flatiron Institute(熨斗研究所)
我们提出了一个神经网络架构,是完全等变的洛伦兹群下的转换,在物理学中的空间和时间的基本对称性。该架构是基于洛伦兹群的有限维表示理论和涉及张量积的等变非线性。对于粒子物理学中的分类任务,我们证明了这种等变架构导致了非常简单的模型,这些模型具有相对较少的可学习参数,并且比使用CNN和点云方法的领先方法更具物理可解释性。该网络的竞争性能在公共分类数据集上得到了证明[27],用于标记质子-质子碰撞中产生的喷流成分的能量动量的顶夸克衰变。
2020-06-08 cs.LG hep-ex hep-ph
Equivariance Is Not All You Need: Characterizing the Utility of Equivariant Graph Neural Networks for Particle Physics Tasks
Columbia University(哥伦比亚大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
针对粒子物理重建任务,研究通过真实场景评估发现等变图神经网络的诸多理论优势在实际系统中未必成立,为机器学习与物理应用交叉研究指明新方向。
2023-11-06 cs.LG hep-ex
PELICAN: Permutation Equivariant and Lorentz Invariant or Covariant Aggregator Network for Particle Physics
University of Chicago(芝加哥大学);Enrico Fermi Institute(恩里科·费米研究所)
目前粒子物理学中的许多机器学习方法都使用通用架构,这些架构需要大量参数,而忽略了底层的物理原理,限制了它们作为科学建模工具的适用性。在这项工作中,我们提出了一种机器学习架构,该架构使用一组相对于完整的6维洛伦兹对称性最大限度地减少的输入,并且在整个过程中完全是置换等变的。我们研究了这种网络架构的应用程序的顶夸克标记的标准任务,并表明,所产生的网络优于所有现有的竞争对手,尽管模型的复杂性低得多。此外,我们提出了一个洛伦兹协变变量的相同的网络应用于4动量回归任务。
2022-12-23 cs.LG hep-ex hep-ph
Symmetry From Scratch: Group Equivariance as a Supervised Learning Task
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
针对对称性数据集模型适配特定对称性时过度工程化的问题,提出symmetry-cloning方法,让MLP等通用架构以监督学习方式从群等变架构习得对称性,可在下游任务保留或打破对称性,使无群特定架构的模型获得群等变架构的归纳偏置。
2024-10-05 cs.LG
Gauge-Equivariant Graph Neural Networks for Lattice Gauge Theories
Department of Physics, University of Virginia, Charlottesville, VA 22904, USA(弗吉尼亚大学物理系);Department of Computer Science, Old Dominion University, Norfolk, VA 22904, USA(老 Dominion 大学计算机科学系)
本文提出一种 gauge-等价图神经网络,通过矩阵值 gauge-协变 特征和对称兼容更新,实现非阿贝尔对称的嵌入,扩展了 equivariant 学习到完全局部对称。
2026-04-22 cond-mat.str-el cs.LG hep-lat
Equivariant Graph Neural Networks for Charged Particle Tracking
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Columbia University(哥伦比亚大学)
本文提出对称等变图神经网络EuclidNet,用于带电粒子径迹重建,通过在TrackML数据集上对比验证其在极小参数规模下接近最先进性能并优于非等变基准。
2023-04-11 cs.LG hep-ex physics.comp-ph
Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting
University of California San Diego(加州大学圣地亚哥分校);Northeastern University(东北大学)
利用动力系统中的对称性是提高深度学习泛化能力的有力途径。该模型学习对变换不变性,因此对分布偏移更鲁棒。数据增强和等变网络是将对称性注入学习的两种主要方法。然而,它们在提高泛化能力方面的确切作用还没有得到很好的理解。在这项工作中,我们推导出数据增强和等变网络的泛化界,在一个统一的框架中表征它们对学习的影响。不像大多数先前关于i.i.d.设置,我们专注于非平稳动态预测与复杂的时间依赖性。
2022-06-19 cs.LG
On Universality Classes of Equivariant Networks
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Ca’ Foscari University of Venice(威尼斯卡·福斯卡里大学)
本文研究了等变神经网络的普遍性类别,揭示了分离能力与表达性之间的差异,并探讨了浅层模型在不同对称群结构下的普遍性表现。
2026-02-03 cs.LG
Rotation Equivariant Operators for Machine Learning on Scalar and Vector Fields
Carnegie Mellon University(卡内基梅隆大学);RWTH Aachen University(亚琛工业大学)
我们开发理论和软件的旋转等变算子的标量和矢量场,在仿真,优化和机器学习的各种应用。旋转等方差(协方差)意味着系统中的所有场一起旋转,这意味着保持对称性的空间不变动力学。扩展线性时不变系统的卷积定理,我们理论上,线性等变算子的特征在于张量场卷积使用输入场和径向对称核场之间的适当的产品。大多数格林函数和微分算子实际上都是等变算子,它们也可以通过参数化径向函数来拟合未知的对称性保持动力学。我们实现了Julia包EquivariantOperators.jl,用于2d/3d中的标量、向量和高阶张量场上的全可微有限差分等变算子。它既可用于仿真或图像处理,也可用于计算机视觉、逆问题和最优控制。代码https://aced-differentiate.github.io/EquivariantOperators.jl/
2022-08-04 cs.LG
Velocityformer: Broken-Symmetry-Matched Equivariant Graph Transformers for Cosmological Velocity Reconstruction
ETH Zürich(苏黎世联邦理工学院)
该研究提出Velocityformer,一种等价图变换器架构,通过匹配观测数据的破缺对称性来提高宇宙学速度重建的精度,其在速度相关系数r上比标准线性理论基线提高了35%。
2026-05-20 astro-ph.CO cs.LG
Learning Chern Numbers of Topological Insulators with Gauge Equivariant Neural Networks
Department of Mathematical Sciences, Chalmers University of Technology and University of Gothenburg(数学科学系,查尔姆斯理工大学和哥德堡大学);Department of Physics, Stockholm University, AlbaNova University Center(物理系,斯德哥尔摩大学,阿尔巴诺瓦大学中心);VERSES AI Research Lab, Los Angeles, USA(VERSES AI研究实验室,美国洛杉矶);Department of Physics, University of Gothenburg(物理系,哥德堡大学)
本文提出利用规范等变网络预测多带拓扑绝缘体的陈数,通过引入新的规范等变归一化层和通用逼近定理,证明模型能泛化至非平凡陈数样本。
2026-06-23 cond-mat.mes-hall cs.LG
Learning with Category-Equivariant Representations for Human Activity Recognition
School of Informatics, Nagoya University, Japan(名古屋大学信息学系);School of Computing, Australian National University, Australia(澳大利亚国立大学计算学系)
针对人类活动识别中传感器信号易变的问题,提出一种类别对称感知学习框架,通过构建类别等变特征表示保持模型稳定性,在UCI基准上将分布外准确率提升约46个百分点。
2025-11-02 cs.AI cs.CV cs.HC
Attentive Group Equivariant Convolutional Networks
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学)
虽然群卷积网络能够基于对称模式学习强大的表示,但它们缺乏明确的手段来学习它们之间有意义的关系(例如,相对位置和姿态)。在本文中,我们提出了关注组等变卷积,一个推广的组卷积,其中注意力是在卷积过程中,强调有意义的对称组合和抑制不合理的,误导性的。我们指出,之前关于视觉注意力的工作可以描述为我们提出的框架的特殊情况,并通过经验表明,我们的注意力组等变卷积网络在基准图像数据集上的表现始终优于传统组卷积网络。同时,我们通过等变注意力地图的可视化提供了对所学概念的可解释性。
2020-06-30 cs.CV cs.LG stat.ML
Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent
Bosch-Delta Lab(博世-德尔塔实验室);University of Amsterdam(阿姆斯特丹大学)
我们专注于问题的有效采样和学习的概率密度,将对称性的概率模型。我们首先介绍了等变Stein变分梯度下降算法--一种基于Stein恒等式的等变采样方法,用于对称密度的采样。等变SVGD通过等变核显式地将对称信息并入密度中,这使得所得到的采样器在样本复杂度和所生成样本的质量方面都是有效的。随后,我们定义了基于等变能量的模型来模拟使用对比发散学习的不变密度。通过利用我们的等变SVGD来训练等变EBM,我们提出了改进和扩展基于能量的模型训练的新方法。我们将这些等变能量模型应用于图像数据集,多体粒子系统和分子结构生成的回归和分类任务中的联合密度建模。
2021-07-29 cs.AI cs.LG stat.ML
Approximate Equivariance in Reinforcement Learning
Northeastern University(东北大学);J.P.Morgan AI Research(摩根大通AI研究)
本研究提出强化学习中的近似等变算法,定义近似等变MDP,用松弛群和可转向卷积构建网络,在连续控制和股票交易中验证,性能优于精确等变网络且更鲁棒。
2025-04-22 cs.LG
Symmetry-Based Structured Matrices for Efficient Approximately Equivariant Networks
SFU(西蒙菲莎大学);PUC Chile(智利天主教大学);FNAL(费米国家加速器实验室);UChicago(芝加哥大学)
针对近似等变网络参数冗余问题,提出基于群矩阵的结构化矩阵框架,统一松弛等变与低位移秩矩阵优势,参数少一到两个数量级且性能具竞争力。
2025-04-18 cs.LG stat.ML
Automatic Symmetry Discovery with Lie Algebra Convolutional Network
Northwestern University(西北大学);Northeastern University(东北大学);University of California San Diego(加州大学圣地亚哥分校)
现有的等变神经网络需要对称群的先验知识和连续群的离散化。我们建议使用李代数(无穷小生成元)而不是李群。我们的模型,李代数卷积网络(L-conv)可以自动发现对称性,并且不需要离散化组。我们表明,L-conv可以作为一个积木来构建任何组等变前馈架构。CNN和图卷积网络都可以用适当的群表示为L-conv。我们发现了L-conv与物理学的直接联系:(1)群不变损失推广了场论;(2)Euler-Lagrange方程度量了鲁棒性;(3)等变导致守恒律和Noether流,这些联系为设计更一般的等变网络并将其应用于物理科学中的重要问题开辟了新的途径
2021-11-01 cs.AI cs.LG math.GR
Equivariant Action Sampling for Reinforcement Learning and Planning
Northeastern University(东北大学)
本文提出等变动作采样方法,在强化学习与规划中保持问题对称性,显著优于朴素采样,并开发了基于MPPI的通用采样规划框架,实证验证其有效性。
2024-12-16 cs.AI cs.LG cs.RO
Equivariant Spatio-Temporal Attentive Graph Networks to Simulate Physical Dynamics
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);North Carolina State University(北卡罗来纳州立大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Tencent AI Lab(腾讯AI实验室)
针对物理动力学模拟中逐帧建模忽视非马尔可夫效应的问题,本文提出 ESTAG,利用 EDFT、ESM 与 ETM 建模历史时空相互作用,并在三类真实数据集上验证其优于现有 GNN。
2024-05-21 cs.AI cs.LG
Geometric and Physical Quantities Improve E(3) Equivariant Message Passing
University of Amsterdam(阿姆斯特丹大学);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);UvA-Bosch DeltaLab(阿姆斯特丹大学-博世德尔塔实验室)
包括协变信息,如位置,力,速度或自旋在计算物理和化学中的许多任务中是重要的。我们引入了可操纵E(3)等变图神经网络(SEGNN),它推广了等变图网络,使得节点和边属性不限于不变标量,而是可以包含协变信息,如向量或张量。该模型由可操纵的MLP组成,能够在消息和更新功能中结合几何和物理信息。通过定义可操纵节点属性,MLP提供了一类新的激活函数,可与可操纵特征场一起通用。我们通过等变非线性卷积的镜头来讨论我们和相关工作,这进一步使我们能够确定SEGNN的成功组件:非线性消息聚合改进了经典的线性(可转向)点卷积;可转向消息改进了最近发送不变消息的等变图网络。我们证明了我们的方法在计算物理和化学的几个任务的有效性,并提供了广泛的消融研究。
2022-03-26 cs.AI cs.LG stat.ML
A General Theory of Correct, Incorrect, and Extrinsic Equivariance
Northeastern University(东北大学);University of Minnesota(明尼苏达大学);Brown University(布朗大学)
本文针对真实对称性仅在部分定义域存在的情形,提出正确、错误与外在等变性的逐点定义和通用理论,证明部分错误对称性下不变/等变网络的误差下界,并分析外在等变性的潜在危害,实验验证了理论结果。
2023-10-28 cs.LG stat.ML
Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning
Indian Institute of Space Science and Technology(印度空间科学技术学院)
本报告聚焦对称群等变深度学习模型,将其分为三类卷积并分析输入空间对称性与等变的数学关联,介绍相关数据集与局限,为该新兴领域提供参考。
2024-09-11 cs.CV cs.LG
Integrating Symmetry into Differentiable Planning with Steerable Convolutions
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机学院)
该研究将群对称性引入端到端可微规划,证明值迭代是可导向卷积等变算子,基于VIN用可导向卷积实现对称规划,在四类任务上较VIN、GPPN显著提升训练效率与泛化性。
2023-05-01 cs.AI cs.LG cs.RO
EDGI: Equivariant Diffusion for Planning with Embodied Agents
Qualcomm AI Research(高通人工智能研究院);Mila(米拉研究所);McGill University(麦吉尔大学)
提出等变扩散模型EDGI,利用SE(3)、Z和Sn对称群改进MBRL与规划,在物体操作和导航任务中显著提升样本效率与泛化能力。
2023-10-19 cs.LG cs.RO stat.ML
Symmetry-Aware Generative Modeling through Learned Canonicalization
Mila(米拉);McGill University(麦吉尔大学)
本文提出通过学习规范化网络生成对称密度,避免传统不变先验与等变生成过程的局限,提升分子建模的样本质量和推理速度。
2026-04-12 cs.LG
Equivariant Representation Learning via Class-Pose Decomposition
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(电气工程与计算机科学学院,皇家理工学院)
提出一种将潜在空间分解为不变因子和对称群的方法,利用相对对称信息监督学习等变表示,实现无损、可解释且解耦的表示,实验优于其他等变表示学习框架。
2026-06-15 cs.LG math.GR
Scaling Laws and Symmetry, Evidence from Neural Force Fields
Mila - Quebec AI Institute(魁北克AI研究所);School of Computer Science, McGill University(麦吉尔大学计算机科学学院)
本文通过神经力场实证研究学习原子间势的几何任务,发现等变架构利用对称性在数据、参数和计算上比非等变模型具有更好的幂律缩放行为,且高阶表示能进一步提升缩放指数,表明对称性等基本归纳偏置不应留给模型自行发现。
2025-10-10 cs.AI cs.LG physics.comp-ph
Permutation-Equivariant 2D State Space Models: Theory and Canonical Architecture for Multivariate Time Series
Department of Artificial Intelligence, Korea University(人工智能学院,韩国大学)
本文提出了一种基于置换对称的二维状态空间模型,通过消除变量轴上的序列依赖,实现多变量时间序列的高效建模与预测。
2026-03-07 cs.AI cs.LG stat.ML
Foundations of Equivariant Deep Learning: Unifying Graph and Sheaf Neural Networks
扩展几何深度学习利用更丰富对称结构,开发等变神经网络,刻画线性等变映射,构建层并证明连续等变映射的通用逼近定理,还扩展到范畴等变神经网络,给出等变神经网络通用形式及定理。
2026-08-12 cs.AI cs.CV cs.LG
Approximately Equivariant Quantum Neural Network for $p4m$ Group Symmetries in Images
European Organization for Nuclear Research (CERN)(欧洲核子研究中心(CERN));École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);European Space Agency(欧洲空间局)
本文提出等变量子卷积神经网络(EquivQCNNs),利用$p4m$群对称性(反射和90度旋转)作为归纳偏置,在二维伊辛模型相检测和扩展MNIST分类任务中,相比非等变模型提升了泛化性能。
2023-10-03 cs.AI cs.LG quant-ph
Approximately Equivariant Neural Processes
University of Cambridge(剑桥大学);The Alan Turing Institute(图灵研究所);Microsoft Research AI for Science(微软研究院科学智能事业部)
本文提出一种通用方法,利用现有等变架构构建近似等变神经过程,在合成和真实回归任务中优于非等变和严格等变模型。
2024-11-09 cs.LG stat.ML
Learning Equivariant Functions via Quadratic Forms
Department of Electrical Communication Engineering, Indian Institute of Science(印度科学研究院电子与通信工程系);Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学系)
本文提出通过学习数据对应的二次型来发现正交对称群,并据此构建含归纳偏置的神经网络,实现高效学习等变函数,在多项式回归、顶夸克标记等任务上优于基线。
2025-10-14 cs.AI cs.LG
Nonlinearities in Steerable SO(2)-Equivariant CNNs
Johannes-Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
对称不变性是机器学习中的一个重要问题。我们的论文特别关注等变神经网络,其中输入的变换产生输出的同态变换。在这里,可操纵的CNN已经成为标准解决方案。可操纵表示的一个固有问题是,一般的非线性层打破等方差,从而限制了架构的选择。本文应用谐波失真分析来说明非线性对SO(2)的傅立叶表示的影响。我们开发了一种新的基于FFT的算法,用于计算非线性变换激活的表示,同时保持频带限制。它产生确切的等方差多项式(近似)的非线性,以及近似的解决方案与可调精度的一般功能。我们应用该方法来建立一个完全E(3)-等变网络的采样三维表面数据。在使用2D和3D数据进行的实验中,我们获得的结果在准确性方面与最新技术相比毫不逊色,同时允许连续对称性和精确等方差。
2021-09-14 cs.LG
LieAugmenter: Equivariant Learning by Discovering Symmetries with Learnable Augmentations
Technical University of Munich (School of CIT)(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所);MIT (Department of EECS and CSAIL)(麻省理工学院)
LieAugmenter通过可学习增强发现任务相关连续对称性,实现等变学习,提升图像分类、N体动力学和分子性质预测性能,并提供对称性缺失的可解释签名。
2026-02-12 cs.LG
Resource-efficient equivariant quantum convolutional neural networks
Quantum Laboratory, Fujitsu Research, Fujitsu Limited(富士通实验室、富士通研究、富士通有限公司)
本文提出了一种资源高效的等价量子卷积神经网络模型,通过群论方法编码一般对称性,提升测量效率和训练性能,在噪声量子分类任务中减少了测量资源需求。
2026-04-17 cs.LG quant-ph
Group Equivariant Deep Reinforcement Learning
Mcgill University(麦吉尔大学)
在强化学习(RL)中,卷积神经网络(CNN)已成功地用作深度Q-学习算法中的函数逼近器,深度Q-学习算法寻求学习各种环境中的动作价值函数和策略。然而,到目前为止,有很少的工作学习的输入环境状态的变换等变表示。在本文中,我们提出使用等变CNN来训练RL代理,并研究它们的感应偏置变换等变Q值近似。我们证明,等变架构可以显着提高性能和样本效率的RL代理在一个高度对称的环境中,同时需要更少的参数。此外,我们表明,他们是强大的仿射变换所造成的环境变化。
2020-07-01 cs.AI cs.LG stat.ML
Generalization capabilities of translationally equivariant neural networks
Institute for Theoretical Physics, TU Wien(维也纳技术大学理论物理研究所)
随着机器学习在高能物理和格点场论中的日益普及,有必要重新评估计算机视觉中广泛使用的常用方法,这些方法在应用于物理问题时,可能会导致性能和可推广性方面的重大缺陷。一个特别的例子是使用神经网络架构,它不反映给定物理问题的潜在对称性。在这项工作中,我们专注于二维晶格上的复标量场,并研究使用基于平移群的群等变卷积神经网络架构的好处。为了进行有意义的比较,我们对等变和非等变神经网络架构进行了系统的搜索,并将其应用于各种回归和分类任务。我们证明,在大多数这些任务中,我们最好的等变架构可以执行和推广显着优于他们的非等变同行,这不仅适用于训练集中表示的物理参数之外,但也不同的晶格大小。
2021-10-11 cs.LG hep-lat hep-ph
Approximately Piecewise E(3) Equivariant Point Networks
NVIDIA(英伟达);Technion(以色列理工学院)
本文提出 APEN 框架,通过利用更细分分区保持等变性的特性,构建近似分段 E(3) 等变点网络,有效控制分区预测误差,显著提升了点云分类与分割任务的泛化能力。
2024-02-13 cs.CV cs.LG