Compact Matrix Quantum Group Equivariant Neural Networks
Department of Computing, Imperial College London, United Kingdom(计算机系,伦敦帝国学院,英国)
本文提出紧矩阵量子群等变神经网络,以处理非交换几何数据,并刻画简单紧矩阵量子群的权重矩阵,获得新的等变权重矩阵表征。
2025-05-23 cs.LG math.CO math.CT
Permutation Equivariant Neural Networks for Symmetric Tensors
Department of Mathematics, Imperial College London, United Kingdom(伦敦帝国学院数学系)
本文提出对称张量上线性置换等变函数的两种刻画,证明其相比标准MLP具有高数据效率,并能泛化到不同大小的对称张量。
2025-05-23 cs.LG math.CO math.RT
Homogeneous vector bundles and $G$-equivariant convolutional neural networks
Chalmers University of Technology(查尔姆斯理工大学)
$G$ -等变卷积神经网络(GCNN)是一种几何深度学习模型,用于在均匀$G$ -空间$\mathcal{M}$上定义的数据。GCNN被设计为尊重$\mathcal{M}$中的全局对称性,从而促进学习。本文在单模李群$G$和紧子群$K \leq G$的情况下,分析了齐性空间$\mathcal{M} = G/K$上的广义卷积神经网络.我们证明了齐次向量丛是GCNN的自然设置。我们还使用再生核希尔伯特空间,以获得一个精确的标准表示$G$ -等变层卷积层。然后将此标准重新表述为带宽标准,从而对某些组产生更强的结果。
2021-05-12 cs.LG math.RT stat.ML
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Keio University(庆应义塾大学);École Normale Supérieure Paris-Saclay(巴黎萨克雷高等师范学院)
在本文中,我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地,对于一个给定的$G$ -不变/等变函数,我们通过深度神经网络构造了它的通用逼近器,该深度神经网络的层装备了$G$ -作用,并且每个仿射变换都是$G$ -等变/不变的。由于表示理论,我们可以证明,这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
Equivariant non-linear maps for neural networks on homogeneous spaces
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出了齐性空间上非线性等变神经网络层的通用框架,推导了广义可控性约束并证明其普适性,为未来等变网络层设计提供指导,并展示了多种常见等变网络架构均可由该框架推导得出。
2025-04-29 cs.LG math.RT stat.ML
E(n) Equivariant Graph Neural Networks
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学)
本文提出了一种新的学习与旋转、平移、反射和置换等变的图神经网络的模型,称为E(n)-等变图神经网络(EGNNs)。与现有的方法相比,我们的工作不需要在中间层计算昂贵的高阶表示,同时它仍然实现了竞争力或更好的性能。此外,尽管现有的方法仅限于三维空间上的等方差,但我们的模型很容易扩展到高维空间。我们证明了我们的方法对动力学系统建模,图自动编码器中的表示学习和预测分子性质的有效性。
2022-02-16 cs.LG stat.ML
Geometrical aspects of lattice gauge equivariant convolutional neural networks
Chalmers University of Technology(查尔姆斯理工大学);TU Wien(维也纳工业大学)
格点规范等变卷积神经网络(L-CNN)是一种卷积神经网络的框架,可以应用于非阿贝尔格点规范理论,而不违反规范对称性。我们演示了L-CNN如何配备全局组等方差。这使我们能够扩展的配方是等变的,不仅在翻译,但在全球晶格对称性,如旋转和反射。此外,我们提供了一个几何公式的L-CNN,并显示如何在L-CNN卷积出现作为一个特殊的情况下规范等变神经网络SU($N$)的主丛。
2023-03-20 cs.LG hep-lat stat.ML
Graded Representation Theory of Equivariant Neural Networks
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文通过高斯度分解扩展多项式度,证明等变层中每个度可分解为线性映射多项式与激活标量,从而分离对称性、坐标和激活三个障碍。
2026-09-23 cs.LG math.RT
Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes
University of Oxford(牛津大学);DeepMind(深度思维)
受电场或流体流等对象的启发,我们研究学习随机场的问题,即随机过程,其样本是物理和工程中发生的场。考虑到一般的变换,如旋转和反射,我们表明,随机场的空间不变性要求推理模型是等变的。利用最近的进展,从等方差文献,我们研究等方差在两类模型。首先,我们完全证明了等变高斯过程。其次,我们介绍了可操纵条件神经过程(SteerCNPs),神经过程家族的一个新的,完全等变的成员。在高斯过程向量场、图像和真实天气数据的实验中,我们观察到SteerCNP显著提高了以前模型的性能,等方差导致迁移学习任务的改进。
2021-07-17 cs.LG stat.ML
Approximately Equivariant Neural Processes
University of Cambridge(剑桥大学);The Alan Turing Institute(图灵研究所);Microsoft Research AI for Science(微软研究院科学智能事业部)
本文提出一种通用方法,利用现有等变架构构建近似等变神经过程,在合成和真实回归任务中优于非等变和严格等变模型。
2024-11-09 cs.LG stat.ML
A Simple Proof of the Universality of Invariant/Equivariant Graph Neural Networks
RIKEN AIP(理化学研究所先进智能项目中心);Tokyo Institute of Technology(东京工业大学)
本文给出了不变和等变张量化图神经网络普适性的一个简单证明。我们的方法考虑了一个受限制的中间假设模型,称为图同态模型,以达到普遍性的结论,包括高阶输出的开放情况。我们发现,我们提出的技术不仅导致简单的证明的普遍性属性,但也给出了一个自然的解释张量化以前研究的模型。最后,我们给出了我们的模型和图的连续表示之间的联系的一些评论。
2019-10-09 cs.LG stat.ML
Equivariant neural networks and equivarification
School of Mathematics, University of Minnesota, Minneapolis, MN 55455(数学系,明尼苏达大学,明尼阿波利斯,MN 55455)
本文针对等变神经网络的构建问题,提出可将普通神经网络修改为等变网络的通用等变化方法,并证明G-CNNs是该框架的特例。
2025-11-18 cs.CV cs.LG stat.ML
Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
等方差是一个很好的属性,因为它可以产生更具参数效率的神经架构,并通过特征映射保留输入的结构。即使变换的某些组合可能永远不会出现(例如,直立的脸与水平的鼻子),当前的等变架构在学习特征表示时会考虑变换组中所有可能的变换的集合。首先,人类视觉系统能够注意到环境中发生的一组相关变换,并利用这些信息来帮助和改进对象识别。基于这一观察,我们修改传统的等变特征映射,使他们能够参加的数据中的共现变换集,并推广这一概念,以作用于由多个对称性组成的组。我们表明,我们提出的共同关注等变神经网络始终优于传统的旋转等变和旋转和反射等变神经网络旋转MNIST和CIFAR-10。
2020-02-10 cs.CV cs.LG stat.ML
Edge-Level Automorphism in GNNs: A Quantitative Framework and Effective Designs For Link Prediction
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Michigan(密歇根大学)
针对GNN中节点自同构导致链接预测性能下降的问题,提出边自同构比定量框架及EO-GNN架构,通过自同构感知丢弃和子图轨道偏置聚合,在合成与真实图上分别提升高达42.36%和28.44%。
2026-09-29 cs.GT cs.LG
Approximately Equivariant Graph Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Technion – Israel Institute of Technology(以色列理工学院)
本研究提出近似等变图网络,通过图粗化定义近似对称性,并给出偏差-方差公式以权衡表达性与正则性,实验证明选择介于自同构与置换群之间的对称群可获得最佳泛化。
2023-11-17 cs.LG stat.ML
3D-Rotation-Equivariant Quaternion Neural Networks
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
提出了一套规则,将用于三维点云处理的各种神经网络修正为旋转等变四元数神经网络(REQNNs)。我们发现,当一个神经网络在一定条件下使用四元数特征时,网络特征自然具有旋转等变性。旋转等方差意味着对输入点云应用特定的旋转变换等效于对所有中间层四元数特征应用相同的旋转变换。此外,REQNN还确保了中间层特征对输入点的排列是不变的。与原神经网络相比,REQNN具有更高的旋转鲁棒性。
2020-10-11 cs.CV cs.LG stat.ML
Categorical Equivariant Deep Learning: Category-Equivariant Neural Networks and Universal Approximation Theorems
School of Informatics, Nagoya University, Japan(名古屋大学信息学系);School of Computing, Australian National University, Australia(澳大利亚国立大学计算机学系)
本文提出范畴等变神经网络理论,证明其在不同结构下的通用逼近能力,扩展了等变深度学习的应用范围。
2025-12-23 cs.AI cs.CV cs.LG
Theoretical Aspects of Lie Groupoid and Lie Algebroid Equivariant Convolutional Neural Networks
Department of Mathematics, University of Manitoba(曼尼托巴大学数学系)
本文引入李群胚等变神经网络作为拓扑范畴等变神经网络在可微情形的特化,证明其与李代数胚等变神经网络的等价性,并推广了群不变全局池化。
2026-07-24 cs.LG math.CT math.DG
Group Equivariant Conditional Neural Processes
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目中心)
我们提出了组等变条件神经过程(EquivCNP),这是一种元学习方法,与传统的条件神经过程(CNP)一样,在数据集中具有排列不变性,并且在数据空间中也具有变换等变性。解释组等方差,如旋转和缩放等方差,提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理,这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中,我们使用李群卷积层构建架构以供实际实现。我们表明,翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外,我们证明,将适当的李群等方差,EquivCNP是能够zero-shot概括的图像完成任务,通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
Unifying O(3) Equivariant Neural Networks Design with Tensor-Network Formalism
University of Cambridge(剑桥大学);The University of Chicago(芝加哥大学);Flatiron Institute(弗拉蒂伦研究所)
本文提出用张量网络中的融合图技术设计O(3)等变神经网络组件(融合块),作为任意连续等变函数的通用逼近器,集成到Cormorant和MACE中提升性能并应用于二苯乙烯异构化动力学。
2024-05-22 cs.AI cs.LG quant-ph
Theoretical Aspects of Group Equivariant Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
群等变神经网络在过去的几年里一直在探索,从理论和实践的角度来看都很有趣。他们利用了群表示理论,非交换调和分析和微分几何的概念,这些概念在机器学习中并不经常出现。在实践中,它们已被证明可以降低样本和模型的复杂性,特别是在存在输入变换(如任意旋转)的挑战性任务中。我们开始这项工作的阐述组表示理论和必要的机械定义和评估积分和卷积组。然后,我们展示了最近的SO(3)和SE(3)等变网络的应用,即球形CNN,Clebsch-Gordan网络和3D Steerable CNN。我们继续讨论两个最近的理论结果。第一个是Kondor和Trivedi(ICML'18),表明神经网络是群等变的当且仅当它具有卷积结构。第二个由Cohen等人提出(NeurIPS'19),将第一个推广到更大的一类网络,将特征映射作为齐次空间上的场。
2020-04-30 cs.LG stat.ML
Symmetry Breaking and Equivariant Neural Networks
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
本文分析了等变神经网络无法在单样本层面打破对称性的局限性,提出“松弛等变”概念并将其整合到等变多层感知机(E-MLPs)中,为物理、图表示学习及组合优化等领域提供了替代噪声注入的新方案。
2024-03-22 cs.LG stat.ML
Universal Invariant and Equivariant Graph Neural Networks
École Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心)
图神经网络(GNN)有很多种形式,但应该始终是不变的(输入图节点的排列不影响输出)或等变的(输入的排列改变输出)。在本文中,我们考虑一类特定的不变和等变网络,我们证明了新的普遍性定理。更确切地说,我们认为网络与一个单一的隐藏层,通过求和通道形成的应用等变线性算子,逐点非线性和不变或等变线性算子。最近,Maron等人(2019)表明,通过允许网络内部的高阶张量化,可以获得通用不变GNN。作为第一个贡献,我们提出了一个替代证明这一结果,它依赖于斯通-维尔斯特拉斯定理代数的实值函数。我们的主要贡献是,这一结果的等变的情况下,出现在许多实际应用中,但从理论的角度来看,研究较少。证明依赖于一个新的广义Stone-Weierstrass定理代数的等变函数,这是独立的利益。最后,与之前考虑固定节点数量的设置不同,我们的结果表明,由一组参数定义的GNN可以均匀地近似定义在不同大小的图上的函数。
2019-10-24 cs.LG stat.ML
Autobahn: Automorphism-based Graph Neural Nets
Flatiron Institute(弗莱顿研究所);New York University(纽约大学);University of Chicago(芝加哥大学)
我们介绍了基于自同构的图神经网络(Autobahn),一个新的家庭的图神经网络。在一个高速公路,我们分解成一个子图的集合图,并应用局部卷积是等变的每个子图的自同构群。局部邻域和子图的特定选择恢复了现有的架构,例如消息传递神经网络。我们的形式主义还包括新颖的架构:作为一个例子,我们引入了一个图神经网络,它将图分解为路径和循环。由此产生的卷积反映了部分图可以变换的自然方式,保留了卷积的直观含义,而不会牺牲全局置换等方差。我们验证了我们的方法,应用Autobahn分子图,在那里它实现了竞争的结果与国家的最先进的消息传递算法。
2022-02-03 cs.LG
Generalization capabilities of translationally equivariant neural networks
Institute for Theoretical Physics, TU Wien(维也纳技术大学理论物理研究所)
随着机器学习在高能物理和格点场论中的日益普及,有必要重新评估计算机视觉中广泛使用的常用方法,这些方法在应用于物理问题时,可能会导致性能和可推广性方面的重大缺陷。一个特别的例子是使用神经网络架构,它不反映给定物理问题的潜在对称性。在这项工作中,我们专注于二维晶格上的复标量场,并研究使用基于平移群的群等变卷积神经网络架构的好处。为了进行有意义的比较,我们对等变和非等变神经网络架构进行了系统的搜索,并将其应用于各种回归和分类任务。我们证明,在大多数这些任务中,我们最好的等变架构可以执行和推广显着优于他们的非等变同行,这不仅适用于训练集中表示的物理参数之外,但也不同的晶格大小。
2021-10-11 cs.LG hep-lat hep-ph
Finite Group Equivariant Neural Networks for Games
Trinity College Dublin(都柏林圣三一学院);University of Siegen(锡根大学)
围棋、国际象棋和跳棋等游戏有多个等价的游戏状态,即多个棋盘位置,应该进行对称和相反的移动。这些等价性没有被当前最先进的神经代理所利用,而是必须重新学习类似的信息,从而浪费计算时间。现有工作中的组等变CNN创建了可以利用对称性来改善学习的网络,但是它们缺乏正确反映游戏所需的移动嵌入的表现力。我们介绍有限群神经网络(FGNNs),一种用于创建代理的方法,这些董事会的立场与生俱来的理解。FGNN被证明可以提高网络玩跳棋(国际跳棋)的性能,并且可以很容易地适应其他游戏和学习问题。此外,FGNN可以从现有的网络架构中创建。其中包括第一次使用跳过连接和任意层类型的连接。我们证明了U-Net的等变版本(FGNN-U-Net)在图像分割方面优于未修改的网络。
2020-09-10 cs.LG stat.ML
Geometric Deep Learning and Equivariant Neural Networks
Chalmers University of Technology(查尔姆斯理工大学);Gothenburg University(哥德堡大学);Umeå University(于默奥大学);Zenseact
我们概述了几何深度学习的数学基础,重点是群等变和规范等变神经网络。我们开发了任意流形$\mathcal{M}$上的规范等变卷积神经网络,使用具有结构群$K$的主丛和相关向量丛的部分之间的等变映射。我们还讨论了群等变神经网络的齐性空间$\mathcal{M}=G/K$,而不是等变的整体对称性$G$ $\mathcal{M}$。群等变层可以被解释为$G$的诱导表示之间的交织,我们展示了它们与规范等变卷积层的关系。我们分析了这种形式主义的几个应用,包括语义分割和对象检测网络。我们还详细讨论了球形网络的情况,对应于$\mathcal{M}=S^2=\mathrm{SO}(3)/\mathrm{SO}(2)$的情况。在这里,我们强调使用傅立叶分析,包括Wigner矩阵,球谐函数和Clebsch-Gordan系数用于$G=\mathrm{SO}(3)$,说明表示理论在深度学习中的作用。
2021-05-28 cs.CV cs.LG hep-th
Equivariant Neural Diffusion for Molecule Generation
Technical University of Denmark(丹麦技术大学);University of Amsterdam(阿姆斯特丹大学)
本研究提出对欧几里得变换等变的三维分子生成扩散模型END,其核心创新是可学习的等变前向过程,实验显示该模型在标准基准的无条件与条件生成任务上性能具备竞争力。
2025-06-12 cs.LG
Relaxed Equivariant Graph Neural Networks
Northeastern University(东北大学)
该研究基于e3nn框架提出松弛$E(3)$图等变神经网络框架,通过松弛权重实现可控对称性破缺,实验验证其可学习到恰当的破缺程度,为复杂物理系统建模提供新方法。
2024-12-10 cs.LG
GLGENN: A Novel Parameter-Light Equivariant Neural Networks Architecture Based on Clifford Geometric Algebras
HSE University(莫斯科高等经济大学);Skolkovo Institute of Science(斯克尔科沃科学研究院);Institute for Information Transmission Problems of the Russian Academy of Sciences(俄罗斯科学院信息传输问题研究所)
GLGENN基于克莱因几何代数提出一种参数轻量的等变神经网络架构,在等变任务中表现优异且参数更少。
2025-12-03 cs.LG
Activation Functions for "A Feedforward Unitary Equivariant Neural Network"
University of Oxford(牛津大学)
本文将前馈酉等变神经网络中的三种激活函数推广为单一函数形式,在保持酉等变性的同时提升了网络架构设计的灵活性。
2024-11-17 cs.LG cs.NE
Equivariant Neural Tangent Kernels
Chalmers University of Technology(查尔姆斯理工大学);the University of Gothenburg(哥德堡大学);Prescient Design, Genentech Roche(基因泰克罗氏公司 Prescient Design 部门)
本文推导了基于群卷积的等变神经正切核(NTKs),证明了等变网络与数据增强在训练动力学上等效,并在图像分类和量子性质预测任务中验证了其优于非等变模型。
2025-01-31 cs.LG
Lorentz Group Equivariant Neural Network for Particle Physics
University of Chicago(芝加哥大学);Atomwise(Atomwise公司);Enrico Fermi Institute(恩里科·费米研究所);Flatiron Institute(熨斗研究所)
我们提出了一个神经网络架构,是完全等变的洛伦兹群下的转换,在物理学中的空间和时间的基本对称性。该架构是基于洛伦兹群的有限维表示理论和涉及张量积的等变非线性。对于粒子物理学中的分类任务,我们证明了这种等变架构导致了非常简单的模型,这些模型具有相对较少的可学习参数,并且比使用CNN和点云方法的领先方法更具物理可解释性。该网络的竞争性能在公共分类数据集上得到了证明[27],用于标记质子-质子碰撞中产生的喷流成分的能量动量的顶夸克衰变。
2020-06-08 cs.LG hep-ex hep-ph
Theory for Equivariant Quantum Neural Networks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Harvard University(哈佛大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California Davis(加州大学戴维斯分校)
本研究提出等变量子神经网络的通用理论框架,开发多种等变层构建方法,可高效处理大/连续对称群,推广群等变量子卷积神经网络,数值验证其在物相分类任务上的优势,为缓解量子机器学习核心难题提供思路。
2024-05-11 cs.LG quant-ph stat.ML
A Permutation-Equivariant Neural Network Architecture For Auction Design
Princeton University(普林斯顿大学);New York University(纽约大学);Institute for Advanced Study(高等研究院)
设计一个激励相容的拍卖,使期望收益最大化是拍卖设计中的一个核心问题。在过去的几十年里,解决这个问题的理论方法已经达到了一些极限,只有少数几个简单的设置的分析解决方案是已知的。通过使用LP来解决问题的计算方法有其自身的局限性。在深度学习成功的基础上,Duetting等人(2019)最近提出了一种新方法,其中拍卖由前馈神经网络建模,设计问题被视为学习问题。在这项工作中使用的神经架构是通用的,并且没有利用问题可能存在的任何对称性,例如置换等变性。在这项工作中,我们考虑拍卖设计问题,具有置换等变对称性,并构建了一个神经架构,能够完美地恢复置换等变最优机制,这是我们不可能与以前的架构。我们证明,置换等变架构不仅能够恢复以前的结果,他们也有更好的推广性能。
2021-10-25 cs.GT cs.LG stat.ML
Applications of Lattice Gauge Equivariant Neural Networks
TU Wien(维也纳工业大学);Institute for Theoretical Physics(理论物理研究所)
在神经网络架构中引入相关的物理信息已经成为一种广泛使用的成功策略,可以提高其性能。在格点规范理论中,这些信息可以用规范对称性来识别,这些对称性被纳入我们最近提出的格点规范等变卷积神经网络(L-CNN)的网络层中。L-CNN可以比传统神经网络更好地推广到不同大小的网格,并且在格规范变换下通过构造等变。在这些会议中,我们提出了我们的进展可能应用L-CNN威尔逊流或连续归一化流。我们的方法是基于神经常微分方程,使我们能够修改链接配置的规范等变的方式。为了简单起见,我们专注于简单的玩具模型,以在实践中测试这些想法。
2022-12-01 cs.LG hep-lat hep-th
Equivariant Graph Hierarchy-Based Neural Networks
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Tencent AI Lab(腾讯人工智能实验室)
等变图神经网络(EGN)是描述多体物理系统动力学的一种有效方法。现有的EGN进行平面消息传递,这,然而,是无法捕捉的空间/动态层次结构的复杂系统,特别是,限制子结构发现和全球信息融合。在本文中,我们提出了基于等变层次图网络(EGHN),它包括三个关键组件:广义等变矩阵消息传递(EMMP),E-Pool和E-UpPool。EMMP能够提高传统等变消息传递的表达能力,E-Pool将底层节点的数量分配到高层簇中,E-UpPool利用高层信息更新底层节点的动态。正如它们的名字所暗示的,E-Pool和E-UpPool都保证是等变的,以满足对称性。大量的实验评估验证了我们的EGHN的有效性,包括多目标动力学模拟,运动捕捉,蛋白质动力学建模的几个应用程序。
2022-10-15 cs.LG
Gauge-equivariant neural networks as preconditioners in lattice QCD
University of Regensburg(雷根斯堡大学)
我们证明了一个国家的最先进的多重网格预条件可以有效地学习规范等变神经网络。我们表明,该模型需要最小的重新训练不同的规范配置相同的规范合奏,并在很大程度上保持有效的合奏参数的适度修改下。我们还表明,重要的范例,如通信避免是直接在这个框架中实现。
2023-02-10 cs.LG cs.NA hep-lat
E($3$) Equivariant Graph Neural Networks for Particle-Based Fluid Mechanics
Technical University of Munich(慕尼黑工业大学);Microsoft Research(微软研究院)
本文证明在3D衰减Taylor-Green涡旋和3D反向Poiseuille流基准上,等变图神经网络比非等变模型能学习物理上更准确的动态交互,为湍流粗粒化建模与跨系统泛化提供了新机遇。
2023-03-31 cs.LG physics.flu-dyn
Foundations of Equivariant Deep Learning: Unifying Graph and Sheaf Neural Networks
扩展几何深度学习利用更丰富对称结构,开发等变神经网络,刻画线性等变映射,构建层并证明连续等变映射的通用逼近定理,还扩展到范畴等变神经网络,给出等变神经网络通用形式及定理。
2026-08-12 cs.AI cs.CV cs.LG
Equivariant neural networks for recovery of Hadamard matrices
Inductiva Research Labs(Inductiva Research Labs(Inductiva研究实验室))
我们提出了一个消息传递神经网络架构设计成等变的列和行排列的矩阵。我们说明了它的优势,传统的架构,如多层感知器(MLP),卷积神经网络(CNN),甚至Transformers,在组合优化任务恢复一组删除的条目的阿达玛矩阵。我们认为,这是几何深度学习原理在基础数学中的强大应用,也是使用机器学习技术对阿达玛猜想进行更多深入了解的潜在垫脚石。
2022-01-31 cs.DM cs.LG
Lattice gauge equivariant convolutional neural networks
TU Wien(维也纳工业大学)
我们提出格规范等变卷积神经网络(L-CNN)用于格规范理论问题的通用机器学习应用。这种网络结构的核心是一种新颖的卷积层,它在连续的双线性层中形成任意形状的威尔逊圈的同时保持了规范等方差。加上拓扑信息,例如来自Polyakov回路的信息,这样的网络原则上可以近似格点上的任何规范协变函数。我们证明了L-CNN可以学习和推广传统卷积神经网络无法找到的规范不变量。
2021-11-22 cs.LG hep-lat hep-ph
Magnitude-Modulated Equivariant Adapter for Parameter-Efficient Fine-Tuning of Equivariant Graph Neural Networks
MMEA是一种新颖的等价微调方法,通过轻量级标量门控调节特征幅度,在保持等价性的同时提升模型在多个基准上的能量和力预测性能。
2025-12-11 cs.AI cs.LG
$\mathbb{Z}_2\times \mathbb{Z}_2$ Equivariant Quantum Neural Networks: Benchmarking against Classical Neural Networks
University of Kansas(堪萨斯大学);Polytechnic University of Catalonia(加泰罗尼亚理工大学);Indian Institute of Technology Bhilai(比莱印度理工学院);University of Florida(佛罗里达大学);University of Alabama(阿拉巴马大学);Software Engineering Institute, Carnegie Mellon University(卡内基梅隆大学软件工程研究所)
本文对比了$\mathbb{Z}_2\times \mathbb{Z}_2$等变量子神经网络(EQNN)、量子神经网络(QNN)与经典神经网络在二元分类任务中的表现,发现EQNN和QNN在参数较少和训练数据适中时性能更优。
2024-03-21 cs.LG hep-ph quant-ph
Geometrically Equivariant Graph Neural Networks: A Survey
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
许多科学问题需要以几何图形的形式处理数据。与一般图形数据不同,几何图形表现出平移、旋转和/或反射的对称性。研究人员利用这种归纳偏差,开发了几何等变图神经网络(GNNs),以更好地表征几何图的几何和拓扑结构。尽管取得了丰硕的成果,但仍然缺乏一个综述来描述同变GNN是如何发展的,这反过来又阻碍了同变GNN的进一步发展。为此,基于必要但简洁的数学描述,我们分析并将现有方法分为三组,分别关于GNN中的消息传递和聚合如何表示。我们还总结了基准以及相关的数据集,以方便以后的研究方法的发展和实验评估。并对今后的发展方向进行了展望。
2022-02-22 cs.LG
Equivariant Graph Neural Networks for 3D Macromolecular Structure
Stanford University(斯坦福大学)
在机器学习中,关于大分子的3D结构的表示和推理正在成为一个独特的挑战。在这里,我们扩展了最近的工作几何矢量感知器和应用等变图神经网络的任务范围广泛的结构生物学。我们的方法在ATOM 3D基准测试中的八个任务中的三个任务上优于所有参考架构,在另外两个任务上并列第一,并且与使用高阶表示和球谐卷积的等变网络竞争。此外,我们证明了迁移学习可以进一步提高某些下游任务的性能。代码可在https://github.com/drorlab/gvp-pytorch上获得。
2021-07-13 cs.LG q-bio.BM
A Feedforward Unitary Equivariant Neural Network
United Kingdom Atomic Energy Authority(英国原子能管理局);The University of Hong Kong(香港大学)
我们设计了一种新型的前馈神经网络。它与酉群$U(n)$是等变的。输入和输出可以是具有任意维度$n$的$\mathbb{C}^n$中的向量。在我们的实现中不需要卷积层。避免了类傅里叶变换中高阶项截断所带来的误差。每一层的实现都可以通过简单的计算有效地完成。作为概念的证明,我们已经给出了原子运动动力学预测的经验结果,以证明我们的方法的实用性。
2022-08-25 cs.LG
Equivariant Neural Networks for Spin Dynamics Simulations of Itinerant Magnets
The University of Tokyo(东京大学)
提出等变神经网络用于Kondo晶格模型自旋动力学模拟,确保平移与旋转等变性,显著降低验证误差,并成功再现斯格明子晶体相变。
2023-05-05 cond-mat.dis-nn cond-mat.mtrl-sci cond-mat.str-el
Permutation Equivariant Neural Controlled Differential Equations for Dynamic Graph Representation Learning
Heidelberg Institute for Theoretical Studies(海德堡理论研究所);Mathematical Institute, University of Oxford(牛津大学数学研究所);City University of Hong Kong(香港城市大学);IAR, Karlsruhe Institute of Technology(卡尔斯鲁厄技术大学IAR研究所);Department of Psychiatry, Warneford Hospital(沃内福德医院精神病科)
本文提出置换等变神经图受控微分方程,通过将模型投影到置换等变空间减少参数,提升动态图表示学习的训练效率与泛化,在插值和外推任务中表现更优。
2025-10-27 cs.LG
Equivariant Neural Network for Factor Graphs
Stanford University(斯坦福大学);Dexterity(德克斯特公司);Cornell University(康奈尔大学)
在因子图数据结构中使用的若干索引可以被置换而不改变潜在的概率分布。在因子图上执行推理的算法理想地应该对节点的全局索引、因子内的变量排序和变量赋值排序的排列是等变的或不变的。然而,现有的基于神经网络的推理过程未能利用这种归纳偏差。在本文中,我们精确地描述了这些同构的因素图的性质,并提出了两个推理模型:因子-等变神经信念传播(FE-NBP)和因子-等变图神经网络(FE-GNN)。FE-NBP是一个神经网络,它概括了BP并尊重因子图的上述每个属性,而FE-GNN是一个表达性GNN模型,它放松了同构属性,有利于更大的表达性。从经验上讲,我们在真实世界和合成数据集上证明,对于边缘推理和MAP推理,FE-NBP和FE-GNN共同涵盖了一系列样本复杂性机制:FE-NBP在小数据集上实现了最先进的性能,而FE-GNN在大数据集上实现了最先进的性能。
2021-09-29 cs.LG
Equivariant Hypergraph Neural Networks
KAIST(韩国科学技术院);LG AI Research(LG人工智能研究院)
计算机视觉和机器学习中的许多问题都可以转换为表示高阶关系的超图上的学习。最近的超图学习方法扩展了基于消息传递的图神经网络,这是简单的,但从根本上限制了建模的长期依赖性和表达能力。另一方面,基于张量的等变神经网络具有最大的表达能力,但由于计算量大和对固定阶超边的严格假设,其应用在超图中受到限制。我们解决了这些问题,并提出了等变超图神经网络(EHNN),第一次尝试实现最大表达的一般超图学习的等变层。我们还提出了我们的框架的两个实际实现的基础上超网络(EHNN-MLP)和自我注意(EHNN-Transformer),这是很容易实现,理论上更有表现力的消息传递方法。我们展示了他们在一系列超图学习问题中的能力,包括合成k边识别,半监督分类和视觉关键点匹配,并报告了在强消息传递基线上的改进性能。我们的实现可以在https://github.com/jw9730/ehnn上获得。
2022-08-22 cs.LG
On Representing Electronic Wave Functions with Sign Equivariant Neural Networks
Technical University of Munich(慕尼黑工业大学)
本研究探索用先计算反对称量再应用符号等变神经网络的反向思路表示电子波函数,理论和实验均证明该方法等价于Jastrow因子,相比基线无明显优势。
2024-03-08 cs.LG physics.chem-ph physics.comp-ph
Lie Neurons: Adjoint-Equivariant Neural Networks for Semisimple Lie Algebras
University of Michigan(密歇根大学)
本文提出一种作用于半单李代数的伴随等变神经网络,通过李括号层和几何通道混合层扩展Vector Neurons,并在多个李代数任务中验证了其广泛适用性与竞争力。
2024-06-06 cs.AI cs.LG
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所)
基于神经网络(NN)和高斯过程(GP)之间的关系,目前机器学习(ML)领域出现了相当有前途的新趋势,包括许多相关的子主题,例如,神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络(CNN)的一个重要特征是它们关于输入数据的对称变换的等方差(一致性)。在这项工作中,我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程(GP)之间的关系。
2022-09-17 cs.AI cs.LG