A Permutation-Equivariant Neural Network Architecture For Auction Design
Princeton University(普林斯顿大学);New York University(纽约大学);Institute for Advanced Study(高等研究院)
设计一个激励相容的拍卖,使期望收益最大化是拍卖设计中的一个核心问题。在过去的几十年里,解决这个问题的理论方法已经达到了一些极限,只有少数几个简单的设置的分析解决方案是已知的。通过使用LP来解决问题的计算方法有其自身的局限性。在深度学习成功的基础上,Duetting等人(2019)最近提出了一种新方法,其中拍卖由前馈神经网络建模,设计问题被视为学习问题。在这项工作中使用的神经架构是通用的,并且没有利用问题可能存在的任何对称性,例如置换等变性。在这项工作中,我们考虑拍卖设计问题,具有置换等变对称性,并构建了一个神经架构,能够完美地恢复置换等变最优机制,这是我们不可能与以前的架构。我们证明,置换等变架构不仅能够恢复以前的结果,他们也有更好的推广性能。
2021-10-25 cs.GT cs.LG stat.ML
SO(3)-Equivariant Neural Networks for Learning from Scalar and Vector Fields on Spheres
Department of Mathematics, University of Bergen(卑尔根大学数学系);Department of Informatics, University of Bergen(卑尔根大学信息学系)
本文提出一种无需限制卷积核和非线性的深度学习架构,用于处理球面上的标量和向量场,通过等价信号在三维旋转群中的描述,实验显示其优于标准CNN并可与sCNN匹敌。
2026-03-31 cs.LG
Equivariant Subgraph Aggregation Networks
Purdue University(普渡大学);Imperial College London(伦敦帝国理工学院);Twitter(推特);MIT(麻省理工学院);UCSD(加州大学圣地亚哥分校);University of Tuebingen(图宾根大学);NVIDIA Research(英伟达研究院)
消息传递神经网络(MPNN)是用于图结构数据的深度学习的领先架构,这在很大程度上是由于其简单性和可扩展性。不幸的是,它表明,这些架构是有限的,在他们的表达能力。本文提出了一种新的框架称为等变子图聚合网络(ESAN)来解决这个问题。我们的主要观察是,虽然两个图可能无法区分的MPNN,他们往往包含可区分的子图。因此,我们建议将每个图表示为由一些预定义的策略导出的一组子图,并使用合适的等变架构来处理它。我们开发了新的变种的1维Weisfeiler-Leman(1-WL)测试图同构,并证明下界ESAN的表现力在这些新的WL变种。我们进一步证明,我们的方法增加了MPNN和更具表现力的架构的表达能力。此外,我们提供的理论结果,描述如何设计的选择,如子图的选择政策和等变神经架构影响我们的架构的表达能力。为了处理增加的计算成本,我们提出了一个子图采样方案,它可以被看作是我们的框架的随机版本。在真实数据集和合成数据集上进行的一系列实验表明,我们的框架提高了流行GNN架构的表达能力和整体性能。
2022-03-16 cs.LG stat.ML
Equivariant Transduction through Invariant Alignment
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
从组成上概括的能力是理解人类语言中可以从有限数量的单词中构建出潜在的无限数量的句子的关键。研究NLP模型是否具有这种能力一直是一个有趣的话题:SCAN(Lake和Baroni,2018)是专门提出来测试这种属性的一项任务。先前的工作已经使用组等变神经网络取得了令人印象深刻的经验结果,该神经网络自然地编码用于SCAN的有用的归纳偏差(Gordon等人,2020年)。受此启发,我们引入了一种新的组等变架构,采用了组不变的硬对齐机制。我们发现,我们的网络的结构允许它开发更强的等方差属性比现有的组等变方法。我们还发现,它在SCAN任务上的经验表现优于以前的组等变网络。我们的研究结果表明,将组等方差集成到各种神经架构中是一种潜在的富有成效的研究途径,并证明了仔细分析这种架构的理论特性的价值。
2022-09-22 cs.CL cs.LG
GradMetaNet: An Equivariant Architecture for Learning on Gradients
University of Oxford(牛津大学);Technion(以色列理工学院);Bar-Ilan University(巴伊兰大学);UC Berkeley(加州大学伯克利分校);AITHYRA;NVIDIA(英伟达)
本文提出GradMetaNet,一种基于等变设计、跨数据点梯度处理和秩1分解原则构建的新颖梯度学习架构,证明了其普适性,并在MLPs和transformers上的学习优化、INR编辑等任务中验证了有效性。
2025-10-12 cs.AI cs.LG
Quasi-Equivariant Metanetworks
FPT Software AI Center(FPT软件人工智能中心)
本文提出准等变元网络,通过引入准等变性概念,在保留功能一致性的同时,突破严格等变性的刚性限制,提升元网络的表达能力和鲁棒性。
2026-04-26 cs.LG
Quantitative Approximation Rates for Group Equivariant Learning
Department of Mathematics(数学系);Texas A&M University(德克萨斯A&M大学);Faculty of Mathematics(数学系);Technion- Israel Institute of Technology(技术学院-以色列理工学院);Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
本文研究群等变学习中ReLU网络对α-霍尔德函数的逼近速率,证明等变架构与普通MLP在表达能力上相当,无需牺牲逼近能力。
2026-04-16 cs.LG cs.NA math.NA
Euclidean, Projective, Conformal: Choosing a Geometric Algebra for Equivariant Transformers
Qualcomm AI Research(高通人工智能研究部);Qualcomm Technologies, Inc.(高通技术公司)
本文提出一种基于几何代数的等变变换器通用蓝图,并比较欧几里得、射影和共形代数版本,发现共形代数与改进的射影代数性能最佳。
2024-03-14 cs.AI cs.LG
A Unified Framework for Vision Transformers Equivariant to Discrete Subgroups of $\mathrm{O}(2)$
Independent Researcher(独立研究员);University of Amsterdam(阿姆斯特丹大学)
提出一个统一框架,使视觉Transformer对O(2)的任意离散子群等变,推广了现有翻转和D4等变架构,并通过理论保证和六重对称性实验验证了等变性可提升识别精度。
2026-06-29 cs.CV cs.LG
Equivariant neural networks for recovery of Hadamard matrices
Inductiva Research Labs(Inductiva Research Labs(Inductiva研究实验室))
我们提出了一个消息传递神经网络架构设计成等变的列和行排列的矩阵。我们说明了它的优势,传统的架构,如多层感知器(MLP),卷积神经网络(CNN),甚至Transformers,在组合优化任务恢复一组删除的条目的阿达玛矩阵。我们认为,这是几何深度学习原理在基础数学中的强大应用,也是使用机器学习技术对阿达玛猜想进行更多深入了解的潜在垫脚石。
2022-01-31 cs.DM cs.LG
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology(麻省理工学院)
尽管Transformer网络在各个领域都取得了广泛的成功,但即使考虑到与3D相关的诱导偏差(如平移不变性和旋转等变性),它也尚未在3D原子图(如分子)领域的数据集上表现良好。在本文中,我们证明了Transformers可以很好地推广到3D原子图,并提出了Equiformer,这是一种利用Transformer架构的优势并基于不可约表示(irreps)结合SE(3)/E(3)-等变特征的图神经网络。首先,我们提出了一个简单而有效的架构,只取代原来的操作在Transformers与他们的等变同行,并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改,该架构已经取得了很好的经验结果。其次,我们提出了一种新的注意力机制,称为等变图注意力,它改善了典型的注意力在Transformers,通过取代点积的注意力与多层感知器的注意力,并包括非线性消息传递。通过这两项创新,Equiformer在QM 9,MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Permutation-Equivariant 2D State Space Models: Theory and Canonical Architecture for Multivariate Time Series
Department of Artificial Intelligence, Korea University(人工智能学院,韩国大学)
本文提出了一种基于置换对称的二维状态空间模型,通过消除变量轴上的序列依赖,实现多变量时间序列的高效建模与预测。
2026-03-07 cs.AI cs.LG stat.ML
Permutation Equivariant Neural Functionals
Stanford University(斯坦福大学);University of Bologna(博洛尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出置换等变神经泛函框架,利用参数共享的 NF-Layers 编码网络权重的置换对称性,并在 MLP、CNN 及 INR 权重处理任务上验证其有效性。
2023-09-26 cs.AI cs.LG
Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
等方差是一个很好的属性,因为它可以产生更具参数效率的神经架构,并通过特征映射保留输入的结构。即使变换的某些组合可能永远不会出现(例如,直立的脸与水平的鼻子),当前的等变架构在学习特征表示时会考虑变换组中所有可能的变换的集合。首先,人类视觉系统能够注意到环境中发生的一组相关变换,并利用这些信息来帮助和改进对象识别。基于这一观察,我们修改传统的等变特征映射,使他们能够参加的数据中的共现变换集,并推广这一概念,以作用于由多个对称性组成的组。我们表明,我们提出的共同关注等变神经网络始终优于传统的旋转等变和旋转和反射等变神经网络旋转MNIST和CIFAR-10。
2020-02-10 cs.CV cs.LG stat.ML
LEAPS: A discrete neural sampler via locally equivariant networks
Massachusetts Institute of Technology(麻省理工学院);Society of Fellow, Harvard University(哈佛大学 fellows 会社);Institute for Artificial Intelligence and Fundamental Interactions(人工智能与基本相互作用研究所)
提出LEAPS算法,通过学习连续时间马尔可夫链的速率矩阵从未归一化离散分布中采样,引入局部等变网络参数化速率矩阵以最小化重要性权重方差,并在统计物理问题上验证了其有效性。
2025-08-13 cs.LG stat.CO stat.ML
Activation Functions for "A Feedforward Unitary Equivariant Neural Network"
University of Oxford(牛津大学)
本文将前馈酉等变神经网络中的三种激活函数推广为单一函数形式,在保持酉等变性的同时提升了网络架构设计的灵活性。
2024-11-17 cs.LG cs.NE
GLGENN: A Novel Parameter-Light Equivariant Neural Networks Architecture Based on Clifford Geometric Algebras
HSE University(莫斯科高等经济大学);Skolkovo Institute of Science(斯克尔科沃科学研究院);Institute for Information Transmission Problems of the Russian Academy of Sciences(俄罗斯科学院信息传输问题研究所)
GLGENN基于克莱因几何代数提出一种参数轻量的等变神经网络架构,在等变任务中表现优异且参数更少。
2025-12-03 cs.LG
Relaxed Equivariant Graph Neural Networks
Northeastern University(东北大学)
该研究基于e3nn框架提出松弛$E(3)$图等变神经网络框架,通过松弛权重实现可控对称性破缺,实验验证其可学习到恰当的破缺程度,为复杂物理系统建模提供新方法。
2024-12-10 cs.LG
ZZ-Net: A Universal Rotation Equivariant Architecture for 2D Point Clouds
Chalmers University of Technology(查尔姆斯理工大学);Umeå University(于默奥大学)
本文研究了二维点云数据的旋转等方差问题。我们描述了一组特殊的功能,能够近似任何连续的旋转等变和置换不变的功能。基于这一结果,我们提出了一种新的神经网络架构处理二维点云,我们证明了它的通用性,表现出这些对称性的近似函数。我们还展示了如何扩展的架构,接受一组2D-2D的对应作为indata,同时保持类似的等方差属性。对立体视觉中的基本矩阵估计进行了实验研究。
2022-03-28 cs.CV cs.LG
Approximately Equivariant Neural Processes
University of Cambridge(剑桥大学);The Alan Turing Institute(图灵研究所);Microsoft Research AI for Science(微软研究院科学智能事业部)
本文提出一种通用方法,利用现有等变架构构建近似等变神经过程,在合成和真实回归任务中优于非等变和严格等变模型。
2024-11-09 cs.LG stat.ML
Improved Canonicalization for Model Agnostic Equivariance
McGill University(麦吉尔大学);Mila(米拉研究所)
针对深度学习中传统等变架构和现有架构无关方法的局限性,提出基于优化的新方法,采用任意非等变网络结合对比学习进行canonicalization,在大型预训练模型上实现更优等变性且速度提升至2倍。
2024-11-15 cs.LG
Modeling Dynamics over Meshes with Gauge Equivariant Nonlinear Message Passing
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学)
针对流形表面PDE建模中现有图神经网络缺乏几何信息、规范等变卷积与注意力网络难以处理复杂非线性动力学的问题,提出规范等变非线性消息传递架构并明确其优势场景。
2023-11-03 cs.LG
Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation
本文提出用置换等变图元网络参数化流匹配速度场,实现无需对齐的神经权重生成,能再现独立训练网络的统计特性并泛化到新架构。
2026-09-29 cs.LG
Equivariant Frames and the Impossibility of Continuous Canonicalization
Technion(以色列理工学院);MIT(麻省理工学院);Texas A&M University(德克萨斯农工大学)
该研究从理论上证明常用群下无加权框架平均无法保持函数连续性,定义并构建可证明保持连续性的加权框架,还针对点云的几类群作用实现了高效连续的加权框架,为概率框架的经验优势提供了理论支撑。
2024-06-18 cs.LG
Equivariant Deep Weight Space Alignment
Bar-Ilan University(巴伊兰大学);NVIDIA Research(英伟达研究院);Technion(以色列理工学院)
针对深度网络置换对称性导致的权重对齐NP-hard问题,提出无标注数据框架Deep-Align,通过设计尊重基本对称性的深度架构学习对齐,实现更快收敛与更优性能。
2024-11-09 cs.LG
Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
KAIST(韩国科学技术院)
该研究提出概率对称化框架,用小型等变网络参数化对称化分布,结合任意基础模型端到端训练,实现架构无关的群等变性,在多对称群测试中性能媲美定制等变架构,还可跨模态预训练增强效果。
2024-04-13 cs.AI cs.LG
Equivariant Neural Operator Learning with Graphon Convolution
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出结合系数学习与残差算子层的SE(3)等变通用架构InfGCN,利用连续graphon和离散图结构捕获几何信息,在大规模电子密度数据集上显著优于现有SOTA。
2023-11-17 cs.LG
Scale Equivariant U-Net
Center for Mathematical Morphology(数学形态学中心);Mines ParisTech(巴黎高等矿业学院);PSL University(巴黎文理研究大学)
在神经网络中,当数据中存在相应的对称性时,对变换等变的性质提高了泛化能力。特别是,尺度等变网络适用于计算机视觉任务,其中相同类别的对象以不同尺度出现,如大多数语义分割任务。最近,已经提出了与缩放和平移半群等变的卷积层。然而,下采样和上采样的等方差从未被明确研究过,即使它们在某些分割架构中是必要的构建块。U-Net是这种架构的代表性示例,其包括用于最先进的语义分割的基本元素。因此,本文介绍了尺度等变U网(SEU-Net),这是一种通过仔细应用下采样和上采样层以及使用上述尺度等变层而近似等变到尺度和平移半群的U网。此外,提出了一个尺度丢弃,以提高推广到不同的尺度近似尺度等变架构。所提出的SEU-Net被训练用于Oxford Pet IIIT的语义分割和用于细胞分割的DIC-C2 DH-HeLa数据集。与U-Net相比,对不可见尺度的泛化度量得到了显着改善,即使U-Net是用尺度抖动训练的,并且是在等变管道内不执行上采样运算符的尺度等变架构。在Pet实验中,尺度丢弃导致尺度等变模型具有更好的泛化能力,但在细胞分割实验中没有。
2022-10-10 cs.LG stat.ML
A Simple and Universal Rotation Equivariant Point-cloud Network
Technion – Israel Institute of Technology(以色列理工学院);NVIDIA Research(英伟达研究院)
置换和刚性运动的等变性是各种3D学习问题的重要归纳偏差。最近已经证明,等变张量场网络架构是通用的-它可以近似任何等变函数。在本文中,我们提出了一个更简单的架构,证明它享有相同的通用性保证,并评估其性能的Modelnet 40。重现我们实验的代码可以在\url{https://github.com/simpleinvariance/UniversalNetwork}上找到
2022-05-27 cs.CV cs.LG
E(3)-Equivariant Mesh Neural Networks
FPT Software AI Center(FPT软件人工智能中心);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Ton Duc Thang University(同塔大学);Indiana State University(印第安纳州立大学)
针对三维网格几何深度学习,本文通过最小限度扩展EGNNs更新方程并引入层次结构处理长程交互,提出了EMNN架构,在网格任务上以更快的运行速度和无需昂贵预处理的优势超越了复杂等变方法。
2024-02-19 cs.LG
Equivariant Polynomial Functional Networks
National University of Singapore(新加坡国立大学);FPT Software AI Center, Vietnam(越南FPT软件AI中心);VinUniversity, Vietnam(越南Vin大学)
本文提出MAGEP-NFN,通过多项式形式构建非线性等变层,实现低内存消耗和高表达性的排列和缩放等变神经功能网络。
2025-12-20 cs.LG
Weisfeiler Leman for Euclidean Equivariant Machine Learning
Faculty of Mathematics, Technion - Israel Institute of Technology(以色列理工学院数学学院);Faculty of Computer Science, Technion - Israel Institute of Technology(以色列理工学院计算机科学学院)
本文扩展了2-WL测试到点云数据,证明PPGN可模拟2-WL,提出等变通用性框架,并开发出在N-Body和GEOM-QM9任务上达到最先进性能的WeLNet架构。
2024-06-26 cs.LG
A Materials Foundation Model via Hybrid Invariant-Equivariant Architectures
Texas A&M University(德克萨斯大学);Lambda Inc.(Lambda公司);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出混合不变-等变材料原子间势模型 HIENet,整合两类消息传递层并满足物理约束,在保持计算高效的同时实现了最先进的性能。
2025-05-29 cond-mat.mtrl-sci cs.LG physics.comp-ph
Learning Polynomial Problems with $SL(2,\mathbb{R})$ Equivariance
Massachusetts Institute of Technology(麻省理工学院)
本文首次用神经网络数据驱动地求解多项式正性优化与验证问题,实现十倍加速,并发现 $SL(2,\mathbb{R})$ 等变架构因缺乏普适性而不如数据增强,为非紧对称问题提供了理论与实践启示。
2023-12-04 cs.LG
Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models
UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);University of Oxford(牛津大学);TU Munich(慕尼黑工业大学);Technion(以色列理工学院);NVIDIA(英伟达公司)
本文研究了在LoRAs上学习(LoL)范式,将LoRA权重作为模型输入以预测性能或检测有害微调。作者识别了低秩分解的参数对称性,并开发了多种对称感知的等变LoL模型,实验证明其能有效预测CLIP分数及下游任务准确率。
2024-10-15 cs.LG stat.ML
On Universality Classes of Equivariant Networks
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Ca’ Foscari University of Venice(威尼斯卡·福斯卡里大学)
本文研究了等变神经网络的普遍性类别,揭示了分离能力与表达性之间的差异,并探讨了浅层模型在不同对称群结构下的普遍性表现。
2026-02-03 cs.LG
Monomial Matrix Group Equivariant Neural Functional Networks
National University of Singapore(新加坡国立大学);FPT Software AI Center(FPT软件人工智能中心)
针对 NFN 仅利用权重置换对称性的局限,本文提出 Monomial-NFN,将缩放与符号翻转对称性纳入单项矩阵群作用,并证明相关不变群的子群性质,以更少参数实现具竞争力的性能与效率。
2025-03-13 cs.LG
Latent Equivariant Operators for Robust Object Recognition: Promises and Challenges
Departments of Computer Science & Neuroscience and Biomedical Engineering(计算机科学与神经科学及生物医学工程系);Aalto University(艾尔沃斯大学)
本文提出通过潜在空间学习等变运算符以提升鲁棒目标识别能力,展示其在超出分布分类中的有效性,并探讨扩展至复杂数据集的挑战。
2026-03-10 cs.CV cs.LG
Optimal Equivariant Architectures from the Symmetries of Matrix-Element Likelihoods
Institute for Particle Physics Phenomenology, Department of Physics \ University, Durham DH1 3LE, United Kingdom
本文结合矩阵元方法的对称性与等变神经网络,提出纵向boost等变消息传递架构,在双Higgs四底夸克衰变分类中达到新的最优性能。
2024-10-24 cs.LG hep-ex hep-ph
Generalization capabilities of translationally equivariant neural networks
Institute for Theoretical Physics, TU Wien(维也纳技术大学理论物理研究所)
随着机器学习在高能物理和格点场论中的日益普及,有必要重新评估计算机视觉中广泛使用的常用方法,这些方法在应用于物理问题时,可能会导致性能和可推广性方面的重大缺陷。一个特别的例子是使用神经网络架构,它不反映给定物理问题的潜在对称性。在这项工作中,我们专注于二维晶格上的复标量场,并研究使用基于平移群的群等变卷积神经网络架构的好处。为了进行有意义的比较,我们对等变和非等变神经网络架构进行了系统的搜索,并将其应用于各种回归和分类任务。我们证明,在大多数这些任务中,我们最好的等变架构可以执行和推广显着优于他们的非等变同行,这不仅适用于训练集中表示的物理参数之外,但也不同的晶格大小。
2021-10-11 cs.LG hep-lat hep-ph
Semi-Equivariant GNN Architectures for Jet Tagging
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Princeton University(普林斯顿大学);University of California Berkeley(加州大学伯克利分校)
已经提出了尊重物理对称性的操作的组合图神经网络(GNN),以提供更好的模型性能和更少的可学习参数。然而,现实世界的应用,如在高能物理还没有诞生出来。我们提出了一种新颖的架构VecNet,它结合了尊重物理和无约束的操作来研究和调整物理知识的GNN的程度。我们引入了一种新的度量,\textit{ant factor},量化的资源效率的搜索空间中的每个配置。我们发现,一个广义的架构,如我们可以提供最佳的性能在资源受限的应用程序。
2022-02-14 cs.LG hep-ex hep-ph
Learning with Category-Equivariant Architectures for Human Activity Recognition
School of Informatics, Nagoya University, Japan(名古屋大学信息学系);School of Computing, Australian National University, Australia(澳大利亚国立大学计算学系)
提出类别等变神经网络CatEquiv,通过编码时间、幅度和结构对称性提升人类活动识别在分布外扰动下的鲁棒性,在不增加模型容量的情况下实现强不变性和泛化能力。
2025-11-04 cs.AI cs.CV cs.HC
Lorentz Group Equivariant Neural Network for Particle Physics
University of Chicago(芝加哥大学);Atomwise(Atomwise公司);Enrico Fermi Institute(恩里科·费米研究所);Flatiron Institute(熨斗研究所)
我们提出了一个神经网络架构,是完全等变的洛伦兹群下的转换,在物理学中的空间和时间的基本对称性。该架构是基于洛伦兹群的有限维表示理论和涉及张量积的等变非线性。对于粒子物理学中的分类任务,我们证明了这种等变架构导致了非常简单的模型,这些模型具有相对较少的可学习参数,并且比使用CNN和点云方法的领先方法更具物理可解释性。该网络的竞争性能在公共分类数据集上得到了证明[27],用于标记质子-质子碰撞中产生的喷流成分的能量动量的顶夸克衰变。
2020-06-08 cs.LG hep-ex hep-ph
PELICAN: Permutation Equivariant and Lorentz Invariant or Covariant Aggregator Network for Particle Physics
University of Chicago(芝加哥大学);Enrico Fermi Institute(恩里科·费米研究所)
目前粒子物理学中的许多机器学习方法都使用通用架构,这些架构需要大量参数,而忽略了底层的物理原理,限制了它们作为科学建模工具的适用性。在这项工作中,我们提出了一种机器学习架构,该架构使用一组相对于完整的6维洛伦兹对称性最大限度地减少的输入,并且在整个过程中完全是置换等变的。我们研究了这种网络架构的应用程序的顶夸克标记的标准任务,并表明,所产生的网络优于所有现有的竞争对手,尽管模型的复杂性低得多。此外,我们提出了一个洛伦兹协变变量的相同的网络应用于4动量回归任务。
2022-12-23 cs.LG hep-ex hep-ph
Algebraic Priors for Approximately Equivariant Networks
University of Cambridge(剑桥大学)
本文提出了一种无需参数的代数方法,利用群表示理论来构建等变网络的先验,通过实验验证该方法在多个任务中表现优异,甚至在无限群情况下也优于专门设计的模型。
2026-05-18 cs.AI cs.LG stat.ML
On Universal Equivariant Set Networks
Weizmann Institute of Science(魏茨曼科学研究所);Department of Computer Science and Applied Mathematics(计算机科学与应用数学系)
使用对排列不变或等变的深度神经网络来学习无序集合上的函数已经变得普遍。最流行的基本模型是DeepSets [Zaheer et al. 2017]和PointNet [Qi et al. 2017]。虽然已知DeepSets和PointNet对于近似不变函数是通用的,但在近似\emph{equivariant}集合函数时并不通用。另一方面,最近的几个等变集架构已被证明是等变泛的[Sannai et al. 2019],[Keriven et al. 2019],然而这些模型要么使用不是置换等变的层(在标准意义上)和/或使用较不实用的高阶张量变量。因此,在理解流行的同变集模型与理论模型的普遍性方面存在差距。在本文中,我们通过证明:(i)PointNet不是等变通用的;(ii)添加单个线性传输层使PointNet通用。我们称这种架构PointNetST,并认为它是迄今为止已知的最简单的置换等变通用模型。另一个结果是DeepSets是通用的,PointNetSeg,一种流行的点云分割网络(例如,在[Qi et al. 2017]中使用)也是通用的。用于证明上述结果的关键理论工具是所有置换等变多项式层的显式表征。最后,我们提供了数值实验验证理论结果和比较不同的置换等变模型。
2020-01-23 cs.LG stat.ML
Equivariant Mesh Attention Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Imperial College London(帝国理工学院);Qualcomm AI Research(高通人工智能研究院)
对称性的等变性已被证明是深度学习研究中的一个强大的归纳偏差。最近的工作网格处理集中在各种自然的对称性,包括平移,旋转,缩放,节点排列和规范变换。到目前为止,还没有一个现有的体系结构是所有这些转换的等价物。在本文中,我们提出了一个基于注意力的架构,网格数据,可证明是等变的上述所有转换。我们的管道依赖于使用相对切向特征:一个简单,有效,等方差友好的替代原始节点位置作为输入。FAUST和TOSCA数据集上的实验证实,我们提出的架构在这些基准测试中实现了更好的性能,并且确实是等变的,因此对各种局部/全局变换都是鲁棒的。
2022-08-27 cs.CV cs.LG stat.ML
General $E(2)$-Equivariant Steerable CNNs
University of Amsterdam(阿姆斯特丹大学)
近年来,群等变网络的巨大经验成功导致了各种各样的等变网络架构的萌芽。因此,一个特别的焦点是平面图像的旋转和反射等变CNN。在这里,我们给出了一个一般性的描述$E(2)$ -等变卷积的可操纵CNN的框架。因此,可操纵CNN的理论对卷积核产生了约束,卷积核依赖于描述特征空间变换规律的群表示。我们表明,这些限制任意群表示可以减少到限制下的不可约表示。给出了欧氏群$E(2)$及其子群的任意表示的核空间约束的一般解。我们实现了广泛的先前提出的和全新的等变网络架构,并广泛比较其性能。当用作非等变卷积的直接替代时,$E(2)$ -可操纵卷积进一步被示出在CIFAR-10、CIFAR-100和STL-10上产生显著的增益。
2021-04-06 cs.CV cs.LG eess.IV
Equivariant and Steerable Neural Networks: A review with special emphasis on the symmetric group
University of Wuppertal(伍珀塔尔大学);IZMD
卷积神经网络彻底改变了计算机视觉和自然语言处理。与完全连接的神经网络相比,它们的效率源于其架构,其中卷积反映了模式或语音识别任务中空间和时间的平移不变性。最近,Cohen和Welling将其置于对称群下的不变性的更广泛的视角中,这导致了群等价神经网络和更普遍的可操纵神经网络的概念。在这篇文章中,我们回顾了这种网络的架构,包括等变层和过滤器组,激活胶囊和组池。我们将这种形式主义的对称群,我们制定了一些细节的表示和胶囊,没有发现在文献中。
2023-01-08 cs.AI cs.LG
Connecting Permutation Equivariant Neural Networks and Partition Diagrams
Imperial College London(帝国理工学院)
本文通过 Schur-Weyl 对偶性建立了置换等变神经网络权重矩阵与划分代数之间的联系,并提出一种图解方法直接计算这些权重矩阵。
2024-08-08 cs.LG math.CO math.RT
How the Optimizer Shapes Learned Solutions in Equivariant Neural Networks
University of Stuttgart, Germany(斯图加特大学);International Max Planck Research School for Intelligent Systems, Germany(国际马克斯·普朗克智能系统研究学校);Tudor Vianu High School of Computer Science, Romania(托尔德·维安乌计算机科学高中)
本文通过比较Muon和Adam优化器在点云和分子学习任务中的表现,发现Muon能改善等变神经网络的优化效果,并分析其导致更规则损失曲面和更高有效秩的机制。
2026-05-26 cs.AI cs.LG
E(2) Equivariant Neural Networks for Robust Galaxy Morphology Classification
Northeastern University(东北大学);NSF Institute for Artificial Intelligence and Fundamental Interactions(NSF人工智能与基础相互作用研究所)
本研究提出将E(2)等变群卷积神经网络用于星系形态分类,在Galaxy10 DECals数据集上验证了该模型相比普通CNN准确率更高,且对噪声和单像素对抗攻击的鲁棒性更强。
2023-11-02 astro-ph.GA cs.LG
Morphological-Symmetry-Equivariant Heterogeneous Graph Neural Network for Robotic Dynamics Learning
California Institute of Technology(加州理工学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出MS-HGNN,通过整合机器人运动学结构和形态对称性,实现高效的动力学学习,并在多个四足机器人任务中验证了其有效性。
2026-03-10 cs.LG cs.RO
A Lorentz-Equivariant Transformer for All of the LHC
本研究提出基于时空几何代数的洛伦兹等变Transformer模型L-GATr,在LHC的振幅回归、喷注分类及生成任务三项基准上均取得显著优于现有架构的性能。
2025-09-03 cs.LG hep-ex hep-ph