Symmetry-driven graph neural networks
GlaxoSmithKline(葛兰素史克)
利用数据中的对称性和不变性是一种功能强大但尚未充分利用的方法,可以更有效地实现更好的泛化。在本文中,我们介绍了两个图网络架构,是等变的几种类型的转换影响节点坐标。首先,我们在保持相邻节点之间距离的坐标嵌入中建立任何变换的等方差,允许欧氏群的等方差。然后,我们引入角度属性来建立任何角度保持变换的等变性-因此,共形群。由于它们的等方差特性,所提出的模型相对于经典的图架构可以大大提高数据效率,本质上具有更好的归纳偏差,并且更好地概括。我们证明了这些功能的合成数据集组成的$n$维几何对象。此外,我们提供了当数据中不存在(正确的)对称性时它们的局限性的例子。
2021-05-28 cs.LG
Regularizing Towards Soft Equivariance Under Mixed Symmetries
KAIST(韩国科学技术院);Institute for Basic Science (IBS)(基础科学研究院);AITRICS
针对多类型且近似程度不同的混合对称性,本文提出按对称类型设置等变正则化项并自动调节强度,使模型无需显式监督即可学习近似对称水平,并在合成函数逼近和运动预测中优于既有方法。
2023-06-01 cs.AI cs.LG stat.ML
Learning Layer-wise Equivariances Automatically using Gradients
Imperial College London(帝国理工学院);ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出利用梯度自动学习神经网络逐层等变性,通过改进软等变参数化并优化边际似然来平衡数据拟合与模型复杂度,在图像分类上达到或超过硬编码对称性基线。
2023-10-09 cs.AI cs.LG stat.ML
Why self-attention is Natural for Sequence-to-Sequence Problems? A Perspective from Symmetries
Stanford University(斯坦福大学)
在本文中,我们表明,类似于自注意力的结构是很自然的,从对称性的角度来学习许多序列到序列的问题。受语言处理应用程序的启发,我们研究了seq 2seq函数与知识的正交等方差,这些函数具有两个输入-输入序列和“知识”-并输出另一个序列。知识由与输入序列相同的嵌入空间中的一组向量组成,包含用于处理输入序列的语言的信息。我们发现,在嵌入空间的正交等方差是自然的seq 2seq函数的知识,在这样的等方差的功能必须采取的形式接近的自注意力。这表明,类似于自注意力的网络结构是代表许多seq 2seq问题的目标函数的正确结构。如果考虑“有限信息原理”,或者输入序列的元素具有置换等方差,则可以进一步细化表示。
2022-10-13 cs.CL cs.LG
Learning Partial Equivariances from Data
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
组卷积神经网络(G-CNN)约束学习的特征以尊重所选组中的对称性,并且当这些对称性出现在数据中时导致更好的泛化。然而,如果不是这种情况,则等方差会导致过度约束的模型和更差的性能。通常,发生在数据中的变换可以由组的子集而不是由作为整体的组更好地表示,例如,$[-90^{\circ}, 90^{\circ}]$中的旋转。在这种情况下,考虑等方差$\textit{partially}$的模型更适合表示数据。此外,对于低级和高级特征,相关转换可能不同。例如,完全旋转等方差对于描述面部中的边缘取向是有用的,但是部分旋转等方差更适合于描述相对于相机的面部姿势。换句话说,等方差的最优水平可以按层不同。在这项工作中,我们介绍了$\textit{Partial G-CNNs}$:G-CNN能够学习分层水平的部分和完全等方差离散,连续组及其组合作为训练的一部分。部分G-CNN在有益时保持完全等方差,例如,对于旋转的MNIST,但只要它变得有害,就调整它,例如,用于6 / 9数字或自然图像的分类。我们的经验表明,部分G-CNN配对G-CNN时,全等方差是有利的,否则优于他们。
2023-01-14 cs.CV cs.LG
Residual Pathway Priors for Soft Equivariance Constraints
New York University(纽约大学)
在构建具有足够表达力以捕捉现实细微差别的深度学习系统和具有正确的归纳偏差以进行有效学习之间,通常存在权衡。我们引入残差路径先验(RPPs)作为一种方法,用于将硬架构约束转换为软先验,引导模型走向结构化解决方案,同时保留捕获额外复杂性的能力。使用RPP,我们构建神经网络先验与归纳偏见的方差,但没有限制的灵活性。我们表明,RPPs是弹性的近似或错误指定的对称性,是有效的完全约束模型,即使当对称性是准确的。我们展示了RPP与动力系统,表格数据和强化学习的广泛适用性。在Mujoco运动任务中,接触力和方向奖励违反严格的等方差假设,RPP优于基线无模型RL代理,并且还改进了基于模型RL的学习转换模型。
2021-12-02 cs.LG stat.ML
Measuring Learned Equivariance: An Information Theoretic Approach
Khoury College of Computer Sciences(科里计算机科学学院);Northeastern University(东北大学)
该研究提出一种基于信息论的方法,通过归一化互信息(NMI)和中心核对齐(CKA)测量神经网络的学习等变性,实验显示数据增强可提升变换一致性,无需恢复隐藏变换规则即可探测等变性。
2026-10-14 cs.AI cs.IT cs.LG
Learning Equivariant Representations
University of Pennsylvania(宾夕法尼亚大学)
最先进的深度学习系统通常需要大量的数据和计算。因此,利用已知或未知的数据结构至关重要。卷积神经网络(CNN)是这一原理的成功例子,它们的定义特征是移位等方差。通过在输入上滑动滤波器,当输入移位时,响应移位相同的量,利用自然图像的结构,其中语义内容与绝对像素位置无关。这个特性对于CNN在音频、图像和视频识别任务中的成功至关重要。在这篇论文中,我们将等方差变换扩展到其他类型的变换,如旋转和缩放。我们提出了由对称群定义的不同变换的等变模型。主要贡献是(i)极性Transformer网络,实现平面上相似性组的等变,(ii)等变多视图网络,实现二十面体对称组的等变,(iii)球形CNN,实现连续3D旋转组的等变,(iv)跨域图像嵌入,实现2D输入的3D旋转的等变,以及(v)自旋加权球形CNN,推广球形CNN并实现球形向量场的3D旋转的等变性。应用包括图像分类、3D形状分类和检索、全景图像分类和分割、形状对准和姿态估计。这些模型的共同点是它们利用数据中的对称性来降低样本和模型的复杂性,并提高泛化性能。这些优势在(但不限于)数据有限或存在任意旋转等输入扰动的具有挑战性的任务中更为显著。
2020-12-04 cs.CV cs.LG
Data Augmentation and Regularization for Learning Group Equivariance
Umeå University(于默奥大学)
针对利用已知对称性提升模型性能的问题,本文通过总结前期研究并扩展结果,提出在增强数据训练中结合正则化的方法,实现了模型的群等变性学习。
2025-02-10 cs.LG math.OC stat.ML
Approximation-Generalization Trade-offs under (Approximate) Group Equivariance
UC Chile(智利大学);Inst. de Ingeniería Matematica y Computacional(数学与计算工程研究所);CSAIL(计算机科学与人工智能实验室)
本文对群等变模型的近似-泛化权衡进行正式统一研究,提出定量界限,连接模型与数据的等变误差,确定最优模型等变误差条件,为高性能模型设计提供理论支撑。
2025-04-18 cs.LG stat.ML
Learning (Approximately) Equivariant Networks via Constrained Optimization
Computer Science Department, University of Stuttgart(斯图加特大学计算机科学系);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究学校);Department of Applied Mathematics, École Polytechnique de Paris(巴黎高等理工学院应用数学系)
本文提出自适应约束等变方法,通过逐步增强模型的等变性,提升性能、样本效率和鲁棒性。
2025-12-11 cs.AI cs.LG
Frame Averaging for Invariant and Equivariant Network Design
Weizmann Institute of Science(魏茨曼科学研究所);Facebook AI Research(脸书人工智能研究院)
许多机器学习任务涉及学习已知对于输入数据的某些对称性不变或等变的函数。然而,设计尊重这些对称性同时具有表达性和计算效率的神经网络架构通常是具有挑战性的。例如,欧几里德运动不变/等变图或点云神经网络。我们介绍帧平均(FA),一个通用的和系统的框架,用于适应已知的(骨干)架构,成为新的对称类型不变或等变。我们的框架建立在众所周知的组平均算子,保证不变性或等变性,但难以处理。相反,我们观察到,对于许多重要的对称类,这个算子可以用一个平均算子在一个小的子集的组元素,称为一个框架。我们表明,平均在一个帧保证确切的不变性或等变性,而往往是更简单的计算比平均在整个组。此外,我们证明了基于FA的模型在广泛的环境中具有最大的表达能力,并且在一般情况下保留了其骨干架构的表达能力。使用帧平均,我们提出了一类新的通用图神经网络(GNNs),通用欧几里德运动不变点云网络,和欧几里德运动不变消息传递(MP)GNNs。我们证明了FA在几个应用程序中的实际有效性,包括点云正常估计,超越$2$ -WL图分离,和$n$ -身体动力学预测,在所有这些基准测试中达到最先进的结果。
2022-03-15 cs.LG stat.ML
Symmetry and Generalisation in Machine Learning
St Anne’s College(圣安妮学院)
本文利用平均算子证明正确设定的等变预测器可严格降低测试风险,并在最小二乘与核岭回归中量化对称性带来的泛化收益。
2025-01-07 cs.LG stat.ML
Learning Symmetries via Weight-Sharing with Doubly Stochastic Tensors
University of Amsterdam(阿姆斯特丹大学);Amsterdam UMC(阿姆斯特丹大学医学中心);Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室)
针对传统群等变方法需预先指定群、约束过强的问题,提出基于可学习双随机矩阵的软权重共享方案,可动态发现对称性、适配部分对称,强对称场景下可收敛为正则群卷积。
2025-01-14 cs.CV cs.LG
Equivariance and generalization in neural networks
Institute for Theoretical Physics, TU Wien(维也纳工业大学理论物理研究所)
高能物理学和格点场论的基本对称性所起的关键作用要求在应用于所考虑的物理系统的神经网络架构中实现这种对称性。在这些程序中,我们专注于将平移等方差网络属性之间的后果,特别是在性能和泛化方面。通过研究复杂的标量场理论,研究了各种回归和分类任务,证明了等变网络的好处。为了进行有意义的比较,通过系统搜索确定有前途的等变和非等变架构。结果表明,在大多数任务中,我们最好的等变架构可以执行和推广显着优于其非等变对应物,这不仅适用于训练集中表示的物理参数,而且适用于不同的晶格尺寸。
2021-12-23 cs.LG hep-lat hep-ph
Diffeomorphism-Equivariant Neural Networks
Institute of Mathematics(数学研究所);Image Computing, University of Luebeck, Luebeck, Germany(图像计算,吕贝克大学,吕贝克,德国);Department of Applied Mathematics(应用数学系);Theoretical Physics, University of Cambridge, Cambridge, United Kingdom(理论物理,剑桥大学,剑桥,英国)
本文提出通过能量基于规范化诱导预训练网络的微分同胚等变性,实现对无限维群的等变性扩展,适用于分割和分类任务。
2026-02-06 cs.CV cs.LG
Group Equivariant Conditional Neural Processes
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目中心)
我们提出了组等变条件神经过程(EquivCNP),这是一种元学习方法,与传统的条件神经过程(CNP)一样,在数据集中具有排列不变性,并且在数据空间中也具有变换等变性。解释组等方差,如旋转和缩放等方差,提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理,这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中,我们使用李群卷积层构建架构以供实际实现。我们表明,翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外,我们证明,将适当的李群等方差,EquivCNP是能够zero-shot概括的图像完成任务,通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
Adaptive Sampling for Continuous Group Equivariant Neural Networks
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究中心)
针对连续群等变可导向网络中全群采样计算成本高的问题,提出自适应采样方法,根据数据对称性动态调整采样,减少采样量,在提升性能的同时小幅提高内存效率。
2024-09-13 cs.LG
Inherent Trade-offs when Enforcing Correct Data Symmetries in Multi-head Self-attention
该研究刻画了等变多头自注意力的性质,证明固定等变MHSA架构会导致表达能力损失,特定群作用下其等变轨迹含大量不可约分支,单一架构仅覆盖其一。
2026-10-16 cs.LG math.AG math.RT
A Tale of Two Symmetries: Exploring the Loss Landscape of Equivariant Models
Massachusetts Institute of Technology(麻省理工学院)
本研究通过理论分析等变网络损失景观几何,发现无约束模型的参数对称性会阻碍等变子空间学习全局最小值,而放松约束有时能解决该问题,揭示了隐藏对称性对优化和群表示选择的重要影响。
2025-10-31 cs.AI cs.LG
Boosting Data Augmentation with Stochastic Weight Averaging
Chalmers University of Technology and the University of Gothenburg(查尔姆斯理工大学与哥德堡大学);Umeå University(于默奥大学)
本研究提出用无需重复训练的随机权重平均(SWA)替代高成本的深度集成,结合数据增强实现等方差增强,经多模型数值实验验证了其有效性。
2026-09-07 cs.LG
Platonic Transformers: A Solid Choice For Equivariance
University of California, Berkeley(加州大学伯克利分校)
提出Platonic Transformer,通过基于柏拉图立体对称群参考帧的注意力机制实现等变性,在不增加计算成本的前提下提升性能。
2026-06-02 cs.AI cs.CV cs.LG
Almost Equivariance via Lie Algebra Convolutions
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
针对严格等变模型先验过强难以适配真实数据的问题,该研究提出近似等变性概念,通过李代数卷积实现近似等变建模,证明相关存在性定理并通过基准测试验证方法有效性。
2024-06-20 cs.LG stat.ML
The Lie Derivative for Measuring Learned Equivariance
New York University(纽约大学)
该研究提出用李导数衡量模型等变性,通过分析数百个不同架构预训练模型,发现空间混叠会破坏等变性,且模型越大越准等变性越强,Transformer训练后等变性可超过CNN。
2024-06-18 cs.AI cs.CV cs.LG
Approximately Equivariant Graph Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Technion – Israel Institute of Technology(以色列理工学院)
本研究提出近似等变图网络,通过图粗化定义近似对称性,并给出偏差-方差公式以权衡表达性与正则性,实验证明选择介于自同构与置换群之间的对称群可获得最佳泛化。
2023-11-17 cs.LG stat.ML
HyQuRP: Hybrid quantum-classical neural network with rotational and permutational equivariance
School of Integrated Technology, Yonsei University, Seoul 03722, Korea(整合技术学院,延世大学,首尔03722,韩国);Department of Quantum Information, Yonsei University, Seoul 03722, Korea(量子信息系,延世大学,首尔03722,韩国)
本文提出HyQuRP,一种具有旋转和置换等价性的混合量子-经典神经网络,通过组表示理论分析门空间维度,实验证明其在稀疏点云分类中优于经典和量子基线模型。
2026-05-07 cs.LG quant-ph
Variational Partial Group Convolutions for Input-Aware Partial Equivariance of Rotations and Color-Shifts
Kim Jaechul Graduate School of AI, KAIST(金哉澈人工智能研究生院(韩国科学技术院));School of Computing, KAIST(计算机学院(韩国科学技术院));AITRICS(AITRICS公司)
本文提出变分部分G-CNN(VP G-CNN),通过以输入数据为条件的变分推断动态调整每个样本的部分等变性水平,并改进可重参数化分布以稳定训练,在多个旋转与颜色偏移数据集上验证了有效性。
2024-07-05 cs.AI cs.CV cs.LG
Any-Subgroup Equivariant Networks via Symmetry Breaking
MIT(麻省理工学院);TUM(技术大学慕尼黑);Flatiron Institute(Flatiron研究院)
本文提出Any-Subgroup Equivariant Network,通过调节辅助输入特征实现多组等变,理论证明其能模拟等变MLP,实验验证其在图、图像及序列任务中优于单独等变模型。
2026-03-19 cs.LG
Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
等方差是一个很好的属性,因为它可以产生更具参数效率的神经架构,并通过特征映射保留输入的结构。即使变换的某些组合可能永远不会出现(例如,直立的脸与水平的鼻子),当前的等变架构在学习特征表示时会考虑变换组中所有可能的变换的集合。首先,人类视觉系统能够注意到环境中发生的一组相关变换,并利用这些信息来帮助和改进对象识别。基于这一观察,我们修改传统的等变特征映射,使他们能够参加的数据中的共现变换集,并推广这一概念,以作用于由多个对称性组成的组。我们表明,我们提出的共同关注等变神经网络始终优于传统的旋转等变和旋转和反射等变神经网络旋转MNIST和CIFAR-10。
2020-02-10 cs.CV cs.LG stat.ML
Latent Space Symmetry Discovery
UCSD(加州大学圣迭戈分校);IBM Research(IBM研究院);Northeastern University(东北大学)
针对现有对称性发现方法仅支持线性对称、无法应对复杂现实数据的问题,提出生成模型LaLiGAN,通过映射至潜空间将非线性对称线性化以发现对称,理论可证且实验中能准确发现高维动力系统内在对称,还可赋能下游任务。
2024-08-13 cs.LG
Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
KAIST(韩国科学技术院)
该研究提出概率对称化框架,用小型等变网络参数化对称化分布,结合任意基础模型端到端训练,实现架构无关的群等变性,在多对称群测试中性能媲美定制等变架构,还可跨模态预训练增强效果。
2024-04-13 cs.AI cs.LG
FAENet: Frame Averaging Equivariant GNN for Materials Modeling
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);Intel Labs(英特尔实验室);Université de Montréal(蒙特利尔大学);McGill Unversity(麦吉尔大学)
本文提出FAENet,一种基于随机帧平均的等变GNN,通过数据变换实现E(3)等变,无需架构约束,在材料与分子建模任务中展现高精度与可扩展性。
2023-04-28 cs.LG
Equivariant Frames and the Impossibility of Continuous Canonicalization
Technion(以色列理工学院);MIT(麻省理工学院);Texas A&M University(德克萨斯农工大学)
该研究从理论上证明常用群下无加权框架平均无法保持函数连续性,定义并构建可证明保持连续性的加权框架,还针对点云的几类群作用实现了高效连续的加权框架,为概率框架的经验优势提供了理论支撑。
2024-06-18 cs.LG
Group Averaging for Physics Applications: Accuracy Improvements at Zero Training Cost
Center for Cosmology and Particle Physics(宇宙与粒子物理中心);Department of Physics(物理系);New York University(纽约大学);Department of Applied Mathematics & Statistics and Mathematical Institute for Data Science(应用数学与统计系及数据科学数学研究所);Johns Hopkins University(约翰霍普金斯大学)
本文提出通过群平均技术在零训练成本下提升物理应用中模型的预测精度,实验表明该方法能有效降低评估损失并改善连续动态预测效果。
2025-11-11 cs.LG stat.ML
MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning
UvA-Bosch Deltalab(阿姆斯特丹大学-博世三角洲实验室);University of Amsterdam(阿姆斯特丹大学);Philips Lab(飞利浦实验室);Delft University of Technology(代尔夫特理工大学)
本文介绍了用于深度强化学习的MDP同态网络。MDP同态网络是在MDP的联合状态-动作空间中的对称性下等变的神经网络。目前的深度强化学习方法通常不利用关于这种结构的知识。通过使用等方差约束将这些先验知识构建到策略和价值网络中,我们可以减小解空间的大小。我们特别关注群结构对称性(可逆变换)。此外,我们介绍了一种简单的方法,用于构造等变网络层的数值,所以系统设计者不需要解决的约束,通常是这样做的手。我们构造MDP同态MLP和CNN,它们在一组反射或旋转下是等变的。我们表明,这样的网络收敛速度比非结构化的基线CartPole,网格世界和乒乓球。
2021-01-20 cs.LG stat.ML
Self-Supervised Detection of Perfect and Partial Input-Dependent Symmetries
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);NVIDIA(英伟达)
本文提出一种自监督方法,无需标签即可检测每个输入所对应的完美或部分对称性水平,适用于连续与离散对称分布,并在合成数据上验证了其检测分布外对称性的能力。
2024-07-03 cs.CV cs.LG
Equivariant Mesh Attention Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Imperial College London(帝国理工学院);Qualcomm AI Research(高通人工智能研究院)
对称性的等变性已被证明是深度学习研究中的一个强大的归纳偏差。最近的工作网格处理集中在各种自然的对称性,包括平移,旋转,缩放,节点排列和规范变换。到目前为止,还没有一个现有的体系结构是所有这些转换的等价物。在本文中,我们提出了一个基于注意力的架构,网格数据,可证明是等变的上述所有转换。我们的管道依赖于使用相对切向特征:一个简单,有效,等方差友好的替代原始节点位置作为输入。FAUST和TOSCA数据集上的实验证实,我们提出的架构在这些基准测试中实现了更好的性能,并且确实是等变的,因此对各种局部/全局变换都是鲁棒的。
2022-08-27 cs.CV cs.LG stat.ML
A Canonicalization Perspective on Invariant and Equivariant Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);TUM(慕尼黑工业大学);MIT EECS(麻省理工学院电气工程与计算机科学系);Peking University(北京大学)
本研究提出规范化视角,揭示帧平均方法中帧与规范形式的内在联系,可用于比较帧复杂度、判定帧最优性,还设计出更优的特征向量帧,统一了等变与不变学习方法。
2024-11-04 cs.LG
Generalizing the Geometry of Model Merging Through Frechet Averages
Faculty of Computer Science, Dalhousie University(达尔豪斯大学计算机科学学院);Vector Insitute for Artificial Intelligence(向量人工智能研究所);Schulich School of Engineering, University of Calgary(卡莱尔大学谢尔奇工程学院);Department of Computer Science and Software Engineering, Concordia University(康科迪亚大学计算机科学与软件工程系);Mila - Quebec AI Institute(魁北克人工智能研究所)
本文提出通过弗雷歇平均实现对称感知的模型融合,探讨几何选择对模型相似性定义的影响,并分析低秩适配器的特定几何特性。
2026-05-07 cs.LG
AtlasD: Automatic Local Symmetry Discovery
University of California San Diego(加州大学圣地亚哥分校);IBM Research(IBM研究院);Northeastern University(东北大学)
针对现有对称性发现方法忽略局部邻域对称性的问题,本文提出AtlasD流程,将局部对称形式化为地图集等变,通过训练局部预测器并学习其等变的李群基发现局部对称群,可提升多类下游任务性能。
2025-06-13 cs.LG
Frame Averaging for Equivariant Shape Space Learning
NVIDIA(英伟达);Weizmann Institute of Science(魏茨曼科学研究所);University of Toronto(多伦多大学);Vector Institute(向量研究所)
形状空间学习的任务涉及将一组训练形状映射到具有良好泛化特性的潜在表示空间以及从具有良好泛化特性的潜在表示空间映射一组形状。通常,真实世界的形状集合具有对称性,这可以定义为不改变形状本质的变换。将对称性纳入形状空间学习的一种自然方法是要求到形状空间的映射(编码器)和从形状空间的映射(解码器)与相关对称性是等变的。在本文中,我们提出了一个框架,通过引入两个贡献,将等方差的编码器和解码器:(i)适应最近的帧平均(FA)框架,以建立通用的,高效的,最大限度地表达等变自编码器;和(ii)构建自编码器等变分段欧几里得运动应用于不同部分的形状。据我们所知,这是第一个完全分段欧几里得等变自编码器的建设。训练我们的框架很简单:它使用标准的重建损失,不需要引入新的损失。我们的架构是建立在标准(骨干)架构与适当的帧平均,使他们等变。在使用隐式神经表示的刚性形状数据集和使用基于网格的神经网络的铰接形状数据集上测试我们的框架,显示出对看不见的测试形状的最新概括,大幅提高了相关基线。特别是,我们的方法在推广到看不见的关节姿势方面表现出显着的改进。
2022-08-26 cs.CV cs.GR cs.LG
Group Crosscoders for Mechanistic Analysis of Symmetry
本研究提出群交叉编码器,通过在对称群下对变换输入做字典学习自动分析神经网络对称特征,在InceptionV1上验证了其特征聚类与对称性表征的优势,为机制可解释性提供新工具。
2024-11-01 cs.LG
Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments
School of Mechanical Engineering, Yonsei University, Seoul, South Korea(延世大学机械工程学院,首尔,韩国);Department of Artificial Intelligence, Yonsei University, Seoul, South Korea(延世大学人工智能系,首尔,韩国);Department of Mechanical Engineering, University of California, Berkeley, United States(加州大学伯克利分校机械工程系,美国)
本文提出部分等价强化学习框架,通过选择性应用群不变或标准贝尔曼备份,提升样本效率和泛化能力,适用于对称破坏环境的离散和连续控制任务。
2026-03-11 cs.LG cs.RO
Equivariant Latent Alignment via Flow Matching under Group Symmetries
University of Illinois Urbana-Champaign, Illinois, USA(伊利诺伊大学厄巴纳-香槟分校);Seoul National University, Seoul, Korea(首尔国立大学)
针对现有方法在潜在空间中存在的等变错位问题,提出基于流的残差潜在流框架,通过纠正错位潜在表示来增强旋转群SO(n)下的等变一致性,提升新视角合成质量。
2026-06-02 cs.CV cs.LG
Regular SE(3) Group Convolutions for Volumetric Medical Image Analysis
University of Amsterdam(阿姆斯特丹大学)
针对体医学图像的SE(3)等变性问题,提出可分离为连续SO(3)核与空间核的SE(3)群卷积方法,在医学分类任务上准确率较常规CNN最高提升16.5%,泛化能力更优。
2023-07-20 cs.AI cs.CV cs.LG
Equivariant Representation Learning via Class-Pose Decomposition
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(电气工程与计算机科学学院,皇家理工学院)
提出一种将潜在空间分解为不变因子和对称群的方法,利用相对对称信息监督学习等变表示,实现无损、可解释且解耦的表示,实验优于其他等变表示学习框架。
2026-06-15 cs.LG math.GR
Lie Algebra Canonicalization: Equivariant Neural Operators under arbitrary Lie Groups
University of Cambridge(剑桥大学);Harvard University(哈佛大学)
提出李代数规范化(LieLAC)方法,仅利用对称群无穷小生成元将输入转换为规范形式,使预训练模型在任意李群下实现等变性,成功应用于图像分类与PDE求解。
2025-03-04 cs.CV cs.LG cs.NA
Efficient and Equivariant Graph Networks for Predicting Quantum Hamiltonian
Texas A&M University(德克萨斯A&M大学)
针对量子哈密顿量预测中效率与等变性难以兼顾的问题,提出SE(3)-等变网络QHNet,通过架构创新大幅减少张量积并抑制通道维度膨胀,在MD17数据集上实现更快速度、更低内存且性能比肩现有最优方法。
2023-11-08 cs.LG physics.comp-ph
Learning Linear Groups in Neural Networks
Harvard University(哈佛大学);Amazon Web Services(亚马逊云科技)
本文提出线性群网络(LGNs),无需先验对称性知识即可从数据中学习作用于权重空间的线性群,并证明其结构依赖于数据分布和下游任务。
2023-05-29 cs.LG cs.NE
Group Equivariant Fourier Neural Operators for Partial Differential Equations
Texas A&M University(德克萨斯农工大学)
本文提出$G$-FNO架构,通过将群卷积扩展至频域并利用傅里叶变换的等变性质,设计对旋转、平移和反射等变的傅里叶层,从而在求解偏微分方程时更好地编码对称性,提升跨分辨率的泛化能力。
2023-07-27 cs.LG cs.NA math.NA
On Making $\mathrm{SE}(2)$-Invariant Networks Optimal
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Max Planck Institute for Polymer Research(马克斯·普朗克聚合物研究所)
该研究基于经典不变量理论推导最优SE(2)不变特征图,提出即插即用模块实现SE(2)不变性,所得模型高效且精度优、计算成本低,还分析了等变性与不变性的关系。
2026-10-14 cs.AI cs.LG
Approximately Equivariant Quantum Neural Network for $p4m$ Group Symmetries in Images
European Organization for Nuclear Research (CERN)(欧洲核子研究中心(CERN));École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);European Space Agency(欧洲空间局)
本文提出等变量子卷积神经网络(EquivQCNNs),利用$p4m$群对称性(反射和90度旋转)作为归纳偏置,在二维伊辛模型相检测和扩展MNIST分类任务中,相比非等变模型提升了泛化性能。
2023-10-03 cs.AI cs.LG quant-ph