Stability Analysis of Equivariant Convolutional Representations Through The Lens of Equivariant Multi-layered CKNs
Arenberg Doctoral School, KU Leuven（阿雷堡博士学院，鲁汶大学）
本文构建并理论分析了群等变卷积核网络，通过再生核希尔伯特空间视角研究等变CNN的几何结构，并分析其在微分同胚下的稳定性，为设计鲁棒的等变表示学习模型提供理论依据。
2024-08-08 cs.LG
RotDCF: Decomposition of Convolutional Filters for Rotation-Equivariant Deep Networks
Duke University（杜克大学）
在深度特征中显式编码组动作使得卷积神经网络（CNN）能够处理图像的全局变形，这对于许多视觉任务的成功至关重要。本文提出了同时在空间和组几何结构上的联合可操纵基上分解卷积滤波器，即具有分解卷积滤波器的旋转等变CNN（RotDCF）。这种分解便于计算联合卷积，这被证明是必要的组等方差。它显着降低了模型的大小和计算复杂性，同时保持性能，和截断的基础扩展隐式正则化的过滤器。在涉及面内和面外对象旋转的数据集上，RotDCF深度特征比常规CNN表现出更强的鲁棒性和可解释性。的稳定性的等变表示输入变化的理论上也证明了一般假设下的过滤器的分解形式。RotDCF框架可以扩展到旋转以外的组，提供了一种通用的方法，可以在减小的模型大小下实现组等方差和表示稳定性。
2018-05-17 cs.CV cs.LG stat.ML
A tradeoff between universality of equivariant models and learnability of symmetries
我们证明了一个不可能的结果，这在功能学习的背景下说：在一定条件下，它是不可能同时学习对称性和功能下，他们使用一个由等变函数组成的一个anterior。为了形式化这个陈述，我们仔细研究了群和半群的近似概念。我们分析了某些神经网络家族是否满足不可能结果的条件：我们称之为“线性等变”网络和群卷积网络。关于线性等变网络，可以精确地说很多，这使得它们在理论上很有用。在实践方面，我们对群卷积神经网络的分析使我们能够将众所周知的"卷积就是你所需要的“定理推广到非齐次空间。我们还发现了群卷积和半群卷积之间的一个重要区别。
2022-10-17 cs.LG stat.ML
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Lattice gauge equivariant convolutional neural networks
TU Wien（维也纳工业大学）
我们提出格规范等变卷积神经网络（L-CNN）用于格规范理论问题的通用机器学习应用。这种网络结构的核心是一种新颖的卷积层，它在连续的双线性层中形成任意形状的威尔逊圈的同时保持了规范等方差。加上拓扑信息，例如来自Polyakov回路的信息，这样的网络原则上可以近似格点上的任何规范协变函数。我们证明了L-CNN可以学习和推广传统卷积神经网络无法找到的规范不变量。
2021-11-22 cs.LG hep-lat hep-ph
Convolutional layers are equivariant to discrete shifts but not continuous translations
Princeton University（普林斯顿大学）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）
本文澄清CNN卷积层仅对离散像素移位等变、不对连续平移等变，并建议规范术语以避免混淆。
2023-12-07 cs.CV cs.LG
Gauge Equivariant Convolutional Networks and the Icosahedral CNN
Qualcomm AI Research（高通人工智能研究院）；University of Amsterdam（阿姆斯特丹大学）
对称变换的等变性原理使神经网络架构设计成为一种有理论基础的方法。等变网络在表现对称性的视觉和医学成像问题上表现出出色的性能和数据效率。在这里，我们展示了如何将这一原则可以扩展到超越全球对称性的地方规范变换。这使得能够在流形上开发一种非常一般的卷积神经网络，这种网络只依赖于内在几何，并且包括来自等变和几何深度学习的许多流行方法。我们实现规范等变CNN上定义的二十面体，这提供了一个合理的近似球的表面上的信号。通过选择使用这个非常规则的流形，我们能够使用单个conv2d调用来实现规范等变卷积，使其成为球面CNN的高度可扩展和实用的替代方案。使用这种方法，我们表现出实质性的改进，在以前的方法上的任务分割全向图像和全球气候模式。
2019-05-13 cs.CV cs.LG cs.NE
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所）
基于神经网络（NN）和高斯过程（GP）之间的关系，目前机器学习（ML）领域出现了相当有前途的新趋势，包括许多相关的子主题，例如，神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络（CNN）的一个重要特征是它们关于输入数据的对称变换的等方差（一致性）。在这项工作中，我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程（GP）之间的关系。
2022-09-17 cs.AI cs.LG
Theoretical Aspects of Lie Groupoid and Lie Algebroid Equivariant Convolutional Neural Networks
Department of Mathematics, University of Manitoba（曼尼托巴大学数学系）
本文引入李群胚等变神经网络作为拓扑范畴等变神经网络在可微情形的特化，证明其与李代数胚等变神经网络的等价性，并推广了群不变全局池化。
2026-07-24 cs.LG math.CT math.DG
AdS-GNN -- a Conformally Equivariant Graph Neural Network
University of Amsterdam（阿姆斯特丹大学）；Durham University（杜伦大学）
该研究提出共形等变图神经网络AdS-GNN，通过将欧氏空间数据提升至AdS空间利用共形与等距变换的对应关系，结合固有距离条件的消息传递层构建高效框架，在多领域任务中展现优异性能与共形数据提取能力。
2025-05-19 cs.AI cs.LG hep-th
Resource-efficient equivariant quantum convolutional neural networks
Quantum Laboratory, Fujitsu Research, Fujitsu Limited（富士通实验室、富士通研究、富士通有限公司）
本文提出了一种资源高效的等价量子卷积神经网络模型，通过群论方法编码一般对称性，提升测量效率和训练性能，在噪声量子分类任务中减少了测量资源需求。
2026-04-17 cs.LG quant-ph
A rotation-equivariant convolutional neural network model of primary visual cortex
Center for Neuroscience and Artificial Intelligence, BCM（贝勒医学院神经科学与人工智能中心）；Baylor College of Medicine（贝勒医学院）；University of Tübingen（图宾根大学）；Bernstein Center for Computational Neuroscience, University of Tübingen（图宾根大学伯恩斯坦计算神经科学中心）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；Rice University（莱斯大学）
经典模型将初级视觉皮层（V1）描述为方向选择线性-非线性（LN）或能量模型的滤波器组，但这些模型不能准确预测神经对自然刺激的反应。最近的研究表明，基于卷积神经网络（CNN）的模型可以实现更准确的预测，但目前还不清楚V1神经元除了方向选择性和相位不变性之外还提取了哪些特征。在这里，我们通过将神经元分类为执行类似计算的组来系统地研究V1计算。我们提出了一个框架，以确定共同的功能，独立于个别神经元的方向选择性，通过使用旋转等变卷积神经网络，自动提取每个功能在多个不同的方向。我们拟合这个模型的6000个神经元的人口自然图像记录在小鼠初级视觉皮层使用双光子成像的反应。我们表明，我们的旋转等变网络不仅优于具有相同数量特征图的常规CNN，而且还揭示了许多V1神经元共享的一些共同特征，这些特征偏离了V1作为一组Gabor滤波器的典型教科书思想。我们的研究结果是一个强大的新工具，研究V1的非线性计算的第一步。
2018-09-27 cs.LG q-bio.NC stat.ML
Learnable Polyphase Sampling for Shift Invariant and Equivariant Convolutional Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
我们提出了可学习的多相采样（LPS），这是一对可学习的下/上采样层，可以实现真正的平移不变和等变卷积网络。LPS可以从数据进行端到端的训练，并推广现有的手工下采样层。它具有广泛的适用性，因为它可以通过替换下采样/上采样层集成到任何卷积网络中。我们评估LPS的图像分类和语义分割。实验表明，LPS在性能和移位一致性方面与现有方法相当或优于现有方法。我们第一次在语义分割（PASCAL VOC）上实现了真正的平移等方差，即，100%的移位一致性，绝对超过基线3.3%。
2022-10-14 cs.AI cs.CV cs.LG
Universal Approximation Theorem for Equivariant Maps by Group CNNs
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
群对称性在各种各样的数据分布中是固有的。保持对称性的数据处理被描述为等变映射，并且通常在实现高性能方面有效。卷积神经网络（CNN）被认为是具有等变的模型，并被证明可以近似于某些特定群体的等变映射。然而，CNN的通用近似定理已经根据每个组和设置使用单独的技术分别推导出来。本文提供了一个统一的方法，以获得通用的逼近定理等变映射的CNN在各种设置。作为其显著的优点，我们可以处理非紧群的无限维空间之间的非线性等变映射。
2020-12-27 cs.LG stat.ML
Pixel-Translation-Equivariant Quantum Convolutional Neural Networks via Fourier Multiplexers
School of Physics and Engineering, ITMO University, St. Petersburg, Russia（物理与工程学院，ITMO大学，圣彼得堡，俄罗斯）
本文提出了一种基于傅里叶多路复用器的像素平移等变量子卷积神经网络，通过构造与编码诱导的像素循环平移对称性相容的量子卷积层，解决了传统量子卷积神经网络在平移等变性上的不匹配问题。
2026-04-27 cs.LG quant-ph
Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
由于深度卷积网络的巨大成功，人们对将卷积推广到非欧几里得流形有很大的兴趣。与平坦空间相比，一个主要的复杂性是不清楚卷积核应该应用于流形上的哪个对齐。这种模糊性的根本原因是一般流形没有一个规范的参考系（规范）选择。因此，核和特征必须相对于任意坐标来表示。我们认为，协调的特定选择不应该影响网络的推理-它应该是坐标独立的。坐标独立性和权重共享的同时需求示出在网络上的要求是等变的局部规范变换（局部参考系的变化）。因此，参考系的不确定性取决于流形的G-结构，使得规范等方差的必要水平由相应的结构群G规定。证明了坐标无关卷积是等变的。这些等距是G结构的对称性。由此产生的理论制定在一个坐标自由的方式在纤维束。为了验证坐标独立卷积的设计，我们在莫比乌斯带上实现了一个卷积网络。我们卷积网络的微分几何公式的一般性通过广泛的文献综述来证明，该文献综述解释了大量的欧几里得CNN，球形CNN和一般表面上的CNN作为坐标独立卷积的具体实例。
2021-06-10 cs.CG cs.CV cs.LG
Equivariant neural networks for inverse problems
NTNU（挪威科技大学）；University of Bath（巴斯大学）；University of Cambridge（剑桥大学）
近年来，在神经网络中使用卷积层来编码归纳偏差（平移等方差）已被证明是一个非常富有成效的想法。这种方法的成功激发了一系列研究，将其他对称性纳入深度学习方法，以组等变卷积神经网络的形式。这项工作的大部分集中在旋转平移对称的$\mathbf R^d$，但其他的例子是缩放对称的$\mathbf R^d$和旋转对称的球。在这项工作中，我们证明了群等变卷积运算可以自然地融入到由变分正则化方法驱动的逆问题的学习重建方法中。事实上，如果正则化泛函在群对称下是不变的，则相应的邻近算子将满足关于相同群对称的等方差性质。由于这一观察结果，我们设计了学习迭代法，其中邻近算子被建模为组等变卷积神经网络。我们使用的方法，并将其应用到低剂量的计算机断层扫描重建和子采样的磁共振成像重建的问题的旋转-旋转等变运算。所提出的方法被证明可以提高学习重建方法的重建质量，在训练时具有一点额外的计算成本，但在测试时没有任何额外的成本。
2021-02-23 cs.LG
3D Steerable CNNs: Learning Rotationally Equivariant Features in Volumetric Data
University of Amsterdam（阿姆斯特丹大学）；EPFL（洛桑联邦理工学院）；CIFAR（加拿大高等研究院）；Qualcomm AI Research（高通人工智能研究院）；University of Copenhagen（哥本哈根大学）
我们提出了一个与刚体运动等变的卷积网络。该模型使用3D欧几里得空间上的标量场、向量场和张量场来表示数据，并使用等变卷积来在这些表示之间进行映射。这些SE（3）-等变卷积利用的核被参数化为一个完整的可操纵核基的线性组合，这是本文解析推导的。我们证明了等变卷积是R^3上域之间最一般的等变线性映射。我们的实验结果证实了3D Steerable CNN对于氨基酸倾向预测和蛋白质结构分类问题的有效性，这两者都具有固有的SE（3）对称性。
2018-10-27 cs.LG stat.ML
Scale-Equivariant Steerable Networks
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
卷积神经网络（CNN）的有效性主要归因于其内在的平移等变性。然而，CNN没有嵌入式机制来处理其他类型的转换。在这项工作中，我们注意到规模的变化，经常出现在各种任务，由于对象和相机之间的距离变化。首先，我们介绍了用可操纵滤波器构建尺度等变卷积网络的一般理论。我们开发了尺度卷积，并将其他常见的块推广为尺度等变的。我们证明了所提出的方法的计算效率和数值稳定性。我们比较所提出的模型，以前开发的方法规模等变性和局部尺度不变性。我们在监督学习环境中展示了MNIST规模数据集和STL-10数据集的最新结果。
2020-02-06 cs.CV cs.LG stat.ML
Scale-Equivariant Deep Learning for 3D Data
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Friedrich-Alexander University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出三维尺度等变卷积层并构建尺度等变U-Net，用于医学图像分割，通过免除逐尺度学习提升三维CNN的性能与数据效率。
2023-04-12 cs.CV cs.LG
Equivariant graph convolutional neural networks for the representation of homogenized anisotropic microstructural mechanical response
Sandia National Laboratories（桑迪亚国家实验室）
针对微观结构材料本构建模问题，提出结合等变与张量基操作的图卷积神经网络架构，有效均匀化各向异性材料，并在随机体积元数据集上实现显著性能提升。
2024-04-05 cond-mat.mtrl-sci cs.LG
Why Are Convolutional Nets More Sample-Efficient than Fully-Connected Nets?
Princeton University（普林斯顿大学）；IAS（高等研究院）
卷积神经网络在泛化性能上通常优于全连接的神经网络，特别是在图像分类任务上。这通常被解释为“更好的归纳偏差”。然而，这在数学上并不严格，障碍在于全连接网络总是可以模拟卷积网络（对于固定任务）。因此，训练算法发挥了作用。目前的工作描述了一个自然的任务，可以证明样本的复杂性差距，标准的训练算法。我们在$\mathbb{R}^d\times\{\pm 1\}$上构建一个单一的自然分布，在该分布上，任何正交不变算法（即，使用高斯初始化中大多数基于梯度的方法训练的全连接网络）都需要$Ω(d^2)$样本来进行泛化，而$O(1)$样本足以用于卷积架构。此外，我们证明了一个单一的目标函数，学习，在所有可能的分布导致$O(1)$与$Ω(d^2/\varepsilon)$差距。证明依赖于全连通网络上的SGD是正交等变的。对于$\ell_2$回归和自适应训练算法，例如Adam和AdaGrad，也获得了类似的结果，它们只是置换等变的。
2021-05-04 cs.LG stat.ML
Modeling Dynamics over Meshes with Gauge Equivariant Nonlinear Message Passing
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
针对流形表面PDE建模中现有图神经网络缺乏几何信息、规范等变卷积与注意力网络难以处理复杂非线性动力学的问题，提出规范等变非线性消息传递架构并明确其优势场景。
2023-11-03 cs.LG
The role of data embedding in equivariant quantum convolutional neural networks
Istituto Nazionale di Ottica del Consiglio Nazionale delle Ricerche (CNR-INO)（国家光学研究所（国家研究委员会光学研究所））；University of Florence（佛罗伦萨大学）；European Laboratory for Non-Linear Spectroscopy (LENS)（欧洲非线性光谱实验室）
本研究探讨了经典到量子嵌入对等变量子卷积神经网络（EQCNNs）在图像分类中性能的影响，分析了嵌入方法与对称群表示的关系，并通过数值实验比较了不同嵌入下EQCNN与非等变QCNN的分类精度，揭示了嵌入选择对模型性能的关键作用。
2024-01-27 cs.CV cs.ET cs.LG
Machine learning a fixed point action for SU(3) gauge theory with a gauge equivariant convolutional neural network
University of the Pacific（太平洋大学）；Institute for Theoretical Physics, TU Wien（维也纳技术大学理论物理研究所）；Institute for Theoretical Physics, University of Bern（伯尔尼大学理论物理研究所）
本文利用具有精确规范不变性的卷积神经网络为四维 SU(3) 规范理论构造固定点作用量，通过大算子空间获得优于以往研究的参数化，为未来蒙特卡洛模拟和标度研究奠定基础。
2024-10-02 cs.LG hep-lat hep-ph
What is an equivariant neural network?
University of Chicago（芝加哥大学）
我们解释了等变神经网络，这是机器学习的一个基本突破，从用于计算机视觉的深度卷积神经网络到用于蛋白质结构预测的AlphaFold 2，而无需假设等变或神经网络的知识。基本的数学思想很简单，但往往被工程复杂性所掩盖，而工程复杂性又伴随着实际的实现。我们提取并专注于数学方面，并限制自己在最后粗略处理工程问题。
2022-11-16 cs.LG math.RT stat.ML
Geometric Hyena Networks for Large-scale Equivariant Learning
Johnson and Johnson Innovative Medicine（强生创新制药）
针对大规模等变学习中计算复杂度高且易丢失全局信息的问题，提出首个等变长卷积模型Geometric Hyena，以亚二次复杂度捕获全局几何上下文并保持等变性，在大幅降低内存和计算开销的同时显著提升了处理速度与上下文长度。
2025-05-28 cs.LG
Equivariant geometric learning for digital rock physics: estimating formation factor and effective permeability tensors from Morse graph
Stony Brook University（石溪大学）；Halicioglu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校哈利西奥格鲁数据科学研究所）；Columbia University（哥伦比亚大学）
提出了一种SE（3）-等变图神经网络（GNN）方法，直接从微观CT图像预测地层系数和有效渗透率。建立FFT求解器来计算地层因素和有效渗透率，而孔隙空间的拓扑结构和几何形状由基于持久性的Morse图表示。它们共同构成了用于训练、验证和测试神经网络的数据库。虽然图和欧几里得卷积方法都采用神经网络来生成低维潜在空间来表示用于前向预测的微结构的特征，但发现SE（3）等变神经网络可以生成更准确的预测，特别是当训练数据有限时。数值实验还表明，新的SE（3）方法导致满足材料框架无差异的预测，而经典卷积神经网络（CNN）的预测可能会受到对训练数据的坐标系的虚假依赖。从训练CNN推断出的预测与从具有和不具有等变约束的图卷积神经网络（GNN）推断出的预测之间的比较表明，等变图神经网络似乎比CNN和GNN在不强制等变约束的情况下表现得更好。
2021-10-12 cs.LG physics.geo-ph
Angle-Equivariant Convolutional Neural Networks for Interference Mitigation in Automotive Radar
Graz University of Technology（格拉茨技术大学）；Infineon Technologies AG（英飞凌科技股份公司）
本文提出一种基于秩三卷积的全卷积神经网络，用于汽车FMCW雷达干扰抑制，通过角度等变设计在不同到达角之间迁移学习模式，在提升性能的同时减少可训练参数并增强鲁棒性。
2023-12-18 cs.LG eess.SP
Permutation-equivariant quantum convolutional neural networks
Istituto Nazionale di Ottica del Consiglio Nazionale delle Ricerche (CNR-INO)（意大利国家光学研究所（国家研究委员会光学研究所））；University of Florence（佛罗伦萨大学）；European Laboratory for Non-Linear Spectroscopy (LENS)（欧洲非线性光谱实验室）
借助几何量子机器学习，本文提出了遵循对称群及其子群的等变量子卷积神经网络架构，通过优化像素到量子比特的嵌入顺序及引入dropout策略，在图像与图分类任务中显著提升了性能。
2024-04-28 cs.AI cs.CV cs.LG
Automatic Symmetry Discovery with Lie Algebra Convolutional Network
Northwestern University（西北大学）；Northeastern University（东北大学）；University of California San Diego（加州大学圣地亚哥分校）
现有的等变神经网络需要对称群的先验知识和连续群的离散化。我们建议使用李代数（无穷小生成元）而不是李群。我们的模型，李代数卷积网络（L-conv）可以自动发现对称性，并且不需要离散化组。我们表明，L-conv可以作为一个积木来构建任何组等变前馈架构。CNN和图卷积网络都可以用适当的群表示为L-conv。我们发现了L-conv与物理学的直接联系：（1）群不变损失推广了场论;（2）Euler-Lagrange方程度量了鲁棒性;（3）等变导致守恒律和Noether流，这些联系为设计更一般的等变网络并将其应用于物理科学中的重要问题开辟了新的途径
2021-11-01 cs.AI cs.LG math.GR
Group-Equivariant Poincaré Convolutional Networks
School of Computing Sciences, University of East Anglia（东安格利亚大学计算机科学学院）；Department of Physics and Technology, UiT The Arctic University of Norway（北极大学挪威分校物理与技术系）
针对庞加莱ResNet优化困难及标准双曲网络无法处理空间变换等变性的问题，提出结合双曲几何与离散对称群的等变庞加莱ResNet，通过几何安全的张量重塑、左正则置换和联合定向批归一化，实现边界约束下的快速收敛和空间群等变性。
2026-08-25 cs.AI cs.LG
Lattice gauge symmetry in neural networks
TU Wien（维也纳工业大学）
我们回顾了一种新的神经网络架构，称为格规范等变卷积神经网络（L-CNN），它可以应用于格点规范理论中的通用机器学习问题，同时精确地保持规范对称性。我们讨论了规范等变的概念，我们使用它来显式地构建规范等变卷积层和双线性层。使用看似简单的非线性回归任务比较了L-CNN和非等变CNN的性能，其中L-CNN表现出泛化能力，并且与非等变对应物相比，其预测精度较高。
2021-11-08 cs.LG hep-lat hep-ph
Geometric Deep Learning and Equivariant Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）；Gothenburg University（哥德堡大学）；Umeå University（于默奥大学）；Zenseact
我们概述了几何深度学习的数学基础，重点是群等变和规范等变神经网络。我们开发了任意流形$\mathcal{M}$上的规范等变卷积神经网络，使用具有结构群$K$的主丛和相关向量丛的部分之间的等变映射。我们还讨论了群等变神经网络的齐性空间$\mathcal{M}=G/K$，而不是等变的整体对称性$G$ $\mathcal{M}$。群等变层可以被解释为$G$的诱导表示之间的交织，我们展示了它们与规范等变卷积层的关系。我们分析了这种形式主义的几个应用，包括语义分割和对象检测网络。我们还详细讨论了球形网络的情况，对应于$\mathcal{M}=S^2=\mathrm{SO}(3)/\mathrm{SO}(2)$的情况。在这里，我们强调使用傅立叶分析，包括Wigner矩阵，球谐函数和Clebsch-Gordan系数用于$G=\mathrm{SO}(3)$，说明表示理论在深度学习中的作用。
2021-05-28 cs.CV cs.LG hep-th
Intertwiners between Induced Representations (with Applications to the Theory of Equivariant Neural Networks)
Qualcomm Research, Qualcomm Technologies Netherlands B.V.（高通研究，高通技术荷兰有限公司）；EPFL（洛桑联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）
组等变和可操纵卷积神经网络（规则和可操纵G-CNN）最近已经成为一种非常有效的模型类，用于从信号数据（如2D和3D图像，视频和其他存在对称性的数据）中学习。在几何术语中，常规G-CNN用标量场（“特征通道”）表示数据，而可操纵G-CNN也可以使用向量或张量场（“胶囊”）来表示数据。在代数术语中，正则G-CNN中的特征空间根据群G的正则表示进行变换，而可操纵G-CNN中的特征空间根据G的更一般的诱导表示进行变换。为了使网络等变，G-CNN中的每一层都需要在与其输入和输出空间相关联的诱导表示之间插入。在本文中，我们提出了G-CNN在齐次空间（如欧氏空间或球体）上的一般数学框架。我们使用初等方法证明，当且仅当输入和输出特征空间根据诱导表示进行变换时，等变网络的层是卷积的。这一结果是由G.W. Mackey关于诱导表示的抽象理论，将G-CNN建立为一类通用的等变网络架构，并推广了Kondor和Trivedi最近关于正则表示之间的交织的重要工作。
2018-03-30 cs.CV cs.LG stat.ML
Group Equivariant Deep Reinforcement Learning
Mcgill University（麦吉尔大学）
在强化学习（RL）中，卷积神经网络（CNN）已成功地用作深度Q-学习算法中的函数逼近器，深度Q-学习算法寻求学习各种环境中的动作价值函数和策略。然而，到目前为止，有很少的工作学习的输入环境状态的变换等变表示。在本文中，我们提出使用等变CNN来训练RL代理，并研究它们的感应偏置变换等变Q值近似。我们证明，等变架构可以显着提高性能和样本效率的RL代理在一个高度对称的环境中，同时需要更少的参数。此外，我们表明，他们是强大的仿射变换所造成的环境变化。
2020-07-01 cs.AI cs.LG stat.ML
Equivariant neural networks and equivarification
School of Mathematics, University of Minnesota, Minneapolis, MN 55455（数学系，明尼苏达大学，明尼阿波利斯，MN 55455）
本文针对等变神经网络的构建问题，提出可将普通神经网络修改为等变网络的通用等变化方法，并证明G-CNNs是该框架的特例。
2025-11-18 cs.CV cs.LG stat.ML
Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；University of Amsterdam（阿姆斯特丹大学）
在网格上定义卷积的常用方法是将它们解释为图并应用图卷积网络（GCN）。这种GCN利用各向同性核，因此对顶点的相对取向不敏感，从而对网格的几何形状不敏感。我们提出了规范等变网格CNN，它将GCN推广到应用各向异性规范等变核。由于产生的功能进行方向信息，我们引入了一个几何消息传递计划定义的并行传输功能网格边缘。我们的实验验证了显着改善的表现力，所提出的模型比传统的GCN和其他方法。
2021-11-19 cs.CV cs.LG stat.ML
Application of Spherical Convolutional Neural Networks to Image Reconstruction and Denoising in Nuclear Medicine
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of British Columbia（不列颠哥伦比亚大学）
本研究将等变球面卷积神经网络（SCNNs）应用于核医学图像重建与去噪，解决了传统CNNs依赖大量训练数据的问题，在降低计算成本的同时提升了处理质量并减少了对训练集的依赖。
2025-01-30 cs.LG eess.IV physics.med-ph
PDE-based Group Equivariant Convolutional Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个基于偏微分方程的框架，推广组等变卷积神经网络（G-CNN）。在这个框架中，网络层被视为一组PDE求解器，其中几何上有意义的PDE系数成为层的可训练权重。在齐次空间上制定我们的偏微分方程允许这些网络设计有内置的对称性，例如除了CNN的标准平移等方差之外的旋转。在设计中包含所有所需的对称性消除了通过诸如数据增强之类的昂贵技术来包含它们的需要。我们将在一般的齐次空间设置中讨论我们基于PDE的G-CNN（PDE-G-CNN），同时还将讨论我们感兴趣的主要情况的细节：旋转平移等方差。我们解决了PDE的利益相结合的线性群卷积和非线性形态群卷积与分析核近似，我们支持正式定理。我们的内核近似允许快速通过GPU实现偏微分方程求解器，我们以PyTorch的LieTorch扩展的形式在本文中发布了我们的实现，可在https://gitlab.com/bsmetsjr/lietorch上获取。就像线性卷积一样，形态卷积由我们在PDE-G-CNN中训练的内核指定。在PDE-G-CNN中，我们不使用非线性，如最大/最小池和ReLU，因为它们已经被形态卷积所包含。我们提出了一组实验来证明所提出的PDE-G-CNN在提高基于深度学习的成像应用的性能方面的优势，其参数远少于传统CNN。
2022-05-30 cs.CV cs.LG math.DG
Mathematical Foundation of Interpretable Equivariant Surrogate Models
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学院）
本文提出了一个基于群等变非扩张算子（GENEOs）的群等变算子（GEOs）严格数学框架，通过测量特定图表的非交换性量化算子距离，并基于用户自定义复杂度度量定义可解释性，展示了其在卷积神经网络图像分类等经典场景中的应用。
2025-03-03 cs.AI cs.LG stat.ML
DeepNose: An Equivariant Convolutional Neural Network Predictive Of Human Olfactory Percepts
Cold Spring Harbor Laboratory（冷泉港实验室）
本研究提出等变卷积神经网络DeepNose，以3D分子形状为基础预测人类嗅觉感知，可识别气味相关分子特征、区分立体异构体感知差异并推断混合气味品质。
2024-12-11 cond-mat.dis-nn cs.LG cs.NE
VolterraNet: A higher order convolutional network with group equivariance for homogeneous manifolds
FaceBook（脸书）；University of California, Berkeley（加州大学伯克利分校）；University of Florida（佛罗里达大学）
卷积神经网络由于其平移等方差特性，在基于图像的学习任务中获得了高度成功。最近的工作已经将传统的卷积神经网络的卷积层推广到非欧空间，并显示了广义卷积运算的组等变性。在本文中，我们提出了一种新的高阶Volterra卷积神经网络（VolterraNet）的数据定义为样本的函数在黎曼齐性空间。类似于传统卷积的结果，我们证明了Volterra函数卷积与黎曼齐性空间中等距群的作用是等变的，并且在一定的限制条件下，任何非线性等变函数都可以表示为齐性空间Volterra卷积，推广了欧氏空间中Volterra展开式的非线性移位等变特征.我们还证明了二阶函数卷积运算可以表示为级联卷积，这导致了一个有效的实现。除此之外，我们还提出了一个扩展的VolterraNet模型。这些进步导致相对于基线非欧几里德CNN的参数大幅减少。为了证明VolterraNet性能的有效性，我们提出了几个真实的数据实验，涉及球形MNIST，原子能，Shrec17数据集的分类任务，以及扩散MRI数据的组测试。性能比较的国家的最先进的。
2021-06-05 cs.CV cs.LG
Equivariant Filters for Efficient Tracking in 3D Imaging
Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Boston Children’s Hospital（波士顿儿童医院）
我们展示了一种具有固定计算成本和最先进性能的3D图像对象跟踪方法。以前的方法从卷积层预测变换参数。相反，我们提出了一种架构，该架构不包括卷积特征的平坦化或完全连接的层，而是依赖于等变滤波器来保留输入和输出之间的变换（例如rot./输入旋转/平移输出）。然后从过滤器的输出以封闭形式导出变换。这种方法对于需要低延迟的应用程序（如实时跟踪）非常有用。我们在合成增强成人脑MRI以及胎儿脑MRI上展示了我们的模型，这是预期的用例。
2021-09-27 cs.CV cs.LG q-bio.QM
Speeding up Learning Quantum States through Group Equivariant Convolutional Quantum Ansätze
The University of Chicago（芝加哥大学）；University of Cambridge（剑桥大学）；Flatiron Institute（弗拉特里恩研究所）
本文提出了具有 SU(d) 对称性的 Sn 等变卷积量子交替拟设（Sn-CQA），利用 Okounkov-Vershik 方法证明其通用性，并展示其在寻找反铁磁海森堡模型基态能量上的有效性。
2023-09-14 cs.AI cs.LG math-ph
Probing Equivariance and Symmetry Breaking in Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；New Theory AI；UC, Berkeley（加州大学伯克利分校）
本文通过理论分析与实证研究，引入统一的群卷积架构Rapidash，探究了等变性与对称性破缺在卷积网络中的权衡，发现与任务几何对齐的等变模型及显式对称性破缺能显著提升性能，为模型选择提供了更细致的依据。
2025-06-02 cs.AI cs.CV cs.LG
H-Packer: Holographic Rotationally Equivariant Convolutional Neural Network for Protein Side-Chain Packing
University of Washington（华盛顿大学）；Fred Hutch Cancer Research Center（弗雷德·哈钦森癌症研究中心）
本文提出H-Packer，一种基于轻量级旋转等变神经网络的两阶段算法，将蛋白质侧链包装建模为二面角χ角的联合回归，在CASP13/14上表现出高效且有竞争力的性能。
2023-11-28 cs.AI cs.LG q-bio.BM
A Wigner-Eckart Theorem for Group Equivariant Convolution Kernels
University of Amsterdam（阿姆斯特丹大学）
组等变卷积网络（GCNN）赋予经典卷积网络额外的对称先验，这可以大大提高性能。GCNN理论描述的最新进展表明，这种模型通常可以被理解为使用G-可操纵内核（即满足等方差约束的内核）执行卷积。虽然G-可操纵性约束已经被推导出来，但到目前为止，它只在特定的用例中得到了解决-G-可操纵核空间的一般特征仍然缺失。这项工作提供了这样一个特性的实际相关的情况下，G是任何紧群。我们的调查是出于一个惊人的类比之间的约束基础可控内核一方面和球面张量算子从量子力学的另一方面。通过推广著名的球面张量算子的Wigner-Eckart定理，我们证明了可操纵核空间是完全理解和参数化的：1）广义约化矩阵元，2）Clebsch-Gordan系数，3）齐性空间上的调和基函数。
2021-01-21 cs.CV cs.LG
SnCQA: A hardware-efficient equivariant quantum convolutional circuit architecture
The University of Chicago（芝加哥大学）；qBraid Co.（qBraid公司）；Chicago Quantum Exchange（芝加哥量子交易所）；Kadanoff Center for Theoretical Physics（卡多诺夫理论物理中心）
该研究提出硬件高效的等变量子卷积电路架构SnCQA，利用置换与晶格对称性适配相关机器学习问题，在量子化学基态学习等任务中以更少参数实现媲美传统方法的性能，且更具可扩展性、准确性与抗噪性。
2023-09-22 cs.AI cs.AR cs.LG
Implicit Convolutional Kernels for Steerable CNNs
University of Amsterdam（阿姆斯特丹大学）；Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Qualcomm AI Research（高通人工智能研究院）
本文提出用隐式神经表示（MLP）参数化G-可操控核，使可操控CNN能灵活推广到任意可构建等变MLP的群，并在N体模拟、点云分类和分子性质预测等任务上验证了有效性。
2023-10-27 cs.AI cs.CV cs.LG
A General Theory of Equivariant CNNs on Homogeneous Spaces
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies Netherlands B.V.（高通科技荷兰有限公司）；EPFL（洛桑联邦理工学院）；U. of Amsterdam（阿姆斯特丹大学）
我们提出了一个一般的理论，群等变卷积神经网络（G-CNNs）的齐次空间，如欧氏空间和球。这些网络中的特征映射表示齐次基空间上的场，层是场空间之间的等变映射。该理论能够根据对称群、基空间和场类型对所有现有的G-CNN进行系统分类。我们还考虑了一个基本问题：什么是最一般的一种等变线性映射之间的特征空间（字段）的给定类型？在麦基之后，我们证明了这种映射与使用等变核的卷积一一对应，并描述了这种核的空间。
2020-01-09 cs.AI cs.CG cs.CV
Improved Vessel Segmentation with Symmetric Rotation-Equivariant U-Net
Yale University（耶鲁大学）
针对现有CNN血管分割忽略旋转等变导致性能下降的问题，提出将高效对称旋转等变卷积核应用于U-Net，在减小模型规模的同时提升旋转图像分割性能，并超越现有等变方法。
2025-01-24 cs.CV cs.LG eess.IV
Equivariant neural networks for recovery of Hadamard matrices
Inductiva Research Labs（Inductiva Research Labs（Inductiva研究实验室））
我们提出了一个消息传递神经网络架构设计成等变的列和行排列的矩阵。我们说明了它的优势，传统的架构，如多层感知器（MLP），卷积神经网络（CNN），甚至Transformers，在组合优化任务恢复一组删除的条目的阿达玛矩阵。我们认为，这是几何深度学习原理在基础数学中的强大应用，也是使用机器学习技术对阿达玛猜想进行更多深入了解的潜在垫脚石。
2022-01-31 cs.DM cs.LG
Moment kernels: a simple and scalable approach for equivariance to rotations and reflections in deep convolutional networks
Department of Computational Medicine University of California, Los Angeles（计算医学系 加州大学洛杉矶分校）
本文提出矩核，一种简单可扩展的正交变换等变卷积核，在生物医学图像任务中提升方向一致性，避免群卷积的方向通道扩展，适配标准CNN工作流程。
2026-08-03 cs.CV cs.LG
