Scale-Equivariant Steerable Networks
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学)
卷积神经网络(CNN)的有效性主要归因于其内在的平移等变性。然而,CNN没有嵌入式机制来处理其他类型的转换。在这项工作中,我们注意到规模的变化,经常出现在各种任务,由于对象和相机之间的距离变化。首先,我们介绍了用可操纵滤波器构建尺度等变卷积网络的一般理论。我们开发了尺度卷积,并将其他常见的块推广为尺度等变的。我们证明了所提出的方法的计算效率和数值稳定性。我们比较所提出的模型,以前开发的方法规模等变性和局部尺度不变性。我们在监督学习环境中展示了MNIST规模数据集和STL-10数据集的最新结果。
2020-02-06 cs.CV cs.LG stat.ML
Leveraging SO(3)-steerable convolutions for pose-robust semantic segmentation in 3D medical data
Support Center for Advanced Neuroimaging (SCAN), University Institute of Diagnostic and Interventional Neuroradiology, University of Bern, Inselspital, Bern University Hospital(高级神经影像支持中心(SCAN)、伯尔尼大学诊断与介入神经放射学研究所、伯尔尼大学、因塞尔斯皮塔尔医院、伯尔尼大学医院);NVIDIA(英伟达)
针对医学图像分割网络多依赖标准卷积、姿态鲁棒性不足的问题,提出基于球谐函数等变体素卷积的分割网络,无需旋转数据增强,在脑MRI分割任务中性能、小数据鲁棒性和参数效率均更优。
2024-05-17 cs.CV cs.LG eess.IV
3D Steerable CNNs: Learning Rotationally Equivariant Features in Volumetric Data
University of Amsterdam(阿姆斯特丹大学);EPFL(洛桑联邦理工学院);CIFAR(加拿大高等研究院);Qualcomm AI Research(高通人工智能研究院);University of Copenhagen(哥本哈根大学)
我们提出了一个与刚体运动等变的卷积网络。该模型使用3D欧几里得空间上的标量场、向量场和张量场来表示数据,并使用等变卷积来在这些表示之间进行映射。这些SE(3)-等变卷积利用的核被参数化为一个完整的可操纵核基的线性组合,这是本文解析推导的。我们证明了等变卷积是R^3上域之间最一般的等变线性映射。我们的实验结果证实了3D Steerable CNN对于氨基酸倾向预测和蛋白质结构分类问题的有效性,这两者都具有固有的SE(3)对称性。
2018-10-27 cs.LG stat.ML
Integrating Symmetry into Differentiable Planning with Steerable Convolutions
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机学院)
该研究将群对称性引入端到端可微规划,证明值迭代是可导向卷积等变算子,基于VIN用可导向卷积实现对称规划,在四类任务上较VIN、GPPN显著提升训练效率与泛化性。
2023-05-01 cs.AI cs.LG cs.RO
Bayesian 3D Steerable CNNs: Enabling Equivariance and Uncertainty Quantification Simultaneously
Michigan Technological University(密歇根理工大学);Johns Hopkins University(约翰霍普金斯大学);The Center for Artificial Intelligence at the Institute of Computing and Cybersystems, Michigan Technological University(密歇根理工大学计算与网络系统研究所人工智能中心)
提出贝叶斯可转向CNN,通过后验分布赋予核随机性同时保持SE(3)-等变性,实现不确定性分解,在分类精度和分布偏移下鲁棒性优于确定性模型。
2026-06-16 cs.AI cs.LG math.PR
A Wigner-Eckart Theorem for Group Equivariant Convolution Kernels
University of Amsterdam(阿姆斯特丹大学)
组等变卷积网络(GCNN)赋予经典卷积网络额外的对称先验,这可以大大提高性能。GCNN理论描述的最新进展表明,这种模型通常可以被理解为使用G-可操纵内核(即满足等方差约束的内核)执行卷积。虽然G-可操纵性约束已经被推导出来,但到目前为止,它只在特定的用例中得到了解决-G-可操纵核空间的一般特征仍然缺失。这项工作提供了这样一个特性的实际相关的情况下,G是任何紧群。我们的调查是出于一个惊人的类比之间的约束基础可控内核一方面和球面张量算子从量子力学的另一方面。通过推广著名的球面张量算子的Wigner-Eckart定理,我们证明了可操纵核空间是完全理解和参数化的:1)广义约化矩阵元,2)Clebsch-Gordan系数,3)齐性空间上的调和基函数。
2021-01-21 cs.CV cs.LG
Steerable 3D Spherical Neurons
Linköping University(林雪平大学)
从低级视觉理论中出现的可操纵滤波器在可操纵卷积神经网络等变到刚性变换的先前工作中找到了对应物。在我们的工作中,我们提出了一种基于可操纵前馈学习的方法,该方法由具有球形决策表面的神经元组成,并在点云上进行操作。这种球形神经元是通过欧氏空间的共形嵌入获得的,最近在学习点集表示的上下文中被重新审视。聚焦于3D几何,我们利用球形神经元的等距属性,并推导出3D可操纵性约束。在训练球形神经元在规范方向上对点云进行分类后,我们使用四面体基对神经元进行四倍化,并构造旋转等变球形滤波器组。然后,我们应用导出的约束插值滤波器组的输出,从而获得一个旋转不变的网络。最后,我们使用合成点集和真实世界的三维骨架数据来验证我们的理论研究结果。该代码可在https://github.com/pavlo-melnyk/steerable-3d-neurons上获得。
2022-06-14 cs.CV cs.LG
Fast Clifford Neural Layers
本文针对单核 CPU 优化 2/3 维 Clifford 卷积层与多向量激活层的推理,在较大数据与网络规模下比标准 PyTorch 实现快 30%,并开源代码。
2025-06-22 cs.AI cs.LG cs.NE
Learning Steerable Filters for Rotation Equivariant CNNs
University of Amsterdam(阿姆斯特丹大学);University of Heidelberg(海德堡大学)
在许多机器学习任务中,期望模型的预测在其输入的变换下以等变方式变换。卷积神经网络(CNN)通过构造实现平移等变;然而,对于其他变换,它们被迫学习正确的映射。在这项工作中,我们开发了可控滤波CNN(SFCNN),通过设计实现平移和旋转下的联合等方差。所提出的架构采用可操纵滤波器来有效地计算许多方向的依赖于方向的响应,而不会遭受来自滤波器旋转的插值伪影。我们利用群卷积,保证一个等变映射。此外,我们推广他的权重初始化计划的过滤器被定义为一个系统的原子过滤器的线性组合。数值实验表明,随着采样滤波器方向数量的增加,样本复杂度大幅提高,并确认网络在方向上概括了学习模式。所提出的方法在旋转MNIST基准和ISBI 2012 2D EM分割挑战上达到了最先进的水平。
2018-03-19 cs.CV cs.LG
A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs
University of Amsterdam(阿姆斯特丹大学);QUVA-Lab(QUVA实验室);Qualcomm AI Research(高通人工智能研究院)
本文提出一种概率方法,通过傅里叶系数将SCNNs中的等变程度参数化为变换群上的似然分布,从而在未知或混合对称性场景下学习可解释的等变程度并提升性能。
2025-05-08 cs.LG
Bases of Steerable Kernels for Equivariant CNNs: From 2D Rotations to the Lorentz Group
Alan Garbarz
本文提出了一种解决可旋转核约束的新方法,提供不同对称群和任意张量类型的特征图基础。该方法通过直接使用输入和输出特征图的表示,避免计算克莱布施-戈尔丹系数,简化了等变卷积神经网络的设计。
2026-03-12 cs.CV cs.LG
PHNNs: Lightweight Neural Networks via Parameterized Hypercomplex Convolutions
Sapienza University of Rome(罗马大学);Amazon Web Services AI(亚马逊云服务人工智能部门)
超复杂神经网络已被证明可以减少参数的总数,同时通过利用Clifford代数的性质来确保有价值的性能。最近,超复杂线性层已经通过涉及有效的参数化Kronecker产品得到进一步改进。在本文中,我们定义了超复杂卷积层的参数化,并介绍了参数化超复杂神经网络(PHNN)的家庭,是轻量级和高效的大规模模型。我们的方法直接从数据中掌握卷积规则和滤波器组织,而不需要严格预定义的域结构。PHNN可以灵活地在任何用户定义或调优的域中操作,从1D到$n$ D,无论代数规则是否预设。这种延展性允许在其自然域中处理多维输入,而不需要附加更多维度,相反,在四元数神经网络中用于彩色图像等3D输入。因此,所提出的PHNN族在实域中以关于其模拟的$1/n$自由参数进行操作。我们通过在各种图像数据集和音频数据集上进行实验,证明了这种方法在多个应用领域的多功能性,在这些数据集上,我们的方法优于实数和四元数值的方法。完整代码可在以下网址获得:https://github.com/eleGAN23/HyperNets。
2022-09-19 cs.AI cs.CV cs.LG
Steerable Partial Differential Operators for Equivariant Neural Networks
University of Amsterdam(阿姆斯特丹大学)
最近在等变深度学习方面的工作与物理学有很强的相似性。基空间上的场是这两个学科的基本实体,这些场之间的等变映射也是如此。然而,在深度学习中,这些映射通常由具有内核的卷积定义,而它们是物理学中的偏微分算子(PDO)。在深度学习的背景下发展同变PDO理论可以使这些学科更加紧密地联系在一起,并导致更强大的思想流动。在这项工作中,我们推导出一个$G$ -steerability约束,完全特征时,特征向量场之间的PDO是等变的,为任意对称群$G$。然后,我们完全解决了几个重要的群体的约束。我们使用我们的解决方案作为卷积层的等变插入式替代品,并在该角色中对其进行基准测试。最后,我们开发了一个框架的基础上施瓦茨分布,统一经典卷积和微分算子的等变映射,并给出了洞察两者之间的关系。
2022-04-23 cs.CV cs.LG
Intertwiners between Induced Representations (with Applications to the Theory of Equivariant Neural Networks)
Qualcomm Research, Qualcomm Technologies Netherlands B.V.(高通研究,高通技术荷兰有限公司);EPFL(洛桑联邦理工学院);University of Amsterdam(阿姆斯特丹大学)
组等变和可操纵卷积神经网络(规则和可操纵G-CNN)最近已经成为一种非常有效的模型类,用于从信号数据(如2D和3D图像,视频和其他存在对称性的数据)中学习。在几何术语中,常规G-CNN用标量场(“特征通道”)表示数据,而可操纵G-CNN也可以使用向量或张量场(“胶囊”)来表示数据。在代数术语中,正则G-CNN中的特征空间根据群G的正则表示进行变换,而可操纵G-CNN中的特征空间根据G的更一般的诱导表示进行变换。为了使网络等变,G-CNN中的每一层都需要在与其输入和输出空间相关联的诱导表示之间插入。在本文中,我们提出了G-CNN在齐次空间(如欧氏空间或球体)上的一般数学框架。我们使用初等方法证明,当且仅当输入和输出特征空间根据诱导表示进行变换时,等变网络的层是卷积的。这一结果是由G.W. Mackey关于诱导表示的抽象理论,将G-CNN建立为一类通用的等变网络架构,并推广了Kondor和Trivedi最近关于正则表示之间的交织的重要工作。
2018-03-30 cs.CV cs.LG stat.ML
Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and Group Convolution
Stanford University(斯坦福大学);Ecole Polytechnique, IP Paris(巴黎理工学院综合理工学校)
近年来,已经提出了广泛的技术,用于为在输入的旋转和平移下等变的3D数据设计神经网络。在旋转和平移的欧几里德群$\mathrm{SE}(3)$下的等方差的大多数方法属于两个主要类别之一。第一类由使用$\mathrm{SE}(3)$ -卷积的方法组成,该方法在$\mathrm{SE}(3)$上对信号进行经典的$\mathbb{R}^3$ -卷积。或者,可以使用\textit{steerable convolution},其通过对张量场的$\mathbb{R}^3$ -卷积施加约束来实现$\mathrm{SE}(3)$ -等方差。本领域的专家已知,这两种方法是等效的,可操纵卷积是$\mathrm{SE}(3)$卷积的傅立叶变换。不幸的是,这些结果并不广为人知,而且在关于等变深度学习的文献中还没有精确描述建立在这两种方法之上的深度学习架构之间的确切关系。在这项工作中,我们对这两种方法及其等效性进行了深入分析,并将这两种构造与多视图卷积网络联系起来。此外,我们提供了理论上的理由,分离的$\mathrm{SE}(3)$群卷积,这解释了最近的一些方法的适用性和成功。最后,我们使用一个单一的连贯的形式主义表达不同的方法,并提供明确的公式,涉及通过不同的方法学习的内核。通过这种方式,我们的工作有助于统一不同的先前提出的实现旋转平移等方差的技术,并有助于阐明各种替代方案之间的实用性和精确差异。我们还从…
2022-11-29 cs.CG cs.LG
Probabilistic Numeric Convolutional Neural Networks
Qualcomm AI Research(高通人工智能研究院);New York University(纽约大学)
不规则采样或具有缺失值的图像和时间序列等连续输入信号对于现有的深度学习方法来说具有挑战性。相干定义的特征表示必须依赖于输入的未观察区域中的值。借鉴概率数值的工作,我们提出了概率数值卷积神经网络,它代表高斯过程(GP)的功能,提供了一个概率描述的离散化误差。然后,我们将卷积层定义为在此GP上定义的PDE的演变,然后是非线性。这种方法也自然地允许在例如旋转群下的可操纵的等变卷积。在实验中,我们表明,我们的方法产生了$3\times$减少错误从以前的状态的SuperPixel-MNIST数据集和医疗时间序列数据集PhysioNet 2012上的竞争力的性能。
2020-10-21 cs.CV cs.LG
Single-Core Superscalar Optimization of Clifford Neural Layers
针对Clifford神经层推理效率问题,通过分析Clifford代数基础消除冗余计算并结合成熟优化技术,实现单核下最高21.35倍的平均加速,性能多优于或持平PyTorch原生实现。
2025-09-29 cs.LG
Theory for groupoid equivariant neural networks: an approach for steerable CNNs on bounded domains
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Instituto de Ciencias Matemáticas ICMAT (CSIC-UAM-UC3M-UCM)(数学科学研究所(ICMAT))
本文提出群胚等变神经网络理论,用于有界域上的可转向CNN,通过二分等变核定理和输运约束实现局部对称性,实验表明精度提升至少一个数量级。
2026-09-23 cs.LG math.DG
RotDCF: Decomposition of Convolutional Filters for Rotation-Equivariant Deep Networks
Duke University(杜克大学)
在深度特征中显式编码组动作使得卷积神经网络(CNN)能够处理图像的全局变形,这对于许多视觉任务的成功至关重要。本文提出了同时在空间和组几何结构上的联合可操纵基上分解卷积滤波器,即具有分解卷积滤波器的旋转等变CNN(RotDCF)。这种分解便于计算联合卷积,这被证明是必要的组等方差。它显着降低了模型的大小和计算复杂性,同时保持性能,和截断的基础扩展隐式正则化的过滤器。在涉及面内和面外对象旋转的数据集上,RotDCF深度特征比常规CNN表现出更强的鲁棒性和可解释性。的稳定性的等变表示输入变化的理论上也证明了一般假设下的过滤器的分解形式。RotDCF框架可以扩展到旋转以外的组,提供了一种通用的方法,可以在减小的模型大小下实现组等方差和表示稳定性。
2018-05-17 cs.CV cs.LG stat.ML
Analytic Convolutional Layer: A Step to Analytic Neural Network
Tsinghua University(清华大学)
本文提出由解析卷积核与传统卷积核构成的模型驱动 ACL,通过可学习 AKPs 自适应嵌入先验知识,以更少参数提升表示能力、可靠性与内在可解释性。
2024-07-03 cs.CV cs.LG
Discretizing Group-Convolutional Neural Networks for 3D Geometry in Feature Space
Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
本文提出在特征空间中进行采样,通过特征相似性选择代表性样本,从而解耦几何分辨率与内存处理成本,实现计算效率与精度的平衡。实验表明粗粒度的特征空间采样能有效保持分类精度,加速等变3D分类器的训练。
2026-05-14 cs.CV cs.GR cs.LG
A Characterization Theorem for Equivariant Networks with Point-wise Activations
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);University of Oxford(牛津大学);University of Venice(威尼斯大学)
本文提出刻画有限维表示、坐标选择与逐点激活构成精确等变层的一般定理,并据此分析旋转、置换及可导向 CNN 等网络的不变性与表示性质。
2024-01-17 cs.AI cs.LG
Acute Lymphoblastic Leukemia Detection Using Hypercomplex-Valued Convolutional Neural Networks
University of Campinas(坎皮纳斯大学)
本文提出基于超复数代数的卷积神经网络(HvCNNs)用于血液涂片淋巴细胞分类以辅助诊断急性淋巴细胞白血病,实验表明其在参数更少的情况下准确率优于实数值模型,基于Clifford代数处理HSV图像的HvCNN在ALL-IDB2数据集上达96.6%准确率,接近最先进水平。
2022-05-26 cs.CV cs.LG cs.NE
On the Fourier analysis in the SO(3) space : EquiLoPO Network
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室);AIRI(人工智能研究学院)
针对现有体数据旋转等变深度学习方法的局限,研究提出EquiLoPO网络,结合基于不可约表示傅里叶基的群卷积与SO(3)空间局部激活函数,在MedMNIST3D数据集上性能超越SOTA,提供灵活的等变深度学习框架。
2025-03-19 cs.CV cs.LG math.GR
Theoretical Aspects of Group Equivariant Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
群等变神经网络在过去的几年里一直在探索,从理论和实践的角度来看都很有趣。他们利用了群表示理论,非交换调和分析和微分几何的概念,这些概念在机器学习中并不经常出现。在实践中,它们已被证明可以降低样本和模型的复杂性,特别是在存在输入变换(如任意旋转)的挑战性任务中。我们开始这项工作的阐述组表示理论和必要的机械定义和评估积分和卷积组。然后,我们展示了最近的SO(3)和SE(3)等变网络的应用,即球形CNN,Clebsch-Gordan网络和3D Steerable CNN。我们继续讨论两个最近的理论结果。第一个是Kondor和Trivedi(ICML'18),表明神经网络是群等变的当且仅当它具有卷积结构。第二个由Cohen等人提出(NeurIPS'19),将第一个推广到更大的一类网络,将特征映射作为齐次空间上的场。
2020-04-30 cs.LG stat.ML