Rotation Equivariance and Invariance in Convolutional Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
神经网络的性能可以通过对特定任务的已知不变性进行编码来显著提高。许多图像分类任务,例如与细胞成像相关的任务,表现出旋转不变性。我们提出了一种新的方案,使用2D离散傅立叶变换(2D-DFT)的幅度响应来编码神经网络中的旋转不变性,以及一个新的,有效的卷积方案,用于编码整个卷积层的旋转等方差。我们实现了这个计划的几个图像分类任务,并证明了改进的性能,在分类精度,训练模型所需的时间,和超参数选择的鲁棒性,超过标准的CNN和另一个国家的最先进的方法。
2018-05-31 cs.CV cs.LG stat.ML
VolterraNet: A higher order convolutional network with group equivariance for homogeneous manifolds
FaceBook(脸书);University of California, Berkeley(加州大学伯克利分校);University of Florida(佛罗里达大学)
卷积神经网络由于其平移等方差特性,在基于图像的学习任务中获得了高度成功。最近的工作已经将传统的卷积神经网络的卷积层推广到非欧空间,并显示了广义卷积运算的组等变性。在本文中,我们提出了一种新的高阶Volterra卷积神经网络(VolterraNet)的数据定义为样本的函数在黎曼齐性空间。类似于传统卷积的结果,我们证明了Volterra函数卷积与黎曼齐性空间中等距群的作用是等变的,并且在一定的限制条件下,任何非线性等变函数都可以表示为齐性空间Volterra卷积,推广了欧氏空间中Volterra展开式的非线性移位等变特征.我们还证明了二阶函数卷积运算可以表示为级联卷积,这导致了一个有效的实现。除此之外,我们还提出了一个扩展的VolterraNet模型。这些进步导致相对于基线非欧几里德CNN的参数大幅减少。为了证明VolterraNet性能的有效性,我们提出了几个真实的数据实验,涉及球形MNIST,原子能,Shrec17数据集的分类任务,以及扩散MRI数据的组测试。性能比较的国家的最先进的。
2021-06-05 cs.CV cs.LG
The Lie Derivative for Measuring Learned Equivariance
New York University(纽约大学)
该研究提出用李导数衡量模型等变性,通过分析数百个不同架构预训练模型,发现空间混叠会破坏等变性,且模型越大越准等变性越强,Transformer训练后等变性可超过CNN。
2024-06-18 cs.AI cs.CV cs.LG
PDO-eConvs: Partial Differential Operator Based Equivariant Convolutions
Peking University(北京大学)
最近的研究表明,将等方差纳入神经网络架构是非常有帮助的,已经有一些工作调查下的群体行动的网络的等方差。然而,由于数字图像和特征图都是在离散网格上,相应的保等方差变换群非常有限。在这项工作中,我们从卷积和偏微分算子(PDO)之间的联系来处理这个问题。在理论上,假设输入是光滑的,我们将PDO变换,并提出了一个系统,它是等变的一个更一般的连续群,$n$维欧几里德群。在实现中,我们使用PDO的数值方案离散系统,导出近似等变卷积(PDO-eConvs)。从理论上讲,PDO-eConvs的逼近误差是二次的。首次给出了等方差近似时的误差分析。在旋转MNIST和自然图像分类上进行的大量实验表明,PDO-eConv具有竞争力,但使用参数的效率更高。特别是,与Wide ResNets相比,我们的方法只使用了12.6%的参数就得到了更好的结果。
2020-08-11 cs.CV cs.LG
Regular SE(3) Group Convolutions for Volumetric Medical Image Analysis
University of Amsterdam(阿姆斯特丹大学)
针对体医学图像的SE(3)等变性问题,提出可分离为连续SO(3)核与空间核的SE(3)群卷积方法,在医学分类任务上准确率较常规CNN最高提升16.5%,泛化能力更优。
2023-07-20 cs.AI cs.CV cs.LG
Moment kernels: a simple and scalable approach for equivariance to rotations and reflections in deep convolutional networks
Department of Computational Medicine University of California, Los Angeles(计算医学系 加州大学洛杉矶分校)
本文提出矩核,一种简单可扩展的正交变换等变卷积核,在生物医学图像任务中提升方向一致性,避免群卷积的方向通道扩展,适配标准CNN工作流程。
2026-08-03 cs.CV cs.LG
Convolutional Conditional Neural Processes
University of Cambridge(剑桥大学);Invenia Labs(因维尼亚实验室);Microsoft Research(微软研究院)
我们介绍卷积条件神经过程(ConvCNP),这是神经过程家族的新成员,它对数据中的平移等方差进行建模。平移等方差是一个重要的归纳偏差的许多学习问题,包括时间序列建模,空间数据和图像。该模型将数据集嵌入到无限维函数空间中,而不是有限维向量空间。为了形式化这一概念,我们扩展了集合的神经表示理论,以包括函数表示,并证明任何反等变嵌入都可以使用卷积深集表示。我们在几种环境中评估了ConvCNP,证明与现有的NP相比,它们实现了最先进的性能。我们证明,在翻译等方差建设使zero-shot推广具有挑战性的,域外的任务。
2020-06-25 cs.LG stat.ML
Scalable and Equivariant Spherical CNNs by Discrete-Continuous (DISCO) Convolutions
Kagenova Limited(Kagenova有限公司);University College London (UCL)(伦敦大学学院)
没有现有的球形卷积神经网络(CNN)框架是计算可扩展的和旋转等变的。连续的方法捕获旋转等方差,但往往是令人望而却步的计算要求。离散方法提供了更有利的计算性能,但以等方差为代价。我们开发了一种混合离散连续(DISCO)组卷积,同时是等变的和计算可扩展到高分辨率。虽然我们的框架可以应用于任何紧凑的组,我们专门的领域。我们的DISCO球卷积表现出$\text{SO}(3)$旋转等方差性,其中$\text{SO}(n)$是表示$n$维中旋转的特殊正交群。当限制旋转的卷积的商空间$\text{SO}(3)/\text{SO}(2)$进一步的计算增强,我们恢复一种形式的渐近$\text{SO}(3)$旋转等方差。通过一个稀疏张量实现,我们实现了线性缩放的计算成本和内存使用的球体上的像素数量。对于4k球面图像,我们实现了节省$10^9$的计算成本和$10^4$的内存使用相比,最有效的替代等变球面卷积。我们将DISCO球面CNN框架应用于球面上的一些基准密集预测问题,例如语义分割和深度估计,在所有这些问题上,我们都达到了最先进的性能。
2023-01-28 astro-ph.IM cs.CV cs.LG
SEIS: Subspace-based Equivariance and Invariance Scores for Neural Representations
University of Southampton(索姆塞特大学)
本文提出SEIS方法,用于分析神经表示在几何变换下的特性,揭示卷积编码器和解码器在不同层的等变性和不变性变化规律,以及训练策略对这些特性的影响。
2026-05-09 cs.CV cs.LG
Deep Scale-spaces: Equivariance Over Scale
AMLAB, Philips Lab(飞利浦实验室 AMLAB);University of Amsterdam(阿姆斯特丹大学)
我们介绍了深度尺度空间(DSS),卷积神经网络的推广,利用传统的图像识别任务的尺度对称结构。简单地说,图像的类别不随观看的尺度而变化。我们构建规模等变互相关的基础上的卷积的原则性扩展,接地的理论的尺度空间和半群。作为一个非常基本的操作,这些互相关可以以即插即用的方式用于几乎任何现代深度学习架构中。我们在Patch Camelyon和Cityscapes数据集上展示了我们的网络,以证明它们的实用性,并进行内省研究以进一步了解它们的属性。
2019-05-28 cs.CV cs.LG stat.ML
Learning Layer-wise Equivariances Automatically using Gradients
Imperial College London(帝国理工学院);ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出利用梯度自动学习神经网络逐层等变性,通过改进软等变参数化并优化边际似然来平衡数据拟合与模型复杂度,在图像分类上达到或超过硬编码对称性基线。
2023-10-09 cs.AI cs.LG stat.ML
Enabling equivariance for arbitrary Lie groups
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
虽然可证明对平移扰动具有鲁棒性,但已知卷积神经网络(CNN)在测试时对输入进行更一般的几何变换时会遭受极端的性能下降。最近,这种限制促使人们将焦点从CNN转移到胶囊网络(CapsNets)。然而,CapsNet的缺点是承认相对较少的理论保证不变性。我们引入了一个严格的数学框架,允许不变性的任何李群的经线,专门使用卷积(李群),而不需要胶囊。以前关于群卷积的工作受到了关于群的强假设的阻碍,这排除了将此类技术应用于计算机视觉中常见的扭曲,如仿射和单应性。我们的框架使任何有限维李群上的群卷积的实现。我们在基准仿射不变分类任务上经验性地验证了我们的方法,在该任务中,我们的准确率比传统CNN提高了30%,同时优于大多数CapsNet。为了进一步说明我们框架的通用性,我们训练了一个单应性卷积模型,该模型在单应性扰动数据集上实现了卓越的鲁棒性,其中CapsNet结果会降级。
2022-03-30 cs.CV cs.LG cs.NE
Equivariance Discovery by Learned Parameter-Sharing
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
将等方差设计为深度网络中的归纳偏差一直是构建有效模型的重要方法,例如,卷积神经网络结合了平移等方差。然而,合并这些归纳偏差需要关于数据的等方差属性的知识,这可能是不可用的,例如,当遇到一个新的域名。为了解决这个问题,我们研究如何从数据中发现可解释的方差。具体来说,我们制定这个发现过程作为一个模型的参数共享方案的优化问题。我们建议使用分区距离来经验性地量化恢复的等方差的准确性。此外,我们从理论上分析了高斯数据的方法,并提供了一个界的研究发现计划和预言机计划之间的均方差距。从经验上讲,我们表明,该方法恢复已知的等方差,如排列和移位,对数字和空间不变的数据。
2022-04-07 cs.CV cs.LG
CubeNet: Equivariance to 3D Rotation and Translation
Computer Science Department, University College London(伦敦大学学院计算机科学系)
3D卷积神经网络对应用于其输入的变换敏感。这是一个问题,因为3D对象的体素化版本及其旋转克隆在通过网络的最后一层后看起来彼此无关。相反,理想化的模型将保留体素化对象的有意义的表示,同时解释两个输入之间的姿势差异。等变表示向量有两个组成部分:不变单位部分和变换的可辨别编码。不能解释位姿差异的模型有“稀释”表示的风险,以追求优化分类或回归损失函数。我们引入了一个群卷积神经网络,它对三维空间中的平移和直角旋转具有线性等方差。我们称这个网络为CubeNet,反映了它类似立方体的对称性。通过构造,该网络有助于保留3D形状的全局和局部签名,因为它通过连续的层进行转换。我们将该网络应用于各种3D推理问题,在ModelNet10分类挑战中达到了最先进的水平,并在ISBI 2012 Connectome Segmentation Benchmark上取得了相当的性能。据我们所知,这是第一个用于体素表示的3D旋转等变CNN。
2018-04-12 cs.AI cs.CV cs.LG
Pulmonary Disease Classification Using Globally Correlated Maximum Likelihood: an Auxiliary Attention mechanism for Convolutional Neural Networks
卷积神经网络(CNN)现在被广泛用于分类和检测胸部X线照片中的肺部异常。CNN的两个互补的泛化特性,平移不变性和等变性,在检测与肺部疾病相关的明显异常时特别有用,无论它们在图像中的空间位置如何。然而,这些属性也伴随着在局部区域中检测到的异常的精确空间信息和全局相对位置的丢失。这些异常的全球相对位置可能有助于区分类似的情况,如COVID-19和病毒性肺炎。在这种情况下,需要一种全局注意力机制,而CNN在其传统架构中不支持这种机制,这些架构旨在通过平移不变性和等变性提供泛化。视觉Transformer提供了一种全局注意力机制,但缺乏平移不变性和等变性,需要更多的训练数据样本来匹配CNN的泛化。为了解决空间信息的丢失和特征之间的全局关系,同时保留CNN的归纳偏差,我们提出了一种新的技术,作为现有CNN架构的辅助注意力机制,以提取显着特征之间的全局相关性。
2021-09-01 cs.CV cs.LG
Equivariant Neural Operator Learning with Graphon Convolution
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出结合系数学习与残差算子层的SE(3)等变通用架构InfGCN,利用连续graphon和离散图结构捕获几何信息,在大规模电子密度数据集上显著优于现有SOTA。
2023-11-17 cs.LG
Scale-Equivariant Deep Learning for 3D Data
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Friedrich-Alexander University Erlangen-Nuremberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本文提出三维尺度等变卷积层并构建尺度等变U-Net,用于医学图像分割,通过免除逐尺度学习提升三维CNN的性能与数据效率。
2023-04-12 cs.CV cs.LG
Learning Partial Equivariances from Data
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
组卷积神经网络(G-CNN)约束学习的特征以尊重所选组中的对称性,并且当这些对称性出现在数据中时导致更好的泛化。然而,如果不是这种情况,则等方差会导致过度约束的模型和更差的性能。通常,发生在数据中的变换可以由组的子集而不是由作为整体的组更好地表示,例如,$[-90^{\circ}, 90^{\circ}]$中的旋转。在这种情况下,考虑等方差$\textit{partially}$的模型更适合表示数据。此外,对于低级和高级特征,相关转换可能不同。例如,完全旋转等方差对于描述面部中的边缘取向是有用的,但是部分旋转等方差更适合于描述相对于相机的面部姿势。换句话说,等方差的最优水平可以按层不同。在这项工作中,我们介绍了$\textit{Partial G-CNNs}$:G-CNN能够学习分层水平的部分和完全等方差离散,连续组及其组合作为训练的一部分。部分G-CNN在有益时保持完全等方差,例如,对于旋转的MNIST,但只要它变得有害,就调整它,例如,用于6 / 9数字或自然图像的分类。我们的经验表明,部分G-CNN配对G-CNN时,全等方差是有利的,否则优于他们。
2023-01-14 cs.CV cs.LG
Group Equivariant Conditional Neural Processes
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目中心)
我们提出了组等变条件神经过程(EquivCNP),这是一种元学习方法,与传统的条件神经过程(CNP)一样,在数据集中具有排列不变性,并且在数据空间中也具有变换等变性。解释组等方差,如旋转和缩放等方差,提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理,这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中,我们使用李群卷积层构建架构以供实际实现。我们表明,翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外,我们证明,将适当的李群等方差,EquivCNP是能够zero-shot概括的图像完成任务,通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and Group Convolution
Stanford University(斯坦福大学);Ecole Polytechnique, IP Paris(巴黎理工学院综合理工学校)
近年来,已经提出了广泛的技术,用于为在输入的旋转和平移下等变的3D数据设计神经网络。在旋转和平移的欧几里德群$\mathrm{SE}(3)$下的等方差的大多数方法属于两个主要类别之一。第一类由使用$\mathrm{SE}(3)$ -卷积的方法组成,该方法在$\mathrm{SE}(3)$上对信号进行经典的$\mathbb{R}^3$ -卷积。或者,可以使用\textit{steerable convolution},其通过对张量场的$\mathbb{R}^3$ -卷积施加约束来实现$\mathrm{SE}(3)$ -等方差。本领域的专家已知,这两种方法是等效的,可操纵卷积是$\mathrm{SE}(3)$卷积的傅立叶变换。不幸的是,这些结果并不广为人知,而且在关于等变深度学习的文献中还没有精确描述建立在这两种方法之上的深度学习架构之间的确切关系。在这项工作中,我们对这两种方法及其等效性进行了深入分析,并将这两种构造与多视图卷积网络联系起来。此外,我们提供了理论上的理由,分离的$\mathrm{SE}(3)$群卷积,这解释了最近的一些方法的适用性和成功。最后,我们使用一个单一的连贯的形式主义表达不同的方法,并提供明确的公式,涉及通过不同的方法学习的内核。通过这种方式,我们的工作有助于统一不同的先前提出的实现旋转平移等方差的技术,并有助于阐明各种替代方案之间的实用性和精确差异。我们还从…
2022-11-29 cs.CG cs.LG
Meta-Learning Symmetries by Reparameterization
Stanford University(斯坦福大学)
许多成功的深度学习架构对某些变换是等变的,以保存参数并提高泛化能力:最著名的是,卷积层对输入的移位是等变的。这种方法只有在实践者知道任务的对称性并且可以手动构建具有相应等方差的架构时才有效。我们的目标是一种从数据中学习等方差的方法,而不需要设计定制的特定于任务的架构。我们提出了一种方法,学习和编码到网络中的等方差从数据学习相应的参数共享模式。我们的方法可以证明代表等方差诱导参数共享任何有限群的对称变换。我们的实验表明,它可以自动学习编码等方差到图像处理任务中使用的常见变换。我们在https://github.com/AllanYangZhou/metalearning-symmetries上提供了我们的实验代码。
2021-03-30 cs.LG stat.ML
Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance
University of Cambridge(剑桥大学)
本研究针对对称群下预测不变的神经网络,借助几何深度学习形式化解释不变性与等变性,提出鲁棒性度量指标、理论保证与提升方法,并总结出5条生成鲁棒解释的准则。
2023-10-05 cs.AI cs.CG cs.LG
Understanding image representations by measuring their equivariance and equivalence
University of Oxford(牛津大学)
尽管定向梯度直方图和深度卷积神经网络(CNN)等图像表示非常重要,但我们对它们的理论理解仍然有限。为了填补这一空白,我们研究了三个关键的数学性质的表示:等变性,不变性和等价性。等方差研究输入图像的变换如何被表示编码,不变性是变换没有影响的特殊情况。等效性研究两种表示,例如CNN的两种不同参数化,是否捕获相同的视觉信息。提出了许多凭经验建立这些属性的方法,包括在CNN中引入变换和缝合层。然后将这些方法应用于流行的表示,以揭示其结构的深刻方面,包括澄清在CNN中的哪些层实现了某些几何不变性。虽然本文的重点是理论,但也展示了结构化输出回归的直接应用。
2015-06-20 cs.CV cs.LG cs.NE
Harmonic Networks: Deep Translation and Rotation Equivariance
University College London(伦敦大学学院)
平移或旋转输入图像不应影响许多计算机视觉任务的结果。卷积神经网络(CNN)已经是平移等变的:输入图像平移产生成比例的特征映射平移。这不是旋转的情况。全局旋转等方差通常通过数据增强来寻求,但逐块等方差更困难。我们提出了谐波网络或H网,一个CNN表现出分片平移和360度旋转的等方差性。我们通过用圆形谐波替换常规的CNN滤波器来实现这一点,为每个感受野贴片返回最大响应和方向。H-Nets使用了一种丰富的、参数高效的、低计算复杂性的表示,我们证明了网络中的深层特征映射编码了复杂的旋转不变量。我们证明了我们的层足够通用,可以与最新的架构和技术结合使用,例如深度监督和批量归一化。我们还在旋转MNIST上实现了最先进的分类,并在其他基准挑战上取得了有竞争力的结果。
2017-04-11 cs.CV cs.LG stat.ML
Spherical Convolutional Neural Networks: Stability to Perturbations in SO(3)
University of Pennsylvania(宾夕法尼亚大学);University of California, Berkeley(加州大学伯克利分校)
球形卷积神经网络(球形CNN)通过利用数据结构从3D数据中学习非线性表示,并在形状分析、对象分类和规划等方面表现出良好的性能。本文研究球形CNN表现出的特性,因为它们属于球形信号中固有的旋转结构。我们建立在球形卷积的旋转等方差的基础上,以表明球形CNN对一般结构扰动是稳定的。特别是,我们任意结构的扰动建模为仿射扰动,并定义了旋转距离,测量这些扰动距离旋转有多远。我们证明了球面CNN的输出变化引起的同胚扰动是有界的扰动大小成比例的旋转距离。这种稳定性与旋转等方差相结合提供了理论保证,支持了球形CNN利用旋转结构的实际观察,在接近旋转的结构扰动下保持性能,并提供良好的泛化和更快的学习。
2021-04-03 cs.LG eess.SP
Rotational Equivariance in Machine Learning: A Comprehensive Tutorial
Interdisciplinary Center for Scientific Computing (IWR), Heidelberg University(海德堡大学跨学科科学计算中心(IWR))
本教程系统介绍机器学习中旋转等变性的相关理论与方法,涵盖几何深度学习等基础,综述群卷积等融入策略,助力从业者掌握该领域并选择合适方法。
2026-09-01 cs.LG
SRE-Conv: Symmetric Rotation Equivariant Convolution for Biomedical Image Classification
Yale University(耶鲁大学)
本文提出可嵌入任意 CNN 主干的对称旋转等变卷积 SRE-Conv,在 MedMNISTv2 的16项2D/3D任务上提升旋转图像分类准确率,并减少参数与内存占用。
2025-01-16 cs.CV cs.LG eess.IV
DeepSphere: towards an equivariant graph-based spherical CNN
EPFL(洛桑联邦理工学院);Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院)
球形数据在许多应用中都可以找到。通过将离散球建模为图,我们可以适应非均匀分布的,部分的和不断变化的采样。此外,图卷积在计算上比球面卷积更有效。由于利用旋转对称性需要等方差,我们讨论了如何使用Defferard等人(2016)中介绍的图神经网络来接近旋转等方差。实验表明,良好的性能旋转不变的学习问题。代码和示例可在https://github.com/SwissDataScienceCenter/DeepSphere上获得
2019-04-08 cs.LG stat.ML
PDO-eS2CNNs: Partial Differential Operator Based Equivariant Spherical CNNs
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学);Pazhou Lab(琶洲实验室)
球形信号存在于许多应用中,例如,行星数据、激光雷达扫描和3D物体的数字化,需要能够有效处理球形数据的模型。当简单地将球形数据投影到2D平面中然后使用平面卷积神经网络(CNN)时,由于投影的失真和无效的平移等方差,它的表现不佳。实际上,设计球形CNN的好原则是避免扭曲,并将平面CNN中的移位等变性转换为球形域中的旋转等变性。在这项工作中,我们使用偏微分算子(PDO)来设计一个球面等变的CNN,PDO-eS 2 CNN,这是完全旋转等变的连续域。然后对PDO-eS 2CNN进行离散化,并分析了离散化产生的等方差误差。这是第一次在球面域上对等方差误差进行理论分析。在实验中,PDO-eS 2CNN显示出更高的参数效率,并且在几项任务上显著优于其他球形CNN。
2022-01-14 cs.CV cs.LG
Diffeomorphism-Equivariant Neural Networks
Institute of Mathematics(数学研究所);Image Computing, University of Luebeck, Luebeck, Germany(图像计算,吕贝克大学,吕贝克,德国);Department of Applied Mathematics(应用数学系);Theoretical Physics, University of Cambridge, Cambridge, United Kingdom(理论物理,剑桥大学,剑桥,英国)
本文提出通过能量基于规范化诱导预训练网络的微分同胚等变性,实现对无限维群的等变性扩展,适用于分割和分类任务。
2026-02-06 cs.CV cs.LG
Discovering Symmetry Breaking in Physical Systems with Relaxed Group Convolution
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Northeastern University(东北大学)
本文提出使用松弛群卷积学习物理系统中的不对称性,证明该方法能在保持与数据一致的最高等变性下,发现晶体相变、湍流和摆系统中可解释的对称性破缺因子。
2025-07-10 cs.AI cs.LG
B-Spline CNNs on Lie Groups
Centre for Analysis and Scientific Computing(分析与科学计算中心);Department of Applied Mathematics and Computer Science(应用数学与计算机科学系);Eindhoven University of Technology(埃因霍温理工大学)
组卷积神经网络(G-CNN)可以通过为它们配备组的几何结构来改进经典CNN。G-CNN成功的核心是将特征映射提升到更高维的解纠缠表示,其中数据特征被有效地学习,几何数据扩充被淘汰,并且通过群论保证了几何变换(等方差)下的可预测行为。然而,目前,G-CNN的实际实现仅限于离散群(保持网格完整)或连续紧凑群,如旋转(允许使用傅立叶理论)。在本文中,我们解除了这些限制,并提出了一个模块化的框架,用于设计和实现任意李群的G-CNN。在我们的方法中,李群的微分结构被用来扩展卷积核的一般基础上的B-样条,这是定义在李代数。这导致了一个灵活的框架,通过分别局部化,稀疏和非均匀的B样条扩展,在G-CNN中实现局部化,atrous和可变形卷积。我们的方法的影响和潜力进行了研究,在两个基准数据集:癌症检测的组织病理学幻灯片中,旋转等方差起着关键作用,面部标志定位,其中规模等方差是重要的。在这两种情况下,G-CNN架构都优于经典的2D架构,并且详细研究了atrous和localized group convolutions的附加值。
2021-03-22 cs.LG stat.ML
Convolutional Networks for Spherical Signals
University of Amsterdam(阿姆斯特丹大学)
卷积网络在涉及平面信号(如图像)的学习问题中的成功是由于它们能够通过权重共享利用数据分布的平移对称性。许多科学和经济领域处理具有其他对称性的信号,例如球体上的旋转不变数据。例子包括气候和天气科学,天体物理学和化学。在本文中,我们提出了球形卷积网络。这些网络在球体和旋转组上使用卷积,这导致旋转权重共享和旋转等方差。使用合成球形MNIST数据集,我们表明球形卷积网络在处理旋转不变分类问题方面非常有效。
2017-09-15 cs.LG
Learning Equivariant Representations
University of Pennsylvania(宾夕法尼亚大学)
最先进的深度学习系统通常需要大量的数据和计算。因此,利用已知或未知的数据结构至关重要。卷积神经网络(CNN)是这一原理的成功例子,它们的定义特征是移位等方差。通过在输入上滑动滤波器,当输入移位时,响应移位相同的量,利用自然图像的结构,其中语义内容与绝对像素位置无关。这个特性对于CNN在音频、图像和视频识别任务中的成功至关重要。在这篇论文中,我们将等方差变换扩展到其他类型的变换,如旋转和缩放。我们提出了由对称群定义的不同变换的等变模型。主要贡献是(i)极性Transformer网络,实现平面上相似性组的等变,(ii)等变多视图网络,实现二十面体对称组的等变,(iii)球形CNN,实现连续3D旋转组的等变,(iv)跨域图像嵌入,实现2D输入的3D旋转的等变,以及(v)自旋加权球形CNN,推广球形CNN并实现球形向量场的3D旋转的等变性。应用包括图像分类、3D形状分类和检索、全景图像分类和分割、形状对准和姿态估计。这些模型的共同点是它们利用数据中的对称性来降低样本和模型的复杂性,并提高泛化性能。这些优势在(但不限于)数据有限或存在任意旋转等输入扰动的具有挑战性的任务中更为显著。
2020-12-04 cs.CV cs.LG
Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning
Indian Institute of Space Science and Technology(印度空间科学技术学院)
本报告聚焦对称群等变深度学习模型,将其分为三类卷积并分析输入空间对称性与等变的数学关联,介绍相关数据集与局限,为该新兴领域提供参考。
2024-09-11 cs.CV cs.LG
Higher Order Gauge Equivariant CNNs on Riemannian Manifolds and Applications
University of Florida(佛罗里达大学)
本文提出高阶规范等变卷积及其实现GEVNet,在黎曼流形上建模感受野内非线性交互并保持全局等距等变性,结合CKN在dMRI神经影像分类中超越单一组件性能。
2023-05-26 cs.CV cs.LG
Embeddings and Representation Learning for Structured Data
Bielefeld University(比勒费尔德大学);University of Pisa(比萨大学);University of Padova(帕多瓦大学)
对结构化数据执行机器学习是复杂的,因为这样的数据不具有向量形式。因此,已经出现了多种方法来构造结构化数据的向量表示,从内核和距离方法到递归、递归和卷积神经网络。近年来,在这一要求很高的研究领域中,出现了一些新的方法,如结构化数据的度量学习、图卷积神经网络和结构化数据的递归解码器网络。在这篇文章中,我们提供了一个高层次的概述,最先进的表示学习和嵌入结构化数据在广泛的机器学习领域。
2019-05-15 cs.LG stat.ML
Equivariance versus Augmentation for Spherical Images
Chalmers University of Technology(查尔姆斯理工大学);Berlin Institute of Technology(柏林工业大学);Berlin Institute for the Foundations of Learning and Data (BIFOLD)(柏林学习与数据基础研究所(BIFOLD));University of Gothenburg(哥德堡大学);Umeå University(于默奥大学);Zenseact(Zenseact(智己汽车科技有限公司))
我们分析了旋转等方差在应用于球形图像的卷积神经网络(CNN)中的作用。我们比较了被称为S2 CNN的组等变网络和标准非等变CNN的性能,这些CNN通过增加数据增强来训练。所选择的架构可以被认为是各个设计范例的基准参考。我们的模型是在MNIST或FashionMNIST数据集投影到球体上的单个或多个项目上进行训练和评估的。对于图像分类的任务,它本质上是旋转不变的,我们发现,通过大大增加数据增强的量和网络的大小,标准CNN有可能达到至少与等变网络相同的性能。相比之下,对于语义分割的固有等变任务,非等变网络始终优于具有显著更少参数的等变网络。我们还分析和比较了不同网络的推理延迟和训练时间,从而为实际问题提供了等变架构和数据增强之间的详细权衡考虑。实验中使用的等变球形网络可在https://github.com/JanEGerken/sem_seg_s2cnn上获得。
2022-07-12 cs.CV cs.LG
Learning Color Equivariant Representations
Princeton University(普林斯顿大学);University of Oxford(牛津大学)
本文提出颜色等变图卷积神经网络,解决颜色变化下的等变问题,通过提升等变性并扩展到饱和度和亮度变化,提升模型泛化能力和样本效率。
2026-04-12 cs.CV cs.LG
Towards physically consistent data-driven weather forecasting: Integrating data assimilation with equivariance-preserving deep spatial transformers
Rice University(莱斯大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of Maryland(马里兰大学)
本文提出将保持等变性的深度空间变换器、数据同化和多时间步算法集成到数据驱动天气预报模型中,以提升物理一致性与短期预报精度,并通过ERA5的Z500数据验证其显著优于U-NET。
2021-03-16 cs.AI cs.LG physics.ao-ph
How Shift Equivariance Impacts Metric Learning for Instance Segmentation
Max-Delbrueck-Center for Molecular Medicine in the Helmholtz Association (MDC)(亥姆霍兹联合会马克斯·德尔布吕克分子医学中心);Charité University Medicine(夏里特大学医学院);Humboldt-Universität zu Berlin(柏林洪堡大学);HHMI Janelia Research Campus(霍华德·休斯医学研究所贾尼利亚研究园区)
度量学习在解决实例分割任务的适用性方面收到了相互矛盾的评价。由于所采用的CNN的移位等方差以及它们各自无法区分相同外观的对象,它被认为是理论上有缺陷的。然而,它已被证明产生各种任务的最先进的结果,和实际问题主要是在瓷砖和缝合方法的上下文中,在瓷砖边界处的不连续性已被观察到。迄今为止,所报告的问题都没有经过彻底的正式分析。在我们的工作中,我们对编码器-解码器风格的CNN的移位等方差特性进行了全面的形式化分析,这清楚地说明了在面对相同外观的对象时,度量学习可以和不能实现什么。特别是,我们证明了一个标准的编码器-解码器网络,以$d$维图像作为输入,与$l$池层和池因子$f$,有能力区分最多$f^{dl}$相同的外观对象,我们表明,这个上限可以达到。此外,我们表明,为了避免不连续的瓷砖和缝合的方法,假设标准的批量大小为1,有必要采用有效的卷积与严格大于$f^l$的训练输出窗口大小相结合,而在测试时,有必要在拼接前裁剪瓷砖大小$n\cdot f^l$,与$n\geq 1$。我们通过讨论一些有见地的特殊情况来补充这些理论发现,我们在合成数据上显示了经验结果。
2021-08-19 cs.CV cs.LG eess.IV
DeepSphere: a graph-based spherical CNN
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Swiss Data Science Center (SDSC)(瑞士数据科学中心)
为球形神经网络设计卷积需要在效率和旋转等方差之间进行微妙的权衡。DeepSphere是一种基于采样球体的图形表示的方法,它在这两个需求之间取得了可控的平衡。这种贡献是双重的。首先,我们从理论上和经验上研究了等方差是如何影响的基础图的顶点和邻居的数量。其次,我们对DeepSphere的相关问题进行了评估。实验显示了最先进的性能,并证明了这种配方的效率和灵活性。也许令人惊讶的是,与以前的工作相比,各向异性过滤器可能是一个不必要的代价。我们的代码可在https://github.com/deepsphere上获得
2020-12-30 cs.CV cs.LG stat.ML
Möbius Convolutions for Spherical CNNs
Johns Hopkins University(约翰斯·霍普金斯大学);Adobe Research(奥多比研究院)
莫比乌斯变换在几何和球面图像处理中扮演着重要的角色-它们是二维曲面的共形自同构群和单应性的球面等价。在这里,我们提出了一种新的,莫比乌斯等变球面卷积算子,我们称之为莫比乌斯卷积,并与它,发展莫比乌斯等变球面CNN的基础。我们的方法是基于一个简单的观察:为了实现等方差,我们只需要考虑低维子组,它转换点的位置,如在他们的邻居的框架。为了有效地计算莫比乌斯卷积的规模,我们推导出一个近似的球面滤波器上的变换的行动,使我们能够计算我们的卷积在频谱域与快速球面谐波变换。由此产生的框架是灵活的和描述性的,我们证明了它的实用性,在形状分类和图像分割任务取得了可喜的成果。
2022-05-12 cs.CV cs.GR cs.LG
Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views?
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Center for Brain Science(脑科学中心);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
等变性已经成为一个理想的属性表示对象的身份保持变换,构成一个组,如平移和旋转。然而,群等方差约束的表示的表达性仍然没有完全理解。我们解决这个差距,提供了一个概括的覆盖函数计数定理,量化的线性可分和组不变的二进制二分法,可以分配到对象的等变表示的数量。我们发现,可分二分法的分数是由空间的维数,是固定的群作用。我们展示了这种关系如何扩展到操作,如卷积,元素非线性,全局和局部池。虽然其他操作不会改变可分离二分法的分数,但局部池化减少了分数,尽管是高度非线性操作。最后,我们在随机初始化和完全训练的卷积神经网络的中间表示上测试了我们的理论,并发现完全一致。
2022-02-05 cs.CV cs.LG stat.ML
Deep Learning for 2D and 3D Rotatable Data: An Overview of Methods
Technical University of Munich(慕尼黑工业大学)
卷积网络是成功的,因为它们在平移下具有等变性/不变性。然而,在坐标系的旋转方向不影响数据的含义(例如,对象分类)的情况下,诸如图像、体积、形状或点云的可旋转数据需要在旋转下以等变/不变性进行处理。另一方面,在旋转很重要的情况下(例如,运动估计),旋转的估计/处理是必要的。这些方面的研究在方法和理论上都取得了新的进展。在这里,我们提供了一个现有的方法,无论是2D和3D旋转(和平移)的概述,并确定它们之间的共性和联系。
2021-11-22 cs.CV cs.LG cs.NE
Learning Symmetries via Weight-Sharing with Doubly Stochastic Tensors
University of Amsterdam(阿姆斯特丹大学);Amsterdam UMC(阿姆斯特丹大学医学中心);Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室)
针对传统群等变方法需预先指定群、约束过强的问题,提出基于可学习双随机矩阵的软权重共享方案,可动态发现对称性、适配部分对称,强对称场景下可收敛为正则群卷积。
2025-01-14 cs.CV cs.LG
Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks
网络数据可以方便地建模为图形信号,其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习是建立在有效利用这种图结构的方法之上的。在这项工作中,我们利用图信号处理来表征图神经网络(GNNs)的表示空间。我们讨论了图卷积滤波器在GNN中的作用,并表明使用此类滤波器构建的任何架构都具有置换等变性和拓扑变化稳定性的基本属性。这两个属性提供了关于GNN工作原理的见解,并有助于解释其可扩展性和可转移性,再加上其本地和分布式性质,使GNN成为在物理网络中学习的强大工具。我们还介绍了GNN扩展使用边变化和自回归移动平均图滤波器,并讨论其属性。最后,我们研究了GNNs在推荐系统和机器人群学习分散控制器中的使用。
2021-05-19 cs.LG cs.SY eess.SY
Learning Generalized Transformation Equivariant Representations via Autoencoding Transformations
Futurewei Seattle Cloud Lab(未来伟西雅图云实验室);University of Central Florida(中佛罗里达大学);Purdue University(普渡大学)
变换等变表示(TER)旨在通过扩展卷积神经网络(CNN)成功的基础{ \em translation}等变的概念来捕获与各种变换等变的内在视觉结构。为此,我们提出了确定性自动编码变换(AET)和概率自动编码变分变换(AVT)模型,以从通用变换组中学习视觉表示。虽然AET是通过直接解码来自学习的表示的变换来训练的,但是AVT是通过最大化学习的表示和变换之间的联合互信息来训练的。这导致广义TER(GTER)等变对变换在一个更一般的方式,通过捕捉复杂的模式的视觉结构超出了传统的线性等变下的变换组。所提出的方法可以扩展到(半)监督模型,通过共同最大化的互信息的学习表示与标签和变换。实验表明,该模型在无监督和(半)监督任务中的性能优于最先进的模型。
2019-11-17 cs.CV cs.LG stat.ML