3D-Rotation-Equivariant Quaternion Neural Networks
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
提出了一套规则，将用于三维点云处理的各种神经网络修正为旋转等变四元数神经网络（REQNNs）。我们发现，当一个神经网络在一定条件下使用四元数特征时，网络特征自然具有旋转等变性。旋转等方差意味着对输入点云应用特定的旋转变换等效于对所有中间层四元数特征应用相同的旋转变换。此外，REQNN还确保了中间层特征对输入点的排列是不变的。与原神经网络相比，REQNN具有更高的旋转鲁棒性。
2020-10-11 cs.CV cs.LG stat.ML
Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Google（谷歌）
我们介绍张量场神经网络，这是局部等变的3D旋转，平移和置换的点在每一层。3D旋转等方差消除了对数据增强的需要，以识别任意方向上的特征。我们的网络使用由球谐函数构建的滤波器;由于这种滤波器选择的数学后果，每一层都接受标量、向量和高阶张量作为输入（并保证作为输出），这些都是几何意义上的。我们展示了张量场网络在几何，物理和化学任务的能力。
2018-05-18 cs.AI cs.CV cs.LG
Normalization-Equivariant Neural Networks with Application to Image Denoising
Centre Inria de l’Université de Rennes（雷恩大学Inria中心）
本文提出通过仿射约束卷积和通道级排序池化层替代卷积层与激活函数，使神经网络具备归一化等变性，在图像去噪中实现更好的跨噪声水平泛化。
2024-02-21 cs.CV
Motion Equivariant Networks for Event Cameras with the Temporal Normalization Transform
University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们提出了一种新的变换的事件从事件相机是等变的光流下的卷积在3-D时空域。事件由图像中的变化生成，这些变化通常是由于相机或场景的运动引起的。因此，不同的运动导致不同的事件集合。对于基于静态场景的基于学习的任务，例如直接使用事件的分类，我们必须依靠学习方法来学习与运动不同的底层对象，或者通过广泛的数据增强来记忆每个对象的所有可能运动。相反，我们提出了一种新的变换的输入事件数据规范化的$x$和$y$的位置，每个事件的时间戳。我们证明，当光流恒定时，这种变换生成了与这种运动等变的事件表示，允许深度神经网络学习分类任务，而不需要昂贵的数据增强。我们在基于事件的N-MNIST数据集以及一个新的数据集N-MOVING-MNIST上测试了我们的方法，与标准N-MNIST数据集相比，该数据集在运动方面具有更多的变化。在所有序列中，我们证明了与具有标准体积事件输入的网络相比，我们的变换网络能够实现类似或更好的性能，并且当测试集具有比训练时更大的运动集时，表现明显更好。
2019-02-18 cs.CV
ReAFFPN: Rotation-equivariant Attention Feature Fusion Pyramid Networks for Aerial Object Detection
Nanjing University of Science and Technology（南京理工大学）
提出了一种基于旋转-等变注意特征融合金字塔网络的空中目标检测算法ReAFFPN。ReAFFPN的目的是改善相邻层之间的旋转等变特征融合的效果，受到语义和规模的不连续性。由于旋转等变卷积的特殊性，一般的方法在保证网络旋转等变的同时，无法达到其原有的效果。为了解决这个问题，我们设计了一种新的旋转等变通道注意力，它既能产生通道注意力，又能保持旋转等变。然后在迭代注意特征融合（iAFF）模块中嵌入一种新的通道注意函数，实现旋转等变注意特征融合。实验结果表明，ReAFFPN具有较好的旋转等变特征融合能力，显著提高了旋转等变卷积网络的精度。
2022-10-17 cs.CV
Self-Supervised Learning for Group Equivariant Neural Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
提出了一种基于群等变神经网络的自监督学习任务构造方法。群等变神经网络是一种其结构被限制为随输入变换而交换的模型。因此，重要的是要为自监督学习构建不与这种等变性相矛盾的借口任务。为了确保训练与等方差一致，我们提出了两个自监督任务的概念：等变的借口标签和不变的对比损失。等变前提标签使用一组标签，我们可以在这些标签上定义与输入变化相对应的转换。不变对比损失使用修改的对比损失，其吸收每个输入上的转换的影响。在标准图像识别基准上的实验表明，等变神经网络利用了所提出的等变自监督任务。
2023-03-08 cs.CV
Offset equivariant networks and their applications
University of Pavia（帕维亚大学）
在本文中，我们提出了一个框架的设计和实施的偏移等变网络，即神经网络，保持在其输出均匀增量的输入。在一个合适的颜色空间中，这种网络相对于表征照明条件变化的光度变换实现等变。我们在三个不同的问题上验证了该框架：图像识别，光源估计和图像修补。我们的实验表明，偏移等变网络的性能与常规数据上的现有技术相当。然而，与传统网络不同的是，当光源的颜色改变时，等变网络确实表现得始终如一。
2022-07-01 cs.CV
Deeply Supervised Rotation Equivariant Network for Lesion Segmentation in Dermoscopy Images
The Chinese University of Hong Kong（香港中文大学）
皮肤镜图像中病灶的自动分割是黑色素瘤计算机辅助诊断的重要步骤。皮肤镜图像表现出旋转和反射对称性，然而，这种几何性质尚未在现有技术的基于卷积神经网络的皮肤病变分割方法中编码。在本文中，我们提出了一个深度监督的旋转等变网络的皮肤病变分割扩展最近的组旋转等变网络\cite{cohen2016group}。具体来说，我们提出了G-上采样和G-投影操作，以适应我们的皮肤病变分割问题的旋转等变分类网络。为了进一步提高性能，我们将深度监督方案集成到我们提出的旋转等变分割架构中。整个框架是等变的输入变换，包括旋转和反射，这提高了网络的效率，从而有助于分割性能。我们在ISIC 2017皮肤病变挑战数据集上广泛评估了我们的方法。实验结果表明，在不同的实验设置下，我们的旋转等变网络始终优于具有相同模型复杂度的常规网络。我们最好的模型在测试数据集上达到77.23\%（JA），优于最先进的挑战性方法，并进一步证明了我们提出的深度监督旋转等变分割网络的有效性。我们的最佳模型也优于最先进的挑战性方法，这进一步证明了我们提出的深度监督旋转等变分割网络的有效性。
2018-07-08 cs.CV
Breaking the Symmetry: Resolving Symmetry Ambiguities in Equivariant Neural Networks
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
等变网络已被应用于许多三维学习领域。在这里，我们确定了这些网络的一个基本限制：它们对对称性的模糊性。等变网络不能完成依赖于时间的任务，例如将左右对称对象分割成其左侧和右侧。我们解决这个问题，通过添加组件，解决对称性的模糊性，同时保持旋转等方差。我们提出了OAVNN：方向感知矢量神经元网络，矢量神经元网络的扩展。OAVNN是一种旋转等变网络，对平面对称输入具有鲁棒性。我们的网络由三个关键组成部分组成。1)我们介绍了一种算法来计算对称检测功能。2)我们创建了一个对方向敏感的线性层。3)我们构建了一个注意力机制，涉及跨点的方向信息。我们使用左右分割来评估网络，发现网络可以快速获得准确的分割。我们希望这项工作能够激发对对称对象上的等变网络的表达能力的研究。
2022-10-29 cs.CV
Deep Rotation Equivariant Network
Zhejiang University（浙江大学）
最近，学习等变表示引起了相当大的研究关注。Dieleman等人介绍了四种可以插入卷积神经网络的操作，以学习与旋转等变的深度表示。然而，在他们的方法中，特征图应该在每个层中复制和旋转四次，这会导致大量的运行时间和内存开销。为了解决这个问题，我们提出了由循环层、保序层和decompensation层组成的深度旋转等变网络。我们提出的层对过滤器而不是特征图应用旋转变换，以更少的内存开销实现了2倍以上的速度。我们在旋转MNIST和CIFAR-10数据集上评估了DREN，并证明它可以提高最先进架构的性能。
2018-02-28 cs.CV
Using and Abusing Equivariance
Delft University of Technology（代尔夫特理工大学）
该研究聚焦群等变卷积神经网络的等变性问题，揭示下采样、输入维度变化对等变性的影响，对比严格与近似等变网络在不同对称场景下的性能差异及适用条件。
2023-08-22 cs.CV
Learning Invariant Representations for Equivariant Neural Networks Using Orthogonal Moments
Punjabi University（旁遮普大学）
标准卷积神经网络（CNN）的卷积层与平移是等变的。然而，卷积和全连接层对于其他仿射几何变换不是等变的或不变的。最近，提出了一类新的CNN，其中CNN的传统层被等变卷积，池化和批量归一化层取代。等变神经网络中的最终分类层对于不同的仿射几何变换（例如旋转、反射和平移）是不变的，并且标量值通过使用整个网络的卷积和下采样来消除滤波器响应的空间维度来获得，或者对滤波器响应进行平均。在这项工作中，我们建议整合正交矩，它给出了高阶统计的功能作为一种有效的手段，编码全局不变性相对于旋转，反射和平移在全连接层。因此，网络的中间层变得等变，而分类层变得不变。最广泛使用的Zernike，伪Zernike和正交傅立叶-梅林时刻被认为是用于此目的。通过在旋转MNIST和CIFAR 10数据集上将不变过渡和全连接层集成到组等变CNN（G-CNN）架构中来评估所提出工作的有效性。
2022-09-22 cs.CV
Group Equivariant Capsule Networks
TU Dortmund University（多特蒙德工业大学）
我们提出了组等变胶囊网络，一个框架，引入保证等变和不变性质的胶囊网络的想法。我们的工作可以分为两个贡献。首先，我们提出了一个通用的路由协议算法定义在一组元素，并证明了输出姿态向量的等变性，以及输出激活的不变性，在一定条件下举行。其次，我们将得到的等变胶囊网络与组卷积网络领域的工作联系起来。通过这种连接，我们提供了两种方法如何关联的直观信息，并能够在一个深度神经网络架构中结合两种方法的优势。由此产生的框架允许稀疏评估组卷积运算符，提供对特定等方差和不变性属性的控制，并且可以使用协议路由而不是池化操作。此外，它能够提供可解释的和等变的表示向量作为输出胶囊，从其姿态中分离出物体存在的证据。
2018-10-24 cs.CV
In Search of Projectively Equivariant Networks
Chalmers University of Technology（查尔姆斯理工大学）；Umeå University（于默奥大学）
本研究将等变性放宽至射影意义，提出通过乘法修正提升构建射影等变网络，并证明其在线性层构建中的最一般性，实验验证了理论。
2023-12-20 cs.CV
Capsule Network Projectors are Equivariant and Invariant Learners
Department of Computing Science University of Aberdeen, UK（计算机科学系阿伯丁大学）
本研究提出基于胶囊网络的不变-等变自监督架构CapsIE，搭配熵最小化目标函数，在3DIEBench等变旋转任务上取得SOTA性能，且参数更少、效率更高，证明胶囊网络可学习更泛化的表示。
2025-10-04 cs.CV
DEVIANT: Depth EquiVarIAnt NeTwork for Monocular 3D Object Detection
Michigan State University（密歇根州立大学）；Meta AI；Ford Motor Company（福特汽车公司）
现代神经网络使用诸如卷积之类的构建块，这些构建块与任意2D平移是等变的。然而，这些香草块不是等变的任意三维平移的投影流形。即便如此，所有的单目3D探测器都使用普通模块来获得3D坐标，而普通模块并不是为这项任务而设计的。本文采取的第一步对卷积等变任意三维平移的射影流形。由于深度是最难估计的单目检测，本文提出了深度等变网络（DEVIANT）建立与现有的规模等变可控块。因此，DEVIANT与投射流形中的深度平移等变，而vanilla网络则不是。额外的深度等方差迫使DEVIANT学习一致的深度估计，因此，DEVIANT在仅图像类别中的KITTI和Waymo数据集上实现了最先进的单眼3D检测结果，并与使用额外信息的方法竞争。此外，在跨数据集评估方面，DEVIANT比vanilla网络更好。https://github.com/abhi1kumar/DEVIANT上的代码和模型
2022-07-21 cs.CV cs.LG
Categorical Equivariant Deep Learning: Category-Equivariant Neural Networks and Universal Approximation Theorems
School of Informatics, Nagoya University, Japan（名古屋大学信息学系）；School of Computing, Australian National University, Australia（澳大利亚国立大学计算机学系）
本文提出范畴等变神经网络理论，证明其在不同结构下的通用逼近能力，扩展了等变深度学习的应用范围。
2025-12-23 cs.AI cs.CV cs.LG
Geometric Deep Learning and Equivariant Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）；Gothenburg University（哥德堡大学）；Umeå University（于默奥大学）；Zenseact
我们概述了几何深度学习的数学基础，重点是群等变和规范等变神经网络。我们开发了任意流形$\mathcal{M}$上的规范等变卷积神经网络，使用具有结构群$K$的主丛和相关向量丛的部分之间的等变映射。我们还讨论了群等变神经网络的齐性空间$\mathcal{M}=G/K$，而不是等变的整体对称性$G$ $\mathcal{M}$。群等变层可以被解释为$G$的诱导表示之间的交织，我们展示了它们与规范等变卷积层的关系。我们分析了这种形式主义的几个应用，包括语义分割和对象检测网络。我们还详细讨论了球形网络的情况，对应于$\mathcal{M}=S^2=\mathrm{SO}(3)/\mathrm{SO}(2)$的情况。在这里，我们强调使用傅立叶分析，包括Wigner矩阵，球谐函数和Clebsch-Gordan系数用于$G=\mathrm{SO}(3)$，说明表示理论在深度学习中的作用。
2021-05-28 cs.CV cs.LG hep-th
Group Equivariant Stand-Alone Self-Attention For Vision
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提供了一个一般的自我注意力配方施加组等变性任意对称群。这是通过定义位置编码来实现的，该位置编码对于所考虑的组的动作是不变的。由于群体直接作用于位置编码，群体等变自注意网络（GSA-Nets）本质上是可操纵的。我们在视觉基准上的实验证明了GSA网络在非等变自注意网络上的一致改进。
2021-03-18 cs.CV stat.ML
Steerable Partial Differential Operators for Equivariant Neural Networks
University of Amsterdam（阿姆斯特丹大学）
最近在等变深度学习方面的工作与物理学有很强的相似性。基空间上的场是这两个学科的基本实体，这些场之间的等变映射也是如此。然而，在深度学习中，这些映射通常由具有内核的卷积定义，而它们是物理学中的偏微分算子（PDO）。在深度学习的背景下发展同变PDO理论可以使这些学科更加紧密地联系在一起，并导致更强大的思想流动。在这项工作中，我们推导出一个$G$ -steerability约束，完全特征时，特征向量场之间的PDO是等变的，为任意对称群$G$。然后，我们完全解决了几个重要的群体的约束。我们使用我们的解决方案作为卷积层的等变插入式替代品，并在该角色中对其进行基准测试。最后，我们开发了一个框架的基础上施瓦茨分布，统一经典卷积和微分算子的等变映射，并给出了洞察两者之间的关系。
2022-04-23 cs.CV cs.LG
Moving Frame Net: SE(3)-Equivariant Network for Volumes
Mines Paris, PSL University（巴黎矿业学院，巴黎文理研究大学）
神经网络对变换的等变性有助于提高其性能并减少计算机视觉任务中的泛化误差，因为它们适用于呈现对称性的数据集（例如缩放，旋转，平移）。移动标架方法是导出流形上李群作用不变量算子的经典方法，近年来，基于移动标架方法提出了一种图像数据的旋转平移等变神经网络。在本文中，我们显着改善这种方法，减少计算的移动帧只有一个，在输入阶段，而不是在每一层重复计算。理论上证明了所得到的结构的等变性，并且我们建立了一个旋转和平移等变的神经网络来处理体积，即3D空间上的信号。我们的训练模型在MedMNIST 3D的大多数测试数据集的医学体积分类中优于基准。
2022-11-07 cs.CV stat.ML
Truly Scale-Equivariant Deep Nets with Fourier Layers
Purdue University（普渡大学）
针对现有尺度等变卷积神经网络未考虑抗混叠、并非真正尺度等变的问题，提出基于傅里叶层的离散域下采样架构，实现零等变误差，在相关数据集上取得有竞争力的分类性能。
2023-11-06 cs.CV cs.LG
Attentive Group Equivariant Convolutional Networks
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）
虽然群卷积网络能够基于对称模式学习强大的表示，但它们缺乏明确的手段来学习它们之间有意义的关系（例如，相对位置和姿态）。在本文中，我们提出了关注组等变卷积，一个推广的组卷积，其中注意力是在卷积过程中，强调有意义的对称组合和抑制不合理的，误导性的。我们指出，之前关于视觉注意力的工作可以描述为我们提出的框架的特殊情况，并通过经验表明，我们的注意力组等变卷积网络在基准图像数据集上的表现始终优于传统组卷积网络。同时，我们通过等变注意力地图的可视化提供了对所学概念的可解释性。
2020-06-30 cs.CV cs.LG stat.ML
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Sample Efficient Semantic Segmentation using Rotation Equivariant Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）
我们提出了一个语义分割模型，利用旋转和反射对称性。我们证明了显着的增益，由于增加的权重共享，以及对称变换的鲁棒性的改善，在样本效率。通过引入新的等变（G->Z2）卷积将组上的特征图转换为平面特征图，扩展了组等变CNN框架用于分割。此外，等变转置卷积公式化用于编码器-解码器网络中的上采样。为了证明样本效率的改进，我们评估了旋转等变分割任务的多个数据机制：组织病理学图像中的癌症转移检测。我们进一步证明了利用更多的对称性，通过改变组的大小的有效性。
2018-07-02 cs.CV cs.LG stat.ML
Foundations of Equivariant Deep Learning: Unifying Graph and Sheaf Neural Networks
扩展几何深度学习利用更丰富对称结构，开发等变神经网络，刻画线性等变映射，构建层并证明连续等变映射的通用逼近定理，还扩展到范畴等变神经网络，给出等变神经网络通用形式及定理。
2026-08-12 cs.AI cs.CV cs.LG
Equivariant neural networks and equivarification
School of Mathematics, University of Minnesota, Minneapolis, MN 55455（数学系，明尼苏达大学，明尼阿波利斯，MN 55455）
本文针对等变神经网络的构建问题，提出可将普通神经网络修改为等变网络的通用等变化方法，并证明G-CNNs是该框架的特例。
2025-11-18 cs.CV cs.LG stat.ML
Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
等方差是一个很好的属性，因为它可以产生更具参数效率的神经架构，并通过特征映射保留输入的结构。即使变换的某些组合可能永远不会出现（例如，直立的脸与水平的鼻子），当前的等变架构在学习特征表示时会考虑变换组中所有可能的变换的集合。首先，人类视觉系统能够注意到环境中发生的一组相关变换，并利用这些信息来帮助和改进对象识别。基于这一观察，我们修改传统的等变特征映射，使他们能够参加的数据中的共现变换集，并推广这一概念，以作用于由多个对称性组成的组。我们表明，我们提出的共同关注等变神经网络始终优于传统的旋转等变和旋转和反射等变神经网络旋转MNIST和CIFAR-10。
2020-02-10 cs.CV cs.LG stat.ML
Equivariant Transformer Networks
Stanford University（斯坦福大学）
如何将关于域的变换不变性的先验知识结合到神经网络的体系结构中？我们提出了等变Transformers（变换），一个家庭的可微图像到图像的映射，提高了对预定义的连续变换组的模型的鲁棒性。通过使用特殊导出的正则坐标系，将函数合并为相对于这些变换的等变函数。我们的经验表明，可以灵活地组成，以提高模型的鲁棒性，对更复杂的变换组在几个参数。在现实世界的图像分类任务中，该算法提高了ResNet分类器的样本效率，在有限的数据范围内实现了高达15%的出错率的相对改善，同时将模型参数计数增加了不到1%。
2019-05-24 cs.CV cs.LG stat.ML
Improved Vessel Segmentation with Symmetric Rotation-Equivariant U-Net
Yale University（耶鲁大学）
针对现有CNN血管分割忽略旋转等变导致性能下降的问题，提出将高效对称旋转等变卷积核应用于U-Net，在减小模型规模的同时提升旋转图像分割性能，并超越现有等变方法。
2025-01-24 cs.CV cs.LG eess.IV
Scale-Equivariant Steerable Networks
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
卷积神经网络（CNN）的有效性主要归因于其内在的平移等变性。然而，CNN没有嵌入式机制来处理其他类型的转换。在这项工作中，我们注意到规模的变化，经常出现在各种任务，由于对象和相机之间的距离变化。首先，我们介绍了用可操纵滤波器构建尺度等变卷积网络的一般理论。我们开发了尺度卷积，并将其他常见的块推广为尺度等变的。我们证明了所提出的方法的计算效率和数值稳定性。我们比较所提出的模型，以前开发的方法规模等变性和局部尺度不变性。我们在监督学习环境中展示了MNIST规模数据集和STL-10数据集的最新结果。
2020-02-06 cs.CV cs.LG stat.ML
Robustness of Rotation-Equivariant Networks to Adversarial Perturbations
Rakuten Institute of Technology Paris（乐天技术研究院巴黎分院）
深度神经网络已被证明容易受到对抗性示例的影响：输入的非常小的扰动对预测产生巨大影响。已经提出了大量的对抗攻击和距离度量来量化自然图像和对抗图像之间的相似性，最近扩大了对抗示例的范围，其中几何变换超出了像素攻击。在这种情况下，我们研究了新的卷积神经网络架构提供等方差旋转对抗攻击的鲁棒性。我们发现，在MNIST、CIFAR-10和ImageNet数据集中，旋转等变网络比常规网络更不容易受到基于几何的攻击。
2018-05-17 cs.CR cs.CV cs.LG
Gauge Equivariant Convolutional Networks and the Icosahedral CNN
Qualcomm AI Research（高通人工智能研究院）；University of Amsterdam（阿姆斯特丹大学）
对称变换的等变性原理使神经网络架构设计成为一种有理论基础的方法。等变网络在表现对称性的视觉和医学成像问题上表现出出色的性能和数据效率。在这里，我们展示了如何将这一原则可以扩展到超越全球对称性的地方规范变换。这使得能够在流形上开发一种非常一般的卷积神经网络，这种网络只依赖于内在几何，并且包括来自等变和几何深度学习的许多流行方法。我们实现规范等变CNN上定义的二十面体，这提供了一个合理的近似球的表面上的信号。通过选择使用这个非常规则的流形，我们能够使用单个conv2d调用来实现规范等变卷积，使其成为球面CNN的高度可扩展和实用的替代方案。使用这种方法，我们表现出实质性的改进，在以前的方法上的任务分割全向图像和全球气候模式。
2019-05-13 cs.CV cs.LG cs.NE
