Equivariant Spatio-Temporal Self-Supervision for LiDAR Object Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研发实验室）
提出时空等变自监督预训练框架，联合空间与时间增强，利用3D场景流目标提升LiDAR目标检测性能，优于现有等变与不变方法。
2024-04-17 cs.CV
Robust Perception through Equivariance
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）
本文提出在推理阶段利用自然图像的等变性密集约束恢复特征等变性，从而将鲁棒性负担由训练转移至推理，并在多个数据集与视觉任务上提升对抗鲁棒性。
2023-06-04 cs.CV
How Shift Equivariance Impacts Metric Learning for Instance Segmentation
Max-Delbrueck-Center for Molecular Medicine in the Helmholtz Association (MDC)（亥姆霍兹联合会马克斯·德尔布吕克分子医学中心）；Charité University Medicine（夏里特大学医学院）；Humboldt-Universität zu Berlin（柏林洪堡大学）；HHMI Janelia Research Campus（霍华德·休斯医学研究所贾尼利亚研究园区）
度量学习在解决实例分割任务的适用性方面收到了相互矛盾的评价。由于所采用的CNN的移位等方差以及它们各自无法区分相同外观的对象，它被认为是理论上有缺陷的。然而，它已被证明产生各种任务的最先进的结果，和实际问题主要是在瓷砖和缝合方法的上下文中，在瓷砖边界处的不连续性已被观察到。迄今为止，所报告的问题都没有经过彻底的正式分析。在我们的工作中，我们对编码器-解码器风格的CNN的移位等方差特性进行了全面的形式化分析，这清楚地说明了在面对相同外观的对象时，度量学习可以和不能实现什么。特别是，我们证明了一个标准的编码器-解码器网络，以$d$维图像作为输入，与$l$池层和池因子$f$，有能力区分最多$f^{dl}$相同的外观对象，我们表明，这个上限可以达到。此外，我们表明，为了避免不连续的瓷砖和缝合的方法，假设标准的批量大小为1，有必要采用有效的卷积与严格大于$f^l$的训练输出窗口大小相结合，而在测试时，有必要在拼接前裁剪瓷砖大小$n\cdot f^l$，与$n\geq 1$。我们通过讨论一些有见地的特殊情况来补充这些理论发现，我们在合成数据上显示了经验结果。
2021-08-19 cs.CV cs.LG eess.IV
Self-Supervised Representation Learning from Flow Equivariance
Waabi（瓦比公司）；University of Toronto（多伦多大学）
自监督表示学习能够学习语义上有意义的特征;然而，其最近的成功主要依赖于对具有很少对象的图像的多次裁剪。人类不是从简单的图像中学习视图不变表示，而是通过观察对象的运动，变形，姿势变化和自我运动来学习复杂世界中不断变化的场景中的表示。出于这种能力，我们提出了一个新的自监督学习表示框架，可以直接部署在视频流的复杂场景与许多移动对象。我们的框架具有一个简单的流等方差目标，该目标鼓励网络通过对当前帧的特征应用流变换来预测另一帧的特征。我们的表示，从高分辨率的原始视频，可以很容易地用于下游任务的静态图像。具有挑战性的语义分割，实例分割，和目标检测基准的读出实验表明，我们能够优于表示从以前的国家的最先进的方法，包括Simplified和BYOL。
2021-10-12 cs.CV cs.LG
On the effectiveness of Rotation-Equivariance in U-Net: A Benchmark for Image Segmentation
University of Namur（那慕尔大学）；Faculty of Computer Science（计算机科学学院）；NaDI institute（NaDI研究所）；naXys institutes（naXys研究所）
针对旋转等变性在U-Net图像分割架构中研究不足的问题，本文通过多数据集基准测试，对比旋转等变U-Net与标准U-Net的性能和计算成本，揭示其应用权衡与优势。
2024-12-12 cs.CV
Viewpoint Equivariance for Multi-View 3D Object Detection
Toyota Research Institute（丰田研究院）
提出VEDet框架，通过注入3D多视图几何位置编码与视图条件查询学习视点等变性，在nuScenes基准上实现了最先进的多视图3D目标检测性能。
2023-04-07 cs.AI cs.CV cs.LG
ReAFFPN: Rotation-equivariant Attention Feature Fusion Pyramid Networks for Aerial Object Detection
Nanjing University of Science and Technology（南京理工大学）
提出了一种基于旋转-等变注意特征融合金字塔网络的空中目标检测算法ReAFFPN。ReAFFPN的目的是改善相邻层之间的旋转等变特征融合的效果，受到语义和规模的不连续性。由于旋转等变卷积的特殊性，一般的方法在保证网络旋转等变的同时，无法达到其原有的效果。为了解决这个问题，我们设计了一种新的旋转等变通道注意力，它既能产生通道注意力，又能保持旋转等变。然后在迭代注意特征融合（iAFF）模块中嵌入一种新的通道注意函数，实现旋转等变注意特征融合。实验结果表明，ReAFFPN具有较好的旋转等变特征融合能力，显著提高了旋转等变卷积网络的精度。
2022-10-17 cs.CV
Scale-Equivariant Deep Learning for 3D Data
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Friedrich-Alexander University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出三维尺度等变卷积层并构建尺度等变U-Net，用于医学图像分割，通过免除逐尺度学习提升三维CNN的性能与数据效率。
2023-04-12 cs.CV cs.LG
Alias-Free Latent Diffusion Models: Improving Fractional Shift Equivariance of Diffusion Latent Space
S-Lab, Nanyang Technological University（南洋理工大学S实验室）；Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）
本文针对潜变量扩散模型生成过程不稳定、对输入平移敏感的问题，通过重新设计平移等变注意力模块并提出抑制特征频率带宽的等变性损失，构建了无混叠潜变量扩散模型AF-LDM，在视频编辑和图像转换等任务中显著提升了一致性。
2025-09-22 cs.CV
Sampling Equivariant Self-attention Networks for Object Detection in Aerial Images
Tsinghua University（清华大学）；Cardiff University（卡迪夫大学）
航空影像中的目标在尺度和方位上的变化比典型影像中的变化更大，因此目标检测更加困难。卷积神经网络使用各种特定于频率和方向的内核来识别受到不同变换的对象;这些需要许多参数。采样等变网络可以根据对象的变换来调整输入特征图的采样，允许内核在不同的变换下提取对象的特征。这样做需要更少的参数，并使网络更适合表示可变形的对象，如航空图像中的对象。然而，像可变形卷积网络这样的方法只能在某些情况下提供采样等方差，因为用于采样的位置。本文提出了采样等变自注意网络，将自注意力限制在局部图像块上视为带掩模的卷积采样，并设计了变换嵌入模块，进一步提高了等变采样能力。我们还使用了一种新的随机归一化模块来解决由于有限的航空图像数据的过拟合。我们表明，我们的模型（i）提供了比现有方法更好的采样等方差，而无需额外的监督，（ii）在ImageNet上提供了改进的分类，（iii）在DOTA数据集上实现了最先进的结果，而无需增加计算。
2021-11-05 cs.CV
Making Vision Transformers Truly Shift-Equivariant
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
针对视觉Transformer对输入平移敏感的问题，本文提出数据自适应的分词、自注意力、补丁合并和位置编码模块，在Swin、SwinV2、CvT和MViTv2上实现真正的平移等变性，并在分类与分割任务中保持100%平移一致性且性能有竞争力。
2023-11-28 cs.CV
R2Det: Exploring Relaxed Rotation Equivariance in 2D object detection
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）；School of Communication and Electronic Engineering, East China Normal University（华东师范大学通信与电子工程学院）；School of Geospatial Information, Information Engineering University（信息工程大学地理空间信息学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
针对旋转对称性破缺问题，提出松弛旋转等变群R_n与R2GConv构建R2Det检测器，以极小参数增量提升二维目标检测的泛化性与鲁棒性。
2025-03-04 cs.AI cs.CV
Rotation-Invariant Point Convolution With Multiple Equivariant Alignments
University of Toronto（多伦多大学）
最近在3D深度学习方法中引入旋转不变性或等变性的尝试已经显示出有希望的结果，但这些方法仍然难以达到标准3D神经网络的性能。在这项工作中，我们研究了三维点卷积的等方差和不变性之间的关系。我们证明了使用旋转等变对齐，可以使任何卷积层旋转不变。此外，我们通过使用对齐本身作为卷积中的特征，并通过将多个对齐组合在一起来改进这个简单的对齐过程。有了这个核心层，我们设计了旋转不变架构，它可以改善对象分类和语义分割的最新结果，并缩小旋转不变和标准3D深度学习方法之间的差距。
2020-12-07 cs.CV
Relaxed Rotational Equivariance via $G$-Biases in Vision
Software Engineering Institute, East China Normal University（华东师范大学软件工程研究所）；School of Geospatial Information, Information Engineering University（信息工程大学地理空间信息学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Communication and Electronic Engineering, East China Normal University（华东师范大学通信与电子工程学院）；Institute of Machine Intelligence, University of Shanghai for Science and Technology（上海理工大学机器智能研究院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
针对真实数据存在旋转对称性破缺导致群等变卷积适配性差的问题，提出基于可学习$G$-Biases的松弛旋转等变卷积RREConv，在分类和2D目标检测任务上性能优于现有GConv方法。
2025-01-14 cs.AI cs.CV
Sensor Equivariance by LiDAR Projection Images
University of Applied Sciences Aschaffenburg（阿沙芬堡应用科学大学）；University of Kassel（卡塞尔大学）
针对LiDAR等投影式传感器因分辨率、视场差异导致物体表示失真的问题，研究提出新增投影属性通道的图像扩展方案及对应实例分割架构，经合成实验验证可降低传感器偏差，且可推广至其他投影传感器，相关代码和数据集已公开。
2023-04-29 cs.CV eess.IV
Truly shift-equivariant convolutional neural networks with adaptive polyphase upsampling
University of Basel（巴塞尔大学）
卷积神经网络由于下采样层的存在而缺乏移位等方差。在图像分类中，最近提出了自适应多相下采样（APS-D），以使CNN具有完美的平移不变性。然而，在用于图像重建任务的网络中，它本身不能恢复移位等方差。我们通过提出自适应多相上采样（APS-U）来解决这个问题，APS-U是传统上采样的非线性扩展，它允许具有对称编码器-解码器架构（例如U-Net）的CNN表现出完美的移位等方差。通过MRI和CT重建实验，我们证明了包含APS-D/U层的网络在不牺牲图像重建质量的情况下表现出最先进的等方差性能。此外，与数据增强和抗混叠等现有方法不同，从APS-D/U获得的等方差增益还扩展到训练分布之外的图像。
2021-12-06 cs.CV eess.SP
Learnable Polyphase Sampling for Shift Invariant and Equivariant Convolutional Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
我们提出了可学习的多相采样（LPS），这是一对可学习的下/上采样层，可以实现真正的平移不变和等变卷积网络。LPS可以从数据进行端到端的训练，并推广现有的手工下采样层。它具有广泛的适用性，因为它可以通过替换下采样/上采样层集成到任何卷积网络中。我们评估LPS的图像分类和语义分割。实验表明，LPS在性能和移位一致性方面与现有方法相当或优于现有方法。我们第一次在语义分割（PASCAL VOC）上实现了真正的平移等方差，即，100%的移位一致性，绝对超过基线3.3%。
2022-10-14 cs.AI cs.CV cs.LG
DuEqNet: Dual-Equivariance Network in Outdoor 3D Object Detection for Autonomous Driving
Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）；Technical University of Munich（慕尼黑工业大学）；East China Normal University（华东师范大学）
室外3D目标检测在自动驾驶的环境感知中起着至关重要的作用。在复杂的交通情况下，精确的物体识别为动态系统的预测和规划提供不可或缺的信息，提高自动驾驶的安全性和可靠性。然而，随着车辆的转向，周围场景的不断旋转对感知系统提出了挑战。然而，大多数现有的方法没有集中在减轻车辆的旋转带来的检测精度的损害，特别是在室外的3D检测。在本文中，我们提出了DuEqNet，它首先引入了等方差的概念到三维目标检测网络，利用层次嵌入式框架。我们的模型的双等方差可以提取局部和全局水平的等变特征，分别。对于局部特征，我们利用基于图的策略来保证特征在点云柱中的等变性。在全局特征方面，采用组等变卷积层对局部特征进行聚合，实现全局等变。在实验部分，我们在不同基线的三维目标检测任务中评估了我们的方法，并获得了最先进的性能。实验结果表明，该模型具有较高的定位精度和预测效率。此外，我们的双等方差策略在各种流行的目标检测框架上表现出令人满意的即插即用能力，以提高其性能。
2023-02-27 cs.CV
Banana: Banach Fixed-Point Network for Pointcloud Segmentation with Inter-Part Equivariance
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出Banana网络，通过Banach不动点迭代使点-部件分配与逐部件SE(3)-等变性协同演化，从构造上实现部件间等变分割，并在铰接物体和多物体点云上验证了强泛化能力。
2023-05-26 cs.CV
Reviving Shift Equivariance in Vision Transformers
University of Maryland（马里兰大学）
针对视觉Transformer中补丁嵌入等模块破坏平移等变性的问题，提出自适应多相锚定算法与深度卷积位置编码方案，使ViT及Twins等变体实现输入平移100%一致性，提升多种变换鲁棒性。
2023-06-13 cs.AI cs.CV
Towards Rotation Invariance in Object Detection
Akasha Imaging（阿卡沙影像）；UCLA（加州大学洛杉矶分校）
旋转增强通常提高模型对旋转的不变性/等变性-除了在目标检测中。在目标检测中，形状是未知的，因此旋转会产生标签歧义。我们发现，事实上的方法限界框标签旋转，最大框方法，创建非常大的标签，导致性能差，在许多情况下，更糟糕的性能比不使用旋转。我们提出了一种新的旋转增强方法，可以在几行代码中实现。首先，我们创建一个可微近似的标签精度和轴对齐的限界框周围的椭圆是最佳的。然后，我们引入旋转不确定性（RU）损失，使模型能够适应标签的不确定性。在五个不同的数据集（包括COCO、PascalVOC和Transparent Object Bin Picking）上，当使用AP、AP 50和AP 75进行测量时，这种方法提高了一阶段和两阶段架构的旋转不变性。该代码可在https://github.com/akasha-imaging/ICCV2021上获得。
2021-10-01 cs.CV
Shift Variance in Scene Text Detection
MVTec Software GmbH（MVTec软件有限公司）
卷积神经网络的理论提出了移位等方差的性质，即，移位的输入导致相等移位的输出。然而，在实践中，情况并非总是如此。这对场景文本检测提出了一个很大的问题，对于场景文本检测来说，一致的空间响应是至关重要的，而不管文本在场景中的位置如何。使用一个简单的合成实验，我们展示了最先进的完全卷积文本检测器的固有移位方差。此外，使用相同的实验设置，我们展示了如何小的架构变化可以导致改进的移位等方差和检测器输出的变化较小。我们使用文本检测网络上的真实训练时间表来验证合成结果。为了量化移位可变性的量，我们提出了一个基于完善的文本检测基准的度量。虽然所提出的架构更改无法完全恢复移位等方差，但添加平滑滤波器可以大大提高常见文本数据集的移位一致性。考虑到小的变化可能产生的巨大影响，我们建议通过本工作中描述的度量扩展常用的文本检测度量，以便能够量化文本检测器的一致性。
2022-08-19 cs.CV
Convolutional layers are equivariant to discrete shifts but not continuous translations
Princeton University（普林斯顿大学）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）
本文澄清CNN卷积层仅对离散像素移位等变、不对连续平移等变，并建议规范术语以避免混淆。
2023-12-07 cs.CV cs.LG
Self-Supervised Category-Level Articulated Object Pose Estimation with Part-Level SE(3) Equivariance
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Fudan University（复旦大学）；Shenzhen University（深圳大学）；Kuaishou Technology（快手科技）；Peking University（北京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
类别级铰接对象姿态估计旨在从已知类别中估计看不见的铰接对象的铰接感知对象姿态的层次结构。为了减少监督学习方法所需的大量注释，我们提出了一种新的自监督策略，该策略在没有任何人类标签的情况下解决了这个问题。我们的主要思想是因式分解规范的形状和关节的对象构成从输入关节形状通过部分级的等变形状分析。具体来说，我们首先引入了部分级SE（3）等方差的概念，并设计了一个网络来学习这种属性的特征。然后，通过精心设计的细粒度的姿态-形状解纠缠策略，我们期望能够自动地诱导出支持姿态估计的正则空间。因此，我们可以进一步预测铰接对象姿势作为每个部件的刚性变换，描述部件如何从其规范部件空间变换到相机空间。大量的实验表明，我们的方法的有效性，从合成和真实的铰接对象数据集的完整和部分点云。
2023-02-28 cs.CV
Variational Partial Group Convolutions for Input-Aware Partial Equivariance of Rotations and Color-Shifts
Kim Jaechul Graduate School of AI, KAIST（金哉澈人工智能研究生院（韩国科学技术院））；School of Computing, KAIST（计算机学院（韩国科学技术院））；AITRICS（AITRICS公司）
本文提出变分部分G-CNN（VP G-CNN），通过以输入数据为条件的变分推断动态调整每个样本的部分等变性水平，并改进可重参数化分布以稳定训练，在多个旋转与颜色偏移数据集上验证了有效性。
2024-07-05 cs.AI cs.CV cs.LG
What Affects Learned Equivariance in Deep Image Recognition Models?
Delft University of Technology（代尔夫特理工大学）；Synerise
本文提出改进的等变性度量方法，发现习得平移等变性与ImageNet验证准确率相关，并证实数据增强、降低模型容量和卷积归纳偏置能提升神经网络中的习得等变性。
2023-04-07 cs.AI cs.CV
SO(3)-Pose: SO(3)-Equivariance Learning for 6D Object Pose Estimation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）；Deakin University（迪肯大学）；Hong Kong Metropolitan University（香港都会大学）
从RGB-D图像中估计刚体的6D位姿对于机器人中的物体抓取和操作至关重要。虽然RGB通道和深度（D）通道通常是互补的，分别提供外观和几何信息，但如何充分受益于两个交叉模态数据仍然是重要的。从简单但新的观察来看，当对象旋转时，其语义标签对于姿态是不变的，而其关键点偏移方向对于姿态是可变的。为此，我们提出了SO（3）-Pose，这是一种新的表示学习网络，用于从深度通道中探索SO（3）-等变和SO（3）-不变特征以进行姿态估计。SO（3）不变特征有助于学习更独特的表示，用于从RGB通道分割具有相似外观的对象。SO（3）-等变特征与RGB特征通信，以推断用于从深度通道检测具有反射表面的对象的关键点的（错过的）几何形状。与现有的大多数姿态估计方法不同，我们的SO（3）-Pose不仅实现了RGB和深度通道之间的信息通信，而且还自然地从深度图像中吸收SO（3）-等方差几何知识，从而导致更好的外观和几何表示学习。综合实验表明，我们的方法达到了国家的最先进的性能在三个基准。
2022-08-17 cs.CV
Rotation Equivariant Feature Image Pyramid Network for Object Detection in Optical Remote Sensing Imagery
Shanghai Jiao Tong University（上海交通大学）；GIPSA-lab, Université Grenoble Alpes, CNRS, Grenoble INP（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院联合GIPSA实验室）；University of Iceland（冰岛大学）；University of Leicester（莱斯特大学）
物体的检测在各种基于航空视觉的应用中是极其重要的。近年来，基于卷积神经网络的方法取得了长足的进步。然而，由于大量的各种各样的对象尺度，密度和任意方向，当前的检测器的斗争与提取语义强的功能，为小规模的对象通过一个预定义的卷积核。为了解决这个问题，我们提出了旋转等变特征图像金字塔网络（REFIPN），一种基于旋转等方差卷积的图像金字塔网络。该模型采用单镜头检测器与轻量级图像金字塔模块并行，以最优化的方式提取代表性特征并生成感兴趣区域。该网络通过使用新的卷积滤波器在广泛的尺度和方向上提取特征。这些特征用于生成矢量场，并确定图像上所有空间位置的最高得分方向的权重和角度。通过这种方法，在不牺牲大尺寸目标检测的性能的情况下，增强了小尺寸目标检测的性能。在两个常用的航空基准上验证了所提出的模型的性能，结果表明，我们提出的模型可以达到最先进的性能与令人满意的效率。
2021-09-06 cs.CV
ReDet: A Rotation-equivariant Detector for Aerial Object Detection
Wuhan University（武汉大学）
近年来，航空图像中的目标检测在计算机视觉中得到了广泛的关注。与自然图像中的目标不同，空中目标往往以任意方向分布。因此，检测器需要更多的参数来编码方位信息，这些参数通常是高度冗余和低效的。此外，由于普通CNN没有明确地对取向变化进行建模，因此需要大量的旋转增强数据来训练准确的对象检测器。在本文中，我们提出了一个旋转等变检测器（ReDet）来解决这些问题，它显式编码旋转等变和旋转不变性。更准确地说，我们将旋转等变网络纳入检测器中以提取旋转等变特征，这可以准确地预测方向并导致模型大小的大幅减少。基于旋转等变特征，本文提出了旋转不变RoI对齐算法（RiRoI Align），该算法根据RoI的方向自适应地从等变特征中提取旋转不变特征。在DOTA-v1.0、DOTA-v1.5和HRSC 2016等几个具有挑战性的航拍图像数据集上进行的大量实验表明，该方法在航拍目标检测任务上可以达到最先进的性能。与之前的最佳结果相比，我们的ReDet在DOTA-v1.0，DOTA-v1.5和HRSC 2016上分别获得了1.2，3.5和2.6 mAP，同时减少了60%的参数数量（313 Mb与121 Mb）。代码可在以下网址获得：\url{https://github.com/csuhan/ReDet}。
2021-03-13 cs.CV
Learning Equivariant Representations
University of Pennsylvania（宾夕法尼亚大学）
最先进的深度学习系统通常需要大量的数据和计算。因此，利用已知或未知的数据结构至关重要。卷积神经网络（CNN）是这一原理的成功例子，它们的定义特征是移位等方差。通过在输入上滑动滤波器，当输入移位时，响应移位相同的量，利用自然图像的结构，其中语义内容与绝对像素位置无关。这个特性对于CNN在音频、图像和视频识别任务中的成功至关重要。在这篇论文中，我们将等方差变换扩展到其他类型的变换，如旋转和缩放。我们提出了由对称群定义的不同变换的等变模型。主要贡献是（i）极性Transformer网络，实现平面上相似性组的等变，（ii）等变多视图网络，实现二十面体对称组的等变，（iii）球形CNN，实现连续3D旋转组的等变，（iv）跨域图像嵌入，实现2D输入的3D旋转的等变，以及（v）自旋加权球形CNN，推广球形CNN并实现球形向量场的3D旋转的等变性。应用包括图像分类、3D形状分类和检索、全景图像分类和分割、形状对准和姿态估计。这些模型的共同点是它们利用数据中的对称性来降低样本和模型的复杂性，并提高泛化性能。这些优势在（但不限于）数据有限或存在任意旋转等输入扰动的具有挑战性的任务中更为显著。
2020-12-04 cs.CV cs.LG
Leveraging SE(3) Equivariance for Self-Supervised Category-Level Object Pose Estimation
Virginia Tech（弗吉尼亚理工大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
类别级对象姿态估计旨在从已知类别中找到先前未见过的对象实例的6D对象姿态，而无需访问对象CAD模型。为了减少类别级学习所需的大量姿态标注，我们首次提出了一种自监督学习框架，用于从单个3D点云估计类别级6D对象姿态。在训练过程中，我们的方法假设没有地面实况姿态标注，没有CAD模型，也没有多视图监督。我们的方法的关键是通过一个由SE（3）等变点云网络授权的不变形状重建模块和等变姿态估计模块来解开形状和姿态。不变形状重建模块学习执行对齐重建，在不使用任何注释的情况下产生类别级参考框架。此外，等变姿态估计模块实现了与一些完全监督方法相当的类别级姿态估计精度。大量的实验证明了我们的方法对ModelNet 40基准测试的完整和部分深度点云以及NOCS-REAL 275数据集的真实深度点云的有效性。包含代码和可视化的项目页面可以在https://dragonlong.github.io/equi-pose上找到。
2021-10-30 cs.CV
Motion Equivariance OF Event-based Camera Data with the Temporal Normalization Transform
University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们专注于使用卷积神经网络（CNN）对事件数据进行对象识别。在目标识别中，神经网络对测试过程中数据的变化具有鲁棒性是很重要的。对于传统相机，翻译处理得很好，因为CNN自然是翻译的等变。然而，由于事件相机记录图像的光强度的变化，事件体积的几何形状将不仅取决于对象，而且取决于它们相对于相机的相对运动。由运动引起的事件的变形导致CNN在推断期间对看不见的运动不太鲁棒。为了解决这个问题，我们想探索CNN的等方差特性，这是一个研究得很好的领域，它证明了在输入图像的某些变换下会产生可预测的特征变形。
2019-11-28 cs.CV eess.IV
EqvAfford: SE(3) Equivariance for Point-Level Affordance Learning
School of EECS, PKU（北京大学工程与计算机科学学院）；CFCS, School of CS, PKU（北京大学计算机学院计算与认知科学中心）；National Key Laboratory for Multimedia Information Processing, School of CS, PKU（北京大学计算机学院多媒体信息处理国家重点实验室）
本文提出EqvAfford框架，通过在点级可供性学习中引入SE(3)等变性设计，使机器人操作策略在不同物体姿态下保持一致，从而提升泛化能力并减少训练数据需求。
2024-08-07 cs.CV cs.LG cs.RO
Rigidity Preserving Image Transformations and Equivariance in Perspective
Chalmers University of Technology（查尔姆斯理工大学）；Umeå University（于默奥大学）
我们的特点，实现刚性相机运动的图像平面变换的类，并呼吁这些变换“刚性旋转”。具体地，针孔图像的2D平移不是刚性保持的。因此，当使用CNN进行3D推理任务时，将归纳偏差从对平移的等方差修改为对刚性保持变换的等方差可能是有益的。我们研究了如何在CNN中近似刚性保持变换的等方差，并在6D对象姿态估计和视觉定位上测试了我们的想法。在实验中，我们改进了几个有竞争力的基线。
2022-10-13 cs.CV cs.LG
DEVIANT: Depth EquiVarIAnt NeTwork for Monocular 3D Object Detection
Michigan State University（密歇根州立大学）；Meta AI；Ford Motor Company（福特汽车公司）
现代神经网络使用诸如卷积之类的构建块，这些构建块与任意2D平移是等变的。然而，这些香草块不是等变的任意三维平移的投影流形。即便如此，所有的单目3D探测器都使用普通模块来获得3D坐标，而普通模块并不是为这项任务而设计的。本文采取的第一步对卷积等变任意三维平移的射影流形。由于深度是最难估计的单目检测，本文提出了深度等变网络（DEVIANT）建立与现有的规模等变可控块。因此，DEVIANT与投射流形中的深度平移等变，而vanilla网络则不是。额外的深度等方差迫使DEVIANT学习一致的深度估计，因此，DEVIANT在仅图像类别中的KITTI和Waymo数据集上实现了最先进的单眼3D检测结果，并与使用额外信息的方法竞争。此外，在跨数据集评估方面，DEVIANT比vanilla网络更好。https://github.com/abhi1kumar/DEVIANT上的代码和模型
2022-07-21 cs.CV cs.LG
Normalization-Equivariant Neural Networks with Application to Image Denoising
Centre Inria de l’Université de Rennes（雷恩大学Inria中心）
本文提出通过仿射约束卷积和通道级排序池化层替代卷积层与激活函数，使神经网络具备归一化等变性，在图像去噪中实现更好的跨噪声水平泛化。
2024-02-21 cs.CV
Local Scale Equivariance with Latent Deep Equilibrium Canonicalizer
Purdue University（普渡大学）；DSO National Laboratories（DSO国家实验室）
针对计算机视觉中物体尺度局部变化的挑战，提出可整合至现有架构的深度平衡规范化器（DEC），其在ImageNet基准上提升了ViT等四种预训练网络的性能与局部尺度一致性。
2025-08-19 cs.CV cs.GR cs.LG
Robust Change Detection Based on Neural Descriptor Fields
推理环境变化的能力对于机器人长时间运行至关重要。希望代理在操作期间捕获更改，以便可以跟踪操作，以确保工作会话的顺利进行。然而，不同的视角和累积的定位误差使机器人很容易错误地检测到周围世界的变化，这是由于低观测重叠和漂移的对象关联。在本文中，基于最近提出的类别级神经描述符字段（NDF），我们开发了一种对象级的在线变化检测方法，该方法对部分重叠的观测和噪声定位结果具有鲁棒性。利用NDF的形状完备性和SE（3）-等方差性，我们用紧凑的形状编码来表示对象，该形状编码从部分观测中编码完整的对象形状。然后，对象被组织在一个空间的树结构的基础上恢复的对象中心从NDF对象邻域的快速查询。通过形状码相似性关联对象和比较局部对象-邻居空间布局，我们提出的方法证明了低观测重叠和定位噪声的鲁棒性。我们在合成和真实世界的序列上进行实验，与多个基线方法相比，实现了改进的变化检测结果。项目网页：https://yilundu.github.io/ndf_change
2022-08-01 cs.CV cs.LG cs.RO
Quantised Transforming Auto-Encoders: Achieving Equivariance to Arbitrary Transformations in Deep Networks
University of Oxford（牛津大学）
在这项工作中，我们研究了如何在深度网络中实现输入变换的等方差，纯粹来自数据，而不需要给出这些变换的模型。例如，卷积神经网络（CNN）与图像平移是等变的，图像平移是一种可以很容易地建模（通过垂直或水平移动像素）的变换。其他变换，如平面外旋转，不允许一个简单的分析模型。我们提出了一种自动编码器架构，其嵌入同时服从一组任意的等方差关系，如平移，旋转，颜色变化等。这意味着它可以获取输入图像，并产生之前未观察到的给定量的版本（例如，同一对象的不同视角或颜色变化）。尽管扩展到许多（甚至是非几何）变换，我们的模型在消除等方差的特殊情况下精确地减少到CNN。等方差对于深度网络的可解释性和鲁棒性非常重要，我们展示了在几个合成和真实数据集上成功重新渲染输入图像的转换版本的结果，以及对象姿态估计的结果。
2021-11-25 cs.AI cs.CV cs.LG
Normalization Equivariance for Arbitrary Backbones, with Application to Image Denoising
University of Cambridge（剑桥大学）；DeepMind
提出无参数包装器WNE，通过输入归一化、任意骨干网络处理、输出反归一化实现归一化等变，在盲去噪中提升CNN和Transformer对噪声水平失配的鲁棒性且无GPU开销。
2026-05-31 cs.AI cs.CV
Equivariant Similarity for Vision-Language Foundation Models
Nanyang Technological University（南洋理工大学）；Microsoft（微软）
针对当前视觉-语言基础模型相似性函数缺乏等变性的问题，提出正则化损失EqSim和聚焦视觉最小变化的基准EqBen，验证了方法的有效性。
2023-10-09 cs.CV
Continual Learning for Pose-Agnostic Object Recognition in 3D Point Clouds
Technical University of Munich（慕尼黑工业大学）；East China Normal University（华东师范大学）
持续学习的目的是不断地学习多个新任务，并将学习任务的表现保持在一个一致的水平。然而，关于持续学习的现有研究假设对象的姿态是预定义的并且是良好对准的。对于实际应用，这项工作的重点是姿态不可知的持续学习任务，其中对象的姿态变化动态和不可预测的。在持续学习的过程中，随着任务的增加，以往的点云扩充方法所需的点云扩充量会急剧增加。为了解决这个问题，我们将等方差作为额外的先验知识注入网络。我们提出了一种新的持续学习模型，有效地提取以前的任务的几何等方差信息。实验表明，我们的方法克服了姿势不可知的情况下，在几个主流的点云数据集的挑战。我们进一步进行消融研究，以评估我们方法的每个组成部分的有效性。
2022-09-11 cs.CV
Self-supervised Wide Baseline Visual Servoing via 3D Equivariance
Samsung AI Center NY（三星纽约人工智能中心）
视觉伺服的挑战性输入设置之一是当初始和目标相机视图相距很远时。这样的设置是困难的，因为宽基线可能导致对象外观的剧烈变化并导致遮挡。本文提出了一种新的自监督视觉伺服方法，宽基线图像，不需要三维地面实况监督。相对于对象回归绝对相机姿态的现有方法需要以3D边界框或网格的形式的对象的3D地面实况数据。我们通过利用称为3D等方差的几何属性来学习连贯的视觉表示-表示以可预测的方式作为3D变换的函数进行变换。为了确保特征空间忠实于底层测地线空间，将测地线保持约束与等方差结合应用。我们设计了一个连体网络，可以有效地执行这两个几何属性，而不需要3D监督。通过学习模型，可以简单地通过跟随学习空间中的梯度来推断相对变换，并将其用作闭环视觉伺服的反馈。我们的方法进行评估的对象从YCB数据集，显示有意义的优于视觉伺服任务，或对象对齐任务相对于国家的最先进的方法，使用3D监督。我们的产量超过35%的平均距离误差减少和超过90%的成功率与3厘米的误差容限。
2022-09-12 cs.AI cs.CV cs.RO
Contrastive View Design Strategies to Enhance Robustness to Domain Shifts in Downstream Object Detection
University of Pittsburgh（匹兹堡大学）
对比学习已经成为目标检测的一种有竞争力的预训练方法。尽管取得了这一进展，但在面对域偏移时，对对比预训练检测器的鲁棒性的研究很少。为了解决这个差距，我们进行了对比学习和域外目标检测的实证研究，研究对比视图设计如何影响鲁棒性。特别是，我们进行了以检测为重点的借口任务实例定位（InsLoc）的案例研究，并提出了策略，以增加视图，并提高鲁棒性的外观转移和上下文转移的情况下。在这些策略中，我们提出了对裁剪的更改，例如更改使用的百分比，添加IoU约束，以及集成基于显着性的对象先验。我们还探讨了增加捷径减少增强，如泊松混合，纹理平坦化和弹性变形。我们对这些策略进行了抽象，天气和上下文域转换的基准测试，并在单对象和多对象图像数据集的预训练中说明了将它们结合起来的强大方法。总的来说，我们的结果和见解显示了如何通过选择对比学习中的视图来确保鲁棒性。
2022-12-09 cs.AI cs.CV cs.LG
Representation Learning on Unit Ball with 3D Roto-Translational Equivariance
Australian National University（澳大利亚国立大学）
卷积是定义一个函数的形状如何被另一个函数修改的积分运算。这个强大的概念构成了深度神经网络中分层特征学习的基础。虽然在欧几里得几何中执行卷积相当简单，但将其扩展到其他拓扑空间--例如球体（$\mathbb{S}^2$）或单位球（$\mathbb{B}^3$）--需要独特的挑战。在这项工作中，我们提出了一种新的“\emph{volumetric convolution}”操作，可以有效地建模和卷积任意函数在$\mathbb{B}^3$。我们基于Zernike多项式为\emph{volumetric convolution}开发了一个理论框架，并将其有效地实现为深度网络中的可微分和易于插入的层。通过构造，我们的公式推导出一个新的公式来测量$\mathbb{B}^3$中函数围绕任意轴的对称性，这在函数分析任务中是有用的。我们在一个可行的用例上证明了所提出的体积卷积操作的有效性，即，3D物体识别。
2019-11-30 cs.CV
Land cover mapping at very high resolution with rotation equivariant CNNs: towards small yet accurate models
MultiModal Remote Sensing, University of Zurich（苏黎世大学多模态遥感）；Laboratory of GeoInformation Science and Remote Sensing, Wageningen University and Research（瓦赫宁根大学与研究中心地理信息科学与遥感实验室）
在遥感图像中，目标的绝对方位是任意的。根据物体的方向和传感器的飞行路径，可以在同一图像中以不同的方向观察到相同语义类的物体。因此，旋转的等变性（在该上下文中被理解为当经受输入图像的旋转时利用旋转的语义标签映射进行响应）是非常期望的特征，特别是对于高容量模型，诸如卷积神经网络（CNN）。如果在网络中对旋转等方差进行编码，则模型将面临更简单的任务，并且不需要学习特定的（和冗余的）权重来处理相同对象类的旋转版本。在这项工作中，我们提出了一个CNN架构，称为旋转等变向量场网络（RotEqNet），在网络本身编码旋转等方差。通过使用旋转卷积作为构建块，并以方向编码矢量场的形式在整个网络中只传递与最大激活方向相对应的值，RotEqNet使用相同的滤波器组处理相同对象的旋转版本，因此即使使用从头开始训练的非常小的架构，也可以实现最先进的性能。我们在两个具有挑战性的亚分米分辨率语义标记问题中测试了RotEqNet，并表明我们可以比标准的CNN表现得更好，同时需要少一个数量级的参数。
2018-03-16 cs.CV
Teaching Vision-Language Models to Use the Scale They Are Given: Label-Free Equivariance Training for Metric Physical Reasoning
New York University（纽约大学）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究针对视觉-语言模型在度量物理推理中利用尺度信息不足的问题，提出无标签等变训练方法EquiSD，通过利用物理对称性实现无监督微调，提升了模型的度量接地能力与跨尺度泛化性能。
2026-10-06 cs.CV
On normalization-equivariance properties of supervised and unsupervised denoising methods: a survey
Centre Inria de l’Université de Rennes（雷恩大学法国国家信息与自动化研究所中心）
本文综述了图像去噪中监督与无监督学习方法的主要原理和最新进展，并重点分析了大多数监督方法未能保证的归一化等变性特性及其重要性。
2024-02-23 cs.CV cs.LG
GEPC: Group-Equivariant Posterior Consistency for Out-of-Distribution Detection in Diffusion Models
GEPC通过测量分数在有限群下的变换一致性，实现扩散模型中分布外检测的后验一致性，提供轻量级且可解释的检测方法。
2026-02-18 cs.CV cs.LG
Dual Quaternion Rotational and Translational Equivariance in 3D Rigid Motion Modelling
Universidade Estadual de Campinas (Unicamp)（坎皮纳斯州立大学（Unicamp））；Sapienza University of Rome（罗马第一大学）
针对实值网络丢失三维刚体运动信息的问题，提出双四元数表示法联合建模旋转与平移，实现等变性，提升人体姿态预测性能。
2023-10-11 cs.AI cs.CV
Unsupervised Learning of Landmarks by Descriptor Vector Exchange
Unitary；VGG, University of Oxford（牛津大学VGG）；University of Edinburgh（爱丁堡大学）
随机图像变换的等方差是一种有效的方法来学习对象类别的地标，例如面部中的眼睛和鼻子，而无需人工监督。然而，这种方法并不能明确地保证所学习的地标与同一对象的不同实例之间的变化（例如不同的面部身份）一致。在本文中，我们开发了一个新的视角的等方差的方法，注意到密集的地标检测器可以被解释为本地图像描述符配备了不变性的类别内的变化。然后，我们提出了一个直接的方法来执行这样的标准等变损失的不变性。我们这样做，交换描述符向量之间的图像不同的对象实例之前，匹配它们的几何。以这种方式，相同的向量必须工作，而不管所考虑的特定对象标识。我们使用这种方法来学习可以同时被解释为局部描述符和密集地标的向量，结合两者的优点。在标准基准上的实验表明，这种方法可以匹配，在某些情况下，超过了现有的方法，学习地标没有监督的最先进的性能。代码可在www.robots.ox.ac.uk/~vgg/research/DVE/上获得。
2019-08-18 cs.CV
Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views?
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Center for Brain Science（脑科学中心）；Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
等变性已经成为一个理想的属性表示对象的身份保持变换，构成一个组，如平移和旋转。然而，群等方差约束的表示的表达性仍然没有完全理解。我们解决这个差距，提供了一个概括的覆盖函数计数定理，量化的线性可分和组不变的二进制二分法，可以分配到对象的等变表示的数量。我们发现，可分二分法的分数是由空间的维数，是固定的群作用。我们展示了这种关系如何扩展到操作，如卷积，元素非线性，全局和局部池。虽然其他操作不会改变可分离二分法的分数，但局部池化减少了分数，尽管是高度非线性操作。最后，我们在随机初始化和完全训练的卷积神经网络的中间表示上测试了我们的理论，并发现完全一致。
2022-02-05 cs.CV cs.LG stat.ML
Unsupervised Part-Based Disentangling of Object Shape and Appearance
Heidelberg University（海德堡大学）
大的类内变化是多个对象特征变化的结果。然而，图像只显示不同可变因素的叠加，如外观或形状。因此，学习如何区分和表示这些不同的特征是一个很大的挑战，特别是在无监督的情况下。此外，大型对象的连接需要一个灵活的基于零件的模型。我们提出了一种无监督的方法，通过在一个类别的所有实例中一致地学习部分来解开外观和形状。我们的模型学习对象表示的训练，同时利用不变性和等方差约束之间的综合变换的图像。由于不需要零件注释或对象类的先验信息，因此该方法适用于任意类。我们评估我们的方法在广泛的对象类别和不同的任务，包括姿态预测，解开图像合成，视频到视频的翻译。该方法在无监督关键点预测方面优于最先进的方法，甚至在形状和外观转移任务上与有监督方法相比也毫不逊色。
2019-06-17 cs.CV
From Keypoints to Object Landmarks via Self-Training Correspondence: A novel approach to Unsupervised Landmark Discovery
University of Nottingham（诺丁汉大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Hartpury University（哈特伯瑞大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新的范例的无监督学习的目标地标检测器。与现有的建立在辅助任务（如图像生成或等方差）上的方法相反，我们提出了一种自训练方法，在该方法中，从通用关键点出发，训练地标检测器和描述符以改进自身，将关键点调整为独特的地标。为此，我们提出了一种迭代算法，通过特征聚类产生新的伪标签，并通过对比学习学习每个伪类的独特功能。通过地标检测器和描述符的共享主干，关键点位置逐渐收敛到稳定的地标，过滤掉那些不太稳定的地标。与以前的作品相比，我们的方法可以学习在捕捉大的视点变化方面更灵活的点。我们在各种困难的数据集上验证了我们的方法，包括LS3D，BBCPose，Human3.6M和PennAction，实现了最先进的结果。
2023-02-25 cs.CV
