Equivariance versus Augmentation for Spherical Images
Chalmers University of Technology（查尔姆斯理工大学）；Berlin Institute of Technology（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data (BIFOLD)（柏林学习与数据基础研究所（BIFOLD））；University of Gothenburg（哥德堡大学）；Umeå University（于默奥大学）；Zenseact（Zenseact（智己汽车科技有限公司））
我们分析了旋转等方差在应用于球形图像的卷积神经网络（CNN）中的作用。我们比较了被称为S2 CNN的组等变网络和标准非等变CNN的性能，这些CNN通过增加数据增强来训练。所选择的架构可以被认为是各个设计范例的基准参考。我们的模型是在MNIST或FashionMNIST数据集投影到球体上的单个或多个项目上进行训练和评估的。对于图像分类的任务，它本质上是旋转不变的，我们发现，通过大大增加数据增强的量和网络的大小，标准CNN有可能达到至少与等变网络相同的性能。相比之下，对于语义分割的固有等变任务，非等变网络始终优于具有显著更少参数的等变网络。我们还分析和比较了不同网络的推理延迟和训练时间，从而为实际问题提供了等变架构和数据增强之间的详细权衡考虑。实验中使用的等变球形网络可在https://github.com/JanEGerken/sem_seg_s2cnn上获得。
2022-07-12 cs.CV cs.LG
Fully Rotation-Equivariant Spectral-Spatial Learning for Multispectral Object Detection
Beijing Institute of Technology（北京理工大学）
针对现有多光谱检测器的三类局限，提出FressDet框架，通过三个互补组件实现任意平面旋转下的可靠光谱-空间融合，在参数量减少93%的情况下取得SOTA性能。
2026-07-24 cs.CV
Scalable and Equivariant Spherical CNNs by Discrete-Continuous (DISCO) Convolutions
Kagenova Limited（Kagenova有限公司）；University College London (UCL)（伦敦大学学院）
没有现有的球形卷积神经网络（CNN）框架是计算可扩展的和旋转等变的。连续的方法捕获旋转等方差，但往往是令人望而却步的计算要求。离散方法提供了更有利的计算性能，但以等方差为代价。我们开发了一种混合离散连续（DISCO）组卷积，同时是等变的和计算可扩展到高分辨率。虽然我们的框架可以应用于任何紧凑的组，我们专门的领域。我们的DISCO球卷积表现出$\text{SO}(3)$旋转等方差性，其中$\text{SO}(n)$是表示$n$维中旋转的特殊正交群。当限制旋转的卷积的商空间$\text{SO}(3)/\text{SO}(2)$进一步的计算增强，我们恢复一种形式的渐近$\text{SO}(3)$旋转等方差。通过一个稀疏张量实现，我们实现了线性缩放的计算成本和内存使用的球体上的像素数量。对于4k球面图像，我们实现了节省$10^9$的计算成本和$10^4$的内存使用相比，最有效的替代等变球面卷积。我们将DISCO球面CNN框架应用于球面上的一些基准密集预测问题，例如语义分割和深度估计，在所有这些问题上，我们都达到了最先进的性能。
2023-01-28 astro-ph.IM cs.CV cs.LG
Rotation Equivariant Feature Image Pyramid Network for Object Detection in Optical Remote Sensing Imagery
Shanghai Jiao Tong University（上海交通大学）；GIPSA-lab, Université Grenoble Alpes, CNRS, Grenoble INP（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院联合GIPSA实验室）；University of Iceland（冰岛大学）；University of Leicester（莱斯特大学）
物体的检测在各种基于航空视觉的应用中是极其重要的。近年来，基于卷积神经网络的方法取得了长足的进步。然而，由于大量的各种各样的对象尺度，密度和任意方向，当前的检测器的斗争与提取语义强的功能，为小规模的对象通过一个预定义的卷积核。为了解决这个问题，我们提出了旋转等变特征图像金字塔网络（REFIPN），一种基于旋转等方差卷积的图像金字塔网络。该模型采用单镜头检测器与轻量级图像金字塔模块并行，以最优化的方式提取代表性特征并生成感兴趣区域。该网络通过使用新的卷积滤波器在广泛的尺度和方向上提取特征。这些特征用于生成矢量场，并确定图像上所有空间位置的最高得分方向的权重和角度。通过这种方法，在不牺牲大尺寸目标检测的性能的情况下，增强了小尺寸目标检测的性能。在两个常用的航空基准上验证了所提出的模型的性能，结果表明，我们提出的模型可以达到最先进的性能与令人满意的效率。
2021-09-06 cs.CV
4D Panoptic Segmentation as Invariant and Equivariant Field Prediction
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Qualcomm AI Research（高通人工智能研究院）
本文提出用于4D全景分割的旋转等变神经网络，将实例聚类重新表述为不变标量场和等变矢量场预测，在SemanticKITTI排行榜上取得第1名。
2023-09-12 cs.CV
DEVIANT: Depth EquiVarIAnt NeTwork for Monocular 3D Object Detection
Michigan State University（密歇根州立大学）；Meta AI；Ford Motor Company（福特汽车公司）
现代神经网络使用诸如卷积之类的构建块，这些构建块与任意2D平移是等变的。然而，这些香草块不是等变的任意三维平移的投影流形。即便如此，所有的单目3D探测器都使用普通模块来获得3D坐标，而普通模块并不是为这项任务而设计的。本文采取的第一步对卷积等变任意三维平移的射影流形。由于深度是最难估计的单目检测，本文提出了深度等变网络（DEVIANT）建立与现有的规模等变可控块。因此，DEVIANT与投射流形中的深度平移等变，而vanilla网络则不是。额外的深度等方差迫使DEVIANT学习一致的深度估计，因此，DEVIANT在仅图像类别中的KITTI和Waymo数据集上实现了最先进的单眼3D检测结果，并与使用额外信息的方法竞争。此外，在跨数据集评估方面，DEVIANT比vanilla网络更好。https://github.com/abhi1kumar/DEVIANT上的代码和模型
2022-07-21 cs.CV cs.LG
Unsupervised Object Representation Learning using Translation and Rotation Group Equivariant VAE
Simons Machine Learning Center（西蒙斯机器学习中心）；New York Structural Biology Center（纽约结构生物学中心）
在许多成像模态中，感兴趣对象可以以各种位置和姿态出现（即，经受2d或3d中的平移和旋转），但是对象的位置和姿态不改变其语义（即，对象的本质）。也就是说，卫星图像中飞机的特定位置和旋转，或自然图像中椅子的3d旋转，或低温电子显微照片中粒子的旋转，不会改变这些物体的内在性质。在这里，我们考虑的问题，学习语义表示的对象是不变的姿势和位置在一个完全无监督的方式。我们在以前的方法来解决这个问题，通过引入目标VAE，平移和旋转组等变变分自编码器框架的缺点。TARGET-VAE结合了三个核心创新：1）旋转和平移组等变编码器架构，2）潜在旋转，平移和旋转-平移不变语义对象表示的结构分解分布，它们由近似推理网络联合推断，以及3）空间等变生成器网络。在全面的实验中，我们表明，TARGET-VAE在没有监督的情况下学习解缠表示，显着改善，并避免了以前的方法的病态。当在被旋转和平移严重破坏的图像上训练时，TARGET-VAE学习到的语义表示与在一致姿势的对象上学习到的语义表示相似，从而大大提高了语义潜在空间中的聚类。此外，TARGET-VAE能够执行非常准确的无监督姿势和位置推断。我们预计像TARGET-VAE这样的方法将成为未来无监督对象生成、姿态预测和目标检测的基础。
2023-01-03 cs.CV cs.LG
Rotationally Equivariant Super-Resolution of Velocity Fields in Two-Dimensional Fluids Using Convolutional Neural Networks
Tokyo Institute of Technology（东京工业大学）
本文从旋转等方差的角度研究二维流体速度场的超分辨问题。SR是指从低分辨率图像中估计高分辨率图像的技术，最近已应用于流体力学。SR模型的旋转等方差是指超分辨速度场随输入的旋转而旋转的性质，它导致了对流体系统方向的推断协变。一般来说，物理学中的协变性与对称性有关。为了澄清对称性的关系，SR数据集的旋转一致性是新引入的低分辨率和高分辨率速度场对旋转的不变性。这种一致性对于SR模型通过监督学习从大型数据集获取旋转等方差是足够和必要的。当通过卷积核的权重共享作为先验知识对SR模型施加旋转等方差时，不需要这样大的数据集。即使流体系统具有旋转对称性，这种对称性也可能不会延续到速度数据集，因为速度数据集不是旋转一致的。当旋转不与低分辨率速度场的生成交换时，可能发生这种不一致。这些理论建议得到了数值实验结果的支持，其中两个现有的卷积神经网络（CNN）被转换为旋转等变CNN，并在监督训练后比较四个CNN的推理。
2022-10-25 cs.CV physics.ao-ph physics.flu-dyn
Structuring Representation Geometry with Rotationally Equivariant Contrastive Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出CARE方法，通过在对比学习中引入等变目标强制输入增强对应于球面嵌入空间的旋转，构建表示几何结构，在无需严格不变性的情况下提升下游任务性能并保留对数据重要变化的敏感性。
2023-06-24 cs.CV cs.LG
Scale-Equivariant Deep Learning for 3D Data
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Friedrich-Alexander University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出三维尺度等变卷积层并构建尺度等变U-Net，用于医学图像分割，通过免除逐尺度学习提升三维CNN的性能与数据效率。
2023-04-12 cs.CV cs.LG
Scattering Networks on the Sphere for Scalable and Rotationally Equivariant Spherical CNNs
Kagenova Limited（Kagenova 有限公司）
在球面上构造的卷积神经网络（CNN）最近得到了发展，并被证明是非常有效的球形数据的分析。虽然已经制定了一个有效的框架，但球形CNN的计算要求很高;通常它们不能扩展到数千像素的球形信号之外。我们开发了在球体上原生构建的散射网络，为球形数据提供了一个强大的代表性空间。球形散射网络是计算可扩展的，并表现出旋转等变性，而它们的代表空间是不变的等距，并提供有效和稳定的信号表示。通过将散射网络作为一种附加类型的层集成到广义球形CNN框架中，我们展示了如何利用它们将球形CNN扩展到许多实际应用中典型的高分辨率数据，其中球形信号为数千万像素及以上。
2022-01-24 astro-ph.IM cs.CV cs.LG
FRED: Towards a Full Rotation-Equivariance in Aerial Image Object Detection
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Hanbat National University（韩巴国立大学）
本文提出完全旋转等变的定向目标检测器FRED，通过解耦分类与定位任务、用旋转等变向量表示边界框并作为可变形卷积偏移量，在DOTA数据集上以16%参数量取得可比或更优性能。
2023-12-22 cs.CV cs.LG
RestoreDet: Degradation Equivariant Representation for Object Detection in Low Resolution Images
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；RIKEN AIP（理化学研究所革新智能综合研究中心）；The University of Tokyo（东京大学）；Innopeak Technology；The University of British Columbia（不列颠哥伦比亚大学）；Shanghai AI Laboratory（上海人工智能实验室）
超分辨率等图像复原算法是退化图像目标检测中不可缺少的预处理模块。然而，这些算法中的大多数假设退化是固定的并且先验已知。当真实退化未知或与假设不同时，预处理模块和随后的高级任务（诸如对象检测）都将失败。在这里，我们提出了一个新的框架，RestoreDet，检测对象在退化的低分辨率图像。RestoreDet利用下采样退化作为自监督信号的一种变换，以探索针对各种分辨率和其他退化条件的等变表示。具体来说，我们学习这个内在的视觉结构的编码和解码的退化变换从一对原始的和随机退化的图像。该框架可以进一步利用具有任意分辨率恢复解码器的高级SR架构来从退化的输入图像重建原始对应。表示学习和对象检测都以端到端的训练方式联合优化。RestoreDet是一个通用的框架，可以在任何主流的对象检测架构上实现。大量的实验表明，我们的框架的基础上CenterNet取得了优越的性能与现有的方法相比，面对变异退化的情况。我们的代码很快就会发布。
2022-01-07 cs.CV eess.IV
R2Det: Exploring Relaxed Rotation Equivariance in 2D object detection
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）；School of Communication and Electronic Engineering, East China Normal University（华东师范大学通信与电子工程学院）；School of Geospatial Information, Information Engineering University（信息工程大学地理空间信息学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
针对旋转对称性破缺问题，提出松弛旋转等变群R_n与R2GConv构建R2Det检测器，以极小参数增量提升二维目标检测的泛化性与鲁棒性。
2025-03-04 cs.AI cs.CV
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Leveraging SO(3)-steerable convolutions for pose-robust semantic segmentation in 3D medical data
Support Center for Advanced Neuroimaging (SCAN), University Institute of Diagnostic and Interventional Neuroradiology, University of Bern, Inselspital, Bern University Hospital（高级神经影像支持中心（SCAN）、伯尔尼大学诊断与介入神经放射学研究所、伯尔尼大学、因塞尔斯皮塔尔医院、伯尔尼大学医院）；NVIDIA（英伟达）
针对医学图像分割网络多依赖标准卷积、姿态鲁棒性不足的问题，提出基于球谐函数等变体素卷积的分割网络，无需旋转数据增强，在脑MRI分割任务中性能、小数据鲁棒性和参数效率均更优。
2024-05-17 cs.CV cs.LG eess.IV
Geometric Deep Learning and Equivariant Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）；Gothenburg University（哥德堡大学）；Umeå University（于默奥大学）；Zenseact
我们概述了几何深度学习的数学基础，重点是群等变和规范等变神经网络。我们开发了任意流形$\mathcal{M}$上的规范等变卷积神经网络，使用具有结构群$K$的主丛和相关向量丛的部分之间的等变映射。我们还讨论了群等变神经网络的齐性空间$\mathcal{M}=G/K$，而不是等变的整体对称性$G$ $\mathcal{M}$。群等变层可以被解释为$G$的诱导表示之间的交织，我们展示了它们与规范等变卷积层的关系。我们分析了这种形式主义的几个应用，包括语义分割和对象检测网络。我们还详细讨论了球形网络的情况，对应于$\mathcal{M}=S^2=\mathrm{SO}(3)/\mathrm{SO}(2)$的情况。在这里，我们强调使用傅立叶分析，包括Wigner矩阵，球谐函数和Clebsch-Gordan系数用于$G=\mathrm{SO}(3)$，说明表示理论在深度学习中的作用。
2021-05-28 cs.CV cs.LG hep-th
Equivariant Wavelets: Fast Rotation and Translation Invariant Wavelet Scattering Transforms
Harvard University（哈佛大学）；Harvard-Smithsonian Center for Astrophysics（哈佛-史密森天体物理中心）
小波散射网络是一种具有固定滤波器和权值的卷积神经网络，是一种很有前途的图像分析工具。对图像统计施加对称性可以提高人类的可解释性，有助于概括，并提供降维。在这项工作中，我们介绍了一个快速计算，几何不变和旋转等变小波散射网络（EqWS）和滤波器银行的小波（triglets）。我们证明了可解释性和量化的不变性/等变性的系数，简要评论与实施规模等变性的困难。在MNIST上，我们证明了在系数的旋转不变减少上进行训练在推广到测试数据时保持旋转不变性，并可视化剩余对称破缺项。利用旋转等方差来估计数字的旋转角度，并从单个角度重建每个系数的完整旋转依赖性。我们在EMNIST和CIFAR-10/100上用线性分类器对EqWS进行基准测试，为彩色图像引入了一个新的二阶跨颜色通道耦合。我们得出结论，通过比较各向同性减少的散射系数和RWST，以前的系数减少，各向同性分类的磁流体动力学模拟与天体物理学的相关性的性能。
2021-04-22 astro-ph.IM cs.CV
REMM:Rotation-Equivariant Framework for End-to-End Multimodal Image Matching
Wuhan University（武汉大学）；Kunming University of Science and Technology（昆明理工大学）
提出旋转等变框架REMM，通过循环移位模块编码描述符旋转差异，实现端到端多模态图像匹配，在旋转和尺度基准上优于现有方法。
2024-07-16 cs.CV
RotaTouille: Rotation Equivariant Deep Learning for Contours
University of Bergen（卑尔根大学）
RotaTouille是一个通过复值循环卷积实现旋转与循环移位等变性的深度学习框架，用于轮廓数据学习，并在形状分类、重建和回归任务中验证了有效性。
2025-10-27 cs.CV cs.LG
Transformation-Equivariant 3D Object Detection for Autonomous Driving
Inceptio Technology（嬴彻科技）
三维目标检测近年来在自动驾驶中受到越来越多的关注。三维场景中的物体以不同的方向分布。普通的探测器没有明确地模拟旋转和反射变换的变化。因此，强大的检测需要大型网络和广泛的数据增强。最近的等变网络通过在多个变换的点云上应用共享网络来显式地建模变换变化，在物体几何建模中显示出巨大的潜力。然而，由于计算成本大、推理速度慢，此类网络很难应用于自动驾驶中的3D目标检测。在这项工作中，我们提出了TED，一个有效的变换等变3D检测器，以克服计算成本和速度问题。TED首先应用稀疏卷积主干来提取多通道变换等变体素特征;然后将这些等变特征对齐并聚合成轻量级和紧凑的表示，用于高性能的3D目标检测。在竞争激烈的KITTI 3D汽车检测排行榜上，TED以极具竞争力的效率在所有提交作品中排名第一。
2022-12-01 cs.CV
EFEM: Equivariant Neural Field Expectation Maximization for 3D Object Segmentation Without Scene Supervision
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
我们介绍了等变神经场期望最大化（EFEM），这是一种简单，有效，鲁棒的几何算法，可以分割3D场景中的对象，而无需对场景进行注释或训练。我们实现了这样的无监督分割，利用单个对象的形状先验。我们朝这个方向迈出了两步。首先，我们引入等变形状表示这个问题，以消除由对象配置的变化引起的复杂性。其次，我们提出了一种新的EM算法，可以迭代细化分割掩模使用等变形状先验。我们收集了一个新的真实数据集椅子和杯子，其中包含各种对象配置和新的场景，以验证我们的方法的有效性和鲁棒性。实验结果表明，我们的方法在不同的场景中实现了一致和鲁棒的性能，（弱）监督方法可能会失败。代码和数据可在https://www.cis.upenn.edu/~leijh/projects/efem上获得
2023-03-27 cs.CV
Learned Equivariant Rendering without Transformation Supervision
NYU（纽约大学）；NVidia（英伟达）；Google（谷歌）
我们提出了一个自我监督的框架来学习场景表示从视频中自动划定为对象和背景。我们的方法依赖于移动对象是等变的，相对于他们的跨帧的变换和背景是恒定的。经过训练后，我们可以实时的操纵和渲染场景，以创建对象、变换和背景的不可见组合。我们展示了移动MNIST与背景的结果。
2020-11-11 cs.CV
Cross-Domain 3D Equivariant Image Embeddings
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
球形卷积网络最近被引入作为学习3D形状的强大特征表示的工具。球形CNN与3D旋转等变，使其非常适合可以在任意方向上观察3D数据的应用。在本文中，我们学习了具有类似等变结构的2D图像嵌入：嵌入3D对象的图像应该与对象的旋转交换。我们将2D图像的跨域嵌入引入球形CNN潜在空间。这种嵌入编码具有3D形状属性的图像，并且与观察对象的3D旋转等变。该模型仅由从预先训练用于3D形状分类的球形CNN获得的目标嵌入来监督。我们表明，学习具有适当几何结构的图像的丰富嵌入足以解决各种应用，如相对姿态估计和新颖的视图合成，而不需要额外的特定任务的监督。
2019-05-14 cs.CV
On Equivariant and Invariant Learning of Object Landmark Representations
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
给定一组图像，人类能够通过对实例之间共享的几何结构进行建模来发现地标。这种几何等变性的思想已被广泛用于对象地标表示的无监督发现。在本文中，我们开发了一个简单而有效的方法，结合实例判别和空间判别对比学习。我们表明，当深度网络被训练为对几何和光度变换不变性时，其中间层中会出现对对象地标具有高度预测性的表示。将这些跨层堆叠在“超列”中并使用空间对比学习来投影它们，进一步提高了它们在匹配和Few-Shot地标回归任务上的性能。我们还提出了一个统一的观点，现有的等变和不变的表示学习方法，通过对比学习的镜头，阐明了学习的不变性的性质。在地标学习的标准基准上进行的实验，以及我们提出的一个新的具有挑战性的实验，表明所提出的方法超越了现有的最先进的方法。
2021-04-02 cs.CV
Image to Sphere: Learning Equivariant Features for Efficient Pose Prediction
Northeastern University（东北大学）
从单幅图像中预测目标的姿态是计算机视觉中一个重要而又困难的问题。预测单点估计的方法不能很好地预测具有对称性的对象的姿态，并且不能表示不确定性。或者，一些作品预测分布在$\mathrm{SO}(3)$的方向。然而，训练这样的模型可能是计算和样本效率低下的。相反，我们提出了一种新的映射功能从图像域的3D旋转流形。然后，我们的方法利用$\mathrm{SO}(3)$等变层，这是更有效的采样，并输出一个分布的旋转，可以在任意分辨率采样。我们证明了我们的方法在对象方向预测方面的有效性，并在流行的PASCAL3D+数据集上实现了最先进的性能。此外，我们表明，我们的方法可以模拟复杂的对象的对称性，没有任何修改的参数或损失函数。代码可在https://dmklee.github.io/image2sphere上获得。
2023-02-27 cs.CV
Breaking the Symmetry: Resolving Symmetry Ambiguities in Equivariant Neural Networks
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
等变网络已被应用于许多三维学习领域。在这里，我们确定了这些网络的一个基本限制：它们对对称性的模糊性。等变网络不能完成依赖于时间的任务，例如将左右对称对象分割成其左侧和右侧。我们解决这个问题，通过添加组件，解决对称性的模糊性，同时保持旋转等方差。我们提出了OAVNN：方向感知矢量神经元网络，矢量神经元网络的扩展。OAVNN是一种旋转等变网络，对平面对称输入具有鲁棒性。我们的网络由三个关键组成部分组成。1)我们介绍了一种算法来计算对称检测功能。2)我们创建了一个对方向敏感的线性层。3)我们构建了一个注意力机制，涉及跨点的方向信息。我们使用左右分割来评估网络，发现网络可以快速获得准确的分割。我们希望这项工作能够激发对对称对象上的等变网络的表达能力的研究。
2022-10-29 cs.CV
BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation
CUHK（香港中文大学）；Stanford（斯坦福大学）；Ant Group（蚂蚁集团）；Shanghai AI Laboratory（上海人工智能实验室）；UCLA（加州大学洛杉矶分校）
BerfScene提出一种鸟瞰图条件等变辐射场表示，通过局部场景合成与平滑拼接实现大规模乃至无限规模三维场景生成，并支持通过操控鸟瞰图编辑场景物体。
2023-12-04 cs.CV
ESCAPE: Equivariant Shape Completion via Anchor Point Encoding
Technical University Munich (TUM)（慕尼黑工业大学（TUM））；Google（谷歌）
针对形状补全在未知姿态和旋转变化下性能受限的问题，本文提出ESCAPE框架，利用锚点距离编码与transformer实现旋转等变重建，并通过优化恢复形状，在任意旋转和平移下取得高质量结果。
2024-12-01 cs.CV
Sparse Steerable Convolutions: An Efficient Learning of SE(3)-Equivariant Features for Estimation and Tracking of Object Poses in 3D Space
South China University of Technology（华南理工大学）；DexForce Co. Ltd.（DexForce有限公司）；Peng Cheng Laboratory（鹏城实验室）；SmartMore Technology Co. Ltd.（思谋科技有限公司）；Pazhou Laboratory（琶洲实验室）
作为SE（3）-等变深度特征学习的基本组成部分，可控卷积最近已经证明了其在3D语义分析中的优势。然而，这些优点是由密集的体积数据上的昂贵计算带来的，这阻止了其用于本质上稀疏的3D数据的有效处理的实际使用。在本文中，我们提出了一种新的设计稀疏可控卷积（SS-Conv），以解决这个缺点; SS-Conv大大加快了可控卷积与稀疏张量，同时严格保持SE（3）-等方差的属性。基于SS-Conv，我们提出了一种用于精确估计对象姿态的通用流水线，其中关键设计是一个充分利用SE（3）-等方差并能够进行有效姿态细化的转向模块。为了验证我们的设计，我们进行了彻底的实验上的三个任务的3D对象的语义分析，包括实例级的6D姿态估计，类别级的6D姿态和大小估计，和类别级的6D姿态跟踪。我们提出的基于SS-Conv的管道在三个任务评估的几乎所有指标上都优于现有方法。消融研究还显示了我们的SS-Conv在准确性和效率方面优于替代卷积。我们的代码在https://github.com/Gorilla-Lab-SCUT/SS-Conv上公开发布。
2021-11-14 cs.CV
Unsupervised learning of object frames by dense equivariant image labelling
视觉感知的关键挑战之一是从视觉测量中提取3D对象和对象类别的抽象模型，这些对象受诸如视点、遮挡、运动和变形等复杂的讨厌因素的影响。从最近的观点分解的想法，我们提出了一种新的方法，给定大量的图像的对象，没有其他监督，可以提取一个密集的对象为中心的坐标系。这个坐标框架对于图像的变形是不变的，并且带有一个密集的等变标记神经网络，可以将图像像素映射到它们相应的对象坐标。我们证明了这种方法的适用性，简单的铰接对象和可变形的对象，如人脸，学习嵌入随机合成变换或光流对应，所有没有任何人工监督。
2017-11-18 cs.CV stat.ML
Latent Equivariant Operators for Robust Object Recognition: Promises and Challenges
Departments of Computer Science & Neuroscience and Biomedical Engineering（计算机科学与神经科学及生物医学工程系）；Aalto University（艾尔沃斯大学）
本文提出通过潜在空间学习等变运算符以提升鲁棒目标识别能力，展示其在超出分布分类中的有效性，并探讨扩展至复杂数据集的挑战。
2026-03-10 cs.CV cs.LG
Land cover mapping at very high resolution with rotation equivariant CNNs: towards small yet accurate models
MultiModal Remote Sensing, University of Zurich（苏黎世大学多模态遥感）；Laboratory of GeoInformation Science and Remote Sensing, Wageningen University and Research（瓦赫宁根大学与研究中心地理信息科学与遥感实验室）
在遥感图像中，目标的绝对方位是任意的。根据物体的方向和传感器的飞行路径，可以在同一图像中以不同的方向观察到相同语义类的物体。因此，旋转的等变性（在该上下文中被理解为当经受输入图像的旋转时利用旋转的语义标签映射进行响应）是非常期望的特征，特别是对于高容量模型，诸如卷积神经网络（CNN）。如果在网络中对旋转等方差进行编码，则模型将面临更简单的任务，并且不需要学习特定的（和冗余的）权重来处理相同对象类的旋转版本。在这项工作中，我们提出了一个CNN架构，称为旋转等变向量场网络（RotEqNet），在网络本身编码旋转等方差。通过使用旋转卷积作为构建块，并以方向编码矢量场的形式在整个网络中只传递与最大激活方向相对应的值，RotEqNet使用相同的滤波器组处理相同对象的旋转版本，因此即使使用从头开始训练的非常小的架构，也可以实现最先进的性能。我们在两个具有挑战性的亚分米分辨率语义标记问题中测试了RotEqNet，并表明我们可以比标准的CNN表现得更好，同时需要少一个数量级的参数。
2018-03-16 cs.CV
Rotation Equivariant Siamese Networks for Tracking
University of Amsterdam（阿姆斯特丹大学）
旋转是视觉对象跟踪中长期存在但尚未解决的难题之一。现有的基于深度学习的跟踪算法使用常规CNN，其本质上是平移等变的，但不是设计用于处理旋转。在本文中，我们首先证明了在视频中存在旋转实例的情况下，现有跟踪器的性能受到严重影响。为了避免旋转的不利影响，我们提出了旋转等变连体网络（RE-SiamNets），通过使用包含可操纵滤波器的组等变卷积层构建。SiamNets允许以无监督的方式估计对象的方向变化，从而也便于其在相对2D姿态估计中的使用。我们进一步表明，这种方向的变化可以用来施加一个额外的运动约束，通过施加限制在两个连续的帧之间的方向的变化，在暹罗跟踪。为了进行基准测试，我们提出了旋转跟踪基准（RTB），这是一个包含一组具有旋转实例的视频的数据集。通过对两种流行的Siamese架构的实验，我们表明RE-SiamNets可以很好地处理旋转问题，并且性能优于常规的同类产品。此外，RE-SiamNets可以以无监督的方式准确地估计目标姿态的相对变化，即目标相对于参考系的平面内旋转。
2020-12-24 cs.CV
USEEK: Unsupervised SE(3)-Equivariant 3D Keypoints for Generalizable Manipulation
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai AI Lab（上海人工智能实验室）
一个机器人可以操纵类内看不见的对象在任意姿势的帮助下，仅仅是一个单一的对象实例上的抓取姿势示范？在本文中，我们试图通过使用USEEK来解决这个有趣的挑战，USEEK是一种无监督的SE（3）-等变关键点方法，可以在类别中的实例之间进行对齐，以执行可推广的操作。USEEK遵循教师-学生结构来解耦无监督关键点发现和SE（3）-等变关键点检测。有了USEEK，机器人可以以有效和可解释的方式推断类别级任务相关的对象框架，从而能够从任何姿势操纵任何类别内对象。通过大量的实验，我们证明了USEEK产生的关键点具有丰富的语义，从而成功地将功能知识从演示对象转移到新的。与其他对象表示的操作相比，USEEK是更自适应的，在面对大的类别内的形状变化，更强大的有限的演示，更有效的推理时间。
2023-02-17 cs.CV cs.RO
Single-View 3D Reconstruction via SO(2)-Equivariant Gaussian Sculpting Networks
University of Michigan（密歇根大学）
该研究提出SO(2)等变高斯雕刻网络GSNs，通过共享特征提取器解码高斯表示实现>150FPS的单视图3D重建，质量媲美扩散类算法，可用于机器人抓取流水线。
2024-09-11 cs.CV cs.RO
SE(3)-Equivariant Attention Networks for Shape Reconstruction in Function Space
University of Pennsylvania（宾夕法尼亚大学）
提出了一种基于无方向点云的三维形状重建方法。我们的方法包括一个新的SE（3）-等变坐标为基础的网络（TF-ONet），参数化的形状的占用字段，并尊重问题的固有对称性。与以前的形状重建方法，对齐输入到一个规则的网格，我们直接操作的不规则点云。我们的架构利用了对本地令牌进行操作的等变注意力层。这种机制可以实现局部形状建模，这是可扩展到大型场景的关键属性。给定一个无方向的，稀疏的，嘈杂的点云作为输入，我们为每个点产生等变特征。这些作为键和值用于随后的参数化占用字段的等变交叉注意块。通过查询空间中的任意点，我们预测其占用分数。我们表明，我们的方法优于以前的SO（3）-等变方法，以及在SO（3）-增强数据集上训练的非等变方法。更重要的是，局部建模与SE（3）-等方差一起创建了SE（3）场景重建的理想设置。我们表明，通过只对单个对齐的对象进行训练，并且没有任何预分割，我们可以重建包含任意多个随机姿势的对象的新场景，而不会有任何性能损失。
2023-02-10 cs.CV cs.LG
Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了神经描述符字段（NDF），这是一种对象表示，通过类别级描述符对对象和目标（如机器人抓手或用于悬挂的机架）之间的点和相对姿态进行编码。我们使用这种表示来进行对象操作，在给定任务演示的情况下，我们希望在同一类别的新对象实例上重复相同的任务。我们建议通过搜索（通过优化）其描述符与演示中观察到的描述符相匹配的姿势来实现这一目标。NDF通过3D自动编码任务以自我监督的方式方便地训练，该任务不依赖于专家标记的关键点。此外，NDF是SE（3）-等变的，保证了在所有可能的3D对象平移和旋转中推广的性能。我们展示了学习的操作任务，从几个（5-10）在模拟和一个真正的机器人演示。我们的性能概括了对象实例和6-DoF对象姿势，并显着优于最近的基线，依赖于2D描述符。项目网址：https://yilundu.github.io/ndf/。
2021-12-09 cs.AI cs.CV cs.LG
Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views?
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Center for Brain Science（脑科学中心）；Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
等变性已经成为一个理想的属性表示对象的身份保持变换，构成一个组，如平移和旋转。然而，群等方差约束的表示的表达性仍然没有完全理解。我们解决这个差距，提供了一个概括的覆盖函数计数定理，量化的线性可分和组不变的二进制二分法，可以分配到对象的等变表示的数量。我们发现，可分二分法的分数是由空间的维数，是固定的群作用。我们展示了这种关系如何扩展到操作，如卷积，元素非线性，全局和局部池。虽然其他操作不会改变可分离二分法的分数，但局部池化减少了分数，尽管是高度非线性操作。最后，我们在随机初始化和完全训练的卷积神经网络的中间表示上测试了我们的理论，并发现完全一致。
2022-02-05 cs.CV cs.LG stat.ML
Image to Icosahedral Projection for $\mathrm{SO}(3)$ Object Reasoning from Single-View Images
Northeastern University（东北大学）
基于2D图像的3D对象的推理是具有挑战性的，这是由于从不同方向观看对象所引起的外观变化。诸如对象分类之类的任务对于3D旋转是不变的，而诸如姿态估计之类的其他任务是等变的。然而，施加等方差作为模型约束对于2D图像输入通常是不可能的，因为我们没有关于图像在平面外对象旋转下如何变化的先验模型。目前存在的唯一$\mathrm{SO}(3)$ -等变模型需要点云或体素输入，而不是2D图像。在本文中，我们提出了一种新的架构的基础上二十面体群卷积的原因，在$\mathrm{SO(3)}$通过学习的投影输入图像到一个二十面体。得到的模型与$\mathrm{SO}(3)$中的旋转近似等变。我们将此模型应用于物体姿态估计和形状分类任务，并发现它优于合理的基线。项目网址：\url{https://dmklee.github.io/image2icosahedral}
2022-11-15 cs.CV cs.LG
NeuSE: Neural SE(3)-Equivariant Embedding for Long-Term Object-Based Simultaneous Localization and Mapping
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
NeuSE提出一种神经SE(3)-等变物体嵌入，从部分观测构建紧凑点云替代表示，直接导出SE(3)位姿约束，支持独立或与通用SLAM协同的物体级定位与变化感知建图，并在合成和真实序列上验证了精度提升。
2026-10-14 cs.AI cs.CV cs.LG
SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields
Improbable AI Lab（Improbable人工智能实验室）；CSAIL（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种方法，用于执行任务，涉及新的对象实例之间的空间关系初始化在任意姿态直接从点云观测。我们的框架提供了一种可扩展的方式来指定新的任务，只使用5-10个演示。对象重新排列被形式化为寻找将对象的任务相关部分配置为期望对齐的动作的问题。这种形式主义是在三个步骤中实现的：分配一个一致的本地坐标框架的任务相关的对象部分，确定这个坐标框架上看不见的对象实例的位置和方向，并执行一个动作，使这些帧到所需的对齐。我们克服了关键的技术挑战，确定任务相关的局部坐标框架，从几个演示开发的优化方法的基础上神经描述符字段（NDF）和一个单一的注释3D关键点。一个基于能量的学习方案，以模拟满足所需的关系任务的对象的联合配置，进一步提高性能。该方法进行了测试，在三个多对象的重新安排任务的模拟和真实的机器人。项目网站、视频和代码：https://anthonysimeonov.github.io/r-ndf/
2022-11-17 cs.CV cs.LG cs.RO
Deep SE(3)-Equivariant Geometric Reasoning for Precise Placement Tasks
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
提出一种可证明 SE(3)-等变的精确相对位姿预测方法，通过分解学习场景不变表示与几何推理层，仅需少量演示即可实现高精度泛化放置。
2024-04-20 cs.CV cs.LG cs.RO
