Neural Isometries: Taming Transformations for Equivariant ML
PlayStation；MIT（麻省理工学院）
针对现实几何与3D视觉任务中复杂对称性难以解析的问题，提出神经等距自编码器框架，通过正则化潜空间实现编码等距关联，可支撑自监督表示学习并直接从视图映射系数回归相机位姿。
2024-10-29 cs.AI cs.CV cs.GR
PESTO: Real-Time Pitch Estimation with Self-supervised Transposition-equivariant Objective
PESTO提出一种基于孪生架构和转置等变目标的自监督音高估计方法，以13万参数实现低延迟实时处理，并在多个数据集上超越自监督基线、媲美监督方法。
2025-10-27 cs.AI cs.LG cs.SD
ESCL: Equivariant Self-Contrastive Learning for Sentence Representations
China Mobile Research（中国移动研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
以往的句子表征对比学习方法往往只关注产生正对的不敏感变换，而忽略了对语义表征有害的敏感变换的作用。因此，我们提出了一个等变自对比学习（ESCL）方法，充分利用敏感的转换，这鼓励学习表示是敏感的某些类型的转换与额外的等变学习任务。同时，为了提高算法的实用性和通用性，ESCL从多任务学习的角度出发，简化了传统等变对比方法的实现，实现了模型参数的共享。我们评估我们的ESCL语义文本相似性任务。该方法取得了更好的效果，同时使用更少的学习参数相比，以前的方法。
2023-03-09 cs.CL cs.LG
AdS-GNN -- a Conformally Equivariant Graph Neural Network
University of Amsterdam（阿姆斯特丹大学）；Durham University（杜伦大学）
该研究提出共形等变图神经网络AdS-GNN，通过将欧氏空间数据提升至AdS空间利用共形与等距变换的对应关系，结合固有距离条件的消息传递层构建高效框架，在多领域任务中展现优异性能与共形数据提取能力。
2025-05-19 cs.AI cs.LG hep-th
Equivariant Imaging for Self-supervised Hyperspectral Image Inpainting
School of Engineering University of Edinburgh
针对机载和星载高光谱成像中因姿态变化等因素导致的图像残缺问题，提出了一种无需大规模训练数据和预训练模型的自监督修复算法Hyper-EI，实现了最先进的修复性能。
2024-04-19 cs.CV cs.LG eess.IV
Soft Task-Aware Routing of Experts for Equivariant Representation Learning
Department of Statistics and Data Science, Yonsei University（统计与数据科学系，延世大学）
提出软任务感知路由策略STAR，将投影头建模为专家以共享不变与等变学习间的信息，减少冗余特征学习，在多种迁移学习任务上取得一致提升。
2025-10-31 cs.AI cs.CV cs.LG
Invariant-equivariant representation learning for multi-class data
Faculty
通过深度神经网络学习的表征往往是高度信息化的，但就它们学习编码的信息而言是不透明的。我们介绍了一种概率建模方法，该方法学习用两个单独的深度表示来表示数据：一个不变表示，它编码数据所属的类的信息，以及一个等变表示，它编码定义类流形内特定数据点的对称变换（等变表示是指表示随对称变换自然变化）。这种方法主要基于通过两个潜在变量的数据的策略路由，因此在概念上是透明的，易于实现，并且原则上通常适用于由连续分布的离散类组成的任何数据（例如，图像中的对象，语言中的主题，行为数据中的个体）。我们在监督和半监督环境中展示了定性上令人信服的表示学习和有竞争力的定量性能，而文献中的建模方法几乎没有微调。
2019-05-19 cs.AI cs.LG stat.ML
Categorical Equivariant Deep Learning: Category-Equivariant Neural Networks and Universal Approximation Theorems
School of Informatics, Nagoya University, Japan（名古屋大学信息学系）；School of Computing, Australian National University, Australia（澳大利亚国立大学计算机学系）
本文提出范畴等变神经网络理论，证明其在不同结构下的通用逼近能力，扩展了等变深度学习的应用范围。
2025-12-23 cs.AI cs.CV cs.LG
Equivariant Masked Position Prediction for Efficient Molecular Representation
Shanghai Academy of Artificial Intelligence for Science（上海科学人工智能研究院）；INFLY TECH (Shanghai) Co., Ltd.（影力科技（上海）有限公司）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出等变掩码位置预测（EMPP）自监督方法，基于分子内势能与力理论设计位置预测任务，避免高斯混合分布近似，显著提升分子表示性能并超越现有自监督方法。
2025-03-11 cs.AI cs.LG
Self-Supervised Multi-View Learning via Auto-Encoding 3D Transformations
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Futurewei Seattle Cloud Lab（未来华西雅图云实验室）
3D对象表示学习是计算机视觉中推断3D世界的基本挑战。深度学习的最新进展已经显示了它们在3D对象识别中的效率，其中基于视图的方法迄今为止表现最好。然而，现有方法中的多视图特征学习大多是以监督的方式进行的，这通常需要大量的数据标签，成本很高。相比之下，自监督学习旨在学习多视图特征表示而不涉及标记数据。为此，我们提出了一种新的自监督范式来学习多视图变换等变表示（MV-TER），探索3D对象及其投影的多个视图的等变变换。具体来说，我们对3D对象执行3D变换，并通过投影获得变换前后的多个视图。然后，我们自我训练的表示捕捉内在的3D对象表示通过解码3D变换参数从融合的特征表示的多个视图之前和之后的变换。实验结果表明，MV-TER算法在3D对象分类和检索任务中的性能明显优于现有的基于视图的方法，并具有较好的泛化能力.
2021-03-01 cs.CV cs.LG
Equivariant Contrastive Learning
MIT（麻省理工学院）；Facebook AI Research（脸书人工智能研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在最先进的自监督学习（SSL）中，预训练通过鼓励它们在人类知识规定的有意义的变换下保持不变来产生语义上良好的表示。事实上，不变性是一个更广泛的类的平凡实例，称为等变性，可以直观地理解为表示根据输入变换的方式进行变换的属性。在这里，我们表明，而不是只使用不变性，预训练，鼓励非平凡的等变性的一些转换，同时保持不变性的其他转换，可以用来提高表示的语义质量。具体来说，我们扩展流行的SSL方法，我们命名为等变自监督学习（E-SSL）的一个更一般的框架。在E-SSL中，一个简单的附加预训练目标通过预测应用于输入的转换来鼓励等方差。我们在几个流行的计算机视觉基准测试中实证了E-SSL的有效性，例如在ImageNet上将Simplified的线性探针准确度提高到72.5%。此外，我们证明了E-SSL的实用性超出了计算机视觉的应用，特别是，我们在光子学中的回归问题显示其实用程序。我们的代码，数据集和预训练模型可在https://github.com/rdangovs/essl上获得，以帮助进一步研究E-SSL。
2022-03-15 cs.CV cs.LG eess.IV
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所）
基于神经网络（NN）和高斯过程（GP）之间的关系，目前机器学习（ML）领域出现了相当有前途的新趋势，包括许多相关的子主题，例如，神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络（CNN）的一个重要特征是它们关于输入数据的对称变换的等方差（一致性）。在这项工作中，我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程（GP）之间的关系。
2022-09-17 cs.AI cs.LG
Equivariant Self-Supervision for Musical Tempo Estimation
Universal Music Group（环球音乐集团）
近年来，自监督方法已经成为表示学习的一个有前途的途径，因为它们减轻了对标记数据集的需求，而标记数据集是稀缺且昂贵的。对比方法是音频领域中自我监督的流行选择，并且通常通过强制模型对输入的某些变换保持不变来提供学习信号。然而，这些方法需要采取负采样或某种形式的正则化等措施，以防止模型在平凡解上崩溃。在这项工作中，而不是不变性，我们建议使用等方差作为一个自我监督信号学习音频节奏表示从未标记的数据。我们推导出一个简单的损失函数，它可以防止网络在训练过程中崩溃在一个平凡的解决方案上，而不需要任何形式的正则化或负采样。我们的实验表明，它是可以学习有意义的表示节奏估计仅仅依靠等变自我监督，实现性能与监督的方法在几个基准。作为一个额外的好处，我们的方法只需要适度的计算资源，因此仍然可以访问广泛的研究社区。
2022-09-03 cs.AI cs.LG cs.SD
Homomorphic Self-Supervised Learning
Apple（苹果公司）
在这项工作中，我们观察到，许多现有的自监督学习算法可以统一和推广时，通过等变表示的镜头。具体来说，我们介绍了一个一般的框架，我们称之为同态自监督学习，并从理论上展示了它如何可能substrate的使用输入增强提供了一个增强同态特征提取器。我们验证了这个理论的实验简单的增强，演示了框架失败时，代表性结构被删除，并进一步实证探索如何这个框架的参数与传统的基于增强的自监督学习。最后，我们讨论了这种新的视角对自监督学习的潜在好处。
2022-11-15 cs.AI cs.LG
E3x: $\mathrm{E}(3)$-Equivariant Deep Learning Made Easy
Google DeepMind（谷歌DeepMind）
E3x 是一个构建 $\mathrm{E}(3)$-等变神经网络的软件包，通过内置等变性保证精确满足变换规则，提升数据效率和准确性，并提供代码与文档。
2024-11-11 cs.AI cs.LG physics.chem-ph
Equivariant Hamiltonian Flows
Google（谷歌公司）
本文介绍了等变哈密顿流，学习表达密度的方法是不变的相对于一个已知的李代数的局部对称变换，同时提供一个等变表示的数据。我们提供了如何学习这些流的原理证明，以及如何添加对称不变性约束可以提高数据效率和泛化。最后，我们将连接到解纠缠表示学习，并展示这项工作如何与最近提出的定义相关。
2019-09-30 cs.LG stat.ML
AETv2: AutoEncoding Transformations for Self-Supervised Representation Learning by Minimizing Geodesic Distances in Lie Groups
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Huawei Research America（华为美国研究院）
通过预测变换的自监督学习在无监督和（半）监督任务中都表现出了出色的性能。其中最先进的方法是自动编码变换（AET），通过解码原始图像和变换图像的学习表示的变换。确定性和概率性的Aesthetics都依赖于欧几里得距离来测量估计的转换与其地面真实对应物的偏差。然而，这个假设是有问题的，因为一组变换通常驻留在弯曲的流形上，而不是停留在平坦的欧几里得空间中。为此，我们应该用测地线来描述图像如何沿着变换群的流形变换，并采用其长度来度量变换之间的偏差。特别地，我们提出自动编码单应性变换PG（2）的李群来学习图像表示。为此，我们通过将PG（2）投影到旋转变换SO（3）的一个子群来估计难以处理的黎曼对数，该子群允许测地距离的封闭形式表达。实验表明，所提出的AETv2模型优于以前的版本，以及其他国家的最先进的自监督模型在多个任务。
2019-11-16 cs.CV cs.LG cs.NE
Multi-task learning on partially labeled datasets via invariant/equivariant semi-supervised learning
KTH Royal Institute of Technology（皇家理工学院）；Univrses AB
本文研究了不变和等变半监督学习在处理部分标注数据集上多任务模型训练挑战的潜力，通过FixMatch方法和其等变扩展Dense FixMatch进行评估，在城市景观和BDD100K数据集上针对常见的目标检测和语义分割任务进行测试，发现不变和等变半监督学习在大多数情况下优于监督基线，特别是在标注样本较少时效果更佳。
2026-05-17 cs.AI cs.CV cs.LG
Self-Supervised Learning for Group Equivariant Neural Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
提出了一种基于群等变神经网络的自监督学习任务构造方法。群等变神经网络是一种其结构被限制为随输入变换而交换的模型。因此，重要的是要为自监督学习构建不与这种等变性相矛盾的借口任务。为了确保训练与等方差一致，我们提出了两个自监督任务的概念：等变的借口标签和不变的对比损失。等变前提标签使用一组标签，我们可以在这些标签上定义与输入变化相对应的转换。不变对比损失使用修改的对比损失，其吸收每个输入上的转换的影响。在标准图像识别基准上的实验表明，等变神经网络利用了所提出的等变自监督任务。
2023-03-08 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
弱监督语义分割以其低标注成本的优势，近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则，扩大和限制的种子区域从类激活图（CAM）。众所周知，传统的CAM往往是不完整的或过度激活，由于监管不力。幸运的是，我们发现语义分割具有空间变换等变性，可以形成一些自我监督，以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点，制定了一个自监督规模等变网络（SSENet）。具体地说，一种新的尺度等变正则化精心设计，以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明，该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
等方差是一个很好的属性，因为它可以产生更具参数效率的神经架构，并通过特征映射保留输入的结构。即使变换的某些组合可能永远不会出现（例如，直立的脸与水平的鼻子），当前的等变架构在学习特征表示时会考虑变换组中所有可能的变换的集合。首先，人类视觉系统能够注意到环境中发生的一组相关变换，并利用这些信息来帮助和改进对象识别。基于这一观察，我们修改传统的等变特征映射，使他们能够参加的数据中的共现变换集，并推广这一概念，以作用于由多个对称性组成的组。我们表明，我们提出的共同关注等变神经网络始终优于传统的旋转等变和旋转和反射等变神经网络旋转MNIST和CIFAR-10。
2020-02-10 cs.CV cs.LG stat.ML
Learning Generalized Transformation Equivariant Representations via Autoencoding Transformations
Futurewei Seattle Cloud Lab（未来伟西雅图云实验室）；University of Central Florida（中佛罗里达大学）；Purdue University（普渡大学）
变换等变表示（TER）旨在通过扩展卷积神经网络（CNN）成功的基础{ \em translation}等变的概念来捕获与各种变换等变的内在视觉结构。为此，我们提出了确定性自动编码变换（AET）和概率自动编码变分变换（AVT）模型，以从通用变换组中学习视觉表示。虽然AET是通过直接解码来自学习的表示的变换来训练的，但是AVT是通过最大化学习的表示和变换之间的联合互信息来训练的。这导致广义TER（GTER）等变对变换在一个更一般的方式，通过捕捉复杂的模式的视觉结构超出了传统的线性等变下的变换组。所提出的方法可以扩展到（半）监督模型，通过共同最大化的互信息的学习表示与标签和变换。实验表明，该模型在无监督和（半）监督任务中的性能优于最先进的模型。
2019-11-17 cs.CV cs.LG stat.ML
Rotation-Equivariant Self-Supervised Method in Image Denoising
Xi’an Jiaotong University（西安交通大学）；Pengcheng Laboratory（鹏城实验室）；Macau University of Science and Technology（澳门科学技术大学）
本文提出将旋转等变卷积引入自监督图像去噪，通过理论分析证明网络可改造为旋转等变版本，并设计掩码融合机制构建自适应框架，实验验证了有效性。
2025-05-26 cs.CV
Deeply Supervised Rotation Equivariant Network for Lesion Segmentation in Dermoscopy Images
The Chinese University of Hong Kong（香港中文大学）
皮肤镜图像中病灶的自动分割是黑色素瘤计算机辅助诊断的重要步骤。皮肤镜图像表现出旋转和反射对称性，然而，这种几何性质尚未在现有技术的基于卷积神经网络的皮肤病变分割方法中编码。在本文中，我们提出了一个深度监督的旋转等变网络的皮肤病变分割扩展最近的组旋转等变网络\cite{cohen2016group}。具体来说，我们提出了G-上采样和G-投影操作，以适应我们的皮肤病变分割问题的旋转等变分类网络。为了进一步提高性能，我们将深度监督方案集成到我们提出的旋转等变分割架构中。整个框架是等变的输入变换，包括旋转和反射，这提高了网络的效率，从而有助于分割性能。我们在ISIC 2017皮肤病变挑战数据集上广泛评估了我们的方法。实验结果表明，在不同的实验设置下，我们的旋转等变网络始终优于具有相同模型复杂度的常规网络。我们最好的模型在测试数据集上达到77.23\%（JA），优于最先进的挑战性方法，并进一步证明了我们提出的深度监督旋转等变分割网络的有效性。我们的最佳模型也优于最先进的挑战性方法，这进一步证明了我们提出的深度监督旋转等变分割网络的有效性。
2018-07-08 cs.CV
Hyperspectral Diffusion Equivariant Imaging (HyDiff-EI): A Self-supervised Framework for Hyperspectral Image Inpainting
University of Edinburgh（爱丁堡大学）
提出HyDiff-EI自监督框架，将扩散建模与等变先验结合，针对高光谱图像修复，在Chikusei等真实数据集上表现优于现有算法，适配标注数据有限的遥感场景。
2026-08-28 cs.CV cs.LG
Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction
Forschungszentrum Jülich（于利希研究中心）；Jülich Supercomputing Centre (JSC)（于利希超级计算中心）
针对增强式自监督学习偏重不变特征、忽视等变特征的问题，本文引入无额外参数的交叉注意力图像重构辅助任务，在3DIEBench和ImageNet上显著提升等变表示及下游性能。
2024-12-04 cs.CV
GraphTER: Unsupervised Learning of Graph Transformation Equivariant Representations via Auto-Encoding Node-wise Transformations
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；Futurewei Technologies
图卷积神经网络（GCNN）的最新进展表明，它对图上的非欧数据的有效性，这往往需要大量的标记数据，成本高。因此，在实践中以无监督的方式学习图特征表示是至关重要的。为此，我们提出了一种新的图变换等变表示（GraphTER）的无监督学习，旨在捕捉全局和局部变换下的图结构的内在模式。具体来说，我们允许从图中采样不同的节点组，然后将它们按节点进行各向同性或各向异性变换。然后，我们自训练一个表示编码器，通过从原始图和变换图的特征表示重建这些节点方向的变换来捕获图结构。在实验中，我们将学习的GraphTER应用于3D点云数据的图形，点云分割/分类的结果表明，GraphTER的性能明显优于最先进的无监督方法，并大大接近完全监督的上限。该代码可从以下网址获得：https://github.com/gyshgx868/graph-ter。
2020-03-19 cs.CV cs.LG
Self-Supervised Equivariant Learning for Oriented Keypoint Detection
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
从图像中检测鲁棒的关键点是计算机视觉中的一个重要问题，而关键点的特征方向和尺度对关键点的描述和匹配起着重要的作用。现有的基于学习的关键点检测方法依赖于标准的修正等变CNN，但通常无法检测到针对几何变化的可靠关键点。为了学习检测鲁棒的定向关键点，我们引入了一个使用旋转等变CNN的自监督学习框架。我们提出了一个密集的方向对齐损失的图像对生成的合成变换训练基于直方图的方向图。我们的方法优于以前的方法在图像匹配基准和相机姿态估计基准。
2022-04-19 cs.CV
Learned Equivariant Rendering without Transformation Supervision
NYU（纽约大学）；NVidia（英伟达）；Google（谷歌）
我们提出了一个自我监督的框架来学习场景表示从视频中自动划定为对象和背景。我们的方法依赖于移动对象是等变的，相对于他们的跨帧的变换和背景是恒定的。经过训练后，我们可以实时的操纵和渲染场景，以创建对象、变换和背景的不可见组合。我们展示了移动MNIST与背景的结果。
2020-11-11 cs.CV
Transformation-Equivariant 3D Object Detection for Autonomous Driving
Inceptio Technology（嬴彻科技）
三维目标检测近年来在自动驾驶中受到越来越多的关注。三维场景中的物体以不同的方向分布。普通的探测器没有明确地模拟旋转和反射变换的变化。因此，强大的检测需要大型网络和广泛的数据增强。最近的等变网络通过在多个变换的点云上应用共享网络来显式地建模变换变化，在物体几何建模中显示出巨大的潜力。然而，由于计算成本大、推理速度慢，此类网络很难应用于自动驾驶中的3D目标检测。在这项工作中，我们提出了TED，一个有效的变换等变3D检测器，以克服计算成本和速度问题。TED首先应用稀疏卷积主干来提取多通道变换等变体素特征;然后将这些等变特征对齐并聚合成轻量级和紧凑的表示，用于高性能的3D目标检测。在竞争激烈的KITTI 3D汽车检测排行榜上，TED以极具竞争力的效率在所有提交作品中排名第一。
2022-12-01 cs.CV
Latent Equivariant Operators for Robust Object Recognition: Promises and Challenges
Departments of Computer Science & Neuroscience and Biomedical Engineering（计算机科学与神经科学及生物医学工程系）；Aalto University（艾尔沃斯大学）
本文提出通过潜在空间学习等变运算符以提升鲁棒目标识别能力，展示其在超出分布分类中的有效性，并探讨扩展至复杂数据集的挑战。
2026-03-10 cs.CV cs.LG
Equivariant Splitting: Self-supervised learning from incomplete data
LPENSL, CNRS, ENS de Lyon, France（LPENSL、CNRS、 Lyon 工程科学研究院、法国）；Prysm, Lyon, France（Prysm、Lyon、法国）
本文提出一种新的自监督学习策略，用于处理单个不完整观测模型下的逆问题，通过等价性定义和自监督分裂损失，实现对监督损失的无偏估计，实验显示在高秩 deficient 前向模型中取得最佳性能。
2026-05-12 cs.CV
Self-Supervised Equivariant Scene Synthesis from Video
NYU（纽约大学）；NVidia（英伟达）；Technical University of Berlin（柏林工业大学）；Google（谷歌）
我们提出了一个自我监督的框架来学习场景表示从视频自动划定为背景，人物，和他们的动画。我们的方法利用了移动字符是等变的，相对于他们的跨帧的变换和背景是恒定的，相对于相同的变换。经过训练后，我们可以实时的操纵图像编码，以创建所描绘的组件的不可见组合。据我们所知，我们是第一个对可解释的背景、角色和动画进行无监督提取和合成的方法。我们在三个数据集上展示了结果：移动MNIST背景，2D视频游戏精灵和时尚建模。
2021-02-01 cs.CV
Equivariant Transformer Networks
Stanford University（斯坦福大学）
如何将关于域的变换不变性的先验知识结合到神经网络的体系结构中？我们提出了等变Transformers（变换），一个家庭的可微图像到图像的映射，提高了对预定义的连续变换组的模型的鲁棒性。通过使用特殊导出的正则坐标系，将函数合并为相对于这些变换的等变函数。我们的经验表明，可以灵活地组成，以提高模型的鲁棒性，对更复杂的变换组在几个参数。在现实世界的图像分类任务中，该算法提高了ResNet分类器的样本效率，在有限的数据范围内实现了高达15%的出错率的相对改善，同时将模型参数计数增加了不到1%。
2019-05-24 cs.CV cs.LG stat.ML
Similarity Equivariant Linear Transformation of Joint Orientation-Scale Space Representations
University of New Mexico（新墨西哥大学）
卷积通常被定义为对一个或多个变量的函数进行线性运算，其与移位交换。群卷积将概念推广到表示更一般的几何变换的群元素的函数上的线性运算，并且与这些变换交换。由于相似变换是图像上最一般的保形几何变换，因此与相似变换等变的群卷积是最一般的保形线性算子。由于相似变换有四个自由参数，群卷积被定义在四维联合方向尺度空间上。虽然先前的工作等变线性算子已被限制到离散群，相似组是连续的。在本文中，我们描述了线性算子的离散表示是等变的连续相似变换。这是通过使用一个函数的基础来实现的，即它是一个联合的shiftable-twistable-scalable。这些风车功能使用傅立叶级数的方向维度和拉普拉斯变换的对数尺度的维度，以形成一个基础的空间定位功能，可以连续内插的位置，方向和规模。虽然这一结果是潜在的显着相对于视觉计算一般，我们提出了一个初步的证明，它的效用，使用它来计算的形状等变分布的封闭轮廓跟踪粒子进行布朗运动的速度。这些轮廓由代表众所周知的虚幻轮廓诱导模式的点和线端点的集合约束。
2022-03-15 cs.CV
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
图像级弱监督语义分割是近年来得到深入研究的一个具有挑战性的问题。大多数高级解决方案利用类激活图（CAM）。然而，由于完全监督和弱监督之间的差距，CAM很难作为对象掩码。在本文中，我们提出了一个自我监督的同变注意力机制（SEAM），发现额外的监督和缩小差距。我们的方法是基于这样的观察，即等方差是全监督语义分割中的隐式约束，其像素级标签在数据增强期间与输入图像进行相同的空间变换。然而，这种约束在通过图像级监督训练的CAM上丢失。因此，我们提出了一致性正则化预测CAM从各种变换的图像，为网络学习提供自我监督。此外，我们提出了一个像素相关性模块（PCM），它利用上下文外观信息和细化预测当前像素的相似邻居，导致进一步提高CAM一致性。在PASCAL VOC 2012数据集上进行的大量实验表明，我们的方法在使用相同监督级别的情况下优于最先进的方法。代码已在线发布。
2020-04-09 cs.CV
3D Equivariant Graph Implicit Functions
University of Amsterdam（阿姆斯特丹大学）；CFAR, IHPC, A*STAR（新加坡科技研究局高性能计算研究所计算机视觉与机器人研究中心）；University of Edinburgh（爱丁堡大学）；Technical University of Munich（慕尼黑工业大学）
近年来，神经内隐表征在具有任意拓扑结构的三维形状建模方面取得了显著的进展。在这项工作中，我们解决了这种表示的两个关键限制，未能捕捉到局部3D几何细节，并学习和推广到形状与看不见的3D变换。为此，我们引入了一个新的家庭的图形隐式函数的等变层，便于建模精细的局部细节和保证鲁棒性的各种几何变换组，通过本地$k$ -NN图嵌入稀疏点集观测在多个分辨率。我们的方法改进了现有的旋转等变隐函数，从0.69到0.89（IoU）的ShapeNet重建任务。我们还表明，我们的等变隐函数可以扩展到其他类型的相似性变换，并推广到看不见的翻译和缩放。
2022-03-31 cs.AI cs.CV
Equivariant Mesh Attention Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Imperial College London（帝国理工学院）；Qualcomm AI Research（高通人工智能研究院）
对称性的等变性已被证明是深度学习研究中的一个强大的归纳偏差。最近的工作网格处理集中在各种自然的对称性，包括平移，旋转，缩放，节点排列和规范变换。到目前为止，还没有一个现有的体系结构是所有这些转换的等价物。在本文中，我们提出了一个基于注意力的架构，网格数据，可证明是等变的上述所有转换。我们的管道依赖于使用相对切向特征：一个简单，有效，等方差友好的替代原始节点位置作为输入。FAUST和TOSCA数据集上的实验证实，我们提出的架构在这些基准测试中实现了更好的性能，并且确实是等变的，因此对各种局部/全局变换都是鲁棒的。
2022-08-27 cs.CV cs.LG stat.ML
Iterative collaborative routing among equivariant capsules for transformation-robust capsule networks
SSSIHL（斯里萨提亚赛高等研究院（SSSIHL））
变换鲁棒性是执行图像分类的机器学习模型的重要特征。许多方法旨在通过使用数据增强策略来赋予模型此属性，而通过使用等变模型来获得更正式的保证。我们认识到，组成或部分整体结构也是图像的一个重要方面，必须考虑建立变换鲁棒模型。因此，我们提出了一个胶囊网络模型，这是，在一次，等变和成分感知。我们的胶囊网络模型的等变来自于在精心选择的新颖架构中使用等变卷积。意识的组合性来自于使用我们提出的新的，迭代的，基于图的路由算法，称为迭代协作路由（ICR）。ICR是我们贡献的核心，它根据最近邻居的度中心性的迭代平均得分来加权胶囊的预测。在FashionMNIST、CIFAR-10和CIFAR-100上对变换后的图像分类进行的实验表明，我们使用ICR的模型优于卷积和胶囊基线，实现了最先进的性能。
2022-10-20 cs.CV
Flow Equivariant Recurrent Neural Networks
Harvard University（哈佛大学）
本文提出流等变递归神经网络，通过引入时间参数化的对称性，提升序列模型在训练速度、长度泛化和速度泛化方面的性能。
2025-12-01 cs.CV cs.LG
SIM2E: Benchmarking the Group Equivariant Capability of Correspondence Matching Algorithms
Tongji University（同济大学）
对应匹配是计算机视觉和机器人应用中的一个基本问题。最近，使用神经网络解决对应匹配问题已经兴起。旋转等方差和尺度等方差在对应匹配应用中都是至关重要的。经典的对应匹配方法被设计为承受缩放和旋转变换。然而，使用卷积神经网络（CNN）提取的特征在一定程度上只是一种等变的。最近，研究人员一直在努力提高基于群论的CNN的旋转等方差。Sim（2）是2D平面中的相似变换群。本文提出了一个专门的数据集，致力于评估sim（2）-等变对应匹配算法。我们比较了16种最先进的（SoTA）对应匹配方法的性能。实验结果证明了群等变算法在各种sim（2）变换条件下对应匹配的重要性。由于基于CNN的对应匹配方法实现的亚像素精度不令人满意，因此在未来的工作中需要更多关注这一特定领域。我们的数据集可在mias.group/SIM2E上公开获取。
2022-08-21 cs.AI cs.CV
PeCLR: Self-Supervised 3D Hand Pose Estimation from monocular RGB via Equivariant Contrastive Learning
ETH Zurich（苏黎世联邦理工学院）
受对比学习在图像分类任务上的成功的鼓舞，我们提出了一种新的自监督方法用于3D手部姿态估计的结构化回归任务。对比学习利用未标记的数据通过损失公式进行表示学习，该损失公式鼓励学习的特征表示在任何图像变换下都是不变的。对于3D手部姿态估计，也期望具有对诸如颜色抖动的外观变换的不变性。然而，该任务需要仿射变换下的等方差，例如旋转和平移。为了解决这个问题，我们提出了一个等变对比目标，并证明其有效性的背景下，3D手姿态估计。我们的实验研究不变和等变对比目标的影响，并表明学习等变功能，导致更好的表示为3D手姿态估计的任务。此外，我们还证明了具有足够深度的标准ResNets，在额外的未标记数据上进行训练，在FreiHAND上的PA-EPE中获得了高达14.5%的改进，从而在没有任何特定任务的情况下实现了最先进的性能。代码和模型可在https://ait.ethz.ch/projects/2021/PeCLR/上获得
2022-08-03 cs.CV
Restore Translation Using Equivariant Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对CNN对平移敏感且现有不变性方法损害标准性能的问题，提出分类器前恢复器，基于张量空间平移等变充分必要条件恢复变换输入，保持分类器不变。
2023-06-29 cs.CV cs.LG
Capsule Network Projectors are Equivariant and Invariant Learners
Department of Computing Science University of Aberdeen, UK（计算机科学系阿伯丁大学）
本研究提出基于胶囊网络的不变-等变自监督架构CapsIE，搭配熵最小化目标函数，在3DIEBench等变旋转任务上取得SOTA性能，且参数更少、效率更高，证明胶囊网络可学习更泛化的表示。
2025-10-04 cs.CV
Scale-Equivariant Imaging: Self-Supervised Learning for Image Super-Resolution and Deblurring
ENSL, CNRS, Laboratoire de Physique（ENSL、CNRS、物理实验室）；School of Engineering, University of Edinburgh（工程学院、爱丁堡大学）
本文提出尺度等变成像方法，通过利用图像分布的尺度不变性，提升图像超分辨率和去模糊任务的性能，实现与全监督学习相当的效果。
2026-01-28 cs.CV eess.IV
Weakly supervised segmentation with cross-modality equivariant constraints
École de Technologie Supérieure（高等技术学院）；Purdue University（普渡大学）
弱监督学习已经成为一种有吸引力的替代方案，以减轻语义分割中对大型标记数据集的需求。目前大多数方法利用类激活图（CAM），它可以从图像级注释生成。然而，由此产生的地图已被证明是高度判别，未能作为最佳的代理像素级标签。我们提出了一种新的学习策略，利用自我监督的多模态图像的情况下，显着提高原始CAM。特别是，所提出的方法是基于两个观察。首先，全监督分割网络的学习通过数据增强隐含地施加等方差，而这种隐含的约束在使用图像标签生成的CAM上消失。第二，图像模态之间的共性可以用作有效的自我监督信号，校正跨多个模态获得的CAM所示的不一致性。为了有效地训练我们的模型，我们集成了一个新的损失函数，其中包括一个模态内和跨模态等变项，明确施加这些约束在训练过程中。此外，我们在类预测分布上添加了KL发散，以促进模态之间的信息交换，与等变正则化器相结合，进一步提高了我们模型的性能。在流行的多模态BRATS数据集上的详尽实验表明，在相同的学习条件下，我们的方法优于最近的相关文献。
2022-01-14 cs.CV
Occlusion-Invariant Rotation-Equivariant Semi-Supervised Depth Based Cross-View Gait Pose Estimation
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
从深度图像中准确估计三维人体骨骼可以为医疗保健应用提供重要的度量，特别是对于生物力学步态分析。然而，存在与从单个视图捕获的深度图像相关联的固有问题。收集的数据受到遮挡的影响很大，只能记录部分表面数据。此外，人体的深度图像表现出异构的特点与视点的变化，估计的姿态在局部坐标系下，预计将经历等变旋转。大多数现有的姿态估计模型对这两个问题都很敏感。为了解决这个问题，我们提出了一种新的方法，交叉视图的泛化与闭塞不变的半监督学习框架上建立一个新的旋转等变骨干。我们的模型使用来自单个视图的真实数据和来自多个视图的未标记合成数据进行训练。它可以很好地概括来自所有其他不可见视图的真实世界数据。与其他最先进的方法相比，我们的方法在ICL-Gait数据集上的步态分析方面表现出了卓越的性能，并且它可以在ITOP数据集上产生比其提供的“地面实况”更令人信服的关键点。
2021-09-03 cs.CV
Time-Equivariant Contrastive Video Representation Learning
Adobe Research（Adobe 研究院）
我们引入了一种新的自监督对比学习方法，从未标记的视频中学习表示。现有方法忽略了输入失真的具体情况，例如，通过学习时间变换的不变性。相反，我们认为，视频表示应该保持视频动态，并反映输入的时间操纵。因此，我们利用新的约束条件，建立表示，是等变的时间变换和更好地捕捉视频动态。在我们的方法中，增强的视频剪辑之间的相对时间变换被编码在一个向量中，并与其他变换向量进行对比。为了支持时间等方差学习，我们还提出了将视频的两个剪辑自监督分类为1。重叠2.命令，或3。无序的我们的实验表明，时间等变表示在UCF101，HMDB51和Diving48上的视频检索和动作识别基准中取得了最先进的结果。
2021-12-07 cs.CV
Self-Supervised Equivariant Regularization Reconciles Multiple Instance Learning: Joint Referable Diabetic Retinopathy Classification and Lesion Segmentation
Arizona State University（亚利桑那州立大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Children’s Hospital Los Angeles（洛杉矶儿童医院）；Mayo Clinic（梅奥诊所）
病变外观是医疗提供者区分可诊断糖尿病视网膜病变（rDR）和不可诊断DR的关键线索。大多数现有的大规模DR数据集仅包含图像级标签，而不是基于像素的注释。这促使我们开发算法，通过图像级标签对rDR和分段病变进行分类。本文利用自监督等变学习和基于注意力的多示例学习（MIL）来解决这个问题。MIL是区分阳性和阴性实例的有效策略，帮助我们在定位病变区域（阳性区域）的同时丢弃背景区域（阴性实例）。然而，MIL仅提供粗略的病变定位，并且不能区分位于相邻斑块上的病变。相反，自我监督的同变注意机制（SEAM）生成分割级别的类激活图（CAM），可以更准确地指导病变的斑块提取。我们的工作旨在整合这两种方法，以提高rDR分类精度。我们对Eyepacs数据集进行了广泛的验证实验，获得了0.958的接收器工作特征曲线（AU ROC）下的面积，优于当前最先进的算法。
2022-10-12 cs.CV eess.IV stat.ML
Nonlinear Equivariant Imaging: Learning Multi-Parametric Tissue Mapping without Ground Truth for Compressive Quantitative MRI
University of Bath（巴斯大学）；GE Healthcare（通用电气医疗集团）；Technical University of Munich（慕尼黑工业大学）；Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
当前最先进的从快速、压缩、磁共振指纹（MRF）进行定量组织图的重建使用监督式深度学习，其缺点是需要有限的高保真真值组织图训练数据。本文提出了非线性等变成像（NLEI），这是一种自监督学习方法，可以消除深度MRF图像重建对真值的需求。NLEI将最近的等变成像框架扩展到非线性逆问题，如MRF。只有快速、压缩采样的MRF扫描用于训练。NLEI使用时空先验来学习组织映射：空间先验是从MRF数据对一组几何图像变换的不变性中获得的，而时间先验是从由预训练的神经网络近似的非线性Bloch响应模型中获得的。在两个采集设置上进行回顾性测试，我们观察到NLEI（自监督学习）接近监督学习的性能，尽管在训练期间没有使用真值。
2022-11-23 cs.CV eess.IV
Equivariant Filters for Efficient Tracking in 3D Imaging
Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Boston Children’s Hospital（波士顿儿童医院）
我们展示了一种具有固定计算成本和最先进性能的3D图像对象跟踪方法。以前的方法从卷积层预测变换参数。相反，我们提出了一种架构，该架构不包括卷积特征的平坦化或完全连接的层，而是依赖于等变滤波器来保留输入和输出之间的变换（例如rot./输入旋转/平移输出）。然后从过滤器的输出以封闭形式导出变换。这种方法对于需要低延迟的应用程序（如实时跟踪）非常有用。我们在合成增强成人脑MRI以及胎儿脑MRI上展示了我们的模型，这是预期的用例。
2021-09-27 cs.CV cs.LG q-bio.QM
Equivariant Spatio-Temporal Self-Supervision for LiDAR Object Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研发实验室）
提出时空等变自监督预训练框架，联合空间与时间增强，利用3D场景流目标提升LiDAR目标检测性能，优于现有等变与不变方法。
2024-04-17 cs.CV
AVT: Unsupervised Learning of Transformation Equivariant Representations by Autoencoding Variational Transformations
Laboratory for MAchine Perception and LEarning (MAPLE)（机器感知与学习实验室（MAPLE））；Huawei Cloud（华为云）；The Chinese University of Hong Kong（香港中文大学）；University at Buffalo（布法罗大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
由Hinton等人在\cite{hinton2011transforming}中提出的变换等变表示（Transformation-Equivariant Representations，TER）的学习被认为是揭示各种变换下视觉结构的一个原则。它包含著名的卷积神经网络（CNN）作为一个特例，只等同于翻译。相比之下，我们寻求训练TER的通用类的转换和训练他们在{ \em无监督}的方式。为此，我们提出了一种新的原则性方法，自动编码变分变换（AVT），与传统的方法来自动编码数据。形式上，给定变换后的图像，AVT试图通过最大化变换和表示之间的互信息来训练网络。这确保了个体图像的所得TER包含关于其视觉结构的{ \em内在}信息，该信息在广义{ \em非线性}情况下在各种变换下将{ \em可提取地}相等。从技术上讲，我们表明，由此产生的优化问题可以有效地解决最大限度地提高变分的互信息的下限。这种变分方法引入了一个变换解码器来近似变换的难处理的后验，从而产生了一个具有一对表示编码器和变换解码器的自动编码架构。实验结果表明，AVT模型在无监督任务上的性能创下了新的纪录，大大缩小了与有监督模型的性能差距。
2019-06-25 cs.CV
RIDE: Self-Supervised Learning of Rotation-Equivariant Keypoint Detection and Invariant Description for Endoscopy
Technical University of Munich（慕尼黑工业大学）；ImFusion GmbH（ImFusion有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出自监督学习方法RIDE，通过架构内隐式建模旋转等变性，实现内窥镜图像中旋转等变关键点检测与不变描述，在匹配和相对位姿估计上达到新最优性能。
2023-09-18 cs.CV
