SpaER: Learning Spatio-temporal Equivariant Representations for Fetal Brain Motion Tracking
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院);Northeastern University(东北大学);Massachusetts Institute of Technology(麻省理工学院);University of California Irvine(加州大学欧文分校)
本文提出SpaER方法,通过等变神经网络与自注意力机制学习时空表示,首次在无数据增强条件下实现胎儿脑部刚性运动的动态跟踪与校正。
2024-07-31 cs.CV eess.IV
SE(3)-Equivariant and Noise-Invariant 3D Rigid Motion Tracking in Brain MRI
MIT(麻省理工学院);Vanderbilt University(范德堡大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
提出EquiTrack混合框架,结合去噪器与SE(3)等变CNN解耦噪声处理和空间特征提取,并闭式估计刚性变换,在成人及胎儿脑MRI运动追踪中超越现有方法。
2024-06-12 cs.CV eess.IV
REDI-Match: Rotation-Equivariant Distillation for Efficient and Robust Dense Matching
Tsinghua University(清华大学);Southern University of Science and Technology(南方科技大学);Beihang University(北京航空航天大学);Zhejiang University(浙江大学)
提出REDI-Match框架,通过旋转等变蒸馏将视觉基础模型的语义知识注入轻量等变编码器,结合熵驱动空间对齐模块,在密集匹配中实现高效鲁棒的旋转不变性,在SatAst数据集上提升13.89%姿态精度且速度提升1.9倍。
2026-07-01 cs.CV
Self-Supervised Equivariant Learning for Oriented Keypoint Detection
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
从图像中检测鲁棒的关键点是计算机视觉中的一个重要问题,而关键点的特征方向和尺度对关键点的描述和匹配起着重要的作用。现有的基于学习的关键点检测方法依赖于标准的修正等变CNN,但通常无法检测到针对几何变化的可靠关键点。为了学习检测鲁棒的定向关键点,我们引入了一个使用旋转等变CNN的自监督学习框架。我们提出了一个密集的方向对齐损失的图像对生成的合成变换训练基于直方图的方向图。我们的方法优于以前的方法在图像匹配基准和相机姿态估计基准。
2022-04-19 cs.CV
Deformation Robust Roto-Scale-Translation Equivariant CNNs
University of Washington(华盛顿大学);Purdue University(普渡大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
将群对称性直接引入学习过程已被证明是模型设计的有效指导方针。通过产生保证协变地转换为输入上的群动作的特征,群等变卷积神经网络(G-CNN)在具有内在对称性的学习任务中实现了显着改善的泛化性能。G-CNN的一般理论和实际实现已经针对旋转或缩放变换下的平面图像进行了研究,但仅单独研究。在本文中,我们提出了一个旋转尺度平移等变CNN(RST-CNN),这是保证通过耦合组卷积在这三个组联合实现等变。此外,由于现实中的对称变换很少是完美的,并且通常会受到输入变形的影响,因此我们提供了表示对输入失真的等方差的稳定性分析,这促使卷积滤波器在(预先固定的)低频空间模式下进行截断扩展。由此产生的模型可证明地实现了变形鲁棒性等方差,即,当变换被讨厌的数据变形“污染”时,仍然“近似地”保留了对称性,这是对于分布外泛化特别重要的属性。MNIST,时尚MNIST,STL-10的数值实验表明,所提出的模型产生显着的收益超过现有技术,特别是在小数据政权的旋转和缩放变化都存在于数据。
2021-11-22 cs.CV
Pose-Robust Face Recognition via Deep Residual Equivariant Mapping
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
由于深度学习的出现,人脸识别取得了非凡的成功。然而,许多当代的人脸识别模型仍然表现相对较差,在处理侧面人脸相比,正面人脸。一个关键原因是正面和侧面训练人脸的数量高度不平衡-与侧面训练样本相比,正面训练样本更多。此外,本质上很难学习对大的姿势变化几何不变的深度表示。在这项研究中,我们假设有一个内在的映射之间的正面和侧面的脸,因此,他们的差异在深表征空间可以弥合的等变映射。为了利用这种映射,我们制定了一种新的深度残差等价映射(DREAM)块,它能够自适应地将残差添加到输入的深度表示中,以将轮廓面部表示转换为简化识别的规范姿势。DREAM模块始终增强了许多强大的深度网络(包括ResNet模型)的轮廓人脸识别性能,而无需故意增加轮廓人脸的训练数据。该块易于使用,重量轻,并且可以以可忽略的计算开销来实现。
2018-03-02 cs.CV
SHReg: Strictly Rotation-Equivariant Point Cloud Registration via Spherical Harmonics
College of Mathematics and Systems Science, Shandong University of Science and Technology(山东科技大学数学与系统科学学院);School of Artificial Intelligence, Shandong Women’s University(山东女子学院人工智能学院)
研究提出基于$SO(3)$表示理论的SHReg框架,将局部几何特征表示为$SO(3)$不可约表示,基于球谐函数等变主干联合学习旋转不变描述符与等变特征,减少对大规模假设采样依赖,在点云配准精度上优于现有方法。
2026-07-28 cs.CV
Equivariant Filter for High Performance Image Tracking using an Event Camera
Australian National University(澳大利亚国立大学);School of Engineering(工程学院)
研究图像跟踪问题,提出用事件相机进行高性能跟踪的等变滤波器设计,利用AEB跟踪器提取测量值,经等变滤波器计算平移和旋转,含等效测量更新步骤,实验评估表明能为高速移动特征提供平滑跟踪。
2026-07-13 cs.CV
Deep Permutation Equivariant Structure from Motion
Weizmann Institute of Science(魏茨曼科学研究学院);NVIDIA Research(英伟达研究院)
现有的深度方法在立体和多视图立体设置中产生高度精确的3D重建,即,当摄像机被内部和外部校准时。然而,在具有深度网络的多视图设置中同时恢复相机姿势和3D场景结构的挑战仍然突出。受运动恢复结构(SFM)的投影因式分解和深度矩阵完成技术的启发,我们提出了一种神经网络架构,该架构在静态场景的多个图像中给定一组点轨迹,通过最小化无监督重投影损失来恢复相机参数和(稀疏)场景结构。我们的网络架构的目的是尊重问题的结构:寻求输出是equivariant的相机和场景点的排列。值得注意的是,我们的方法不需要初始化相机参数或3D点定位。我们在两个设置中测试我们的架构:(1)单个场景重建和(2)从多个场景中学习。我们的实验,在内部校准和未校准设置的各种数据集上进行,表明我们的方法准确地恢复姿势和结构,与经典的最先进的方法相当。此外,我们还证明了一个预先训练好的网络可以用来重建新的场景,使用廉价的微调,而不会损失准确性。
2021-10-24 cs.CV cs.LG
Latent Equivariant Operators for Robust Object Recognition: Promises and Challenges
Departments of Computer Science & Neuroscience and Biomedical Engineering(计算机科学与神经科学及生物医学工程系);Aalto University(艾尔沃斯大学)
本文提出通过潜在空间学习等变运算符以提升鲁棒目标识别能力,展示其在超出分布分类中的有效性,并探讨扩展至复杂数据集的挑战。
2026-03-10 cs.CV cs.LG
REVNET: Rotation-Equivariant Point Cloud Completion via Vector Neuron Anchor Transformer
Technical University of Munich(慕尼黑技术大学)
本文提出REVNET框架,利用向量神经元网络在任意旋转下实现点云补全,通过等变锚点和改进的特征表达提升稳定性,实验证明在合成和真实数据集上均优于现有方法。
2026-04-21 cs.CV
EquiFusion: Kinematics-Agnostic Human Motion Prediction via Equivariant Latent Diffusion
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
研究针对现有3D人体运动预测模型受骨骼运动学硬编码限制的问题,提出EquiFusion模型,通过排列等变架构实现潜扩散,对未见运动学有跨数据集泛化能力,在基准测试中成果领先,建立了新的人体运动预测标准。
2026-07-14 cs.AI cs.CV cs.HC
RIDE: Self-Supervised Learning of Rotation-Equivariant Keypoint Detection and Invariant Description for Endoscopy
Technical University of Munich(慕尼黑工业大学);ImFusion GmbH(ImFusion有限公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出自监督学习方法RIDE,通过架构内隐式建模旋转等变性,实现内窥镜图像中旋转等变关键点检测与不变描述,在匹配和相对位姿估计上达到新最优性能。
2023-09-18 cs.CV
Rotation Equivariant Convolutions in Deformable Registration of Brain MRI
University of California, Irvine(加州大学尔湾分校)
本文提出在脑部MRI变形登记网络中集成旋转等变卷积,通过实验验证其在提升登记精度、增强鲁棒性和提高样本效率方面的优势。
2026-04-09 cs.CV
Robust Equivariant Imaging: a fully unsupervised framework for learning to image from noisy and partial measurements
University of Edinburgh(爱丁堡大学)
深度网络在从医学成像到计算摄影的多个成像逆问题中提供最先进的性能。然而,大多数现有的网络都是用干净的信号训练的,这些信号通常很难或不可能获得。等变成像(EI)是最近的自监督学习框架,利用存在于信号分布中的组不变性来仅从部分测量数据学习重建函数。虽然EI结果令人印象深刻,但其性能会随着噪音的增加而下降。在本文中,我们提出了一个鲁棒等变成像(REI)框架,可以学习图像从噪声部分测量单独。该方法使用Stein的无偏风险估计(SURE)来获得对噪声具有鲁棒性的完全无监督的训练损失。我们表明,REI在线性和非线性逆问题上带来了可观的性能提升,从而为深度网络的鲁棒无监督成像铺平了道路。代码可在:https://github.com/edongdongchen/REI.
2022-03-15 cs.CV eess.IV eess.SP
A Simple and Universal Rotation Equivariant Point-cloud Network
Technion – Israel Institute of Technology(以色列理工学院);NVIDIA Research(英伟达研究院)
置换和刚性运动的等变性是各种3D学习问题的重要归纳偏差。最近已经证明,等变张量场网络架构是通用的-它可以近似任何等变函数。在本文中,我们提出了一个更简单的架构,证明它享有相同的通用性保证,并评估其性能的Modelnet 40。重现我们实验的代码可以在\url{https://github.com/simpleinvariance/UniversalNetwork}上找到
2022-05-27 cs.CV cs.LG
Rotation Equivariant Mamba for Vision Tasks
Department of Computing, the Hong Kong Polytechnic University(香港理工大学计算学系)
本文提出EQ-VMamba,首个旋转等变视觉Mamba架构,通过引入旋转等变交叉扫描策略和群Mamba块,提升模型对旋转变换的鲁棒性,并在多个基准测试中取得优于非等变基线的性能,参数效率提高50%。
2026-10-30 cs.CV
Equi-ViT: Rotational Equivariant Vision Transformer for Robust Histopathology Analysis
Yale University(耶鲁大学)
Equi-ViT通过引入等变卷积核提升ViT在病理学图像中的旋转鲁棒性和数据效率。
2026-01-14 cs.AI cs.CV eess.IV
Steerable Equivariant Representation Learning
Google Research(谷歌研究院);Mila(米拉研究所);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Brown University(布朗大学)
预训练的深度图像表示对于后训练任务是有用的,例如通过迁移学习进行分类、图像检索和目标检测。数据增强是在监督和自监督设置中预训练鲁棒表示的关键方面。数据增强显式或隐式地促进嵌入空间中对输入图像变换的不变性。这种不变性减少了对那些依赖于对这些特定数据增强的敏感性的下游任务的泛化。在本文中,我们提出了一种学习表示,而不是等变的数据增强的方法。我们通过使用可控表示来实现这种等方差。我们的表示可以通过学习的线性映射直接在嵌入空间中操作。我们证明了我们得到的可操纵和等变表示在迁移学习和鲁棒性方面具有更好的性能:例如,我们将线性探针top-1的精度提高了1%到3%之间; ImageNet-C的精度高达3.4%。我们进一步表明,我们表示的可操纵性为测试时增强提供了显着的加速(近50倍);通过对分布外检测应用大量增强,我们显着提高了ImageNet-C数据集上的OOD AUC。
2023-02-22 cs.CV
Leveraging Equivariant Features for Absolute Pose Regression
Interdisciplinary Center for Security Reliability Trust (SnT)(安全、可靠性与信任跨学科中心(SnT));University of Luxembourg(卢森堡大学)
虽然端到端方法在许多感知任务中已经实现了最先进的性能,但它们还无法在姿态估计中与基于3D几何的方法竞争。此外,绝对姿态回归已被证明与图像检索更相关。因此,我们假设经典卷积神经网络学习的统计特征没有携带足够的几何信息来可靠地解决这个固有的几何任务。在本文中,我们演示了如何平移和旋转等变的卷积神经网络直接诱导相机运动到特征空间的表示。然后,我们表明,这种几何属性允许隐式地增加的训练数据下的一整组图像平面保持变换。因此,我们认为直接学习等变特征比学习数据密集型中间表示更可取。全面的实验验证表明,我们的轻量级模型优于现有的标准数据集。
2022-04-05 cs.CV
Augmented Equivariant Mesh Networks for Anatomical Segmentation
Department of Pathology and Molecular Medicine(病理学与分子医学系)
本文提出EAMS,基于等变网格神经网络,结合内在网格描述符和解剖感知先验,实现鲁棒的解剖网格分割,在不同监督类型下表现优异。
2026-10-02 cs.CV cs.LG
RoES: Rotational Equivariant Selective-frequency Fusion for Multimodal Images
Zhongnan University of Economics and Law(中南财经政法大学);City University of Macau(澳门城市大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Hubei University(湖北大学);Xi’an High-tech Research Institute(西安高新技术研究所);China University of Geosciences (Wuhan)(中国地质大学(武汉))
针对多模态图像融合中旋转等变约束与频率特性冲突的问题,提出RoES网络,通过动态解耦低频与高频并分别采用等变Mamba和频谱注意力处理,在融合质量与下游检测上达到最先进性能。
2026-09-14 cs.CV
Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction
Forschungszentrum Jülich(于利希研究中心);Jülich Supercomputing Centre (JSC)(于利希超级计算中心)
针对增强式自监督学习偏重不变特征、忽视等变特征的问题,本文引入无额外参数的交叉注意力图像重构辅助任务,在3DIEBench和ImageNet上显著提升等变表示及下游性能。
2024-12-04 cs.CV
ESCAPE: Equivariant Shape Completion via Anchor Point Encoding
Technical University Munich (TUM)(慕尼黑工业大学(TUM));Google(谷歌)
针对形状补全在未知姿态和旋转变化下性能受限的问题,本文提出ESCAPE框架,利用锚点距离编码与transformer实现旋转等变重建,并通过优化恢复形状,在任意旋转和平移下取得高质量结果。
2024-12-01 cs.CV
Equivariant Transformer Networks
Stanford University(斯坦福大学)
如何将关于域的变换不变性的先验知识结合到神经网络的体系结构中?我们提出了等变Transformers(变换),一个家庭的可微图像到图像的映射,提高了对预定义的连续变换组的模型的鲁棒性。通过使用特殊导出的正则坐标系,将函数合并为相对于这些变换的等变函数。我们的经验表明,可以灵活地组成,以提高模型的鲁棒性,对更复杂的变换组在几个参数。在现实世界的图像分类任务中,该算法提高了ResNet分类器的样本效率,在有限的数据范围内实现了高达15%的出错率的相对改善,同时将模型参数计数增加了不到1%。
2019-05-24 cs.CV cs.LG stat.ML
You Only Hypothesize Once: Point Cloud Registration with Rotation-equivariant Descriptors
Wuhan University(武汉大学);The University of Hong Kong(香港大学);Texas A&M University(得克萨斯农工大学)
在本文中,我们提出了一种新的本地基于几何的框架,称为你只假设一次(YOHO),两个未对齐的点云的注册。与大多数现有的局部描述符依赖于脆弱的局部参考系来获得旋转不变性相比,所提出的描述符通过最近的组等变特征学习技术来实现旋转不变性,从而对点密度和噪声具有更强的鲁棒性。同时,YOHO中的描述符也有一个旋转等变部分,这使得我们能够从一个对应假设来估计配准。这一性质减小了可行变换的搜索空间,从而大大提高了YOHO算法的精度和效率。大量的实验表明,YOHO在四个广泛使用的数据集,3DMatch/3DLoMatch数据集,ETH数据集和WHU-TLS数据集上实现了更少的RANSAC迭代,从而获得了优异的性能。更多详细信息请参阅我们的项目页面:https://hpwang-whu.github.io/YOHO/。
2022-07-25 cs.CV
Flow Equivariant World Models: Structured Memory for Dynamic Environments
Kempner Institute, Harvard University(哈佛大学 Kempner 研究所);ML, Carnegie Mellon University(卡内基梅隆大学 ML 研究所);SEAS, Harvard University(哈佛大学 SEAS 研究所)
提出流等变世界建模框架,利用时间参数化对称性在潜在记忆中实现长时程稳定准确的动力学预测,解决部分观测问题。
2026-11-04 cs.AI cs.CV cs.LG
Equivariant Imaging Biomarkers for Robust Unsupervised Segmentation of Histopathology
Department of Biomedical Engineering, Yale University(生物医学工程系,耶鲁大学);Department of Radiology & Biomedical Imaging, Yale University(放射科与生物医学成像系,耶鲁大学);Department of Urology, Yale University(泌尿外科系,耶鲁大学);Medical Scientist Training Program, Yale University(医学科学家培训计划,耶鲁大学)
本文针对组织病理图像中ML模型缺乏旋转不变性的问题,提出通过无监督分割和对称卷积核提取等变生物标志物,并在Gleason 2019 Challenge数据集上验证其鲁棒性和泛化能力。
2025-05-08 cs.CV cs.LG eess.IV
BiEquiFormer: Bi-Equivariant Representations for Global Point Cloud Registration
University of Pennsylvania(宾夕法尼亚大学);Archimedes, Athena RC(阿基米德雅典娜研究中心)
针对任意位姿下全局点云配准深度学习方法性能骤降的问题,提出具备双等变性的BiEquiFormer框架,通过双等变层融合两点云信息提取超点对应,在低重叠数据集上鲁棒性优于现有方法。
2024-08-14 cs.CV cs.LG
VN-Transformer: Rotation-Equivariant Attention for Vector Neurons
Duke University(杜克大学);Waymo LLC(Waymo有限责任公司)
旋转等方差在诸如运动预测和3D感知的许多实际应用中是期望的属性,其中它可以提供诸如样本效率、更好的泛化和对输入扰动的鲁棒性的益处。矢量神经元(VN)是最近发展起来的一种框架,它通过将一维标量神经元扩展为三维“矢量神经元”,提供了一种简单而有效的方法来推导标准机器学习操作的旋转等变类似物。“我们引入了一种新的“VN-Transformer”架构,以解决当前VN模型的几个缺点。我们的贡献是:$(i)$我们推导出一种旋转等变注意力机制,它消除了原始矢量神经元模型所需的繁重的特征预处理; $(ii)$我们扩展了VN框架以支持非空间属性,扩展了这些模型对真实世界数据集的适用性; $(iii)$我们推导出一种旋转等变机制,用于点云分辨率的多尺度降低,大大加快了推理和训练; $(iv)$我们表明,在等方差($ε$ -近似等方差)的小权衡可以用来获得大的改进,在加速硬件上的数值稳定性和训练鲁棒性,我们绑定的传播等方差违反我们的模型。最后,我们将我们的VN-Transformer应用于3D形状分类和运动预测,结果令人信服。
2023-01-24 cs.CV cs.LG cs.RO
Unsupervised learning of object frames by dense equivariant image labelling
视觉感知的关键挑战之一是从视觉测量中提取3D对象和对象类别的抽象模型,这些对象受诸如视点、遮挡、运动和变形等复杂的讨厌因素的影响。从最近的观点分解的想法,我们提出了一种新的方法,给定大量的图像的对象,没有其他监督,可以提取一个密集的对象为中心的坐标系。这个坐标框架对于图像的变形是不变的,并且带有一个密集的等变标记神经网络,可以将图像像素映射到它们相应的对象坐标。我们证明了这种方法的适用性,简单的铰接对象和可变形的对象,如人脸,学习嵌入随机合成变换或光流对应,所有没有任何人工监督。
2017-11-18 cs.CV stat.ML
TESGNN: Temporal Equivariant Scene Graph Neural Networks for Efficient and Robust Multi-View 3D Scene Understanding
Department of Robotics(机器人学系);Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎伊德人工智能大学);College of Engineering and Computer Science(工程与计算机科学学院);VinUniversity(文大学);Department of Computer Science(计算机科学系);The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
针对3D点云生成场景图忽略对称性及缺乏时间建模的问题,提出TESGNN架构,通过ESGNN保持对称性并利用时序图匹配网络融合多时间序列场景图,提升了多视图3D场景理解的准确性、鲁棒性与效率。
2025-11-01 cs.CV cs.LG
Hybrid Perception and Equivariant Diffusion for Robust Multi-Node Rebar Tying
Tsinghua University, Shenzhen International Graduate School, Shenzhen, China(清华大学深圳国际研究生院,深圳,中国);Department of Mechanical Engineering, University of California, Berkeley(加州大学伯克利分校机械工程系);Hong Kong Center for Construction Robotics, The Hong Kong University of Science and Technology(香港科技大学建设机器人中心)
针对钢筋节点拥挤场景下位姿估计难的问题,提出融合几何感知与SE(3)等变扩散的混合方法,仅需少量演示即可实现鲁棒高效的多节点钢筋绑扎,降低数据需求。
2025-08-26 cs.CV cs.RO
Correspondence-Free Point Cloud Registration with SO(3)-Equivariant Implicit Shape Representations
University of Michigan(密歇根大学)
提出了一种点云旋转配准的无对应方法。我们学习了特征空间中每个点云的嵌入,该特征空间保留了SO(3)-等方差属性,这是由等变神经网络的最新发展实现的。通过将等变特征学习与隐式形状模型相结合,所提出的形状配准方法实现了三个主要优点。首先,数据关联的必要性被删除,因为在类似于PointNet的网络架构中的置换不变属性。其次,由于SO(3)-等方差性质,特征空间中的配准可以使用Horn方法以封闭形式求解。第三,由于配准和隐式形状重建的联合训练,配准对点云中的噪声具有鲁棒性。实验结果表明,与现有的无对应深度配准方法相比,该方法具有更好的性能。
2021-11-25 cs.CV cs.LG
Design equivariant neural networks for 3D point cloud
FPT Software(FPT软件公司);Ton Duc Thang University(通德堂大学)
本文旨在通过在一般群变换下引入群等方差来提高现有神经网络对三维点云的泛化能力和鲁棒性。设计点云等变模型的主要挑战是如何权衡模型的性能和复杂性。现有的等变模型要么太复杂,难以实现,要么非常高的复杂性。本研究的主要目的是建立一个通用的程序,将群等变性质引入三维点云的SOTA模型。从我们的过程中建立的组同变模型是简单的实现,与现有的相比,复杂性较低,他们保留了原来的SOTA骨干的优势。实验结果表明,该方法在性能和复杂度上都优于其他的组同变模型。此外,我们的方法也有助于提高语义分割模型的mIoU。总的来说,通过使用仅有限旋转等方差和增强的组合,我们的模型可以以更便宜的复杂性和GPU内存优于现有的完整$SO(3)$等方差模型。所提出的程序是通用的,并形成一个基本的方法组等变神经网络。我们相信,它可以很容易地适应其他SOTA模型在未来。
2022-05-02 cs.AI cs.CV
A General Framework for Robust G-Invariance in G-Equivariant Networks
UC Santa Barbara(加州大学圣塔芭芭拉分校)
本研究提出G-三重相关层通用方法,利用群上完备三重相关理论实现G-CNN的鲁棒群不变性,可高效适配任意离散群,在多群结构的两类数据集上提升了分类精度与对抗鲁棒性。
2024-01-26 cs.AI cs.CV cs.LG
Learning Coordinate-based Convolutional Kernels for Continuous SE(3) Equivariant and Efficient Point Cloud Analysis
Interdisciplinary Program in Neuroscience, Seoul National University(首尔国立大学神经科学跨学科项目);Département d’Informatique, École Normale Supérieure (ENS)(规范高等学校计算机系);Department of Computing, Imperial College London(伦敦帝国学院计算系);Department of Computer Science and Engineering, Seoul National University(首尔国立大学计算机科学与工程系)
本文提出ECKConv,通过坐标基网络设计实现SE(3)等价性和高效点云处理,在分类、姿态注册等任务中验证了其性能优势。
2026-03-18 cs.AI cs.CV
3D-Rotation-Equivariant Quaternion Neural Networks
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
提出了一套规则,将用于三维点云处理的各种神经网络修正为旋转等变四元数神经网络(REQNNs)。我们发现,当一个神经网络在一定条件下使用四元数特征时,网络特征自然具有旋转等变性。旋转等方差意味着对输入点云应用特定的旋转变换等效于对所有中间层四元数特征应用相同的旋转变换。此外,REQNN还确保了中间层特征对输入点的排列是不变的。与原神经网络相比,REQNN具有更高的旋转鲁棒性。
2020-10-11 cs.CV cs.LG stat.ML
Permutation-equivariant neural networks applied to dynamics prediction
Araya;Earth-Life-Science Institute(地球生命科学研究所)
卷积层的引入极大地提高了神经网络在图像任务上的性能,因为它天生就捕捉到了一种编码和学习卷积不变操作的方式,与图像域的一种潜在对称性相匹配。相比之下,有一些问题,其中有许多不同的输入都是“相同类型”的-多个粒子,多个代理,多个股票价格,等等。对应的对称性,这是置换对称性,在该算法不应该依赖于特定的顺序的输入数据。我们讨论了一个置换不变的神经网络层类似于卷积层,并显示了这种架构的能力,学习预测的运动的一个变量数量的相互作用的硬盘在2D。就像卷积层可以推广到不同的图像大小一样,我们描述的置换层可以推广到不同数量的对象。
2016-12-14 cs.CV stat.ML
Hyperspectral Diffusion Equivariant Imaging (HyDiff-EI): A Self-supervised Framework for Hyperspectral Image Inpainting
University of Edinburgh(爱丁堡大学)
提出HyDiff-EI自监督框架,将扩散建模与等变先验结合,针对高光谱图像修复,在Chikusei等真实数据集上表现优于现有算法,适配标注数据有限的遥感场景。
2026-08-28 cs.CV cs.LG
ReSeFlow: Rectifying SE(3)-Equivariant Policy Learning Flows
Tsinghua University, Shenzhen International Graduate School, Shenzhen, China(清华大学深圳国际研究生院,深圳,中国);College of Professional and Continuing Education (CPCE), The Hong Kong Polytechnic University (PolyU)(香港理工大学(PolyU)专业及继续教育学院);NYU Shanghai, China(纽约大学上海学院,中国);Department of Mechanical Engineering, University of California, Berkeley, USA(加州大学伯克利分校机械工程系)
本文提出 ReSeFlow,将校正流引入 SE(3)-等变扩散策略,仅用一步推理即可在仿真操作任务上显著降低测地线误差并提升效率。
2025-09-20 cs.CV cs.RO
Equivariant Mesh Attention Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Imperial College London(帝国理工学院);Qualcomm AI Research(高通人工智能研究院)
对称性的等变性已被证明是深度学习研究中的一个强大的归纳偏差。最近的工作网格处理集中在各种自然的对称性,包括平移,旋转,缩放,节点排列和规范变换。到目前为止,还没有一个现有的体系结构是所有这些转换的等价物。在本文中,我们提出了一个基于注意力的架构,网格数据,可证明是等变的上述所有转换。我们的管道依赖于使用相对切向特征:一个简单,有效,等方差友好的替代原始节点位置作为输入。FAUST和TOSCA数据集上的实验证实,我们提出的架构在这些基准测试中实现了更好的性能,并且确实是等变的,因此对各种局部/全局变换都是鲁棒的。
2022-08-27 cs.CV cs.LG stat.ML
FRED: Towards a Full Rotation-Equivariance in Aerial Image Object Detection
Korea Advanced Institute of Science and Technology(韩国科学技术院);Hanbat National University(韩巴国立大学)
本文提出完全旋转等变的定向目标检测器FRED,通过解耦分类与定位任务、用旋转等变向量表示边界框并作为可变形卷积偏移量,在DOTA数据集上以16%参数量取得可比或更优性能。
2023-12-22 cs.CV cs.LG
Learning with Category-Equivariant Architectures for Human Activity Recognition
School of Informatics, Nagoya University, Japan(名古屋大学信息学系);School of Computing, Australian National University, Australia(澳大利亚国立大学计算学系)
提出类别等变神经网络CatEquiv,通过编码时间、幅度和结构对称性提升人类活动识别在分布外扰动下的鲁棒性,在不增加模型容量的情况下实现强不变性和泛化能力。
2025-11-04 cs.AI cs.CV cs.HC
Correspondence-Free SE(3) Point Cloud Registration in RKHS via Unsupervised Equivariant Learning
University of Michigan(密歇根大学);Amazon Lab126(亚马逊Lab126)
提出一种无需对应关系的无监督SE(3)点云配准方法,通过将点云映射到RKHS并利用等变特征实现直接配准,在合成与真实含噪数据集上精度优于经典和监督方法。
2024-07-29 cs.CV cs.RO
RotDCF: Decomposition of Convolutional Filters for Rotation-Equivariant Deep Networks
Duke University(杜克大学)
在深度特征中显式编码组动作使得卷积神经网络(CNN)能够处理图像的全局变形,这对于许多视觉任务的成功至关重要。本文提出了同时在空间和组几何结构上的联合可操纵基上分解卷积滤波器,即具有分解卷积滤波器的旋转等变CNN(RotDCF)。这种分解便于计算联合卷积,这被证明是必要的组等方差。它显着降低了模型的大小和计算复杂性,同时保持性能,和截断的基础扩展隐式正则化的过滤器。在涉及面内和面外对象旋转的数据集上,RotDCF深度特征比常规CNN表现出更强的鲁棒性和可解释性。的稳定性的等变表示输入变化的理论上也证明了一般假设下的过滤器的分解形式。RotDCF框架可以扩展到旋转以外的组,提供了一种通用的方法,可以在减小的模型大小下实现组等方差和表示稳定性。
2018-05-17 cs.CV cs.LG stat.ML
Building Deep, Equivariant Capsule Networks
Sri Sathya Sai Institute of Higher Learning(斯里萨提亚赛高等教育学院)
胶囊网络受到其层的参数昂贵性质的限制,并且通常缺乏可证明的等方差保证。我们提出了一种胶囊网络的变体,旨在解决这个问题。我们发现,学习所有的连续层的胶囊之间的成对的部分-整体关系是低效的。此外,我们还认识到,预测网络的选择和路由机制都是等方差的关键。在此基础上,我们提出了一种胶囊网络的替代框架,该框架学习对每层的每种胶囊类型的姿态变化流形进行投影编码,称为变化空间(SOV)。这是使用一个可训练的,定义在群变换网格上的等变函数来完成的。因此,路由的预测阶段涉及使用相应的函数将更深的胶囊投影到SOV中。作为这一思想的一个具体实例,也为了获得增加参数共享的好处,我们在这个阶段使用较浅胶囊的类型齐次群等变卷积。我们还介绍了一种基于度中心的等变路由机制。我们证明了我们的一般模型的这个特定实例是等变的,因此保留了变换下输入的组成表示。我们在标准对象分类数据集上进行了几次实验,展示了我们的模型对几个胶囊基线的增强的转换鲁棒性和一般性能。
2019-09-26 cs.CV cs.LG stat.ML
Leveraging SO(3)-steerable convolutions for pose-robust semantic segmentation in 3D medical data
Support Center for Advanced Neuroimaging (SCAN), University Institute of Diagnostic and Interventional Neuroradiology, University of Bern, Inselspital, Bern University Hospital(高级神经影像支持中心(SCAN)、伯尔尼大学诊断与介入神经放射学研究所、伯尔尼大学、因塞尔斯皮塔尔医院、伯尔尼大学医院);NVIDIA(英伟达)
针对医学图像分割网络多依赖标准卷积、姿态鲁棒性不足的问题,提出基于球谐函数等变体素卷积的分割网络,无需旋转数据增强,在脑MRI分割任务中性能、小数据鲁棒性和参数效率均更优。
2024-05-17 cs.CV cs.LG eess.IV
Multi-body SE(3) Equivariance for Unsupervised Rigid Segmentation and Motion Estimation
University of Oxford(牛津大学)
本文提出一种无监督的 SE(3) 等变架构与在线训练策略,通过联合优化分割掩码和刚性运动,在仅 0.25M 参数下实现动态点云中类别无关的部件级刚性分割与运动估计。
2023-10-31 cs.AI cs.CV cs.LG