A general framework for rotation invariant point cloud analysis
School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School(北京大学深圳研究生院电子与计算机工程学院)
针对传统点云分析方法易受输入旋转影响的问题,本研究将旋转不变建模为排列不变问题,提出可适配任意骨干网络的通用旋转不变点云分析框架,性能达到或优于现有最优水平,可为3D预训练等研究提供支撑。
2024-02-02 cs.CV
Rethinking Rotation Invariance with Point Cloud Registration
School of Computer Science, University of Sydney(悉尼大学计算机科学学院)
最近的研究旋转不变性的三维点云一直致力于设计旋转不变的特征描述符或学习规范空间的对象是语义对齐。对学习框架的不变性的研究很少被研究。在这项工作中,我们回顾了点云配准方面的旋转不变性,并提出了一个有效的框架,通过三个连续的阶段,即旋转不变的形状编码,对齐的特征集成和深度特征配准的旋转不变性学习。我们首先对相对于在不同尺度上定义的参考帧构造的形状描述符进行编码,例如,局部补丁和全局拓扑,以生成旋转不变的潜在形状代码。在集成阶段,我们提出对齐的集成Transformer,以产生一个歧视性的功能表示,通过整合点的自我和交叉关系内建立的形状代码。同时,我们采用刚性变换的参考框架之间的形状代码对齐的特征一致性在不同的尺度。最后,将深度集成特征配准到两个旋转不变的形状代码,以最大化特征相似性,从而保留集成特征的旋转不变性,并从形状代码中隐式提取共享语义信息。三维形状分类,部分分割,检索任务的实验结果证明了我们的工作的可行性。我们的项目页面发布于:https://rotation3d.github.io/。
2022-12-31 cs.CV
Occlusion Resistant Object Rotation Regression from Point Cloud Segments
University of Hamburg(汉堡大学)
已知刚性物体的旋转估计对于机器人应用例如灵巧操作是重要的。用于旋转估计的大多数现有方法使用中间表示,诸如模板、全局或局部特征描述符或对象坐标,其需要多个步骤以便推断对象姿态。我们建议使用卷积神经网络直接从原始点云片段回归姿态向量。实验结果表明,我们的方法可以潜在地实现竞争力的性能相比,一个国家的最先进的方法,同时也表现出更强的鲁棒性对遮挡。我们的方法不需要任何后处理,如迭代最近点算法的细化。
2018-12-02 cs.CV
Rotation-Invariant Completion Network
Xi’an Jiaotong University(西安交通大学)
针对点云补全中姿态多样导致性能下降的问题,提出旋转不变补全网络RICNet,通过双管道补全与增强模块实现旋转不变特征提取,在MVP数据集上优于现有方法。
2023-08-23 cs.CV
Rotation Transformation Network: Learning View-Invariant Point Cloud for Classification and Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近的许多工作表明,空间操作模块可以提高深度神经网络(DNN)用于3D点云分析的性能。在本文中,我们的目标是提供一个深入了解空间操作模块。首先,我们发现对象的旋转自由度(RDF)越小,这些DNN就越容易处理这些对象。然后,我们研究了流行的T-Net模块的效果,发现它不能减少对象的RDF。基于上述两个问题,我们提出了一种用于点云分析的旋转变换网络,称为RTN,它可以将输入3D对象的RDF降低到0。RTN可以无缝插入到许多现有的DNN中进行点云分析。在三维点云分类和分割任务上的大量实验结果表明,所提出的RTN可以显着提高几种最先进的方法的性能。
2021-07-07 cs.CV
SHReg: Strictly Rotation-Equivariant Point Cloud Registration via Spherical Harmonics
College of Mathematics and Systems Science, Shandong University of Science and Technology(山东科技大学数学与系统科学学院);School of Artificial Intelligence, Shandong Women’s University(山东女子学院人工智能学院)
研究提出基于$SO(3)$表示理论的SHReg框架,将局部几何特征表示为$SO(3)$不可约表示,基于球谐函数等变主干联合学习旋转不变描述符与等变特征,减少对大规模假设采样依赖,在点云配准精度上优于现有方法。
2026-07-28 cs.CV
Rotation Invariant Point Cloud Classification: Where Local Geometry Meets Global Topology
Huazhong University of Science and Technology(华中科技大学);Northwestern Polytechnical University(西北工业大学);West Virginia University(西弗吉尼亚大学)
点云分析是三维计算机视觉中的一项基本任务。大多数以前的作品进行了实验的合成数据集与对齐良好的数据,而现实世界的点云往往没有预先对齐。如何实现点云数据的旋转不变性一直是点云分析中的一个难题。为了应对这一挑战,我们提出了一种新的方法,实现旋转不变(RI)表示相结合的局部几何与全球拓扑结构。在我们的局部全局表示(LGR)网络中,我们设计了一个两分支网络,其中一个流编码局部几何RI特征,另一个编码全局拓扑保持RI特征。出于观察,局部几何形状和全局拓扑结构在不同区域具有不同但互补的RI响应,两个分支RI功能融合了创新的多层感知器(MLP)为基础的注意力模块。据我们所知,这项工作是第一个原则性的方法,适应性地结合全球和本地信息的上下文中的RI点云分析。大量的实验表明,我们的LGR网络在ModelNet40,ShapeNet,ScanObjectNN和S3DIS的各种旋转增强版本上实现了最先进的性能。
2021-06-01 cs.CV
HFBRI-MAE: Handcrafted Feature Based Rotation-Invariant Masked Autoencoder for 3D Point Cloud Analysis
School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
针对现有掩码自编码器缺乏旋转不变性导致性能下降的问题,提出HFBRI-MAE框架,利用旋转不变手工特征进行令牌与位置嵌入并重定义重建目标,在多个基准上提升分类、分割与少样本学习性能。
2025-04-19 cs.CV
POIRot: A rotation invariant omni-directional pointnet
University of California(加利福尼亚大学)
点云是表示三维世界的一种有效方法。点云分析涉及理解底层3D几何结构。但由于点云缺乏光滑的拓扑结构,从而缺乏邻域结构,标准相关不能直接应用于点云。点相关的一种常用方法是将点云划分为体素,并使用标准的3D相关来提取特征。但这种方法存在点云稀疏性的问题,会产生多个空体素。处理这个问题的一个可能的解决方案是学习MLP以将点或其局部邻域映射到高维特征空间。所有这些方法都需要大量的参数,并且容易受到随机旋转的影响。使模型对旋转“不变”的一种流行方法是使用具有小旋转的数据增强技术,但潜在的缺点包括\item更多的训练样本\item容易受到大旋转的影响。在这项工作中,我们开发了一个旋转不变的点云分割和分类方案的基础上的全方位相机模型(称为{ \bf POIRot $^1$ })。我们提出的模型是旋转不变的,可以保持三维点云的几何形状。由于固有的旋转不变属性,我们提出的框架需要更少的参数(请参见\cite{Iandola2017SqueezeNetAA}和其中的参考资料,以获得精益模型的动机)。已经进行的几项实验表明,我们提出的方法可以在分类和零件分割应用中击败最先进的算法。
2019-10-30 cs.CV
General Rotation Invariance Learning for Point Clouds via Weight-Feature Alignment
Zhejiang University of Technology(浙江工业大学);JD Explore Academy(京东探索研究院);Zhejiang University(浙江大学);Fabu Inc.(法布公司)
针对点云旋转敏感且现有方法依赖全局分布、泛化不足的问题,提出权重-特征对齐(WFA)方法,通过构建局部不变参考系实现通用旋转不变学习,实验证明其几乎弥合了与常规方法的差距。
2023-10-10 cs.CV
Pairwise Point Cloud Registration using Graph Matching and Rotation-invariant Features
Technical University of Munich(慕尼黑工业大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学)
配准是点云处理中的一项基本而关键的任务,它通常依赖于从两个点云中找到元素对应。然而,找到可靠的对应关系依赖于建立一个强大的和有区别的描述元素和正确匹配的相应元素。在这封信中,我们开发了一种由粗到细的配准策略,该策略利用旋转不变特征和一种新的加权图匹配方法来迭代查找对应关系。在图匹配方法中,利用欧氏空间和特征空间中节点和边的相似度来构造优化函数。所提出的策略进行评估,使用两个基准数据集,并与几个国家的最先进的方法进行比较。关于实验结果,我们提出的方法可以实现一个精细的注册与旋转误差小于0.2度和平移误差小于0.1米。
2021-05-05 cs.CV
DetarNet: Decoupling Translation and Rotation by Siamese Network for Point Cloud Registration
点云配准是许多任务的基本步骤。本文提出了一种名为DetarNet的神经网络来解耦平移$t$和旋转$R$,从而克服了点云配准中由于它们相互干扰而导致的性能下降。首先,提出了一种基于Siamese网络的渐进和相干特征漂移(PCFD)模块,用于在高维特征空间中对齐源点和目标点,并从对齐过程中准确地恢复平移。然后,我们提出了一个共识编码单元(CEU)构建一组假定的对应更可区分的功能。然后,采用空间和通道注意(SCA)块来构建分类网络,以找到良好的对应关系。最后,通过奇异值分解(SVD)得到旋转。通过这种方式,所提出的网络简化了平移和旋转的估计,从而使两者都具有更好的性能。实验结果表明,DetarNet提高了室内和室外场景的配准性能。我们的代码将在\url{https://github.com/ZhiChen902/DetarNet}中提供。
2021-12-28 cs.CV
A Rotation-Invariant Framework for Deep Point Cloud Analysis
Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tel Aviv University(特拉维夫大学)
最近,许多深度神经网络被设计用于处理3D点云,但一个共同的缺点是不能确保旋转不变性,导致对任意方向的泛化能力差。在本文中,我们引入了一个新的低级别的纯旋转不变的表示,以取代常见的三维笛卡尔坐标作为网络的输入。此外,我们提出了一个网络架构,将这些表示嵌入到功能,编码点和它们的邻居之间的局部关系,和全球形状结构。为了减轻不可避免的旋转不变表示所造成的全局信息丢失,我们进一步引入了区域关系卷积来编码局部和非局部信息。我们评估我们的方法对多个点云分析任务,包括形状分类,部分分割,形状检索。实验结果表明,我们的方法实现了一致的,也是最好的性能,在任意方向的输入,与国家的艺术。
2021-07-05 cs.CV
A Robust and Reliable Point Cloud Recognition Network Under Rigid Transformation
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院)
点云识别是工业机器人和自动驾驶中的一项重要任务。最近,几个点云处理模型已经取得了最先进的性能。然而,这些方法缺乏旋转鲁棒性,并且它们的性能在随机旋转下严重下降,未能扩展到具有不同方向的真实世界场景。为此,我们提出了一种名为自轮廓变换(SCT)的方法,它可以灵活地集成到各种现有的点云识别模型对任意旋转。SCT通过引入轮廓感知变换(CAT)来提供有效的旋转和平移不变性,轮廓感知变换(CAT)将点的笛卡尔坐标线性地变换为平移和旋转不变表示。在理论分析的基础上,证明了CAT是一个旋转和平移不变的变换。此外,帧对齐模块提出了通过捕获轮廓和将自身基于轮廓的帧转换为类内帧来增强区分性特征提取。大量的实验结果表明,SCT优于国家的最先进的方法在任意旋转的有效性和效率的合成和现实世界的基准。此外,鲁棒性和通用性评估表明,SCT是强大的,适用于各种点云处理模型,突出了SCT在工业应用中的优势。
2021-12-29 cs.CV
REVNET: Rotation-Equivariant Point Cloud Completion via Vector Neuron Anchor Transformer
Technical University of Munich(慕尼黑技术大学)
本文提出REVNET框架,利用向量神经元网络在任意旋转下实现点云补全,通过等变锚点和改进的特征表达提升稳定性,实验证明在合成和真实数据集上均优于现有方法。
2026-04-21 cs.CV
Rotation Perturbation Robustness in Point Cloud Analysis: A Perspective of Manifold Distillation
Shanghai Jiao Tong University(上海交通大学);Shanghai Key Laboratory of Intelligent Sensing and Recognition(上海智能感知与识别重点实验室);School of Sensing Science and Engineering(感知科学与工程学院);Intelligent Photoelectric Sensing Institute(智能光电感知研究院)
针对点云学习对旋转扰动敏感的问题,本文从流形视角重新建模点云,提出流形蒸馏方法,通过教师网络在线蒸馏将旋转鲁棒性迁移给学生网络,在多数据集上实现了分类与分割性能的显著提升,且具备优异的抗噪抗离群点能力。
2024-11-04 cs.CV
SPE-Net: Boosting Point Cloud Analysis via Rotation Robustness Enhancement
JD Explore Academy(京东探索研究院)
在本文中,我们提出了一种新的深度架构为3D点云应用程序量身定制,命名为SPE-Net。嵌入的“选择性位置编码(SPE编码)”过程依赖于一个注意力机制,该机制可以有效地注意输入的潜在旋转条件。然后,这种编码的旋转条件决定了要关注的网络参数的哪一部分,并且被证明可以有效地帮助减少训练期间优化的自由度。此后,这种机制可以通过降低训练难度来更好地利用旋转增强,使SPE-Net在训练和测试过程中对旋转数据具有鲁棒性。本文的新发现也促使我们重新思考提取的旋转信息与实际测试精度之间的关系。有趣的是,我们揭示的证据表明,通过本地编码的旋转信息,通过SPE-Net,旋转不变的功能仍然是至关重要的,有利于测试样本没有任何实际的全球旋转。我们实证证明了SPE网络的优点和相关的假设在四个基准测试,旋转和旋转的测试数据在SOTA方法的显着改善。源代码可在https://github.com/ZhaofanQiu/SPE-Net上获得。
2022-11-15 cs.CV
InvariantOODG: Learning Invariant Features of Point Clouds for Out-of-Distribution Generalization
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
针对点云因采集差异导致分布外泛化困难且目标域数据不可用的问题,提出InvariantOODG框架,通过双分支网络提取局部到全局特征并利用可学习锚点和变换增强输入,有效提升了3D领域泛化性能。
2024-01-08 cs.CV
CRIN: Rotation-Invariant Point Cloud Analysis and Rotation Estimation via Centrifugal Reference Frame
Shanghai Jiao Tong University(上海交通大学);SmartMore;Shanghai Qi Zhi Institute(上海期智研究院)
最近的各种方法试图通过用相对距离和角度替换点的输入坐标来实现旋转不变的3D深度学习。由于这些底层特征的不完整性,它们不得不承担丢失全局信息的代价。在本文中,我们提出了CRIN,即离心旋转不变网络。CRIN直接将点的坐标作为输入,并通过离心参考系将局部点转换为旋转不变的表示。在离心坐标系的辅助下,每个点对应于一个离散旋转,旋转信息可以隐式地存储在点特征中。不幸的是,离散点远不能描述整个旋转空间。我们进一步介绍了基于点的3D旋转的连续分布。此外,我们提出了一种基于注意力的下采样策略来采样旋转不变的点。最后采用一个关系模块来增强采样点之间的长程依赖关系,并预测锚点进行无监督旋转估计。大量的实验表明,我们的方法实现了旋转不变性,准确地估计对象的旋转,并获得了最先进的旋转增强分类和部分分割的结果。消融研究验证了网络设计的有效性。
2023-03-06 cs.CV
Global Context Aware Convolutions for 3D Point Cloud Understanding
Litemaze;VinAI Research(VinAI 研究院);VinUniversity(Vin 大学);Hong Kong University of Science and Technology(香港科技大学)
3D点云深度学习的最新进展在场景理解任务中显示出巨大的前景,这要归功于卷积运算符的引入,以直接在神经网络中使用3D点云。然而,点云数据可以具有任意旋转,特别是从3D扫描获得的点云数据。最近的工作表明,它是可能的设计点云卷积与旋转不变性的性质,但这样的方法通常不执行以及只有卷积的旋转不变性。我们发现一个关键原因是,与点坐标相比,点云卷积消耗的旋转不变特征并不那么独特。为了解决这个问题,我们提出了一种新的卷积算子,通过将输入点云的全局上下文信息集成到卷积中来增强特征区分。为此,在每个点邻域中构造全局加权的局部参考框架,其中局部点集被分解成箱。锚点在每个箱中生成以表示全局形状特征。然后可以执行卷积以将点和锚特征转换为最终的旋转不变特征。我们对点云分类,部分分割,形状检索和法线估计进行了几次实验,以评估我们的卷积,它在具有挑战性的旋转下达到了最先进的精度。
2020-08-07 cs.CV
Rotational Symmetry based Object Pose Estimation from Point Clouds in the Absence of Known 3D Models
Key Laboratory of Brain Machine Collaborative Intelligence of Zhejiang Province, School of Computer Science, Hangzhou Dianzi University(浙江省脑机协同智能重点实验室,杭州电子科技大学计算机学院);Advanced Intelligent Manufacturing Research Group, the University of Nottingham Ningbo China(先进智能制造研究组,宁波诺丁汉大学)
提出利用工业物体的旋转对称性,通过迭代优化联合估计姿态与点云,无需已知3D模型,在合成和真实数据集上达到与有模型方法相当的性能。
2026-06-16 cs.CV
You Only Hypothesize Once: Point Cloud Registration with Rotation-equivariant Descriptors
Wuhan University(武汉大学);The University of Hong Kong(香港大学);Texas A&M University(得克萨斯农工大学)
在本文中,我们提出了一种新的本地基于几何的框架,称为你只假设一次(YOHO),两个未对齐的点云的注册。与大多数现有的局部描述符依赖于脆弱的局部参考系来获得旋转不变性相比,所提出的描述符通过最近的组等变特征学习技术来实现旋转不变性,从而对点密度和噪声具有更强的鲁棒性。同时,YOHO中的描述符也有一个旋转等变部分,这使得我们能够从一个对应假设来估计配准。这一性质减小了可行变换的搜索空间,从而大大提高了YOHO算法的精度和效率。大量的实验表明,YOHO在四个广泛使用的数据集,3DMatch/3DLoMatch数据集,ETH数据集和WHU-TLS数据集上实现了更少的RANSAC迭代,从而获得了优异的性能。更多详细信息请参阅我们的项目页面:https://hpwang-whu.github.io/YOHO/。
2022-07-25 cs.CV
RI-MAE: Rotation-Invariant Masked AutoEncoders for Self-Supervised Point Cloud Representation Learning
South China University of Technology(华南理工大学);The University of Adelaide(阿德莱德大学);The University of Western Australia(西澳大学);The University of Sydney(悉尼大学)
针对点云掩码建模对旋转敏感的问题,提出RI-MAE框架,通过RI-Transformer构建旋转不变潜在空间,并利用双分支师生架构实现旋转不变的自监督重建,在下游任务中达到SOTA。
2024-12-25 cs.CV
Pointwise Rotation-Invariant Network with Adaptive Sampling and 3D Spherical Voxel Convolution
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
在实际应用中,由于点云的方向往往是未知的,没有姿态先验的点云分析是非常具有挑战性的。本文提出了一种全新的点集学习框架PRIN,即点态旋转不变网络,重点研究点云分析中的旋转不变特征提取。我们利用密度感知自适应采样构造球面信号,以处理球面空间中的畸变点分布。此外,我们提出了球面体素卷积和点重采样来提取每个点的旋转不变特征。我们的网络可应用于从对象分类、零件分割到3D特征匹配和标签对齐等任务。我们发现,在随机旋转点云的数据集上,PRIN比没有任何数据增强的最先进的方法表现出更好的性能。我们还提供了理论分析的旋转不变性实现我们的方法。
2019-12-05 cs.CV
RIGA: Rotation-Invariant and Globally-Aware Descriptors for Point Cloud Registration
Technical University of Munich(慕尼黑工业大学);Meta Reality Labs(Meta现实实验室);National University of Defense Technology(国防科技大学);Shanghai Jiao Tong University(上海交通大学);Siemens AG(西门子股份公司)
成功的点云配准依赖于在强大的描述符基础上建立的准确对应关系。然而,现有的神经描述符要么利用旋转变体骨干,其性能在大旋转下下降,要么编码不太独特的局部几何形状。为了解决这个问题,我们引入了RIGA来学习设计为旋转不变和全局感知的描述符。从稀疏局部区域的点对特征(PPF),旋转不变的局部几何编码成几何描述符。随后将3D结构和几何背景的全局感知以旋转不变的方式并入。更具体地说,整个帧的3D结构首先由我们的全局PPF签名表示,从中学习结构描述符以帮助几何描述符感知局部区域之外的3D世界。然后将整个场景的几何上下文全局聚合到描述符中。最后,稀疏区域的描述被内插到密集点描述符,从密集点描述符中提取对应关系用于配准。为了验证我们的方法,我们进行了广泛的实验对象和场景级数据。对于大旋转,RIGA在ModelNet 40上的相对旋转误差方面超过了最先进的方法8 \degree,并在3DLoMatch上将特征匹配召回率提高了至少5个百分点。
2022-09-27 cs.CV
PARE-Net: Position-Aware Rotation-Equivariant Networks for Robust Point Cloud Registration
针对现有点云配准方法旋转鲁棒性差、参数量大的问题,提出位置感知旋转等变网络PARE-Net,搭配位置感知卷积、特征假设生成器与对比旋转损失,在轻量高速的同时实现了配准性能的SOTA提升与强旋转鲁棒性。
2024-10-31 cs.CV
Fast globally optimal Truncated Least Squares point cloud registration with fixed rotation axis
Technical University of Applied Sciences Augsburg(奥格斯堡应用技术大学)
本文针对固定旋转轴的点云配准问题,提出线性时间凸松弛与收缩器加速的分支定界方法,在100个点规模下实现半秒内可证明全局最优的TLS求解,比SDP求解器STRIDE快两个数量级。
2025-08-21 cs.CV
Beyond Random Masking: A Dual-Stream Approach for Rotation-Invariant Point Cloud Masked Autoencoders
School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
本文提出结合3D空间网格掩码与渐进式语义掩码的双流方法,通过课程学习协调几何与语义信息,以即插即用方式提升旋转不变点云掩码自编码器的性能。
2025-09-18 cs.CV
Rotation-Invariant Transformer for Point Cloud Matching
TU Munich(慕尼黑工业大学);NUDT(中国人民解放军国防科技大学);Siemens AG, Munich(西门子股份公司慕尼黑分部)
针对深度点云匹配因依赖数据增强而难以应对罕见旋转的问题,提出旋转不变 Transformer (RoITr),通过结合 PPF 的局部注意力机制与全局跨帧空间感知,显著提升了低重叠与极端旋转场景下的匹配性能。
2024-03-27 cs.CV
PRIN/SPRIN: On Extracting Point-wise Rotation Invariant Features
Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology(香港科技大学);Qing Yuan Research Institute(清源研究所);Shanghai Qizhi Research Institute(上海期智研究院);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
在实际应用中,由于点云的方向往往是未知的,没有姿态先验的点云分析是非常具有挑战性的。本文提出了一种全新的点集学习框架PRIN,即逐点旋转不变网络,重点研究点云分析中的旋转不变特征提取。我们利用密度感知自适应采样构造球面信号,以处理球面空间中的畸变点分布。提出了球面体素卷积和点重采样方法,提取每个点的旋转不变特征。此外,我们将PRIN扩展为一个称为SPRIN的稀疏版本,它直接对稀疏点云进行操作。PRIN和SPRIN都可以应用于从对象分类、零件分割到3D特征匹配和标签对齐的任务。结果表明,在随机旋转的点云数据集上,SPRIN表现出比没有任何数据增强的最先进的方法更好的性能。我们还提供了彻底的理论证明和分析逐点旋转不变性实现我们的方法。我们的代码可以在https://github.com/qq456cvb/SPRIN上找到。
2021-11-22 cs.CV
S3I-PointHop: SO(3)-Invariant PointHop for 3D Point Cloud Classification
University of Southern California(南加利福尼亚大学)
许多点云分类方法都是在假设数据集中的所有点云都与规范轴对齐的情况下开发的,以便可以采用3D笛卡尔点坐标来学习特征。当输入点云不对齐时,分类性能显著下降。在这项工作中,我们专注于一个数学上透明的点云分类方法称为PointHop,分析其失败的原因,由于姿态变化,并解决了这个问题,取代其姿态相关的模块与旋转不变的同行。该方法被称为SO(3)-Invariant PointHop(简称S3 I-PointHop)。我们还大大简化了PointHop管道,只使用一个单跳以及多个空间聚合技术。利用更多空间信息的想法是新颖的。在ModelNet 40数据集上的实验证明了S3 I-PointHop方法优于传统的类PointHop方法。
2023-02-22 cs.CV
RISurConv: Rotation Invariant Surface Attention-Augmented Convolutions for 3D Point Cloud Classification and Segmentation
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院)
针对现有3D点云深度学习旋转不变性研究不足、现有方法精度偏低的问题,提出构建局部三角面的RISurConv注意力增强卷积架构,在多个分类和分割基准上大幅超越现有SOTA。
2024-08-12 cs.CV
ZZ-Net: A Universal Rotation Equivariant Architecture for 2D Point Clouds
Chalmers University of Technology(查尔姆斯理工大学);Umeå University(于默奥大学)
本文研究了二维点云数据的旋转等方差问题。我们描述了一组特殊的功能,能够近似任何连续的旋转等变和置换不变的功能。基于这一结果,我们提出了一种新的神经网络架构处理二维点云,我们证明了它的通用性,表现出这些对称性的近似函数。我们还展示了如何扩展的架构,接受一组2D-2D的对应作为indata,同时保持类似的等方差属性。对立体视觉中的基本矩阵估计进行了实验研究。
2022-03-28 cs.CV cs.LG
6D Object Pose Regression via Supervised Learning on Point Clouds
University of Hamburg(汉堡大学);Tsinghua University(清华大学)
本文讨论了从点云表示的深度信息中估计已知3D对象的6个自由度姿态的任务。由卷积神经网络从颜色信息中学习的深度特征已经成为用于推断对象姿态的主要特征,而深度信息受到的关注要少得多。然而,深度信息包含丰富的几何信息的对象形状,这是重要的推断对象的姿态。我们使用点云表示的深度信息作为深度网络和基于几何的姿势优化的输入,并使用单独的网络进行旋转和平移回归。我们认为轴角表示是适合深度学习的旋转表示,并使用测地线损失函数进行旋转回归。消融研究表明,这些设计选择优于替代方案,如四元数表示和L2损失,或用相同的网络回归平移和旋转。我们简单而有效的方法在YCB视频数据集上明显优于最先进的方法。可在https://github.com/GeeeG/CloudPose上获取实施和训练模型。
2020-01-24 cs.CV
RIConv++: Effective Rotation Invariant Convolutions for 3D Point Clouds Deep Learning
Ningbo Research Institute, Zhejiang University(浙江大学宁波研究院);College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院);NingboTech University(浙大宁波理工学院);VinAI;Hong Kong University of Science and Technology(香港科技大学)
3D点云深度学习是一个很有前途的研究领域,它允许神经网络直接学习点云的特征,使其成为解决3D场景理解任务的强大工具。虽然最近的工作表明点云卷积可以对平移和点排列保持不变,但迄今为止对点云卷积的旋转不变性性质的研究还很少。一些现有的方法执行点云卷积与旋转不变的功能,现有的方法一般不执行以及唯一不变的副本。在这项工作中,我们认为一个关键的原因是,与点坐标相比,点云卷积消耗的旋转不变特征并不独特。为了解决这个问题,我们提出了一个简单而有效的卷积算子,通过从局部区域设计强大的旋转不变特征来增强特征区分。我们考虑了兴趣点与其邻居之间的关系以及邻居的内部关系,以大大提高特征的一致性。我们的网络架构可以通过简单地调整每个卷积层中的邻域大小来捕获本地和全局上下文。我们对合成和真实世界的点云分类,零件分割和形状检索进行了几次实验,以评估我们的方法,该方法在具有挑战性的旋转下达到了最先进的精度。
2022-03-20 cs.AI cs.CV
Effective Rotation-invariant Point CNN with Spherical Harmonics kernels
LIX, Ecole Polytechnique(巴黎综合理工学院LIX实验室)
我们提出了一种新的旋转不变的体系结构,直接操作点云数据。我们演示了如何将旋转不变性注入到最近提出的基于点的PCNN架构中,在网络的所有层,实现全局形状变换和局部旋转的不变性,在处理非刚性对象时非常有用。我们通过在网络的不同层采用基于球谐函数的内核来实现这一点,该内核保证对刚性运动不变。我们还介绍了一个更有效的池操作PCNN使用空间分区的数据结构。这导致了一种灵活、简单和高效的架构,该架构在具有挑战性的形状分析任务(包括分类和分割)上实现了准确的结果,而不需要通常由非不变方法采用的数据增强。
2019-09-10 cs.CV
SRINet: Learning Strictly Rotation-Invariant Representations for Point Cloud Classification and Segmentation
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
随着点云分析在各个领域的应用需求不断增加,点云分析得到了越来越广泛的关注。尽管在几个数据库上取得了令人印象深刻的性能,但研究人员忽略了这些点云数据的方向是对齐的这一事实。改变点云的方向可能导致性能下降,限制了推广到实际应用中的能力,其中方向的先验往往是未知的。在本文中,我们提出的点投影功能,这是不变性的输入点云的旋转。设计了一种新颖的体系结构来挖掘不同层次的特征。我们采用基于PointNet的主干提取点云的全局特征,并采用图聚合操作来感知局部形状结构。此外,我们还引入了一个有效的关键点描述符,为每个点分配不同的响应,并帮助识别整体几何形状。数学分析和实验结果表明,该方法不需要数据增强,就能提取出严格旋转不变的点云表示,从而实现点云的识别和分割,且性能优于其他现有方法.
2019-11-06 cs.CV eess.IV
Hierarchical Direction Perception via Atomic Dot-Product Operators for Rotation-Invariant Point Clouds Learning
针对旋转扰动破坏点云固有方向特征的问题,提出DiPVNet,通过原子点积算子编码方向选择性与旋转不变性,结合局部L2DP算子和全局DASFT,在分类与分割任务上实现SOTA性能。
2025-11-11 cs.AI cs.CV
ICOS: Efficient and Highly Robust Rotation Search and Point Cloud Registration with Correspondences
East China University of Science and Technology(华东理工大学)
旋转搜索和点云配准是机器人学和计算机视觉中的两个基本问题,其目的分别是估计三维矢量集和点云之间的旋转和变换。由于在实际应用中,在假定的向量或点对应关系中可能存在大量的离群值,鲁棒估计非常重要。在本文中,我们提出了ICOS(Inlier searching using Compatible Structures),一种新颖的,高效的和高度鲁棒的求解器,用于基于对应的旋转搜索和点云配准问题。具体来说,我们(i)提出并构建了一系列兼容的结构,可以建立各种不变量的两个问题,和(ii)设计三个时间效率的框架,第一个旋转搜索,第二个已知规模的注册和第三个未知规模的注册,过滤出离群值和寻找内点的不变量约束随机抽样的基础上提出的兼容结构。通过这种方式,即使有极端的离群值比率,也可以筛选出并收集内点,以有效地解决最佳旋转和变换,从而产生我们强大的求解器ICOS。通过对标准数据集的大量实验,我们证明:(i)我们的求解器ICOS快速,准确,鲁棒性超过95%的离群值,旋转搜索以及已知尺度和未知尺度配准的内点召回率接近100%,优于其他最先进的方法,(ii)ICOS适用于多种现实世界的应用。
2021-05-10 cs.CV cs.RO
A Simple and Universal Rotation Equivariant Point-cloud Network
Technion – Israel Institute of Technology(以色列理工学院);NVIDIA Research(英伟达研究院)
置换和刚性运动的等变性是各种3D学习问题的重要归纳偏差。最近已经证明,等变张量场网络架构是通用的-它可以近似任何等变函数。在本文中,我们提出了一个更简单的架构,证明它享有相同的通用性保证,并评估其性能的Modelnet 40。重现我们实验的代码可以在\url{https://github.com/simpleinvariance/UniversalNetwork}上找到
2022-05-27 cs.CV cs.LG
Rotation-Aware Point-Cloud Embeddings for Vision-Based In-Hand Reorientation
University at Buffalo(布法罗大学)
提出旋转感知点云嵌入,通过校准欧氏潜在距离与SO(3)测地误差,使无模型强化学习策略无需显式姿态或稠密流即可从点云目标实现手中重定向。
2026-06-23 cs.CV cs.RO
Rotation-Adaptive Point Cloud Domain Generalization via Intricate Orientation Learning
South China University of Technology(华南理工大学);Guangdong Engineering Center for Large Model and GenAI Technology(广东省大模型与生成式人工智能技术工程中心);State Key Laboratory of Subtropical Building and Urban Science(亚热带建筑与城市科学国家重点实验室);Ministry of Education Key Laboratory of Big Data and Intelligent Robot(大数据与智能机器人教育部重点实验室);Singapore Management University(新加坡管理大学)
本文提出一种旋转自适应点云域泛化框架,通过迭代学习复杂方向并利用方向感知对比学习,提升3D点云分析在跨域旋转偏移下的泛化能力。
2025-02-04 cs.AI cs.CV cs.LG
RANSIC: Fast and Highly Robust Estimation for Rotation Search and Point Cloud Registration using Invariant Compatibility
East China University of Science and Technology(华东理工大学)
基于对应的旋转搜索和点云配准是机器人和计算机视觉中的两个基本问题。然而,离群点的存在,有时甚至占据了绝大多数的假定对应,可以使许多现有的算法要么失败,或有非常高的计算成本。在本文中,我们提出了RANSIC(随机抽样与不变相容性),一个快速和高度鲁棒性的方法适用于这两个问题的基础上,一个新的范例相结合的随机抽样与不变性和兼容性。RANSIC一般从对应集中随机选取小子集开始,通过对每个问题建立的不变量进行相容性检验,从随机子集中寻找潜在的内点作为图的顶点,当至少存在一个K度顶点时,返回符合条件的内点(K根据问题自动更新),并且残差同时满足一定的终止条件。在多个合成和真实实验中,我们证明了RANSIC使用速度快,对超过95%的离群值具有鲁棒性,并且能够召回大约100%的内点,在旋转搜索和点云配准问题上优于其他最先进的求解器。
2021-04-21 cs.CV cs.RO
An "augmentation-free" rotation invariant classification scheme on point-cloud and its application to neuroimaging
University of California, Berkeley(加州大学伯克利分校)
近年来,随着3D传感器和技术的发展,3D医学成像技术的出现和日益普及。然而,在3D医学图像的处理中实现几何不变性在计算上是昂贵的,但是由于刚性配准技术引起的可能误差的存在而仍然是必要的。分析医学成像的另一种方法是通过理解点云表示的3D形状。虽然在医学成像领域,3D点云处理不是一个“去”的选择,但它是保持旋转不变性的标准方法。遗憾的是,由于离散拓扑的存在,人们不能在点云上使用标准的卷积算子。据我们所知,现有的方法做“卷积”不能保持旋转不变性,没有显式的数据增强。因此,我们提出了一个旋转不变卷积算子,通过诱导拓扑超球。在公开的OASIS数据集上进行了实验验证,验证了患有(不患有)痴呆症的受试者之间的分类准确性,证明了我们所提出的方法在模型复杂性,分类准确性以及最后但最重要的旋转不变性方面的有用性。
2019-11-05 cs.CV cs.LG eess.IV
Rotation-Invariant Random Features Provide a Strong Baseline for Machine Learning on 3D Point Clouds
University of Chicago(芝加哥大学)
本文扩展 Rahimi–Recht 随机特征以构建三维旋转不变点云学习方法,在 QM7、QM9 和 ModelNet40 上达到或超过神经网络基线,且预测延迟比核方法低一个数量级。
2023-07-27 cs.AI cs.CV cs.LG
Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室);Google(谷歌)
我们介绍张量场神经网络,这是局部等变的3D旋转,平移和置换的点在每一层。3D旋转等方差消除了对数据增强的需要,以识别任意方向上的特征。我们的网络使用由球谐函数构建的滤波器;由于这种滤波器选择的数学后果,每一层都接受标量、向量和高阶张量作为输入(并保证作为输出),这些都是几何意义上的。我们展示了张量场网络在几何,物理和化学任务的能力。
2018-05-18 cs.AI cs.CV cs.LG
Recognizing Rigid Patterns of Unlabeled Point Clouds by Complete and Continuous Isometry Invariants with no False Negatives and no False Positives
University of Liverpool(利物浦大学)
刚性结构,如汽车或任何其他固体物体通常由有限的未标记点云表示。这些点云上最自然的等价物是保持所有点间距离的刚体运动或等距。刚性模式的点云可以可靠地比较,只有通过完整的等距不变量,也可以称为等变描述符没有假阴性(等距云具有不同的描述)和没有假阳性(非等距云具有相同的描述)。数据中的噪声和运动激发了对在适当度量中的点的扰动下连续的不变量的搜索。我们提出了第一个连续的和完整的不变量的未标记的云在任何欧几里德空间。对于一个固定的维度,这个不变量的新度量是可以在多项式时间内以点数计算的。
2023-03-27 cs.CG cs.CV math.MG
3D-Rotation-Equivariant Quaternion Neural Networks
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
提出了一套规则,将用于三维点云处理的各种神经网络修正为旋转等变四元数神经网络(REQNNs)。我们发现,当一个神经网络在一定条件下使用四元数特征时,网络特征自然具有旋转等变性。旋转等方差意味着对输入点云应用特定的旋转变换等效于对所有中间层四元数特征应用相同的旋转变换。此外,REQNN还确保了中间层特征对输入点的排列是不变的。与原神经网络相比,REQNN具有更高的旋转鲁棒性。
2020-10-11 cs.CV cs.LG stat.ML
Smooth, exact rotational symmetrization for deep learning on point clouds
Institute of Materials, Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院材料研究所);Laboratory of Computational Science and Modelling(计算科学与建模实验室)
针对点云深度学习忽视旋转对称性的问题,提出通用对称化方法,为任意模型添加旋转等变性;通过PET架构在分子和固体基准上达到最先进性能,且后验应用使模型精确等变。
2024-02-06 cond-mat.mtrl-sci cs.CV cs.LG
Rotation-Invariant Point Convolution With Multiple Equivariant Alignments
University of Toronto(多伦多大学)
最近在3D深度学习方法中引入旋转不变性或等变性的尝试已经显示出有希望的结果,但这些方法仍然难以达到标准3D神经网络的性能。在这项工作中,我们研究了三维点卷积的等方差和不变性之间的关系。我们证明了使用旋转等变对齐,可以使任何卷积层旋转不变。此外,我们通过使用对齐本身作为卷积中的特征,并通过将多个对齐组合在一起来改进这个简单的对齐过程。有了这个核心层,我们设计了旋转不变架构,它可以改善对象分类和语义分割的最新结果,并缩小旋转不变和标准3D深度学习方法之间的差距。
2020-12-07 cs.CV
RIDE: Boosting 3D Object Detection for LiDAR Point Clouds via Rotation-Invariant Analysis
Huazhong University of Science and Technology(华中科技大学)
本文提出 RIDE,通过设计互补的双特征提取器(物体感知特征与旋转不变特征)并将其融入现有 3D 检测器,显著提升了 LiDAR 点云 3D 目标检测的性能与旋转鲁棒性。
2024-08-29 cs.CV
Facial Expression Classification Using Rotation Slepian-based Moment Invariants
University of Macau(澳门大学)
旋转不变矩在图像处理和模式识别中具有重要的应用价值。本文提出了一种新的基于Slepian函数的旋转矩不变量,它最初是在Helmholtz方程的分离变量方法中引入的。它们最早是由Slepian和他的同事在20世纪60年代提出的。最近的研究表明,这些函数具有良好的性能,在局部逼近相比,其他的近似基。基于其良好的逼近性能,我们构造了基于Slepian的矩,并推导出旋转不变量。我们不仅从理论上证明了这种不变性,而且讨论了实际数据的实验。所提出的旋转不变量对噪声具有很好的鲁棒性,在人脸表情分类中具有良好的性能。
2016-06-28 cs.CV
Rethinking Rotation-Invariant Recognition of Fine-grained Shapes from the Perspective of Contour Points
Tsinghua University(清华大学);Taiyuan University of Technology(太原理工大学)
针对像素方法在细粒度形状旋转不变识别中的冗余与几何信息泄漏问题,提出基于轮廓几何感知的抗噪声旋转不变卷积模块及五级联网络,提升识别性能并增强对噪声和旋转中心的鲁棒性。
2025-03-14 cs.CV
A case for using rotation invariant features in state of the art feature matchers
Chalmers University of Technology(查尔姆斯理工大学)
本文的目的是证明,一个国家的最先进的特征匹配器(LoFTR)可以通过简单地取代骨干CNN与可操纵的CNN,这是平移和图像旋转等变的旋转更强大。实验结果表明,这种提升是在不降低普通照明和视点匹配序列的性能的情况下获得的。
2022-07-03 cs.CV