OAAFormer: Robust and Efficient Point Cloud Registration Through Overlapping-Aware Attention in Transformer
Shandong University(山东大学);Qingdao University of Science and Technology(青岛科技大学);Texas A&M University(得克萨斯农工大学)
针对点云配准中粗到细范式的局限性,提出OAAFormer,通过软匹配、重叠检测和线性复杂度区域注意力提升对应质量,在3DLoMatch上内点率提升约7%,召回率提升2-4%。
2023-10-15 cs.CV
UTOPIC: Uncertainty-aware Overlap Prediction Network for Partial Point Cloud Registration
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University(南京大学);Hong Kong Polytechnic University(香港理工大学)
高置信度的重叠预测和准确的对应关系对于尖端模型以部分对部分的方式对齐成对的点云至关重要。然而,重叠区域和非重叠区域之间存在着固有的不确定性,这一直被忽视,并显着影响配准性能。除了目前的智慧,我们提出了一种新的不确定性感知的重叠预测网络,称为UTOPIC,以解决模糊的重叠预测问题;据我们所知,这是第一个明确引入重叠不确定性点云配准。此外,我们诱导的特征提取器隐含地感知形状知识,通过完成解码器,并提出了一个几何关系嵌入Transformer,以获得变换不变的几何感知的特征表示。UTOPIC具有更可靠的重叠分数和更精确的密集对应的优点,即使对于具有有限重叠区域的输入,也可以获得稳定和准确的配准结果。大量的定量和定性实验的合成和真实的基准证明了我们的方法比国家的最先进的方法的优越性。
2022-09-01 cs.CV
PSReg: Prior-guided Sparse Mixture of Experts for Point Cloud Registration
Shanghai Jiao Tong University(上海交通大学);Jiangxi University of Finance and Economics(江西财经大学);Shandong University(山东大学);Anqing Normal University(安庆师范大学);Huaihua University(怀化学院)
针对点云配准中重叠区域模糊结构导致的异常匹配问题,提出先验引导的稀疏专家混合模型,通过融合先验信息路由分配专家,提升特征判别性,在3DMatch/3DLoMatch上达到最先进配准召回率。
2025-01-18 cs.AI cs.CV
EOE: Expected Overlap Estimation over Unstructured Point Cloud Data
NVIDIA Research(英伟达研究院)
我们提出了一种迭代重叠估计技术,以增强现有的点云配准算法,可以实现高性能的困难的现实世界的情况下,大的姿势位移和非重叠的几何形状,否则会导致传统的方法失败。我们的方法估计重叠区域,通过迭代的期望最大化过程,编码到注册过程中的传感器视场。所提出的技术,预期重叠估计(EOE),是来自观察,在视场的差异违反了iid假设隐含地举行的所有最大似然注册技术。我们展示了我们的方法如何以最小的计算开销来增强许多流行的注册方法。通过对合成数据集和真实数据集的实验,我们发现添加显式重叠估计步骤可以帮助鲁棒的离群值处理,并提高基于ICP和基于GMM的配准方法的准确性,特别是在大型非结构化域中,点云之间的重叠量非常小。
2018-08-06 cs.CV
Iterative Distance-Aware Similarity Matrix Convolution with Mutual-Supervised Point Elimination for Efficient Point Cloud Registration
Washington University in St. Louis(圣路易斯华盛顿大学);Megvii Inc.(旷视科技)
在本文中,我们提出了一种新的基于学习的管道部分重叠的三维点云配准。该模型包括一个迭代的距离感知相似性矩阵卷积模块,将来自特征和欧几里得空间的信息合并到成对点匹配过程中。这些卷积层学习基于整个几何特征的联合信息和每个点对的欧几里得偏移来匹配点,克服了简单地采用特征向量的内积进行匹配的缺点。此外,一个两阶段的学习点消除技术,以提高计算效率,减少误报对应对。提出了一种新的相互监督损失训练模型没有额外的注释的关键点。管道可以很容易地与传统(例如FPFH)和基于学习的功能集成。部分重叠和噪声点云配准的实验表明,我们的方法优于目前的最先进的,同时更计算效率。代码可在https://github.com/jiahaowork/idam上公开获取。
2020-08-06 cs.CV
GMOR: A Lightweight Robust Point Cloud Registration Framework via Geometric Maximum Overlapping
Beijing Engineering Research Center of Mixed Reality and Advanced Display, School of Optics and Photonics, Beijing Institute of Technology(北京混合现实与先进显示工程研究中心,光学与 photonics 学院,北京理工大学);Zhengzhou Research Institute, Beijing Institute of Technology(郑州研究院,北京理工大学);School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学);School of Medical Technology, Beijing Institute of Technology(医学技术学院,北京理工大学)
GMOR通过仅旋转BnB搜索和几何最大重叠方法,实现高效的点云配准,兼顾精度与效率。
2026-01-30 cs.CV cs.RO
Cross3DReg: Towards a Large-scale Real-world Cross-source Point Cloud Registration Benchmark
针对跨源点云配准缺乏大规模真实数据及传感器差异导致的特征不一致问题,构建了最大真实世界跨源数据集Cross3DReg,并提出基于重叠区域预测和视觉-几何注意力匹配的框架,显著降低旋转和平移误差并提升配准召回率。
2025-09-08 cs.CV
CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence
City University of Hong Kong(香港城市大学);Tianjin University(天津大学)
出于直觉,在相应的3D点云中定位2D图像的关键步骤是在它们之间建立2D-3D对应关系,我们提出了第一个基于特征的密集对应框架,用于解决图像到点云配准问题,称为CorrI 2 P,它由三个模块组成,即,特征嵌入、对称重叠区域检测和通过所建立的对应关系的姿态估计。具体来说,给定一对2D图像和3D点云,我们首先将它们转换到高维特征空间,并将所得特征馈送到对称重叠区域检测器中,以确定图像和点云相互重叠的区域。然后,我们使用重叠区域的特征来建立2D-3D对应关系,然后在RANSAC内运行EPRECT来估计相机的姿态。在KITTI和NuScenes数据集上的实验结果表明,我们的CorrI 2 P显著优于最先进的图像到点云配准方法。我们将公开代码。
2022-09-20 cs.CV cs.MM
Adaptive Multi-step Refinement Network for Robust Point Cloud Registration
本文提出自适应多步细化网络,通过逐步利用前一步信息并采用广义单向注意力机制,在重叠区域小的点云配准任务中达到最先进性能,3DLoMatch召回率80.4%。
2025-03-31 cs.CV
Registering Neural Radiance Fields as 3D Density Images
HKUST(香港科技大学)
本文提出将传统3D配准流程推广至3D密度场,通过关键点检测与点集配准实现部分重叠场景预训练NeRF模型的刚体变换对齐,为大规模NeRF构建奠定基础。
2023-05-22 cs.CV
Overlap-guided Gaussian Mixture Models for Point Cloud Registration
University of Technology Sydney(悉尼科技大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学)
概率3D点云配准方法在克服噪声、离群值和密度变化方面表现出有竞争力的性能。然而,在部分重叠的情况下配准点云对仍然是一个挑战。本文提出了一种新的基于高斯混合模型(GMM)参数匹配的概率配准方法。我们将配准问题重新表述为对齐两个高斯混合物的问题,使得两个相应混合物之间的统计差异度量最小化。我们引入了一个基于transformer的检测模块来检测重叠区域,并通过由该检测模块计算的重叠分数来指导它们的对齐,使用Gestro来表示输入点云。实验表明,我们的方法实现了优越的配准精度和效率比国家的最先进的方法时,处理点云的部分重叠和不同的密度合成和真实世界的数据集。https://github.com/gfmei/ogmm
2022-10-17 cs.CV
LoGDesc: Local geometric features aggregation for robust point cloud registration
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);ISIR(智能系统与机器人研究所)
本文提出LoGDesc混合描述子,结合PCA先验几何信息、三角形邻域法向量描述子以及图卷积和注意力传播,在多个基准上提升了含噪声和低重叠点云的配准性能。
2024-10-03 cs.CV
DeepCLR: Correspondence-Less Architecture for Deep End-to-End Point Cloud Registration
Ulm University(乌尔姆大学)
这项工作解决了使用深度神经网络的点云配准问题。我们提出了一种方法来预测两个点云重叠的数据内容,但位移的起源之间的对齐。这样的点云例如源自安装在移动平台上的LiDAR的连续测量。原始点云深度配准的主要难点是模板与源点云的融合。我们提出的架构应用流嵌入来解决这个问题,它生成描述每个模板点的运动的特征。然后,这些特征用于以端到端的方式预测对齐,而不提取两个输入云之间的显式点对应。我们依靠KITTI里程计和ModelNet40数据集来评估我们在各种点分布上的方法。我们的方法实现了最先进的精度和最低的运行时间的比较方法。
2021-01-13 cs.CV
Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration
本文提出跨模态信息引导网络CMIGNet,通过融合2D投影图像与3D点云特征,结合重叠对比学习和跨模态对比学习,并利用掩码预测模块识别关键点,在多个基准数据集上实现了精确且鲁棒的点云配准。
2023-11-02 cs.AI cs.CV
FINet: Dual Branches Feature Interaction for Partial-to-Partial Point Cloud Registration
University of Electronic Science and Technology of China(电子科技大学);Megvii Technology(旷视科技)
数据关联是点云配准的重要环节。在这项工作中,我们建议从一个新的角度来解决部分到部分的注册,通过在特征提取阶段引入源和参考云之间的多级特征交互,这样的注册可以实现没有注意或明确的掩模估计的重叠检测,如以前所采用的。具体来说,我们提出了FINet,一个功能交互为基础的结构,使和加强在多个阶段的输入之间的信息关联的能力。为了实现这一点,我们首先将特征分成两个分量,一个用于旋转,一个用于平移,这是基于它们属于不同的解空间的事实,从而产生双分支结构。其次,我们在特征提取器处插入几个交互模块以进行数据关联。第三,我们提出了一个变换灵敏度损失,以获得旋转注意和注意的功能。实验结果表明,该方法具有更高的精度和鲁棒性相比,最先进的传统和基于学习的方法。代码可在https://github.com/megvii-research/FINet上获得。
2022-04-06 cs.CV
GS-Matching: Reconsidering Feature Matching task in Point Cloud Registration
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Guangdong Provincial Key Laboratory of Construction Robotics and Intelligent Construction(广东省建造机器人与智能建筑重点实验室)
针对传统点云配准特征匹配方法的缺陷,本文提出受盖尔-沙普利算法启发的GS-matching启发式稳定匹配策略,能在低重叠条件下高效找到更多非重复内点,且经实验验证在多数据集上配准召回率更优。
2024-12-06 cs.CV
PCAM: Product of Cross-Attention Matrices for Rigid Registration of Point Clouds
Inria(法国国家信息与自动化研究所);Mines ParisTech(巴黎矿业学院);PSL Research University(巴黎文理研究大学);LIGM(巴黎马恩河谷信息、数学与系统实验室);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
具有部分重叠的点云的刚性配准是一个长期存在的问题,通常通过两个步骤来解决:(a)找到点云之间的对应关系;(b)过滤这些对应关系以仅保留最可靠的对应关系来估计变换。最近,已经提出了几个深度网络来联合解决这些步骤。我们建立在这些工作,并提出PCAM:一个神经网络,其关键元素是一个逐点的产品的交叉注意矩阵,允许混合低层次的几何和高层次的上下文信息,以找到点对应。这些交叉注意矩阵还允许在每一层的点云之间交换上下文信息,从而允许网络在重叠区域内构建更好的匹配特征。实验表明,PCAM在像我们一样通过深度网联合解决步骤(a)和(b)的方法中获得了最先进的结果。我们的代码和训练模型可以在https://github.com/valeoai/PCAM上找到。
2021-10-04 cs.CV
LAHNet: Local Attentive Hashing Network for Point Cloud Registration
Nanjing University of Science and Technology(南京理工大学);Shanghai Jiao Tong University(上海交通大学)
LAHNet通过引入局部注意机制和高效窗口化策略,提升点云配准的特征区分性与鲁棒性。
2026-03-09 cs.CV
Overlap Bias Matching is Necessary for Point Cloud Registration
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对低重叠点云配准中无监督方法缺乏重叠初始评估的问题,提出 OBMNet 及即插即用 OBMM,结合邻域图匹配稳健识别对应关系,并在多数据集上显著优于现有方法。
2023-08-18 cs.CV
TCM-ICP: Transformation Compatibility Measure for Registering Multiple LIDAR Scans
National Institute of Technology, Calicut(卡利卡特国家理工学院);Nanjing Forestry University(南京林业大学);Saint Mary’s University(圣玛丽大学)
多视图和多平台LiDAR扫描的刚性配准是3D地图绘制、机器人导航和大规模城市建模应用中的基本问题。使用LiDAR传感器的数据采集涉及从不同视点扫描多个区域,从而生成真实世界场景的部分重叠点云。传统上,ICP(迭代最近点)算法用于将获取的点云配准在一起,以形成捕获扫描的真实世界场景的唯一点云。传统的ICP面临局部最小值问题,并且通常需要粗略的初始对准来收敛到最优。在这项工作中,我们提出了一种算法,用于注册多个重叠的激光雷达扫描。我们引入了一个几何度量,称为变换兼容性度量(TCM),它有助于在算法的每次迭代中选择最相似的点云进行注册。然后使用单纯形技术对与参考LiDAR扫描最相似的LiDAR扫描进行变换。然后应用使用梯度下降和模拟退火技术的变换的优化来改进所得到的配准。我们评估了该算法在四个不同的现实世界的场景和实验结果表明,该方法的配准性能相媲美或优于传统的注册方法。此外,该算法实现了优越的配准结果,即使在处理离群值。
2020-01-31 cs.CV cs.GR
Reliable Inlier Evaluation for Unsupervised Point Cloud Registration
Nanjing University of Science and Technology(南京理工大学)
无监督点云配准算法在部分重叠问题中,由于缺乏有效的内点评价,配准精度往往不高。提出了一种基于邻域一致性的可靠内点评价方法,用于点云配准。期望捕获源邻域和对应的伪目标邻域之间的区别性几何差异以用于有效的内点区分。具体来说,我们的模型包括一个匹配映射细化模块和一个内点评估模块。在匹配图细化模块中,我们通过将相邻点的匹配得分整合到匹配图中来改进逐点匹配图估计,聚合的相邻点信息可能有助于区分图的构建,从而可以为生成伪目标点云提供高质量的对应关系。基于观察到离群点在其源邻域和对应的伪目标邻域之间具有显著的结构方面的差异,而对于内点的这种差异很小,内点评估模块利用这种差异来对每个估计的对应性的内点置信度进行评分。特别是,我们构建了一个有效的图形表示捕捉这种几何差异的邻居。最后,利用学习到的对应关系和相应的内点置信度,我们使用加权SVD算法进行变换估计。在无监督的情况下,我们利用基于Huber函数的全局对齐损失,局部邻域一致性损失和空间一致性损失进行模型优化。在大量数据集上的实验结果表明,我们的无监督点云配准方法可以产生相当的性能。
2022-02-23 cs.CV
Cross-source Point Cloud Registration: Challenges, Progress and Prospects
Shanghai AI Laboratory(上海人工智能实验室);University of Technology Sydney(悉尼科技大学)
本文系统综述了跨源点云(CSPC)配准的研究进展,总结了其特征、关键挑战及代表性发展,并探讨了未来研究方向与应用领域。
2023-05-23 cs.CV
Robust Partial 3D Point Cloud Registration via Confidence Estimation under Global Context
Engineering Research Center for Metallurgical Automation(冶金自动化工程研究中心);Measurement Technology Ministry of Education, Wuhan University of Science(测量技术教育部武汉科技大学);School of Information Management(信息管理学院);Institute of Big Data(大数据研究院);Digital Economy, Hubei University of Economics, Wuhan, 430205, China(数字经济,湖北经济学院,武汉,430205,中国)
本文提出CEGC框架,通过全局上下文联合估计重叠置信度与对应可靠性,并以加权SVD实现鲁棒的部分三维点云配准。
2025-09-29 cs.CV
Deep Confidence Guided Distance for 3D Partial Shape Registration
Tel-Aviv University(特拉维夫大学)
我们提出了一种新的非迭代学习方法的部分到部分的3D形状配准。部分对齐任务非常复杂,因为它共同尝试在点之间进行匹配,并识别哪些点不出现在相应的形状中,导致解决方案在大多数情况下是非唯一的和不适定的。到目前为止,已经提出了两种主要的方法来解决这个问题:对可能具有对应关系的点的子集进行采样,或者在点云之间执行软对齐,并尝试避免与遮挡部分匹配。当遮挡较轻或变换较小时,这些算法有效,但对于严重遮挡或存在离群值时,这些算法无效。我们提出了一种名为置信度引导距离网络(CGD-net)的独特方法,在该方法中,我们融合了点嵌入之间的可学习相似性和点云之间的空间距离,为重叠点引入了优化的解决方案,同时忽略了仅出现在其中一个形状中的部分。点特征的生成是由一个自我监督的架构,排斥远点有不同的嵌入,因此成功地对齐形状的部分视图,即使有过多的内部对称或尖锐的旋转。我们将我们的网络与最近提出的基于学习和公理化的方法进行了比较,并报告了性能的根本提升。
2022-01-27 cs.CV
Density-invariant Features for Distant Point Cloud Registration
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室);Donghua University(东华大学)
本文提出分组对比学习方案GCL,通过构造满足独立同分布条件的正样本组来训练密度不变的全卷积特征提取器,显著提升了远距离LiDAR点云配准在KITTI和nuScenes上的召回率。
2023-08-08 cs.CV
DReg-NeRF: Deep Registration for Neural Radiance Fields
National University of Singapore(新加坡国立大学)
本文提出 DReg-NeRF,通过占据网格特征与自注意力、交叉注意力 transformer 实现无人工干预的多 NeRF 配准,并以表面场监督解耦对应关系,在 Objaverse 数据集上显著优于点云配准方法。
2023-08-18 cs.CV
Learning to Register Unbalanced Point Pairs
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
点云配准方法可以有效地处理大规模、部分重叠的点云对。尽管它的实用性,匹配不平衡对的空间范围和密度一直被忽视,很少研究。我们提出了一种新的方法,称为UPPNet,不平衡点云对注册。我们建议纳入一个分层的框架,有效地发现内点对应逐渐减少搜索空间。该方法首先预测目标点云内可能与查询重叠的子区域。然后,通过超点匹配和细粒度细化模块预测目标和查询之间的精确内点对应关系。应用附加的几何约束来细化满足空间兼容性的对应关系。所提出的网络可以以端到端的方式进行训练,通过单次向前传递预测精确的刚性变换。为了验证所提出的方法的有效性,我们创建了一个精心设计的基准,命名为KITTI-UPP数据集,通过增强KITTI里程数据集。大量的实验表明,该方法不仅优于国家的最先进的点云配准方法的大幅度KITTI-UPP基准,但也取得了竞争力的结果,标准的成对配准基准,包括3DMatch,3DLoMatch,ScanNet,和KITTI,从而显示了我们的方法在各种数据集上的适用性。源代码和数据集将公开发布。
2022-10-15 cs.CV
Test Time Adaptation Methods for Point Cloud Registration in Laparoscopic Surgery
ETS Montreal(蒙特利尔理工学院);LIVIA(LIVIA实验室)
该研究针对腹腔镜手术中点云配准的域偏移问题,修改三类测试时自适应方法适配三维配准,经实验验证输入自适应是低延迟且误差降低效果稳定的最优方案。
2026-09-24 cs.CV
RCP: Recurrent Closest Point for Scene Flow Estimation on 3D Point Clouds
Alibaba Group(阿里巴巴集团);Simon Fraser University(西蒙弗雷泽大学)
包括场景流和点云配准的三维运动估计已经引起了越来越多的关注。受2D流估计的启发,最近的方法采用深度神经网络来构建用于估计准确的3D流的成本体积。然而,这些方法受到这样的事实的限制,即由于不规则的数据结构,难以在点云上定义搜索窗口。在本文中,我们通过一种简单而有效的方法来避免这种不规则性。我们将问题分解为两个交错的阶段,其中在第一阶段对3D流进行逐点优化,然后在第二阶段在循环网络中进行全局正则化。因此,递归网络只接收常规的逐点信息作为输入。在实验中,我们评估所提出的方法在3D场景流估计和点云配准任务。对于3D场景流估计,我们在广泛使用的FlyingThings3D和KITTI数据集上进行了比较。对于点云配准,我们遵循以前的工作,并评估ModelNet40中具有大姿态和部分重叠的数据对。实验结果表明,该方法在三维场景流估计和点云配准方面均优于以往的方法,达到了新的水平,证明了零阶方法在不规则点云数据上的优越性。
2022-05-24 cs.CV
SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration
Sun Yat-sen University(中山大学);University of Oxford(牛津大学);The Hong Kong Polytechnic University(香港理工大学);National University of Defense Technology(国防科技大学)
提取鲁棒且通用的3D局部特征是点云配准和重建等下游任务的关键。现有的基于学习的局部描述符要么对旋转变换敏感,要么依赖于既不通用也不具有代表性的经典手工特征。在本文中,我们引入了一种新的,但概念上简单的神经架构,称为SpinNet,提取局部特征,这些特征是旋转不变的,同时提供足够的信息,以实现准确的配准。首先引入空间点Transformer将输入的局部曲面映射到精心设计的圆柱空间中,从而使用SO(2)等变表示实现端到端优化。然后,利用强大的基于点的3D圆柱卷积神经层的神经特征提取器来导出用于匹配的紧凑且有代表性的描述符。在室内和室外数据集上进行的大量实验表明,SpinNet的性能大大优于现有的最先进技术。更重要的是,它在具有不同传感器模态的未知场景中具有最佳的泛化能力。该代码可在https://github.com/QingyongHu/SpinNet上获得。
2021-04-09 cs.AI cs.CV cs.LG
Robust Multi-view Registration of Point Sets with Laplacian Mixture Model
Beihang University(北京航空航天大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Peng Cheng Laboratory(鹏城实验室)
点集配准是许多计算机视觉应用中必不可少的步骤,如三维重建和SLAM。尽管存在许多用于不同目的的配准算法,然而,由于各种现实世界场景的复杂性增加,例如严重的噪声和离群值污染,该主题仍然具有挑战性。在本文中,我们提出了一种新的概率生成方法,同时对齐多个点集的基础上重尾拉普拉斯分布。该方法假设每个数据点由拉普拉斯混合模型(LMM)生成,其中其中心由其他点集中的对应点确定。与以往基于高斯混合模型(GMM)的方法最小化点与高斯概率密度中心的二次距离不同,LMM最小化稀疏性导致的L1距离,从而对噪声和离群点具有更强的鲁棒性。我们采用期望最大化(EM)框架来求解LMM参数和刚性变换。利用李代数中的指数映射将L1优化问题近似为线性规划问题,并利用内点法进行求解。为了提高效率,我们还解决了L1优化的交替方向乘子法(ADMM)。我们证明了我们的方法的优势,通过比较它与具有代表性的国家的最先进的方法对基准挑战性的数据集,在鲁棒性和准确性。
2021-10-26 cs.CV
End-to-end Learning the Partial Permutation Matrix for Robust 3D Point Cloud Registration
Northwestern Polytechnical University(西北工业大学);Baidu Research(百度研究院)
尽管基于深度学习的3D点云处理已经取得了相当大的进展,但如何获得用于鲁棒配准的准确对应仍然是一个主要挑战,因为现有的硬分配方法不能自然地处理离群值。或者,已经提出了基于软匹配的方法来学习匹配概率,而不是硬分配。然而,在本文中,我们证明了这些方法有一个固有的模糊性,造成许多欺骗性的对应。为了解决上述挑战,我们建议学习部分置换匹配矩阵,该矩阵不会将相应的点分配给离群值,并实现硬分配以防止歧义。然而,这一提议提出了两个新问题,即,现有的硬分配算法只能求解满秩置换矩阵,而不能求解部分置换矩阵,并且该期望矩阵被定义在不可微的离散空间中。作为回应,我们设计了一个专用的软到硬(S2 H)匹配过程中的注册管道包括两个步骤:解决软匹配矩阵(S-步骤)和投影这个软矩阵的部分置换矩阵(H-步骤)。具体地说,我们在硬分配之前对利润矩阵进行增广,以求解增广的置换矩阵,然后对增广的置换矩阵进行裁剪,以获得最终的部分置换矩阵。此外,为了保证端到端的学习,我们监督学习的部分置换矩阵,但将梯度传播到软矩阵。我们的S2 H匹配过程可以很容易地与现有的注册框架集成,这已经在DCP,RPMNet和DGR等代表性框架中得到了验证。大量的实验已经验证了我们的方法,这创造了一个新的国家的最先进的性能鲁棒的3D点云配准。代码将被公开。
2022-03-01 cs.CV
Unsupervised Deep Probabilistic Approach for Partial Point Cloud Registration
ETH Zurich(苏黎世联邦理工学院)
深度点云配准方法面临部分重叠和依赖标记数据的挑战。为了解决这些问题,我们提出了UDPReg,这是一种用于部分重叠点云的无监督深度概率配准框架。具体来说,我们首先采用一个网络来学习高斯混合模型(Gestival)的后验概率分布从点云。为了处理部分点云的配准,我们应用Sinkhorn算法预测的分布水平的对应下的约束的混合权重的GRESS。为了实现无监督学习,我们设计了三种基于分布一致性的损失:自一致性,交叉一致性和局部对比性。自洽性损失是制定通过鼓励在欧氏空间和特征空间共享相同的后验分布的高斯白噪声。交叉一致性损失源于属于相同聚类的两个部分重叠的点云的点共享聚类质心的事实。交叉一致性损失允许网络灵活地学习两个对齐点云的变换不变后验分布。局部对比度损失有利于网络提取有区别的局部特征。我们的UDPReg在3DMatch/3DLoMatch和ModelNet/ModelLoNet基准测试中获得了具有竞争力的性能。
2023-03-23 cs.AI cs.CV math.PR
Mask 2D-3D: Adaptive Dual-Masked Autoencoder Network for Image-to-Point Cloud Registration
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Institute of Advanced Technology, University of Science and Technology of China(中国科学技术大学先进技术研究院)
针对图像到点云配准中域差异和错误对应问题,提出基于相似性和强化学习的自适应掩码双MAE框架(ID-MAE),在RGB-D Scenes v2和7-Scenes上取得最先进性能。
2026-09-17 cs.AI cs.CV
GraphReg: Dynamical Point Cloud Registration with Geometry-aware Graph Signal Processing
Beijing Academy of Artificial Intelligence(北京人工智能研究院);National Laboratory of Pattern Recognition(模式识别国家重点实验室);Institute of Automation, CAS(中国科学院自动化研究所);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);National Biomedical Imaging Center, Peking University(北京大学国家生物医学成像中心);Academy of Mathematics and Systems Science, CAS(中国科学院数学与系统科学研究院);UCAS(中国科学院大学)
三维点云配准是许多重要的三维视觉问题的核心,本文提出了一种高精度、高效率、物理诱导的三维点云配准方法。与现有的仅考虑空间点信息而忽略表面几何的基于物理的方法相比,我们探索了几何感知的刚体动力学来调节粒子(点)运动,从而实现更精确和鲁棒的配准。我们提出的方法包括四个主要模块。首先,我们利用图形信号处理(GSP)框架来定义新的签名(即,每个点的点响应强度),通过该方法,我们成功地描述了局部表面变化,重新定位关键点,并区分不同的颗粒。然后,为了解决当前基于物理的方法对离群值敏感的缺点,我们将定义的点响应强度调整为稳健统计中的中位数绝对偏差(MAD),并采用X84原则进行自适应离群值抑制,以确保稳健和稳定的配准。随后,我们提出了一种新的几何不变刚性变换下,将高阶特征的点云,这是进一步嵌入力建模,指导成对扫描之间的对应关系。最后,我们引入了一个自适应模拟退火(ASA)方法来搜索全局最优,大大加快注册过程。我们进行了全面的实验,以评估所提出的方法从距离扫描仪激光雷达捕获的各种数据集。结果表明,我们提出的方法优于代表国家的最先进的方法在精度方面,更适合于注册大规模的点云。此外,它比大多数竞争对手更快,更强大。
2023-02-02 cs.CV
Full Transformer Framework for Robust Point Cloud Registration with Deep Information Interaction
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学)
最近的基于transformer的方法已经取得了先进的性能,在点云配准,利用优势的Transformer的顺序不变性和建模的依赖性,以聚合信息。然而,他们仍然遭受模糊的特征提取,对噪声的敏感性,和离群值。原因是:(1)CNN的采用由于其局部感受野而无法对全局关系进行建模,导致提取的特征易受噪声影响;(2)Transformers的浅宽架构和位置编码的缺乏导致信息交互效率低下导致特征提取不清晰;(3)几何兼容性的遗漏导致内点和离群点之间的分类不准确。为了解决上述问题,提出了一种新的用于点云配准的全Transformer网络,称为深度交互Transformer(DIT),它包括:(1)一个点云结构提取器(PSE),用于建模全局关系并使用Transformer编码器检索结构信息;(2)深窄点特征Transformer(PFT),以便于利用位置编码跨两个点云的深度信息交互,使得Transformers可以建立全面的关联,并直接学习点之间的相对位置;(3)基于几何匹配的对应置信度评估(GMCCE)方法,通过设计三角描述子来度量空间一致性并估计内点置信度。对干净、有噪声、部分重叠的点云配准的大量实验表明,我们的方法优于最先进的方法。
2021-12-17 cs.AI cs.CV
Extend Your Own Correspondences: Unsupervised Distant Point Cloud Registration by Progressive Distance Extension
Shanghai Jiao Tong University(上海交通大学);Donghua University(东华大学)
提出无监督远距离点云配准方法EYOC,通过渐进式距离扩展自监督训练特征提取器,结合空间过滤方案生成高保真对应标签,在低训练成本下实现与监督方法相当的性能且泛化能力更优。
2024-03-27 cs.CV
Batch-based Model Registration for Fast 3D Sherd Reconstruction
The University of Hong Kong(香港大学);Texas A&M University(得克萨斯农工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
针对考古碎片高效数字化难题,提出基于批处理的扫描重建系统,开发碎片双面匹配算法与双边边界ICP配准算法,解决多批次局部扫描关联与窄重叠配准挑战,实现快速3D碎片重建。
2023-09-10 cs.CV
PCRDiffusion: Diffusion Probabilistic Models for Point Cloud Registration
Xidian University(西安电子科技大学)
本文提出PCRDiffusion框架,将点云配准建模为变换去噪扩散过程,并通过闭式变分界训练,在无对应和基于对应场景中均取得超过50%的性能提升。
2023-12-11 cs.AI cs.CV
Coarse-to-Fine Point Cloud Registration with SE(3)-Equivariant Representations
National Taiwan University(国立台湾大学);Mobile Drive Technology(移动驱动科技公司)
点云配准是计算机视觉和机器人学中的一个关键问题。现有的方法要么依赖于匹配局部几何特征,这是敏感的姿态差异,或利用全局形状,这导致不一致时,面对分布的变化,如部分重叠。结合这两种方法的优点,我们采用了一个由粗到细的流水线,同时处理这两个问题。我们首先通过对齐全局特征来减少输入点云之间的姿态差异;然后匹配局部特征,以进一步改进由分布方差引起的不准确对齐。由于全局特征对齐要求特征保持输入点云的姿态,而局部特征匹配要求特征对这些姿态不变,因此我们提出了一种SE(3)-等变特征提取器来同时生成两种类型的特征。在这个特征提取器中,保留姿态的表示首先由我们新的SE(3)-等变网络编码,然后由姿态分离模块转换为姿态不变的表示。实验表明,我们提出的方法提高了20%的召回率相比,国家的最先进的方法时,面临的姿势差异和分布方差。
2023-03-04 cs.CV cs.RO
LiDAR Point--to--point Correspondences for Rigorous Registration of Kinematic Scanning in Dynamic Networks
EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
为了提高运动扫描系统产生的激光雷达点云的配准,我们提出了一种新的轨迹调整程序,该程序利用重叠点云之间的选定可靠的3D点到点对应关系的自动提取及其联合集成(调整)以及所有原始惯性和GNSS观测。这是使用动态网络方法以紧密耦合的方式执行的,该方法通过在传感器而不是轨迹水平上对误差进行建模来产生最佳补偿轨迹。3D对应关系被公式化为该网络内的静态条件,并且利用校正的轨迹和在调整内确定的可能的其他参数以更高的精度生成配准的点云。我们首先描述了选择对应的方法,以及它们如何作为新的观察模型插入到动态网络中。然后,我们描述了进行实验,以评估所提出的框架的性能,在实际的机载激光扫描的情况下,低成本的MEMS惯性传感器。在所进行的实验中,提出的方法来建立3D对应关系是有效的,在确定点到点的匹配在广泛的几何形状,如树木,建筑物和汽车。我们的研究结果表明,该方法提高了点云配准精度,否则受到确定的平台姿态或位置(在标称和仿真GNSS中断条件下)中的误差的强烈影响,并且可能仅使用所建立的3D对应总数的一小部分来确定未知的方位角。
2022-01-03 cs.CV cs.RO
A Survey of Medical Point Cloud Shape Learning: Registration, Reconstruction and Variation
East China University of Science and Technology(东华大学)
本文综述了医学点云形状学习的最新进展,重点探讨配准、重建和变化建模三大任务,分析了当前挑战与未来发展方向。
2025-08-05 cs.CV eess.IV
Retrieval and Registration of Long-Range Overlapping Frames for Scalable Mosaicking of In Vivo Fetoscopy
Wellcome / EPSRC Centre for Interventional and Surgical Sciences, University College London(威康信托/工程与物理科学研究委员会介入与外科科学中心,伦敦大学学院);Centre for Surgical Technologies, KU Leuven(鲁汶大学外科技术中心);University College Hospital(大学学院医院)
目的:双胞胎对双胞胎输血综合征的标准临床治疗包括位于胎盘上的不期望的胎盘血栓的光凝固,胎盘血栓负责两个双胞胎之间的血液转移。虽然是护理程序的标准,但胎儿镜检查的胎盘视野有限,导致漏诊。为了便于临床医生的任务,非常需要构建胎盘的全局图,提供血管网络的更大概览。研究方法:为了克服体内序列固有的具有挑战性的视觉条件(低对比度、障碍物或存在伪影等),我们提出以下贡献:(i)通过对准图像梯度的方向来实现稳健的成对配准,以及(ii)关于长程一致性的困难通过词袋策略(bag-of-word strategy)来处理这些重叠帧(例如,由于存在异常值),该策略识别要配准的序列的重叠帧,而不管它们各自的时间位置。结果:除了视觉困难,体内序列的特点是固有的缺乏金标准。我们目前的马赛克定性激励我们的方法选择,并展示其有前途的方面。我们还通过对配准结果的目视检查半定量地证明了我们的配准方法与两个标准基线相比的有效性。结论:本文首次提出了在活体胎儿镜序列中构建胎盘镶嵌图的方法。鲁棒性的视觉挑战,在注册和长期的时间一致性提出,提供第一个积极的结果,在体内数据的标准镶嵌技术是不适用的。
2018-02-28 cs.CV
One-Nearest Neighborhood Guides Inlier Estimation for Unsupervised Point Cloud Registration
Xidian University(西安电子科技大学);Swinburne University of Technology(斯威本科技大学)
针对无监督点云配准中缺乏可靠内点估计的问题,提出基于 One-Nearest Neighborhood 的几何结构一致性方法,通过双重邻域匹配和变换不变表示提升内点置信度评分,并提供自监督信号,实验验证了其有效性。
2023-07-26 cs.AI cs.CV
SG-PGM: Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and Its Downstream Tasks
German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文提出SG-PGM,将三维场景图对齐建模为部分图匹配问题,通过语义几何特征融合和可学习top-k节点选择实现对齐,并利用节点对齐重评分点匹配,在低重叠场景下提升对齐精度10~20%。
2024-03-28 cs.CV cs.RO
Multiway Point Cloud Mosaicking with Diffusion and Global Optimization
ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学);Microsoft Mixed Reality & AI Lab(微软混合现实与人工智能实验室)
本文提出Wednesday多路点云拼接框架,以ODIN扩散去噪配准、位姿图优化和全局联合优化实现高精度多视角点云对齐,在多个大规模基准上大幅领先现有方法。
2024-03-30 cs.CV
Registration of algebraic varieties using Riemannian optimization
LAMSADE Université Paris Dauphine PSL(巴黎多菲纳大学PSL LAMSADE实验室);University of Oxford(牛津大学);National Physical Laboratory(英国国家物理实验室)
本文提出一种基于代数簇近似和黎曼优化的点云配准方法,通过Grassmann流形和正交群上的二阶优化求解变换,无需点对点对应,并给出基于Stein无偏估计的去噪误差统计保证。
2024-01-16 cs.CV math.OC
LESV: Language Embedded Sparse Voxel Fusion for Open-Vocabulary 3D Scene Understanding
Huawei Noah's Ark Lab(华为诺亚方舟实验室);CAOR, Mines Paris-PSL, France(法国巴黎高科矿业学院CAOR实验室)
本文提出LESV框架,通过稀疏体素 rasterization 解决3D场景理解中空间和语义模糊问题,利用AM-RADIO实现密集对齐,提升细粒度查询性能。
2026-07-10 cs.CV
Joint Deformable Registration of Large EM Image Volumes: A Matrix Solver Approach
用于连接组学的大型电子显微镜图像数据集通常由数千到数百万个部分重叠的二维图像(瓦片)组成,这些图像必须在进一步分析之前配准到相干体积中。常见的配准策略是找到相邻和重叠图像对之间的匹配特征,然后使用所谓的求解程序对最佳图像变形进行数值估计。现有的求解器对于大数据量是不够的,并且对于小规模图像配准是低效的。在这项工作中,提出了一种高效和准确的基于矩阵的求解方法。构造了一个线性系统,该系统将特征对平方距离的最小化与正则化项中的显式约束相结合。在没有可靠的先验正则化,我们展示了如何构建一个刚性模型近似使用先验。线性系统的解决使用现有的计算机程序,其性能上的典型的注册任务,我们简要地比较,并委托未来的规模扩大。我们的方法被应用于267万张图像的联合对齐,超过2亿个点对,并已被用于成功地对齐第一个完整的成年果蝇大脑。
2018-04-26 cs.CV
Active Annotation of Informative Overlapping Frames in Video Mosaicking Applications
Martinos Center for Biomedical Imaging, Massachusetts General Hospital and Harvard Medical School(马蒂诺斯生物医学成像中心、麻省总医院、哈佛医学院);Computer Science and Artificial Intelligence Laboratory (CSAIL), Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室(CSAIL));Wellcome / EPSRC Centre for Interventional and Surgical Sciences, University College London(伦敦大学学院惠康/EPSRC介入与外科科学中心);Centre for Medical Image Computing, University College London(伦敦大学学院医学图像计算中心);KU Leuven(鲁汶大学);King’s College London(伦敦国王学院)
视频拼接需要在序列中位于遥远的时间点的重叠帧的配准,以确保重建场景的全局一致性。然而,这种长距离对的完全自动化配准是(i)当图像本身的配准是困难的时具有挑战性的;以及(ii)由于用于配准的大量候选对,对于长序列而言计算上昂贵。在本文中,我们介绍了一个有效的框架,主动标注的长程成对对应序列。我们的框架建议对图像,寻求是信息的oracle代理(例如,人类用户或可靠的匹配算法),其提供关于每个建议对的视觉对应。信息对检索根据迭代策略的基础上的原则注释奖励加上两个互补的和在线自适应的框架重叠模型。除了马赛克的有效建设,我们的框架提供,作为一个副产品,地面真理地标对应,可用于评估或学习的目的。我们评估我们的方法在自动化和交互式的情况下,通过实验合成序列,在公开的数据集航空成像和临床数据集胎盘镶嵌在胎儿手术。
2020-12-30 cs.CV
A Unified BEV Model for Joint Learning of 3D Local Features and Overlap Estimation
Baidu Intelligent Driving Group(百度智能驾驶事业群);Zhejiang University(浙江大学)
成对点云配准是许多应用的关键任务,这在很大程度上取决于从两个点云中找到正确的对应关系。然而,输入点云之间的低重叠导致配准容易失败,导致错误的重叠和不匹配的对应关系,特别是在非重叠区域包含相似结构的场景中。在本文中,我们提出了一个统一的鸟瞰图(BEV)模型,用于联合学习3D局部特征和重叠估计,以实现成对配准和循环闭合。特征描述由基于BEV表示的稀疏UNet类网络执行,并且3D关键点由用于2D位置的检测头和用于高度的回归头提取。对于重叠检测,交叉注意模块用于交互输入点云的上下文信息,然后由分类头估计重叠区域。我们在KITTI数据集和Apollo-SouthBay数据集上对我们的统一模型进行了广泛的评估。实验表明,我们的方法显着优于现有的重叠估计方法,特别是在小重叠的场景。在平移和旋转误差方面,它还在两个数据集上实现了最佳配准性能。
2023-03-14 cs.CV
REGTR: End-to-end Point Cloud Correspondences with Transformers
National University of Singapore(新加坡国立大学)
尽管最近在将学习结合到点云配准中方面取得了成功,但许多工作都集中在学习特征描述符上,并继续依赖于最近邻特征匹配和通过RANSAC进行离群值过滤来获得最终的对应关系集以进行姿态估计。在这项工作中,我们推测,注意力机制可以取代显式特征匹配和RANSAC的作用,从而提出了一个端到端的框架,直接预测最终的对应关系。我们使用一个网络架构主要由Transformer层包含自我和交叉注意力,并训练它来预测每个点位于重叠区域的概率及其在其他点云中的相应位置。然后,可以直接从预测的对应关系估计所需的刚性变换,而无需进一步的后处理。尽管简单,但我们的方法在3DMatch和ModelNet基准测试中实现了最先进的性能。我们的源代码可以在https://github.com/yewzijian/RegTR上找到。
2022-03-28 cs.CV
An Automated Georeferencing Technique for Multi-Temporal Stope Point Clouds for Downstream Geotechnical Analysis
University of New South Wales(新南威尔士大学);University of Southern Queensland(南昆士兰大学)
针对地下采场点云地理配准依赖手动、耗时的问题,提出3D-TARGeT框架,利用低成本矩形标签实现自动配准,达到厘米级精度,显著优于现有自动配准方法。
2026-09-25 cs.CV
Rectified Point Flow: Generic Point Cloud Pose Estimation
Stanford University(斯坦福大学);NVIDIA Research(NVIDIA研究)
提出整流点流,一种统一条件生成框架,通过学习点级速度场实现点云配准与形状装配,无需对称标签,在六个基准上达到最先进性能。
2025-10-24 cs.AI cs.CV cs.RO