From a few Accurate 2D Correspondences to 3D Point Clouds
关键点、对应关系、投影矩阵、点云和稠密云是基于图像的三维重建的骨架,其中点云对于生成真实自然的三维重建对象模型具有重要作用。为了实现良好的3D重建,点云必须几乎遍布物体表面的任何地方。在这篇文章中,主要目的是建立覆盖整个表面的点云的对象,我们提出了一个新的功能命名为测地线功能或地理功能。基于新的地理特征,如果在对象的表面上存在几个(给定的)初始世界点以及所有精确估计的投影矩阵,则将重建连接这些给定世界点中的任何两个的测地线上的一些新的世界点。然后,这些初始世界点的表面上的边界区域将被点云覆盖。因此,如果初始世界点围绕曲面,则点云将覆盖整个曲面。本文提出了一种新的方法来估计世界点和投影矩阵的对应关系。该方法推导出了世界点和投影矩阵的封闭解和迭代解,并证明了当世界点个数小于7,图像个数至少为5时,所提方法是全局最优的。我们提出了一个算法命名为世界点从他们的对应关系(WPfC)估计世界点和投影矩阵从他们的对应关系,和另一个算法命名为创建点云(CrPC)创建点云从世界点和投影矩阵的第一个算法。
2022-06-13 cs.CV
CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence
City University of Hong Kong(香港城市大学);Tianjin University(天津大学)
出于直觉,在相应的3D点云中定位2D图像的关键步骤是在它们之间建立2D-3D对应关系,我们提出了第一个基于特征的密集对应框架,用于解决图像到点云配准问题,称为CorrI 2 P,它由三个模块组成,即,特征嵌入、对称重叠区域检测和通过所建立的对应关系的姿态估计。具体来说,给定一对2D图像和3D点云,我们首先将它们转换到高维特征空间,并将所得特征馈送到对称重叠区域检测器中,以确定图像和点云相互重叠的区域。然后,我们使用重叠区域的特征来建立2D-3D对应关系,然后在RANSAC内运行EPRECT来估计相机的姿态。在KITTI和NuScenes数据集上的实验结果表明,我们的CorrI 2 P显著优于最先进的图像到点云配准方法。我们将公开代码。
2022-09-20 cs.CV cs.MM
SDRSAC: Semidefinite-Based Randomized Approach for Robust Point Cloud Registration without Correspondences
Singapore University of Technology and Design(新加坡科技设计大学);University of Liverpool(利物浦大学);AIOZ Pte Ltd(AIOZ私人有限公司)
提出了一种新的无对应点云鲁棒配准的随机算法。大多数现有的注册方法需要一组假定的对应关系,通过提取不变的描述符。然而,这种描述符在嘈杂和污染的环境中可能变得不可靠。在这些设置中,直接处理输入点集的方法更可取。然而,如果没有对应关系,传统的随机化技术需要非常大量的样本,以达到令人满意的解决方案。在本文中,我们提出了一种新的方法来解决这个问题。特别是,我们的工作使点云注册的随机方法的使用,而不需要假定的对应关系。通过将点云对齐视为图匹配的一种特殊情况,并采用有效的半定松弛,我们提出了一种新的采样机制,其中采样子集的大小可以大于最小值。我们的紧松弛方案可以快速拒绝采样集中的离群值,从而产生高质量的假设。我们进行了大量的实验,以证明我们的方法优于其他国家的最先进的方法。重要的是,我们提出的方法作为一个通用的框架,可以扩展到已知的对应问题。
2019-04-14 cs.CV
REGTR: End-to-end Point Cloud Correspondences with Transformers
National University of Singapore(新加坡国立大学)
尽管最近在将学习结合到点云配准中方面取得了成功,但许多工作都集中在学习特征描述符上,并继续依赖于最近邻特征匹配和通过RANSAC进行离群值过滤来获得最终的对应关系集以进行姿态估计。在这项工作中,我们推测,注意力机制可以取代显式特征匹配和RANSAC的作用,从而提出了一个端到端的框架,直接预测最终的对应关系。我们使用一个网络架构主要由Transformer层包含自我和交叉注意力,并训练它来预测每个点位于重叠区域的概率及其在其他点云中的相应位置。然后,可以直接从预测的对应关系估计所需的刚性变换,而无需进一步的后处理。尽管简单,但我们的方法在3DMatch和ModelNet基准测试中实现了最先进的性能。我们的源代码可以在https://github.com/yewzijian/RegTR上找到。
2022-03-28 cs.CV
DeepCLR: Correspondence-Less Architecture for Deep End-to-End Point Cloud Registration
Ulm University(乌尔姆大学)
这项工作解决了使用深度神经网络的点云配准问题。我们提出了一种方法来预测两个点云重叠的数据内容,但位移的起源之间的对齐。这样的点云例如源自安装在移动平台上的LiDAR的连续测量。原始点云深度配准的主要难点是模板与源点云的融合。我们提出的架构应用流嵌入来解决这个问题,它生成描述每个模板点的运动的特征。然后,这些特征用于以端到端的方式预测对齐,而不提取两个输入云之间的显式点对应。我们依靠KITTI里程计和ModelNet40数据集来评估我们在各种点分布上的方法。我们的方法实现了最先进的精度和最低的运行时间的比较方法。
2021-01-13 cs.CV
A New Outlier Removal Strategy Based on Reliability of Correspondence Graph for Fast Point Cloud Registration
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院)
针对高外点率下点云配准效率与精度不足的问题,提出基于对应图节点和边可靠度的GROR外点剔除策略,可在超过99%外点率时快速准确配准。
2022-05-16 cs.CV
Feature-metric Registration: A Fast Semi-supervised Approach for Robust Point Cloud Registration without Correspondences
The University of Sydney(悉尼大学);University of Technology Sydney(悉尼科技大学)
我们提出了一个快速的特征度量点云配准框架,它通过最小化没有对应关系的特征度量投影误差来执行配准的优化。与几何投影误差相比,特征度量投影误差的优点是对噪声、离群值和密度差具有鲁棒性。此外,最小化特征度量投影误差不需要搜索对应关系,因此优化速度快。所提出的方法背后的原理是,如果点云对齐得很好,则特征差异最小。我们训练所提出的方法在半监督或无监督的方法,这需要有限的或没有注册标签数据。实验结果表明,该方法比现有方法具有更高的准确性和鲁棒性。实验结果表明,该方法能有效地处理噪声和密度差异,并能同时解决同源和跨源点云的配准问题。
2020-05-03 cs.CV
Extend Your Own Correspondences: Unsupervised Distant Point Cloud Registration by Progressive Distance Extension
Shanghai Jiao Tong University(上海交通大学);Donghua University(东华大学)
提出无监督远距离点云配准方法EYOC,通过渐进式距离扩展自监督训练特征提取器,结合空间过滤方案生成高保真对应标签,在低训练成本下实现与监督方法相当的性能且泛化能力更优。
2024-03-27 cs.CV
Guaranteed Outlier Removal for Point Cloud Registration with Correspondences
The University of Adelaide(阿德莱德大学)
一种已建立的3D点云配准方法是从3D关键点对应关系估计配准函数。通常,需要一种稳健的技术来进行估计,因为存在错误的对应关系或离群值。目前的3D关键点技术比2D技术精确得多,因此它们往往会产生极高的离群值率。因此,必须提取大量的推定对应关系,以确保足够好的对应关系可用。然而,这两个因素(高离群值率,大数据量)导致现有的鲁棒技术需要非常高的计算成本。在本文中,我们提出了一种新的预处理方法称为\emph{guaranteed outlier removal}的点云配准。我们的方法减少了输入到一个较小的集合,在某种程度上,任何拒绝对应保证不存在于全局最优解。使用确定性和快速的纯几何操作来执行减少。我们的方法显著减少了离群值的数量,从而可以快速进行进一步的优化。此外,由于仅去除了真正的离群值,因此保留了全局最优解。在各种合成和真实数据的实验中,我们证明了我们的预处理方法的有效性。演示代码可作为补充材料。
2017-11-28 cs.CV
Robust Point Cloud Registration Framework Based on Deep Graph Matching(TPAMI Version)
Fudan University(复旦大学);Digital Medical Research Center(数字医学研究中心);School of Basic Medical Science(基础医学院);Shanghai Key Laboratory of Medical Image Computing and Computer Assisted Intervention(上海市医学影像计算与计算机辅助干预重点实验室)
三维点云配准是计算机视觉和机器人学中的一个基本问题。近年来,基于学习的点云配准方法取得了很大的进展。然而,这些方法是敏感的离群值,这导致更多的不正确的对应关系。在本文中,我们提出了一种新的基于深度图匹配的点云配准框架。具体来说,我们首先将点云转换为图形,并提取每个点的深层特征。然后,我们开发了一个基于深度图匹配的模块来计算软对应矩阵。利用图匹配建立对应关系时,不仅考虑了点的局部几何特征,而且考虑了点在更大范围内的结构和拓扑特征,从而找到了更多正确的对应关系,并对网络进行了训练,损失直接定义在对应关系上,并且在测试阶段,软对应被转换为硬一一对应,使得可以通过对应来执行配准。基于solver此外,我们引入了一种基于变换的方法来生成用于图构造的边,这进一步提高了对应关系的质量。在对象级和场景级基准数据集上的大量实验表明,该方法达到了最先进的性能。代码可在以下网址获得:\href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}。
2022-11-09 cs.CV
Blended Point Cloud Diffusion for Localized Text-guided Shape Editing
Tel Aviv University(特拉维夫大学);BRIA AI;Cornell University(康奈尔大学)
本文提出一种基于修复的点云扩散编辑框架,通过部分条件形状提供结构引导,并设计推理时坐标混合算法,在保持全局一致性的同时实现文本引导的三维形状局部细粒度编辑。
2025-07-21 cs.CV cs.GR
Multi-instance Point Cloud Registration by Efficient Correspondence Clustering
Shanghai Jiao Tong University(上海交通大学)
我们解决的问题,估计多个实例的源点云内的目标点云的构成。现有的解决方案需要对大量的假设进行采样以检测可能的实例并拒绝离群值,当实例和离群值的数量增加时,其鲁棒性和效率显着降低。我们建议直接组成不同的集群的基础上的距离不变性矩阵的噪声对应的集合。通过聚类自动识别实例和离群值。我们的方法是强大的和快速的。我们在合成和真实世界的数据集上评估了我们的方法。实验结果表明,该方法在存在70%离群点的情况下,可以正确配准20个实例,F1得分为90.46%,性能明显优于现有方法,至少快10倍
2022-03-27 cs.CV
Cross-Coordinate Correspondence Pruning for Image-to-Point Cloud Registration
研究图像到点云配准问题,提出交叉坐标对应关系修剪(CCP)策略,通过投影统一坐标、轻量级网络预测内点置信度及多密度点集成策略,提升配准精度,性能比现有方法至少高8.6%。
2026-07-21 cs.CV
Performance comparison of 3D correspondence grouping algorithm for 3D plant point clouds
Indian institute of Technology Delhi(德里印度理工学院)
植物表型组学可用于监测植物的健康和生长。计算机视觉应用如立体重建、图像检索、目标跟踪和目标识别在基于图像的植物表型鉴定中起着重要作用。本文提供了一些流行的3D对应分组算法的比较评估,动机的重要作用,他们可以发挥任务,如模型创建,植物识别和识别植物的部分。本文的另一个贡献是扩展的二维最大似然匹配的三维最大似然估计样本共识(MLEASAC)。MLESAC是高效的,并且计算强度低于3D随机样本一致性(RANSAC)。我们测试这些算法的3D点云的植物,以及两个标准的基准解决形状检索和点云注册的情况。的性能进行评估的精度和召回。
2019-09-02 cs.CV
Correspondence-Free Point Cloud Registration with SO(3)-Equivariant Implicit Shape Representations
University of Michigan(密歇根大学)
提出了一种点云旋转配准的无对应方法。我们学习了特征空间中每个点云的嵌入,该特征空间保留了SO(3)-等方差属性,这是由等变神经网络的最新发展实现的。通过将等变特征学习与隐式形状模型相结合,所提出的形状配准方法实现了三个主要优点。首先,数据关联的必要性被删除,因为在类似于PointNet的网络架构中的置换不变属性。其次,由于SO(3)-等方差性质,特征空间中的配准可以使用Horn方法以封闭形式求解。第三,由于配准和隐式形状重建的联合训练,配准对点云中的噪声具有鲁棒性。实验结果表明,与现有的无对应深度配准方法相比,该方法具有更好的性能。
2021-11-25 cs.CV cs.LG
COTReg:Coupled Optimal Transport based Point Cloud Registration
University of Technology Sydney(悉尼科技大学);University of Sydney(悉尼大学);University of Western Australia(西澳大学)
生成一组高质量的对应或匹配是点云配准中最关键的步骤之一。本文提出了一个学习框架COTReg,通过联合考虑点态匹配和结构匹配来预测3D点云配准的对应关系。具体来说,我们将这两个匹配到一个Wasserstein距离为基础的和Gromov-Wasserstein距离为基础的优化,分别。因此,建立对应关系的任务可以自然地重塑为一个耦合的最优运输问题。此外,我们还设计了一个网络来预测点云中每个点的内点置信度,从而提供重叠区域信息来生成对应关系。我们的对应预测管道可以很容易地集成到FCGF等基于学习的特征或FPFH等传统描述符中。我们在3DMatch,KITTI,3DCSR和ModelNet 40基准测试上进行了全面的实验,显示了所提出的方法的最新性能。
2022-10-07 cs.CV
Robust Point Cloud Registration Framework Based on Deep Graph Matching
Digital Medical Research Center(数字医学研究中心);School of Basic Medical Science(基础医学院);Fudan University(复旦大学);Shanghai Key Lab of Medical Image Computing and Computer Assisted Intervention(上海医学影像计算与计算机辅助介入重点实验室)
三维点云配准是计算机视觉和机器人学中的一个基本问题。在这方面已经有了广泛的研究,但现有的方法遇到了很大的挑战,在大比例的离群值和时间限制的情况下,但没有良好的转换初始化。最近,一系列基于学习的算法已经被引入,并显示出速度上的优势。它们中的许多基于两个点云之间的对应关系,因此它们不依赖于变换初始化。然而,这些基于学习的方法对异常值敏感,这导致更多的不正确的对应关系。在本文中,我们提出了一种新的基于深度图匹配的点云配准框架。具体来说,我们首先将点云转换为图形,并提取每个点的深层特征。然后,我们开发了一个基于深度图匹配的模块来计算软对应矩阵。利用图匹配建立对应关系时,不仅考虑了点的局部几何特征,而且考虑了点在更大范围内的结构和拓扑特征,从而找到了更多正确的对应关系,并对网络进行了训练,损失直接定义在对应关系上,在测试阶段,软对应关系被转换为硬对应关系,一个对应关系使得可以通过奇异值分解来执行配准。此外,我们引入了一种基于变换的方法来生成用于图构造的边,这进一步提高了对应关系的质量。大量的实验表明,该方法实现了最先进的性能注册干净,嘈杂,部分到部分和看不见的类别点云。该守则将在www.example.com上公布。
2021-03-07 cs.CV
Learning Instance-Aware Correspondences for Robust Multi-Instance Point Cloud Registration in Cluttered Scenes
National University of Defense Technology(国防科技大学);Defense Innovation Institute, Academy of Military Sciences(军事科学院国防创新研究院)
针对杂乱场景多实例点云配准中对应关系易受背景和其他实例干扰的问题,提出由粗到细的 MIRETR,利用实例掩码提取可靠对应并进行候选优化,在 ROBI 上 F1 提升 16.6 分。
2024-04-06 cs.CV
Multi-Features Guidance Network for partial-to-partial point cloud registration
针对混合特征所带来的维数差异大、语义鸿沟大、相互干扰等问题,提出了一种新的多特征引导网络(Multi-Features Guidance Network,MFG)用于部分点云配准。该网络主要包括关键点特征提取、对应搜索、对应可信度计算和奇异值分解四个部分,其中对应搜索和对应可信度计算是网络的核心。与以前的工作不同,我们利用形状特征和空间坐标来指导对应搜索独立和融合的匹配结果,以获得最终的匹配矩阵。在对应关系可信度计算模块中,根据特征匹配矩阵和坐标匹配矩阵之间的冲突关系,对每个对应关系进行可信度评分,减少了不匹配点或不匹配点的影响。实验结果表明,我们的网络优于目前的最先进的,同时保持计算效率。
2021-09-10 cs.CV
VRHCF: Cross-Source Point Cloud Registration via Voxel Representation and Hierarchical Correspondence Filtering
National Key Lab of Autonomous Intelligent Unmanned Systems(自主智能无人系统全国重点实验室);School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
提出VRHCF框架,采用球状体素特征表示与层次化对应过滤,解决跨源点云配准中密度分布差异及大量离群点问题,在3DMatch和3DCSR数据集上取得最优配准性能。
2024-03-15 cs.CV
End-to-End 3D Point Cloud Learning for Registration Task Using Virtual Correspondences
三维点云配准仍然是一个非常具有挑战性的课题,因为很难找到两个点云之间的刚性转换部分对应,它甚至更难在没有任何初始估计信息。在本文中,我们提出了一种基于端到端深度学习的方法来解决点云配准问题。首先,引入改进的LPD-Net来提取特征,并将其与图网络进行聚合。其次,利用自注意力机制增强点云的结构信息,设计交叉注意力机制增强两个输入点云之间的对应信息。在此基础上,通过软指针方法生成虚拟对应点,最后通过奇异值分解方法解决点云配准问题。在ModelNet 40数据集上的实验结果验证了该方法在点云配准中的有效性,在KITTI数据集上的实验结果验证了该方法的有效性
2021-06-18 cs.CV cs.RO
Deep Graph-based Spatial Consistency for Robust Non-rigid Point Cloud Registration
National University of Defense Technology(国防科技大学);Technical University of Munich(慕尼黑工业大学)
研究了非刚性点云配准中的离群点对应修剪问题。在刚性配准中,空间一致性一直是区分离群点和内点的常用标准。它通过两个点云中各自距离之间的差异来衡量两个对应关系的兼容性。然而,空间一致性不再持有在非刚性的情况下和离群拒绝非刚性配准还没有得到很好的研究。在这项工作中,我们提出了基于图的空间一致性网络(GraphSCNet)过滤非刚性配准的离群值。我们的方法是基于这样一个事实,即非刚性变形通常是局部刚性的,或局部形状保持。首先,我们设计了一个局部空间一致性措施的变形图的点云,它评估的空间兼容性之间的对应关系在附近的一个图形节点。然后设计了一个基于注意力的非刚性对应嵌入模块,从局部空间一致性中学习非刚性对应的鲁棒表示。尽管它很简单,但GraphSCNet有效地提高了假定对应的质量,并在三个具有挑战性的基准测试中达到了最先进的性能。我们的代码和模型可以在https://github.com/qinzheng93/GraphSCNet上找到。
2023-03-17 cs.CV
Quantity-Aware Coarse-to-Fine Correspondence for Image-to-Point Cloud Registration
Zhejiang University(浙江大学);Heriot-Watt University(赫瑞-瓦特大学)
针对图像与点云跨模态匹配歧义问题,提出数量感知由粗到细对应框架,通过连续相关性监督、重采样先验和置信度排序提升配准精度,并在KITTI Odometry与NuScenes上优于现有方法。
2024-01-18 cs.CV
LeanGaussian: Breaking Pixel or Point Cloud Correspondence in Modeling 3D Gaussians
International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
近年来,高斯泼溅在新视点合成中取得了巨大的成功。目前的方法通常回归高斯与像素或点云对应,连接每个高斯与像素或3D点。这导致高斯的冗余被用于过拟合对应关系,而不是由3D高斯本身表示的对象,从而浪费资源并且缺乏准确的几何形状或纹理。在本文中,我们介绍了LeanGaussian,一种新的方法,将每个查询变形Transformer作为一个三维高斯椭球,打破了像素或点云对应的约束。我们利用可变形解码器,以图像特征作为键和值,逐层迭代地细化高斯。值得注意的是,每个3D高斯的中心被定义为3D参考点,然后将其投影到图像上,以在2D空间中实现可变形的注意力。在ShapeNet SRN数据集(类别级别)和Google Scanned Objects数据集(开放类别级别,使用Objaverse数据集进行训练)上,我们的方法比之前的方法高出约6.1%,分别达到25.44和22.36的PSNR。此外,我们的方法实现了7.2 FPS的3D重建速度和渲染速度500 FPS。代码可在https://github.com/jwubz123/LeanGaussian上获得。
2025-04-09 cs.CV
CoFiNet: Reliable Coarse-to-fine Correspondences for Robust Point Cloud Registration
Technical University of Munich(慕尼黑工业大学);National University of Defense Technology(国防科技大学);Siemens AG(西门子股份公司)
我们研究的问题,提取一对点云之间的对应注册。对于对应检索,现有的作品受益于匹配从密集点检测到的稀疏关键点,但通常难以保证其可重复性。为了解决这个问题,我们提出了CoFiNet -从粗到细的网络,它从粗到细提取层次对应关系,而无需关键点检测。在粗尺度上,并通过加权方案的指导下,我们的模型首先学习匹配下采样的节点,其附近的点共享更多的重叠,这显着缩小了连续阶段的搜索空间。在更精细的尺度上,节点建议被连续扩展到由点组和相关描述符组成的补丁。然后,通过能够处理变化的点密度的密度自适应匹配模块,从对应的补丁的重叠区域中细化点对应。在室内和室外标准基准上对CoFiNet进行的广泛评估表明了我们优于现有方法的优势。特别是在点云重叠较少的3DLoMatch上,CoFiNet在配准召回方面的表现明显优于最先进的方法至少5%,最多只有其参数的三分之二。
2021-10-26 cs.AI cs.CV
CorrNet3D: Unsupervised End-to-end Learning of Dense Correspondence for 3D Point Clouds
City University of Hong Kong(香港城市大学);Shandong University(山东大学);Nanyang Technological University(南洋理工大学)
出于这样的直觉,即人们可以将两个对齐的点云相互转换,比未对齐的点云更容易和更有意义,我们提出了CorrNet 3D-第一个无监督和基于端到端深度学习的框架-通过变形重建来驱动3D形状之间密集对应关系的学习,以克服对注释数据的需求。具体来说,CorrNet 3D由一个深度特征嵌入模块和两个称为对应指示器和对称变形器的新模块组成。通过输入一对原始点云,我们的模型首先学习逐点特征,并将其传递到指示器中,以生成用于置换输入对的可学习对应矩阵。对称变形器(具有额外的正则化损失)将两个置换的点云相互变换,以驱动对应关系的无监督学习。在刚性和非刚性3D形状的合成和真实世界数据集上的广泛实验表明,我们的CorrNet 3D在很大程度上优于最先进的方法,包括那些将网格作为输入的方法。CorrNet 3D是一个灵活的框架,如果有注释数据,它可以很容易地适应监督学习。源代码和预训练模型将在https://github.com/ZENGYIMING-EAMON/CorrNet3D.git上提供。
2021-05-03 cs.AI cs.CV
Improving RGB-D Point Cloud Registration by Learning Multi-scale Local Linear Transformation
Beihang University(北京航空航天大学);The University of Sydney(悉尼大学);The University of Hong Kong(香港大学)
点云配准的目的是估计两个点云扫描之间的几何变换,其中逐点对应性估计是其成功的关键。除了先前通过手工制作或学习几何特征来寻求对应关系的方法之外,最近的点云配准方法试图应用RGB-D数据来实现更准确的对应关系。然而,这是不平凡的,有效地融合几何和视觉信息,从这两个不同的模态,特别是配准问题。在这项工作中,我们提出了一个新的几何感知视觉特征提取器(GAVE),它采用多尺度局部线性变换来逐步融合这两种模式,其中来自深度数据的几何特征作为几何相关的卷积核来转换RGB数据的视觉特征。由此产生的视觉几何特征是在规范的特征空间与减轻视觉不相似所造成的几何变化,通过它可以实现更可靠的对应关系。建议的GAVE模块可以很容易地插入到最近的RGB-D点云配准框架。在3D Match和ScanNet上的大量实验表明,即使没有对应关系或姿势监督,我们的方法也优于最先进的点云配准方法。该代码可从以下网址获取:https://github.com/514DNA/LLT。
2022-09-01 cs.CV
2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud
National University of Singapore(新加坡国立大学)
从3D传感器生成的大规模点云比基于图像的点云更准确。然而,它很少用于视觉姿态估计,由于难以获得2D-3D图像点云对应。在本文中,我们提出了2D 3D-MatchNet-一种端到端的深度网络架构,用于分别从图像和点云中联合学习2D和3D关键点的描述符。因此,我们能够直接从查询图像和3D点云参考图中匹配并建立2D-3D对应关系,以进行视觉姿态估计。我们从Oxford Robotcar数据集创建了我们的Oxford 2D-3D Patches数据集,其中包含地面实况相机姿势和2D-3D图像到点云对应关系,用于训练和测试深度网络。实验结果验证了该方法的可行性。
2019-04-22 cs.CV
CoE: Deep Coupled Embedding for Non-Rigid Point Cloud Correspondences
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出CoE深度耦合嵌入方法,通过学习对几何感知且抗变形、噪声与缺失的逐点高维表示,实现非刚性点云间高质量密集匹配。
2025-01-09 cs.CV
Point Cloud Registration via Probabilistic Self-Update Local Correspondence and Line Vector Sets
Department of Computer Science and Information Engineering, National Taiwan University of Science and Technology(资讯工程系,国立台湾科技大学)
本文提出一种快速有效的点云配准算法,结合概率自更新局部对应与线向量集,通过双RANSAC模型提升精度与效率,实现更优的配准性能。
2026-04-29 cs.CV
PointCLM: A Contrastive Learning-based Framework for Multi-instance Point Cloud Registration
Fudan University(复旦大学)
多实例点云配准是估计源点云实例在目标点云内的多个姿态的问题。解决这个问题是具有挑战性的,因为一个实例的内点对应构成所有其他实例的离群点。现有的方法通常依赖于耗时的假设采样或利用空间一致性的特征,导致性能有限。在本文中,我们提出了PointCLM,一个基于对比学习的多实例点云配准框架。我们首先利用对比学习来学习输入的假定对应的分布良好的深度表示。然后,基于这些表示,我们提出了一个离群修剪策略和聚类策略,有效地删除离群和分配剩余的对应正确的实例。我们的方法在合成和真实数据集上的性能都大大优于最先进的方法。
2022-09-01 cs.CV
Iterative Global Similarity Points : A robust coarse-to-fine integration solution for pairwise 3D point cloud registration
Wuhan University(武汉大学)
在本文中,我们提出了一个由粗到细的集成解决方案的启发经典ICP算法,两个改进的混合度量空间(例如,BSC特征和欧几里得几何空间)和全局最佳对应匹配的成对3D点云配准。首先,我们检测点云的关键点,并使用二进制形状上下文(BSC)描述符来编码其局部特征。然后,我们制定的对应匹配任务作为一个能量函数,它模拟的BSC特征和欧氏几何的混合空间上的关键点的全局相似性。然后,我们通过Kuhn-Munkres算法优化能量函数来估计全局最优对应,然后基于对应计算变换。最后,通过最优对应匹配和变换计算相互补充,迭代地优化两点云之间的变换,实现统一框架下的粗到精配准。综合实验结果表明,该算法具有良好的性能,在旋转和平移误差方面均优于现有方法。
2018-08-12 cs.CV
FlashReg: GPU-Accelerated 3-Clique Point Cloud Registration for Real-Time Correspondence-to-Pose Estimation
School of Computing(计算机学院);Institute of Science Tokyo(东京科学大学)
FlashReg是面向GPU的点云配准算法,通过优化图构建与3-团搜索,在保持相当召回率的同时降低延迟、减少内存占用,适用于车载感知的高吞吐量配准后端。
2026-08-25 cs.CV cs.DC
Efficient and Deterministic Search Strategy Based on Residual Projections for Point Cloud Registration with Correspondences
Technical University of Munich(慕尼黑工业大学);University of Macau(澳门大学);Northwestern Polytechnical University(西北工业大学)
针对带对应关系点云配准中BnB搜索六维空间效率低的问题,提出基于残差投影的三位姿子问题解耦与区间穿刺BnB方法,在保持鲁棒性的同时显著提升效率。
2024-05-11 cs.CV
An Effective Approach for Point Clouds Registration Based on the Hard and Soft Assignments
Xi’an Jiaotong University(西安交通大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Kyushu Institute of Technology(九州工业大学)
针对部分重叠点云的配准问题,提出了一种基于硬配准和软配准的有效方法。给定两个初始姿态的云,首先为数据形状中的每个点建立正向对应关系,并计算二元变量的值,该值可以指示该点对应关系是否位于重叠区域。然后,建立双边对应关系,计算重叠区域内每个点的双向距离。根据双向距离的比值,选择指数函数计算概率值,该概率值可表征点对应的可靠性。随后,硬分配和软分配的值都被嵌入到所提出的目标函数中,用于部分重叠点云的配准,并提出了一种新的ICP算法变体来获得最佳刚性变换。所提出的方法可以实现良好的点云配准,即使当它们的重叠百分比是低的。在公共数据集上的实验结果表明,该方法在准确性和鲁棒性方面优于以往的方法。
2017-06-01 cs.CV
Searching Dense Point Correspondences via Permutation Matrix Learning
Northwestern Polytechnical University(西北工业大学)
虽然3D点云数据作为3D信号表达的一般形式受到了广泛的关注,但将点云应用于3D形状之间的密集对应估计的任务尚未得到广泛研究。此外,即使在现有的几个三维点云的方法,一个重要的和广泛认可的原则,即。一对一匹配,通常被忽略。为此,本文提出了一种基于端到端学习的点云密集对应关系估计方法,将点云匹配问题转化为零-一分配问题,得到一个置换匹配矩阵,从根本上实现了一对一原则。请注意,这个分配问题的经典解总是不可微的,这对于深度学习框架来说是致命的。为此,我们设计了一个特殊的匹配模块,它首先求解一个双随机矩阵,然后将得到的近似解投影到所需的置换矩阵上。此外,为了保证端到端的学习和计算损失的准确性,我们从学习的置换矩阵计算损失,但在反向传播期间绕过置换矩阵直接将梯度传播到双随机矩阵。我们的方法可以应用于非刚性和刚性的3D点云数据和广泛的实验表明,我们的方法达到了最先进的性能密集的对应学习。
2022-10-26 cs.CV
T-CorresNet: Template Guided 3D Point Cloud Completion with Correspondence Pooling Query Generation Strategy
School of Software, BNRist, Tsinghua University, Beijing, China
针对点云缺失问题,本文提出 T-CorresNet,利用高斯球形模板和 Corres-Pooling 动态查询生成由粗到精的完整点云,并在多个基准上达到最优性能。
2024-07-06 cs.CV
Learning 3D Dense Correspondence via Canonical Point Autoencoder
National Tsing-Hua University(国立清华大学);University of California, Merced(加州大学默塞德分校);NVIDIA(英伟达)
我们提出了一个典型的点自动编码器(CPAE),预测同一类别的3D形状之间的密集对应。自动编码器执行两个关键功能:(a)将任意排序的点云编码为规范图元,例如,球体,以及(b)将图元解码回原始输入实例形状。由于该基元位于瓶颈区域,它对将所有无序点云映射到规范曲面上并以有序的方式进行重构起着关键作用。一旦被训练,来自映射到原始表面上的相同位置的不同形状实例的点被确定为一对对应关系。我们的方法不需要任何形式的注释或自监督零件分割网络,并且可以处理未对齐的输入点云。三维语义关键点转移和部分分割转移的实验结果表明,我们的模型表现良好,对国家的最先进的对应学习方法。
2021-07-10 cs.CV
Correspondence-Free Multiview Point Cloud Registration via Depth-Guided Joint Optimisation
Robotics Institute, Faculty of Engineering and Information Technology, University of Technology Sydney(机器人研究所,工程与信息技术学院,新南威尔士大学);School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
本文提出一种无对应多视角点云配准方法,通过将全局地图表示为深度图并利用原始深度信息构建非线性最小二乘优化,联合估计点云位姿与全局地图,在复杂环境中精度优于现有先进方法。
2025-06-18 cs.CV cs.RO
HandMCM: Multi-modal Point Cloud-based Correspondence State Space Model for 3D Hand Pose Estimation
本文提出HandMCM,通过结合局部信息注入/过滤模块和对应建模,利用状态空间模型提升3D手姿态估计的鲁棒性和精度,实验表明其在严重遮挡场景中优于现有方法。
2026-04-05 cs.CV
PointDSC: Robust Point Cloud Registration using Deep Spatial Consistency
Hong Kong University of Science and Technology(香港科技大学);City University of Hong Kong(香港城市大学)
去除离群点对应关系是基于特征的点云配准成功的关键步骤之一。尽管在该领域引入深度学习方法越来越受欢迎,但空间一致性基本上是通过点云之间的欧几里得变换建立的,在现有的学习框架中几乎没有受到任何关注。在本文中,我们提出了PointDSC,这是一种新型的深度神经网络,它显式地将空间一致性用于修剪离群值对应。首先,我们提出了一个非局部特征聚合模块,加权的特征和空间相干性,特征嵌入的输入对应。其次,我们制定了一个可微的光谱匹配模块,监督成对的空间兼容性,估计每个对应的嵌入功能的内点置信度。在适度的计算成本下,我们的方法在几个真实世界数据集上的性能明显优于最先进的手工制作和基于学习的离群值拒绝方法。我们还展示了它的广泛适用性相结合的PointDSC与不同的3D局部描述符。
2021-03-09 cs.CV
Self-supervised 3D Human Mesh Recovery from Noisy Point Clouds
University of Alberta(阿尔伯塔大学);University of Toronto(多伦多大学);University of Guleph(圭尔夫大学)
本文提出了一种新的自监督的方法来重建人体形状和姿态从噪声点云数据。依赖于大量具有地面实况注释的数据集,最近基于学习的方法预测点云上每个顶点的对应关系;倒角距离通常用于最小化变形模板模型与输入点云之间的距离。然而,倒角距离对噪声和离群值非常敏感,因此分配对应关系可能不可靠。为了解决这些问题,我们模拟的输入点云的概率分布,从一个参数化的人体模型下的高斯混合模型。而不是显式对齐对应,我们把对应搜索的过程作为一个隐式的概率关联,通过更新给定输入的模板模型的后验概率。一种新的自监督损失进一步推导出惩罚变形的模板和输入点云之间的差异的条件下的后验概率。我们的方法非常灵活,它可以处理完整的点云和不完整的点云,甚至包括单个深度图像作为输入。与以前的自监督方法相比,我们的方法显示出处理大量噪声和离群值的能力。在各种公共合成数据集以及非常嘈杂的真实数据集(即CMU Panoptic)上进行的大量实验证明了我们的方法优于最先进的方法。
2021-11-26 cs.CV
Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds
Sichuan University(四川大学);The University of Western Australia(西澳大学);Central South University(中南大学);Monash University(莫纳什大学)
点云场景流估计对于自动驾驶中的动态场景导航具有重要的实际意义。由于场景流标签难以获取,现有方法都是在合成数据上训练模型,然后再将其转换到真实场景中。然而,现有的合成数据集和真实场景之间的巨大差异导致模型传输不佳。我们为解决这一问题作出了两项重大贡献。首先,我们为GTA-V引擎开发了一个点云收集器和场景流注释器,以自动获得各种真实感训练样本,而无需人工干预。在此基础上,我们开发了一个大规模的合成场景流数据集GTA-SF。其次,我们提出了一个基于平均教师的领域自适应框架,利用自我生成的伪标签的目标域。它还明确地结合了形状变形正则化和表面对应细化,以解决域转移中的失真和错位。通过大量的实验,我们表明,我们的GTA-SF数据集导致模型泛化到三个真实数据集(即,Waymo,Lyft和KITTI)与最广泛使用的FT 3D数据集相比。此外,我们的框架在六个源-目标数据集对上实现了卓越的自适应性能,显著缩小了60%的平均域差距。有关数据和代码,请访问https://github.com/leolyj/DCA-SRSFE
2022-03-31 cs.CV
Generalized-CVO: Fast and Correspondence-Free Local Point Cloud Registration with Second Order Riemannian Optimization
Toyota Research Institute(丰田研究院)
提出一种基于几何表面结构和再生核希尔伯特空间嵌入的无对应局部点云配准方法,采用二阶流形优化实现高达10倍加速,在LiDAR和RGB-D跟踪及物体配准中显著降低漂移并提升鲁棒性。
2026-06-08 cs.AI cs.CV cs.RO
ICOS: Efficient and Highly Robust Rotation Search and Point Cloud Registration with Correspondences
East China University of Science and Technology(华东理工大学)
旋转搜索和点云配准是机器人学和计算机视觉中的两个基本问题,其目的分别是估计三维矢量集和点云之间的旋转和变换。由于在实际应用中,在假定的向量或点对应关系中可能存在大量的离群值,鲁棒估计非常重要。在本文中,我们提出了ICOS(Inlier searching using Compatible Structures),一种新颖的,高效的和高度鲁棒的求解器,用于基于对应的旋转搜索和点云配准问题。具体来说,我们(i)提出并构建了一系列兼容的结构,可以建立各种不变量的两个问题,和(ii)设计三个时间效率的框架,第一个旋转搜索,第二个已知规模的注册和第三个未知规模的注册,过滤出离群值和寻找内点的不变量约束随机抽样的基础上提出的兼容结构。通过这种方式,即使有极端的离群值比率,也可以筛选出并收集内点,以有效地解决最佳旋转和变换,从而产生我们强大的求解器ICOS。通过对标准数据集的大量实验,我们证明:(i)我们的求解器ICOS快速,准确,鲁棒性超过95%的离群值,旋转搜索以及已知尺度和未知尺度配准的内点召回率接近100%,优于其他最先进的方法,(ii)ICOS适用于多种现实世界的应用。
2021-05-10 cs.CV cs.RO
DPC: Unsupervised Deep Point Correspondence via Cross and Self Construction
Tel Aviv University(特拉维夫大学)
提出了一种基于结构化形状构造的点云实时非刚性稠密对应的新方法。我们的方法,称为深点对应(DPC),需要一小部分的训练数据相比,以前的技术,并提出了更好的泛化能力。到目前为止,已经提出了两种主要的方法来解决稠密对应问题。第一种是基于光谱的方法,该方法在合成数据集上获得了很好的结果,但需要形状的网格连接性和较长的推理处理时间,同时在现实世界的场景中不稳定。第二种是空间方法,使用编码器-解码器框架从不规则输入回归用于匹配对准的有序点云。不幸的是,解码器带来了相当大的缺点,因为它需要大量的训练数据,并努力在跨数据集评估中很好地推广。DPC的新颖之处在于它没有解码器组件。相反,我们使用潜在相似性和输入坐标本身来构建点云并确定对应关系,取代解码器完成的坐标回归。大量的实验表明,我们的建设方案导致性能提升相比,最近国家的最先进的对应方法。我们的代码可在https://github.com/dvirginz/DPC上公开获取。
2021-10-16 cs.CV
SPEAL: Skeletal Prior Embedded Attention Learning for Cross-Source Point Cloud Registration
Xiamen University(厦门大学);Nanyang Technological University(南洋理工大学)
针对跨源点云配准中的噪声、密度与尺度变化问题,提出SPEAL,通过无监督骨架提取、骨架感知Transformer和对应关系双采样增强几何拓扑建模,并构建KITTI CrossSource基准验证其鲁棒优势。
2024-03-03 cs.CV
Correspondence-Free SE(3) Point Cloud Registration in RKHS via Unsupervised Equivariant Learning
University of Michigan(密歇根大学);Amazon Lab126(亚马逊Lab126)
提出一种无需对应关系的无监督SE(3)点云配准方法,通过将点云映射到RKHS并利用等变特征实现直接配准,在合成与真实含噪数据集上精度优于经典和监督方法。
2024-07-29 cs.CV cs.RO
Q-REG: End-to-End Trainable Point Cloud Registration with Surface Curvature
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软);Stanford University(斯坦福大学)
针对基于对应匹配的点云配准依赖 RANSAC、难以端到端优化位姿误差的问题,本文提出 Q-REG,利用表面曲率从单个对应关系估计刚性位姿,并在多个基准上达到最先进水平。
2023-09-27 cs.CV
Pairwise Point Cloud Registration using Graph Matching and Rotation-invariant Features
Technical University of Munich(慕尼黑工业大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学)
配准是点云处理中的一项基本而关键的任务,它通常依赖于从两个点云中找到元素对应。然而,找到可靠的对应关系依赖于建立一个强大的和有区别的描述元素和正确匹配的相应元素。在这封信中,我们开发了一种由粗到细的配准策略,该策略利用旋转不变特征和一种新的加权图匹配方法来迭代查找对应关系。在图匹配方法中,利用欧氏空间和特征空间中节点和边的相似度来构造优化函数。所提出的策略进行评估,使用两个基准数据集,并与几个国家的最先进的方法进行比较。关于实验结果,我们提出的方法可以实现一个精细的注册与旋转误差小于0.2度和平移误差小于0.1米。
2021-05-05 cs.CV
Line-based Camera Pose Estimation in Point Cloud of Structured Environments
Wuhan University(武汉大学);Carnegie Mellon University(卡内基梅隆大学)
二维影像与点云的精确配准是影像-LiDAR点云融合、摄像机-激光扫描仪标定和摄像机定位的关键技术。尽管不断改进,但在不使用额外纹理信息的情况下自动配准2D和3D数据仍然面临巨大挑战。在本文中,我们提出了一种新的2D-3D配准方法来估计2D-3D线特征对应关系和相机姿态在结构化环境的无纹理点云。具体来说,我们首先使用消失点和3D平行线之间的几何约束来计算所有可行的相机旋转。然后,我们利用假设检验策略来估计2D-3D线对应和平移向量。通过检查与计算的对应关系的一致性,可以找到最佳的旋转矩阵。最后,使用所有2D-3D线对应关系的非线性优化来进一步细化相机位姿。实验结果表明,该方法的有效性的合成和真实数据集(室外和室内)的重复结构和快速的深度变化。
2019-12-12 cs.CV cs.RO
Correspondence Free Multivector Cloud Registration using Conformal Geometric Algebra
ISR-IST University of Lisbon(里斯本大学IST-ISR机构)
提出一种基于共形几何代数的无对应多重向量点云配准理论,通过多重线性特征值问题获得几何对象,实现 $SO(4,1)$ 正交变换及旋转、平移等变。
2024-06-17 cs.CV
DV-Matcher: Deformation-based Non-Rigid Point Cloud Matching Guided by Pre-trained Visual Features
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室)
本文提出DV-Matcher框架,通过引入预训练视觉模型先验知识和基于形变的对齐模块,实现了非刚性点云间高质量的密集对应关系估计,在多种数据集上达到最先进水平。
2025-03-01 cs.CV
OAAFormer: Robust and Efficient Point Cloud Registration Through Overlapping-Aware Attention in Transformer
Shandong University(山东大学);Qingdao University of Science and Technology(青岛科技大学);Texas A&M University(得克萨斯农工大学)
针对点云配准中粗到细范式的局限性,提出OAAFormer,通过软匹配、重叠检测和线性复杂度区域注意力提升对应质量,在3DLoMatch上内点率提升约7%,召回率提升2-4%。
2023-10-15 cs.CV