End-to-End Learning Local Multi-view Descriptors for 3D Point Clouds
HKUST（香港科技大学）；Alibaba A.I. Labs（阿里巴巴人工智能实验室）；City University of Hong Kong（香港城市大学）；Simon Fraser University（西蒙弗雷泽大学）
在这项工作中，我们提出了一个端到端的框架来学习本地多视图描述符的三维点云。为了采用类似的多视图表示，现有的研究在预处理阶段使用手工制作的视点进行渲染，该预处理阶段与随后的描述符学习阶段分离。在我们的框架中，我们集成到神经网络的多视图渲染，通过使用一个可微分的渲染器，它允许的观点是可优化的参数，以捕捉更多的信息本地上下文的兴趣点。为了获得有区别的描述符，我们还设计了一个软视图池模块来专注地融合视图间的卷积特征。在现有的3D配准基准上进行的大量实验表明，我们的方法在定量和定性上都优于现有的局部描述符。
2020-03-16 cs.CV
Cross-modal Learning for Image-Guided Point Cloud Shape Completion
Politecnico di Torino（都灵理工大学）
在本文中，我们探讨了最近的话题点云完成，指导下的辅助图像。我们展示了如何有效地将来自两种模态的信息结合在局部潜在空间中，从而避免了需要复杂的点云重建方法从单视图使用的国家的最先进的。我们还研究了一种新的弱，监督设置，其中所述辅助图像通过在完成的点云上使用可微分渲染器来测量保真度，从而向训练过程提供监督信号在图像空间中。实验表明，显着的改进，超过国家的最先进的监督方法的单峰和多峰完成。我们还展示了弱监督方法的有效性，该方法优于许多监督方法，并且与仅利用点云信息的最新监督模型具有竞争力。
2022-09-20 cs.CV eess.IV
Learning a 3D descriptor for cross-source point cloud registration from synthetic data
University of Technology Sydney（悉尼科技大学）
随着三维传感器技术的发展，对来自不同类型传感器的三维数据（如点云）的配准提出了更高的要求。然而，由于点云数据的密度变化、数据缺失、不同视点、噪声和离群点以及几何变换等因素，不同传感器之间的点云配准具有挑战性。在本文中，我们提出了一种方法来学习一个3D描述符找到这些具有挑战性的点云之间的对应关系。为了训练深度学习框架，我们使用合成3D点云作为输入。从合成数据集出发，采用基于区域的抽样方法，从合成样本中选取合理、大而多样的训练样本。然后，我们使用数据增强来扩展我们的网络对旋转变换的鲁棒性。我们的工作集中在更一般的情况下，点云来自不同的传感器，称为跨源点云。实验结果表明，该描述子不仅能够推广到新的场景，而且能够推广到不同的传感器。结果表明，该方法成功地对齐了两个三维交叉源点云，优于国家的最先进的方法。
2017-08-24 cs.CV
Learning general and distinctive 3D local deep descriptors for point cloud registration
一个有效的3D描述符应该对不同的几何变换（如缩放和旋转）保持不变，对遮挡和混乱具有鲁棒性，并且能够推广到不同的应用领域。我们提出了一种简单而有效的方法来学习通用和独特的3D局部描述符，可用于注册在不同域中捕获的点云。点云补丁被提取，规范化相对于他们的本地参考系，并编码成规模和旋转不变的紧凑描述符的深度神经网络，是不变的输入点的排列。这种设计使我们的描述符能够跨域泛化。我们在几个室内和室外数据集上评估并比较了我们的描述符与替代的手工制作和基于深度学习的描述符，这些数据集通过使用RGBD传感器和激光扫描仪重建。我们的描述符在泛化方面远远优于最新的描述符，并且在同一领域进行训练和测试的基准测试中也成为最先进的。
2022-05-12 cs.CV cs.RO
Performance Evaluation of 3D Keypoint Detectors and Descriptors on Coloured Point Clouds in Subsea Environments
McGill University（麦吉尔大学）
本文利用商用水下激光扫描仪采集的现场数据集评估三维关键点检测器与描述子的最佳组合，并提出图像与水下激光扫描融合生成彩色点云的新方法，以研究6D点云描述子在海底环境中的有效性。
2024-02-26 cs.CV cs.RO
IMFNet: Interpretable Multimodal Fusion for Point Cloud Registration
Image X Institute, University of Sydney（悉尼大学 Image X 研究所）；Jiangxi University of Finance and Economics（江西财经大学）；Sany（三一集团）
现有的点描述器只依赖于点的结构信息，而忽略了纹理信息。然而，纹理信息对于我们人类区分场景部分至关重要。此外，目前基于学习的点描述符都是黑箱，不清楚原始点如何对最终描述符做出贡献。在本文中，我们提出了一种新的多模态融合方法来产生一个点云注册描述符，同时考虑结构和纹理信息。具体而言，一种新的注意力融合模块被设计为提取加权纹理信息的描述符提取。此外，我们提出了一个可解释的模块来解释原始点，有助于最终的描述符。我们使用描述符元素作为反向传播到目标层的损失，并将梯度视为该点对最终描述符的重要性。本文进一步解释了注册任务中的深度学习。在3DMatch、3DLoMatch和KITTI上的综合实验表明，该多模态融合描述子达到了最新的精度，提高了描述子的区分度。我们还证明了我们的解释模块在解释注册描述符提取。
2021-11-18 cs.CV
Learning and Matching Multi-View Descriptors for Registration of Point Clouds
Hong Kong University of Science and Technology（香港科技大学）；Shenzhen Zhuke Innovation Technology（深圳珠科创新技术）
点云配准的关键是在3D空间中的点之间建立一组精确的对应关系。对应性问题通常一方面通过设计有区别的3D局部描述符来解决，另一方面通过开发鲁棒的匹配策略来解决。在这项工作中，我们首先提出了一个多视图局部描述符，这是从多个视图的图像学习，用于描述3D关键点。然后，我们开发了一个强大的匹配方法，旨在拒绝离群匹配的基础上，通过定义的图形模型上的置信传播的有效推理。我们已经证明了我们的方法在公共扫描和多视图立体视觉数据集上注册的提升。通过对各种描述符和匹配方法的深入比较，验证了其优越的性能。
2023-02-27 cs.CV
RIGA: Rotation-Invariant and Globally-Aware Descriptors for Point Cloud Registration
Technical University of Munich（慕尼黑工业大学）；Meta Reality Labs（Meta现实实验室）；National University of Defense Technology（国防科技大学）；Shanghai Jiao Tong University（上海交通大学）；Siemens AG（西门子股份公司）
成功的点云配准依赖于在强大的描述符基础上建立的准确对应关系。然而，现有的神经描述符要么利用旋转变体骨干，其性能在大旋转下下降，要么编码不太独特的局部几何形状。为了解决这个问题，我们引入了RIGA来学习设计为旋转不变和全局感知的描述符。从稀疏局部区域的点对特征（PPF），旋转不变的局部几何编码成几何描述符。随后将3D结构和几何背景的全局感知以旋转不变的方式并入。更具体地说，整个帧的3D结构首先由我们的全局PPF签名表示，从中学习结构描述符以帮助几何描述符感知局部区域之外的3D世界。然后将整个场景的几何上下文全局聚合到描述符中。最后，稀疏区域的描述被内插到密集点描述符，从密集点描述符中提取对应关系用于配准。为了验证我们的方法，我们进行了广泛的实验对象和场景级数据。对于大旋转，RIGA在ModelNet 40上的相对旋转误差方面超过了最先进的方法8 \degree，并在3DLoMatch上将特征匹配召回率提高了至少5个百分点。
2022-09-27 cs.CV
Learning a Task-specific Descriptor for Robust Matching of 3D Point Clouds
Northwestern Polytechnical University（西北工业大学）
现有的基于学习的点特征描述符通常是任务不可知的，其追求尽可能准确地描述个体3D点云。然而，匹配任务的目的是在不同的3D点云上一致地描述对应的点。因此，由于在局部几何结构中不可预测的噪声、噪声、变形、\etc引起的对应的不一致的点特征表示，这些太精确的特征可能起到反作用。在本文中，我们建议学习一个强大的特定于任务的特征描述符，以一致地描述干扰下的正确点对应。由于具有编码器和动态融合模块，我们的方法EDFNet从两个方面发展。首先，我们增加匹配的对应关系，利用其重复的局部结构。为此，一个特殊的编码器被设计为利用两个输入点云联合为每个点描述符。它不仅通过卷积捕获当前点云中每个点的局部几何形状，而且还利用Transformer从配对点云中提取的重复结构。其次，我们提出了一个动态融合模块，共同使用不同的尺度特征。在单尺度特征的鲁棒性和区分性之间存在不可避免的斗争。具体地，小尺度特征是鲁棒的，因为在该小的感受野中存在很少的干扰。但它是不够的歧视性，因为有许多重复的局部结构内的点云。因此，所得到的描述符将导致许多不正确的匹配。相比之下，大尺度特征通过整合更多的邻域信息而更具鉴别力。...
2022-10-26 cs.CV
You Only Hypothesize Once: Point Cloud Registration with Rotation-equivariant Descriptors
Wuhan University（武汉大学）；The University of Hong Kong（香港大学）；Texas A&M University（得克萨斯农工大学）
在本文中，我们提出了一种新的本地基于几何的框架，称为你只假设一次（YOHO），两个未对齐的点云的注册。与大多数现有的局部描述符依赖于脆弱的局部参考系来获得旋转不变性相比，所提出的描述符通过最近的组等变特征学习技术来实现旋转不变性，从而对点密度和噪声具有更强的鲁棒性。同时，YOHO中的描述符也有一个旋转等变部分，这使得我们能够从一个对应假设来估计配准。这一性质减小了可行变换的搜索空间，从而大大提高了YOHO算法的精度和效率。大量的实验表明，YOHO在四个广泛使用的数据集，3DMatch/3DLoMatch数据集，ETH数据集和WHU-TLS数据集上实现了更少的RANSAC迭代，从而获得了优异的性能。更多详细信息请参阅我们的项目页面：https://hpwang-whu.github.io/YOHO/。
2022-07-25 cs.CV
Self-Supervised Point Cloud Registration with Deep Versatile Descriptors
Shanghai Jiao Tong University（上海交通大学）
本文提出一种自监督点云配准方法，联合全局与局部描述符并利用重建和法线估计增强变换感知，在多个数据集上超越现有无监督方法，部分情况下优于有监督方法。
2023-04-13 cs.CV
WSDesc: Weakly Supervised 3D Local Descriptor Learning for Point Cloud Registration
École Polytechnique, IP Paris（巴黎理工学院综合理工学院）；City University of Hong Kong（香港城市大学）
在这项工作中，我们提出了一种称为WSDesc的新方法，以弱监督的方式学习3D局部描述符，以实现鲁棒的点云配准。我们的工作建立在最近的3D基于CNN的描述符提取器，它利用基于体素的表示来参数化3D点的局部几何形状。我们建议以数据驱动的方式学习最佳支持，而不是在体素化中使用预定义的固定大小的局部支持。为此，我们设计了一种新的可微分体素化层，可以将梯度反向传播到支持大小优化。为了训练提取的描述符，我们提出了一种新的注册损失的基础上偏离刚性的3D变换，和损失是弱监督的先验知识，输入点云有部分重叠，而不需要地面实况对齐信息。通过大量的实验，我们表明，我们学习的描述符产生现有的几何配准基准优越的性能。
2022-03-14 cs.CV cs.GR
HD2Reg: Hierarchical Descriptors and Detectors for Point Cloud Registration
Xi’an Jiaotong University（西安交通大学）；Shunan Academy of Artificial Intelligence（舜人工智能研究院）
针对点云配准中特征描述子与检测器缺乏局部和全局语义显式表征的问题，提出HD2Reg框架，通过分层对比学习、双层级关键点检测及全局到局部匹配实现更优配准效果。
2023-05-05 cs.CV
Anomaly Detection in 3D Point Clouds using Deep Geometric Descriptors
MVTec Software GmbH（MVTec软件有限公司）；Technical University of Munich（慕尼黑工业大学）
提出了一种新的高分辨率三维点云几何异常的无监督检测方法。特别是，我们提出了一个适应的学生，教师异常检测框架的三个维度。训练学生网络以匹配无异常点云上预训练教师网络的输出。当应用于测试数据时，教师和学生之间的回归误差允许异常结构的可靠定位。为了构建一个富有表现力的教师网络，提取密集的局部几何描述符，我们引入了一种新的自监督预训练策略。教师通过重建局部感受野进行培训，不需要注释。在综合MVTec 3D异常检测数据集上进行的广泛实验突出了我们方法的有效性，该方法的性能远远优于下一个最佳方法。消融研究表明，我们的方法满足实际应用的性能，运行时间和内存消耗的要求。
2022-02-23 cs.CV
Unconstrained Matching of 2D and 3D Descriptors for 6-DOF Pose Estimation
The University of Western Australia（西澳大学）；Murdoch University（莫道克大学）
本文提出了一种新的概念，直接匹配的特征描述符提取的二维图像与特征描述符提取的三维点云。我们使用这个概念来直接定位3D点云中的图像。我们生成匹配的2D和3D点及其相应的特征描述符的数据集，用于学习描述符匹配器分类器。为了在测试时定位图像的姿态，我们从查询图像中提取关键点和特征描述符。然后使用训练的描述符匹配器来匹配来自图像和点云的特征。匹配特征的位置被用于鲁棒的姿态估计算法中以预测查询图像的位置和方向。我们对所提出的方法进行了广泛的评估，用于室内和室外场景以及不同类型的点云，以验证我们的方法的可行性。实验结果表明，直接匹配的特征描述符从图像和点云不仅是一个可行的想法，但也可以可靠地用于估计6自由度的查询相机在任何类型的三维点云在一个无约束的方式与高精度。
2020-05-29 cs.CV cs.LG cs.RO
DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization
Technical University of Munich（慕尼黑工业大学）；Artisense
对于大规模点云的重新定位，我们提出了第一种方法，统一了全球的地方识别和本地6DoF姿势细化。为此，我们设计了一个连体网络，直接从原始3D点联合学习3D局部特征检测和描述。它集成了FlexConv和挤压和激励（SE），以确保学习的局部描述符捕获多级几何信息和通道关系。为了检测3D关键点，我们以无监督的方式预测局部描述符的区分度。我们生成的全局描述符直接聚合学习的本地描述符与一个有效的注意力机制。以这种方式，在单个前向传递中推断局部和全局3D描述符。各种基准测试的实验表明，我们的方法实现了竞争力的结果相比，国家的最先进的方法，全球点云检索和局部点云注册。为了验证我们的3D关键点的可推广性和鲁棒性，我们证明了我们的方法在没有对视觉SLAM系统生成的点云配准进行微调的情况下也表现良好。代码和相关材料可在https://vision.in.tum.de/research/vslam/dh3d上获得。
2020-07-17 cs.CV
LitS: A novel Neighborhood Descriptor for Point Clouds
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela, Spain（圣地亚哥-德孔波斯特拉大学智能技术研究中心（CiTIUS））；Universidade de Santiago de Compostela, Spain（圣地亚哥-德孔波斯特拉大学）；Departamento de Electrónica e Computación, Universidade de Santiago de Compostela, Spain（圣地亚哥-德孔波斯特拉大学电子与计算系）
LitS是一种新型点云邻域描述符，通过分段常数函数捕捉局部点排列的细微差别，适用于2D和3D点云分析，具备适应不同数据类型和密度的能力。
2026-02-04 cs.CV
SphereNet: Learning a Noise-Robust and General Descriptor for Point Cloud Registration
Beijing Institute of Technology（北京理工大学）
针对现有点云配准描述子抗噪性差、泛化能力弱的问题，提出SphereNet，通过球形体素编码、球面插值及带完整性填充的球面卷积网络提取描述子，在噪声场景和多个基准上取得最优性能与泛化性。
2023-07-18 cs.CV
Noise-resistant Deep Learning for Object Classification in 3D Point Clouds Using a Point Pair Descriptor
Chair of Media Technology, Technical University of Munich（慕尼黑工业大学媒体技术教席）；Augmented Reality Lab, Baidu Inc.（百度公司增强现实实验室）
点云数据中的目标检索和分类受到噪声、不规则采样密度和遮挡等因素的影响。为了解决这个问题，我们提出了一个点对描述符，是强大的噪声和遮挡，并实现高检索精度。我们进一步展示了如何将所提出的描述符用于4D卷积神经网络中的对象分类任务。我们提出了一种新的4D卷积层，它能够学习描述符直方图中的类特定聚类。最后，我们提供了3个基准数据集上的实验验证，这证实了所提出的方法的优越性。
2018-04-05 cs.AI cs.CV cs.RO
Object Scan Context: Object-centric Spatial Descriptor for Place Recognition within 3D Point Cloud Map
Beihang University（北京航空航天大学）；Beijing Yihang Yuanzhi Technology Co., Ltd（北京一航远志科技有限公司）
针对现有激光雷达中心描述符在距离大时失效且仅算旋转的缺陷，提出围绕主对象的局部描述符，结合几何法精确计算相对位姿，并在KITTI数据集上验证了优越性。
2023-11-13 cs.CV
Point Cloud Completion by Learning Shape Priors
National University of Singapore（新加坡国立大学）
针对点云补全中物体细节重建困难的问题，提出了一种基于形状先验学习的物体补全方法。形状先验包括完整点云和部分点云中的几何信息。我们设计了一个特征对齐策略，从完整的点学习形状先验，和一个粗到精的策略，将部分先验的精细阶段。为了事先学习完整的对象，我们首先训练一个点云自动编码器来从完整的点中提取潜在的嵌入。然后我们学习一个映射，通过优化特征对齐损失将点特征从部分点转移到完整点。特征对齐损失由L2距离和由最大均值离散生成对抗网络（MMD-GAN）获得的对抗损失组成。L2距离优化了特征空间中的部分特征，MMD-GAN减小了再生核希尔伯特空间中两个点特征的统计距离。我们在点云完成任务上实现了最先进的性能。我们的代码可在https://github.com/xiaogangw/point-cloud-completion-shape-prior上获得。
2021-07-15 cs.CV cs.LG eess.IV
Completing Partial Point Clouds with Outliers by Collaborative Completion and Segmentation
Nanjing University（南京大学）
现有的点云补全方法大多只适用于不含噪声和野值的部分点云，在实际应用中并不总是成立。本文提出了一种端到端的网络，命名为CS-Net，以完成被噪声污染或包含离群点云。在我们的CS-Net中，完成和分割模块协同工作，相互促进，受益于我们专门设计的级联结构。在分割的帮助下，更多干净的点云被送入完成模块。我们设计了一个新的完成解码器，利用分割获得的标签与FPS一起净化点云，并利用KNN分组更好地生成。完成和分割模块交替工作，共享彼此有用的信息，以逐步提高预测质量。为了训练我们的网络，我们构建了一个数据集来模拟不完整点云包含离群值的真实情况。我们的综合实验和国家的最先进的完成方法的比较证明了我们的优越性。我们还比较了分割后完成的方案和它们的端到端融合，这也证明了我们的有效性。
2022-03-18 cs.CV
PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
National University of Singapore（新加坡国立大学）
与基于图像的检索不同，基于点云的位置识别检索一直是一个未探索和未解决的问题。这在很大程度上是由于难以从点云中提取局部特征描述符，随后可以将其编码为用于检索任务的全局描述符。在本文中，我们提出了PointNetVLAD，利用深度网络最近的成功来解决基于点云的位置识别检索。具体来说，我们的PointNetVLAD是现有PointNet和NetVLAD的组合/修改，它允许端到端的训练和推理，从给定的3D点云中提取全局描述符。此外，我们提出了“懒惰的三元组和四元组”的损失函数，可以实现更多的歧视性和概括性的全局描述符，以解决检索任务。我们创建基准数据集的点云检索的位置识别，这些数据集上的实验结果表明，我们的PointNetVLAD的可行性。我们的代码和基准数据集下载的链接可以在我们的项目网站上找到。http://github.com/mikacuy/pointnetvlad/
2018-05-16 cs.CV
View-Guided Point Cloud Completion
Tsinghua University（清华大学）；Huawei Technologies Canada Co Ltd（华为技术加拿大有限公司）；OPPO Research Institute（OPPO研究院）
本文提出了一种视图引导的点云完成任务的解决方案。与大多数现有的方法直接推断丢失的点使用形状先验，我们解决这个任务，通过引入ViPC（视图引导点云完成），需要从一个额外的单视图图像丢失的关键全局结构信息。通过利用顺序执行有效的跨模态和跨级别融合的框架，我们的方法在我们为视图引导点云完成任务收集的新的大规模数据集上实现了比典型的现有解决方案更优越的结果。
2021-04-13 cs.CV
Learning Feature Descriptors for Pre- and Intra-operative Point Cloud Matching for Laparoscopic Liver Registration
Rochester Institute of Technology（罗切斯特理工学院）
目的：在腹腔镜肝脏手术（LLS）中，通过将3D术前模型配准到从腹腔镜视频重建的术中部分表面，可以将术前信息覆盖到术中场景上。为了帮助完成这项任务，我们探索了基于学习的特征描述符的使用，据我们所知，这些特征描述符还没有被探索用于腹腔镜肝脏配准。此外，不存在用于训练和评估基于学习的描述符的使用的数据集。方法：我们提供了由16个术前模型及其模拟的术中3D表面组成的LiverMatch数据集。我们还提出了为这项任务设计的LiverMatch网络，它输出每个点的特征描述符，可见性分数和匹配点。结果如下：我们将建议的LiverMatch网络与最接近LiverMatch的网络进行比较，并在LiverMatch数据集的测试分割上使用基于直方图的3D描述符，该数据集包括两个看不见的术前模型和1400个术中表面。结果表明，我们的LiverMatch网络可以预测比其他两种方法更准确和密集的匹配，并可以与基于RANSAC-ICP的配准算法无缝集成，以实现准确的初始对齐。结论：在LLR中使用基于学习的特征描述符是有希望的，因为它可以帮助实现准确的初始刚性对准，这反过来又可以作为后续非刚性配准的初始化。我们将在接受后发布数据集和代码。
2022-11-07 cs.CV
Reconstruction-Aware Prior Distillation for Semi-supervised Point Cloud Completion
Renmin University of China（中国人民大学）；Nreal；Tsinghua University（清华大学）
针对点云补全依赖大量成对训练数据的问题，本文提出半监督方法 RaPD，通过两阶段先验学习与蒸馏及自监督补全模块，在同源和异源场景下均取得优于以往方法的效果。
2023-07-24 cs.CV
Are All Point Clouds Suitable for Completion? Weakly Supervised Quality Evaluation Network for Point Cloud Completion
Dji Co（大疆创新科技有限公司）；Hong Kong University of Science and Technology（香港科技大学）
在实际应用中的点云完成任务，真实数据的质量通常比用于训练的CAD数据集差得多。少量的噪声数据通常会显著影响整个系统的精度。在本文中，我们提出了一个质量评估网络来评分的点云，并帮助判断点云的质量之前，应用完成模型。我们相信我们的评分方法可以帮助研究人员选择更合适的点云，为后续的完成和重建，避免手动参数调整。此外，我们的评估模型是快速和直接的，可以直接插入到任何模型的训练或使用过程中，以促进点云的自动选择和后处理。提出了一种基于ShapeNet的完整数据集构建和模型评估方法。我们使用KITTI上的检测和流量估计任务来验证我们的网络，KITTI是一个真实的自动驾驶数据集。实验结果表明，该模型能有效区分点云的质量，对实际工作有一定的帮助。
2023-03-03 cs.AI cs.CV
DSC: Deep Scan Context Descriptor for Large-Scale Place Recognition
Tongji University（同济大学）
基于激光雷达的位置识别是一个重要的和具有挑战性的任务，无论是在循环闭合检测和全球重定位。我们提出了深度扫描上下文（DSC），一个通用的和歧视性的全局描述符，捕捉点云的片段之间的关系。与以前的方法，利用语义或相邻的点云序列更好地识别，我们只使用原始点云，以获得有竞争力的结果。具体地说，我们首先对点云进行自我中心分割，得到线段的质心和特征值。然后，我们引入了一个图神经网络来聚合这些特征到一个嵌入表示。在KITTI数据集上进行的大量实验表明，DSC对场景变体具有鲁棒性，并且优于现有方法。
2021-11-27 cs.CV cs.RO
An octree cells occupancy geometric dimensionality descriptor for massive on-server point cloud visualisation and classification
Université Paris-Est（巴黎东部大学）
激光雷达数据集变得越来越普遍。它们因其精确的3D性质而受到赞赏，并且具有广泛的应用，例如表面重建、目标检测、可视化等。对于所有这些应用程序，每个点具有额外的语义信息有可能提高应用程序的质量和效率。在过去的十年中，使用机器学习和更具体的分类方法已被证明是成功的，以创建这种语义信息。在这个范例中，目标是将点分类到一组给定的类中（例如树、建筑物、地面、其他）。其中一些方法使用点的描述符（也称为特征）来学习和预测其类。设计描述符是这些方法的核心。描述符可以基于点的几何形状和属性，使用上下文信息等。此外，描述符可以被人类用于更容易的视觉理解和有时过滤。在这项工作中，我们提出了一个新的简单的几何描述符，给出了信息的隐式局部维数的点云在各种规模。例如，从远处看，一棵树在本质上是体积更大的（3D），但在局部，每片叶子都是平面的（2D）。为此，我们构建了一个以要考虑的点为中心的八叉树，并比较了八叉树各个级别上单元格占用率的变化。我们比较这个描述符与国家的最先进的维数描述符，并显示其利益。我们进一步测试描述符的分类点云服务器内，并证明效率和正确性的结果。
2018-01-15 cs.CG cs.CV cs.LG
Self-Supervised Point Cloud Completion based on Multi-View Augmentations of Single Partial Point Cloud
Hunan University（湖南大学）
本文针对点云补全中监督依赖真值、无监督需完整点云等问题，提出基于单一部分点云多视图增强的自监督方法，并首次引入Mamba提升生成质量，在合成与真实数据集上取得最优结果。
2025-09-26 cs.CV
GRNet: Gridding Residual Network for Dense Point Cloud Completion
Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；Peng Cheng Laboratory（鹏城实验室）
从不完整的点云中估计完整的3D点云是许多视觉和机器人应用中的关键问题。主流方法（例如，PCN和TopNet）使用多层感知器（MLP）直接处理点云，这可能会导致细节丢失，因为没有充分考虑点云的结构和上下文。为了解决这个问题，我们引入3D网格作为中间表示来规则化无序点云。因此，我们提出了一种新的网格残差网络（GRNet）的点云完成。特别是，我们设计了两个新的微分层，命名为网格和网格反向，点云和3D网格之间的转换，而不会丢失结构信息。我们还提出了可微立方特征采样层来提取相邻点的特征，它保留了上下文信息。此外，我们设计了一个新的损失函数，即Gridding Loss，用于计算预测点云和地面真实点云的三维网格之间的L1距离，这有助于恢复细节。实验结果表明，所提出的GRNet在ShapeNet，Completion3D和KITTI基准测试中表现良好。
2020-07-20 cs.CV cs.LG eess.IV
Distinctive 3D local deep descriptors
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种简单但有效的方法，用于学习独特的3D局部深度描述符（DIP），可用于注册点云，而无需初始对齐。点云补丁提取，规范化相对于其估计的本地参考框架和编码成旋转不变的紧凑的描述符由基于PointNet的深度神经网络。DIP可以有效地推广到不同的传感器模态，因为它们是从本地和随机采样点中端到端学习的。由于DIP仅编码局部几何信息，因此它们对杂波、遮挡和缺失区域具有鲁棒性。我们评估和比较DIP对替代手工制作的和深的描述符在几个室内和室外的数据集组成的点云重建使用不同的传感器。结果表明，DIP（i）在RGB-D室内场景（3DMatch数据集）上实现了与最先进技术相当的结果，（ii）在激光扫描仪室外场景（ETH数据集）上大幅优于最先进技术，（iii）推广到使用Android ARCore的Visual-SLAM系统重建的室内场景。源代码：https://github.com/fabiopoiesi/dip。
2020-12-28 cs.CV
RefComp: A Reference-guided Unified Framework for Unpaired Point Cloud Completion
Southern University of Science and Technology（南方科技大学）；University of Warwick（沃里克大学）；Photogrammetry and Remote Sensing, ETH Zürich（摄影测量与遥感，苏黎世联邦理工学院）
针对现有无配对点云补全方法泛化能力有限的问题，提出RefComp框架，通过参考分支、目标分支及LSFM模块，在类别感知和类别无关训练设置中均实现优异性能。
2025-04-18 cs.CV
DuInNet: Dual-Modality Feature Interaction for Point Cloud Completion
College of Electronic Science and Technology, National University of Defense Technology (NUDT)（国防科技大学电子科学学院）；School of Surveying and Mapping, Information Engineering University（信息工程大学测绘学院）
本文构建了含40类近40万对数据的多模态点云补全基准ModelNet-MPC，提出双模态特征交互网络DuInNet，通过迭代交互特征与自适应分块生成适配多任务，在多项补全任务上性能优于现有最优方法。
2024-07-10 cs.CV
Energy-Based Residual Latent Transport for Unsupervised Point Cloud Completion
Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）
无监督点云补全的目的是推断部分对象观测的整个几何形状，而不需要部分-完全对应。与现有的确定性方法不同，我们提倡基于生成式建模的无监督点云完成，以探索缺失的对应关系。具体而言，我们提出了一种新的框架，通过使用潜在的传输模块将部分形状编码转换为完整的编码来完成，并且它被设计为编码器-解码器架构中的基于潜在空间能量的模型（EBM），旨在学习以部分形状编码为条件的概率分布。为了联合训练潜在代码传输模块和编码器-解码器网络，我们引入了残差采样策略，其中残差捕获部分和完整形状潜在空间之间的域间隙。作为一个基于生成模型的框架，我们的方法可以产生与人类感知一致的不确定性地图，从而实现可解释的无监督点云完成。我们的实验表明，所提出的方法产生高保真的完成结果，优于国家的最先进的模型的显着保证金。
2022-11-13 cs.CV
Building-PCC: Building Point Cloud Completion Benchmarks
Delft University of Technology（代尔夫特理工大学）；DGI（3DGI公司）
本文针对城市建筑点云数据因遮挡等因素不完整的问题，提出真实世界基准Building-PCC数据集，评估现有深度学习点云补全方法，分析关键挑战以推动3D地理信息应用创新。
2024-04-24 cs.CV
Comprehensive Review of Deep Learning-Based 3D Point Cloud Completion Processing and Analysis
Fudan University（复旦大学）；University of Science and Technology of China（中国科学技术大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Shanghai for Science and Technology（上海理工大学）
点云补全是由局部点云数据生成和估计的问题，在三维计算机视觉的应用中起着至关重要的作用。深度学习（DL）的进步显著提高了点云完成的能力和鲁棒性。但是，完成的点云质量仍需要进一步提高，以满足实际应用。因此，这项工作的目的是进行一个全面的调查，各种方法，包括基于点的，基于卷积，基于图，基于生成模型的方法等，并总结这些方法之间的比较，以激发进一步的研究见解。此外，本文还总结了常用的数据集，并举例说明了点云补全的应用。最后，我们还讨论了在这个迅速扩大的领域可能的研究趋势。
2022-12-30 cs.CV
DualGenerator: Information Interaction-based Generative Network for Point Cloud Completion
针对现有方法忽略相邻点空间与语义信息、部件区分及鲁棒性不足的问题，本文提出双路径交互共享权重的DualGenerator，结合局部细化与DGStyleGAN融合分析，在MVP和Completion3D上取得更优且抗噪、抗稀疏的补全效果。
2023-12-07 cs.CV
ACL-SPC: Adaptive Closed-Loop system for Self-Supervised Point Cloud Completion
IPAI；Seoul National University（首尔国立大学）
点云完成解决了填充从深度传感器获得的部分点云的缺失部分并生成完整的点云。虽然在合成点云完成任务的监督方法已经取得了长足的进步，但由于合成数据集和真实世界数据集之间的领域差距或先验信息的要求，它几乎不适用于真实世界的场景。为了克服这些限制，我们提出了一种新的自我监督框架ACL-SPC点云完成训练和测试相同的数据。ACL-SPC采用单个部分输入，并尝试使用自适应闭环（ACL）系统输出完整的点云，该系统针对输入的变化强制输出相同。我们在各种数据集上评估了我们提出的ACL-SPC，以证明它可以成功地学习完成部分点云作为第一个自监督方案。结果表明，我们的方法与非监督方法相当，并且与在合成数据集上训练的监督方法相比，在真实世界数据集上实现了更好的性能。大量的实验证明了自监督学习的必要性和我们提出的方法的有效性，为现实世界的点云完成任务。该代码可从https://github.com/Sangminhong/ACL-SPC_PyTorch公开获取
2023-03-28 cs.CV
PF-Net: Point Fractal Network for 3D Point Cloud Completion
Shanghai Jiao Tong University（上海交通大学）；SenseTime（商汤科技）
在本文中，我们提出了一个点分形网络（PF-Net），一种新的基于学习的方法，用于精确和高保真的点云完成。与现有的点云补齐网络不同，现有的点云补齐网络从不完整的点云生成点云的整体形状，并且总是改变现有的点并遇到噪声和几何损失，PF-Net保留了不完整点云的空间排列，并且可以在预测中找出缺失区域的详细几何结构。为了成功完成这项任务，PF-Net通过利用基于特征点的多尺度生成网络分层估计缺失点云。此外，我们将多阶段完成损失和对抗损失相加，以生成更真实的缺失区域。对抗性损失可以更好地处理预测中的多个模式。我们的实验证明了我们的方法的有效性，几个具有挑战性的点云完成任务。
2020-03-01 cs.CV cs.GR
DMF-Net: Image-Guided Point Cloud Completion with Dual-Channel Modality Fusion and Shape-Aware Upsampling Transformer
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
本文提出DMF-Net，通过双通道模态融合和形状感知上采样Transformer，以由粗到细的方式实现图像引导的点云补全，在ShapeNet-ViPC数据集上优于现有方法。
2024-06-25 cs.CV
PointAttN: You Only Need Attention for Point Cloud Completion
Zhejiang University of Technology（浙江工业大学）；Zhejiang University（浙江大学）
点云补全是指从部分三维点云中补全三维形状，是三维点云分析任务的一个基本问题。得益于深度神经网络的发展，近年来点云数据的自动补全研究取得了很大的进展。然而，显式的局部区域划分，如在现有的方法涉及kNN使他们敏感的点云的密度分布。此外，它服务于有限的感受野，防止从远程上下文信息中捕获特征。为了解决这些问题，我们利用交叉注意和自我注意力机制，设计了一种新颖的神经网络，用于以逐点的方式处理点云，以消除kNN。提出了几何细节感知（GDP）和自特征增强（SFA）两个基本模块，通过注意力机制，以简单有效的方式直接建立点之间的短程和长程结构关系。然后，基于GDP和SFA，我们构建了一个新的框架，流行的编码器-解码器结构的点云完成。所提出的框架，即PointAttN，是简单，整洁和有效的，它可以精确地捕捉三维形状的结构信息和预测完整的点云与高度详细的几何形状。实验结果表明，我们的PointAttN在流行的基准测试（如Completion 3D和PCN）上大幅优于最先进的方法。代码可在：https://github.com/ohhhyeahhh/PointAttN
2022-03-16 cs.CV
P2M2-Net: Part-Aware Prompt-Guided Multimodal Point Cloud Completion
Jilin University（吉林大学）
提出P2M2-Net，一种利用文本提示引导多模态特征融合的Transformer网络，实现可控且多样化的点云补全，在PartNet-Prompt数据集上训练并在两个基准上验证有效性。
2023-12-29 cs.CV
Denoising-While-Completing Network (DWCNet): Robust Point Cloud Completion Under Corruption
Swansea University（斯旺西大学）
针对真实世界点云受多种退化影响的问题，提出DWCNet框架，引入噪声管理模块结合对比学习与自注意力，在合成和真实数据集上实现最先进的补全与去噪性能。
2025-07-22 cs.CV
Point Cloud Completion by Skip-attention Network with Hierarchical Folding
Tsinghua University（清华大学）；University of Maryland, College Park（马里兰大学帕克分校）
点云补全的目的是从不完整的点云中推断出三维物体缺失区域的完整几何形状。以往的方法通常是基于从不完整输入中提取的全局形状表示来预测完整的点云。然而，不完整点云的全局表示往往存在局部区域结构细节信息丢失的问题。为了解决这个问题，我们提出了跳过注意力网络（SA-Net）的三维点云完成。我们的主要贡献在于以下两个方面。首先，我们提出了一个跳跃-注意力机制，有效地利用局部结构的细节不完整的点云在推理的缺失部分。跳过-注意力机制有选择地从不完整点云的局部区域传递几何信息，以生成不同分辨率的完整点云，其中跳过-注意力以可解释的方式揭示了完整过程。其次，为了充分利用跳过-注意力机制在不同分辨率下编码的选定几何信息，我们提出了一种新的结构保持解码器与分层折叠完整的形状生成。分层折叠通过逐步细化局部区域来保留在上层生成的完整点云的结构，使用相同分辨率的跳过注意几何。我们在ShapeNet和KITTI数据集上进行了全面的实验，结果表明，所提出的SA-Net优于最先进的点云完成方法。
2020-05-18 cs.CV
Unsupervised Point Cloud Completion through Unbalanced Optimal Transport
Seoul National University（首尔大学）；Sungkyunkwan University（成均馆大学）
本文提出UOT-UPC模型，首次将非配对点云补全任务表述为非平衡最优传输问题，通过神经网络学习UOT映射，在单类别和多类别基准上表现优异且对类别不平衡问题具有鲁棒性。
2025-05-29 cs.AI cs.CV
Evaluation of Intra-operative Patient-specific Methods for Point Cloud Completion for Minimally Invasive Liver Interventions
Rochester Institute of Technology（罗切斯特理工学院）；Center for Imaging Science（成像科学中心）；Biomedical Engineering（生物医学工程系）
本文评估六种SOTA点云补全方法在患者特异性微创肝脏介入中的表现，发现AdaPoinTr在标准姿态下最优，但在非标准姿态和噪声条件下性能明显下降。
2025-03-15 cs.CV
Cascaded Refinement Network for Point Cloud Completion
National University of Singapore（新加坡国立大学）
点云通常是稀疏和不完整的。现有的形状完成方法无法生成物体的细节或学习复杂的点分布。为此，我们提出了一个级联的细化网络与一个由粗到细的策略来合成详细的对象形状。将局部输入的局部细节与全局形状信息相结合，可以在不完整的点集上保留已有的细节，并生成高保真的缺失部分。我们还设计了一个补丁，保证每个局部区域具有相同的模式与地面真理学习复杂的点分布。在不同数据集上的定量和定性实验表明，与现有的最先进的3D点云完成任务的方法相比，我们的方法取得了优异的结果。我们的源代码可以在https://github.com/xiaogangw/cascaded-point-completion.git上找到。
2020-06-05 cs.CV
PMP-Net++: Point Cloud Completion by Transformer-Enhanced Multi-step Point Moving Paths
Tsinghua University（清华大学）；Wayne State University（韦恩州立大学）；Kuaishou Technology（快手科技）
点云完成涉及预测不完整3D形状的缺失部分。一种常见的策略是根据不完整的输入生成完整的形状。然而，点云的无序性质将降低高质量3D形状的生成，因为在使用提取的潜在代码的生成过程期间难以捕获无序点的详细拓扑和结构。我们解决这个问题，制定完善的点云变形过程。具体来说，我们设计了一个新的神经网络，命名为PMP-Net ++，模仿推土机的行为。该算法通过移动不完整输入的每一个点来获得完整的点云，使点移动路径的总距离最短。因此，PMP-Net++根据点移动距离的约束为每个点预测唯一的PMP。该网络在点的层次上学习到严格且唯一的对应关系，从而提高了预测完整形状的质量。此外，由于移动点在很大程度上依赖于网络学习的每点特征，我们进一步引入了一个transformer-enhanced表示学习网络，这显着提高了PMP-Net++的完成性能。我们在形状完成方面进行了全面的实验，并进一步探索了点云上采样的应用，这证明了PMP-Net++相对于最先进的点云完成/上采样方法的重要改进。
2022-02-28 cs.CV
Rotation-Invariant Completion Network
Xi’an Jiaotong University（西安交通大学）
针对点云补全中姿态多样导致性能下降的问题，提出旋转不变补全网络RICNet，通过双管道补全与增强模块实现旋转不变特征提取，在MVP数据集上优于现有方法。
2023-08-23 cs.CV
SymmCompletion: High-Fidelity and High-Consistency Point Cloud Completion with Symmetry Guidance
本文提出SymmCompletion方法，通过局部对称变换网络和对称引导Transformer实现高保真点云补全，解决传统方法在几何细节丢失和不一致问题。
2025-03-23 cs.CV
Point cloud completion via structured feature maps using a feedback network
Shenzhen University（深圳大学）；Kuaishou Technology（快手科技）
本文从特征学习的角度出发，解决了点云数据完整化这一具有挑战性的问题。我们的关键观察是，为了恢复底层结构以及表面细节，给定部分输入，基本组件是一个良好的特征表示，可以捕获全局结构和局部几何细节。因此，我们首先提出了FSNet，一个特征结构化模块，可以自适应地聚合成一个2D结构化的特征地图逐点特征学习多个潜在的模式从局部区域。然后，我们将FSNet集成到一个粗到细的管道中，以完成点云。具体而言，采用2D卷积神经网络将FSNet中的特征图解码为粗糙且完整的点云。接下来，使用点云上采样网络从部分输入和粗略的中间输出生成密集点云。为了有效地利用局部结构并增强点分布的均匀性，我们提出了IFNet，这是一个具有自校正机制的点上采样模块，可以逐步细化生成的密集点云的细节。我们已经在ShapeNet，MVP和KITTI数据集上进行了定性和定量实验，这些实验表明我们的方法优于最先进的点云完成方法。
2022-09-14 cs.CV
ScaleBlind: Point Cloud Completion under Unknown Scale
Shandong University（山东大学）；University of Edinburgh（爱丁堡大学）
ScaleBlind利用2D基础图像生成先验，无需真实尺度信息即可从部分点云补全完整3D形状，通过多视角补全与跨模态融合实现新最先进性能。
2026-09-22 cs.CV
MinkLoc3D: Point Cloud Based Large-Scale Place Recognition
Warsaw University of Technology（华沙理工大学）
本文提出了一种基于学习的方法来计算一个有区别的三维点云描述符的地方识别的目的。现有的方法，如PointNetVLAD，是基于无序点云表示。他们使用PointNet作为第一个处理步骤来提取局部特征，然后将其聚合到全局描述符中。PointNet架构不太适合捕获局部几何结构。因此，最先进的方法通过添加不同的机制来捕获本地上下文信息，例如图卷积网络或使用手工制作的特征，来增强普通PointNet架构。我们提出了一种替代方法，称为MinkLoc3D，计算一个有区别的三维点云描述符，基于稀疏体素化点云表示和稀疏三维卷积。所提出的方法具有一个简单而有效的架构。标准基准测试的评估证明MinkLoc3D优于当前最先进的技术。我们的代码可在项目网站上公开获取：https://github.com/jac99/MinkLoc3D
2020-11-09 cs.CV
