PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers
Tsinghua University(清华大学)
在实际应用中,由于传感器分辨率有限、视点单一和遮挡等原因,获取的点云往往是不完整的。因此,从部分点云恢复完整的点云成为许多实际应用中不可缺少的任务。在本文中,我们提出了一种新的方法,重新制定的点云完成作为一个集到集的翻译问题,并设计了一个新的模型,称为PointTr,采用Transformer编码器-解码器架构的点云完成。通过将点云表示为一组具有位置嵌入的无序点群,我们将点云转换为一系列点代理,并采用Transformers生成点云。为了便于Transformers,以更好地利用感应偏置点云的三维几何结构,我们进一步设计了一个几何感知块,模型的局部几何关系明确。Transformers的迁移使我们的模型能够更好地学习结构知识,并保留点云完成的详细信息。此外,我们提出了两个更具挑战性的基准,更多样化的不完整的点云,可以更好地反映现实世界的情况,以促进未来的研究。实验结果表明,我们的方法优于国家的最先进的方法,在新的基准和现有的大幅度。代码可在https://github.com/yuxumin/PoinTr上获得
2021-08-19 cs.AI cs.CV cs.LG
Variational Relational Point Completion Network
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
由于视点、遮挡和噪声的影响,实际扫描的点云往往是不完整的。现有的点云完成方法往往会生成全局形状骨架,因此缺乏精细的局部细节。此外,他们大多学习确定性的部分到完整的映射,但忽略了人造物体的结构关系。为了应对这些挑战,本文提出了一个变分框架,变分关系点完成网络(VRCNet)具有两个吸引人的属性:1)概率建模。特别是,我们提出了一个双路径架构,使原则概率建模部分和完整的云。一条路径消耗完整的点云,通过学习点VAE进行重建。另一条路径生成部分点云的完整形状,其嵌入分布由训练期间从重建路径获得的分布指导。2)关系增强。具体而言,我们精心设计的点自注意核和点选择核模块,利用关系点的功能,细化局部形状细节的条件下,粗略完成。此外,我们还贡献了一个多视图部分点云数据集(MVP数据集),其中包含超过100,000个高质量扫描,可以为每个3D CAD模型呈现来自26个均匀分布的相机姿势的部分3D形状。大量的实验表明,VRCNet在所有标准点云完成基准测试中的表现优于最先进的方法。值得注意的是,VRCNet在现实世界的点云扫描上显示出很强的通用性和鲁棒性。
2021-04-20 cs.CV cs.LG
Reconstruction-Aware Prior Distillation for Semi-supervised Point Cloud Completion
Renmin University of China(中国人民大学);Nreal;Tsinghua University(清华大学)
针对点云补全依赖大量成对训练数据的问题,本文提出半监督方法 RaPD,通过两阶段先验学习与蒸馏及自监督补全模块,在同源和异源场景下均取得优于以往方法的效果。
2023-07-24 cs.CV
PF-Net: Point Fractal Network for 3D Point Cloud Completion
Shanghai Jiao Tong University(上海交通大学);SenseTime(商汤科技)
在本文中,我们提出了一个点分形网络(PF-Net),一种新的基于学习的方法,用于精确和高保真的点云完成。与现有的点云补齐网络不同,现有的点云补齐网络从不完整的点云生成点云的整体形状,并且总是改变现有的点并遇到噪声和几何损失,PF-Net保留了不完整点云的空间排列,并且可以在预测中找出缺失区域的详细几何结构。为了成功完成这项任务,PF-Net通过利用基于特征点的多尺度生成网络分层估计缺失点云。此外,我们将多阶段完成损失和对抗损失相加,以生成更真实的缺失区域。对抗性损失可以更好地处理预测中的多个模式。我们的实验证明了我们的方法的有效性,几个具有挑战性的点云完成任务。
2020-03-01 cs.CV cs.GR
PointSSC: A Cooperative Vehicle-Infrastructure Point Cloud Benchmark for Semantic Scene Completion
Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University(复旦大学脑智能科学与技术研究院);Mogo Auto Intelligence and Telematics Information Technology Company Ltd.(摩智智行智能与远程信息技术有限公司)
针对现有户外语义场景补全点云基准缺失的问题,研究提出首个车路协同点云基准PointSSC,配套自动化标注流水线与基于LiDAR的新型模型,为真实导航场景的点云语义补全研究提供测试平台。
2024-03-07 cs.AI cs.CV cs.LG
Unsupervised Point Cloud Completion through Unbalanced Optimal Transport
Seoul National University(首尔大学);Sungkyunkwan University(成均馆大学)
本文提出UOT-UPC模型,首次将非配对点云补全任务表述为非平衡最优传输问题,通过神经网络学习UOT映射,在单类别和多类别基准上表现优异且对类别不平衡问题具有鲁棒性。
2025-05-29 cs.AI cs.CV
Self-Supervised Point Cloud Completion based on Multi-View Augmentations of Single Partial Point Cloud
Hunan University(湖南大学)
本文针对点云补全中监督依赖真值、无监督需完整点云等问题,提出基于单一部分点云多视图增强的自监督方法,并首次引入Mamba提升生成质量,在合成与真实数据集上取得最优结果。
2025-09-26 cs.CV
RefComp: A Reference-guided Unified Framework for Unpaired Point Cloud Completion
Southern University of Science and Technology(南方科技大学);University of Warwick(沃里克大学);Photogrammetry and Remote Sensing, ETH Zürich(摄影测量与遥感,苏黎世联邦理工学院)
针对现有无配对点云补全方法泛化能力有限的问题,提出RefComp框架,通过参考分支、目标分支及LSFM模块,在类别感知和类别无关训练设置中均实现优异性能。
2025-04-18 cs.CV
DuInNet: Dual-Modality Feature Interaction for Point Cloud Completion
College of Electronic Science and Technology, National University of Defense Technology (NUDT)(国防科技大学电子科学学院);School of Surveying and Mapping, Information Engineering University(信息工程大学测绘学院)
本文构建了含40类近40万对数据的多模态点云补全基准ModelNet-MPC,提出双模态特征交互网络DuInNet,通过迭代交互特征与自适应分块生成适配多任务,在多项补全任务上性能优于现有最优方法。
2024-07-10 cs.CV
Self-Supervised Point Cloud Completion via Inpainting
Carnegie Mellon University(卡内基梅隆大学)
当在城市环境中导航时,许多需要跟踪和避免的对象被严重遮挡。使用这些部分扫描进行规划和跟踪可能具有挑战性。这项工作的目的是学习完成这些部分点云,让我们充分了解对象的几何形状只使用部分观察。以前的方法借助目标对象的完整、真实的注释来实现这一点,这些注释仅适用于模拟数据集。然而,这样的地面实况对于真实世界的LiDAR数据是不可用的。在这项工作中,我们提出了一个自我监督的点云完成算法PointPnCNet,它只在部分扫描上进行训练,而不假设可以访问完整的地面实况注释。我们的方法通过图像修复来实现这一点。我们删除一部分输入数据,并训练网络以完成缺失的区域。由于很难确定哪些区域在初始云中被遮挡,哪些区域被综合删除,我们的网络学习完成完整的云,包括初始部分云中的缺失区域。我们表明,我们的方法在合成数据集ShapeNet和真实世界的LiDAR数据集Semantic KITTI上都优于以前的无监督和弱监督方法。
2021-11-21 cs.CV cs.LG
Energy-Based Residual Latent Transport for Unsupervised Point Cloud Completion
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
无监督点云补全的目的是推断部分对象观测的整个几何形状,而不需要部分-完全对应。与现有的确定性方法不同,我们提倡基于生成式建模的无监督点云完成,以探索缺失的对应关系。具体而言,我们提出了一种新的框架,通过使用潜在的传输模块将部分形状编码转换为完整的编码来完成,并且它被设计为编码器-解码器架构中的基于潜在空间能量的模型(EBM),旨在学习以部分形状编码为条件的概率分布。为了联合训练潜在代码传输模块和编码器-解码器网络,我们引入了残差采样策略,其中残差捕获部分和完整形状潜在空间之间的域间隙。作为一个基于生成模型的框架,我们的方法可以产生与人类感知一致的不确定性地图,从而实现可解释的无监督点云完成。我们的实验表明,所提出的方法产生高保真的完成结果,优于国家的最先进的模型的显着保证金。
2022-11-13 cs.CV
Building-PCC: Building Point Cloud Completion Benchmarks
Delft University of Technology(代尔夫特理工大学);DGI(3DGI公司)
本文针对城市建筑点云数据因遮挡等因素不完整的问题,提出真实世界基准Building-PCC数据集,评估现有深度学习点云补全方法,分析关键挑战以推动3D地理信息应用创新。
2024-04-24 cs.CV
Comprehensive Review of Deep Learning-Based 3D Point Cloud Completion Processing and Analysis
Fudan University(复旦大学);University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室);University of Shanghai for Science and Technology(上海理工大学)
点云补全是由局部点云数据生成和估计的问题,在三维计算机视觉的应用中起着至关重要的作用。深度学习(DL)的进步显著提高了点云完成的能力和鲁棒性。但是,完成的点云质量仍需要进一步提高,以满足实际应用。因此,这项工作的目的是进行一个全面的调查,各种方法,包括基于点的,基于卷积,基于图,基于生成模型的方法等,并总结这些方法之间的比较,以激发进一步的研究见解。此外,本文还总结了常用的数据集,并举例说明了点云补全的应用。最后,我们还讨论了在这个迅速扩大的领域可能的研究趋势。
2022-12-30 cs.CV
DualGenerator: Information Interaction-based Generative Network for Point Cloud Completion
针对现有方法忽略相邻点空间与语义信息、部件区分及鲁棒性不足的问题,本文提出双路径交互共享权重的DualGenerator,结合局部细化与DGStyleGAN融合分析,在MVP和Completion3D上取得更优且抗噪、抗稀疏的补全效果。
2023-12-07 cs.CV
MedPCFM: Improving Medical Point Cloud Completion by Integrating Point Transformers and Flow Matching
Department of Measurement and Electronics, AGH University of Krakow(AGH科技大学测量与电子系);Sano Centre for Computational Medicine(Sano计算医学中心)
提出基于PTv3的流匹配方法PCFM用于医学点云补全,在三个数据集上达到最优生成性能,采样步数远少于扩散模型,且PTv3带来高达7倍的速度提升。
2026-06-24 cs.AI cs.CV cs.LG
ACL-SPC: Adaptive Closed-Loop system for Self-Supervised Point Cloud Completion
IPAI;Seoul National University(首尔国立大学)
点云完成解决了填充从深度传感器获得的部分点云的缺失部分并生成完整的点云。虽然在合成点云完成任务的监督方法已经取得了长足的进步,但由于合成数据集和真实世界数据集之间的领域差距或先验信息的要求,它几乎不适用于真实世界的场景。为了克服这些限制,我们提出了一种新的自我监督框架ACL-SPC点云完成训练和测试相同的数据。ACL-SPC采用单个部分输入,并尝试使用自适应闭环(ACL)系统输出完整的点云,该系统针对输入的变化强制输出相同。我们在各种数据集上评估了我们提出的ACL-SPC,以证明它可以成功地学习完成部分点云作为第一个自监督方案。结果表明,我们的方法与非监督方法相当,并且与在合成数据集上训练的监督方法相比,在真实世界数据集上实现了更好的性能。大量的实验证明了自监督学习的必要性和我们提出的方法的有效性,为现实世界的点云完成任务。该代码可从https://github.com/Sangminhong/ACL-SPC_PyTorch公开获取
2023-03-28 cs.CV
DMF-Net: Image-Guided Point Cloud Completion with Dual-Channel Modality Fusion and Shape-Aware Upsampling Transformer
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学)
本文提出DMF-Net,通过双通道模态融合和形状感知上采样Transformer,以由粗到细的方式实现图像引导的点云补全,在ShapeNet-ViPC数据集上优于现有方法。
2024-06-25 cs.CV
PointAttN: You Only Need Attention for Point Cloud Completion
Zhejiang University of Technology(浙江工业大学);Zhejiang University(浙江大学)
点云补全是指从部分三维点云中补全三维形状,是三维点云分析任务的一个基本问题。得益于深度神经网络的发展,近年来点云数据的自动补全研究取得了很大的进展。然而,显式的局部区域划分,如在现有的方法涉及kNN使他们敏感的点云的密度分布。此外,它服务于有限的感受野,防止从远程上下文信息中捕获特征。为了解决这些问题,我们利用交叉注意和自我注意力机制,设计了一种新颖的神经网络,用于以逐点的方式处理点云,以消除kNN。提出了几何细节感知(GDP)和自特征增强(SFA)两个基本模块,通过注意力机制,以简单有效的方式直接建立点之间的短程和长程结构关系。然后,基于GDP和SFA,我们构建了一个新的框架,流行的编码器-解码器结构的点云完成。所提出的框架,即PointAttN,是简单,整洁和有效的,它可以精确地捕捉三维形状的结构信息和预测完整的点云与高度详细的几何形状。实验结果表明,我们的PointAttN在流行的基准测试(如Completion 3D和PCN)上大幅优于最先进的方法。代码可在:https://github.com/ohhhyeahhh/PointAttN
2022-03-16 cs.CV
P2M2-Net: Part-Aware Prompt-Guided Multimodal Point Cloud Completion
Jilin University(吉林大学)
提出P2M2-Net,一种利用文本提示引导多模态特征融合的Transformer网络,实现可控且多样化的点云补全,在PartNet-Prompt数据集上训练并在两个基准上验证有效性。
2023-12-29 cs.CV
ShapeFormer: Transformer-based Shape Completion via Sparse Representation
Shenzhen University(深圳大学);University College London(伦敦大学学院);Adobe Research(奥多比研究院);Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
我们提出了ShapeFormer,一个基于transformer的网络,它产生对象完成的分布,条件是不完整的,可能有噪声的点云。然后,可以对所得到的分布进行采样以生成可能的完成,每个完成在忠实于输入的同时展示合理的形状细节。为了便于使用Transformers的3D,我们介绍了一个紧凑的3D表示,矢量量化的深隐函数,利用空间稀疏表示一个紧密近似的3D形状的一个短序列的离散变量。实验表明,ShapeFormer在完成质量和多样性方面优于现有技术,用于从模糊部分输入完成形状。我们还表明,我们的方法有效地处理各种形状类型,不完整的模式,和现实世界的扫描。
2022-05-22 cs.CV cs.GR cs.LG
Denoising-While-Completing Network (DWCNet): Robust Point Cloud Completion Under Corruption
Swansea University(斯旺西大学)
针对真实世界点云受多种退化影响的问题,提出DWCNet框架,引入噪声管理模块结合对比学习与自注意力,在合成和真实数据集上实现最先进的补全与去噪性能。
2025-07-22 cs.CV
Point Cloud Completion by Skip-attention Network with Hierarchical Folding
Tsinghua University(清华大学);University of Maryland, College Park(马里兰大学帕克分校)
点云补全的目的是从不完整的点云中推断出三维物体缺失区域的完整几何形状。以往的方法通常是基于从不完整输入中提取的全局形状表示来预测完整的点云。然而,不完整点云的全局表示往往存在局部区域结构细节信息丢失的问题。为了解决这个问题,我们提出了跳过注意力网络(SA-Net)的三维点云完成。我们的主要贡献在于以下两个方面。首先,我们提出了一个跳跃-注意力机制,有效地利用局部结构的细节不完整的点云在推理的缺失部分。跳过-注意力机制有选择地从不完整点云的局部区域传递几何信息,以生成不同分辨率的完整点云,其中跳过-注意力以可解释的方式揭示了完整过程。其次,为了充分利用跳过-注意力机制在不同分辨率下编码的选定几何信息,我们提出了一种新的结构保持解码器与分层折叠完整的形状生成。分层折叠通过逐步细化局部区域来保留在上层生成的完整点云的结构,使用相同分辨率的跳过注意几何。我们在ShapeNet和KITTI数据集上进行了全面的实验,结果表明,所提出的SA-Net优于最先进的点云完成方法。
2020-05-18 cs.CV
PointCA: Evaluating the Robustness of 3D Point Cloud Completion Models Against Adversarial Examples
Huazhong University of Science and Technology(华中科技大学);City University of Hong Kong(香港城市大学);Deakin University(迪肯大学);Lehigh University(理海大学)
作为三维识别和分割的上游步骤,点云数据的处理已经成为导航、场景理解等任务的重要组成部分。虽然各种点云补全模型已经证明了它们的强大功能,但它们对对抗攻击的鲁棒性仍然是未知的,这些攻击已被证明对深度神经网络具有致命的恶意。此外,现有的点云分类器的攻击方法不能适用于完成模型,由于不同的输出形式和攻击目的。为了评估完成模型的鲁棒性,我们提出了PointCA,第一个针对3D点云完成模型的对抗攻击。PointCA可以生成与原始点云保持高度相似性的对抗点云,同时作为具有完全不同语义信息的另一个对象完成。具体来说,我们最大限度地减少对抗性示例和目标点集之间的表示差异,以联合探索几何空间和特征空间中的对抗性点云。此外,为了发动更隐蔽的攻击,我们创新性地采用邻域密度信息来定制扰动约束,从而对每个点进行几何感知和分布自适应修改。针对不同的主要点云完成网络的大量实验表明,PointCA可以导致性能下降77.9%到16.7%,结构倒角距离保持在0.01以下。我们的结论是,现有的完成模型非常容易受到对抗性示例的影响,并且当应用于不完整和不均匀的点云数据时,最先进的点云分类防御将部分无效。
2022-12-01 cs.CR cs.CV
DC-PCN: Point Cloud Completion Network with Dual-Codebook Guided Quantization
South China University of Technology(华南理工大学);The University of Sydney(悉尼大学)
针对点云补全中忽视同一表面采样变异性导致歧义的问题,提出双码本量化网络DC-PCN,通过编码器-解码器码本及信息交换机制实现精确补全,在多个数据集上达到最优性能。
2025-01-19 cs.AI cs.CV
Enhancing Performance of Point Cloud Completion Networks with Consistency Loss
KAIST(韩国科学技术院)
针对点云补全中一对多映射导致的优化干扰问题,提出补全一致性损失,在不改网络结构、不影响推理速度的前提下提升现有网络补全精度,在MVP数据集上达到SOTA。
2025-01-14 cs.AI cs.CV
Evaluation of Intra-operative Patient-specific Methods for Point Cloud Completion for Minimally Invasive Liver Interventions
Rochester Institute of Technology(罗切斯特理工学院);Center for Imaging Science(成像科学中心);Biomedical Engineering(生物医学工程系)
本文评估六种SOTA点云补全方法在患者特异性微创肝脏介入中的表现,发现AdaPoinTr在标准姿态下最优,但在非标准姿态和噪声条件下性能明显下降。
2025-03-15 cs.CV
Cascaded Refinement Network for Point Cloud Completion
National University of Singapore(新加坡国立大学)
点云通常是稀疏和不完整的。现有的形状完成方法无法生成物体的细节或学习复杂的点分布。为此,我们提出了一个级联的细化网络与一个由粗到细的策略来合成详细的对象形状。将局部输入的局部细节与全局形状信息相结合,可以在不完整的点集上保留已有的细节,并生成高保真的缺失部分。我们还设计了一个补丁,保证每个局部区域具有相同的模式与地面真理学习复杂的点分布。在不同数据集上的定量和定性实验表明,与现有的最先进的3D点云完成任务的方法相比,我们的方法取得了优异的结果。我们的源代码可以在https://github.com/xiaogangw/cascaded-point-completion.git上找到。
2020-06-05 cs.CV
PMP-Net++: Point Cloud Completion by Transformer-Enhanced Multi-step Point Moving Paths
Tsinghua University(清华大学);Wayne State University(韦恩州立大学);Kuaishou Technology(快手科技)
点云完成涉及预测不完整3D形状的缺失部分。一种常见的策略是根据不完整的输入生成完整的形状。然而,点云的无序性质将降低高质量3D形状的生成,因为在使用提取的潜在代码的生成过程期间难以捕获无序点的详细拓扑和结构。我们解决这个问题,制定完善的点云变形过程。具体来说,我们设计了一个新的神经网络,命名为PMP-Net ++,模仿推土机的行为。该算法通过移动不完整输入的每一个点来获得完整的点云,使点移动路径的总距离最短。因此,PMP-Net++根据点移动距离的约束为每个点预测唯一的PMP。该网络在点的层次上学习到严格且唯一的对应关系,从而提高了预测完整形状的质量。此外,由于移动点在很大程度上依赖于网络学习的每点特征,我们进一步引入了一个transformer-enhanced表示学习网络,这显着提高了PMP-Net++的完成性能。我们在形状完成方面进行了全面的实验,并进一步探索了点云上采样的应用,这证明了PMP-Net++相对于最先进的点云完成/上采样方法的重要改进。
2022-02-28 cs.CV
Rotation-Invariant Completion Network
Xi’an Jiaotong University(西安交通大学)
针对点云补全中姿态多样导致性能下降的问题,提出旋转不变补全网络RICNet,通过双管道补全与增强模块实现旋转不变特征提取,在MVP数据集上优于现有方法。
2023-08-23 cs.CV
SymmCompletion: High-Fidelity and High-Consistency Point Cloud Completion with Symmetry Guidance
本文提出SymmCompletion方法,通过局部对称变换网络和对称引导Transformer实现高保真点云补全,解决传统方法在几何细节丢失和不一致问题。
2025-03-23 cs.CV
Point cloud completion via structured feature maps using a feedback network
Shenzhen University(深圳大学);Kuaishou Technology(快手科技)
本文从特征学习的角度出发,解决了点云数据完整化这一具有挑战性的问题。我们的关键观察是,为了恢复底层结构以及表面细节,给定部分输入,基本组件是一个良好的特征表示,可以捕获全局结构和局部几何细节。因此,我们首先提出了FSNet,一个特征结构化模块,可以自适应地聚合成一个2D结构化的特征地图逐点特征学习多个潜在的模式从局部区域。然后,我们将FSNet集成到一个粗到细的管道中,以完成点云。具体而言,采用2D卷积神经网络将FSNet中的特征图解码为粗糙且完整的点云。接下来,使用点云上采样网络从部分输入和粗略的中间输出生成密集点云。为了有效地利用局部结构并增强点分布的均匀性,我们提出了IFNet,这是一个具有自校正机制的点上采样模块,可以逐步细化生成的密集点云的细节。我们已经在ShapeNet,MVP和KITTI数据集上进行了定性和定量实验,这些实验表明我们的方法优于最先进的点云完成方法。
2022-09-14 cs.CV
ScaleBlind: Point Cloud Completion under Unknown Scale
Shandong University(山东大学);University of Edinburgh(爱丁堡大学)
ScaleBlind利用2D基础图像生成先验,无需真实尺度信息即可从部分点云补全完整3D形状,通过多视角补全与跨模态融合实现新最先进性能。
2026-09-22 cs.CV
Prototype-Aware Heterogeneous Task for Point Cloud Completion
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
点云补全是从局部点云数据中恢复原始形状信息的一种方法,已引起三维视觉界的广泛关注。现有的方法通常能成功地完成标准形状的点云生成,而不能生成非标准形状的点云局部细节。为了获得理想的局部细节,全局形状信息的指导至关重要。在这项工作中,我们设计了一种有效的方法来区分标准/非标准形状的帮助下,类内的形状原型表示,这可以通过建议的监督形状聚类借口任务计算,从而在一个异构组件w.r.t完成网络。定义为形状类别的特征质心的代表性原型可以提供全局形状指导,这被称为软感知先验,以多尺度方式通过期望的选择性感知特征融合模块注入下游完成网络。此外,为了有效的训练,我们考虑了基于难度的采样策略,以鼓励网络更多地关注一些几何信息较少的部分点云。实验结果表明,该方法优于现有方法,具有较强的完成复杂几何形状的能力。
2022-09-05 cs.CV
Parametric Point Cloud Completion for Polygonal Surface Reconstruction
Technical University of Munich(慕尼黑工业大学);Delft University of Technology(代尔夫特理工大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出参数化补全范式及PaCo方法,通过恢复平面代理而非单个点来补全不完整点云,在ABC数据集上实现了高质量多边形表面重建。
2025-03-11 cs.CV
Variational Relational Point Completion Network for Robust 3D Classification
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院);Shanghai AI Lab(上海人工智能实验室)
本文提出变分关系点云补全网络VRCNet,通过双路径概率建模与点自注意力、选择性核模块增强局部细节,并构建MVP系列数据集,在补全基准和真实扫描上取得领先性能,显著提升部分点云的三维分类准确率。
2023-04-18 cs.CV cs.LG
SeedFormer: Patch Seeds based Point Cloud Completion with Upsample Transformer
Nanjing University(南京大学);Tencent(腾讯)
点云补全在3D点云生成任务中越来越受欢迎,因为从其部分观察恢复3D对象的完整形状是一个具有挑战性但不可或缺的问题。在本文中,我们提出了一种新的SeedFormer,以提高在点云完成的细节保存和恢复的能力。与以往的方法基于一个全球性的特征向量,我们引入了一个新的形状表示,即补丁种子,它不仅捕捉一般结构的部分输入,但也保留了区域信息的局部模式。然后,通过将种子特征集成到生成过程中,我们可以以从粗到细的方式恢复完整点云的忠实细节。此外,我们设计了一个上采样Transformer通过扩展的Transformer结构到点生成器的基本操作,有效地结合了空间和语义之间的关系相邻点。定性和定量评估表明,我们的方法优于国家的最先进的完成网络在几个基准数据集。我们的代码可在https://github.com/hrzhou2/seedformer上获得。
2022-07-21 cs.CV
Hyperbolic Chamfer Distance for Point Cloud Completion and Beyond
Worcester Polytechnic Institute(伍斯特理工学院);Dell Technologies(戴尔科技公司);Tohoku University(东北大学)
针对Chamfer Distance对异常值敏感导致次优解的问题,提出在双曲空间计算的HyperCD度量,通过在反向传播中为距离更近的匹配点对分配更大权重来优化点云补全效果,并在多个基准数据集和生成任务中取得先进性能。
2024-12-23 cs.CV
Unpaired Point Cloud Completion on Real Scans using Adversarial Training
Shandong University(山东大学);University College London(伦敦大学学院);Peking University(北京大学);Adobe Research London(伦敦奥多比研究院)
随着3D扫描解决方案变得越来越流行,已经开发了几种面向扫描完成任务的深度学习设置,即,合理地填充原始扫描中遗漏的区域。然而,这些方法主要依赖于成对训练数据形式的监督,即,部分扫描与相应的所需完成扫描。虽然这些方法已经在合成数据上成功地证明,但是在没有合适的成对训练数据的情况下,这些方法不能直接用于实际扫描。我们开发了第一种方法,直接在输入点云上工作,不需要成对的训练数据,因此可以直接应用于实际扫描完成扫描。我们在几个真实世界的数据集(ScanNet,Matterport,KITTI)上定性地评估了该方法,在3D-EPN形状完成基准数据集上定量地评估了该方法,并在不同程度的不完整性下展示了真实的完成。
2020-02-23 cs.CV
DFG-PCN: Point Cloud Completion with Degree-Flexible Point Graph
School of Computer Science and Technology, Zhejiang Sci-Tech University(浙江科技学院计算机科学与技术学院);School of Computer and Data Engineering, NingboTech University(宁波工程学院计算机与数据工程学院);School of Computer Science and Technology, ShanDong University(山东大学计算机科学与技术学院)
针对固定邻域划分难以适应几何复杂度不均的问题,本文提出 DFG-PCN,通过细节感知的自适应节点度分配与几何感知图整合提升点云补全性能。
2025-09-28 cs.CV cs.GR cs.LG
Morphing and Sampling Network for Dense Point Cloud Completion
UC San Diego(加州大学圣地亚哥分校);Beihang University(北京航空航天大学);Tsinghua University(清华大学);Sensetime(商汤科技)
3D点云完成,从部分点云推断完整的几何形状的任务,一直吸引着社会的关注。为了获得高精度的密集点云,避免现有方法的结果分布不均匀、细节模糊或结构丢失,提出了一种分两阶段完成部分点云的新方法。具体来说,在第一阶段,该方法预测一个完整的,但粗粒度的点云参数表面元素的集合。然后,在第二阶段,它合并粗粒度的预测与输入点云的一种新的采样算法。我们的方法利用联合损失函数来指导点的分布。大量的实验验证了我们的方法的有效性,并表明它优于现有的方法在地球移动器的距离(EMD)和倒角距离(CD)。
2019-11-30 cs.CV
PMP-Net: Point Cloud Completion by Learning Multi-step Point Moving Paths
Tsinghua University(清华大学);Wayne State University(韦恩州立大学);Kuaishou Technology(快手科技)
点云完成的任务旨在预测不完整的3D形状的缺失部分。一种广泛使用的策略是从不完整的点云生成完整的点云。然而,点云的无序性会降低高质量3D形状的生成,因为仅使用潜在代码的生成过程难以捕获离散点的详细拓扑和结构。在本文中,我们解决了上述问题,重新考虑完成任务,从一个新的角度来看,我们制定的预测作为一个点云变形过程。具体来说,我们设计了一个新的神经网络,命名为PMP网络,模仿推土机的行为。它移动不完整输入的每个点来完成点云,其中点移动路径(PMP)的总距离应最短。因此,PMP-Net根据总的点移动距离的约束为每个点预测唯一的点移动路径。因此,该网络学习一个严格的和唯一的对应关系,在点的水平上,它可以捕捉到的不完整的形状和完整的目标之间的详细的拓扑结构和关系,从而提高预测的完整形状的质量。我们在Completion 3D和PCN数据集上进行了全面的实验,这些实验证明了我们优于最先进的点云完成方法的优势。
2021-06-12 cs.CV
CP3: Unifying Point Cloud Completion by Pretrain-Prompt-Predict Paradigm
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Shanghai AI Laboratory(上海人工智能实验室)
点云补全的目的是从其部分观测预测完整的形状。目前的方法主要包括生成和细化阶段的粗到细的风格。然而,生成阶段往往缺乏鲁棒性,以解决不同的不完整的变化,而细化阶段盲目恢复点云没有语义意识。为了应对这些挑战,我们通过通用的预训练-提示-预测范式(即CP 3)统一了点云完成。受自然语言处理中提示方法的启发,我们创造性地将点云生成和细化分别解释为提示和预测阶段。然后,我们在提示之前引入了一个简洁的自我监督预训练阶段。该算法通过一个不完整性(IOI)任务,有效地提高了点云生成的鲁棒性。此外,我们开发了一种新的语义条件求精(SCR)网络在预测阶段。它可以在语义的指导下有区别地调整多尺度精化。最后,大量的实验表明,我们的CP 3优于国家的最先进的方法有很大的利润。
2022-11-14 cs.CV
Unsupervised Point Cloud Pre-Training via Occlusion Completion
University of Cambridge(剑桥大学);University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);University College London(伦敦大学学院)
我们描述了一个简单的点云预训练方法。它分为三个步骤:1.屏蔽在相机视图中被遮挡的所有点; 2.学习编码器-解码器模型以重建被遮挡点; 3.使用编码器权重作为下游点云任务的初始化。我们发现,即使我们构建了一个单一的预训练数据集(来自ModelNet 40),这种预训练方法也可以提高不同数据集和编码器在广泛的下游任务中的准确性。具体来说,我们证明了我们的方法在对象分类以及基于部分和语义分割任务方面优于以前的预训练方法。我们研究了预训练的特征,发现它们会导致宽的下游最小值,具有高变换不变性,并且具有与部件标签高度相关的激活。代码和数据可在https://github.com/hansen7/OcCo上获得
2021-10-13 cs.CV cs.LG
Refinement of Predicted Missing Parts Enhance Point Cloud Completion
Universidad Nacional de San Agustín(圣奥古斯丁国立大学);Department of Computer Science, University of Chile(智利大学计算机科学系);Universidad La Salle(拉萨尔大学)
点云完成是使用3D形状的点集表示从部分观测预测完整几何形状的任务。以前的方法提出了神经网络直接估计整个点云通过编码器-解码器模型由不完整的点集。通过预测完整的模型,目前的方法计算冗余信息,因为输出也包含已知的不完整的输入几何。本文提出了一种端到端的神经网络架构,重点是计算丢失的几何和合并已知的输入和预测的点云。我们的方法是由两个神经网络:缺失部分预测网络和合并细化网络。第一个模块侧重于从不完整的输入中提取信息,以推断丢失的几何形状。第二个模块合并两个点云,并改善点的分布。我们在ShapeNet数据集上的实验表明,我们的方法在点云完成方面优于最先进的方法。我们的方法和实验的代码是在\url{https://github.com/ivansipiran/Refinement-Point-Cloud-Completion}。
2020-10-08 cs.CV cs.GR
CasPoinTr: Point Cloud Completion with Cascaded Networks and Knowledge Distillation
Institute of Science and Technology for Brain-Inspired Intelligence (ISTBI)(脑启发智能科学技术研究所)
本文提出 CasPoinTr 点云补全框架,通过形状重建与融合补全的级联网络及教师—学生知识蒸馏,提升全局形状推断和局部缺失区域重建性能。
2025-09-27 cs.CV
FBNet: Feedback Network for Point Cloud Completion
Hikvision Research Institute(海康威视研究院);Sichuan University(四川大学);Zhejiang University(浙江大学)
点云学习的快速发展推动点云补全进入了一个新的时代。然而,大多数现有的完成方法的信息流仅仅是前馈,并且高级信息很少被重用以改进低级特征学习。为此,我们提出了一种新的反馈网络(FBNet)的点云完成,目前的功能是有效地细化重新路由后续细粒度的。首先,将部分输入馈送到基于分层图的网络(HGNet)以生成粗略的形状。然后,我们级联几个反馈感知完成(FBAC)块,并在时间上递归地展开它们。两个相邻的时间步长之间的反馈连接利用细粒度的功能,以改善目前的形状代。建立反馈连接的主要挑战是当前特征和后续特征之间的维度不匹配。为了解决这个问题,精心设计的点交叉Transformer通过交叉注意策略从反馈特征中提取有效信息,然后用增强的反馈特征来提炼当前特征。在多个数据集上进行的定量和定性实验表明,与最先进的点完成任务方法相比,所提出的FBNet具有优越性。
2022-10-08 cs.CV
Graph-Guided Deformation for Point Cloud Completion
Hong Kong University of Science and Technology(香港科技大学);DJI Co.(大疆公司)
长期以来,点云的完成任务一直被认为是一个纯粹的生成任务。在通过编码器获得全局形状代码之后,使用由网络预先学习的形状生成完整的点云。然而,这样的模型不期望地偏向于先前的平均对象,并且固有地限于拟合几何细节。本文提出了一种图引导变形网络(Graph-Guided Deformation Network,GCN),将输入数据和中间生成分别作为控制点和支撑点,利用图卷积网络(Graph Convolutional Network,GCN)对点云完成任务进行优化。我们的关键见解是通过网格变形方法来模拟最小二乘拉普拉斯变形过程,这带来了对几何细节建模变化的自适应性。通过这种方法,我们也减少了完成任务和网格变形算法之间的差距。据我们所知,我们是第一个通过模仿传统图形算法和GCN引导变形来细化点云完成任务的人。我们对模拟的室内数据集ShapeNet、室外数据集KITTI和我们自己收集的自动驾驶数据集Pandar 40进行了广泛的实验。结果表明,我们的方法优于现有的国家的最先进的算法在三维点云完成任务。
2021-11-11 cs.AI cs.CV cs.RO
Point Cloud Completion Guided by Prior Knowledge via Causal Inference
针对点云缺失细节难以恢复的问题,提出 Point-PC,通过键值记忆网络检索形状先验并以因果推断过滤补充几何信息,结合对比学习预训练,在多个数据集上取得最优性能。
2023-12-16 cs.CV
Self-Supervised Large Scale Point Cloud Completion for Archaeological Site Restoration
本文提出一种自监督大规模点云补全方法,通过多中心投影图像修复缺失像素,解决大型考古结构因遮挡和点分布不均衡导致的补全难题,在秘鲁600多个考古结构上验证了其优越性。
2025-03-06 cs.CV
LAKe-Net: Topology-Aware Point Cloud Completion by Localizing Aligned Keypoints
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
点云补全的目的是从部分观测中完成几何和拓扑形状。然而,由于原始形状的某些拓扑结构缺失,现有方法直接预测完整点的位置,而没有预测完整形状的结构和拓扑信息,导致性能较差。为了更好地解决丢失的拓扑部分,我们提出了LAKe-Net,一种新的拓扑感知的点云完成模型,通过定位对齐的关键点,采用一种新的Keypoints-Skeleton-Shape预测方式。具体来说,我们的方法使用三个步骤来完成缺失的拓扑结构:1)对齐的关键点定位。提出了一种非对称关键点定位器,包括一个无监督的多尺度关键点检测器和一个完整的关键点生成器,用于从完整和部分点云中定位对齐的关键点。我们从理论上证明了检测器可以捕获子类别内对象的对齐关键点。2)表面骨架生成。基于几何先验知识,从关键点生成一种新的骨架,称为表面骨架,以充分表示从关键点捕获的拓扑信息,并更好地恢复局部细节。3)形状优化。我们设计了一个细化子网,其中多尺度的表面骨架被送入每个递归的递归辅助细化模块,以协助完成过程。实验结果表明,该方法在点云数据的自动生成上达到了最佳的效果。
2022-03-31 cs.CV
Manifold-Aware Point Cloud Completion via Geodesic-Attentive Hierarchical Feature Learning
本文提出基于流形的点云补全方法,通过测地线感知的层次特征学习提升几何一致性和语义准确性。
2025-12-05 cs.CV
Learning a Structured Latent Space for Unsupervised Point Cloud Completion
The Chinese University of Hong Kong(香港中文大学);Samsung Research Institute China - Beijing (SRC-B)(三星中国研究院-北京(SRC-B))
无监督点云完备化的目的是以不成对的方式估计部分点云对应的完整点云。这是一个关键但具有挑战性的问题,因为没有配对的部分完全监督,可以直接利用。在这项工作中,我们提出了一个新的框架,它学习一个统一的和结构化的潜在空间,编码部分和完整的点云。具体来说,我们将一系列相关的部分点云映射成多个完整的形状和遮挡代码对,并融合代码以获得它们在统一潜在空间中的表示。为了加强这种结构化的潜在空间的学习,所提出的方法采用了一系列的约束,包括结构化的排名正则化,潜在代码交换约束,以及相关的部分点云的分布监督。通过建立这样一个统一的、结构化的隐空间,可以获得更好的部分完备几何一致性和形状完备精度。大量的实验表明,我们提出的方法在合成ShapeNet和真实世界的KITTI,ScanNet和Matterport3D数据集上的性能始终优于最先进的无监督方法。
2022-03-29 cs.CV
A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
三维点云是获取真实世界三维物体的重要三维表示方法。然而,真实扫描的3D点云通常是不完整的,并且重要的是恢复完整的点云以用于下游应用。大多数现有的点云完成方法使用倒角距离(CD)损失进行训练。CD损失通过搜索最近的邻居来估计两个点云之间的对应关系,这不会捕获所生成的形状上的整体点密度分布,因此可能导致不均匀的点云生成。为了解决这个问题,我们提出了一种新的点扩散细化(PDR)的点云完成范例。PDR由条件生成网络(CGNet)和细化网络(RFNet)组成。CGNet使用称为去噪扩散概率模型(DDPM)的条件生成模型来生成以部分观测为条件的粗略完成。DDPM在生成的点云和统一地面真值之间建立一对一的逐点映射,然后优化均方误差损失以实现统一生成。RFNet细化了CGNet的粗略输出,并进一步提高了完整点云的质量。此外,我们开发了一种新的双路径架构的网络。该架构可以(1)有效地和高效地从部分观察到的点云中提取多级特征以指导完成,以及(2)准确地操纵3D点的空间位置以获得平滑的表面和锐利的细节。在各种基准数据集上的大量实验结果表明,我们的PDR范例优于以前的最先进的点云完成方法。值得注意的是,在RFNet的帮助下,我们可以将DDPM的迭代生成过程加速高达50倍,而不会有太大的性能下降。
2022-03-21 cs.AI cs.CV
Temporal Point Cloud Completion with Pose Disturbance
Department of Electronic and Computer Engineering, the Hong Kong University of Science and Technology(香港科技大学电子与计算机工程学系);Dji Co.(大疆创新公司)
现实世界中的传感器采集的点云数据往往是不对齐和稀疏的,这使得从单帧数据重建物体的完整形状变得非常困难。在这项工作中,我们设法提供完整的点云从稀疏的输入与姿态干扰有限的平移和旋转。我们还使用时间信息来增强完成模型,用一系列输入来细化输出。借助门控恢复单元(GRU)和注意力机制作为时间单元,我们提出了一个点云补全框架,该框架接受一系列未对齐和稀疏的输入,并输出一致和对齐的点云。我们的网络以在线方式执行,并为每个帧提供精细的点云,这使其能够集成到任何SLAM或重建管道中。据我们所知,我们的框架是第一个利用时间信息,并确保时间的一致性与有限的转换。通过在ShapeNet和KITTI上的实验,我们证明了我们的框架在合成和真实世界数据集上都是有效的。
2022-02-07 cs.CV