CarveNet: Carving Point-Block for Complex 3D Shape Completion
Nanyang Technological University（南洋理工大学）；University of Alberta（阿尔伯塔大学）；Alibaba Group（阿里巴巴集团）；Tianjin University（天津大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
3D点云完成是非常具有挑战性的，因为它严重依赖于对复杂3D形状的准确理解（例如，高曲率、凹/凸和挖空的3D形状）以及部分可用点云的未知和多样图案。在本文中，我们提出了一种新的解决方案，即，点块雕刻（PC），用于完成复杂的3D点云完成。以部分点云为指导，我们雕刻出一个包含均匀分布的三维点的三维块，得到整个点云。为了实现PC，我们提出了一种新的网络体系结构，即，CarveNet。该网络在块的每个点上进行排他性卷积，其中卷积核是在3D形状数据上训练的。CarveNet确定应该雕刻哪个点，以有效地恢复完整形状的细节。此外，我们提出了一种传感器感知的数据增强方法，即，SensorAug，用于在更丰富的部分点云模式上训练CarveNet，从而增强网络的完成能力。ShapeNet和KITTI数据集上的广泛评估证明了我们的方法在具有不同模式的部分点云上的通用性。在这些数据集上，CarveNet成功地超越了最先进的方法。
2021-07-28 cs.CV cs.GR
Multimodal Shape Completion via IMLE
Simon Fraser University（西蒙弗雷泽大学）；Flipkart（Flipkart公司）
形状完成是完成部分输入形状（如部分扫描）的问题。这个问题在计算机视觉和机器人技术中有着重要的应用，因为现实世界中的数据存在遮挡或稀疏等问题。然而，大多数与形状完成相关的现有研究都集中在通过学习一对一的映射来完成形状，这限制了所产生结果的多样性和创造性。我们提出了一种新的多模态形状完成技术，能够有效地学习一个一对多的映射，并产生不同的完整的形状。我们的方法是基于有条件的隐式MaximumLikestimation（IMLE）技术，其中我们的条件输入部分三维点云。我们通过将其与各种基线进行定量和定性比较，对我们的方法进行了广泛的评估。我们表明，我们的方法是优于替代品的完整性和多样性的形状。
2021-07-07 cs.CV
Multimodal Shape Completion via Conditional Generative Adversarial Networks
Peking University（北京大学）；Shandong University（山东大学）
已经提出了几种深度学习方法来完成来自形状采集设置的部分数据，即，填充形状中缺失的区域。然而，这些方法仅使用单个输出来完成部分形状，忽略了在推理丢失的几何体时的模糊性。因此，我们提出了一个多模态形状完成问题，在这个问题中，我们试图通过学习一个一对多的映射来完成具有多个输出的部分形状。我们开发了第一个多峰形状完成方法，通过条件生成建模完成部分形状，而不需要成对的训练数据。我们的方法通过在可能结果的学习多模态分布上完成条件来提取模糊性。我们广泛评估的方法在几个数据集，包含不同形式的形状不完整性，并比较几个基线方法和我们的方法的变体定性和定量，证明我们的方法在完成部分形状的多样性和质量的优点。
2020-07-08 cs.CV
3D Shape Generation and Completion through Point-Voxel Diffusion
Stanford University（斯坦福大学）；MIT（麻省理工学院）
我们提出了一种新的方法，概率生成建模的三维形状。与大多数现有的模型，学习确定性地将一个潜在的矢量转化为一个形状，我们的模型，点体素扩散（PVD），是一个统一的，概率公式无条件的形状生成和条件，多模态形状完成。PVD将去噪扩散模型与3D形状的混合点-体素表示相结合。它可以被视为一系列去噪步骤，将从观察到的点云数据到高斯噪声的扩散过程反转，并通过优化（条件）似然函数的变分下限进行训练。实验表明，PVD能够合成高保真形状，完成部分点云，并从真实物体的单视图深度扫描生成多个完成结果。
2021-08-29 cs.CV
BridgeShape: Latent Diffusion Schrödinger Bridge for 3D Shape Completion
BridgeShape通过将形状补全建模为最优传输问题，并引入深度增强的向量量化变分自编码器，实现高效且高保真的3D形状补全。
2026-03-17 cs.CV
Diverse Shape Completion via Style Modulated Generative Adversarial Networks
Oregon State University（俄勒冈州立大学）
提出一种基于风格调制生成对抗网络的条件生成模型，通过引入随机性、风格码分布学习及多尺度多样性惩罚，在无需多真实值的情况下实现部分点云的多样化合理补全。
2023-11-18 cs.CV
Leveraging Shape Completion for 3D Siamese Tracking
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
由于点云的稀疏性，处理点云具有挑战性，因此自动驾驶汽车更多地依赖于外观属性，而不是纯粹的几何特征。然而，3D LIDAR感知可以在具有挑战性的光线或天气条件下为城市导航提供关键信息。在本文中，我们调查的通用性形状完成三维物体跟踪激光雷达点云。我们设计了一个连体跟踪器，编码模型和候选形状到一个紧凑的潜在表示。我们通过强制潜在表示解码成对象模型形状来正则化编码。我们观察到，3D对象跟踪和3D形状完成是相辅相成的。学习一个更有意义的潜在表示显示出更好的区分能力，从而提高跟踪性能。我们使用汽车3D边界框在KITTI跟踪集上测试我们的方法。我们的模型在3D对象跟踪方面达到了76.94%的成功率和81.38%的精度，形状完成正则化使这两个指标都提高了3%。
2019-03-28 cs.CV
3D Shape Completion with Multi-view Consistent Inference
University of Maryland, College Park（马里兰大学帕克分校）
3D形状完成对于使机器能够从部分观察中感知对象的完整几何形状非常重要。为了解决这个问题，已经提出了基于视图的方法。这些方法将形状表示为多个深度图像，这些深度图像可以被反向投影以产生对应的3D点云，并且它们通过学习使用神经网络来完成每个深度图像来执行形状完成。虽然基于视图的方法可以得到最先进的结果，但它们目前在推理阶段并不强制执行已完成视图之间的几何一致性。为了解决这个问题，我们提出了一个多视图一致性推理技术的三维形状完成，我们表示为一个能量最小化问题，包括一个数据项和一个正则化项。我们将正则化项制定为一致性损失，鼓励多个视图之间的几何一致性，而数据项保证优化的视图不会偏离学习的形状描述符太多。实验结果表明，我们的方法比以前的技术更准确地完成形状。
2019-11-28 cs.CV
ESCAPE: Equivariant Shape Completion via Anchor Point Encoding
Technical University Munich (TUM)（慕尼黑工业大学（TUM））；Google（谷歌）
针对形状补全在未知姿态和旋转变化下性能受限的问题，本文提出ESCAPE框架，利用锚点距离编码与transformer实现旋转等变重建，并通过优化恢复形状，在任意旋转和平移下取得高质量结果。
2024-12-01 cs.CV
PCDreamer: Point Cloud Completion Through Multi-view Diffusion Priors
Shandong University（山东大学）；University of Edinburgh（爱丁堡大学）
PCDreamer利用多视图扩散先验生成新视图，结合形状融合与整合模块，实现高质量点云补全，尤其擅长恢复细节。
2025-03-25 cs.CV cs.GR
PatchRD: Detail-Preserving Shape Completion by Learning Patch Retrieval and Deformation
UT Austin（德克萨斯大学奥斯汀分校）；Adobe Research（奥多比研究院）；IIT Bombay（印度理工学院孟买分校）
本文介绍了一种数据驱动的形状完成方法，重点是完成缺失区域的3D形状的几何细节。我们观察到，现有的生成方法缺乏训练数据和表示能力，合成合理的，细粒度的细节与复杂的几何形状和拓扑结构。我们的关键见解是复制和变形补丁从部分输入，以完成缺失的区域。这使我们能够保持局部几何特征的风格，即使它与训练数据有很大的不同。我们的全自动方法分两个阶段进行。首先，我们学习从输入形状中检索候选块。其次，我们选择并变形一些检索到的候选人，无缝地将它们混合成完整的形状。该方法结合了两种最常见的完成方法的优点：基于相似性的单实例完成和通过学习形状空间完成。我们利用重复模式检索补丁从部分输入，并学习全局结构先验知识，通过使用神经网络来指导检索和变形步骤。实验结果表明，我们的方法在多个数据集和形状类别上的性能大大优于基线。代码和数据可在https://github.com/GitBoSun/PatchRD上获得。
2022-07-24 cs.CV
Prototype-Aware Heterogeneous Task for Point Cloud Completion
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
点云补全是从局部点云数据中恢复原始形状信息的一种方法，已引起三维视觉界的广泛关注。现有的方法通常能成功地完成标准形状的点云生成，而不能生成非标准形状的点云局部细节。为了获得理想的局部细节，全局形状信息的指导至关重要。在这项工作中，我们设计了一种有效的方法来区分标准/非标准形状的帮助下，类内的形状原型表示，这可以通过建议的监督形状聚类借口任务计算，从而在一个异构组件w.r.t完成网络。定义为形状类别的特征质心的代表性原型可以提供全局形状指导，这被称为软感知先验，以多尺度方式通过期望的选择性感知特征融合模块注入下游完成网络。此外，为了有效的训练，我们考虑了基于难度的采样策略，以鼓励网络更多地关注一些几何信息较少的部分点云。实验结果表明，该方法优于现有方法，具有较强的完成复杂几何形状的能力。
2022-09-05 cs.CV
Weakly-supervised 3D Shape Completion in the Wild
Uber Advanced Technologies Group（优步先进技术集团）；University of California, San Diego（加州大学圣迭戈分校）；University of Toronto（多伦多大学）
真实数据的3D形状完成是重要但具有挑战性的，因为由真实世界传感器获取的部分点云通常是稀疏的，有噪声的和不对齐的。与以往的方法不同，我们解决的问题，学习三维完整的形状从未对齐和真实世界的部分点云。为此，我们提出了一种弱监督的方法来估计3D规范形状和6-DoF姿态进行对齐，给定与同一实例相关联的多个部分观测。该网络在训练过程中联合优化了多视图几何约束的规范形状和姿势，并且可以在给定单个部分点云的情况下推断出完整的形状。此外，学习的姿态估计可以促进部分点云配准。在合成数据和真实数据上的实验表明，在没有形状和姿态监督的情况下，通过大规模数据学习3D形状完成是可行的，并且有希望。
2020-08-20 cs.CV
Adaptive Local Basis Functions for Shape Completion
Zhejiang University（浙江大学）；University of Leeds（利兹大学）；University of Utah（犹他大学）
针对深度隐函数点云补全中固定基函数成本高、表达力弱的问题，提出端到端学习的自适应局部基函数及局部到局部框架，以少量基函数保留细节并在多项指标上超越现有方法。
2023-07-17 cs.CV
FaceCom: Towards High-fidelity 3D Facial Shape Completion via Optimization and Inpainting Guidance
Beihang University（北京航空航天大学）；Southwest University（西南大学）；Peking University School and Hospital of Stomatology（北京大学口腔医学院）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）
提出FaceCom，一种基于网格生成网络的三维人脸形状补全方法，在图像修复引导下优化拟合完整人脸，有效处理不规则扫描缺失，在拟合和补全任务中表现卓越。
2024-06-04 cs.CV
DiffComplete: Diffusion-based Generative 3D Shape Completion
CUHK（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；TUM（慕尼黑工业大学）
DiffComplete是一种基于扩散生成的3D形状补全方法，通过分层特征聚合和占用感知融合策略，在真实性、多模态性和高保真度间取得平衡，并在大规模基准上实现SOTA性能，具有强泛化能力。
2023-06-28 cs.CV
Detail Preserved Point Cloud Completion via Separated Feature Aggregation
Wuhan University（武汉大学）；JD.com American Technologies Corporation（京东美国科技公司）
点云形状的求补是三维视觉和机器人领域的一个具有挑战性的问题。现有的基于学习的框架利用编码器-解码器架构从高度编码的全局特征向量恢复完整的形状。虽然全局特征可以近似地表示三维物体的整体形状，但在完成过程中会导致形状细节的丢失。在这项工作中，而不是使用一个全局功能来恢复整个完整的表面，我们探索的功能，多层次的功能和聚合不同的功能，分别代表已知的部分和缺失的部分。我们提出了两种不同的特征聚合策略，即全局和局部特征聚合（GRFA）和残余特征聚合（RFA），来表达这两种特征并从它们的组合中重建坐标。此外，我们还设计了一个细化组件，以防止生成的点云的非均匀分布和离群值。在ShapeNet数据集上进行了大量实验。定性和定量的评估表明，我们提出的网络优于目前最先进的方法，特别是在细节保护。
2020-07-05 cs.CG cs.CV
KAPLAN: A 3D Point Descriptor for Shape Completion
ETH Zürich（苏黎世联邦理工学院）；Microsoft Mixed Reality & AI Zürich Lab（微软混合现实与人工智能苏黎世实验室）
我们提出了一种新的三维形状完成方法，直接对非结构化点云，从而避免了资源密集型数据结构，如体素网格。为此，我们引入了KAPLAN，这是一种3D点描述符，通过一系列2D卷积来聚合局部形状信息。其关键思想是将局部邻域中的点投影到具有不同方向的多个平面上。在这些平面中的每一个中，点属性（如法线或点到平面距离）被聚合到2D网格中，并通过高效的2D卷积编码器抽象为特征表示。由于所有平面都是联合编码的，因此所得到的表示仍然可以捕获它们的相关性并保留有关底层3D形状的知识，而无需昂贵的3D卷积。在公共数据集上的实验表明，KAPLAN在3D形状完成方面达到了最先进的性能。
2020-10-16 cs.CV
Cycle4Completion: Unpaired Point Cloud Completion using Cycle Transformation with Missing Region Coding
Tsinghua University（清华大学）；Wayne State University（韦恩州立大学）；Kuaishou Technology（快手科技）
在本文中，我们提出了一种新的不成对的点云完成网络，命名为Cycle4Completion，推断完整的几何从一个部分的3D对象。以往的非成对形状补全方法只关注从不完整形状到完整形状的几何对应关系的学习，而忽略了反向的学习，这使得它们由于三维形状理解能力有限而导致补全精度较低。为了解决这个问题，我们提出了两个同时循环变换的潜在空间的完整形状和不完整的。循环变换的意义在于通过学习从互补形状生成完整或不完整的形状来促进网络理解3D形状。具体地说，第一个周期将形状从不完整域转换到完整域，然后将它们投影回不完整域。该过程学习完整形状的几何特征，并保持完整预测和不完整输入之间的形状一致性。类似地，逆循环变换从完整域开始到不完整域，然后回到完整域以学习不完整形状的特征。我们在实验中提供了一个全面的评估，这表明我们的模型与学习的双向几何对应优于最先进的不成对完成方法。
2021-06-12 cs.CV
Learning 3D Shape Completion under Weak Supervision
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
我们解决的问题，从稀疏和嘈杂的点云，在计算机视觉和机器人的基本问题的三维形状完成。最近的方法要么是数据驱动的，要么是基于学习的：数据驱动的方法依赖于形状模型，其参数被优化以适应观察;相比之下，基于学习的方法通过学习在完全监督的设置中从不完整的观察直接预测完整的形状来避免昂贵的优化步骤。然而，在实践中往往无法进行全面监督。在这项工作中，我们提出了一种基于弱监督学习的方法来完成三维形状，既不需要缓慢的优化，也不需要直接监督。虽然我们也在合成数据上学习形状，但我们摊销，即，使用深度神经网络进行学习、最大似然拟合，从而在不牺牲精度情况下实现有效的形状完成。在基于ShapeNet和ModelNet的合成基准以及KITTI和Kinect的真实机器人数据上，我们证明了所提出的摊销最大似然方法能够与最近的完全监督基线竞争，并且优于数据驱动方法，同时需要更少的监督并且速度更快。
2018-11-27 cs.CV
Implicit Shape Completion via Adversarial Shape Priors
Technical University of Munich（慕尼黑工业大学）
提出了一种新的神经隐式形状方法来完成部分点云。为此，我们将有条件的Deep-SDF架构与学习的对抗性形状先验相结合。更具体地说，我们的网络将部分输入转换为全局潜在代码，然后通过隐式的带符号距离生成器恢复完整的几何形状。此外，我们还训练PointNet++接口，以促使生成器生成合理的、全局一致的重建。通过这种方式，我们有效地解耦了预测形状的挑战，这些形状既真实，即模仿训练集的姿势分布，又准确，因为它们复制了部分输入观察。在我们的实验中，我们展示了完成部分形状的最先进的性能，考虑到人造物体（例如飞机，椅子等）。和可变形形状类别（人体）。最后，我们证明了我们的对抗性训练方法导致了视觉上合理的重建，这些重建在恢复给定对象的缺失部分时高度一致。
2022-04-21 cs.CV
Training-Free Inference for High-Resolution Sinogram Completion
William & Mary（威廉玛丽学院）；Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）
本文提出了一种无需训练的高效扩散推理方法HRSino，用于高分辨率sinogram补全，通过自适应分配推理努力来提高计算效率和补全精度。
2026-06-04 cs.CV eess.IV
Multiple View Performers for Shape Completion
Columbia University（哥伦比亚大学）；Google（谷歌）；U.S. Army Research Laboratory（美国陆军研究实验室）
我们提出了多视图执行器（MVP）-一个新的架构，从一系列的时间顺序的意见，三维形状完成。MVP通过使用称为执行者的线性注意力Transformers来完成此任务。我们的模型允许当前对场景的观察参与到先前的观察中，以获得更准确的填充。过去的观察的历史被压缩通过紧凑的联想记忆近似现代连续Hopfield记忆，但至关重要的是独立于历史长度的大小。我们将我们的模型与几个基线进行比较，以随着时间的推移完成形状，展示MVP提供的泛化增益。据我们所知，MVP是第一种不需要多个深度视图配准的多视图体素重建方法，也是第一种用于3D形状完成的基于因果Transformer的模型。
2022-09-13 cs.CV cs.RO
Learning Shape Priors for Single-View 3D Completion and Reconstruction
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
单视图3D形状完成或重建的问题是具有挑战性的，因为在解释观察的许多可能的形状中，大多数是难以置信的，并且不对应于自然对象。该领域最近的研究通过利用深度卷积网络的表现力来解决这个问题。事实上，还有另一个经常被忽视的模糊性：在看似合理的形状中，仍然有多个形状同样适合2D图像;即，在给定单视图输入的情况下，地面实况形状是不确定的。现有的完全监督方法无法解决这个问题，并且通常会产生具有平滑表面但没有精细细节的模糊平均形状。在本文中，我们提出了ShapeHD，通过将深度生成模型与逆向学习的形状先验知识相结合，推动了单视图形状完成和重建的极限。学习的先验作为正则化器，只有当模型的输出是不现实的时才惩罚模型，而不是如果它偏离了基本事实。因此，我们的设计克服了上述两个层次的模糊性。实验表明，ShapeHD在多个真实数据集上的形状完成和形状重建方面都大大优于现有技术。
2018-09-13 cs.AI cs.CV
FSC: Few-point Shape Completion
Jianghan University（江汉大学）；State Key Laboratory of Precision Blasting（精密爆破国家重点实验室）；University at Buffalo（布法罗大学）；Yangtze University（长江大学）
针对仅数十个点的极稀疏点云三维形状补全问题，本文提出FSC模型，通过双分支特征提取、显著性加权与两阶段修正实现更真实的补全，并在少点和多点设置下超越现有方法。
2024-06-19 cs.CV
Shape Completion using 3D-Encoder-Predictor CNNs and Shape Synthesis
Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）
我们引入了一种数据驱动的方法，通过体积深度神经网络和3D形状合成的组合来完成部分3D形状。从一个部分扫描的输入形状，我们的方法首先推断出一个低分辨率-但完整的-输出。为此，我们引入了一个由3D卷积层组成的3D-Encoder-Predictor Network（3D-EPN）。该网络经过训练以预测和填充缺失数据，并在对已知和未知空间进行编码的隐式表面表示上进行操作。这使我们能够以高精度预测未知区域的全局结构。然后，我们将这些中间结果与测试时形状数据库中的3D几何形状相关联。在最后一遍，我们提出了一个基于补丁的3D形状合成方法，从这些检索到的形状作为约束条件的粗糙完成的网格强加的3D几何。这种合成过程使我们能够重建精细尺度的细节，并生成高分辨率的输出，同时尊重3D-EPN获得的全局网格结构。虽然我们的3D-EPN优于最先进的完成方法，但我们工作的主要贡献在于数据驱动的形状预测器和分析3D形状合成的结合。在我们的研究结果中，我们展示了一个新推出的形状完成基准的广泛评估，为现实世界和合成数据。
2017-04-11 cs.CV
Voxel-based Network for Shape Completion by Leveraging Edge Generation
National University of Singapore（新加坡国立大学）
深度学习技术已经在点云完成方面取得了显著的改进，目的是从部分输入中完成缺失的对象形状。然而，大多数现有的方法无法恢复真实的结构，由于过度平滑的细粒度的细节。在本文中，我们开发了一个基于体素的网络点云完成利用边缘生成（VE-PCN）。我们首先将点云嵌入到规则的体素网格中，然后在幻觉形状边缘的帮助下生成完整的对象。这种解耦的架构与多尺度网格特征学习一起能够生成更逼真的表面细节。我们在公开的完井数据集上评估了我们的模型，并表明它在定量和定性上优于现有的最先进的方法。我们的源代码可在https://github.com/xiaogangw/VE-PCN上获得。
2021-08-23 cs.AI cs.CV
Probabilistic Shape Completion by Estimating Canonical Factors with Hierarchical VAE
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种新的方法，从一个点云的部分观察的三维形状完成。现有的方法要么在全局潜在代码上操作，这限制了其模型的表达能力，要么自回归估计局部特征，这是高度计算量大的。相反，我们的方法通过将这个问题公式化为对象特征体积上的张量完成问题，通过单个前馈网络来估计整个局部特征场。由于局部特征体的冗余性，该张量完备化问题可以进一步简化为特征体的正则因子估计。一个层次的变分自编码器（VAE）与微小的MLP被用来概率估计的典范因子的完整的特征量。通过与现有方法的定量和定性比较，验证了该方法的有效性。进一步的消融研究还表明，需要采用分层结构来捕获可能形状的多峰分布。
2022-12-06 cs.CV
Unsupervised 3D Shape Completion through GAN Inversion
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
大多数3D形状完成方法严重依赖于部分完整形状对，并以完全监督的方式学习。尽管它们在域内数据上的表现令人印象深刻，但当推广到其他形式的局部形状或真实世界的局部扫描时，由于域间隙，它们通常会获得不满意的结果。与以前的完全监督方法相比，在本文中，我们提出了形状反演，它首次将生成对抗网络（GAN）反演引入形状完成。ShapeInversion使用GAN通过搜索潜在代码来对完整形状进行预训练，该潜在代码给出了最佳重建给定部分输入的完整形状。通过这种方式，ShapeInversion不再需要成对的训练数据，并且能够将在经过良好训练的生成模型中捕获的丰富先验结合起来。在ShapeNet基准测试中，所提出的ShapeInversion优于SOTA无监督方法，并且与使用配对数据学习的监督方法相当。它还表现出显着的泛化能力，为真实世界的扫描和各种形式和不完整程度的部分输入提供了强大的结果。重要的是，由于预先训练的GAN的参与，ShapeInversion自然能够实现一系列额外的功能，例如为模糊的部分输入生成多个有效的完整形状，以及形状操作和插值。
2021-04-29 cs.CV
Point Cloud Completion Guided by Prior Knowledge via Causal Inference
针对点云缺失细节难以恢复的问题，提出 Point-PC，通过键值记忆网络检索形状先验并以因果推断过滤补充几何信息，结合对比学习预训练，在多个数据集上取得最优性能。
2023-12-16 cs.CV
PCN: Point Completion Network
Carnegie Mellon University（卡内基梅隆大学）；The Robotics Institute（机器人研究所）
形状补全是从部分观测估计物体完整几何形状的问题，是许多视觉和机器人应用的核心。在这项工作中，我们提出了点完成网络（PCN），一种新的基于学习的形状完成方法。与现有的形状完成方法不同，PCN直接对原始点云进行操作，而无需任何关于底层形状的结构假设（例如对称性）或注释（例如语义类）。它具有解码器设计，可以在保持少量参数的同时生成细粒度的补全。我们的实验表明，PCN在具有不同程度的不完整性和噪声的输入（包括来自KITTI数据集中LiDAR扫描的汽车）上，在缺失区域中产生了密集、完整的点云，具有真实的结构。
2019-09-26 cs.CV cs.RO
Deformable Shape Completion with Graph Convolutional Autoencoders
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Technion（以色列理工学院）；USI Lugano（卢加诺瑞士意大利大学）
经济实惠的便携式深度传感器的可用性使得扫描物体和人比以往任何时候都更简单。然而，处理遮挡和缺失部分仍然是一个重大挑战。近年来，从单个或多个部分扫描重建（可能非刚性移动）3D对象的问题越来越受到关注。在这项工作中，我们提出了一种新的学习为基础的方法来完成部分形状。与大多数现有方法不同，我们的方法专注于可以进行非刚性变形的对象。我们的方法的核心是一个变分自编码器与图形卷积运算，学习一个完整的现实形状的潜在空间。在推理时，我们优化以找到该潜在空间中的表示，该表示最适合生成的形状与已知的部分输入。完成的形状在未知零件上显示真实的外观。我们展示了有希望的结果，对完成合成和真实的扫描人体和人脸网格表现出不同风格的关节和关节。
2018-04-03 cs.CV
Learning quadrangulated patches for 3D shape parameterization and completion
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）
我们提出了一种新的3D形状参数化的表面补丁，这是面向3D网格四边形的形状。通过对局部补丁的3D表面细节进行编码，我们学习了一个补丁字典，该字典识别形状的主要表面特征。与以前的方法不同，我们能够编码由用户确定的可变大小的表面补丁。我们提出了新的字典学习和补丁重建的基础上查询的嘈杂的输入补丁与孔的方法。我们评估补丁字典对各种应用程序在3D形状修复，去噪和压缩。我们的方法能够预测丢失的顶点和修补中等大小的洞。我们展示了一个完整的管道重建的3D网格从补丁编码。我们验证我们的形状参数化和重建方法的合成形状和现实世界的扫描。我们表明，我们的补丁字典进行成功的形状完成复杂的表面纹理。
2017-09-20 cs.CV
Robust 3D Tracking with Quality-Aware Shape Completion
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）
针对点云稀疏不完整导致的3D单目标跟踪难题，提出带质量感知形状补全的体素化3D跟踪框架，结合关系建模与框细化模块，在三个基准上取得优于现有方法的性能。
2023-12-17 cs.CV
Point Cloud Completion by Learning Shape Priors
National University of Singapore（新加坡国立大学）
针对点云补全中物体细节重建困难的问题，提出了一种基于形状先验学习的物体补全方法。形状先验包括完整点云和部分点云中的几何信息。我们设计了一个特征对齐策略，从完整的点学习形状先验，和一个粗到精的策略，将部分先验的精细阶段。为了事先学习完整的对象，我们首先训练一个点云自动编码器来从完整的点中提取潜在的嵌入。然后我们学习一个映射，通过优化特征对齐损失将点特征从部分点转移到完整点。特征对齐损失由L2距离和由最大均值离散生成对抗网络（MMD-GAN）获得的对抗损失组成。L2距离优化了特征空间中的部分特征，MMD-GAN减小了再生核希尔伯特空间中两个点特征的统计距离。我们在点云完成任务上实现了最先进的性能。我们的代码可在https://github.com/xiaogangw/point-cloud-completion-shape-prior上获得。
2021-07-15 cs.CV cs.LG eess.IV
Repurposing 2D Diffusion Models for 3D Shape Completion
Stanford University（斯坦福大学）
本文提出利用2D扩散模型进行3D形状补全，通过Shape Atlas实现模态对齐，提升生成效果并验证其在点云补全和网格生成中的实用性。
2025-12-16 cs.CV
Unsupervised Partial Point Set Registration via Joint Shape Completion and Registration
NYU Multimedia and Visual Computing Lab, NYU Tandon（纽约大学坦登工程学院多媒体与视觉计算实验室）；NYU Abu Dhabi（纽约大学阿布扎比分校）；Department of Electrical and Computer Engineering, NYU Tandon（纽约大学坦登工程学院电气与计算机工程系）；Department of Electrical and Computer Engineering, NYU Abu Dhabi（纽约大学阿布扎比分校电气与计算机工程系）
提出了一种自监督的局部点集配准方法。虽然最近提出的基于学习的方法已经取得了令人印象深刻的注册性能的完整形状的意见，这些方法大多遭受性能下降时，处理部分形状。为了弥补部分点集配准与全点集配准之间的性能差距，我们提出了一个形状完成网络，以利于配准过程。为了实现这一点，我们为每对形状设计了一个潜在的代码，它可以被视为目标形状的几何编码。通过这样做，我们的模型确实需要一个显式的特征嵌入网络来学习特征编码。更重要的是，我们的形状完成网络和点集配准网络都将共享的潜在代码作为输入，这些代码在训练过程中与两个解码器网络的参数一起优化。因此，点集配准过程因此可以受益于潜码的联合优化过程，潜码被强制表示完整形状的信息而不是部分形状的信息。在推理阶段，我们固定网络参数，优化潜在代码，以获得最佳的形状完成和配准结果。我们提出的方法是纯无监督的，不需要任何地面实况监督。在ModelNet40数据集上的实验证明了该模型对部分点集配准的有效性。
2020-09-11 cs.CV
TSCom-Net: Coarse-to-Fine 3D Textured Shape Completion Network
University of Luxembourg（卢森堡大学）
从3D局部纹理化扫描重建3D人体形状仍然是许多计算机视觉和图形应用的基本任务--例如，身体动画和虚拟着装。我们提出了一种新的神经网络架构的三维身体形状和高分辨率的纹理完成- BCom-Net -，可以重建完整的几何从中级到高级的部分输入扫描。我们将整个重建任务分解为两个阶段-首先，联合隐式学习网络（SCom-Net和TCom-Net），将体素化扫描及其占用网格作为输入，以重建完整的身体形状并预测顶点纹理。第二，一个高分辨率的纹理完成网络，它利用预测的粗糙顶点纹理来修补部分“纹理图谱”的缺失部分。在3DBodyTex.V2数据集上进行的全面实验评估表明，我们的方法在推广到不同类型和级别的局部形状的同时，取得了与最先进方法相比具有竞争力的结果。所提出的方法也在部分纹理3D扫描的SHApe恢复（SHARP [38，1]）2022挑战赛1的赛道1中排名第二。
2022-08-22 cs.CV
KTNet: Knowledge Transfer for Unpaired 3D Shape Completion
Wuhan University（武汉大学）；Tsinghua University（清华大学）
本文提出KTNet，通过教师-助手-学生网络实现知识迁移，在不依赖配对数据的情况下建立完整与不完整形状的几何对应关系，从而提升三维点云补全质量，并在多个数据集上显著超越已有方法。
2022-08-23 cs.CV
CSDN: Cross-modal Shape-transfer Dual-refinement Network for Point Cloud Completion
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Delft University of Technology（代尔夫特理工大学）；Lingnan University（岭南大学）；The Hong Kong Polytechnic University（香港理工大学）
你将如何修复一个物理对象与一些失踪？您可以从先前捕获的图像中想象其原始形状，首先恢复其整体（全局）但粗糙的形状，然后细化其局部细节。我们的动机是模仿物理修复过程，以解决点云完成。为此，我们提出了一个跨模态的形状转移双细化网络（简称CSDN），一个粗到精的范例与图像的全周期参与，质量点云完成。CSDN主要由“形状融合”和“双重细化”模块组成，以解决跨模态的挑战。第一个模块传输的内在形状特征，从单一的图像，以指导几何生成的点云的缺失区域，其中我们提出IPAdaIN嵌入的图像和部分点云的全局特征完成。第二模块通过调整生成点的位置来细化粗略输出，其中局部细化单元通过图形卷积利用新颖点与输入点之间的几何关系，并且全局约束单元利用输入图像来微调生成的偏移。与大多数现有的方法不同，CSDN不仅从图像中探索互补信息，而且在整个从粗到精的完成过程中有效地利用了跨模态数据。实验结果表明，CSDN表现良好，对十个竞争对手的跨模态基准。
2022-12-12 cs.CV
SCARP: 3D Shape Completion in ARbitrary Poses for Improved Grasping
TCS Research（塔塔咨询服务公司研究院）；Brown University（布朗大学）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
从部分观察恢复完整的3D形状是一项具有挑战性的任务，在计算机视觉界已经得到了广泛的解决。许多深度学习方法通过训练3D形状生成网络来学习完整3D形状的先验来解决这个问题。在这种训练机制中，这些方法期望输入是固定的规范形式，没有它，它们就无法学习3D形状的有效先验。我们提出了SCARP，一个模型，执行任意姿势的形状完成。给定对象的部分点云，SCARP通过依赖于使用多任务目标训练的旋转等变姿态特征和几何形状特征来学习姿态和形状的解纠缠特征表示。与依赖于外部规范化的现有方法不同，SCARP在单个网络中执行规范化，姿态估计和形状完成，比现有基线提高了45%的性能。在这项工作中，我们使用SCARP改善抓桌面上的物体的建议。通过直接在观察到的姿势中完成部分桌面对象，SCARP使SOTA抓取建议网络能够在部分形状上将其建议提高71.2%。项目页面：https://bipashasen.github.io/scarp
2023-01-17 cs.CV cs.RO
Camera-Only 3D Panoptic Scene Completion for Autonomous Driving through Differentiable Object Shapes
KU Leuven（库勒万大学）；TRACE vzw（TRACE公司）；ETH Zürich（苏黎世联邦理工学院）；INSAIT（INSAIT研究所）
针对自动驾驶中的 3D 全景场景补全问题，提出可插入现有占据与场景补全模型的 Object Module 和 Panoptic Module，并利用可微物体形状从基准标注中学习实例形状。
2025-05-14 cs.CV
High Fidelity Semantic Shape Completion for Point Clouds using Latent Optimization
Carnegie Mellon University（卡内基梅隆大学）
语义形状完成是3D计算机视觉中的一个具有挑战性的问题，其中的任务是使用部分3D形状作为输入来生成完整的3D形状。我们提出了一种基于学习的方法来完成不完整的3D形状，通过生成建模和潜在的流形优化。我们的算法直接在点云上工作。我们使用自动编码器和GAN来学习对象类的点云的嵌入分布。首先将具有缺失区域的输入点云编码为特征向量。由GAN学习的表示然后用于使用组合优化来找到流形上的最佳潜在向量，该组合优化在似然向量的流形中找到接近原始输入的向量（在特征空间和解码器的输出空间两者中）。实验表明，我们的算法是能够成功地重建点云与大的缺失区域，具有非常高的保真度，而不必依赖于基于样本的数据库检索。
2018-09-30 cs.CV
RealDiff: Real-world 3D Shape Completion using Self-Supervised Diffusion Models
University of Amsterdam（阿姆斯特丹大学）；Bosch Center for AI, Robert Bosch GmbH（罗伯特·博世有限公司博世人工智能中心）；UvA-Bosch Delta Lab（阿姆斯特丹大学-博世三角洲实验室）
针对现有依赖合成先验的点云补全方法在真实数据中泛化性有限的问题，提出自监督框架RealDiff，基于真实观测、结合几何线索用条件扩散建模补全，经轮廓深度正则化后性能优于现有最优方法。
2024-09-16 cs.CV
Wave-Former: Through-Occlusion 3D Reconstruction via Wireless Shape Completion
Massachusetts Institute of Technology（麻省理工学院）
针对现有毫米波三维重建方法覆盖有限、噪声大的问题，提出融合毫米波物理特性的三阶段Wave-Former方法，可实现完全遮挡物体的高精度重建，在真实场景泛化性和召回率上显著优于现有基线。
2025-11-19 cs.CV
DMF-Net: Image-Guided Point Cloud Completion with Dual-Channel Modality Fusion and Shape-Aware Upsampling Transformer
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
本文提出DMF-Net，通过双通道模态融合和形状感知上采样Transformer，以由粗到细的方式实现图像引导的点云补全，在ShapeNet-ViPC数据集上优于现有方法。
2024-06-25 cs.CV
Diverse Plausible Shape Completions from Ambiguous Depth Images
Robotics Institute（机器人研究所）；University of Michigan（密歇根大学）
我们提出了PSSNet，一个网络架构，用于从单个2.5D深度图像生成各种合理的3D重建。现有的方法往往只产生一个单一的形状上的小变化，即使多个形状是一致的观察。为了获得多样性，我们通过在训练期间提供学习的形状限界框特征作为边信息来改变变分自动编码器。由于这些特征在训练过程中是已知的，因此我们能够向编码器添加监督损失，并向解码器添加无噪声值。为了进行评估，我们从网络中抽取一组完成，为每个测试观察构建一组合理的形状匹配，并使用我们在形状集上定义的合理多样性度量进行比较。我们使用Shapenet杯子和部分遮挡的YCB对象进行实验，发现我们的方法在数据集上执行的模糊性很小，并且当许多形状与观察到的深度图像相匹配时，优于现有的方法。我们演示了一个使用PSSNet的物理机器人时，抓住物体的遮挡和混乱。
2020-11-18 cs.CV cs.RO
Towards Confidence-guided Shape Completion for Robotic Applications
Istituto Italiano di Tecnologia（意大利理工学院）
许多涉及某种形式的3D视觉感知的机器人任务极大地受益于对工作环境的完整了解。然而，机器人往往要处理非结构化的环境和他们的板载视觉传感器只能提供不完整的信息，由于有限的干扰，杂波或对象自遮挡。近年来，用于形状完成的深度学习架构已经开始将牵引力作为从部分视觉数据推断完整的3D对象表示的有效手段。然而，大多数现有的最先进的方法提供了一个固定的输出分辨率的体素网格的形式，严格相关的神经网络输出级的大小。虽然这对于某些任务来说已经足够了，例如导航中的避障，但抓取和操纵需要更精细的分辨率，并且简单地放大神经网络输出在计算上是昂贵的。在本文中，我们提出了一个对象形状完成方法的基础上，隐式3D表示提供了一个置信度值为每个重建点的限制。作为第二个贡献，我们提出了一个基于梯度的方法，有效地采样这样的隐式函数在任意分辨率，可调在推理时间。我们通过比较重建的形状与地面真相，并通过部署我们的形状完成算法在机器人抓取管道实验验证我们的方法。在这两种情况下，我们将结果与最先进的形状完成方法进行比较。
2022-09-09 cs.CV cs.LG cs.RO
3D Shape Completion with Test-Time Training
University of Siegen（锡根大学）；University of Bonn（波恩大学）；Lamarr Institute（拉玛尔研究所）
本文提出一种用于3D形状补全的测试时训练方法，通过分离又关联地预测断裂与恢复部分并基于DeepSDF解码器微调，显著减少断裂边界伪影。
2024-10-24 cs.CV cs.LG
Unsupervised Shape Completion via Deep Prior in the Neural Tangent Kernel Perspective
University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）；Texas A&M University（德克萨斯A&M大学）
我们提出了一种新的方法来完成和重建三维形状从不完整的扫描数据，通过使用深度神经网络。网络不是在监督完成任务上进行训练并应用于测试形状，而是在单个测试形状上从头开始优化，以完全适应形状并使用已知区域的上下文指导来完成缺失的数据。由未经训练的神经网络完成缺失数据的能力通常被称为深度先验。在本文中，我们从神经切线核（NTK）的角度解释了深度先验，并表明经过训练的CNN的完整形状补丁与现有补丁自然相似，因为它们在NTK诱导的核特征空间中很接近。解释使我们能够设计更有效的网络结构和学习机制的形状完成和重建任务。与传统的和其他基于无监督学习的重建方法相比，我们的方法更能意识到结构的不稳定性，因此可以用合理的形状来完成大的缺失区域，并补充基于监督学习的方法，这些方法使用数据库先验知识，不需要额外的训练数据集，并显示出对特定形状实例的灵活适应。
2021-04-19 cs.AI cs.CV
RetCompletion:High-Speed Inference Image Completion with Retentive Network
Tsinghua University（清华大学）；China Academy of Information and Communications Technology（中国信息通信科技集团有限公司）
本文提出两阶段框架 RetCompletion，利用 Bi-RetNet 融合双向上下文并以单向逐像素更新实现快速结构重建，再通过 CNN 上采样增强纹理，在 ImageNet 和 CelebA-HQ 上较 ICT、RePaint 分别提速 10 倍和 15 倍。
2024-12-04 cs.CV
PatchComplete: Learning Multi-Resolution Patch Priors for 3D Shape Completion on Unseen Categories
Technical University of Munich（慕尼黑工业大学）
虽然3D形状表示在许多视觉和感知应用中实现了强大的推理，但学习3D形状先验往往限于训练的特定类别，导致学习过程效率低下，特别是对于具有不可见类别的一般应用。因此，我们提出了PatchComplete，它基于多分辨率局部补丁学习有效的形状先验，这些补丁通常比完整形状更一般（例如，椅子和桌子通常都共享腿），从而使得能够对看不见的类别进行几何推理。为了学习这些共享的子结构，我们学习跨所有训练类别的多分辨率补丁先验，然后将其与跨补丁先验的注意力输入部分形状观察相关联，并最终解码为完整的形状重建。这种基于补丁的先验避免了对特定训练类别的过拟合，并使得能够在测试时对完全不可见的类别进行重建。我们证明了我们的方法在合成ShapeNet数据上的有效性，以及来自ScanNet的具有挑战性的真实扫描对象，其中包括噪声和杂波，在ShapeNet上的倒角距离中将新类别形状完成的最先进水平提高了19.3%，ScanNet提高了9.0%。
2022-10-12 cs.CV
Denoise and Contrast for Category Agnostic Shape Completion
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）
在本文中，我们提出了一种深度学习模型，该模型利用自我监督的能力来执行3D点云完成，估计缺失部分及其周围的上下文区域。局部和全局信息被编码在组合嵌入中。去噪托辞任务为网络提供所需的本地线索，与高级语义解耦，并自然地在多个类中共享。另一方面，对比学习使具有不同缺失部分的相同形状的变体之间的一致性最大化，从而产生捕获形状的全局外观的表示。组合的嵌入从所选的premise任务继承类别不可知的属性。与现有的方法不同，这允许更好地将完成属性推广到在训练时看不到的新类别。此外，在解码得到的联合表示，我们更好地融合重建丢失的部分与部分形状关注其已知的周围区域和重建这一帧作为辅助目标。我们在ShapeNet数据集上进行的大量实验和详细的消融显示了该方法每个部分的有效性，并获得了最新的结果。我们的定量和定性分析证实了我们的方法如何能够在不依赖于分类和形状对称先验，也不依赖于对抗性训练程序的情况下对新类别进行工作。
2021-03-30 cs.CV
Shape Completion with Points in the Shadow
Xi’an Jiaotong University（西安交通大学）；University of Leeds（利兹大学）；Shenzhen University（深圳大学）
单视点云数据完备化的目标是基于有限的观测数据恢复物体的完整几何形状，但由于数据稀疏和遮挡，这是非常困难的。核心挑战是基于部分扫描生成合理的几何形状来填充对象的未观察部分，这是约束不足的，并且具有巨大的解决方案空间。受计算机图形学中经典的阴影体技术的启发，提出了一种新的方法来有效地减少解空间。我们的方法将相机视为向对象投射光线的光源。这样的光线构建了一个合理的约束，但足够的表达完成的基础。完井过程，然后制定为一个点位移优化问题。点在部分扫描时被初始化，然后移动到它们的目标位置，每个点有两种类型的移动：沿着光线的定向移动和用于形状细化的受约束的局部移动。我们设计了神经网络来预测理想点的运动，以得到完成的结果。我们证明，我们的方法是准确的，强大的，并通过详尽的评估和比较的推广。此外，它在MVP数据集上的定性和定量表现优于最先进的方法。
2022-10-04 cs.CV
