NDDepth: Normal-Distance Assisted Monocular Depth Estimation and Completion
Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
提出NDDepth框架，通过估计表面法线和距离作为中间输出，利用平面感知一致性约束，在多个数据集上超越现有单目深度估计与补全方法。
2023-11-13 cs.CV
StarryGazer: Leveraging Monocular Depth Estimation Models for Domain-Agnostic Single Depth Image Completion
IPAI, Seoul National University（IPAI，首尔国立大学）；Department of Electrical and Computer Engineering, ASRI, Seoul National University（电气与计算机工程系，ASRI，首尔国立大学）
StarryGazer通过利用大单目深度估计模型，无需真实深度数据，从单张稀疏深度图和RGB图像生成密集深度图，提升补全效果。
2025-12-15 cs.CV
RbFT-Net: Rectify-Before-Fuse Temporal Radar Anchors for 4D Radar-Camera Depth Completion
本文提出RbFT-Net框架，通过图像条件校正模块校正雷达锚点并选择性传播，解决雷达测量的稀疏与干扰问题，在相关数据集上的深度补全性能优于对比方法。
2026-08-14 cs.CV
Semantic Scene Completion using Local Deep Implicit Functions on LiDAR Data
TU Delft（代尔夫特理工大学）；Mercedes-Benz AG（梅赛德斯-奔驰集团）；Esslingen University of Applied Sciences（埃斯林根应用科学大学）
语义场景完成是在给定范围内联合估计对象和表面的3D几何形状和语义的任务。这是一个特别具有挑战性的任务，对现实世界的数据是稀疏和闭塞。我们提出了一种基于局部深度隐式函数的场景分割网络，作为一种新的基于学习的场景完成方法。与以前的工作场景完成，我们的方法产生一个连续的场景表示，是不是基于体素化。我们将原始点云编码到本地的潜在空间中，并以多种空间分辨率进行编码。全局场景完成函数随后从局部化函数块组装。我们表明，这种连续的表示是适合于编码的几何和语义属性广泛的户外场景，而不需要空间离散化（从而避免了场景细节和场景的范围，可以覆盖的水平之间的权衡）。我们训练和评估我们的方法语义注释激光雷达扫描从语义KITTI数据集。我们的实验验证了我们的方法生成了一个强大的表示，可以解码成一个给定场景的密集的3D描述。我们的方法的性能超越了语义KITTI场景完成基准的几何完成交叉联合（IoU）方面的最先进的。
2021-04-12 cs.CV cs.LG
Variational Relational Point Completion Network for Robust 3D Classification
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Lab（上海人工智能实验室）
本文提出变分关系点云补全网络VRCNet，通过双路径概率建模与点自注意力、选择性核模块增强局部细节，并构建MVP系列数据集，在补全基准和真实扫描上取得领先性能，显著提升部分点云的三维分类准确率。
2023-04-18 cs.CV cs.LG
Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion
Toyota Research Institute (TRI)（丰田研究所）
从具有成本效益的传感器获得的数据中估计场景几何形状是机器人和自动驾驶汽车的关键。在本文中，我们研究了从一个单一的RGB图像（monodepth）与可选的稀疏测量低成本的有源深度传感器的预测密集深度的问题。我们引入了稀疏辅助网络（SAN），这是一个新的模块，使单深度网络能够执行深度预测和完成任务，这取决于在推理时是否只有RGB图像或稀疏点云可用。首先，我们使用稀疏卷积将图像和深度图编码阶段解耦，以仅处理有效的深度图像素。其次，我们将这些信息（当可用时）注入深度预测网络的跳过连接，增强其功能。通过对一个室内（NYUv2）和两个室外（KITTI和DDAD）基准测试的广泛实验分析，我们证明了我们提出的SAN架构能够同时学习这两项任务，同时在深度预测方面实现了新的技术水平。
2021-03-30 cs.CV cs.LG
Multi-tensor Completion for Estimating Missing Values in Video Data
Harbin Engineering University（哈尔滨工程大学）；RIKEN Brain Science Institute（理化学研究所脑科学综合研究中心）
许多基于张量的数据补齐方法旨在解决图像和视频修补问题。但是，所有方法都只针对单个数据集开发。在大多数实际应用中，我们通常可以获得多个数据集来反映一种现象，并且所有数据集在某种意义上是相互关联的。因此，一个问题提出了这样的关系是否可以提高数据完成的性能或没有？本文提出了一种利用数据集之间的关系进行多视频数据补全的新方法。数值实验结果表明，该方法显著提高了视频修复的性能，尤其是在缺失率很高的情况下。
2014-09-01 cs.CV
Generating and Exploiting Probabilistic Monocular Depth Estimates
Washington University in St. Louis（圣路易斯华盛顿大学）；The Boeing Company（波音公司）
除了从单个图像进行深度估计之外，单目线索在更广泛的深度推断应用和设置中是有用的-例如当人们可以利用其他可用的深度线索来提高精度时。目前，具有不同推理任务和深度线索组合的不同应用程序通过不同的专用网络来解决-为每个应用程序单独训练。相反，我们提出了一个通用的任务不可知的单眼模型，输出的概率分布场景深度给定的输入彩色图像，作为样本近似的输出从一个补丁明智的条件VAE。我们表明，这种分布式输出可用于在不同的设置中启用各种推理任务，而无需为每个应用程序重新训练。在各种应用程序中（深度完成、用户引导的估计等），我们的通用模型产生具有高精度的结果-与依赖于特定应用网络的最先进的方法相当或超过该结果。
2019-12-10 cs.CV
OccuFly: A 3D Vision Benchmark for Semantic Scene Completion from the Aerial Perspective
Fraunhofer Institute IVI（弗劳恩霍夫交通与基础设施系统研究所）；TU Munich（慕尼黑工业大学）；MCML（慕尼黑机器学习中心）；UCLA（加州大学洛杉矶分校）
本文提出OccuFly基准，通过无LiDAR相机数据生成框架，提供21类语义的20000+样本，评估视觉模型在空中场景中的局限性。
2026-03-30 cs.CV
Shape complexity estimation using VAE
Bielefeld University（比勒费尔德大学）
本文提出利用不同大小潜在向量的 Variational Autoencoders 重构损失来估计二维形状复杂度，证明该方法能捕捉形状复杂度的某些方面。
2023-04-05 cs.CV
CAOA -- Completion-Assisted Object-CAD Alignment
University at Albany（奥尔巴尼大学）
提出CAOA方法，结合语义感知点云补全和对称感知相对位姿估计，在Scan2CAD上实现17%精度提升，并发布S2C-Completion数据集。
2026-06-23 cs.AI cs.CV cs.LG
Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation
Queen’s University（女王大学）；Azad University（阿扎德大学）；University of Leeds（利兹大学）；KU Leuven（荷语鲁汶大学）；Shenzhen University（深圳大学）
在涉及多协议磁共振成像（MRI）的大型研究中，由于质量差（例如成像伪影）、采集失败或走廊中断成像检查，可能会错过给定患者的一个或多个子模态。在某些情况下，由于扫描时间有限或回顾性协调两项独立研究的成像协议，某些协议不可用。丢失的图像模态对分割框架构成挑战，因为丢失的扫描所提供的补充信息随后丢失。在本文中，我们提出了一种新的模型，多模态高斯过程先验变分自动编码器（MGP-VAE），填补一个或多个丢失的子模态的患者扫描。MGP-VAE可以利用高斯过程（GP）在变分自动编码器（VAE）上的先验来利用受试者/患者和子模态相关性。代替为当前子模态的每个可能子集设计一个网络或使用框架来混合特征图，可以基于所有可用样本从单个模型生成缺失数据。我们展示了MGP-VAE对脑肿瘤分割的适用性，其中四个子模式中的两个或三个可能缺失。我们的实验对竞争性分割基线缺失的子模态BraTS的19数据集表明分割任务的MGP-VAE模型的有效性。
2021-07-07 cs.CV cs.LG eess.IV
GRNet: Gridding Residual Network for Dense Point Cloud Completion
Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；Peng Cheng Laboratory（鹏城实验室）
从不完整的点云中估计完整的3D点云是许多视觉和机器人应用中的关键问题。主流方法（例如，PCN和TopNet）使用多层感知器（MLP）直接处理点云，这可能会导致细节丢失，因为没有充分考虑点云的结构和上下文。为了解决这个问题，我们引入3D网格作为中间表示来规则化无序点云。因此，我们提出了一种新的网格残差网络（GRNet）的点云完成。特别是，我们设计了两个新的微分层，命名为网格和网格反向，点云和3D网格之间的转换，而不会丢失结构信息。我们还提出了可微立方特征采样层来提取相邻点的特征，它保留了上下文信息。此外，我们设计了一个新的损失函数，即Gridding Loss，用于计算预测点云和地面真实点云的三维网格之间的L1距离，这有助于恢复细节。实验结果表明，所提出的GRNet在ShapeNet，Completion3D和KITTI基准测试中表现良好。
2020-07-20 cs.CV cs.LG eess.IV
ViHOPE: Visuotactile In-Hand Object 6D Pose Estimation with Shape Completion
Honda Research Institute USA, Inc.（美国本田研究院）；Brown University（布朗大学）
ViHOPE提出了一种基于视觉触觉感知的手持物体6D位姿估计框架，通过条件生成对抗网络显式补全物体形状并联合优化形状补全与位姿估计任务，显著提升了位姿估计精度，并在形状补全和位姿估计任务中大幅超越现有技术，且具备良好的sim-to-real迁移鲁棒性。
2023-09-11 cs.CV cs.RO
Visual Natural Language Query Auto-Completion for Estimating Instance Probabilities
Columbia University（哥伦比亚大学）
我们提出了一个新的任务，估计实例概率的查询自动完成。我们完成了一个用户查询前缀的图像条件。给定完整的查询，我们微调BERT嵌入，以估计广泛的实例集的概率。所得到的实例概率用于选择，同时与分割或注意力机制无关。我们的研究结果表明，使用语言和视觉的自动完成比只使用语言更好，并且微调BERT嵌入可以有效地对图像中的实例进行排名。本着可重复研究的精神，我们提供我们的数据、模型和代码。
2019-10-10 cs.CL cs.CV cs.LG
Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE
ETH Zürich（苏黎世联邦理工学院）
概率建模是医学图像分析中的一个重要工具，特别是在分析脑磁共振图像（MRI）方面。最近用于估计高维分布的深度学习技术，特别是变分自动编码器（VAE），为概率建模开辟了新的途径。然而，体积数据的建模仍然是一个挑战，因为对可用计算和训练数据的限制使得难以有效地利用VAE，VAE是针对2D图像开发的。我们提出了一种方法来模拟三维MR脑体积分布相结合的2D切片VAE与高斯模型，捕捉切片之间的关系。我们通过估计切片方向上2D模型的潜在空间中的样本均值和协方差来实现。这种组合模型使我们能够对新的潜在变量的连贯堆栈进行采样，以解码成体积的切片。我们还介绍了一种新的评估方法，生成的卷，量化如何以及他们的分割匹配真正的大脑解剖。我们证明，我们提出的模型是有竞争力的，在高分辨率下生成高质量的卷，根据传统的指标和我们提出的评估。
2020-07-09 cs.CV eess.IV
3DQD: Generalized Deep 3D Shape Prior via Part-Discretized Diffusion Process
Shanghai Jiao Tong University（上海交通大学）；Huawei Hisilicon（华为海思）
我们开发了一个广义的3D形状生成先验模型，适合多个3D任务，包括无条件的形状生成，点云完成，和跨模态形状生成等。一方面，要精确地捕捉局部精细详细的形状信息，矢量量化变分自编码器（VQ-VAE）是用来索引局部几何结构从一个compartly学习的码本的基础上广泛的一组任务训练数据。另一方面，引入离散扩散生成器来模拟不同令牌之间的固有结构依赖关系。同时，多频融合模块（MFM）的开发，以抑制高频形状特征的波动，引导多频上下文信息。上述设计共同装备我们提出的3D形状先验模型具有高保真度，多样化的功能以及跨模态对齐的能力，广泛的实验已经证明了在各种3D形状生成任务上的优越性能。
2023-03-18 cs.AI cs.CV cs.LG
POC-SLT: Partial Object Completion with SDF Latent Transformers
University of Tübingen（蒂宾根大学）
提出POC-SLT，利用SDF潜空间变换器对部分观测的三维形状进行补全，通过VAE编码和掩码自编码器在潜空间完成序列，在ShapeNet和ABC数据集上显著优于基线方法。
2024-11-08 cs.CV
BridgeShape: Latent Diffusion Schrödinger Bridge for 3D Shape Completion
BridgeShape通过将形状补全建模为最优传输问题，并引入深度增强的向量量化变分自编码器，实现高效且高保真的3D形状补全。
2026-03-17 cs.CV
Deep Convolutional Compressed Sensing for LiDAR Depth Completion
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们考虑的问题，估计一个密集的深度图从一组稀疏的激光雷达点。我们使用压缩感知和最近开发的交替方向神经网络（ADNN）的技术来创建一个深度递归自动编码器。我们的架构在内部执行一种算法，用于从输入中提取多级卷积稀疏码，然后用于进行预测。我们的研究结果表明，只有两个层和1800个参数，我们就能够超越所有先前发表的结果，包括具有多个数量级参数的深度网络。
2018-03-23 cs.CV
Octree Diffusion for Semantic Scene Generation and Completion
University of Colorado Boulder（科罗拉多大学博尔德分校）；Autonomous Robotics and Perception Group（自主机器人与感知实验室）
本文提出Octree Latent Semantic Diffusion框架，通过八叉树隐式表示实现跨域的3D语义场景补全、扩展和生成，结合结构扩散与语义扩散生成语义标签，无需重训练即可完成单扫描的补全与零样本泛化。
2026-03-31 cs.CV
Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data
Purdue University（普渡大学）；Honda Research Institute USA（美国本田研究所）
本研究提出一种两阶段方法，利用掩码自编码器插补稀疏手部轨迹并结合条件扩散模型，从双重稀疏的自我中心视频数据中估计全身姿态，在AMASS和Ego-Exo4D数据集上验证了有效性。
2024-11-05 cs.CV
Prototype Completion with Primitive Knowledge for Few-Shot Learning
Harbin Institute of Technology Shenzhen（哈尔滨工业大学深圳校区）
少样本学习是一个具有挑战性的任务，它的目标是用很少的样本来学习新类别的分类器。基于预训练的元学习方法通过预训练特征提取器，然后通过基于最近质心的元学习对其进行微调，有效地解决了这个问题。然而，结果表明，微调步骤使非常边际的改善。在本文中，1）我们找出了关键原因，即，在预训练的特征空间中，基本类已经形成紧凑的聚类，而新类作为具有大方差的组传播，这意味着微调特征提取器的意义不大; 2）我们专注于在元学习期间估计更具代表性的原型，而不是微调特征提取器。因此，我们提出了一种新的原型完成的元学习框架。该框架首先引入原始知识（即，类级部件或属性注释）并提取代表性属性特征作为先验。然后，我们设计了一个原型完成网络来学习完成这些先验的原型。为了避免由原始知识噪声或类别差异引起的原型完成错误，我们进一步开发了一种基于高斯的原型融合策略，该策略通过利用未标记的样本将基于均值的原型和已完成的原型相结合。大量的实验表明，我们的方法：（i）可以获得更准确的原型;（ii）在分类精度方面比最先进的技术高出2% - 9%。我们的代码可在线获取。
2021-06-24 cs.CV
Prototype Completion for Few-Shot Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
少样本学习的目标是用很少的样本来识别新的类。基于预训练的方法通过预训练特征提取器，然后通过基于最近质心的元学习对其进行微调，有效地解决了这个问题。然而，结果表明，微调步骤使边际改善。在本文中，1）我们找出了原因，即，在预训练的特征空间中，基本类已经形成紧凑的聚类，而新类作为具有大方差的组传播，这意味着微调特征提取器的意义不大; 2）代替微调特征提取器，我们专注于估计更具代表性的原型。因此，我们提出了一种新的原型完成的元学习框架。该框架首先引入原始知识（即，类级部件或属性注释），并提取所见属性的代表性特征作为先验。第二，一个部分/属性转移网络的目的是学习，以推断的代表性特征的不可见的属性作为补充先验。最后，设计了一个原型完成网络来学习完成这些先验知识的原型。此外，为了避免原型完成错误，我们进一步开发了基于高斯的原型融合策略，通过利用未标记的样本融合基于均值的原型和完成的原型。大量的实验表明，我们的方法：（i）获得更准确的原型;（ii）在感应和转换FSL设置上实现了优异的性能。
2021-08-11 cs.CV
Recurrently Estimating Reflective Symmetry Planes from Partial Pointclouds
Five（Five公司）
许多人造物体的特征在于沿着一个或多个平面方向对称的形状。估计这样的对称平面的位置和取向可以帮助许多任务，诸如估计感兴趣对象的总体取向或执行形状完成，其中对象的部分扫描在所估计的对称平面上被反射，以便获得更详细的形状。许多处理3D数据的方法依赖于昂贵的3D卷积。在本文中，我们提出了一种替代的新编码，而是沿着高度维度切片数据，并将其顺序传递到2D卷积递归回归方案。该方法还包括可微分最小二乘步骤，允许对称对象的完整和部分扫描的端到端准确和快速处理。我们使用这种方法来有效地处理3D输入设计一种方法来估计平面反射对称性。我们表明，我们的方法有一个准确性相媲美的国家的最先进的技术上的任务，平面反射对称估计全合成对象。此外，我们表明，它可以部署在部分扫描的对象在现实世界的管道，以提高输出的3D对象检测器。
2021-06-30 cs.CV
What's Behind the Mask: Estimating Uncertainty in Image-to-Image Problems
Verily Research（Verily研究院）
估计图像到图像网络中的不确定性是一项重要的任务，特别是当这种网络越来越多地部署在生物和医学成像领域时。在本文中，我们介绍了一种新的方法来解决这个问题的基础上掩蔽。给定一个现有的图像到图像网络，我们的方法计算一个掩模，使得掩模重建图像和掩模真实图像之间的距离保证小于指定的阈值，具有很高的概率。掩模因此识别重构图像的更确定的区域。我们的方法对底层的图像到图像网络是不可知的，并且只需要输入（退化），重建和真实图像的三元组进行训练。此外，我们的方法对所使用的距离度量是不可知的。因此，可以使用$L_p$风格的距离或感知距离（如LPIPS），这与基于区间的不确定性方法形成对比。我们的理论保证来自保形校准程序。我们评估了我们基于掩模的方法对图像着色，图像完成和超分辨率任务的不确定性，并在每个任务上展示了高质量的性能。
2022-11-28 cs.CV cs.LG
A Dataset and Benchmark for Shape Completion of Fruits for Agricultural Robotics
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；University of Oxford（牛津大学）
针对农业环境遮挡导致水果3D形状估计困难的问题，提出了首个公开的甜椒3D形状补全RGB-D数据集与基准，包含近7000张图像及高精度真实点云，并支持通过公开挑战赛评估形状补全方法。
2025-03-06 cs.CV cs.RO
