SparseFormer: Attention-based Depth Completion Network
Technical University of Denmark（丹麦技术大学）；Ecole des Ponts（巴黎路桥学院）；Meta
增强和虚拟现实的大多数流水线通过创建稀疏3D地标的地图来估计相机的自我运动。在本文中，我们解决了深度完成的问题，也就是说，使用RGB图像作为指导来加密这个稀疏的3D地图。这仍然是一个具有挑战性的问题，由于低密度，不均匀和离群倾向的3D地标由SfM和SLAM管道产生。我们引入了一个Transformer块SparseFormer，它将3D地标与深层视觉特征融合在一起，以产生密集的深度。SparseFormer具有全局感受野，使得该模块对于低密度和非均匀地标的深度完成特别有效。为了解决3D地标中的深度离群值问题，我们引入了一个可训练的细化模块，该模块通过稀疏地标之间的注意力来过滤离群值。
2022-06-09 cs.CV
Estimating Depth from RGB and Sparse Sensing
Magic Leap（Magic Leap公司）
我们提出了一个深度模型，可以精确地产生密集的深度图给定的RGB图像与已知的深度在一个非常稀疏的像素集。该模型同时适用于室内/室外场景，并在NYUv 2和KITTI数据集上以近乎实时的速度生成最先进的密集深度图。我们超越了单眼深度估计的最新技术，即使深度值仅为每10000个图像像素中的1个，并且我们在所有稀疏级别上都优于其他稀疏到密集的深度方法。深度值为图像像素的1/256，我们在室内场景中实现了小于实际深度1%的平均绝对误差，与消费级深度传感器硬件的性能相当。我们的实验表明，确实可以将使用例如较低功率深度传感器或SLAM系统获得的稀疏深度测量有效地转换为高质量的密集深度图。
2018-12-09 cs.CV
Sparse Depth Completion with Semantic Mesh Deformation Optimization
IBM Research（IBM研究院）
稀疏深度测量在诸如增强现实、视觉惯性测距法和配备有低成本深度传感器的机器人的许多应用中广泛可用。尽管这种稀疏深度样本对于运动跟踪等某些应用效果很好，但对于更广泛的应用，例如3D对象识别，3D重建和自动驾驶，完整的深度图通常是首选。尽管最近在利用更深的神经网络从单个RGB图像进行深度预测方面取得了进展，但是现有的方法没有产生用于实际使用的可靠结果。在这项工作中，我们提出了一个神经网络与后优化，它采取RGB图像和稀疏的深度样本作为输入，并预测完整的深度图。我们做了三个主要的贡献，以推进国家的最先进的：一个改进的骨干网络架构命名为EDNet，语义边缘加权损失函数和语义网格变形优化方法。我们的评估结果在室内和室外数据集上都优于现有的工作，并且在NYU-Depth-V2数据集上200个稀疏样本的相同设置下，它将平均平均误差显著降低了19.5%。
2021-12-10 cs.CV
Depth Completion from Sparse LiDAR Data with Depth-Normal Constraints
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）
深度补全的目的是从稀疏的深度测量中恢复密集的深度图。它对自动驾驶越来越重要，并引起视觉界越来越多的关注。现有的方法大多直接训练网络来学习从稀疏深度输入到密集深度图的映射，这在利用3D几何约束和处理实际传感器噪声方面存在困难。在本文中，为了正则化深度完成并提高对噪声的鲁棒性，我们提出了一个统一的CNN框架，该框架1）在扩散模块中对深度和表面法线之间的几何约束进行建模，2）预测稀疏LiDAR测量的置信度以减轻噪声的影响。具体来说，我们的编码器-解码器骨干同时预测LiDAR输入的表面法线，粗深度和置信度，随后将其输入到我们的扩散细化模块以获得最终的完成结果。在KITTI深度补全数据集和NYU-Depth-V2数据集上的大量实验表明，我们的方法达到了最先进的性能。进一步的烧蚀研究和分析提供了更多的见解所提出的方法，并证明了我们的模型的泛化能力和稳定性。
2019-10-15 cs.CV
HMS-Net: Hierarchical Multi-scale Sparsity-invariant Network for Sparse Depth Completion
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；SenseTime Research（商汤科技研究院）；Chinese University of Hong Kong（香港中文大学）
密集深度线索是重要的，并且在各种计算机视觉任务中具有广泛的应用。在自动驾驶中，采用LIDAR传感器来获取车辆周围的深度测量，以感知周围环境。然而，由于其硬件限制，由LIDAR获得的深度图通常是稀疏的。深度补全的任务越来越受到关注，其目的是从输入的稀疏深度图生成密集深度图。为了有效地利用多尺度特征，我们提出了三种新的稀疏不变操作，在此基础上，还提出了一种用于处理稀疏输入和稀疏特征映射的稀疏不变多尺度编码器-解码器网络（HMS-Net）。可以并入额外的RGB特征以进一步改进深度完成性能。我们的广泛的实验和组件分析两个公共基准，KITTI深度完成基准和NYU-depth-v2数据集，证明了所提出的方法的有效性。截至2018年8月12日，在KITTI深度完成排行榜上，我们提出的无RGB指导的模型在所有不使用RGB信息的同行评审方法中排名第一，我们的RGB指导模型在所有RGB指导方法中排名第二。
2020-02-20 cs.CV
A Joint Intensity and Depth Co-Sparse Analysis Model for Depth Map Super-Resolution
Technische Universität München（慕尼黑工业大学）
高分辨率深度图可以从低分辨率深度测量和同一场景的附加高分辨率强度图像推断。为此，我们引入了一个双峰共稀疏分析模型，它能够捕获注册的强度和深度信息的相互依赖性。该模型是基于这样的假设，即对应的双峰图像结构的共同支持对齐时，由一对合适的分析算子计算。不存在这样的运营商的分析形式，我们提出了一种方法来学习他们从一组注册的训练信号。这个学习过程是离线完成的，并返回一个普遍适用于自然场景的双峰分析算子。我们利用这一点，利用双峰共稀疏分析模型作为解决逆问题的先验，这导致了一个有效的算法深度图超分辨率。
2013-04-19 cs.CV
Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种深度估计的方法，融合来自立体对的信息与来自激光雷达传感器或测距相机的稀疏距离测量。这项工作的目标是利用两种传感器形式的互补优势，准确但稀疏的距离测量和模糊但密集的立体信息。通过结合各向异性扩散和半全局匹配的思想，这两个源被有效地和高效地融合。我们在KITTI 2015和Middlebury 2014数据集上评估了我们的方法，使用随机采样的地面真值范围测量作为我们的稀疏深度输入。我们实现了显着的性能改进，在两个数据集上的距离测量的一小部分。我们还提供了使用PMDTec Monstar传感器的平台的定性结果。我们的整个流水线在NVIDIA TX-2平台上以5 Hz的频率运行，具有128个视差级别的1280 x1024立体图像。
2018-09-20 cs.CV
3dDepthNet: Point Cloud Guided Depth Completion Network for Sparse Depth and Single Color Image
University of California, Irvine（加州大学欧文分校）；Trifo, Inc.（追觅科技（美国）有限公司）
在本文中，我们提出了一个名为3dDepthNet的端到端深度学习网络，它可以从一对稀疏的LiDAR深度和彩色图像中生成精确的密集深度图像，用于机器人和自动驾驶任务。基于深度图像的维度性质，我们的网络提供了一种新颖的3D到2D粗到细的双重致密化设计，既准确又轻便。深度致密化首先通过点云完成在3D空间中执行，然后是专门设计的编码器-解码器结构，该结构利用来自3D完成的投影密集深度和原始RGB-D图像来执行2D图像完成。在KITTI数据集上的实验表明，我们的网络在更高效的同时达到了最先进的精度。消融和泛化测试证明，我们网络中的每个模块对最终结果都有积极的影响，而且，我们的网络对更稀疏的深度也有弹性。
2020-03-20 cs.CV
Depth Map Completion by Jointly Exploiting Blurry Color Images and Sparse Depth Maps
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
我们的目标是预测一个完整的和高分辨率的深度图从不完整的，稀疏的和嘈杂的深度测量。现有的方法要么直接利用深度图上的各种正则化，要么采用基于学习的方法来处理这个问题。当相应的彩色图像可用时，深度图和彩色图像之间的相关性被用来提高完成性能，假设彩色图像是干净和清晰的。然而，在现实世界的动态场景中，彩色图像往往是模糊的，由于相机的运动和移动的物体在场景中。在本文中，我们提出了解决深度图完成的问题，通过联合利用模糊的彩色图像序列和稀疏的深度图测量，并提出了一种基于能量最小化的配方，同时完成深度图，估计场景流和去模糊的彩色图像。我们对室外和室内场景的实验评估证明了我们的方法的最先进的性能。
2017-11-27 cs.CV
Training Self-Supervised Depth Completion Using Sparse Measurements and a Single Image
本文提出一种仅需稀疏深度测量和单张图像的自监督深度补全方法，通过利用深度分布设计损失函数并结合视觉基础模型分割图，摆脱了对稠密标签和多帧图像的依赖。
2025-07-20 cs.CV
$S^3$: Learnable Sparse Signal Superdensity for Guided Depth Estimation
National Taiwan University（国立台湾大学）
密集深度估计在机器人、3D重建和增强现实等多种应用中起着关键作用。虽然稀疏信号，例如，LiDAR和雷达已经被用作增强密集深度估计的指导，由于其低密度和不平衡分布，改进是有限的。为了最大化稀疏源的效用，我们提出了$S^3$技术，该技术扩展了稀疏线索的深度值，同时估计扩展区域的置信度。所提出的$S^3$可以应用于各种引导的深度估计方法，并在不同的阶段进行端到端的训练，包括输入、成本量和输出。大量的实验证明了$S^3$技术对LiDAR和雷达信号的有效性、鲁棒性和灵活性。
2021-08-22 cs.CV
Dense Depth Posterior (DDP) from Single Image and Sparse Range
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一个深度学习系统来推断与图像相关的密集深度图的后验分布，通过利用稀疏范围测量，例如来自激光雷达。虽然激光雷达可能会为一小部分像素提供深度值，但我们利用训练集中反映的规律来完成地图，以便为图像中的每个像素提供深度概率。我们利用一个条件先验网络，它允许将概率与给定图像的每个深度值相关联，并将其与使用稀疏测量的似然项相结合。可选地，我们还可以在训练期间利用立体声的可用性，但在任何情况下，在运行时只需要单个图像和稀疏点云。我们使用KITTI基准测试我们的方法在无监督和监督深度完成上进行测试，并改进了两者的最新技术。
2019-04-17 cs.CV
Masked Spatial Propagation Network for Sparsity-Adaptive Depth Refinement
Korea University（高丽大学）；Gauss Labs Inc.（高斯实验室公司）
本文提出稀疏度自适应深度细化框架SDR及掩码空间传播网络MSPN，通过逐步传播稀疏深度信息，有效应对稀疏深度数量变化，在SDR和传统深度补全中均达到最先进性能。
2024-04-30 cs.CV
Deep Cost Ray Fusion for Sparse Depth Video Completion
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
本文提出基于学习的稀疏深度视频补全框架，通过构建深度假设平面代价体积并引入RayFusion融合相邻代价体积重叠射线的注意力机制，以更少参数在多数据集上达到或超越SOTA。
2024-09-23 cs.CV
Project to Adapt: Domain Adaptation for Depth Completion from Noisy and Sparse Sensor Data
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）
深度补全旨在从稀疏深度输入预测密集深度图。获取用于深度完井设置的密集地面实况注释可能很困难，同时，真实LiDAR测量值与合成数据之间的显著域差距阻碍了在虚拟设置中成功训练模型。我们提出了一种领域自适应方法，用于从合成数据训练的稀疏到密集的深度完成，而不需要在实域或额外的传感器中进行注释。我们的方法模拟RGB+LiDAR设置中的真实传感器噪声，由三个模块组成：通过投影模拟合成域中的真实LiDAR输入，过滤真实噪声LiDAR进行监督，并使用CycleGAN方法调整合成RGB图像。我们广泛评估这些模块对国家的最先进的KITTI深度完成基准，显示出显着的改善。
2020-08-05 cs.CV
SparseTrack: Multi-Object Tracking by Performing Scene Decomposition based on Pseudo-Depth
Huazhong University of Science and Technology（华中科技大学）
提出SparseTrack多目标跟踪器，通过伪深度估计和深度级联匹配算法将密集目标集分解为稀疏子集进行关联，有效解决拥挤场景下的遮挡问题。
2023-11-20 cs.CV
Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors
School of Software, Tsinghua University（清华大学软件学院）；China Telecom（中国电信）；Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系）
研究稀疏视图的3D重建难题，提出基于3D高斯点云的方法，用法线引导深度传播扩展深度信息，引入异常深度边缘感知正则化处理深度不连续，实验表明该方法优于现有技术。
2026-07-07 cs.CV
EndoDDC: Learning Sparse to Dense Reconstruction for Endoscopic Robotic Navigation via Diffusion Depth Completion
Department of Electronic Engineering, The Chinese University of Hong Kong（电子工程系，香港中文大学）
EndoDDC通过扩散模型整合图像、稀疏深度信息和深度梯度特征，提升内窥镜环境下深度重建的准确性和鲁棒性。
2026-02-26 cs.CV
Learning sparse representations of depth
Helen Wills Neuroscience Institute, University of California, Berkeley（加州大学伯克利分校海伦·威尔斯神经科学研究所）；School of Optometry, University of California, Berkeley（加州大学伯克利分校视光学院）；Department of EECS, Computer Science Division, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系计算机科学部）
本文介绍了一种新的学习和推断深度（视差）图的稀疏表示的方法。该算法放宽了稀疏编码中噪声模型平稳的假设。这使得能够从被空间变化的噪声或不确定性破坏的数据中学习，这些数据通常由激光测距扫描仪或结构光深度相机获得。稀疏表示从Middlebury数据库视差图中学习，然后在两层图形模型中利用，通过在所学习的特征上包括稀疏性先验来从立体声推断深度。由于它们捕获深度结构中的高阶依赖关系，因此这些先验可以补充通常用于基于马尔可夫随机场（MRF）模型的深度推断的平滑先验。使用交替迭代优化技术实现对所提出的图的推断，其中第一层使用现有的基于MRF的立体匹配算法求解，然后保持固定，因为第二层使用所提出的非平稳稀疏编码算法求解。这导致用于改进现有技术的基于MRF的深度估计算法的解决方案的一般方法。我们的实验结果首先表明，使用学习表示的深度推断导致从激光测距扫描仪和飞行时间相机获得的深度图的最先进的去噪。此外，我们表明，增加稀疏先验改进了两种深度估计方法的结果：经典的图切割算法Boykov等人。
2011-04-12 cs.CV
Learning joint intensity-depth sparse representations
Ricoh Innovations, Corp.（理光创新公司）；Helen Wills Neuroscience Institute, University of California, Berkeley（加州大学伯克利分校海伦·威尔斯神经科学研究所）；T-Systems International GmbH（T-Systems国际有限公司）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种学习过完备字典的方法，该字典由描述3D场景的两种模态组成：图像强度和场景深度。我们提出了一种新的联合基寻踪（JBP）算法，发现相关的稀疏特征，在两个模态使用圆锥规划，并将其集成到一个两步字典学习算法。JBP与相关的凸算法不同，因为它发现了具有不同原子和不同强度和深度系数值的联合稀疏模型。这对于恢复生成模型至关重要，其中相同的稀疏潜在原因（3D特征）会产生不同的信号（强度和深度）。我们给出了一个理论界的稀疏系数恢复误差得到的JBP，并通过实验表明，JBP是远远优于国家的最先进的组Lasso算法。当应用于Middlebury深度-强度数据库时，我们的学习算法收敛到一组相关特征，例如深度和强度边缘对或图像纹理和深度倾斜。最后，我们证明了学习的字典和JBP在飞行时间3D数据上实现了最先进的深度修复性能。
2013-09-18 cs.CV
SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis
Nanyang Technological University（南洋理工大学）
本文提出 SparseNeRF 框架，通过局部深度排序与空间连续性约束利用非精确真实深度先验，提升少样本 NeRF 新视角合成性能。
2023-08-13 cs.CV
DFuseNet: Deep Fusion of RGB and Sparse Depth Information for Image Guided Dense Depth Completion
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了一个卷积神经网络，旨在上采样一系列稀疏的范围测量的基础上，从一个高分辨率的强度图像收集的上下文线索。我们的方法从超分辨率和in-painting的相关工作中汲取灵感。我们提出了一种新的架构，试图从强度图像和深度特征中单独提取上下文线索，然后在网络中将它们融合。我们认为，这种方法有效地利用了两种模式之间的关系，并产生准确的结果，同时尊重显着的图像结构。我们目前的实验结果表明，我们的方法是与最先进的方法相媲美，以及在多个数据集的推广。
2019-07-10 cs.CV
ToF-Splatting: Dense SLAM using Sparse Time-of-Flight Depth and Multi-Frame Integration
University of Bologna（博洛尼亚大学）；Sony DepthSensing Solutions（索尼深度感知解决方案）；University of Amsterdam（阿姆斯特丹大学）
针对稀疏ToF深度在SLAM中难以使用的问题，提出首个基于3D高斯泼溅的SLAM流程ToF-Splatting，通过多帧集成模块融合稀疏ToF、单目颜色和多视图几何生成稠密深度图，在合成和真实数据集上达到最先进性能。
2025-04-23 cs.CV
Propagating Sparse Depth via Depth Foundation Model for Out-of-Distribution Depth Completion
Dalian University of Technology（大连理工大学）；Beihang University（北京航空航天大学）；College of Computer Science and Engineering, Shandong University of Science and Technology（山东科技大学计算机科学与工程学院）
提出利用深度基础模型提取环境线索，结合无参数双空间传播与可学习校正模块，在无需大规模训练下提升深度补全的分布外鲁棒性，并在16个数据集上超越现有方法。
2025-08-07 cs.CV
Deep RGB-D Canonical Correlation Analysis For Sparse Depth Completion
University of Southern California（南加利福尼亚大学）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们提出了我们的Correlation For Completion Network（CFCNet），这是一种端到端的深度学习模型，它使用两个数据源之间的相关性来执行稀疏深度补全。CFCNet学习在最大程度上捕获RGB和深度信息之间的语义相关特征。通过稀疏深度图中的图像像素对和可见测量，CFCNet促进了不同数据源的特征级相互转换。这样的变换使CFCNet能够预测特征并根据其对应的变换后的RGB特征重建缺失深度测量的数据。我们将典型相关分析扩展到2D域，并将其作为我们的训练目标之一（即2D深度典型相关，或“2D2CCA损失”）。大量的实验验证了我们的CFCNet的能力和灵活性相比，国家的最先进的方法在室内和室外场景与不同的现实生活中的稀疏模式。代码可在https://github.com/choyingw/CFCNet上获得。
2020-03-15 cs.CV
Learning Fine-Grained Geometry for Sparse-View Splatting via Cascade Depth Loss
School of Computer Science The University of Sydney Sydney, Australia；School of Computer Science University of Bristol Bristol, United Kingdom；School of Science Edith Cowan University Perth, Australia
本文提出HDGS框架，通过级联Pearson相关损失提升稀疏视角下几何重建的结构精度，实验表明在LLFF和DTU数据集上取得最佳性能。
2026-04-02 cs.CV
DeepLiDAR: Deep Surface Normal Guided Depth Prediction for Outdoor Scene from Sparse LiDAR Data and Single Color Image
Google（谷歌）；UESTC（电子科技大学）；Megvii Technology（旷视科技）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）
在本文中，我们提出了一种深度学习架构，该架构可以从单色图像和稀疏深度中为户外场景生成精确的密集深度。受室内深度补全的启发，我们的网络估计表面法线作为中间表示，以产生密集的深度，并且可以端到端训练。通过改进的编码器-解码器结构，我们的网络有效地融合了密集的彩色图像和稀疏的LiDAR深度。为了解决室外特定的挑战，我们的网络预测了一个置信度掩模来处理由于遮挡而导致的前景边界附近的混合LiDAR信号，并将彩色图像和表面法线的估计与学习的注意力图相结合，以提高深度精度，特别是对于遥远的区域。大量的实验表明，我们的模型提高了国家的最先进的KITTI深度完成基准的性能。消融研究表明，每个模型组件的最终性能的积极影响，综合分析表明，我们的模型推广到输入具有较高的稀疏性或从室内场景。
2019-04-09 cs.CV
DesNet: Decomposed Scale-Consistent Network for Unsupervised Depth Completion
Nanjing University of Science and Technology（南京理工大学）
无监督深度补全旨在从稀疏深度恢复密集深度，而不使用地面实况注释。虽然从LiDAR获得的深度测量通常是稀疏的，但它包含有效和真实的距离信息，即，比例一致的绝对深度值。与此同时，尺度不可知的同行寻求估计相对深度，并取得了令人印象深刻的性能。为了利用这两个固有特性，我们建议在无监督的规模不可知框架上对规模一致的深度进行建模。具体来说，我们提出了分解尺度一致性学习（DSCL）策略，该策略将绝对深度分解为相对深度预测和全局尺度估计，有助于个体学习的益处。但不幸的是，大多数现有的无监督尺度无关框架严重遭受深度洞，由于非常稀疏的深度输入和弱监督信号。为了解决这个问题，我们引入了全局深度指导（GDG）模块，它通过新的密集到稀疏的注意力，将密集的深度参考传播到稀疏的目标。大量的实验表明，我们的方法在室外KITTI基准测试中的优越性，排名第一，在RMSE方面优于最好的KBNet超过12%。此外，我们的方法在室内NYUv2数据集上实现了最先进的性能。
2022-11-20 cs.CV
Just-in-Time Reconstruction: Inpainting Sparse Maps using Single View Depth Predictors as Priors
The University of Adelaide（阿德莱德大学）；Australian Center for Robotic Vision（澳大利亚机器人视觉中心）；Monash University（莫纳什大学）
我们提出了“即时重建”作为实时图像引导修复的地图与任意规模和稀疏生成一个完全密集的深度图的图像。特别是，我们的目标是使用单视图深度预测网络作为虚拟深度传感器，对从单目视觉SLAM系统或稀疏传感器获得的稀疏地图进行修补。我们采用了一种相当标准的数据融合方法，通过在一个新的全连接条件随机场（CRF）上执行推理来产生融合的深度图，该CRF由输入深度图及其像素置信度权重参数化。至关重要的是，我们通过卷积神经网络（CNN）以数据依赖的方式获得了参数化CRF模型的置信度权重，该CNN被训练为在给定每个输入深度图和相关RGB图像的源的情况下对条件深度误差分布进行建模。我们的CRF模型惩罚其节点中的绝对深度误差和其边缘中的成对尺度不变深度误差，并且基于置信度的融合最大限度地减少了离群输入深度值对融合结果的影响。我们展示了我们的方法的灵活性，通过实时修复的ORB-SLAM，Kinect和激光雷达深度图获得在室内和室外任意规模和不规则的稀疏量。
2018-05-11 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
Edge-aware Bidirectional Diffusion for Dense Depth Estimation from Light Fields
Brown University（布朗大学）；KAIST（韩国科学技术院）
我们提出了一种算法，通过一组稀疏的深度边缘和梯度，从光场估计快速和准确的深度图。我们提出的方法是基于真实深度边缘比纹理边缘对局部约束更敏感的想法，因此它们可以通过双向扩散过程可靠地消除歧义。首先，我们使用核线平面图像估计子像素视差在一个稀疏的像素集。为了有效地找到稀疏点，我们提出了一种基于熵的细化方法，从有限的一组定向滤波器组的线估计。接下来，为了估计远离稀疏点的扩散方向，我们通过我们的双向扩散方法优化这些点的约束。这解决了边缘属于哪个表面的模糊性，并可靠地将深度与纹理边缘分开，使我们能够以深度边缘和遮挡感知的方式扩散稀疏集，以获得准确的密集深度图。
2021-07-07 cs.CV
DepthTransfer: Depth Extraction from Video Using Non-parametric Sampling
University of Illinois（伊利诺伊大学）；Microsoft Research New England（微软新英格兰研究院）；Microsoft Research（微软研究院）
我们描述了一种使用非参数深度采样从视频自动生成合理深度图的技术。我们展示了我们的技术在过去的方法失败的情况下（非平移相机和动态场景）。我们的技术适用于单个图像以及视频。对于视频，我们使用局部运动线索来改善推断的深度图，而光流用于确保时间深度一致性。对于训练和评估，我们使用基于Kinect的系统来收集包含具有已知深度的立体视频的大型数据集。我们表明，我们的深度估计技术优于国家的最先进的基准数据库。我们的技术可用于自动将单视场视频转换为立体声3D可视化，我们通过各种室内和室外场景的视觉效果，包括故事片Charade的结果来证明这一点。
2019-12-24 cs.CV
Sparse and noisy LiDAR completion with RGB guidance and uncertainty
KU Leuven（鲁汶大学）
本文提出了一种新的方法来精确地完成稀疏激光雷达地图引导RGB图像。对于自动驾驶汽车和机器人来说，为了实现精确的深度预测，LiDAR的使用是必不可少的。许多应用程序依赖于对周围环境的感知，并使用深度线索来推理和做出相应的反应。一方面，单目深度预测方法无法生成绝对和精确的深度图。另一方面，立体方法仍然明显优于基于LiDAR的方法。深度完成任务的目标是从映射到2D平面的稀疏和不规则点云生成密集的深度预测。我们提出了一个新的框架，提取全局和局部信息，以产生适当的深度图。我们认为，简单的深度补全不需要深度网络。然而，我们还提出了一种融合方法，从单目相机的RGB指导，以利用对象信息和纠正稀疏输入中的错误。这大大提高了准确性。此外，利用置信度掩模，以考虑到从每个模态的深度预测中的不确定性。这种融合方法优于最先进的技术，在KITTI深度完成基准测试中排名第一。我们的可视化代码是可用的。
2019-02-14 cs.CV
Sparse Depth-Guided Attention for Accurate Depth Completion: A Stereo-Assisted Monitored Distillation Approach
Huawei Cloud Computing Technology Co., Ltd.（华为云计算技术有限公司）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人学会）；Institute of Robotics and Intelligent Manufacturing, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）机器人与智能制造研究院）
本文提出一种立体辅助的监督蒸馏深度补全方法，通过引入立体教师模型和注意力稀疏到稠密模块，利用多视角一致性自监督信号，显著提升深度图精度。
2023-09-03 cs.CV
Large Depth Completion Model from Sparse Observations
Zhejiang University（浙江大学）；Tongyi Lab, Alibaba Group（阿里云实验室）；Fudan University（复旦大学）；Ningbo Innovation Center, Zhejiang University（宁波创新中心，浙江大学）；NingboTech University（宁波科技学院）；Jinhua Institute of Zhejiang University（金华大学浙大研究院）
提出LDCM，利用单目基础模型和基于泊松的深度初始化策略，结合点图头回归3D坐标，实现稀疏观测下的度量准确深度补全。
2026-05-28 cs.CV
Dense Depth Priors for Neural Radiance Fields from Sparse Input Views
Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）
神经辐射场（NeRF）将场景编码为神经表示，其使得能够对新颖视图进行照片级真实感渲染。然而，从RGB图像的成功重建需要在静态条件下拍摄大量的输入视图-对于房间大小的场景，通常多达几百个图像。我们的方法旨在从数量级较少的图像中合成整个房间的新视图。为此，我们利用密集的深度先验来约束NeRF优化。首先，我们利用稀疏的深度数据，这是免费提供的运动恢复结构（SfM）的预处理步骤，用于估计相机姿态。其次，我们使用深度补全将这些稀疏点转换为密集的深度图和不确定性估计，用于指导NeRF优化。我们的方法可以在具有挑战性的室内场景中实现数据高效的新颖视图合成，整个场景使用的图像少至18张。
2022-04-07 cs.CV
Dense v.s. Sparse: A Comparative Study of Sampling Analysis in Scene Classification of High-Resolution Remote Sensing Imagery
场景分类是高分辨率遥感影像解译的关键问题。许多最先进的方法，例如视觉词袋模型及其变体，主题模型以及基于深度学习的方法，共享类似的过程：补丁采样，特征描述/学习和分类。斑块采样是影响遥感结果的首要环节，也是关键环节。在文献中，已经使用了许多不同的采样策略，例如密集采样、随机采样、基于关键点的采样和基于显著性的采样等，但是，哪种采样策略适合于高分辨率遥感图像的场景分类仍然不清楚。本文以高分辨率遥感影像场景分类为背景，对比研究了不同采样策略的效果。我们将现有的采样方法分为两类：密集采样和稀疏采样，稀疏采样包括随机采样、基于关键点的采样以及最近提出的各种基于显著性的采样。为了比较它们的性能，我们依赖于一个标准的视觉词袋模型来构建我们的测试方案，由于它们的简单性，鲁棒性和效率。在两个常用数据集上的实验结果表明，密集采样具有最好的性能，但具有较高的空间和计算复杂性，随机采样比其他稀疏采样方法，如复杂的多尺度关键点算子和最近被深入研究和常用的基于显著性的方法，得到更好或相当的结果。
2015-07-31 cs.CV
ReCo-Diff: Residual-Conditioned Deterministic Sampling for Cold Diffusion in Sparse-View CT
National Institute for Mathematical Sciences, Daejeon, 34047, Republic of Korea（韩国全南数学研究所）；Department of Computer Engineering, Korea National University of Transportation, Chungju, 27469, Republic of Korea（韩国交通国立大学计算机工程系）
ReCo-Diff通过残差条件化的确定性采样提升稀疏视角CT重建的精度与稳定性。
2026-03-03 cs.CV
Sparse-to-Continuous: Enhancing Monocular Depth Estimation using Occupancy Maps
University of São Paulo（圣保罗大学）；Toyota Research Institute（丰田研究院）
本文针对单幅图像深度估计（SIDE）问题，着重于提高深度神经网络预测的质量。在监督学习场景中，预测的质量本质上与指导优化过程的训练标签相关。对于室内场景，基于结构光的深度传感器（例如Kinect）能够提供密集的（尽管是短距离的）深度图。另一方面，对于户外场景，LiDAR被认为是标准传感器，其相对提供更稀疏的测量，特别是在更远的区域。本文没有修改神经网络架构来处理稀疏深度图，而是介绍了一种使用Hilbert Maps框架的深度图加密方法。基于来自LiDAR扫描的3D点产生连续占用图，并且将所得的重建表面投影到具有任意分辨率的2D深度图中。KITTI数据集的各种子集进行的实验表明，所提出的稀疏到连续的技术产生了显着的改善，而无需引入额外的信息到训练阶段。
2019-10-21 cs.CV
DrivingDepth: Sparse-Prompted Pixel-wise Scale Correction for Driving Depth Estimation
Baidu Inc.（百度公司）
针对自动驾驶深度估计中几何与尺度的冲突，提出DrivingDepth方法，利用稀疏LiDAR作为几何提示，通过残差像素级尺度校正校准冻结的深度基础模型，在保持密集视觉几何的同时实现度量精度与几何一致性。
2026-07-01 cs.CV
D^2-4DGS: Dual-Depth Guided Sparse-Camera 4D Gaussian Splatting
针对稀疏相机动态四维高斯溅射的几何监督不足问题，提出双深度先验引导的D^2-4DGS框架，经9个数据集-视图设置验证，其峰值信噪比平均较最佳对比方法提升1.33dB。
2026-08-04 cs.CV
SENDD: Sparse Efficient Neural Depth and Deformation for Tissue Tracking
The University of British Columbia（不列颠哥伦比亚大学）；Intuitive Surgical（直觉外科公司）
本文提出SENDD模型，利用稀疏关键点匹配的图神经网络联合检测、估计逐点深度与3D光流，以不足50万参数实现立体内窥镜组织的实时3D跟踪。
2023-09-25 cs.CV
CT-SDM: A Sampling Diffusion Model for Sparse-View CT Reconstruction across All Sampling Rates
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；Imperial College London（伦敦帝国学院）；Royal Brompton Hospital（皇家布朗普顿医院）
本文提出CT-SDM采样扩散模型，通过正弦图域退化算子逐步补全投影视角，实现单一模型在任意采样率下的高质量稀疏视角CT重建。
2024-09-03 cs.CV
Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation and Gauss-Newton Refinement
ShanghaiTech University（上海科技大学）
几乎所有先前的基于深度学习的多视图立体视觉（MVS）方法都集中于提高重建质量。除了质量之外，效率也是MVS在实际场景中的理想特性。为此，本文提出了一种快速MVSNet，一种新的稀疏到密集的粗到细的框架，快速和准确的深度估计在MVS。具体来说，在我们的Fast-MVSNet中，我们首先构建一个稀疏成本卷，用于学习稀疏和高分辨率的深度图。然后，我们利用小规模的卷积神经网络来编码局部区域内像素的深度依赖性，以使稀疏的高分辨率深度图致密化。最后，提出了一种简单但有效的高斯牛顿层，以进一步优化深度图。一方面，高分辨率的深度图，数据自适应传播方法和高斯牛顿层共同保证了我们的方法的有效性。另一方面，我们的Fast-MVSNet中的所有模块都是轻量级的，从而保证了我们方法的效率。此外，我们的方法也是内存友好的，因为稀疏的深度表示。大量的实验结果表明，我们的方法是5 $\times$和14 $\times$比Point-MVSNet和R-MVSNet，分别快，同时实现具有挑战性的坦克和寺庙数据集以及DTU数据集上的可比甚至更好的结果。代码可在https://github.com/svip-lab/FastMVSNet上获得。
2020-03-29 cs.CV
RDG-GS: Relative Depth Guidance with Gaussian Splatting for Real-time Sparse-View 3D Rendering
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）；ZJU-UIUC Institute, Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院）
针对稀疏视角三维重建中几何误差与视角不一致问题，提出基于相对深度引导的高斯泼溅框架RDG-GS，通过精细深度先验与相对深度优化实现高质量实时渲染。
2025-01-19 cs.CV
SparseRecon: Neural Implicit Surface Reconstruction from Sparse Views with Feature and Depth Consistencies
School of Software, Tsinghua University（清华大学软件学院）；Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；China Telecom（中国电信）；Kuaishou Technology（快手科技）；Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系）
针对稀疏视图曲面重建中现有方法泛化性差或几何线索不足的问题，提出SparseRecon方法，通过跨视图特征一致性损失和不确定性引导深度约束提升重建质量，在小重叠视图场景下性能优于现有最优方法。
2025-08-01 cs.CV
A Low Memory Footprint Quantized Neural Network for Depth Completion of Very Sparse Time-of-Flight Depth Maps
EPFL（洛桑联邦理工学院）；Sony Depthsensing Solutions NV（索尼深度传感解决方案公司）；Sony Europe B.V.（索尼欧洲公司）；University of Padova（帕多瓦大学）
稀疏主动照明能够实现精确的飞行时间深度感测，因为它在低功率预算下最大化信噪比。然而，需要深度完成来产生用于3D感知的密集深度图。我们通过模拟ToF数据集，以具有挑战性的稀疏度水平进行室内3D感知，从而在现实的照明和传感器分辨率约束下解决这一任务。我们提出了一个量化的卷积编码器-解码器网络来完成这项任务。我们的模型通过输入预处理和精心调整的训练与几何保持损失函数实现了最佳的深度图质量。我们还通过混合精度量化训练技术实现了权重和激活的低内存占用。所得到的量化模型在质量方面与最先进的模型相当，但它们需要非常低的GPU时间，并且对于权重w.r.t.它们的浮点对应物对质量指标的影响最小。
2022-05-25 cs.CV
Region-aware Depth Scale Adaptation with Sparse Measurements
本文提出一种基于稀疏深度测量的非学习式区域感知尺度自适应方法，无需重训练或微调即可将基础模型的相对深度预测转换为公制深度，在保持泛化能力的同时避免额外计算成本。
2025-07-20 cs.CV
Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
Shanghai Jiao Tong University（上海交通大学）
针对稀疏视图 NeRF 中深度图噪声与重建耗时问题，提出深度引导的点云融合及向量-矩阵分解体素网格方法，提升准确性、紧凑性和速度。
2024-03-04 cs.CV
Diffusion-Augmented Depth Prediction with Sparse Annotations
Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）；Adobe Research（奥多比研究院）
提出监督框架 DADP，利用扩散模型结构特性以即插即用方式强化深度模型，并设计 object-guided integrality loss 增强区域结构完整性，在三个驾驶基准上显著提升了深度结构预测和鲁棒性。
2023-08-04 cs.CV
See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization
The Hong Kong Polytechnic University（香港理工大学）
针对稀疏视角3DGS渲染质量下降问题，提出结合DINO-ViT语义正则化与局部深度正则化的方法，在LLFF数据集上PSNR提升0.4dB，减少扭曲并增强细节。
2025-01-20 cs.CV
StarryGazer: Leveraging Monocular Depth Estimation Models for Domain-Agnostic Single Depth Image Completion
IPAI, Seoul National University（IPAI，首尔国立大学）；Department of Electrical and Computer Engineering, ASRI, Seoul National University（电气与计算机工程系，ASRI，首尔国立大学）
StarryGazer通过利用大单目深度估计模型，无需真实深度数据，从单张稀疏深度图和RGB图像生成密集深度图，提升补全效果。
2025-12-15 cs.CV
Depth Extraction from Video Using Non-parametric Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research New England（微软新英格兰研究院）；Microsoft Research（微软研究院）
我们描述了一种使用非参数深度采样从视频自动生成合理深度图的技术。我们展示了我们的技术在过去的方法失败的情况下（非平移相机和动态场景）。我们的技术适用于单个图像以及视频。对于视频，我们使用局部运动线索来改善推断的深度图，而光流用于确保时间深度一致性。对于训练和评估，我们使用基于Kinect的系统来收集包含具有已知深度的立体视频的大型数据集。我们表明，我们的深度估计技术优于国家的最先进的基准数据库。我们的技术可用于自动将单视场视频转换为立体声3D可视化，我们通过各种室内和室外场景的视觉效果，包括故事片Charade的结果来证明这一点。
2019-12-24 cs.CV
Geometry-Aware Sparse Depth Sampling for High-Fidelity RGB-D Depth Completion in Robotic Systems
Saisuode (Shanghai) Intelligent Technology Co., Ltd. (Synthoid.ai)（上海思度智能科技有限公司（Synthoid.ai））
本文提出基于几何的稀疏深度采样方法，利用表面法线估计提升RGB-D深度补全的准确性和现实感。
2025-12-09 cs.CV cs.RO
