SelfDeco: Self-Supervised Monocular Depth Completion in Challenging Indoor Environments
NAVER LABS；University of Maryland（马里兰大学）
提出了一种新的自监督单目深度补全算法。我们的方法是基于训练一个神经网络，只需要稀疏的深度测量和相应的单目视频序列没有密集的深度标签。我们的自监督算法专为具有挑战性的室内环境而设计，这些环境包括无纹理区域，光滑透明的表面，非朗伯表面，移动的人，更长和多样化的深度范围以及由复杂的自我运动捕获的场景。我们的新架构利用稀疏卷积块的深度堆栈来提取稀疏深度特征，并利用像素自适应卷积来融合图像和深度特征。我们在NYUv 2、KITTI和NAVERLABS室内数据集中与现有方法进行了比较，并观察到均方根误差（RMSE）降低了5- 34%。
2021-04-11 cs.CV cs.RO
Metrically Scaled Monocular Depth Estimation through Sparse Priors for Underwater Robots
ETH Zurich（苏黎世联邦理工学院）；Australian Centre for Field Robotics, University of Sydney（悉尼大学澳大利亚现场机器人中心）
本研究提出一种融合稀疏深度先验的深度学习模型，解决了移动水下航行器单目图像实时稠密深度估计中的尺度模糊问题，在FLSea等数据集上显著提升了预测精度并实现了嵌入式系统实时部署。
2023-10-25 cs.CV cs.RO
CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene Representations
Dyson Technology Ltd.（戴森技术有限公司）；Imperial College London（帝国理工学院）
我们提出了一种新的密集映射框架稀疏视觉SLAM系统，利用紧凑的场景表示。最先进的稀疏视觉SLAM系统提供对相机轨迹和地标位置的准确且可靠的估计。虽然这些稀疏地图对于定位是有用的，但它们不能用于其他任务，例如避障或场景理解。在本文中，我们提出了一个密集的映射框架，以补充稀疏的视觉SLAM系统，作为输入的相机姿势，关键帧和稀疏点产生的SLAM系统，并预测密集的深度图像的每个关键帧。我们建立在CodeSLAM上，并使用变分自编码器（VAE），其条件是来自稀疏SLAM的强度、稀疏深度和重投影误差图像，以预测不确定性感知的密集深度图。VAE的使用使我们能够通过多视图优化来细化密集的深度图像，这提高了重叠帧的一致性。我们的映射器运行在一个单独的线程并行的SLAM系统在一个松散耦合的方式。这种灵活的设计允许与任意度量的稀疏SLAM系统集成，而不会延迟主SLAM过程。我们的稠密映射器不仅可以用于局部映射，而且可以通过TSDF融合进行全局一致的稠密3D重建。我们展示了我们的系统与ORB-SLAM 3运行，并显示准确的密集深度估计，可以使应用程序，如机器人和增强现实。
2021-07-19 cs.CV cs.RO
RaCalNet: Radar Calibration Network for Sparse-Supervised Metric Depth Estimation
School of Automation and Intelligent Sensing, Institute of Medical Robotics, Shanghai Jiao Tong University, Shanghai 200240, China（上海交通大学自动化与智能感知学院，医学机器人研究所）；School of Mathematical Sciences, Shanghai Jiao Tong University, Shanghai, China（上海交通大学数学科学学院）；South China University of Technology, Guangzhou, China（华南理工大学）；State Grid Intelligence Technology CO., LTD（国家电网智能技术有限公司）
RaCalNet提出用稀疏LiDAR监督雷达测量细化，通过雷达重校准和度量深度优化两个模块，在仅约1%监督密度下实现与稠密监督方法相当的度量深度估计，并在真实场景中降低34.89%的RMSE。
2025-07-05 cs.CV cs.RO
Unsupervised Learning of Depth Estimation and Visual Odometry for Sparse Light Field Cameras
School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney（悉尼大学航空航天、机械与机电工程学院）；Sydney Institute for Robotics and Intelligent Systems（悉尼机器人与智能系统研究院）
虽然出现了令人兴奋的多种新型成像设备，可以大大提高机器人的感知能力，但校准和解释这些相机的挑战限制了它们在机器人领域的应用。在这项工作中，我们概括了技术，从无监督学习，让机器人自主解释新类型的相机。我们考虑新兴的稀疏光场（LF）相机，其捕获描述穿过平面的光线的集合的4D LF函数的子集。我们介绍了一个广义的稀疏LF编码，允许无监督学习的里程和深度。我们证明了所提出的方法优于单目和传统的技术处理4D图像，产生更准确的里程计和深度图，并提供这些与度量尺度。我们期望我们的技术推广到广泛的LF和稀疏LF相机，并使无人监督的重新校准，以应对在机器人的生命周期内相机行为的变化。这项工作代表了在机器人应用中简化新型成像设备集成的第一步。
2021-03-21 cs.CV cs.RO
Estimating Depth from RGB and Sparse Sensing
Magic Leap（Magic Leap公司）
我们提出了一个深度模型，可以精确地产生密集的深度图给定的RGB图像与已知的深度在一个非常稀疏的像素集。该模型同时适用于室内/室外场景，并在NYUv 2和KITTI数据集上以近乎实时的速度生成最先进的密集深度图。我们超越了单眼深度估计的最新技术，即使深度值仅为每10000个图像像素中的1个，并且我们在所有稀疏级别上都优于其他稀疏到密集的深度方法。深度值为图像像素的1/256，我们在室内场景中实现了小于实际深度1%的平均绝对误差，与消费级深度传感器硬件的性能相当。我们的实验表明，确实可以将使用例如较低功率深度传感器或SLAM系统获得的稀疏深度测量有效地转换为高质量的密集深度图。
2018-12-09 cs.CV
Monocular Visual-Inertial Depth Estimation
Intel Labs（英特尔实验室）；Apple（苹果公司）
我们提出了一个视觉惯性深度估计管道，它集成了单目深度估计和视觉惯性里程计，以产生密集的深度估计与度量尺度。我们的方法对稀疏度量深度进行全局缩放和移位对齐，然后进行基于学习的密集对齐。我们在TartanAir和VOID数据集上进行了评估，观察到相对于仅执行全局对齐，使用密集尺度对齐的逆RMSE减少了30%。我们的方法在低密度下尤其具有竞争力;只有150个稀疏度量深度点，我们的密集到密集深度对齐方法比KBNet的稀疏到密集深度完成低50%以上，目前是VOID的最新技术。我们展示了成功的zero-shot传输从合成TartanAir到真实世界的VOID数据，并在NYUv 2和VCU-RVI上进行泛化测试。我们的方法是模块化的，并与各种单眼深度估计模型兼容。视频：https://youtu.be/IMwiKwSpshQ代码：https://github.com/isl-org/VI-Depth
2023-03-21 cs.CV cs.RO
MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization
Northeastern University（东北大学）；JangHo School of Architecture, Northeastern University（东北大学姜浩建筑学院）；AstrumU（AstrumU公司）
该研究提出MGS-SLAM，通过联合优化稀疏视觉里程计与3D Gaussian Splatting，并结合MVS深度监督、深度平滑损失和SDAR，提升单目VSLAM的位姿估计、新视角合成与几何重建精度。
2024-09-10 cs.CV cs.RO
Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种深度估计的方法，融合来自立体对的信息与来自激光雷达传感器或测距相机的稀疏距离测量。这项工作的目标是利用两种传感器形式的互补优势，准确但稀疏的距离测量和模糊但密集的立体信息。通过结合各向异性扩散和半全局匹配的思想，这两个源被有效地和高效地融合。我们在KITTI 2015和Middlebury 2014数据集上评估了我们的方法，使用随机采样的地面真值范围测量作为我们的稀疏深度输入。我们实现了显着的性能改进，在两个数据集上的距离测量的一小部分。我们还提供了使用PMDTec Monstar传感器的平台的定性结果。我们的整个流水线在NVIDIA TX-2平台上以5 Hz的频率运行，具有128个视差级别的1280 x1024立体图像。
2018-09-20 cs.CV
3dDepthNet: Point Cloud Guided Depth Completion Network for Sparse Depth and Single Color Image
University of California, Irvine（加州大学欧文分校）；Trifo, Inc.（追觅科技（美国）有限公司）
在本文中，我们提出了一个名为3dDepthNet的端到端深度学习网络，它可以从一对稀疏的LiDAR深度和彩色图像中生成精确的密集深度图像，用于机器人和自动驾驶任务。基于深度图像的维度性质，我们的网络提供了一种新颖的3D到2D粗到细的双重致密化设计，既准确又轻便。深度致密化首先通过点云完成在3D空间中执行，然后是专门设计的编码器-解码器结构，该结构利用来自3D完成的投影密集深度和原始RGB-D图像来执行2D图像完成。在KITTI数据集上的实验表明，我们的网络在更高效的同时达到了最先进的精度。消融和泛化测试证明，我们网络中的每个模块对最终结果都有积极的影响，而且，我们的网络对更稀疏的深度也有弹性。
2020-03-20 cs.CV
Training Self-Supervised Depth Completion Using Sparse Measurements and a Single Image
本文提出一种仅需稀疏深度测量和单张图像的自监督深度补全方法，通过利用深度分布设计损失函数并结合视觉基础模型分割图，摆脱了对稠密标签和多帧图像的依赖。
2025-07-20 cs.CV
$S^3$: Learnable Sparse Signal Superdensity for Guided Depth Estimation
National Taiwan University（国立台湾大学）
密集深度估计在机器人、3D重建和增强现实等多种应用中起着关键作用。虽然稀疏信号，例如，LiDAR和雷达已经被用作增强密集深度估计的指导，由于其低密度和不平衡分布，改进是有限的。为了最大化稀疏源的效用，我们提出了$S^3$技术，该技术扩展了稀疏线索的深度值，同时估计扩展区域的置信度。所提出的$S^3$可以应用于各种引导的深度估计方法，并在不同的阶段进行端到端的训练，包括输入、成本量和输出。大量的实验证明了$S^3$技术对LiDAR和雷达信号的有效性、鲁棒性和灵活性。
2021-08-22 cs.CV
Dense Depth Posterior (DDP) from Single Image and Sparse Range
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一个深度学习系统来推断与图像相关的密集深度图的后验分布，通过利用稀疏范围测量，例如来自激光雷达。虽然激光雷达可能会为一小部分像素提供深度值，但我们利用训练集中反映的规律来完成地图，以便为图像中的每个像素提供深度概率。我们利用一个条件先验网络，它允许将概率与给定图像的每个深度值相关联，并将其与使用稀疏测量的似然项相结合。可选地，我们还可以在训练期间利用立体声的可用性，但在任何情况下，在运行时只需要单个图像和稀疏点云。我们使用KITTI基准测试我们的方法在无监督和监督深度完成上进行测试，并改进了两者的最新技术。
2019-04-17 cs.CV
Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation
Northwestern Polytechnical University（西北工业大学）
自监督深度估计在仅给定图像序列作为输入的情况下产生高质量深度图方面已经显示出其巨大的有效性。然而，由于有限的深度表示能力，它的性能通常下降时，估计边界区域或薄结构的对象。在本文中，我们解决这个问题，提出了一个语义引导的深度表示增强方法，促进本地和全球的深度特征表示，利用丰富的上下文信息。代替传统范例中使用的单个深度网络，我们提出了一个额外的语义分割分支，为深度估计提供额外的上下文特征。基于这个框架，我们提高了局部特征表示的采样和饲料的基于点的功能，位于语义边缘的一个单独的语义引导的边缘增强模块（SEEM），这是专门设计用于促进深度估计上具有挑战性的语义边界。然后，我们提出了一个语义引导的多级注意力机制，提高了语义和深度特征，通过探索像素级的相关性，在多级深度解码方案的全局特征表示。大量的实验验证了我们的方法在捕捉具有挑战性的图像区域，如语义类别边界和薄对象的高度准确的深度的显着优势。在KITTI上的定量和定性实验表明，我们的方法优于最先进的方法。
2020-12-15 cs.CV
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
自监督单目深度估计由于其重要的实际意义和近年来的发展前景而得到了广泛的研究。然而，大多数作品遭受有限的监督光度一致性，特别是在弱纹理区域和对象边界。为了克服这个弱点，我们提出了新的想法，以提高自我监督的单目深度估计，利用跨域的信息，特别是场景语义。我们专注于将隐含的语义知识几何表示增强，并提出两个想法：一个度量学习方法，利用语义引导的局部几何优化中间深度表示和一个新的功能融合模块，明智地利用两个异构特征表示之间的交叉模态。我们在KITTI数据集上全面评估了我们的方法，并证明我们的方法优于最先进的方法。源代码可在https://github.com/hyBlue/FSRE-Depth上获得。
2021-08-19 cs.CV
Masked Spatial Propagation Network for Sparsity-Adaptive Depth Refinement
Korea University（高丽大学）；Gauss Labs Inc.（高斯实验室公司）
本文提出稀疏度自适应深度细化框架SDR及掩码空间传播网络MSPN，通过逐步传播稀疏深度信息，有效应对稀疏深度数量变化，在SDR和传统深度补全中均达到最先进性能。
2024-04-30 cs.CV
SDT-6D: Fully Sparse Depth-Transformer for Staged End-to-End 6D Pose Estimation in Industrial Multi-View Bin Picking
Institute for Applications of Machine Learning and Intelligent Systems（机器学习与智能系统应用研究所）；University of Applied Science Munich（慕尼黑应用科学大学）
SDT-6D提出了一种基于稀疏深度-变换器的端到端6D姿态估计方法，通过分阶段热图机制和密度感知稀疏变换器块，实现高分辨率下的高效姿态预测。
2025-12-09 cs.CV cs.RO
Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors
School of Software, Tsinghua University（清华大学软件学院）；China Telecom（中国电信）；Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系）
研究稀疏视图的3D重建难题，提出基于3D高斯点云的方法，用法线引导深度传播扩展深度信息，引入异常深度边缘感知正则化处理深度不连续，实验表明该方法优于现有技术。
2026-07-07 cs.CV
EndoDDC: Learning Sparse to Dense Reconstruction for Endoscopic Robotic Navigation via Diffusion Depth Completion
Department of Electronic Engineering, The Chinese University of Hong Kong（电子工程系，香港中文大学）
EndoDDC通过扩散模型整合图像、稀疏深度信息和深度梯度特征，提升内窥镜环境下深度重建的准确性和鲁棒性。
2026-02-26 cs.CV
Learning sparse representations of depth
Helen Wills Neuroscience Institute, University of California, Berkeley（加州大学伯克利分校海伦·威尔斯神经科学研究所）；School of Optometry, University of California, Berkeley（加州大学伯克利分校视光学院）；Department of EECS, Computer Science Division, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系计算机科学部）
本文介绍了一种新的学习和推断深度（视差）图的稀疏表示的方法。该算法放宽了稀疏编码中噪声模型平稳的假设。这使得能够从被空间变化的噪声或不确定性破坏的数据中学习，这些数据通常由激光测距扫描仪或结构光深度相机获得。稀疏表示从Middlebury数据库视差图中学习，然后在两层图形模型中利用，通过在所学习的特征上包括稀疏性先验来从立体声推断深度。由于它们捕获深度结构中的高阶依赖关系，因此这些先验可以补充通常用于基于马尔可夫随机场（MRF）模型的深度推断的平滑先验。使用交替迭代优化技术实现对所提出的图的推断，其中第一层使用现有的基于MRF的立体匹配算法求解，然后保持固定，因为第二层使用所提出的非平稳稀疏编码算法求解。这导致用于改进现有技术的基于MRF的深度估计算法的解决方案的一般方法。我们的实验结果首先表明，使用学习表示的深度推断导致从激光测距扫描仪和飞行时间相机获得的深度图的最先进的去噪。此外，我们表明，增加稀疏先验改进了两种深度估计方法的结果：经典的图切割算法Boykov等人。
2011-04-12 cs.CV
SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis
Nanyang Technological University（南洋理工大学）
本文提出 SparseNeRF 框架，通过局部深度排序与空间连续性约束利用非精确真实深度先验，提升少样本 NeRF 新视角合成性能。
2023-08-13 cs.CV
Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion
Toyota Research Institute (TRI)（丰田研究所）
从具有成本效益的传感器获得的数据中估计场景几何形状是机器人和自动驾驶汽车的关键。在本文中，我们研究了从一个单一的RGB图像（monodepth）与可选的稀疏测量低成本的有源深度传感器的预测密集深度的问题。我们引入了稀疏辅助网络（SAN），这是一个新的模块，使单深度网络能够执行深度预测和完成任务，这取决于在推理时是否只有RGB图像或稀疏点云可用。首先，我们使用稀疏卷积将图像和深度图编码阶段解耦，以仅处理有效的深度图像素。其次，我们将这些信息（当可用时）注入深度预测网络的跳过连接，增强其功能。通过对一个室内（NYUv2）和两个室外（KITTI和DDAD）基准测试的广泛实验分析，我们证明了我们提出的SAN架构能够同时学习这两项任务，同时在深度预测方面实现了新的技术水平。
2021-03-30 cs.CV cs.LG
ToF-Splatting: Dense SLAM using Sparse Time-of-Flight Depth and Multi-Frame Integration
University of Bologna（博洛尼亚大学）；Sony DepthSensing Solutions（索尼深度感知解决方案）；University of Amsterdam（阿姆斯特丹大学）
针对稀疏ToF深度在SLAM中难以使用的问题，提出首个基于3D高斯泼溅的SLAM流程ToF-Splatting，通过多帧集成模块融合稀疏ToF、单目颜色和多视图几何生成稠密深度图，在合成和真实数据集上达到最先进性能。
2025-04-23 cs.CV
Propagating Sparse Depth via Depth Foundation Model for Out-of-Distribution Depth Completion
Dalian University of Technology（大连理工大学）；Beihang University（北京航空航天大学）；College of Computer Science and Engineering, Shandong University of Science and Technology（山东科技大学计算机科学与工程学院）
提出利用深度基础模型提取环境线索，结合无参数双空间传播与可学习校正模块，在无需大规模训练下提升深度补全的分布外鲁棒性，并在16个数据集上超越现有方法。
2025-08-07 cs.CV
Plug-and-Play: Improve Depth Estimation via Sparse Data Propagation
National Tsin Hua University（国立清华大学）；NEC Labs America（NEC美国实验室）；National Chiao Tung University（国立交通大学）
我们提出了一种新的即插即用（PAPK）模块，用于提高深度预测，以任意模式的稀疏深度作为输入。给定任何预先训练的深度预测模型，我们的Pestival模块更新中间特征图，以便模型输出与给定稀疏深度一致的新深度。我们的方法不需要额外的训练，并且可以应用于实际应用，例如利用RGB和稀疏LiDAR点来鲁棒地估计密集深度图。我们的方法实现了对室内（即，NYU-v2）和室外（即，KITTI）数据集。在实验中还合成了各种类型的激光雷达，以验证我们的PADAR模块在实践中的普遍适用性。有关项目页面，请参见https://zswang666.github.io/PnP-Depth-Project-Page/
2019-04-11 cs.CV eess.IV
Learning Fine-Grained Geometry for Sparse-View Splatting via Cascade Depth Loss
School of Computer Science The University of Sydney Sydney, Australia；School of Computer Science University of Bristol Bristol, United Kingdom；School of Science Edith Cowan University Perth, Australia
本文提出HDGS框架，通过级联Pearson相关损失提升稀疏视角下几何重建的结构精度，实验表明在LLFF和DTU数据集上取得最佳性能。
2026-04-02 cs.CV
Self-Supervised Enhancement for Depth from a Lightweight ToF Sensor with Monocular Images
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））；Insta360 Research（Insta360研究院）
针对轻量化ToF传感器低分辨率深度增强需真实深度监督的问题，提出自监督框架SelfToF及升级版本SelfToF*，通过深度一致性损失、尺度恢复等设计，在不同稀疏度ToF数据下均实现高效且稳健的深度增强效果，经NYU、ScanNet数据集验证有效。
2025-06-17 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
Edge-aware Bidirectional Diffusion for Dense Depth Estimation from Light Fields
Brown University（布朗大学）；KAIST（韩国科学技术院）
我们提出了一种算法，通过一组稀疏的深度边缘和梯度，从光场估计快速和准确的深度图。我们提出的方法是基于真实深度边缘比纹理边缘对局部约束更敏感的想法，因此它们可以通过双向扩散过程可靠地消除歧义。首先，我们使用核线平面图像估计子像素视差在一个稀疏的像素集。为了有效地找到稀疏点，我们提出了一种基于熵的细化方法，从有限的一组定向滤波器组的线估计。接下来，为了估计远离稀疏点的扩散方向，我们通过我们的双向扩散方法优化这些点的约束。这解决了边缘属于哪个表面的模糊性，并可靠地将深度与纹理边缘分开，使我们能够以深度边缘和遮挡感知的方式扩散稀疏集，以获得准确的密集深度图。
2021-07-07 cs.CV
Sparse and noisy LiDAR completion with RGB guidance and uncertainty
KU Leuven（鲁汶大学）
本文提出了一种新的方法来精确地完成稀疏激光雷达地图引导RGB图像。对于自动驾驶汽车和机器人来说，为了实现精确的深度预测，LiDAR的使用是必不可少的。许多应用程序依赖于对周围环境的感知，并使用深度线索来推理和做出相应的反应。一方面，单目深度预测方法无法生成绝对和精确的深度图。另一方面，立体方法仍然明显优于基于LiDAR的方法。深度完成任务的目标是从映射到2D平面的稀疏和不规则点云生成密集的深度预测。我们提出了一个新的框架，提取全局和局部信息，以产生适当的深度图。我们认为，简单的深度补全不需要深度网络。然而，我们还提出了一种融合方法，从单目相机的RGB指导，以利用对象信息和纠正稀疏输入中的错误。这大大提高了准确性。此外，利用置信度掩模，以考虑到从每个模态的深度预测中的不确定性。这种融合方法优于最先进的技术，在KITTI深度完成基准测试中排名第一。我们的可视化代码是可用的。
2019-02-14 cs.CV
Large Depth Completion Model from Sparse Observations
Zhejiang University（浙江大学）；Tongyi Lab, Alibaba Group（阿里云实验室）；Fudan University（复旦大学）；Ningbo Innovation Center, Zhejiang University（宁波创新中心，浙江大学）；NingboTech University（宁波科技学院）；Jinhua Institute of Zhejiang University（金华大学浙大研究院）
提出LDCM，利用单目基础模型和基于泊松的深度初始化策略，结合点图头回归3D坐标，实现稀疏观测下的度量准确深度补全。
2026-05-28 cs.CV
Dense Depth Priors for Neural Radiance Fields from Sparse Input Views
Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）
神经辐射场（NeRF）将场景编码为神经表示，其使得能够对新颖视图进行照片级真实感渲染。然而，从RGB图像的成功重建需要在静态条件下拍摄大量的输入视图-对于房间大小的场景，通常多达几百个图像。我们的方法旨在从数量级较少的图像中合成整个房间的新视图。为此，我们利用密集的深度先验来约束NeRF优化。首先，我们利用稀疏的深度数据，这是免费提供的运动恢复结构（SfM）的预处理步骤，用于估计相机姿态。其次，我们使用深度补全将这些稀疏点转换为密集的深度图和不确定性估计，用于指导NeRF优化。我们的方法可以在具有挑战性的室内场景中实现数据高效的新颖视图合成，整个场景使用的图像少至18张。
2022-04-07 cs.CV
Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR
Clemson University（克莱姆森大学）；The City University of New York（纽约市立大学）；Carnegie Mellon University（卡内基梅隆大学）
自监督单目深度预测提供了一种具有成本效益的解决方案来获得每个像素的3D位置。然而，现有的方法通常会导致不满意的精度，这是至关重要的自主机器人。在本文中，我们提出了FusionDepth，这是一种新型的两阶段网络，通过利用低成本稀疏（例如4束）LiDAR来推进自监督单目密集深度学习。与现有的主要以耗时的迭代后处理方式使用稀疏LiDAR的方法不同，我们的模型融合了单目图像特征和稀疏LiDAR特征来预测初始深度图。然后，进一步设计了一个高效的前馈精化网络，以实时校正伪3D空间中这些初始深度图中的误差。大量的实验表明，我们提出的模型在自监督单目深度预测和完成任务方面明显优于所有最先进的自监督方法以及基于稀疏激光雷达的方法。凭借准确的密集深度预测，我们的模型在KITTI排行榜上的下游任务单目3D目标检测中比最先进的基于稀疏LiDAR的方法（伪LiDAR ++）的性能高出68%以上。代码可在https://github.com/AutoAILab/FusionDepth上获得
2021-11-29 cs.CV cs.LG
Monocular Depth Perception Enhancement Based on Joint Shading/Contrast Model and Motion Parallax (JSM)
Faurecia Irystec Inc.（Faurecia Irystec公司）
本文提出了一种新的JSM框架，用于增强单目深度感知，显著提高了深度体积感知和深度范围感知，该框架不仅适用于传统2D显示设备，也可用于3D显示设备，因为它能补充双目深度线索。
2026-05-17 cs.CV cs.GR
Sparse-to-Continuous: Enhancing Monocular Depth Estimation using Occupancy Maps
University of São Paulo（圣保罗大学）；Toyota Research Institute（丰田研究院）
本文针对单幅图像深度估计（SIDE）问题，着重于提高深度神经网络预测的质量。在监督学习场景中，预测的质量本质上与指导优化过程的训练标签相关。对于室内场景，基于结构光的深度传感器（例如Kinect）能够提供密集的（尽管是短距离的）深度图。另一方面，对于户外场景，LiDAR被认为是标准传感器，其相对提供更稀疏的测量，特别是在更远的区域。本文没有修改神经网络架构来处理稀疏深度图，而是介绍了一种使用Hilbert Maps框架的深度图加密方法。基于来自LiDAR扫描的3D点产生连续占用图，并且将所得的重建表面投影到具有任意分辨率的2D深度图中。KITTI数据集的各种子集进行的实验表明，所提出的稀疏到连续的技术产生了显着的改善，而无需引入额外的信息到训练阶段。
2019-10-21 cs.CV
DrivingDepth: Sparse-Prompted Pixel-wise Scale Correction for Driving Depth Estimation
Baidu Inc.（百度公司）
针对自动驾驶深度估计中几何与尺度的冲突，提出DrivingDepth方法，利用稀疏LiDAR作为几何提示，通过残差像素级尺度校正校准冻结的深度基础模型，在保持密集视觉几何的同时实现度量精度与几何一致性。
2026-07-01 cs.CV
D^2-4DGS: Dual-Depth Guided Sparse-Camera 4D Gaussian Splatting
针对稀疏相机动态四维高斯溅射的几何监督不足问题，提出双深度先验引导的D^2-4DGS框架，经9个数据集-视图设置验证，其峰值信噪比平均较最佳对比方法提升1.33dB。
2026-08-04 cs.CV
Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation and Gauss-Newton Refinement
ShanghaiTech University（上海科技大学）
几乎所有先前的基于深度学习的多视图立体视觉（MVS）方法都集中于提高重建质量。除了质量之外，效率也是MVS在实际场景中的理想特性。为此，本文提出了一种快速MVSNet，一种新的稀疏到密集的粗到细的框架，快速和准确的深度估计在MVS。具体来说，在我们的Fast-MVSNet中，我们首先构建一个稀疏成本卷，用于学习稀疏和高分辨率的深度图。然后，我们利用小规模的卷积神经网络来编码局部区域内像素的深度依赖性，以使稀疏的高分辨率深度图致密化。最后，提出了一种简单但有效的高斯牛顿层，以进一步优化深度图。一方面，高分辨率的深度图，数据自适应传播方法和高斯牛顿层共同保证了我们的方法的有效性。另一方面，我们的Fast-MVSNet中的所有模块都是轻量级的，从而保证了我们方法的效率。此外，我们的方法也是内存友好的，因为稀疏的深度表示。大量的实验结果表明，我们的方法是5 $\times$和14 $\times$比Point-MVSNet和R-MVSNet，分别快，同时实现具有挑战性的坦克和寺庙数据集以及DTU数据集上的可比甚至更好的结果。代码可在https://github.com/svip-lab/FastMVSNet上获得。
2020-03-29 cs.CV
Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion
ETH Zürich（苏黎世联邦理工学院）
Marigold-DC将深度补全重构为图像条件深度图生成，基于预训练潜在扩散模型并通过测试时优化注入稀疏深度引导，实现卓越的零样本泛化和极稀疏处理，证明单目深度先验能显著增强鲁棒性。
2025-09-14 cs.CV cs.LG
RDG-GS: Relative Depth Guidance with Gaussian Splatting for Real-time Sparse-View 3D Rendering
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）；ZJU-UIUC Institute, Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院）
针对稀疏视角三维重建中几何误差与视角不一致问题，提出基于相对深度引导的高斯泼溅框架RDG-GS，通过精细深度先验与相对深度优化实现高质量实时渲染。
2025-01-19 cs.CV
Mind The Edge: Refining Depth Edges in Sparsely-Supervised Monocular Depth Estimation
Samsung Israel R&D Center（三星以色列研发中心）；Tel Aviv University（特拉维夫大学）
本文针对LIDAR稀疏监督MDE中深度边缘误差问题，利用合成数据学习边缘检测并生成训练监督，显著提升深度边缘精度且保持逐像素深度性能。
2024-04-03 cs.CV
Region-aware Depth Scale Adaptation with Sparse Measurements
本文提出一种基于稀疏深度测量的非学习式区域感知尺度自适应方法，无需重训练或微调即可将基础模型的相对深度预测转换为公制深度，在保持泛化能力的同时避免额外计算成本。
2025-07-20 cs.CV
Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
Shanghai Jiao Tong University（上海交通大学）
针对稀疏视图 NeRF 中深度图噪声与重建耗时问题，提出深度引导的点云融合及向量-矩阵分解体素网格方法，提升准确性、紧凑性和速度。
2024-03-04 cs.CV
See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization
The Hong Kong Polytechnic University（香港理工大学）
针对稀疏视角3DGS渲染质量下降问题，提出结合DINO-ViT语义正则化与局部深度正则化的方法，在LLFF数据集上PSNR提升0.4dB，减少扭曲并增强细节。
2025-01-20 cs.CV
StarryGazer: Leveraging Monocular Depth Estimation Models for Domain-Agnostic Single Depth Image Completion
IPAI, Seoul National University（IPAI，首尔国立大学）；Department of Electrical and Computer Engineering, ASRI, Seoul National University（电气与计算机工程系，ASRI，首尔国立大学）
StarryGazer通过利用大单目深度估计模型，无需真实深度数据，从单张稀疏深度图和RGB图像生成密集深度图，提升补全效果。
2025-12-15 cs.CV
DEPTHOR: Depth Enhancement from a Practical Light-Weight dToF Sensor and RGB Image
Huazhong University of Science and Technology（华中科技大学）；Honor Device Co., Ltd（荣耀设备有限公司）
针对现有深度增强方法依赖理想化假设、难以适配真实dToF传感器误差的问题，提出DEPTHOR深度补全方法，通过真实感dToF数据模拟训练策略与融合MDE的网络架构，在多个数据集上取得SOTA深度增强效果。
2025-07-29 cs.CV
WaterMono: Teacher-Guided Anomaly Masking and Enhancement Boosting for Robust Underwater Self-Supervised Monocular Depth Estimation
College of Engineering, Ocean University of China（中国海洋大学工程学院）；College of Computer Science and Technology, Qingdao University（青岛大学计算机科学与技术学院）
针对水下自监督单目深度估计受动态目标、图像退化、拍摄角度多变影响的问题，提出WaterMono框架，结合教师引导异常掩码、图像增强与旋转蒸馏策略，有效提升深度估计与图像增强效果。
2024-06-19 cs.CV
Depth Estimation from Monocular Images and Sparse radar using Deep Ordinal Regression Network
KU Leuven（鲁汶大学）
我们将稀疏的雷达数据整合到一个单目深度估计模型中，并引入一种新的预处理方法，以减少雷达提供的稀疏性和有限的视野。我们探讨了不同的雷达模态的固有误差，并表明我们提出的方法的结果，在更多的数据点，减少错误。我们进一步提出了一种新的方法，用于从单目2D图像和稀疏雷达测量使用基于深度有序回归网络的深度学习来估计密集深度图。首先将稀疏2D点转换为高度扩展的3D测量，然后使用后期融合方法将其包含到网络中，从而整合雷达数据。实验在nuScenes数据集上进行。我们的实验展示了在白天和夜晚场景中最先进的性能。
2021-07-15 cs.AI cs.CV eess.IV
A Physical Model-Guided Framework for Underwater Image Enhancement and Depth Estimation
Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
针对现有水下图像增强方法物理成像参数估计不准的问题，提出物理模型引导的联合训练框架，含可估计多参数的DDM，还设计了双分支UIEConv模型，在多真实水下场景验证有效，且可顺带实现深度估计。
2025-08-01 cs.CV
Learning Topology from Synthetic Data for Unsupervised Depth Completion
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种从图像和稀疏深度测量推断密集深度图的方法，该方法利用合成数据来学习稀疏点云与密集自然形状的关联，并使用图像作为证据来验证预测的深度图。我们针对自然形状的学习先验仅使用稀疏深度作为输入，而不是图像，因此当尝试将学习模型从合成数据转换为真实数据时，该方法不受协变量偏移的影响。这使我们能够使用大量的合成数据与地面真理学习重建过程中最困难的组成部分，这是拓扑估计，并使用图像来完善基于光度证据的预测。我们的方法比以前的方法使用更少的参数，但在室内和室外基准数据集上都达到了最先进的水平。代码可在：https://github.com/alexklwong/learning-topology-synthetic-data获得。
2021-08-24 cs.CV cs.LG cs.RO
Enhancing Neural Radiance Fields with Depth and Normal Completion Priors from Sparse Views
Special Robot Center, Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院特殊机器人中心）
针对稀疏视角下NeRF渲染精度不足的问题，提出CP_NeRF框架，通过深度与法向量稠密补全先验、光心嵌入及法向量块匹配等技术，在有限输入视角的室内场景渲染中优于主流方法。
2024-07-08 cs.CV
Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction
Stanford University（斯坦福大学）
研究稀疏视图神经重建的单目深度监督，用Depth Anything V2作密集单目深度先验，经尺度变换拟合对齐预测，通过仅RGB基线模型生成的光度掩码选择性应用深度监督，在不同场景评估，结果表明应选择性适度加权应用。
2026-09-01 cs.CV cs.GR
UniFusion: Sparse-View 4D Reconstruction via Unified Spatio-temporal Depth Alignment
State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能全国重点实验室，北京通用人工智能研究院）
针对稀疏视角视频4D重建中单目深度不一致的问题，提出统一时空深度对齐框架，利用时空神经场联合解决跨视角和时间不一致，无需分割掩码，提升动态高斯溅射重建的精度与一致性。
2026-09-09 cs.CV
Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian
UCAS（中国科学院大学）
针对稀疏视图3D高斯重建中深度预测的不确定性问题，提出UGOT方法，利用不确定性估计和逐块最优传输策略优化深度监督，显著提升新视图合成效果。
2024-05-30 cs.AI cs.CV
