MaskingDepth: Masked Consistency Regularization for Semi-supervised Monocular Depth Estimation
Korea University（高丽大学）；University of Bologna（博洛尼亚大学）
我们提出了MaskingDepth，一种新的半监督学习框架，用于单目深度估计，以减轻对大的地面真实深度量的依赖。MaskingDepth旨在加强强增强的未标记数据和从弱增强的未标记数据中导出的伪标签之间的一致性，这使得在没有监督的情况下学习深度。在这个框架中，提出了一种新的数据增强，以利用一个朴素的掩蔽策略作为增强，同时避免其规模之间的模糊性问题的深度从弱和强增强分支和丢失小规模的实例的风险。为了只保留来自弱增强分支的高置信度深度预测作为伪标签，我们还提出了一种不确定性估计技术，该技术用于定义鲁棒一致性正则化。KITTI和NYU-Depth-v2数据集上的实验证明了每个组件的有效性，其对使用较少深度注释图像的鲁棒性，以及与其他最先进的半监督方法相比用于单目深度估计的优越性能。此外，我们表明我们的方法可以很容易地扩展到领域自适应任务。我们的代码可在https://github.com/KU-CVLAB/MaskingDepth上获得。
2023-03-23 cs.CV
Intrinsic Image Decomposition for Robust Self-supervised Monocular Depth Estimation on Reflective Surfaces
Daegu Gyeongbuk Institute of Science and Technology（大邱庆北科学技术院）
针对反射表面导致自监督单目深度估计误差的问题，提出融合内在图像分解的框架，协同训练深度估计与分解，并引入伪深度生成和知识蒸馏，在多个数据集上显著提升深度预测精度。
2025-03-28 cs.CV cs.LG
Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency
Hyndai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
本文提出一种无需真值和训练、利用多视差图一致性过滤伪深度图错误的自监督单目深度估计知识蒸馏方法，在无纹理、遮挡边界和反射表面等困难区域优于现有方法。
2024-01-23 cs.CV
Ground4D: Consistency-Aware 4D Reconstruction from Monocular Video
School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）
提出Ground4D框架，结合3D基础模型进行几何初始化与动态高斯泼溅进行一致性优化，实现从单目视频的高保真4D重建与新视角渲染。
2026-07-28 cs.CV
Unsupervised Monocular Depth Estimation with Left-Right Consistency
University College London（伦敦大学学院）
基于学习的方法对于单个图像中的深度估计的任务已经显示出非常有希望的结果。然而，大多数现有方法将深度预测视为监督回归问题，因此需要大量对应的地面真实深度数据用于训练。在各种环境中记录高质量的深度数据是一个具有挑战性的问题。在本文中，我们超越了现有的方法，在训练过程中取代了显式深度数据的使用，以获得双目立体镜头。我们提出了一个新的训练目标，使我们的卷积神经网络能够学习执行单个图像深度估计，尽管没有地面真实深度数据。利用对极几何约束，我们生成视差图像训练我们的网络与图像重建损失。我们表明，单独解决图像重建会导致质量差的深度图像。为了克服这个问题，我们提出了一种新的训练损失，强制执行相对于左和右图像产生的差异之间的一致性，从而提高性能和鲁棒性相比，现有的方法。我们的方法在KITTI驾驶数据集上产生了最先进的单目深度估计结果，甚至优于用地面真实深度训练的监督方法。
2017-04-12 cs.CV cs.LG stat.ML
Transferring Relative Monocular Depth to Surgical Vision with Temporal Consistency
King’s College London（伦敦国王学院）；Hypervision Surgical Limited（Hypervision外科有限公司）
本文研究将自然图像相对单目深度模型迁移到内窥镜手术场景，提出用时序一致性自监督增强监督训练，在低数据条件下显著优于现有方法，并发布Meta-MED基准数据集。
2024-03-26 cs.CV
PLG-IN: Pluggable Geometric Consistency Loss with Wasserstein Distance in Monocular Depth Estimation
TOYOTA Central R&D Labs., INC.（丰田中央研发实验室）
我们提出了一个新的目标惩罚几何不一致，以提高单目相机图像的深度和姿态估计性能。我们的目标是使用两个点云之间的Wasserstein距离，估计从图像与不同的相机姿势。Wasserstein距离可以在两个点云之间施加软且对称的耦合，这适当地保持几何约束并导致可微目标。通过将我们的目标添加到其他最先进的方法中，我们可以有效地惩罚几何不一致性，并获得高度准确的深度和姿态估计。我们提出的方法使用KITTI数据集进行评估。
2020-08-06 cs.CV cs.RO
Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency
KAIST（韩国科学技术院）；DGIST（大邱庆北科学技术院）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个端到端的联合训练框架，该框架明确地对多个动态对象的6-DoF运动、自我运动和单目相机设置中的深度进行建模，而无需监督。我们的技术贡献是三方面的。首先，我们强调了逆投影和正投影之间的根本区别，同时对每个刚性对象的个体运动进行建模，并使用神经正投影模块提出了一个几何正确的投影管道。其次，我们设计了一个统一的实例感知的光度和几何一致性损失，整体上施加自我监督信号的每个背景和对象区域。最后，我们介绍了一个通用的自动注释方案，使用任何现成的实例分割和光流模型来生成视频实例分割图，这些图将用作我们训练管道的输入。在详细的消融研究中，这些建议的元素得到了验证。通过在KITTI和Cityscapes数据集上进行的大量实验，我们的框架表现出优于最先进的深度和运动估计方法。我们的代码、数据集和模型可以在https://github.com/SeokjuLee/Insta-DM上找到。
2021-02-04 cs.CV cs.LG cs.RO
Self-supervised Event-based Monocular Depth Estimation using Cross-modal Consistency
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学网络系统与控制研究所）
本文提出自监督事件相机单目深度估计框架EMoDepth，利用跨模态一致性约束训练并设计多尺度跳跃连接架构，在MVSEC和DSEC上超越现有有监督事件和无监督帧方法。
2024-01-14 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich（慕尼黑工业大学）
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块，相关的粗深度预测，聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外，我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块，我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比，这产生了几何上有意义的注意力，并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation
Fudan University（复旦大学）；Johns Hopkins University（约翰霍普金斯大学）
提出一种将视频深度估计转化为多视图3D重建的框架，通过光度渲染、世界坐标对齐和多尺度时间梯度一致性约束，实现全局3D结构一致性，在自监督和零样本临床场景中达到最先进的空间精度。
2026-06-16 cs.CV
DeFeat-Net: General Monocular Depth via Simultaneous Unsupervised Representation Learning
University of Surrey（萨里大学）
在当前的单目深度研究中，主要方法是在扭曲的光度一致性驱动下对大型数据集进行无监督训练。这种方法缺乏鲁棒性，并且无法推广到具有挑战性的领域，例如夜间场景或不利的天气条件，其中关于光度一致性的假设被打破。我们提出了深度和特征网络（Deep-Net），这是一种同时学习跨域密集特征表示的方法，以及基于扭曲特征一致性的鲁棒深度估计框架。所得到的特征表示是以无监督的方式学习的，不需要显式的地面实况对应。我们表明，在一个单一的域中，我们的技术是目前的最先进的单目深度估计和监督特征表示学习。然而，通过同时学习特征、深度和运动，我们的技术能够推广到具有挑战性的领域，使DeepMin-Net在更具挑战性的序列（如夜间驾驶）上的所有误差测量减少约10%，从而超越当前最先进的技术。
2020-03-30 cs.CV
EC-Depth: Exploring the consistency of self-supervised monocular depth estimation in challenging scenes
University of Science and Technology of China（中国科学技术大学）
针对现有自监督单目深度估计在恶劣场景下性能下降的问题，提出EC-Depth两阶段框架，通过深度一致性正则化和基于一致性的伪标签过滤，在多个基准上实现鲁棒且准确的深度预测。
2024-03-18 cs.CV
The Devil is in the Edges: Monocular Depth Estimation with Edge-aware Consistency Fusion
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出 ECFNet，通过显式利用图像边缘信息并融合多源初始深度，结合分层融合模块和深度一致性模块，提升单目深度估计的边缘清晰度与整体结构准确性。
2024-03-30 cs.CV
$\mathrm{F^2Depth}$: Self-supervised Indoor Monocular Depth Estimation via Optical Flow Consistency and Feature Map Synthesis
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Qingdao Research Institute of Beihang University（北京航空航天大学青岛研究院）；School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
本文提出自监督室内单目深度估计框架F²Depth，通过微调光流网络并结合光流一致性损失与特征图合成损失监督深度学习，在NYU Depth V2及零样本泛化实验中验证了其有效性和泛化能力。
2024-03-27 cs.CV
On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation
The University of Sydney（悉尼大学）；Tsinghua University（清华大学）
本文提出利用深度特征对齐和体素密度对齐两种鲁棒跨视图一致性损失，将点对点对齐转为区域对区域，提升自监督单目深度估计在复杂场景下的鲁棒性，并在室外基准上超越现有方法。
2024-03-18 cs.CV
Monocular absolute depth estimation from endoscopy via domain-invariant feature learning and latent consistency
针对内窥镜单目绝对深度估计中合成与真实图像的域差距问题，提出潜在特征对齐方法，通过对抗学习和方向特征一致性学习域不变特征，在中心气道内窥镜视频上显著提升了绝对与相对深度估计性能。
2025-11-04 cs.CV
FIS-Nets: Full-image Supervised Networks for Monocular Depth Estimation
Hikvision Research Institute (HRI), Hangzhou Hikvision Digital Technology Co. Ltd（海康威视研究院（HRI），杭州海康威视数字技术有限公司）
本文讨论了单目深度估计的全图像监督的重要性。我们提出了一个半监督的架构，它结合了使用图像一致性的无监督框架和稠密深度完成的监督框架。后者提供全图像深度作为对前者的监督。将导航系统中的自我运动作为内部时间变换网络的输出监督嵌入到无监督框架中，使单目深度估计更好。在评估中，我们表明，我们提出的模型优于其他方法的深度估计。
2020-01-19 cs.CV
Semi-Supervised Monocular Depth Estimation with Left-Right Consistency Using Deep Neural Network
从单目摄像机图像中估计场景的深度已经取得了巨大的研究进展。用于单图像深度预测的现有方法完全基于深度神经网络，并且它们的训练可以使用立体图像对进行无监督，使用LiDAR点云进行监督，或者使用立体和LiDAR进行半监督。一般来说，半监督训练是优选的，因为它不会受到监督训练的弱点的影响，这是由于相机和LiDAR视场的差异造成的，或者是由于可以从立体对恢复的差的深度精度造成的无监督训练。在本文中，我们提出了我们的研究在单图像深度预测使用半监督训练，优于国家的最先进的。我们实现了这一点，通过一个损失函数，明确利用左，右的一致性，在立体重建，这还没有被采用在以前的半监督训练。此外，我们描述了正确使用来自LiDAR的地面真实深度，可以显着减少预测误差。在流行的数据集上评估了我们的深度预测模型的性能，并通过实验结果证明了我们的半监督训练方法的每个方面的重要性。我们的深度神经网络模型已经公开。
2019-05-18 cs.AI cs.CV cs.RO
Learning Monocular Dense Depth from Events
University of Zurich（苏黎世大学）
事件相机是一种新型传感器，它以异步事件流的形式而不是强度帧的形式输出亮度变化。与传统的图像传感器相比，它们具有显著的优势：高时间分辨率、高动态范围、无运动模糊和低得多的带宽。最近，基于学习的方法已被应用于基于事件的数据，从而释放了它们的潜力，并在各种任务中取得了重大进展，例如单目深度预测。大多数现有的方法使用标准的前馈架构来生成网络预测，这不利用事件流中的时间一致性。我们提出了一个经常性的架构来解决这个任务，并显示出显着的改进，标准的前馈方法。特别是，我们的方法使用单目设置生成密集的深度预测，这在以前没有显示过。我们使用一个新的数据集来预训练我们的模型，该数据集包含CARLA模拟器中记录的事件和深度图。我们测试我们的方法上的多车辆立体事件相机数据集（MVSEC）。定量实验表明，与以前的基于事件的方法相比，平均深度误差提高了50%。
2020-10-22 cs.CV cs.LG
Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction
针对单目视频恢复大规模场景下4D人群运动的难题，提出Crowd4D框架，通过多阶段优化联合优化人群与场景，引入HSIP解决对齐问题、CSCR提升时间稳定性，实验证明其性能优于现有方法，可实现复杂场景下单目4D人群稳健重建。
2026-07-23 cs.CV
Unsupervised Monocular Depth Estimation in Highly Complex Environments
East China University of Science and Technology（华东理工大学）
随着计算智能算法的发展，基于扭曲光度一致性的无监督单目深度和姿态估计框架在白天场景中表现出了良好的性能。而在一些具有挑战性的环境中，如夜晚和雨夜，由于复杂的照明和反射，基本的光度一致性假设是站不住脚的，因此上述无监督框架不能直接应用于这些复杂的场景。在本文中，我们研究了高度复杂的场景中的无监督单目深度估计的问题，并通过采用基于图像传输的领域自适应框架来解决这个具有挑战性的问题。我们将在白天场景中训练的深度模型调整为适用于夜间场景，并且对特征空间和输出空间的约束促使框架学习深度解码的关键特征。同时，针对图像传输质量不稳定对领域自适应的影响，提出了一种图像自适应方法，对传输图像的质量进行评估，并对相应的损失进行重新加权，以提高自适应深度模型的性能。大量的实验表明，所提出的无监督框架在估计高度复杂的图像的密集深度图的有效性。
2022-06-09 cs.CV
Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular Depth Estimation in the Dark
Nanjing University of Science and Technology（南京理工大学）；Tencent YouTu Lab（腾讯优图实验室）；Hikvision Research Institute（海康威视研究院）
单目深度估计旨在从单个图像或视频预测深度。最近，自监督方法引起了人们的广泛关注，因为它们没有深度注释，并且在几个白天的基准测试中取得了令人印象深刻的性能。然而，它们在更具挑战性的夜间场景中产生奇怪的输出，因为低能见度和光照变化，分别带来弱纹理和打破亮度一致性假设。为了解决这些问题，本文提出了一个新的框架，并做了以下几个改进：（1）引入基于先验的正则化算法，从非成对深度图中学习分布知识，防止模型被错误训练;（2）利用映射一致性图像增强模块，在保持亮度一致性的同时增强图像的可见性和对比度;（3）提出了基于统计的Mask策略，利用动态统计的方法调整去除无纹理区域的像素个数。实验结果证明了每个组件的有效性。同时，我们的框架在两个夜间数据集上取得了显着的改进和最先进的结果。
2021-08-13 cs.CV
DC4GS: Directional Consistency-Driven Adaptive Density Control for 3D Gaussian Splatting
Sungkyunkwan University（成均馆大学）
DC4GS通过将方向一致性引入3D Gaussian Splatting的自适应密度控制，利用梯度角度相干性优化基元分裂与位置，减少冗余分裂，使基元数量降低30%且显著提升重建保真度。
2025-10-30 cs.CV
Self-distilled Feature Aggregation for Self-supervised Monocular Depth Estimation
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
自监督单目深度估计是近年来计算机视觉领域的研究热点。现有文献中的大多数工作通过简单的级联或元素相加来聚合多尺度特征用于深度预测，然而，这样的特征聚合操作通常忽略多尺度特征之间的上下文一致性。针对这个问题，我们提出了自蒸馏特征聚合（SDFA）模块，同时聚合一对低规模和高规模的功能，并保持其上下文的一致性。SDFA采用三个分支分别学习三个特征偏移图：一个偏移图用于细化输入的低尺度特征，另外两个偏移图用于在设计的自升华方式下细化输入的高尺度特征。然后，我们提出了一个基于SDFA的自监督单目深度估计网络，并设计了一个自蒸馏训练策略训练所提出的网络与SDFA模块。KITTI数据集上的实验结果表明，该方法在大多数情况下优于比较国家的最先进的方法。该代码可在https://github.com/ZM-Zhou/SDFA-Net_pytorch上获得。
2022-09-15 cs.CV
Learning to Fuse Monocular and Multi-view Cues for Multi-frame Depth Estimation in Dynamic Scenes
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）；DJI（大疆创新）；The University of New South Wales（新南威尔士大学）
本文提出跨线索融合模块，无需显式掩码即可融合多视角与单目线索，使静态区域几何感知与动态区域上下文信息相互增强，在真实数据集上显著提升动态场景多帧深度估计的精度与泛化能力。
2023-04-18 cs.CV
Consistent4D: Consistent 360° Dynamic Object Generation from Monocular Video
CASIA（中国科学院自动化研究所）；Fudan University（复旦大学）；Nanjin University（南京大学）
本研究提出Consistent4D方法，将360度动态对象重建转化为4D生成问题，结合级联DyNeRF与插值驱动一致性损失，从未标定单目视频生成时空一致的4D动态对象，性能媲美现有方案且在文本到3D任务中具优势。
2023-11-06 cs.CV
Towards High-Precision Depth Sensing via Monocular-Aided iToF and RGB Integration
本文提出一种iToF-RGB融合框架，通过几何重投影对齐和单目先验引导的双编码器网络，解决iToF深度感知分辨率低、视场窄和结构失真问题，实现高精度深度超分辨率与视场扩展。
2025-08-03 cs.CV
ProDyG: Progressive Dynamic Scene Reconstruction via Gaussian Splatting from Monocular Videos
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）；University of Amsterdam（阿姆斯特丹大学）
本文提出ProDyG，在SLAM系统中解耦静态与动态部分，结合运动掩蔽策略和Motion Scaffolds图的渐进式自适应，实现单目视频的在线动态场景重建，渲染与跟踪性能均达到领先水平。
2025-09-22 cs.CV
Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth
针对单目视频深度估计中的尺度不一致问题，提出局部加权线性回归方法利用稀疏锚点恢复尺度偏移，结合630万RGBD图像训练的深度模型，构建了新型3D场景重建流程，在零样本基准上性能提升达50%。
2023-04-06 cs.CV
Mono3D++: Monocular 3D Vehicle Detection with Two-Scale 3D Hypotheses and Task Priors
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Megvii (Face++)（旷视科技（Face++））
我们提出了一种方法来推断3D姿态和形状的车辆从一个单一的图像。为了解决这个不适定的问题，我们优化生成的3D假设和它们的2D伪测量之间的两尺度投影一致性。具体来说，我们使用变形线框模型来生成车辆形状和姿态的精细缩放表示。为了降低其对2D地标的敏感性，我们联合建模的3D限界框作为一个粗略的表示，提高了鲁棒性。我们还集成了三个任务先验，包括无监督的单目深度，地平面约束以及车辆形状先验，前向投影误差到一个整体的能量函数。
2019-01-11 cs.CV
Unsupervised Monocular Depth Learning in Dynamic Scenes
Google Research（谷歌研究院）；Robotics at Google（谷歌机器人）；Waymo LLC（Waymo有限责任公司）
我们提出了一种方法，用于联合训练的深度，自我运动，和密集的3D翻译领域的对象相对于场景的估计，与单目光度一致性的唯一来源的监督。我们表明，这显然是严重欠定的问题，可以通过施加以下先验知识的3D翻译领域：他们是稀疏的，因为大部分的场景是静态的，他们往往是恒定的刚性移动对象。我们表明，这种正则化本身就足以训练单眼深度预测模型，超过了在以前的工作中实现的动态场景的准确性，包括需要语义输入的方法。代码位于https://github.com/google-research/google-research/tree/master/depth_and_motion_learning。
2020-11-07 cs.CV cs.GR cs.LG
Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
基于单幅图像的深度估计是计算机视觉中的一个研究热点。最准确的方法是基于完全监督学习模型，它依赖于大量密集和高分辨率（HR）的地面实况深度图。然而，在实践中，彩色图像通常以比深度图高得多的分辨率捕获，导致分辨率失配效应。在本文中，我们提出了一种新的弱监督框架来训练单目深度估计网络，以生成具有分辨率失配监督的HR深度图，即，输入是HR彩色图像，地面实况是低分辨率（LR）深度图。提出的弱监督框架由一个共享权值的单目深度估计网络和一个深度重构网络组成。具体地，对于单目深度估计网络，输入彩色图像首先被下采样以获得其具有与地面实况深度相同的分辨率的LR版本。然后，HR和LR彩色图像都被馈送到所提出的单目深度估计网络，以获得相应的估计深度图。我们引入三个损失来训练网络：1）估计的LR深度和地面实况LR深度之间的重建损失; 2）下采样的估计的HR深度和地面实况LR深度之间的重建损失; 3）估计的LR深度和下采样的估计的HR深度之间的一致性损失。此外，我们还设计了一个从深度到深度的深度重建网络。通过蒸馏损失，两个网络之间的特征在亲和空间中保持结构一致性，最终提高估计网络的性能。实验结果表明，我们的方法取得了优越的性能比无监督和半监督学习为基础的计划，是有竞争力的，甚至更好的监督相比。
2021-09-23 cs.CV
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
自监督单目深度估计由于其重要的实际意义和近年来的发展前景而得到了广泛的研究。然而，大多数作品遭受有限的监督光度一致性，特别是在弱纹理区域和对象边界。为了克服这个弱点，我们提出了新的想法，以提高自我监督的单目深度估计，利用跨域的信息，特别是场景语义。我们专注于将隐含的语义知识几何表示增强，并提出两个想法：一个度量学习方法，利用语义引导的局部几何优化中间深度表示和一个新的功能融合模块，明智地利用两个异构特征表示之间的交叉模态。我们在KITTI数据集上全面评估了我们的方法，并证明我们的方法优于最先进的方法。源代码可在https://github.com/hyBlue/FSRE-Depth上获得。
2021-08-19 cs.CV
Dynamic Neural Radiance Field From Defocused Monocular Video
Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）
本文提出D2RF，通过分层景深体渲染和优化的光线级模糊核，首次实现从散焦单目视频中恢复清晰动态新视角，并在自建数据集上验证了其在全聚焦合成和时空一致性方面的优越性。
2024-07-31 cs.CV
Pose Constraints for Consistent Self-supervised Monocular Depth and Ego-motion
DENSO ADAS Engineering Services GmbH（电装ADAS工程服务有限责任公司）
本文针对自监督单目深度估计的尺度时间不一致问题，提出最小化位姿不一致的时间一致性损失，在无需训练期真值尺度监督的情况下改善深度与自我运动预测。
2023-04-18 cs.CV cs.LG cs.RO
Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS Erlangen（弗劳恩霍夫研究所埃朗根）
本文提出通过多视角可微渲染优化，提升单目深度图的精度与一致性，实现更高质量的深度估计。
2025-09-03 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
Residual-Guided Learning Representation for Self-Supervised Monocular Depth Estimation
KAIST（韩国科学技术院）
光度一致性损失是自监督单目深度估计中常用的代表性目标函数之一。然而，由于不正确的引导，这种损失通常会导致无纹理或遮挡区域中的深度预测不稳定。最近的自监督学习方法通过利用从自动编码器显式学习的特征表示来解决这个问题，期望比输入图像更好的辨别力。尽管使用了自动编码特征，但我们观察到该方法并不像自动编码特征那样嵌入有鉴别力的特征。在本文中，我们提出了剩余的指导损失，使深度估计网络嵌入的判别功能，通过转移的判别自动编码功能。我们在KITTI基准上进行了实验，并验证了我们的方法的优越性和正交性的其他国家的最先进的方法。
2021-11-08 cs.CV
Neural Contourlet Network for Monocular 360 Depth Estimation
Beijing Jiaotong University（北京交通大学）；Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
对于单目360度图像，深度估计是具有挑战性的，因为失真沿着纬度增加。为了感知这种失真，现有的方法致力于设计一个深度和复杂的网络架构。在本文中，我们提供了一个新的视角，构建一个可解释的和稀疏表示的360图像。考虑到几何结构在深度估计中的重要性，我们利用轮廓波变换来捕获谱域中的显式几何线索，并将其与空间域中的隐式线索相结合。具体来说，我们提出了一个神经轮廓波网络组成的卷积神经网络和轮廓波变换分支。在编码器阶段，我们设计了一个空间-光谱融合模块，有效地融合两种类型的线索。与编码器相反，我们采用逆轮廓波变换与学习的低通子带和带通方向子带来组成解码器中的深度。在三个流行的全景图像数据集上的实验表明，所提出的方法比最先进的计划具有更快的收敛速度。代码可在https://github.com/zhijieshen-bjtu/Neural-Contourlet-Network-for-MODE上获得。
2022-08-03 cs.CV
Interpretable Vision Transformers in Monocular Depth Estimation via SVDA
Dept. Electrical and Computer Engineering（电子与计算机工程系）；Democritus University of Thrace（德米特里乌斯大学）；Athena Research Center（雅典研究中心）；University Campus at Kimmeria（基米里亚大学校园）
SVDA通过引入谱结构化的注意力机制，提升了单目深度估计的可解释性，同时保持了预测精度并降低了计算开销。
2026-02-11 cs.CV
EfficientDepth: A Fast and Detail-Preserving Monocular Depth Estimation Model
Leia Inc.（Leia公司）；Texas A&M University（德克萨斯农工大学）
EfficientDepth通过Transformer与轻量级卷积解码器、双模态密度头及LPIPS损失，在降低计算资源的同时实现细节保留的高效单目深度估计。
2025-09-26 cs.CV
VGGT-GS SLAM: Uncalibrated Monocular Gaussian Splatting SLAM with Feed-Forward Priors
National University of Singapore（新加坡国立大学）
提出VGGT-GS SLAM，利用前馈先验和子图可微BA实现无标定单目高斯泼溅SLAM，通过GNA提升全局一致性，在室内基准上显著提升定位精度与渲染质量。
2026-09-18 cs.CV
Unsupervised Monocular Depth Estimation Based on Hierarchical Feature-Guided Diffusion
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；Bionic Vision System Laboratory, State Key Laboratory of Transducer Technology, Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（生物视觉系统实验室，传感技术国家重点实验室，微系统与信息工程研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Xiongan Institute of Innovation（雄安创新研究院）；University of Science and Technology of China（中国科学技术大学）
针对真实场景图像模糊带噪导致深度估计鲁棒性不足的问题，提出结合分层特征引导去噪模块与隐式深度一致性损失的扩散模型无监督单目深度估计方法，在多数据集上实现了生成类模型中的领先性能与强鲁棒性。
2025-10-28 cs.CV
Fine-detailed Neural Indoor Scene Reconstruction using multi-level importance sampling and multi-view consistency
Tsinghua University（清华大学）；ByteDance（字节跳动）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
提出FD-NeuS神经隐式表面重建方法，通过多级重要性采样策略和多视图一致性方法解决室内场景重建过度平滑和优化时间长的问题，实现精细3D模型重建。
2024-10-10 cs.CV
On the Benefit of Adversarial Training for Monocular Depth Estimation
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3DUniversum）；Google Research（谷歌研究院）
在本文中，我们讨论了将对抗训练添加到单目深度估计任务中的好处。可以在立体图像对上的自监督设置中训练模型，其中深度（视差）是从右到左的图像重建流水线中的中间结果。对于图像重建和视差预测的质量，使用不同损失的组合，包括L1图像重建损失和左右视差平滑度。这些是局部像素损失，而深度预测需要全局一致性。因此，我们将自监督网络扩展为生成对抗网络（GAN），包括一个可以区分重建（假）图像和真实图像的神经网络。我们评估了Vanilla GANs，LSGAN和Wasserstein GANs，并结合不同的像素重建损失。基于广泛的实验评估，我们得出结论，对抗训练是有益的，当且仅当重建损失不太受约束。尽管对抗性训练看起来很有前途，因为它促进了全局一致性，但当约束重建损失与批量归一化结合使用时，非对抗性训练优于（或与）使用GAN训练的任何方法。基于我们的实验评估的见解，我们通过使用批量归一化和不同的输出尺度获得了最先进的单目深度估计结果。
2019-10-29 cs.CV eess.IV
SING3R-SLAM: Submap-based Indoor Monocular Gaussian SLAM with 3D Reconstruction Priors
Technical University of Munich（慕尼黑工业大学）；Google（谷歌）；Munich Center for Machine Learning（慕尼黑机器学习中心）；VisualAIs
本文提出SING3R-SLAM，通过全局一致的高斯地图和子地图级全局对齐，实现高效的室内单目SLAM与3D重建，实验显示其在姿态估计、3D重建和视图渲染方面性能优异。
2026-04-03 cs.CV cs.RO
Scale-invariant and View-relational Representation Learning for Full Surround Monocular Depth
Department of Electrical Engineering & Computer Sciences, Daegu Gyeongbuk Institute of Science and Technology (DGIST)（电子工程与计算机科学系，大邱庆北科学技术大学）；Department of Autonomous Driving Perception Technology Vanguard Team, Hyundai Motor Company（自动驾驶感知技术先锋团队，现代汽车公司）
本文提出了一种结合尺度不变与视图关系的知识蒸馏方法，用于提升全环绕单目深度估计的性能与效率。
2025-12-09 cs.CV
Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出Point-DynRF框架，通过神经点云与动态辐射场分别建模全局几何与体渲染，解决单目视频新视角合成中全局几何一致性不足的问题。
2023-10-24 cs.CV
SplatMAP: Online Dense Monocular SLAM with 3D Gaussian Splatting
Institute for Creative Technologies, University of Southern California（南加州大学创意技术研究所）；University of Southern California（南加州大学）
针对单目视频3D重建的精度与实时性难题，提出SplatMAP框架，将稠密SLAM与3D高斯溅射集成，通过SLAM感知自适应致密化和几何引导优化，实现实时高保真重建，在公开数据集上指标显著优于现有方法。
2025-04-11 cs.CV
Learning monocular 3D reconstruction of articulated categories from motion
University College London（伦敦大学学院）；Snap Inc.（Snap 公司）
由于缺乏训练数据和问题固有的不适定性，铰接对象类别的单眼3D重建是具有挑战性的。在这项工作中，我们使用视频自我监督，迫使连续的3D重建的一致性，基于运动的周期损失。这在很大程度上改进了基于优化和基于学习的3D网格重建。我们进一步介绍了一个可解释的模型，3D模板变形，控制一个3D表面通过位移的一个小数目的本地，可学习的手柄。我们将此操作制定为依赖于网格拉普拉斯正则化的结构化层，并表明它可以以端到端的方式进行训练。最后，我们介绍了一种按样本的数值优化方法，该方法可以联合优化视频中的网格位移和相机，从而提高训练和测试时间后处理的准确性。在完全依赖于每个类别收集的一小部分视频进行监督的同时，我们获得了最先进的重建，具有不同的形状，视角和纹理，用于多个铰接对象类别。
2021-04-27 cs.CV cs.GR cs.LG
SCE-SLAM: Scale-Consistent Monocular SLAM via Scene Coordinate Embeddings
School of Computer Science and Engineering, State Key Laboratory of Complex & Critical Software Environment, Jiangxi Research Institute, Beihang University（计算机科学与工程学院、复杂与关键软件环境国家重点实验室、江西研究院、北航）；Macquarie University（麦考瑞大学）；Beijing Key Laboratory of Semiconductor Neural Network Intelligent Sensing and Computing Technology（北京半导体神经网络智能感知与计算技术重点实验室）
SCE-SLAM通过场景坐标嵌入实现单目SLAM的尺度一致性，实验显示在KITTI上轨迹误差减少8.36米，同时保持36 FPS。
2026-01-14 cs.CV
RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation
Nanjing University of Science and Technology（南京理工大学）
现有的自监督单目深度估计方法可以摆脱昂贵的注释，并取得有希望的结果。然而，当直接采用在固定分辨率上训练的模型来评估其他不同分辨率时，这些方法遭受严重的性能下降。本文通过学习场景深度的尺度不变性，提出了一种分辨率自适应的自监督单目深度估计方法（RA-Depth）。具体来说，我们提出了一个简单而有效的数据增强方法来生成任意尺度的图像为同一场景。然后，我们开发了一个双重高分辨率网络，它使用具有密集交互的多路径编码器和解码器来聚合多尺度特征以进行准确的深度推断。最后，为了明确地学习场景深度的尺度不变性，我们制定了不同尺度的深度预测的跨尺度深度一致性损失。在KITTI、Make 3D和NYU-V2数据集上的大量实验表明，RA-Depth不仅具有最佳的性能，而且具有良好的分辨率自适应能力。
2022-07-26 cs.CV
Unsupervised Learning of Depth, Camera Pose and Optical Flow from Monocular Video
Intel Corporation（英特尔公司）
我们提出了DFPNet -一个无监督的联合学习系统，用于从单目图像序列中估计单目深度、光流和自运动（相机姿态）。由于3D场景几何形状的性质，这三个组件是耦合的。我们利用这一事实，以端到端的方式联合训练所有三个组件。一个单一的复合损失函数--包括基于图像重建的深度和光流损失、双向一致性检查和平滑损失分量--用于训练网络。使用超参数调整，我们能够将模型大小减少到最先进的DFP模型的5%（8.4M参数）以下。对KITTI和Cityscapes驾驶数据集的评估表明，我们的模型在所有三项任务中都取得了与最先进水平相当的结果，即使模型尺寸明显较小。
2022-10-11 cs.AI cs.CV
