Monocular Depth Estimation Based On Deep Learning: An Overview
East China University of Science and Technology（华东理工大学）
深度信息对于自主系统感知环境和估计其自身状态是重要的。传统的深度估计方法，如运动恢复结构和立体视觉匹配，是建立在多个视点的特征对应关系。同时，预测的深度图是稀疏的。从单个图像推断深度信息（单目深度估计）是不适定问题。随着深度神经网络的快速发展，基于深度学习的单目深度估计近年来得到了广泛的研究，并在精度方面取得了很好的表现。同时，通过深度神经网络以端到端的方式从单个图像估计密集深度图。为了提高深度估计的精度，本文提出了不同的网络结构、损失函数和训练策略。因此，本文综述了当前基于深度学习的单目深度估计方法。首先，我们总结了几个在基于深度学习的深度估计中广泛使用的数据集和评价指标。此外，我们回顾了一些有代表性的现有方法，根据不同的训练方式：监督，无监督和半监督。最后，我们讨论了单目深度估计的挑战，并为未来的研究提供了一些想法。
2020-07-03 cs.CV
Unsupervised monocular stereo matching
Northeastern University（东北大学）
目前，深度学习在单目图像深度估计中的应用越来越多，并已显示出可喜的成果。目前较为理想的单目深度估计方法是基于地面真值深度的监督学习，但该方法需要大量昂贵的地面真值深度作为监督标签。因此，研究人员开始致力于无监督的深度估计方法。尽管无监督深度估计方法的精度仍低于有监督方法，但它是一个很有前途的研究方向。本文基于在相同的无监督深度估计模型下，立体匹配模型优于单目深度估计模型的实验结果，提出了一种无监督单目视觉立体匹配方法。为了实现单目立体匹配，我们构建了两个无监督的深度卷积网络模型，一个是从左视图重建右视图，另一个是利用重建的右视图和原始左视图估计深度图。这两个网络模型在测试阶段通过管道连接在一起。在具有挑战性的KITTI数据集上，该方法的输出结果优于当前主流的无监督深度估计方法。
2018-12-31 cs.CV
Learning depth from monocular video sequences
Rice University（莱斯大学）
本文针对单目视频深度估计问题，提出新训练损失、帧间像素运动模型和网络架构，在KITTI自监督设置下取得领先结果。
2023-10-26 cs.CV
Targeted Adversarial Perturbations for Monocular Depth Prediction
UCLA（加利福尼亚大学洛杉矶分校）
我们研究了对抗扰动对单目深度预测任务的影响。具体来说，我们探索的能力，小，难以察觉的添加剂扰动选择性地改变感知的几何场景。我们表明，这种扰动不仅可以在全球范围内重新调整预测的距离相机，但也改变了预测，以匹配不同的目标场景。我们还表明，当给定语义或实例信息时，扰动可以欺骗网络来改变场景中特定类别或实例的深度，甚至在保留场景其余部分的同时删除它们。为了了解目标扰动的影响，我们对最先进的单目深度预测方法进行了实验。我们的实验揭示了单目深度预测网络的漏洞，并揭示了它们所学到的偏见和背景。
2020-12-08 cs.CV
Crafting Monocular Cues and Velocity Guidance for Self-Supervised Multi-Frame Depth Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Science（中国科学院大学人工智能学院）；PhiGent Robotics（鉴智机器人）；Southeast University（东南大学）
自监督单目方法可以有效地学习弱纹理表面或反射物体的深度信息。然而，由于单目几何建模中固有的模糊性，深度精度受到限制。相比之下，多帧深度估计方法由于直接利用几何约束的多视图立体视觉（MVS）的成功而提高了深度精度。不幸的是，MVS经常遭受无纹理区域、非朗伯表面和移动对象的影响，特别是在没有已知相机运动和深度监督的真实世界视频序列中。因此，我们提出了MOVEDepth，它利用MONOCULAR线索和VElocity指导来改善多帧深度学习。与现有的MVS深度和单目深度之间的一致性方法不同，MOVEDepth通过直接解决MVS的固有问题来增强多帧深度学习。我们的方法的关键是利用单目深度作为几何优先级来构造MVS成本体积，并在预测的摄像机速度的指导下调整成本体积的深度候选。我们进一步融合单目深度和MVS深度通过学习成本量的不确定性，这导致在一个强大的深度估计对多视图几何模糊。大量的实验表明，MOVEDepth实现了最先进的性能：与Monodepth 2和PackNet相比，我们的方法在KITTI基准测试中的深度精度分别提高了20%和19.8%。MOVEDepth还推广到更具挑战性的DDAD基准，相对优于ManyDepth 7.2%。该代码可在https://github.com/JeffWang987/MOVEDepth上获得。
2022-08-19 cs.CV
Two-in-One Depth: Bridging the Gap Between Monocular and Binocular Self-supervised Depth Estimation
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统全国重点实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
提出TiO-Depth二合一自监督深度估计网络，采用孪生架构和单目特征匹配模块，联合训练策略提升单目与双目深度估计精度，在KITTI、Cityscapes和DDAD上超越现有方法。
2023-09-02 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
Rethinking Monocular Depth Embedding for Generalized Stereo Matching
Shaanxi Key Laboratory for Network Computing and Security Technology, Xi’an University of Technology（陕西理工大学网络计算与安全技术重点实验室）；College of Computer Science, Sichuan University（四川大学计算机学院）
该研究重新思考单目深度嵌入用于广义立体匹配，通过减少分支耦合、构建软约束等方式，将单目信息集成到特征提取和GRU迭代中，还提出相关方法解决边界模糊问题，在多基准测试中达领先性能，提升了泛化能力与准确性。
2026-07-13 cs.CV
Image Masking for Robust Self-Supervised Monocular Depth Estimation
NavInfo Europe（四维图新欧洲公司）；Eindhoven University of Technology（埃因霍温理工大学）
自监督单目深度估计是三维场景理解的一个重要任务。与单目自我运动估计联合学习，已经提出了几种方法来预测准确的像素级深度，而不使用标记数据。然而，这些方法集中于在理想条件下提高性能，而没有自然或数字损坏。即使对于对象特定的深度估计，也假设一般不存在遮挡。这些方法也容易受到对抗攻击的攻击，这是它们在机器人和自动驾驶系统中可靠部署的相关问题。我们提出MIMDepth，一种自监督单目深度估计的自适应掩码图像建模（MIM）方法。虽然MIM已被用来学习可概括的功能在预训练过程中，我们展示了它如何适用于单目深度估计的直接训练。我们的实验表明，MIMDepth对噪声，模糊，天气条件，数字伪影，遮挡以及无目标和有针对性的对抗攻击更具鲁棒性。
2023-02-01 cs.CV
MetricDepth: Enhancing Monocular Depth Estimation with Deep Metric Learning
Harbin Institute of Technology（哈尔滨工业大学）
本文提出MetricDepth，通过基于差分的样本识别和多范围策略将深度度量学习引入单目深度估计，以差异化正则化负样本，从而提升模型性能。
2024-12-29 cs.CV
Adaptive confidence thresholding for monocular depth estimation
Ewha W. University（梨花女子大学）；Yonsei University（延世大学）；Korea Aerospace University（韩国航空大学）；Korea University（高丽大学）
自监督单目深度估计已成为缺乏地面实况标签的一种有吸引力的解决方案，但其重建损失通常会产生跨对象边界的过度平滑结果，并且无法显式处理遮挡。在本文中，我们提出了一种新的方法来利用伪地面实况深度图的立体图像生成的自监督立体匹配方法。伪地面实况深度图的置信度图被估计以减轻由不准确的伪深度图引起的性能退化。为了应对置信度图本身的预测误差，我们还利用阈值网络，该阈值网络根据伪深度图动态学习阈值。由阈值置信图过滤出的伪深度标签用于监督单目深度网络。此外，我们提出了概率框架，通过像素自适应卷积（PAC）层的不确定性图的帮助下，细化单目深度图。实验结果表明，性能优越的国家的最先进的单眼深度估计方法。最后，我们展示了所提出的阈值学习也可以用来提高现有的置信度估计方法的性能。
2021-08-23 cs.CV
SaccadeCam: Adaptive Visual Attention for Monocular Depth Sensing
University of Florida（佛罗里达大学）
大多数单目深度感测方法使用在不考虑场景内容的情况下创建的常规捕获的图像。相比之下，动物的眼睛有快速的机械运动，称为扫视，控制场景如何通过中央凹成像，其中分辨率最高。在本文中，我们提出了SaccadeCam框架自适应分布到感兴趣的区域在场景中的分辨率。我们的自适应分辨率算法是一个自我监督的网络，我们展示了端到端的学习单目深度估计的结果。我们还展示了一个真正的SaccadeCam硬件原型的初步结果。
2021-08-16 cs.CV
Learning Monocular Depth by Distilling Cross-domain Stereo Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
单目深度估计的目的是估计单个图像的逐像素深度图，其在场景理解和自动驾驶中具有广泛的应用。现有的监督和非监督方法面临着巨大的挑战。有监督方法需要大量的深度测量数据，这些数据通常很难获得，而无监督方法通常在估计精度方面受到限制。由图形引擎生成的合成数据为收集大量深度数据提供了一种可能的解决方案。然而，合成数据和真实数据之间的巨大领域差距使得直接使用它们进行训练具有挑战性。在本文中，我们建议使用立体匹配网络作为代理，从合成数据中学习深度，并使用预测的立体视差图来监督单目深度估计网络。跨域合成数据可以充分利用在这个新的框架。提出了不同的策略，以确保学习的深度感知能力很好地转移到不同的领域。我们广泛的实验表明，国家的最先进的单目深度估计的KITTI数据集的结果。
2018-08-20 cs.CV
Learning Monocular Depth Estimation via Selective Distillation of Stereo Knowledge
Hyundai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
基于深度学习的单目深度估计已经得到了广泛的探索，但其准确性和泛化能力仍然远远落后于基于立体的方法。为了解决这个问题，最近的一些研究提出了通过提取视差图作为代理地面实况来监督单目深度估计网络。然而，这些研究天真地提取立体知识，而没有考虑基于立体和单目深度估计方法的比较优势。在本文中，我们建议选择性地提取视差图，以实现更可靠的代理监督。具体来说，我们首先设计一个解码器（MaskDecoder），它学习两个二进制掩码，这些掩码被训练为在代理视差图和每个像素的估计深度图之间进行最佳选择。然后，将学习到的掩码馈送到另一个解码器（DepthDecoder），以强制估计的深度仅从代理视差图中的掩蔽区域学习。此外，还设计了一个教师-学生模块，将StereoNet的几何知识转移到MonoNet。大量的实验验证了我们的方法在KITTI数据集上实现了最先进的自监督和代理监督单目深度估计性能，甚至超过了一些半监督方法。
2022-05-18 cs.CV
Align3R: Aligned Monocular Depth Estimation for Dynamic Videos
HKUST（香港科技大学）；HKU（香港大学）；ShanghaiTech（上海科技大学）；WHU（武汉大学）；TAMU（德克萨斯农工大学）；NTU（南洋理工大学）；CUHK（香港中文大学）
本文提出 Align3R，利用并微调 DUSt3R 对齐动态视频各帧的单目深度，再联合优化重建深度与相机位姿，实现优于基线的时间一致性。
2024-12-05 cs.CV
Self-Supervised Monocular Scene Decomposition and Depth Estimation
KUIS AI Center（KUIS AI中心）；Koç University（科奇大学）
自监督单目深度估计方法要么忽略场景中独立移动的对象，要么需要单独的分割步骤来识别它们。我们提出MonoDepthSeg来联合估计深度并从单目视频中分割移动对象，而不使用任何地面真实标签。我们将场景分解为固定数量的组件，每个组件对应于图像上的一个区域，其自身的变换矩阵表示其运动。我们估计的掩模和运动的每个组件有效地与共享的编码器。我们在三个驱动数据集上评估了我们的方法，并表明我们的模型在将场景分解为单独移动组件的同时明显提高了深度估计。
2021-10-21 cs.CV
Monocular Depth Decomposition of Semi-Transparent Volume Renderings
Ulm University（乌尔姆大学）
神经网络在从彩色图像中提取几何信息方面取得了巨大的成功。特别是，单目深度估计网络在真实世界场景中越来越可靠。在这项工作中，我们调查的适用性，这样的单眼深度估计网络的半透明体渲染图像。由于深度是出了名的难以定义的体积场景中没有明确定义的表面，我们认为不同的深度计算已经出现在实践中，并比较国家的最先进的单眼深度估计方法，这些不同的解释在评估过程中考虑不同程度的不透明度的渲染。此外，我们研究如何扩展这些网络，以进一步获得颜色和不透明度信息，以创建一个分层表示的场景的基础上一个单一的彩色图像。该分层表示由空间上分离的半透明间隔组成，这些间隔与原始输入渲染合成。在我们的实验中，我们表明，现有的方法，单目深度估计可以适应执行良好的半透明体渲染，这有几个应用领域的科学可视化，如重新组合与额外的对象和标签或额外的阴影。
2023-02-18 cs.CV
Depth Estimation Matters Most: Improving Per-Object Depth Estimation for Monocular 3D Detection and Tracking
Waymo LLC（Waymo有限责任公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Cornell University（康奈尔大学）
基于单目图像的3D感知由于其在自动驾驶中的应用，近年来已成为一个活跃的研究领域。然而，与基于LiDAR的技术相比，包括检测和跟踪在内的单目3D感知方法通常会产生较差的性能。通过系统的分析，我们发现，每个对象的深度估计精度是一个主要的因素限制的性能。出于这种观察，我们提出了一种多级融合方法，该方法将不同的表示（RGB和伪激光雷达）和对象（轨迹）的多帧时间信息相结合，以增强每个对象的深度估计。我们提出的融合方法在Waymo Open Dataset、KITTI检测数据集和KITTI MOT数据集上实现了最先进的每对象深度估计性能。我们进一步证明，通过简单地用融合增强深度替换估计深度，我们可以在单目3D感知任务中实现显着改进，包括检测和跟踪。
2022-06-08 cs.CV
Self-supervised Dense 3D Reconstruction from Monocular Endoscopic Video
The Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医疗机构）
我们提出了一种基于自监督学习的管道，用于从全长单目内窥镜视频进行密集3D重建，而无需解剖结构或阴影的先验建模。我们的方法仅依赖于未标记的单眼内窥镜视频和传统的多视图立体视觉算法，并且在训练和应用阶段都不需要手动交互或患者CT。在使用CT扫描作为地面实况的跨患者研究中，我们表明我们的方法能够从来自看不见的患者和范围的内窥镜视频中产生具有亚毫米平均残留误差的照片级逼真的密集3D重建。
2019-09-06 cs.CV
RealMonoDepth: Self-Supervised Monocular Depth Estimation for General Scenes
University of Surrey（萨里大学）
我们提出了一种广义的自监督学习方法，用于在1- 100米的不同深度范围内对场景的真实深度进行单目估计。用于单目深度估计的现有监督方法需要精确的深度测量用于训练。这种限制导致引入了自监督方法，该方法在具有固定相机基线的立体图像对上进行训练，以估计视差，该视差在给定已知校准的情况下被变换为深度。自我监督的方法已经证明了令人印象深刻的结果，但并没有推广到具有不同深度范围或相机基线的场景。在本文中，我们介绍了RealMonoDepth一个自我监督的单目深度估计方法，学习估计真实场景深度的各种室内和室外场景。提出了一种新的基于相对深度缩放和扭曲的场景真实深度损失函数。这允许具有多个数据集的单个网络的自我监督训练，用于具有来自立体对和野生移动相机数据集的不同深度范围的场景。对五个基准数据集的全面性能评估表明，RealMonoDepth提供了一个经过训练的网络，可以在室内和室外场景中进行深度估计，始终优于以前的自监督方法。
2020-04-14 cs.CV
DiffusionDepth: Diffusion Denoising Approach for Monocular Depth Estimation
PhiGent Robotics（PhiGent机器人公司）
DiffusionDepth将单目深度估计重构为自扩散去噪过程，在潜在空间中迭代细化深度图，在KITTI和NYU-Depth-V2上达到最先进性能。
2023-08-29 cs.CV
3D Object Aided Self-Supervised Monocular Depth Estimation
Soochow University（苏州大学）
单目深度估计在机器人视觉、自动驾驶和3D场景理解等领域得到了积极研究。给定一系列彩色图像，基于运动恢复结构（SfM）框架的无监督学习方法可以同时预测深度和相机相对姿态。然而，场景中动态移动的对象违反了静态世界的假设，导致动态对象的深度不准确。在这项工作中，我们提出了一种新的方法来解决这样的动态物体运动，通过单目3D目标检测。具体来说，我们首先检测图像中的3D对象，并建立动态像素与检测到的对象姿态的每像素对应关系，同时将与刚性背景对应的静态像素与相机运动建模。通过这种方式，可以通过有意义的几何模型来学习每个像素的深度。此外，目标被检测为具有绝对尺度的长方体，用于消除单目视觉中固有的尺度模糊问题。在KITTI深度数据集上的实验表明，该方法在深度估计方面达到了最先进的性能。此外，深度、相机运动和对象姿态的联合训练也提高了单目3D目标检测性能。据我们所知，这是第一个允许单目3D目标检测网络以自我监督的方式进行微调的工作。
2022-12-04 cs.CV
Depth-Relative Self Attention for Monocular Depth Estimation
Seoul National University（首尔大学）
提出RED-T模型，在自注意力中引入相对深度引导，减轻单目深度估计对RGB视觉提示的偏置，并构建限制训练深度范围的新基准以评估未见深度鲁棒性。
2023-04-25 cs.CV
RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation
Nanjing University of Science and Technology（南京理工大学）
现有的自监督单目深度估计方法可以摆脱昂贵的注释，并取得有希望的结果。然而，当直接采用在固定分辨率上训练的模型来评估其他不同分辨率时，这些方法遭受严重的性能下降。本文通过学习场景深度的尺度不变性，提出了一种分辨率自适应的自监督单目深度估计方法（RA-Depth）。具体来说，我们提出了一个简单而有效的数据增强方法来生成任意尺度的图像为同一场景。然后，我们开发了一个双重高分辨率网络，它使用具有密集交互的多路径编码器和解码器来聚合多尺度特征以进行准确的深度推断。最后，为了明确地学习场景深度的尺度不变性，我们制定了不同尺度的深度预测的跨尺度深度一致性损失。在KITTI、Make 3D和NYU-V2数据集上的大量实验表明，RA-Depth不仅具有最佳的性能，而且具有良好的分辨率自适应能力。
2022-07-26 cs.CV
Depth Map Decomposition for Monocular Depth Estimation
Korea University（高丽大学）；Gauss Labs Inc.（高斯实验室公司）；Dongguk University（东国大学）
提出了一种新的单目深度估计算法，该算法将度量深度图分解为归一化深度图和尺度特征。所提出的网络由一个共享的编码器和三个解码器组成，称为G-Net，N-Net和M-Net，分别估计梯度图，归一化深度图和度量深度图。M-Net学习使用G-Net和N-Net提取的相对深度特征更准确地估计度量深度。该算法的优点是可以使用没有深度标签的数据集来提高深度深度估计的性能。在不同数据集上的实验结果表明，该算法不仅提供了具有竞争力的性能，国家的最先进的算法，但也产生了可接受的结果，即使只有少量的度量深度数据可用于其训练。
2022-08-23 cs.CV
EdgeConv with Attention Module for Monocular Depth Estimation
Yonsei University（延世大学）
单目深度估计在机器人和自动驾驶中是一项特别重要的任务，其中3D结构信息是必不可少的。然而，极端的光照条件和复杂的表面对象使得难以预测单个图像中的深度。因此，为了生成准确的深度图，模型学习场景的结构信息非常重要。针对单目深度估计的困难，提出了一种新的逐块边缘转换模块（PEM）和边缘转换注意模块（EAM）。所提出的模块通过使用边缘卷积学习空间中彼此接近的图像块之间的关系来提取结构信息。我们的方法在两个流行的数据集上进行了评估，NYU Depth V2和KITTI Eigen split，实现了最先进的性能。我们证明了该模型预测深度鲁棒性具有挑战性的场景，通过各种比较实验。
2021-10-26 cs.CV
Deep multi-scale architectures for monocular depth estimation
Safran（赛峰集团）；Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS（法国国家科学研究中心）
本文旨在了解的作用，多尺度信息的深度估计从单目图像。更确切地说，本文研究了四种不同的深度CNN架构，旨在明确利用网络中的多尺度特征，并将其与最先进的单尺度方法进行比较。该论文还表明，涉及多尺度特征的深度估计不仅提高了性能的准确性，但也给出了更好的深度图。在广泛使用的NYU深度数据集上进行了实验，所提出的方法达到了最先进的性能。
2018-06-08 cs.CV
Monocular Depth Estimators: Vulnerabilities and Attacks
Indian Institute of Technology Patna（印度理工学院巴特那分校）
神经网络的最新进展导致可靠的单目深度估计。单目深度估计技术比传统的深度估计技术具有优势，因为它在推理期间仅需要一个图像。深度估计是机器人技术中的基本任务之一，单目深度估计具有各种安全关键应用，如自动驾驶汽车和手术设备。因此，这种技术的鲁棒性非常关键。最近的研究表明，这些深度神经网络在分类、检测和分割等任务中极易受到对抗样本的攻击。这些对抗性样本可以完全破坏系统的输出，使其在实时部署中的可信度受到质疑。在本文中，我们研究了最先进的单目深度估计网络对对抗攻击的鲁棒性。我们的实验表明，对图像的微小扰动是不可见的肉眼（扰动攻击）和腐败小于约1%的图像（补丁攻击）可以影响深度估计急剧。我们引入了一种新的深度特征湮灭损失，它破坏了隐藏的特征空间表示，迫使网络的解码器输出糟糕的深度图。白盒和黑盒测试称赞所提出的攻击的有效性。我们还执行对抗性示例可转移性测试，主要是跨数据可转移性。
2020-05-28 cs.CV
Variational Monocular Depth Estimation for Reliability Prediction
TOYOTA Central R&D Labs., INC.（丰田中央研发实验室）
单目深度估计的自监督学习作为监督学习方法的替代方案被广泛研究，其需要大量的地面真值。以前的工作通过修改模型结构、添加目标、掩蔽动态对象和遮挡区域，成功提高了深度估计的准确性。然而，当在诸如自主车辆和机器人的应用中使用这样的估计深度图像时，我们必须一致地相信每个像素位置处的估计深度。这可能会导致执行任务时出现致命错误，因为某些像素处的估计深度可能会犯更大的错误。在本文中，我们从理论上制定了一个变分模型的单目深度估计预测的可靠性估计的深度图像。根据计算结果，我们可以排除可靠性较低的估计深度，或对它们进行改进以供实际使用。使用KITTI基准测试和Make 3D数据集定量和定性地证明了所提出方法的有效性。
2020-11-24 cs.CV
PTC-Depth: Pose-Refined Monocular Depth Estimation with Temporal Consistency
Ajou University（亚洲大学）；Sony Creative AI Lab（索尼创意AI实验室）
本文提出PTC-Depth框架，通过轮式里程计实现稳定深度估计，结合光流三角化估计相机姿态和稀疏深度，利用递归贝叶斯估计修正尺度，提升深度预测的准确性和一致性。
2026-04-02 cs.CV
Lightweight Monocular Depth Estimation
University of Alberta（阿尔伯塔大学）
单目深度估计可以在解决从2D图像导出场景几何形状的问题中发挥重要作用。它已被用于各种行业，包括机器人，自动驾驶汽车，场景理解，3D重建等。我们的方法的目标是创建一个轻量级的机器学习模型，以预测每个像素的深度值，仅给定一个RGB图像作为图像分割网络的Unet结构的输入。我们使用NYU Depth V2数据集来测试结构，并将结果与其他方法进行比较。该方法实现了相对较高的精度和较低的均方根误差。
2022-12-21 cs.CV
NimbleD: Enhancing Self-supervised Monocular Depth Estimation with Pseudo-labels and Large-scale Video Pre-training
University of Reading（雷丁大学）
本文提出NimbleD框架，利用大型视觉模型生成的伪标签进行监督，无需相机内参即可进行大规模视频预训练，显著提升了轻量级模型的深度估计性能，满足低延迟VR/AR应用需求。
2024-08-26 cs.CV
Guiding Monocular Depth Estimation Using Depth-Attention Volume
University of Oulu（奥卢大学）；Czech Technical University（捷克理工大学）；Tampere University（坦佩雷大学）
从单个图像恢复场景深度是一个不适定的问题，需要额外的先验，通常被称为单目深度线索，以消除不同的3D解释的歧义。在最近的工作中，这些先验知识已经通过使用深度神经网络从大型数据集中以端到端的方式学习。在本文中，我们提出了指导深度估计，有利于平面结构，尤其是在室内环境中无处不在。这是通过将一个非局部共面约束的网络与一个新的注意力机制称为深度注意力体积（DAV）。在两个流行的室内数据集，即NYU-Depth-v2和ScanNet上的实验表明，我们的方法实现了最先进的深度估计结果，同时只使用了竞争方法所需参数的一小部分。
2020-08-16 cs.CV
Analysis of NaN Divergence in Training Monocular Depth Estimation Model
POSTECH（浦项科技大学）
本研究针对单目深度估计模型训练中出现的NaN损失问题，分析出三类致因漏洞，提出对应预防指南，实验验证可同时提升优化稳定性与模型性能。
2023-11-07 cs.CV
Monocular Depth Prediction through Continuous 3D Loss
University of Michigan（密歇根大学）；Tsinghua University（清华大学）
本文提出了一种新的连续三维损失函数，用于从单目图像中学习深度。使用稀疏LIDAR点来监督来自单目图像的密集深度预测，这使我们能够在训练期间利用相机-LIDAR传感器套件的可用开源数据集。目前，准确和负担得起的距离传感器是不容易获得的。立体相机和激光雷达测量深度要么不准确，要么稀疏/昂贵。与当前的点对点损失评估方法相比，所提出的3D损失将点云视为连续对象;因此，它补偿了由于LIDAR的稀疏测量而导致的密集地面真实深度的缺乏。我们在三种最先进的单目深度预测方法DORN，BTS和Monodepth 2中应用了所提出的损失。实验评估表明，提出的损失提高了深度预测精度，并产生点云与所有测试基线相比，具有更一致的3D几何结构，这意味着提出的损失一般深度预测网络的好处。这项工作的视频演示可在https://youtu.be/5HL8BjSAY4Y上获得。
2020-08-08 cs.CV
NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis
University of Alicante（阿利坎特大学）；ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）；University of Amsterdam（阿姆斯特丹大学）
基于新的视图合成的最新进展，我们提出了它的应用，以改善单目深度估计。特别是，我们提出了一种新的训练方法，分为三个主要步骤。首先，将单目深度网络的预测结果扭曲到附加视点。其次，我们应用了一个额外的图像合成网络，它纠正和改善扭曲的RGB图像的质量。该网络的输出需要通过最小化逐像素RGB重建误差来尽可能地与地面实况视图相似。第三，我们将相同的单目深度估计重新应用到合成的第二视点上，并确保深度预测与相关联的地面实况深度一致。实验结果证明，我们的方法在KITTI和NYU-Depth-v2数据集上实现了最先进或相当的性能，具有轻量级和简单的vanilla U-Net架构。
2021-12-22 cs.CV
Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
基于单幅图像的深度估计是计算机视觉中的一个研究热点。最准确的方法是基于完全监督学习模型，它依赖于大量密集和高分辨率（HR）的地面实况深度图。然而，在实践中，彩色图像通常以比深度图高得多的分辨率捕获，导致分辨率失配效应。在本文中，我们提出了一种新的弱监督框架来训练单目深度估计网络，以生成具有分辨率失配监督的HR深度图，即，输入是HR彩色图像，地面实况是低分辨率（LR）深度图。提出的弱监督框架由一个共享权值的单目深度估计网络和一个深度重构网络组成。具体地，对于单目深度估计网络，输入彩色图像首先被下采样以获得其具有与地面实况深度相同的分辨率的LR版本。然后，HR和LR彩色图像都被馈送到所提出的单目深度估计网络，以获得相应的估计深度图。我们引入三个损失来训练网络：1）估计的LR深度和地面实况LR深度之间的重建损失; 2）下采样的估计的HR深度和地面实况LR深度之间的重建损失; 3）估计的LR深度和下采样的估计的HR深度之间的一致性损失。此外，我们还设计了一个从深度到深度的深度重建网络。通过蒸馏损失，两个网络之间的特征在亲和空间中保持结构一致性，最终提高估计网络的性能。实验结果表明，我们的方法取得了优越的性能比无监督和半监督学习为基础的计划，是有竞争力的，甚至更好的监督相比。
2021-09-23 cs.CV
DepthP+P: Metric Accurate Monocular Depth Estimation using Planar and Parallax
当前的自监督单目深度估计方法大多基于估计表示相机运动的刚体运动。这些方法在其预测中遭受众所周知的尺度模糊性问题。我们提出了DepthP+P，这是一种通过遵循传统的平面视差范式来学习以度量尺度估计输出的方法。我们首先使用公共地平面来对齐两个帧，该公共地平面消除了相机运动中的旋转分量的影响。使用两个神经网络，我们预测深度和相机平移，与旋转一起预测相比，单独预测更容易。通过假设已知的相机高度，我们可以计算3D点的诱导2D图像运动，并将其用于在自监督单目方法中重建目标图像。我们在KITTI驾驶数据集上进行了实验，结果表明，平面视差方法只需要预测相机平移，可以作为依赖于估计6DoF相机运动的当前方法的度量准确的替代方案。
2023-01-05 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich（慕尼黑工业大学）
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块，相关的粗深度预测，聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外，我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块，我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比，这产生了几何上有意义的注意力，并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
A Novel Solution for Drone Photogrammetry with Low-overlap Aerial Images using Monocular Depth Estimation
Wuhan University（武汉大学）；ETH Zurich（苏黎世联邦理工学院）；The Hong Kong Polytechnic University（香港理工大学）
本研究提出基于单目深度估计的新工作流程，利用空中三角测量连接点建立单目与度量深度关系，解决了低重叠航拍图像摄影测量问题，在保证米级精度下显著提升了场景重建的完整性。
2025-03-06 cs.CV
Pseudo RGB-D for Self-Improving Monocular SLAM and Depth Prediction
IIIT-Delhi（德里信息技术学院）；NEC Laboratories America, Inc.（NEC美国实验室公司）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
经典的单目同时定位与地图构建（SLAM）和最近出现的用于单目深度预测的卷积神经网络（CNN）代表了构建周围环境的3D地图的两种很大程度上不相交的方法。在本文中，我们证明了这两个耦合，利用各自的优势减轻对方的缺点。具体来说，我们提出了一种基于窄基线和宽基线的联合自改进框架，其中一方面利用CNN预测的深度来执行基于伪RGB-D特征的SLAM，从而比单目RGB SLAM基线具有更好的准确性和鲁棒性。另一方面，来自更有原则的几何SLAM的经调整的3D场景结构和相机姿态通过为改进深度预测网络而提出的新颖宽基线损失被注入回深度网络，这然后继续有助于在下一迭代中进行更好的姿态和3D结构估计。我们强调，我们的框架在训练和推理阶段都只需要未标记的单眼视频，并且能够优于最先进的自监督单眼和立体深度预测网络（例如Monodepth 2）和基于特征的单眼SLAM系统（即ORB-SLAM）。在KITTI和TUM RGB-D数据集上进行的广泛实验验证了我们自我改进的几何CNN框架的优越性。
2020-08-07 cs.CV
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
自监督单目深度估计由于其重要的实际意义和近年来的发展前景而得到了广泛的研究。然而，大多数作品遭受有限的监督光度一致性，特别是在弱纹理区域和对象边界。为了克服这个弱点，我们提出了新的想法，以提高自我监督的单目深度估计，利用跨域的信息，特别是场景语义。我们专注于将隐含的语义知识几何表示增强，并提出两个想法：一个度量学习方法，利用语义引导的局部几何优化中间深度表示和一个新的功能融合模块，明智地利用两个异构特征表示之间的交叉模态。我们在KITTI数据集上全面评估了我们的方法，并证明我们的方法优于最先进的方法。源代码可在https://github.com/hyBlue/FSRE-Depth上获得。
2021-08-19 cs.CV
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
Southeast University（东南大学）
提出HypoDepth，首个事件-图像单目深度迭代细化框架，通过离散深度假设体和三维代价体将深度回归转为约束搜索，在DSEC和MVSEC上取得最先进结果，且微型模型支持实时运行。
2026-10-05 cs.CV
Generating and Exploiting Probabilistic Monocular Depth Estimates
Washington University in St. Louis（圣路易斯华盛顿大学）；The Boeing Company（波音公司）
除了从单个图像进行深度估计之外，单目线索在更广泛的深度推断应用和设置中是有用的-例如当人们可以利用其他可用的深度线索来提高精度时。目前，具有不同推理任务和深度线索组合的不同应用程序通过不同的专用网络来解决-为每个应用程序单独训练。相反，我们提出了一个通用的任务不可知的单眼模型，输出的概率分布场景深度给定的输入彩色图像，作为样本近似的输出从一个补丁明智的条件VAE。我们表明，这种分布式输出可用于在不同的设置中启用各种推理任务，而无需为每个应用程序重新训练。在各种应用程序中（深度完成、用户引导的估计等），我们的通用模型产生具有高精度的结果-与依赖于特定应用网络的最先进的方法相当或超过该结果。
2019-12-10 cs.CV
PromptMono: Cross Prompting Attention for Self-Supervised Monocular Depth Estimation in Challenging Environments
Northwestern Polytechnical University（西北工业大学）
针对挑战性环境中单目深度估计困难，提出PromptMono自监督框架，利用可学习视觉提示和门控跨提示注意力模块，在Oxford Robotcar和nuScenes数据集上验证了优越性能。
2025-03-28 cs.CV
Geometry meets semantics for semi-supervised monocular depth estimation
University of Bologna（博洛尼亚大学）
从单个图像进行深度估计是计算机视觉中一个非常令人兴奋的挑战。虽然其他基于图像的深度感测技术利用不同视点之间的几何形状（例如，立体或运动恢复结构），在单个图像内缺乏这些线索使得单目深度估计任务不适定。对于推断，用于单目深度估计的现有技术的编码器-解码器架构依赖于在训练时学习的有效特征表示。对于这些模型的无监督训练，通过从由立体钻机或移动相机获取的视图计算的合适的图像扭曲损失，已经有效地利用了几何形状。在本文中，我们进一步表明，从图像中学习语义信息，能够有效地提高单目深度估计以及。特别是，通过利用语义标记的图像以及通过图像扭曲损失通过几何获得的无监督信号，我们提出了一种旨在联合语义分割和深度估计的深度学习方法。我们的整体学习框架是半监督的，因为我们只在语义领域部署地面实况数据。在训练时，我们的网络学习两个任务的共同特征表示，并提出了一种新的跨任务损失函数。实验结果表明，如何联合处理深度预测和语义分割，允许提高深度估计的准确性。特别是，在KITTI数据集上，我们的网络优于最先进的单眼深度估计方法。
2018-10-26 cs.CV
360MonoDepth: High-Resolution 360° Monocular Depth Estimation
University of Bath（巴斯大学）
360°摄像机可以在Single Shot中捕获完整的环境，这使得360°图像在许多计算机视觉任务中具有吸引力。然而，单目深度估计对于360°数据仍然是一个挑战，特别是对于像2K（2048x1024）这样的高分辨率以及对于新颖视图合成和虚拟现实应用来说重要的更高分辨率。由于GPU内存有限，目前基于CNN的方法不支持如此高的分辨率。在这项工作中，我们提出了一个灵活的框架，单目深度估计从高分辨率的360°图像使用切线图像。我们将360°输入图像投影到一组生成透视图的切平面上，这些切平面适用于最新、最准确的最先进的透视单目深度估计器。为了实现全局一致的视差估计，我们使用可变形的多尺度对齐，然后进行梯度域混合来重组各个深度估计。其结果是一个密集的，高分辨率的360°深度图，具有高层次的细节，也适用于现有方法不支持的户外场景。我们的源代码和数据可以在https://manurare.github.io/360monodepth/上找到。
2022-03-28 cs.CV
Robust Semi-Supervised Monocular Depth Estimation with Reprojected Distances
Toyota Research Institute (TRI)（丰田研究院（TRI））
从单个图像中进行密集的深度估计是计算机视觉中的一个关键问题，在许多机器人任务中具有令人兴奋的应用。最初被视为直接回归问题，需要注释标签作为训练时的监督，在过去的几年中，在基于强几何线索的自监督深度训练中已经完成了大量的工作，无论是来自立体摄像机还是最近的单目视频序列。在本文中，我们研究了如何将这两种方法（监督和自监督）有效地结合起来，以便深度模型可以学习从稀疏监督中编码真实尺度，同时通过利用几何线索实现高保真局部精度。为此，我们提出了一种新的监督损失长期补充广泛使用的光度损失，并展示了它如何可以用来训练强大的半监督单目深度估计模型。此外，我们评估了实际上需要多少监督来训练精确的尺度感知单目深度模型，表明使用我们提出的框架，非常稀疏的LiDAR信息，只有4个波束（每个图像不到100个有效深度值），就足以实现与当前最先进技术竞争的结果。
2019-11-19 cs.CV
SUB-Depth: Self-distillation and Uncertainty Boosting Self-supervised Monocular Depth Estimation
School of Computing Sciences（计算科学学院）；University of East Anglia（东英吉利大学）
我们提出了SUB-Depth，一个通用的多任务训练框架，用于自监督单目深度估计（SVM）。使用SUB-Depth训练的深度模型优于在标准单任务训练框架中训练的相同模型。通过将额外的自蒸馏任务引入到标准的训练框架中，SUB-Depth训练深度网络，不仅可以预测图像重建任务的深度图，还可以从具有未标记数据的经过训练的教师网络中提取知识。为了利用这种多任务设置，我们提出了每个任务的同方差不确定性公式，以惩罚可能受到教师网络噪声影响或违反网络噪声假设的区域。我们对KITTI进行了广泛的评估，以证明使用所提出的框架训练一系列现有网络所取得的改进，并且我们在这项任务上实现了最先进的性能。此外，SUB-Depth使模型能够估计深度输出的不确定性。
2022-11-29 cs.CV
Self-supervised Learning for Dense Depth Estimation in Monocular Endoscopy
The Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医疗机构）
我们提出了一种自监督的方法来训练卷积神经网络，用于从单目内窥镜数据进行密集深度估计，而无需解剖结构或阴影的先验建模。我们的方法只需要从单目内窥镜视频和多视图立体视觉重建方法，例如运动恢复结构，监督学习稀疏但准确的方式的顺序数据。因此，我们的方法既不需要手动交互，如缩放或标记，也不需要在训练和应用阶段的患者CT。我们证明了我们的方法从两个病人的鼻窦内窥镜数据的性能和验证深度预测定量使用相应的患者CT扫描，我们发现亚毫米级的残留误差。
2018-07-26 cs.CV
SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes
University of Oxford（牛津大学）；The University of Adelaide（阿德莱德大学）；OPPO US Research Center（OPPO美国研究中心）；DJI Technology（大疆科技）；Zhejiang University（浙江大学）
针对动态场景下自监督单目深度估计精度低、边界模糊的问题，提出SC-DepthV3，利用预训练模型生成的伪深度先验设计新损失函数，在6个数据集上取得显著优于现有方法的性能。
2023-10-05 cs.CV
Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Huawei European Research Center（华为欧洲研究中心）；Technische Universität München（慕尼黑工业大学）
深度信息对于自动驾驶和驾驶员辅助中的车载感知至关重要。单目深度估计（MDE）是非常吸引人的，因为它允许外观和深度直接像素对应而无需进一步校准。最好的MDE模型基于以监督方式训练的卷积神经网络（CNN），即，假设逐像素地面实况（GT）。通常，该GT在训练时通过校准的多模态传感器套件获得。然而，在训练时仅使用单目系统也更便宜且更具可扩展性。这是可能的，依靠结构从运动（SfM）的原则，以产生自我监督。然而，问题的隐藏对象，可见性的变化，静态相机的间隔，无纹理的区域，和规模的模糊性，减少了这种自我监督的有用性。在本文中，我们执行单目深度估计的虚拟世界监督（MonoDEVS）和现实世界的SfM自我监督。我们通过利用具有准确语义和深度监督的虚拟世界图像并解决虚拟到真实领域的差距来补偿SfM自我监督的限制。我们的MonoDEVSNet优于以前在单眼甚至立体声序列上训练的MDE CNN。
2022-06-03 cs.CV
Depthformer : Multiscale Vision Transformer For Monocular Depth Estimation With Local Global Information Fusion
Indian Institute of Technology Delhi（印度理工学院德里分校）
基于注意力的模型（如Transformers）在密集预测任务（如语义分割）上表现出出色的性能，这是因为它们能够捕获图像中的长距离依赖性。然而，Transformers的单目深度预测的好处很少被探索到目前为止。本文基准各种基于变换的模型的深度估计任务的室内NYUV2数据集和室外KITTI数据集。我们提出了一种新的基于注意力的架构，用于单目深度估计的Depthformer，其使用多头自注意力来产生多尺度特征图，这些特征图通过我们提出的解码器网络有效地组合。我们还提出了一个Transbins模块，它将深度范围划分为bin，每个图像的中心值是自适应估计的。估计的最终深度是每个像素的面元中心的线性组合。Transbins模块在编码阶段使用Transformer模块来利用全局感受野。在NYUV2和KITTI深度估计基准上的实验结果表明，我们提出的方法在均方根误差（RMSE）方面分别提高了3.3%和3.3%。代码可在https://github.com/ashutosh1807/Depthformer.git上获得。
2022-07-12 cs.CV
Monocular Depth Estimation with Hierarchical Fusion of Dilated CNNs and Soft-Weighted-Sum Inference
Northwestern Polytechnical University（西北工业大学）
单目深度估计在描绘不同尺度的多个对象的复杂构图中是一项具有挑战性的任务。尽管最近由于深度卷积神经网络（CNN）而取得了巨大进展，但最先进的单眼深度估计方法仍然无法处理这种现实世界的挑战性场景。在本文中，我们提出了一个深度端到端学习框架来解决这些挑战，它学习从彩色图像到相应深度图的直接映射。首先，我们将单目深度估计表示为多类别密集标记任务，与基于回归的公式化相比。通过这种方式，我们可以建立在最近的进展密集标记，如语义分割。其次，我们以分层的方式融合前端扩张卷积神经网络的不同侧输出，以利用多尺度深度线索进行深度估计，这对于实现尺度感知的深度估计至关重要。第三，我们提出利用软加权和推理代替硬最大推理，将离散化的深度分数转换为连续的深度值。从而降低了量化误差的影响，提高了算法的鲁棒性。在NYU Depth V2和KITTI数据集上进行的大量实验表明，与当前最先进的方法相比，我们的方法具有优越性。此外，在NYU V2数据集上的实验表明，我们的模型能够学习深度的概率分布。
2017-08-02 cs.CV
