Semi-Supervised Deep Learning for Monocular Depth Map Prediction
RWTH Aachen University（亚琛工业大学）
受监督的深度学习经常受到缺乏足够的训练数据的困扰。具体地，在单目深度图预测的上下文中，几乎不可能在现实的动态户外环境中确定密集的地面实况深度图像。例如，当使用LiDAR传感器时，距离测量中存在噪声，传感器之间的校准不可能是完美的，并且测量通常比相机图像稀疏得多。在本文中，我们提出了一种新的方法来从单目图像中预测深度图，以半监督的方式学习。虽然我们使用稀疏地面实况深度进行监督学习，但我们也使用直接图像对齐损失来强制我们的深度网络在立体设置中产生照片一致性密集深度图。在实验中，我们展示了优越的性能，从单个图像的深度图预测相比，国家的最先进的方法。
2017-05-09 cs.CV
Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning
Seoul National University（首尔大学）；Inha University（仁荷大学）
本文针对360°单目深度估计中深度数据不足和自监督解不稳定问题，提出仅用重力对齐视频的自监督方法、监督与自监督联合学习方案以及非局部融合块，首次将Transformer成功应用于360°深度估计，并在多个基准上达到最先进性能。
2021-12-30 cs.CV
Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
基于单幅图像的深度估计是计算机视觉中的一个研究热点。最准确的方法是基于完全监督学习模型，它依赖于大量密集和高分辨率（HR）的地面实况深度图。然而，在实践中，彩色图像通常以比深度图高得多的分辨率捕获，导致分辨率失配效应。在本文中，我们提出了一种新的弱监督框架来训练单目深度估计网络，以生成具有分辨率失配监督的HR深度图，即，输入是HR彩色图像，地面实况是低分辨率（LR）深度图。提出的弱监督框架由一个共享权值的单目深度估计网络和一个深度重构网络组成。具体地，对于单目深度估计网络，输入彩色图像首先被下采样以获得其具有与地面实况深度相同的分辨率的LR版本。然后，HR和LR彩色图像都被馈送到所提出的单目深度估计网络，以获得相应的估计深度图。我们引入三个损失来训练网络：1）估计的LR深度和地面实况LR深度之间的重建损失; 2）下采样的估计的HR深度和地面实况LR深度之间的重建损失; 3）估计的LR深度和下采样的估计的HR深度之间的一致性损失。此外，我们还设计了一个从深度到深度的深度重建网络。通过蒸馏损失，两个网络之间的特征在亲和空间中保持结构一致性，最终提高估计网络的性能。实验结果表明，我们的方法取得了优越的性能比无监督和半监督学习为基础的计划，是有竞争力的，甚至更好的监督相比。
2021-09-23 cs.CV
RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation
Nanjing University of Science and Technology（南京理工大学）
现有的自监督单目深度估计方法可以摆脱昂贵的注释，并取得有希望的结果。然而，当直接采用在固定分辨率上训练的模型来评估其他不同分辨率时，这些方法遭受严重的性能下降。本文通过学习场景深度的尺度不变性，提出了一种分辨率自适应的自监督单目深度估计方法（RA-Depth）。具体来说，我们提出了一个简单而有效的数据增强方法来生成任意尺度的图像为同一场景。然后，我们开发了一个双重高分辨率网络，它使用具有密集交互的多路径编码器和解码器来聚合多尺度特征以进行准确的深度推断。最后，为了明确地学习场景深度的尺度不变性，我们制定了不同尺度的深度预测的跨尺度深度一致性损失。在KITTI、Make 3D和NYU-V2数据集上的大量实验表明，RA-Depth不仅具有最佳的性能，而且具有良好的分辨率自适应能力。
2022-07-26 cs.CV
Self-supervised Learning of Depth Inference for Multi-view Stereo
Australian National University（澳大利亚国立大学）；NVIDIA（英伟达）
最近的监督多视图深度估计网络取得了可喜的成果。与所有监督方法类似，这些网络在训练期间需要地面实况数据。然而，收集大量的多视图深度数据是非常具有挑战性的。在这里，我们提出了一个自监督学习框架，利用伪标签从输入数据的多视图立体视觉。我们开始学习估计深度图作为初始伪标签下的无监督学习框架依赖于图像重建损失作为监督。然后，我们使用精心设计的流水线，利用从更高分辨率的图像和相邻视图推断的深度信息来细化初始伪标签。我们使用这些高质量的伪标签作为监督信号来训练网络，并通过自训练迭代地提高其性能。在DTU数据集上的大量实验表明，我们提出的自监督学习框架的性能大大优于现有的无监督多视图立体视觉网络，并且与有监督的框架相比，性能相当。代码可在https://github.com/JiayuYANG/Self-supervised-CVP-MVSNet上获得。
2021-04-07 cs.CV
AVS-Net: Audio-Visual Scale Net for Self-supervised Monocular Metric Depth Estimation
SJTU Paris Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；Center for Robotics, MINES Paris, PSL University（巴黎矿业学院机器人中心（巴黎文理研究大学））
本文提出AVS-Net，将可听回声用于有监督度量深度学习，并作为自监督训练的尺度监督信号，从而提升多种深度估计方法并纠正尺度。
2024-12-02 cs.CV
Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised Monocular Depth Estimation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自监督的单目深度估计，旨在学习场景深度从单一的图像在一个自我监督的方式，近年来受到了广泛的关注。尽管最近在这一领域的努力，如何学习准确的场景深度和减轻遮挡的负面影响，自我监督的深度估计，仍然是一个悬而未决的问题。针对这一问题，我们首先实证分析了连续和离散深度约束的影响，这是广泛使用的训练过程中的许多现有的作品。然后，受上述实证分析的启发，我们提出了一种新的网络来学习用于自监督单目深度估计的遮挡感知的Coarse-to-Fine Depth map，称为OCFD-Net。给定一个任意的立体图像对训练集，所提出的OCFD-Net不仅采用离散深度约束来学习粗层次的深度图，而且还采用连续深度约束来学习场景深度残差，从而得到细层次的深度图。此外，在OCFD-Net下设计了一个遮挡感知模块，该模块能够提高学习的精细级深度图处理遮挡的能力。KITTI上的实验结果表明，在大多数情况下，该方法优于比较国家的最先进的方法在七个常用的指标。此外，在Make 3D上的实验结果表明，该方法在四种常用度量下的跨数据集泛化能力是有效的.该代码可在https://github.com/ZM-Zhou/OCFD-Net_pytorch上获得。
2022-09-15 cs.CV
Self-Supervised Monocular Depth Estimation: Solving the Dynamic Object Problem by Semantic Guidance
Technische Universität Braunschweig（布伦瑞克工业大学）
自监督单目深度估计提出了一种从单个相机图像获得3D场景信息的强大方法，其可在任意图像序列上训练而不需要深度标签，例如，从激光雷达传感器。在这项工作中，我们提出了一种新的自监督语义引导的深度估计（SGDepth）方法来处理移动的动态类（DC）对象，如移动的汽车和行人，这违反了静态世界的假设，通常在训练这些模型。具体而言，我们提出了（i）（监督）语义分割和自监督深度估计与特定任务的网络头的互利跨域训练，（ii）语义掩蔽方案提供指导，以防止移动DC对象污染的光度损失，以及（iii）检测方法与非移动DC对象的帧，从其中可以学习DC对象的深度。我们展示了我们的方法在几个基准上的性能，特别是在本征分裂上，我们超过了所有的基线，而没有测试时的改进。
2020-07-21 cs.CV
Self-Supervised Joint Learning Framework of Depth Estimation via Implicit Cues
Tianjin University（天津大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong（香港中文大学）
在自监督单目深度估计中，深度不连续性和运动目标伪影仍然是具有挑战性的问题。现有的自监督方法通常利用单个视图来训练深度估计网络。与静态视图相比，视频帧间丰富的动态特性有利于精确的深度估计，尤其是对于动态对象。在这项工作中，我们提出了一种新的自监督联合学习框架，用于使用来自单目和立体视频的连续帧进行深度估计。其主要思想是使用一个隐式的深度线索提取器，它利用动态和静态线索来生成有用的深度建议。这些线索可以预测可区分的运动轮廓和几何场景结构。此外，引入了一种新的高维注意力模块来提取清晰的全局变换，有效地抑制了高维空间中局部描述符的不确定性，使得学习框架的优化更加可靠。实验表明，该框架优于国家的最先进的（SOTA）KITTI和Make3D数据集。
2020-06-26 cs.CV
Robust Semi-Supervised Monocular Depth Estimation with Reprojected Distances
Toyota Research Institute (TRI)（丰田研究院（TRI））
从单个图像中进行密集的深度估计是计算机视觉中的一个关键问题，在许多机器人任务中具有令人兴奋的应用。最初被视为直接回归问题，需要注释标签作为训练时的监督，在过去的几年中，在基于强几何线索的自监督深度训练中已经完成了大量的工作，无论是来自立体摄像机还是最近的单目视频序列。在本文中，我们研究了如何将这两种方法（监督和自监督）有效地结合起来，以便深度模型可以学习从稀疏监督中编码真实尺度，同时通过利用几何线索实现高保真局部精度。为此，我们提出了一种新的监督损失长期补充广泛使用的光度损失，并展示了它如何可以用来训练强大的半监督单目深度估计模型。此外，我们评估了实际上需要多少监督来训练精确的尺度感知单目深度模型，表明使用我们提出的框架，非常稀疏的LiDAR信息，只有4个波束（每个图像不到100个有效深度值），就足以实现与当前最先进技术竞争的结果。
2019-11-19 cs.CV
Self-Supervised Human Depth Estimation from Monocular Videos
Simon Fraser University（西蒙弗雷泽大学）；Nanjing University（南京大学）；ETH Zürich（苏黎世联邦理工学院）；Alibaba AI Labs（阿里巴巴人工智能实验室）
以前估计人体深度细节的方法通常需要使用“地面实况”深度数据进行监督训练。本文提出了一种自监督的方法，可以训练的YouTube视频没有已知的深度，这使得训练数据收集简单，提高了学习网络的泛化能力。自监督学习通过最小化照片一致性损失来实现，该照片一致性损失在视频帧与根据估计的深度和人体的3D非刚性运动而变形的其相邻帧之间进行评估。为了解决这个非刚体运动，我们首先估计一个粗略的SMPL模型在每个视频帧，并计算相应的非刚体运动，这使得自监督学习估计的形状细节。实验表明，该方法具有更好的泛化能力，在野外数据上的表现也更好。
2020-05-07 cs.CV
GlocalFuse-Depth: Fusing Transformers and CNNs for All-day Self-supervised Monocular Depth Estimation
The University of Hong Kong（香港大学）；Advanced Biomedical Instrumentation Centre（先进生物医学仪器中心）
近年来，自监督单目深度估计因其无需深度标注且在标准基准上取得了显著的效果而受到广泛关注。然而，大多数现有的方法只集中在白天或夜间图像，因此，他们的性能下降的其他领域，因为白天和夜间图像之间的大范围移动。为了解决这个问题，在本文中，我们提出了一个两个分支的网络GlocalFuse-Depth自监督深度估计的全天图像。输入图像对中的白天和夜间图像分别被馈送到两个分支：CNN分支和Transformer分支，其中可以有效地捕获细粒度细节和全局依赖性。此外，提出了一种新的融合模块来融合这两个分支的多维特征。大量的实验表明，GlocalFuse-Depth在Oxford RobotCar数据集上实现了全天图像的最新结果，这证明了我们方法的优越性。
2023-02-20 cs.CV
On the uncertainty of self-supervised monocular depth estimation
University of Bologna（博洛尼亚大学）
用于单目深度估计的自监督范例是非常有吸引力的，因为它们根本不需要地面实况注释。尽管这些方法产生了惊人的结果，但学习推理估计深度图的不确定性对于实际应用来说是至关重要的，但在文献中是未知的。有目的地，我们第一次探索如何估计这项任务的不确定性，以及这如何影响深度准确性，提出了一种专门为自我监督方法设计的新颖的特殊技术。在标准的KITTI数据集上，我们详尽地评估了每种方法在不同自监督范式下的性能。这样的评估强调了我们的建议i）总是显着提高深度准确性，ii）在序列上训练时产生关于不确定性估计的最新结果，并且独特地部署立体声对的竞争结果。
2020-05-13 cs.CV
Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth Estimation with Both Implicit and Explicit Semantic Guidance
Northwestern Polytechnical University（西北工业大学）
自监督深度估计在从未标记图像序列学习深度方面取得了巨大成功。虽然图像和像素级深度之间的映射在当前的方法中得到了很好的研究，但图像，深度和场景语义之间的相关性却很少考虑。这阻碍了网络更好地理解场景的真实几何形状，因为上下文线索不仅贡献了场景深度的潜在表示，而且还贡献了深度图的直接约束。在本文中，我们利用这两个好处，提出了精确的自我监督深度估计的隐式和显式语义指导。我们提出了一个语义感知的空间特征对齐（SSFA）计划，有效地对齐隐含的语义特征与深度特征的场景感知的深度估计。我们还提出了一个语义指导的排名损失明确限制估计的深度图与真实场景的上下文属性是一致的。语义标签噪声和预测不确定性都被认为是产生可靠的深度监督。大量的实验结果表明，我们的方法产生高质量的深度图，无论是在复杂的场景或不同的语义类别是一贯优越的，并优于国家的最先进的方法显着的利润。
2021-02-11 cs.CV
SUB-Depth: Self-distillation and Uncertainty Boosting Self-supervised Monocular Depth Estimation
School of Computing Sciences（计算科学学院）；University of East Anglia（东英吉利大学）
我们提出了SUB-Depth，一个通用的多任务训练框架，用于自监督单目深度估计（SVM）。使用SUB-Depth训练的深度模型优于在标准单任务训练框架中训练的相同模型。通过将额外的自蒸馏任务引入到标准的训练框架中，SUB-Depth训练深度网络，不仅可以预测图像重建任务的深度图，还可以从具有未标记数据的经过训练的教师网络中提取知识。为了利用这种多任务设置，我们提出了每个任务的同方差不确定性公式，以惩罚可能受到教师网络噪声影响或违反网络噪声假设的区域。我们对KITTI进行了广泛的评估，以证明使用所提出的框架训练一系列现有网络所取得的改进，并且我们在这项任务上实现了最先进的性能。此外，SUB-Depth使模型能够估计深度输出的不确定性。
2022-11-29 cs.CV
FisheyeDistill: Self-Supervised Monocular Depth Estimation with Ordinal Distillation for Fisheye Cameras
OPPO US Research Center（OPPO美国研究中心）；InnoPeak Technology, Inc.（InnoPeak技术公司）；Wing LLC（Wing有限责任公司）
在本文中，我们处理的问题，单目深度估计鱼眼相机在一个自我监督的方式。自监督深度估计的已知问题是其在低光/过度曝光条件下和在大的均匀区域中受到影响。为了解决这个问题，我们提出了一种新的序数蒸馏损失，从一个大的教师模型中提取序数信息。这样的教师模型，因为已经在大量不同的数据上训练，可以很好地捕获深度排序信息，但缺乏保持准确的场景几何形状。结合自监督损失，我们证明了我们的模型不仅可以在具有挑战性的环境中生成合理的深度图，而且可以更好地恢复场景几何形状。我们进一步利用AR眼镜设备的鱼眼摄像头来收集室内数据集，以便于评估。
2022-05-05 cs.CV
Multi-Frame Self-Supervised Depth with Transformers
Toyota Research Institute (TRI)（丰田研究院（TRI））
除了学习基于外观的特征之外，多帧深度估计还通过经由特征匹配利用图像之间的几何关系来改进单帧方法。在本文中，我们重新审视自我监督的单目深度估计的特征匹配，并提出了一种新的Transformer架构的成本体积生成。我们使用深度离散核线采样来选择匹配的候选人，并通过一系列的自我和交叉注意层来改进预测。这些层提高了像素特征之间的匹配概率，改善了容易产生歧义和局部最小值的标准相似性度量。细化的成本体积被解码为深度估计，整个管道仅使用光度目标从视频进行端到端训练。在KITTI和DDAD数据集上的实验表明，我们的DepthFormer架构在自监督单目深度估计方面建立了一个新的技术水平，甚至可以与高度专业化的监督单帧架构竞争。我们还表明，我们学习的交叉注意力网络产生了跨数据集可转移的表示，提高了预训练策略的有效性。项目页面：https://sites.google.com/tri.global/depthformer
2022-06-10 cs.CV
SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware Feature Extraction
NAVER LABS（NAVER实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
自监督单目深度估计已经成为一种有前途的方法，因为它在训练期间不需要地面实况深度图。作为地面实况深度图的替代方案，光度损失使得能够通过匹配输入图像帧来提供对深度预测的自我监督。然而，光度损失导致各种问题，导致与监督方法相比不太准确的深度值。在本文中，我们提出了SAFENet，旨在利用语义信息来克服光度损失的局限性。我们的核心思想是利用语义感知的深度功能，集成的语义和几何知识。因此，我们引入多任务学习方案，将语义感知到深度特征的表示中。KITTI数据集上的实验表明，我们的方法竞争，甚至优于国家的最先进的方法。此外，在不同数据集上的大量实验表明，该算法具有更好的泛化能力和对各种条件的鲁棒性，如弱光或恶劣天气。
2020-12-29 cs.CV
Mind The Edge: Refining Depth Edges in Sparsely-Supervised Monocular Depth Estimation
Samsung Israel R&D Center（三星以色列研发中心）；Tel Aviv University（特拉维夫大学）
本文针对LIDAR稀疏监督MDE中深度边缘误差问题，利用合成数据学习边缘检测并生成训练监督，显著提升深度边缘精度且保持逐像素深度性能。
2024-04-03 cs.CV
Revisiting Single Image Depth Estimation: Toward Higher Resolution Maps with Accurate Object Boundaries
Tohoku University（东北大学）；RIKEN（理化学研究所）
本文研究了单幅图像的深度估计问题。卷积神经网络（CNN）的应用使这一问题的研究取得了重大进展。然而，大多数现有的方法遭受损失的空间分辨率在估计的深度图，一个典型的症状是失真和模糊的重建对象的边界。在本文中，为了更准确的估计，重点是具有更高的空间分辨率的深度图，我们提出了两个改进现有的方法。一个是关于融合在不同尺度上提取的特征的策略，为此，我们提出了一种改进的网络架构，包括四个模块：编码器，解码器，多尺度特征融合模块，细化模块。另一个是关于训练中用于测量推理错误的损失函数。我们发现，三个损失项，分别测量深度，梯度和表面法线的误差，有助于提高精度的互补方式。实验结果表明，这两个改进，使达到更高的精度比目前的最先进的，这是由更精细的分辨率重建，例如，与小对象和对象边界。
2018-09-22 cs.CV
Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes
Zhejiang University（浙江大学）
自监督方法在深度估计任务上显示出有希望的结果。然而，以前的方法估计的目标深度图和摄像机的自我运动同时，未充分利用多帧的相关性信息，忽略了动态对象的运动。本文提出了一种新的Dyna-Depthformer框架，该框架联合预测场景深度和3D运动场，并使用Transformer聚合多帧信息。我们的贡献是双重的。首先，我们利用多视图相关性通过一系列的自我和交叉注意层，以获得增强的深度特征表示。具体来说，我们使用透视变换来获取初始参考点，并使用可变形注意力来减少计算成本。其次，我们提出了一种基于变形的运动网络来估计动态对象的运动场，而不使用语义先验。为了提高运动场的预测，我们提出了一个迭代优化策略，连同稀疏正则化损失。整个管道通过构建最小的重投影损失来实现端到端的自监督训练。在KITTI和Cityscapes基准上的大量实验证明了我们方法的有效性，并表明我们的方法优于最先进的算法。
2023-03-20 cs.CV
BinsFormer: Revisiting Adaptive Bins for Monocular Depth Estimation
Harbin Institute of Technology（哈尔滨工业大学）；Australian National University（澳大利亚国立大学）
单目深度估计是计算机视觉中的一项基本任务，受到越来越多的关注。最近，一些方法将其重新表述为分类回归任务以提高模型性能，其中通过预测概率分布和离散箱的线性组合来估计连续深度。在本文中，我们提出了一种新的框架，称为BinsFormer，量身定制的分类回归为基础的深度估计。它主要集中在特定任务中的两个关键组成部分：1）适当生成自适应箱和2）概率分布和箱预测之间的充分相互作用。具体来说，我们采用Transformer解码器来生成bin，新颖地将其视为直接的集到集预测问题。我们进一步集成了多尺度解码器结构，以实现对空间几何信息的全面理解，并以粗到细的方式估计深度图。此外，提出了一个额外的场景理解查询，以提高估计精度，这证明了模型可以隐式地学习有用的信息，从辅助环境分类任务。在KITTI、NYU和SUN RGB-D数据集上进行的大量实验表明，BinsFormer超越了最先进的单眼深度估计方法，具有显著的边缘。代码和预训练模型将在\url{https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox}上公开提供。
2022-04-03 cs.CV
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
自监督单目深度估计由于其重要的实际意义和近年来的发展前景而得到了广泛的研究。然而，大多数作品遭受有限的监督光度一致性，特别是在弱纹理区域和对象边界。为了克服这个弱点，我们提出了新的想法，以提高自我监督的单目深度估计，利用跨域的信息，特别是场景语义。我们专注于将隐含的语义知识几何表示增强，并提出两个想法：一个度量学习方法，利用语义引导的局部几何优化中间深度表示和一个新的功能融合模块，明智地利用两个异构特征表示之间的交叉模态。我们在KITTI数据集上全面评估了我们的方法，并证明我们的方法优于最先进的方法。源代码可在https://github.com/hyBlue/FSRE-Depth上获得。
2021-08-19 cs.CV
FusionDepth: Complement Self-Supervised Monocular Depth Estimation with Cost Volume
HKUST（香港科技大学）；Tencent（腾讯）
本文提出FusionDepth框架，通过贝叶斯融合层结合单目与多视点代价体，在无深度监督下迭代细化单目深度估计，在KITTI基准上超越现有无监督方法。
2023-05-10 cs.CV
Recurrent Neural Network for (Un-)supervised Learning of Monocular VideoVisual Odometry and Depth
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
基于深度学习的单视图深度估计方法最近已经显示出非常有希望的结果。然而，这种方法忽略了人类视觉系统中用于确定深度的最重要特征之一，即运动。我们提出了一种基于学习的多视图密集深度图和里程估计方法，该方法使用递归神经网络（RNN）并利用多视图图像重投影和前向-后向流一致性损失进行训练。我们的模型可以在监督甚至无监督模式下进行训练。它是专为深度和视觉里程计估计从视频输入帧的时间相关。然而，它也推广到单视图深度估计。我们的方法在KITTI驾驶数据集上产生优于最先进的基于单视图和多视图学习的深度估计方法的结果。
2019-04-15 cs.CV
FoundDP: Revisiting Weak Disparity Observability in Dual-Pixel Depth Estimation
Huazhong University of Science and Technology（华中科技大学）
提出FoundDP框架，结合双像素深度与单目深度基础模型的全局结构先验，通过ViT特征对齐缓解散焦模糊导致的表示退化，在弱视差区域提升结构一致性与度量精度。
2026-07-03 cs.CV
Residual-Guided Learning Representation for Self-Supervised Monocular Depth Estimation
KAIST（韩国科学技术院）
光度一致性损失是自监督单目深度估计中常用的代表性目标函数之一。然而，由于不正确的引导，这种损失通常会导致无纹理或遮挡区域中的深度预测不稳定。最近的自监督学习方法通过利用从自动编码器显式学习的特征表示来解决这个问题，期望比输入图像更好的辨别力。尽管使用了自动编码特征，但我们观察到该方法并不像自动编码特征那样嵌入有鉴别力的特征。在本文中，我们提出了剩余的指导损失，使深度估计网络嵌入的判别功能，通过转移的判别自动编码功能。我们在KITTI基准上进行了实验，并验证了我们的方法的优越性和正交性的其他国家的最先进的方法。
2021-11-08 cs.CV
MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer
East China University of Science and Technology（华东理工大学）；University of Bologna（博洛尼亚大学）；PhiGent Robotics（鉴智机器人）
自监督单目深度估计是一种有吸引力的解决方案，它不需要难以获取的深度标签进行训练。最近，卷积神经网络（CNN）在这项任务中取得了巨大成功。然而，它们有限的感受野限制了现有的网络架构只能在本地进行推理，从而抑制了自我监督范式的有效性。鉴于视觉Transformer（ViTs）最近取得的成功，我们提出了MonoViT，一个全新的框架相结合的全局推理ViT模型的灵活性，自我监督单眼深度估计。通过将普通卷积与Transformer块相结合，我们的模型可以在本地和全局进行推理，从而以更高的细节和准确度进行深度预测，从而使MonoViT能够在已建立的KITTI数据集上实现最先进的性能。此外，MonoViT在Make3D和DrivingStereo等其他数据集上证明了其卓越的泛化能力。
2022-08-06 cs.CV
Self-Supervised Monocular Scene Decomposition and Depth Estimation
KUIS AI Center（KUIS AI中心）；Koç University（科奇大学）
自监督单目深度估计方法要么忽略场景中独立移动的对象，要么需要单独的分割步骤来识别它们。我们提出MonoDepthSeg来联合估计深度并从单目视频中分割移动对象，而不使用任何地面真实标签。我们将场景分解为固定数量的组件，每个组件对应于图像上的一个区域，其自身的变换矩阵表示其运动。我们估计的掩模和运动的每个组件有效地与共享的编码器。我们在三个驱动数据集上评估了我们的方法，并表明我们的模型在将场景分解为单独移动组件的同时明显提高了深度估计。
2021-10-21 cs.CV
DeLightMono: Enhancing Self-Supervised Monocular Depth Estimation in Endoscopy by Decoupling Uneven Illumination
DeLightMono通过解耦照明和反光信息，提升内窥镜图像中低光照区域的自监督单目深度估计性能。
2025-11-25 cs.CV
$S^3$Net: Semantic-Aware Self-supervised Depth Estimation with Monocular Videos and Synthetic Data
Rutgers University（罗格斯大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；Blue River Technology（蓝河科技）
用单目相机解决深度估计使得相机作为低成本深度估计传感器在诸如自动驾驶和机器人之类的应用中广泛使用成为可能。然而，学习这种可扩展的深度估计模型需要大量标记数据，收集成本很高。有两种流行的现有方法不需要注释深度图：（i）在对抗框架中使用标记的合成和未标记的真实数据来预测更准确的深度，以及（ii）利用单目视频帧中跨空间和时间的几何结构的无监督模型。理想情况下，我们希望利用这两种方法提供的功能，因为它们相互补充;然而，现有的方法没有充分利用这些附加的好处。我们提出了$S^3$ Net，这是一个结合了这些互补功能的自监督框架：我们使用合成和真实世界的图像进行训练，同时利用几何，时间和语义约束。我们新颖的整合架构提供了使用单目视频进行自监督深度估计的新的最先进技术。我们提出了一种独特的方式来训练这个自我监督的框架，并实现（i）超过$15\%$改进以前的合成监督的方法，使用领域自适应适应和（ii）超过$10\%$改进以前的自我监督的方法，利用几何约束的真实数据。
2020-07-28 cs.CV
Enhancing self-supervised monocular depth estimation with traditional visual odometry
Univrses AB（Univrses AB公司）；University of Bologna（博洛尼亚大学）
从单个图像估计深度代表了利用多个相机的更传统方法的有吸引力的替代方案。在这个领域，深度学习取得了出色的成果，但代价是需要大量标记有精确深度测量的数据进行训练。通过利用单目序列或立体声对代替昂贵的地面实况深度注释的自监督方法，这个问题得到了缓解。本文使进一步提高单目深度估计集成到现有的自监督网络的几何先验。具体来说，我们提出了一个稀疏不变的自动编码器能够处理传统的视觉里程计算法的输出协同工作的深度从单声道网络。在KITTI数据集上的实验结果表明，通过利用几何先验，我们的建议：i）优于文献中的现有方法，ii）与紧凑和复杂的单声道深度架构很好地结合，允许其在高端GPU以及嵌入式设备（例如，NVIDIA Jetson TX2）。
2019-08-12 cs.CV
Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency
Beijing Normal University（北京师范大学）
针对无监督深度补全忽视3D结构导致精度低的问题，提出利用3D感知特征与多视图几何一致性，构建自监督深度补全方法，在NYU-Depthv2和VOID上达到最优无监督性能。
2023-12-23 cs.CV
Self-Supervised Monocular Depth Hints
Niantic；UCL（伦敦大学学院）
单目深度估计器可以用来自双目立体数据的各种形式的自我监督来训练，以规避对高质量激光扫描或其他地面实况数据的需求。然而，缺点是与自监督学习一起使用的光度重投影损失通常具有多个局部最小值。这些看似可行的替代方案可能会限制回归网络的学习，导致它预测质量有限的深度图。作为一个突出的例子，薄结构周围的深度不连续性经常被当前最先进的方法错误地估计。在这里，我们研究的问题，模糊的重新预测深度预测立体的自我监督，并引入深度提示，以减轻其影响。深度提示是从简单的现成的立体声算法获得的补充深度建议。这些提示增强了现有的光度损失函数，并用于指导网络学习更好的权重。它们不需要额外的数据，并且仅在某些时候被认为是正确的。我们表明，使用我们的深度提示在训练几个领先的自监督立体模型时，不仅是我们自己的模型，而且会有很大的提升。此外，结合其他良好的实践，我们在KITTI基准上产生了最先进的深度预测。
2019-09-19 cs.CV
Calibrating Self-supervised Monocular Depth Estimation
University of Oxford（牛津大学）
近年来，许多方法证明了神经网络仅使用自我监督作为训练信号来学习图像序列中的深度和姿势变化的能力。虽然网络实现了良好的性能，但经常被忽视的细节是，由于单目视觉的固有模糊性，它们预测的深度高达未知的缩放因子。比例因子通常在测试时从LiDAR地面实况获得，这严重限制了这些方法的实际应用。在本文中，我们表明，结合有关相机配置和环境的先验信息，我们可以消除尺度模糊性并直接预测深度，仍然使用自监督公式，而不依赖于任何额外的传感器。
2021-10-13 cs.CV
Cascade Network for Self-Supervised Monocular Depth Estimation
Zhejiang Gongshang University（浙江工商大学）
利用单目摄像机获取真实场景深度图是一个经典的计算机视觉问题，近年来受到了广泛的关注。然而，训练这种模型通常需要大量人工标记的样本。为了解决这个问题，一些研究人员使用自监督学习模型来克服这个问题，减少对手动标记数据的依赖。然而，这些方法的准确性和可靠性都没有达到预期的标准。提出了一种基于级联网络的自监督学习方法。与以往的自监督方法相比，我们的方法提高了准确性和可靠性，我们已经通过实验证明了这一点。我们展示了一个级联的神经网络，它将目标场景划分为不同视距的部分，并分别训练它们以生成更好的深度图。我们的方法分为以下四个步骤。在第一步中，我们使用自监督模型来粗略估计场景的深度。在第二步中，将第一步中生成的场景的深度用作标签以将场景划分为不同深度部分。第三步是使用不同参数的模型生成目标场景中不同深度部分的深度图，第四步是对深度图进行融合。通过消融研究，我们分别证明了每个组件的有效性，并在KITTI基准测试中显示了高质量、最先进的结果。
2020-09-14 cs.CV
Image Masking for Robust Self-Supervised Monocular Depth Estimation
NavInfo Europe（四维图新欧洲公司）；Eindhoven University of Technology（埃因霍温理工大学）
自监督单目深度估计是三维场景理解的一个重要任务。与单目自我运动估计联合学习，已经提出了几种方法来预测准确的像素级深度，而不使用标记数据。然而，这些方法集中于在理想条件下提高性能，而没有自然或数字损坏。即使对于对象特定的深度估计，也假设一般不存在遮挡。这些方法也容易受到对抗攻击的攻击，这是它们在机器人和自动驾驶系统中可靠部署的相关问题。我们提出MIMDepth，一种自监督单目深度估计的自适应掩码图像建模（MIM）方法。虽然MIM已被用来学习可概括的功能在预训练过程中，我们展示了它如何适用于单目深度估计的直接训练。我们的实验表明，MIMDepth对噪声，模糊，天气条件，数字伪影，遮挡以及无目标和有针对性的对抗攻击更具鲁棒性。
2023-02-01 cs.CV
Self-Supervised Monocular Depth Estimation with Internal Feature Fusion
University of East Anglia（东英吉利大学）
用于深度估计的自监督学习使用图像序列中的几何形状进行监督，并显示出有希望的结果。与许多计算机视觉任务一样，深度网络的性能取决于从图像中学习准确的空间和语义表示的能力。因此，利用语义分割网络进行深度估计是很自然的。在这项工作中，基于一个成熟的语义分割网络HRNet，我们提出了一种新的深度估计网络HRNet，它可以利用语义信息的下采样和上采样过程。通过应用特征融合和注意力机制，我们提出的方法在KITTI基准测试中的性能优于最先进的单目深度估计方法。我们的方法在更高分辨率的训练数据上也表现出更大的潜力。我们提出了一个额外的扩展评估策略，通过建立一个测试集的挑战性的情况下，经验来自标准基准。
2021-11-19 cs.CV
Gated2Gated: Self-Supervised Depth Estimation from Gated Images
McGill University（麦吉尔大学）；Princeton University（普林斯顿大学）；Algolux；Mercedes-Benz AG（梅赛德斯-奔驰公司）
门控相机有望成为扫描LiDAR传感器的替代品，具有高分辨率3D深度，在雾，雪和雨中具有强大的后向散射。与脉冲激光雷达传感器不同，门控成像器不是顺序扫描场景并通过光子飞行时间直接记录深度，而是以百万像素分辨率捕获的少数门控切片的相对强度对深度进行编码。尽管现有的方法已经表明，可以从这些测量中解码高分辨率深度，但这些方法需要同步和校准的LiDAR来监督门控深度解码器-禁止跨地理区域快速采用，在大型未配对数据集上进行训练，并探索汽车用例之外的替代应用。在这项工作中，我们填补了这一空白，并提出了一个完全自我监督的深度估计方法，使用门控强度配置文件和时间一致性作为训练信号。所提出的模型是从门控视频序列进行端到端训练的，不需要LiDAR或RGB数据，并学习估计绝对深度值。我们把门控切片作为输入，并解开场景的深度，深度和环境光，然后用来学习通过循环损失重建输入切片的估计。我们依赖于给定帧和相邻门控切片之间的时间一致性来估计具有阴影和反射的区域中的深度。我们的实验验证，所提出的方法优于现有的监督和自我监督的深度估计方法的基础上单目RGB和立体图像，以及监督方法的基础上门控图像。
2021-12-04 cs.CV
Occlusion-Aware Self-Supervised Monocular Depth Estimation for Weak-Texture Endoscopic Images
Jiangnan University（江南大学）；Engineering Research Center of Intelligent Technology for Healthcare, Ministry of Education（教育部医疗智能技术工程研究中心）
提出一种遮挡感知的自监督单目深度估计框架，通过遮挡掩码数据增强和非负矩阵分解引导的语义分割生成伪标签，在弱纹理内窥镜图像上实现最先进的深度估计性能，并展现出良好的跨数据集泛化能力。
2025-04-24 cs.CV
Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting
Zhejiang University, China（浙江大学）；Monash University, Australia（墨尔本大学）；MBZUAI；GigaAI（极佳科技）
本文针对前馈 3DGS 中深度边界导致点云稀疏、渲染退化的问题，提出基于预训练 transformer pointmap 的 PM-Loss 正则化，以增强边界几何平滑并跨架构提升渲染质量。
2025-06-05 cs.CV
MaskingDepth: Masked Consistency Regularization for Semi-supervised Monocular Depth Estimation
Korea University（高丽大学）；University of Bologna（博洛尼亚大学）
我们提出了MaskingDepth，一种新的半监督学习框架，用于单目深度估计，以减轻对大的地面真实深度量的依赖。MaskingDepth旨在加强强增强的未标记数据和从弱增强的未标记数据中导出的伪标签之间的一致性，这使得在没有监督的情况下学习深度。在这个框架中，提出了一种新的数据增强，以利用一个朴素的掩蔽策略作为增强，同时避免其规模之间的模糊性问题的深度从弱和强增强分支和丢失小规模的实例的风险。为了只保留来自弱增强分支的高置信度深度预测作为伪标签，我们还提出了一种不确定性估计技术，该技术用于定义鲁棒一致性正则化。KITTI和NYU-Depth-v2数据集上的实验证明了每个组件的有效性，其对使用较少深度注释图像的鲁棒性，以及与其他最先进的半监督方法相比用于单目深度估计的优越性能。此外，我们表明我们的方法可以很容易地扩展到领域自适应任务。我们的代码可在https://github.com/KU-CVLAB/MaskingDepth上获得。
2023-03-23 cs.CV
GAM-Depth: Self-Supervised Indoor Depth Estimation Leveraging a Gradient-Aware Mask and Semantic Constraints
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局下属新加坡制造技术研究院）
本文提出 GAM-Depth，通过梯度感知掩码和语义约束改善自监督室内深度估计在无纹理区域和物体边界处的不一致问题，并在 NYUv2、ScanNet 和 InteriorNet 上取得最先进性能。
2024-02-22 cs.CV
SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes
University of Oxford（牛津大学）；The University of Adelaide（阿德莱德大学）；OPPO US Research Center（OPPO美国研究中心）；DJI Technology（大疆科技）；Zhejiang University（浙江大学）
针对动态场景下自监督单目深度估计精度低、边界模糊的问题，提出SC-DepthV3，利用预训练模型生成的伪深度先验设计新损失函数，在6个数据集上取得显著优于现有方法的性能。
2023-10-05 cs.CV
NimbleD: Enhancing Self-supervised Monocular Depth Estimation with Pseudo-labels and Large-scale Video Pre-training
University of Reading（雷丁大学）
本文提出NimbleD框架，利用大型视觉模型生成的伪标签进行监督，无需相机内参即可进行大规模视频预训练，显著提升了轻量级模型的深度估计性能，满足低延迟VR/AR应用需求。
2024-08-26 cs.CV
Learn Stereo, Infer Mono: Siamese Networks for Self-Supervised, Monocular, Depth Estimation
Tel Aviv University（特拉维夫大学）；The Open University of Israel（以色列开放大学）
近年来，自监督单目深度估计领域取得了巨大的进步。大多数方法假设立体声数据在训练期间可用，但通常未充分利用它，仅将其视为参考信号。我们提出了一种新的自监督方法，它在训练过程中平等地使用左图像和右图像，但在测试时仍然可以使用单个输入图像，用于单目深度估计。我们的Siamese网络架构由两个孪生网络组成，每个网络都学习从单个图像预测视差图。然而，在测试时，仅使用这些网络中的一个来推断深度。我们在标准KITTI本征分裂基准测试中展示了最先进的结果，同时也是新KITTI单视图基准测试中得分最高的自监督方法。为了证明我们的方法推广到新数据集的能力，我们进一步提供了Make3D基准测试的结果，该测试在训练期间没有使用。
2019-05-01 cs.CV
M${^2}$Depth: Self-supervised Two-Frame Multi-camera Metric Depth Estimation
Tsinghua University（清华大学）；Megvii Technology（旷视科技）
本文提出M${^2}$Depth，一种自监督双帧多相机度量深度估计网络，通过时空代价体融合与SAM神经先验增强边缘，在nuScenes和DDAD上达到最先进性能。
2024-05-03 cs.CV
Self-Supervised Perceptually Interpretable Monocular Depth Estimation
University of Thessaly（塞萨利大学）
本文提出自监督可感知解释的单目深度估计框架PIMDE，通过分解图像为感知特征图并独立估计后融合，在KITTI上实现与现有方法相当的精度，同时增强可解释性。
2026-09-28 cs.CV
Revisiting Gradient-based Uncertainty for Monocular Depth Estimation
Ulm University（乌尔姆大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
针对单目深度估计因图像歧义易出错需不确定性评估的问题，提出后处理式基于梯度的不确定性估计方法，通过辅助损失与伪真实参考深度提取梯度，在KITTI和NYU基准上无需重训练即优于相关方法且公开代码模型。
2025-02-09 cs.CV
MambaDepth: Enhancing Long-range Dependency for Self-Supervised Fine-Structured Monocular Depth Estimation
本文提出MambaDepth，将Mamba状态空间模型与U-Net编码器-解码器框架结合，通过跳跃连接和新型Mamba块集成技术增强长程依赖建模，在KITTI等数据集上实现自监督单目深度估计的最先进性能。
2024-06-06 cs.CV
Deep Two-View Structure-from-Motion Revisited
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；NVIDIA（英伟达）
双视图运动恢复结构（SfM）是三维重建和可视化SLAM的基础。现有的基于深度学习的方法通过从两个连续帧恢复绝对姿态尺度或从单个图像预测深度图来公式化该问题，这两者都是不适定问题。相比之下，我们建议通过利用经典管道的适定性来重新审视深双视图SfM的问题。我们的方法包括：1）预测两帧之间的密集对应的光流估计网络; 2）从2D光流对应计算相对相机姿态的归一化姿态估计模块;以及3）利用对极几何来减小搜索空间、细化密集对应并估计相对深度图的尺度不变深度估计网络。大量的实验表明，我们的方法优于所有国家的最先进的双视图SfM方法的KITTI深度，KITTI VO，MVS，场景11，和SUN 3D数据集在相对姿态和深度估计的一个明确的利润率。
2021-04-01 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich（慕尼黑工业大学）
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块，相关的粗深度预测，聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外，我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块，我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比，这产生了几何上有意义的注意力，并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
EGA-Depth: Efficient Guided Attention for Self-Supervised Multi-Camera Depth Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
提出EGA-Depth引导注意力架构，通过透视图交叉参考相邻视图，仅对重叠视图执行注意力，提升自监督多相机深度估计的效率与精度，在nuScenes和DDAD基准上达到SOTA。
2023-04-06 cs.CV
SA4Depth: Consistent Pose-Depth Scale Alignment for Self-Supervised Monocular Depth Estimation
Technical University of Munich（慕尼黑技术大学）；BMW Group（宝马集团）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Google（谷歌）；VisualAIs Labs GmbH（VisualAIs实验室 GmbH）
提出SA4Depth方法，通过可微的视觉特征重投影和姿态细化，对齐自监督深度估计中深度网络和姿态网络估计的场景尺度，提升深度预测精度且不增加推理时间。
2026-06-15 cs.CV
