Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised Monocular Depth Estimation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自监督的单目深度估计，旨在学习场景深度从单一的图像在一个自我监督的方式，近年来受到了广泛的关注。尽管最近在这一领域的努力，如何学习准确的场景深度和减轻遮挡的负面影响，自我监督的深度估计，仍然是一个悬而未决的问题。针对这一问题，我们首先实证分析了连续和离散深度约束的影响，这是广泛使用的训练过程中的许多现有的作品。然后，受上述实证分析的启发，我们提出了一种新的网络来学习用于自监督单目深度估计的遮挡感知的Coarse-to-Fine Depth map，称为OCFD-Net。给定一个任意的立体图像对训练集，所提出的OCFD-Net不仅采用离散深度约束来学习粗层次的深度图，而且还采用连续深度约束来学习场景深度残差，从而得到细层次的深度图。此外，在OCFD-Net下设计了一个遮挡感知模块，该模块能够提高学习的精细级深度图处理遮挡的能力。KITTI上的实验结果表明，在大多数情况下，该方法优于比较国家的最先进的方法在七个常用的指标。此外，在Make 3D上的实验结果表明，该方法在四种常用度量下的跨数据集泛化能力是有效的.该代码可在https://github.com/ZM-Zhou/OCFD-Net_pytorch上获得。
2022-09-15 cs.CV
Improving Self-Supervised Single View Depth Estimation by Masking Occlusion
Radboud University（拉德堡德大学）
单视图深度估计模型可以使用具有视图合成作为监督信号的自监督端到端方法从视频录像训练。这是通过预测深度和相机运动的框架来实现的，其中损失基于从时间上相邻的帧重构目标视频帧。在该上下文中，遮挡涉及场景的可以在目标帧中观察到但在用于图像重建的帧中观察不到的部分。由于图像重建是基于从相邻帧的采样，并且根据定义的遮挡区域不能被采样，因此重建的遮挡区域破坏了监控信号。在之前的工作arXiv：1806.01260中，基于重建误差处理遮挡;在每个像素位置，只有具有最低误差的重建被包括在损失中。当前的研究旨在确定是否可以通过在训练期间仅忽略受遮挡影响的那些区域来获得深度估计模型的性能改进。在这项工作中，我们引入了遮挡掩模，在训练过程中可以用来专门忽略由于遮挡而无法重建的区域。遮挡掩模完全基于预测的深度信息。我们介绍了两个新的损失公式，其中包括闭塞掩模。arXiv：1806.01260的方法和实现是我们修改的基础，也是我们实验的基线。我们证明了（i）在损失函数中引入遮挡掩模可以提高KITTI基准上单个图像深度预测模型的性能。(ii)从基于误差的重建中选择的损失函数能够忽略由对象运动引起的一些重投影误差。
2019-08-29 cs.CV
Depth Extraction from Videos Using Geometric Context and Occlusion Boundaries
Georgia Institute of Technology（佐治亚理工学院）；SRI International（SRI国际研究院）
本文提出了一种动态视频场景中的深度估计算法。我们建议从场景的外观、运动、遮挡边界和几何背景来学习和推断视频中的深度。使用我们的方法，深度可以估计无约束的视频，不需要相机姿态估计，并与显着的背景/前景运动。我们首先将视频分解为时空区域。对于每个时空区域，我们学习深度与视觉外观，运动和几何类的关系。然后，我们推断新场景的深度信息，使用分段平面参数化估计马尔可夫随机场（MRF）的框架内，结合外观深度学习映射和遮挡边界引导的平滑约束。随后，我们执行时间平滑以获得时间上一致的深度图。为了评估我们的深度估计算法，我们提供了一个新的数据集与地面真实深度的户外视频场景。我们提出了一个彻底的评估我们的算法对我们的新数据集和公开的Make 3d静态图像数据集。
2015-10-25 cs.CV
Occlusion-Aware Self-Supervised Monocular Depth Estimation for Weak-Texture Endoscopic Images
Jiangnan University（江南大学）；Engineering Research Center of Intelligent Technology for Healthcare, Ministry of Education（教育部医疗智能技术工程研究中心）
提出一种遮挡感知的自监督单目深度估计框架，通过遮挡掩码数据增强和非负矩阵分解引导的语义分割生成伪标签，在弱纹理内窥镜图像上实现最先进的深度估计性能，并展现出良好的跨数据集泛化能力。
2025-04-24 cs.CV
Edge-Guided Occlusion Fading Reduction for a Light-Weighted Self-Supervised Monocular Depth Estimation
University of Arizona（亚利桑那大学）
自监督单目深度估计方法由于缺乏每像素地面实况的监督而通常遭受遮挡衰落问题。虽然后处理方法提出了由戈达尔等。为了减少遮挡衰落，补偿的结果具有严重的晕圈效应。在本文中，我们提出了一种新的边缘引导的后处理，以减少自监督单目深度估计的遮挡褪色问题。我们进一步引入Atrous空间金字塔池（ASPP）到网络中，以减少计算成本，提高推理性能。所提出的基于ASP的网络比当前常用的深度估计网络更轻、更快、更好。这种轻量级网络仅需810万个参数，使用单个nVIDA GTX 1080 GPU，在推理阶段可以实现高达40帧/秒的$256\times512$输入。拟议的网络也优于目前的国家的最先进的KITTI基准。基于ASP的网络和边缘引导的后处理在定量和定性上都比竞争对手产生更好的结果。
2019-11-26 cs.CV
Occlusion-Aware Depth Estimation with Adaptive Normal Constraints
The University of Hong Kong（香港大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出了一种新的基于学习的彩色视频多帧深度估计方法，这是场景理解、机器人导航或手持三维重建中的一个基本问题。虽然最近的基于学习的方法以高精度估计深度，但从其深度图导出的3D点云通常无法保留重要的几何特征（例如，角、边、平面）。广泛使用的像素级深度误差并不专门惩罚这些特征的不一致性。当随后的深度重建被累积以试图扫描具有这种特征的人造物体的整个环境时，这些不准确性特别严重。因此，我们的深度估计算法引入了一个组合法线映射（CNM）约束，该约束旨在更好地保留高曲率特征和全局平面区域。为了进一步提高深度估计的准确性，我们引入了一种新的遮挡感知策略，该策略将来自多个相邻视图的初始深度预测聚合到一个最终深度图和一个当前参考视图的遮挡概率图中。我们的方法优于国家的最先进的深度估计的准确性，并保持基本的几何特征的人造室内场景比其他算法更好。
2021-07-12 cs.CV
Occlusion-Aware Cost Constructor for Light Field Depth Estimation
National University of Defense Technology（国防科技大学）
匹配代价构造是光场（LF）深度估计中的关键步骤，但在深度学习时代却鲜有研究。最近的基于深度学习的LF深度估计方法通过用一系列预定义偏移顺序地移位每个子孔径图像（SAI）来构造匹配成本，这是复杂且耗时的。在本文中，我们提出了一个简单而快速的成本构造器来构造匹配成本的LF深度估计。我们的成本构造器由一系列具有专门设计的膨胀率的卷积组成。通过应用我们的成本构造SAI阵列，像素下预定义的差异可以整合和匹配成本可以构建不使用任何移位操作。更重要的是，所提出的成本构造器是闭塞意识，并可以处理闭塞动态调制像素从不同的意见。基于所提出的成本构造器，我们开发了用于LF深度估计的深度网络。我们的网络在常用的4D LF基准测试中的均方误差（MSE）排名第一，并且比其他最先进的方法实现了更快的运行时间。
2022-03-03 cs.CV
Monocular Depth Guided Occlusion-Aware Disparity Refinement via Semi-supervised Learning in Laparoscopic Images
School of Life Science and Technology, Harbin Institute of Technology（生命科学与技术学院，哈尔滨工业大学）；State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人与系统国家重点实验室，哈尔滨工业大学）
针对腹腔镜立体图像中的遮挡与标注数据稀缺问题，提出DGORNet，利用单目深度、PE模块和半监督OFDLoss细化视差，在SCARED上取得优于现有方法的结果。
2025-05-13 cs.CV
OccCasNet: Occlusion-aware Cascade Cost Volume for Light Field Depth Estimation
Beijing Normal University（北京师范大学）；National University of Defense Technology（国防科技大学）；Toronto Metropolitan University（多伦多都会大学）
本文提出OccCasNet，通过级联代价体减少采样数量，并利用遮挡图构建遮挡感知代价体，在HCI 4D基准上以更优的精度与效率平衡取得领先的MSE和Q25表现。
2023-05-28 cs.CV
Pixel-Pair Occlusion Relationship Map(P2ORM): Formulation, Inference & Application
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, ESIEE Paris（古斯塔夫·埃菲尔大学，巴黎高等电子工程师学院，法国国家科学研究中心，巴黎东大学，LIGM实验室）
我们将2D图像中的几何遮挡概念形式化（即，忽略语义），并提出了一种新的遮挡边界和遮挡方向通过像素对遮挡关系的统一制定。前者提供了一种生成大规模精确遮挡数据集的方法，而后者的基础上，我们提出了一种新的方法，任务无关的像素级遮挡关系估计从单图像。在各种数据集上的实验表明，我们的方法在这项任务上优于现有的方法。为了进一步说明我们的公式的价值，我们还提出了一个新的深度图细化方法，不断提高最先进的单眼深度估计方法的性能。我们的代码和数据可在http://imagine.enpc.fr/~qiux/P2ORM/上获得。
2020-07-23 cs.CV
Dual CNN Models for Unsupervised Monocular Depth Estimation
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
无监督深度估计是利用双目立体图像来去除深度图真实值的最新趋势。在无监督深度计算中，视差图像是通过用图像重建损失训练CNN来生成的。在本文中，提出了一种基于双CNN的模型，用于具有6个损失的无监督深度估计（DNM6），其中每个视图具有单独的CNN以生成相应的视差图。提出的双CNN模型还通过利用交叉视差扩展了12个损失（DNM12）。所提出的DNM6和DNM12模型在KITTI驾驶和Cityscapes城市数据库上进行了实验，并与最近的无监督深度估计的最新结果进行了比较。该代码可从以下网址获取：https://github.com/ishmav16/Dual-CNN-Models-for-Unsupervised-Monocular-Depth-Estimation。
2019-11-06 cs.CV
Depth Estimation using Modified Cost Function for Occlusion Handling
Poznan University of Technology（波兹南理工大学）
本文提出了一种新的方法来解决使用三视图的深度估计中的遮挡处理问题。提出了一种基于相似性代价函数修正的解决方案。在深度估计期间，通过优化算法（如Graph Cut）不断更新相似性度量，使得仅考虑侧视图中的非遮挡片段。在算法的每次迭代中，基于从中心视图的当前最佳估计深度图合成的侧视虚拟深度图来检测未被遮挡的片段。然后更新相似性度量，仅在侧视图的非遮挡区域中进行对应搜索。实验结果表明，与基于MPEG深度估计参考软件生成的深度图合成的虚拟视图相比，该方法估计的深度图可提高虚拟视图质量约1.25 dB。
2017-11-10 cs.CV cs.MM
Unsupervised Point Cloud Pre-Training via Occlusion Completion
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；University College London（伦敦大学学院）
我们描述了一个简单的点云预训练方法。它分为三个步骤：1.屏蔽在相机视图中被遮挡的所有点; 2.学习编码器-解码器模型以重建被遮挡点; 3.使用编码器权重作为下游点云任务的初始化。我们发现，即使我们构建了一个单一的预训练数据集（来自ModelNet 40），这种预训练方法也可以提高不同数据集和编码器在广泛的下游任务中的准确性。具体来说，我们证明了我们的方法在对象分类以及基于部分和语义分割任务方面优于以前的预训练方法。我们研究了预训练的特征，发现它们会导致宽的下游最小值，具有高变换不变性，并且具有与部件标签高度相关的激活。代码和数据可在https://github.com/hansen7/OcCo上获得
2021-10-13 cs.CV cs.LG
Occlusion-aware Non-Rigid Point Cloud Registration via Unsupervised Neural Deformation Correntropy
Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对非刚性点云配准中的遮挡挑战，提出无监督遮挡感知配准（OAR）方法，结合自适应相关熵函数与隐式神经表示优化未遮挡区域变形，通过理论分析和局部线性重建提升性能，在遮挡场景及多任务中表现优异。
2025-02-15 cs.AI cs.CV
Self-supervised Learning of Occlusion Aware Flow Guided 3D Geometry Perception with Adaptive Cross Weighted Loss from Monocular Videos
基于自监督深度学习的3D场景理解方法可以克服获取密集标记的地面实况的困难，并且已经取得了很多进展。然而，遮挡和移动对象仍然是一些主要的限制。在本文中，我们探讨了可学习的遮挡感知光流引导的自监督深度和相机姿态估计的自适应交叉加权损失，以解决上述限制。首先，我们探索训练可学习的遮挡掩模融合光流网络的遮挡感知光度损失的时间补充信息和相邻视图的前后一致性。在此基础上，设计了一种自适应的深度位姿损失与几何和光度误差的光流损失交叉加权方法，以区分违反静态场景假设的运动目标。我们的方法在多个任务下对KITTI，Make3D和Cityscapes数据集显示了有希望的结果。我们也表现出良好的泛化能力，在各种具有挑战性的情况下。
2021-10-22 cs.CV
Unsupervised monocular stereo matching
Northeastern University（东北大学）
目前，深度学习在单目图像深度估计中的应用越来越多，并已显示出可喜的成果。目前较为理想的单目深度估计方法是基于地面真值深度的监督学习，但该方法需要大量昂贵的地面真值深度作为监督标签。因此，研究人员开始致力于无监督的深度估计方法。尽管无监督深度估计方法的精度仍低于有监督方法，但它是一个很有前途的研究方向。本文基于在相同的无监督深度估计模型下，立体匹配模型优于单目深度估计模型的实验结果，提出了一种无监督单目视觉立体匹配方法。为了实现单目立体匹配，我们构建了两个无监督的深度卷积网络模型，一个是从左视图重建右视图，另一个是利用重建的右视图和原始左视图估计深度图。这两个网络模型在测试阶段通过管道连接在一起。在具有挑战性的KITTI数据集上，该方法的输出结果优于当前主流的无监督深度估计方法。
2018-12-31 cs.CV
Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocular Depth
Clemson University（克莱姆森大学）；City University of New York（纽约市立大学）
传统的自监督单目深度预测方法是基于静态环境假设的，这导致了由于对象运动引入的失配和遮挡问题而导致的动态场景中的精度下降。现有的动态对象聚焦方法只能部分解决训练损失水平上的不匹配问题。在本文中，我们相应地提出了一种新的多帧单目深度预测方法来解决这些问题，在预测和监督损失水平。我们的方法称为DynamicDepth，是一种通过自监督循环一致性学习方案训练的新框架。提出了一种动态对象运动解纠缠（DOMD）模块来解纠缠对象运动，以解决失配问题。此外，新的遮挡感知成本体积和重投影损失的设计，以减轻对象运动的遮挡效应。在Cityscapes和KITTI数据集上进行的大量分析和实验表明，我们的方法明显优于最先进的单目深度预测方法，特别是在动态对象领域。代码可在https://github.com/AutoAILab/DynamicDepth上获得
2022-07-23 cs.AI cs.CV cs.LG
DS-Depth: Dynamic and Static Depth Estimation via a Fusion Cost Volume
Durham University（杜伦大学）；Institute of High Performance Computing (IHPC), ASTAR（新加坡科技研究局高性能计算研究所（IHPC））；Tencent Jarvis Lab（腾讯Jarvis实验室）
针对动态场景破坏静态重投影假设的问题，本文提出融合静态与动态代价体的 DS-Depth，并结合金字塔蒸馏和自适应光度损失，在 KITTI 与 Cityscapes 上超过已有自监督单目深度基线。
2023-08-14 cs.CV
Semantics-Driven Unsupervised Learning for Monocular Depth and Ego-Motion Estimation
本文提出了一种语义驱动的无监督学习方法，用于视频中的单目深度和自我运动估计。最近的无监督学习方法利用合成视图和实际图像之间的光度误差作为用于训练的监督信号。在我们的方法中，我们利用语义分割信息来减轻场景中的动态对象和遮挡的影响，并通过考虑深度和语义之间的相关性来提高深度预测性能。为了避免昂贵的标记过程，我们使用由预训练的语义分割网络获得的噪声语义分割结果。此外，我们最小化相邻帧的对应点之间的位置误差，以利用三维空间信息。KITTI数据集上的实验结果表明，我们的方法在深度和自我运动估计任务中取得了良好的性能。
2020-06-08 cs.CV
Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency
Hong Kong University of Science and Technology（香港科技大学）；Everest Innovation Technology（珠峰创新科技）
最近的基于学习的方法，其中模型由单视图图像训练，对于单目3D人脸重建显示出有希望的结果，但是它们遭受不适定的人脸姿势和深度模糊问题。与以前只执行2D特征约束的工作相比，我们提出了一个自我监督的训练架构，通过利用多视图几何一致性，它提供了可靠的面部姿态和深度估计的约束。我们首先提出一种遮挡感知的视图合成方法，将多视图几何一致性应用于自监督学习。然后设计了三种新的多视点一致性损失函数，包括像素一致性损失、深度一致性损失和基于人脸特征的核线损失。我们的方法是准确的和强大的，特别是在大的变化的表情，姿势和照明条件下。在人脸对齐和三维人脸重建基准上的综合实验表明，该方法优于现有的方法。我们的代码和模型发布在https://github.com/jiaxiangshang/MGCNet上。
2020-07-24 cs.CV
Unsupervised Monocular Depth Estimation in Highly Complex Environments
East China University of Science and Technology（华东理工大学）
随着计算智能算法的发展，基于扭曲光度一致性的无监督单目深度和姿态估计框架在白天场景中表现出了良好的性能。而在一些具有挑战性的环境中，如夜晚和雨夜，由于复杂的照明和反射，基本的光度一致性假设是站不住脚的，因此上述无监督框架不能直接应用于这些复杂的场景。在本文中，我们研究了高度复杂的场景中的无监督单目深度估计的问题，并通过采用基于图像传输的领域自适应框架来解决这个具有挑战性的问题。我们将在白天场景中训练的深度模型调整为适用于夜间场景，并且对特征空间和输出空间的约束促使框架学习深度解码的关键特征。同时，针对图像传输质量不稳定对领域自适应的影响，提出了一种图像自适应方法，对传输图像的质量进行评估，并对相应的损失进行重新加权，以提高自适应深度模型的性能。大量的实验表明，所提出的无监督框架在估计高度复杂的图像的密集深度图的有效性。
2022-06-09 cs.CV
RM-Depth: Unsupervised Learning of Recurrent Monocular Depth in Dynamic Scenes
H-1 Research（H-1研究院）
无监督的方法在单目深度估计上显示出有希望的结果。然而，训练数据必须在没有移动对象的场景中捕获。为了提高精度，最近的方法倾向于增加它们的模型参数。本文提出了一种无监督学习框架，用于联合预测单目深度和完整的3D运动，包括运动物体和摄像机的运动。(1)递归调制单元用于自适应地和迭代地融合编码器和解码器特征。这不仅改善了单图像深度推断，而且不会过度消耗模型参数。(2)代替使用单个滤波器集合用于上采样，多个滤波器集合被设计用于残差上采样。这有助于边缘保留滤波器的学习并提高性能。(3)一个基于变形的网络被用来估计运动对象的运动场，而不使用语义先验。这打破了场景刚性的要求，并允许使用一般的视频进行无监督学习。运动场进一步通过异常感知训练损失来正则化。尽管深度模型在测试时间内只使用了一张图像和2.97M参数，但它在KITTI和Cityscapes基准测试中获得了最先进的结果。
2023-03-08 cs.CV
Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；KU Leuven（鲁汶大学）
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景，即使在无监督的情况下，基于学习的方法也提供了有希望的结果，但对于动态和可变形场景，几乎没有文献涉及同样的问题。在这项工作中，我们提出了一个无监督的单目框架密集的深度估计的动态场景，共同重建刚性和非刚性的部分，而不明确建模的相机运动。使用密集的对应关系，我们推导出一个训练目标，旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中，密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果，证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外，该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
Unsupervised Learning of Depth and Ego-Motion from Video
UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们提出了一个无监督学习框架的任务，单目深度和摄像机运动估计从非结构化的视频序列。我们通过使用视图合成任务作为监督信号同时训练深度和相机姿态估计网络来实现这一点。因此，网络在训练期间通过视图合成目标耦合，但可以在测试时独立应用。对KITTI数据集的实证评估证明了我们方法的有效性：1）使用地面真实姿势或深度进行训练的监督方法进行单目深度估计，以及2）在可比输入设置下，使用已建立的SLAM系统进行姿势估计。
2017-08-01 cs.CV
Unsupervised Learning of Monocular Depth Estimation with Bundle Adjustment, Super-Resolution and Clip Loss
Carnegie Mellon University（卡内基梅隆大学）；Chinese Academy of Sciences（中国科学院）
我们提出了一种新的无监督学习框架，单视图深度估计使用单目视频。众所周知，在三维视觉中，扩大基线可以提高深度估计精度，并且联合优化一组相机姿态和地标是必不可少的。在以前的单目无监督学习框架中，序列中只有部分光度和几何约束被用作监督信号。这可能导致短基线和过拟合。此外，以前的工作通常是从低分辨率的输入图像估计低分辨率的深度。然后对低分辨率深度进行插值以恢复原始分辨率。这种策略可能在对象边界上产生大的误差，因为背景和前景的深度被混合以产生高分辨率深度。本文提出了一种光束法平差框架和一种超分辨率网来解决上述两个问题。在光束法平差中，图像序列的深度和姿态被联合优化，这通过建立更远帧之间的关系来增加基线。超分辨率网络学习从低分辨率图像估计高分辨率深度。此外，我们引入了剪辑损失来处理移动对象和遮挡。在KITTI数据集上的实验结果表明，该算法的性能优于现有的基于单目序列的无监督方法，并且与基于立体序列的无监督方法相比，具有相当甚至更好的效果。
2018-12-08 cs.CV
Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes
Cornell University（康奈尔大学）
Dynamo-Depth通过联合学习单目深度、三维独立流场和运动分割，利用运动分割初始估计消除动态场景中的深度歧义，在Waymo Open和nuScenes上显著提升运动物体深度估计性能。
2023-10-29 cs.CV
DeFeat-Net: General Monocular Depth via Simultaneous Unsupervised Representation Learning
University of Surrey（萨里大学）
在当前的单目深度研究中，主要方法是在扭曲的光度一致性驱动下对大型数据集进行无监督训练。这种方法缺乏鲁棒性，并且无法推广到具有挑战性的领域，例如夜间场景或不利的天气条件，其中关于光度一致性的假设被打破。我们提出了深度和特征网络（Deep-Net），这是一种同时学习跨域密集特征表示的方法，以及基于扭曲特征一致性的鲁棒深度估计框架。所得到的特征表示是以无监督的方式学习的，不需要显式的地面实况对应。我们表明，在一个单一的域中，我们的技术是目前的最先进的单目深度估计和监督特征表示学习。然而，通过同时学习特征、深度和运动，我们的技术能够推广到具有挑战性的领域，使DeepMin-Net在更具挑战性的序列（如夜间驾驶）上的所有误差测量减少约10%，从而超越当前最先进的技术。
2020-03-30 cs.CV
Increased-Range Unsupervised Monocular Depth Estimation
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
无监督深度学习方法在单图像深度估计方面表现出了良好的性能。由于这些方法中的大多数使用双目立体对进行自我监督，因此深度范围通常是有限的。小基线立体对提供小的深度范围，但可以很好地处理遮挡。另一方面，用宽基线钻机采集的立体图像在近距离内引起与遮挡相关的误差，但在远距离内很好地估计深度。在这项工作中，我们建议将小基线和宽基线的优点结合起来。通过使用三个水平对齐的视图训练网络，我们可以获得近距离和远距离的准确深度预测。我们的策略允许从单个图像推断多基线深度。这与采用两个以上相机的先前多基线系统不同。定性和定量的结果表明，多基线的方法优于以往的立体为基础的单目方法的性能。对于0.1到80米的深度范围，我们的方法与Monodepth 2相比，深度的绝对相对误差降低了24%。我们的方法在单个Nvidia1080 GPU上每秒提供21帧，使其对实际应用非常有用。
2020-06-23 cs.CV
Unsupervised Monocular Depth Prediction for Indoor Continuous Video Streams
Technical University of Munich（慕尼黑工业大学）
本文研究了无监督的单目深度预测问题。现有的无监督深度预测算法大多是针对室外场景开发的，而室内环境下的深度预测工作目前还非常缺乏。因此，这项工作的重点是缩小差距，首先评估现有的方法在室内环境，然后改善国家的最先进的建筑设计。与典型的室外训练数据集（如具有运动约束的KITTI）不同，室内环境的数据包含更多的任意相机运动和两个连续图像之间的短基线，这会恶化用于姿态估计的网络训练。为了解决这个问题，我们提出了两种方法：首先，我们提出了一种新的重构损失函数来约束姿态估计，从而提高了预测视差图的准确性;其次，我们使用了一种带有翻转策略的集成学习以及中值滤波器，直接对输出视差图进行操作。我们在TUM RGB-D和自我收集的数据集上评估了我们的方法。结果表明，这两种方法优于以前的国家的最先进的无监督学习方法。
2019-11-20 cs.CV
MiniNet: An extremely lightweight convolutional neural network for real-time unsupervised monocular depth estimation
Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人学会）
从单个图像预测深度是一个有吸引力的研究课题，因为它提供了多个维度的信息，使机器能够更好地感知世界。最近，深度学习已经成为单目深度估计的有效方法。由于获得标记数据的成本很高，因此最近的趋势是从监督学习转向无监督学习以获得单目深度。然而，能够实现高深度预测精度的大多数无监督学习方法将需要深度网络架构，该深度网络架构对于在具有有限存储和存储器空间的嵌入式设备上运行而言将过于繁重和复杂。为了解决这个问题，我们提出了一个新的强大的网络与循环模块，以实现深度网络的能力，同时保持一个非常轻量级的大小为实时的【形】高性能无监督单目深度预测从视频序列。此外，提出了一种新的高效的上采样块来融合来自相关编码器层的特征，并以少量的模型参数恢复特征的空间大小。我们通过在KITTI数据集上的大量实验验证了我们方法的有效性。我们的新模型可以在单个GPU上以约110帧每秒（fps）的速度运行，在单个CPU上以37 fps的速度运行，在Raspberry Pi 3上以2 fps的速度运行。此外，它实现了更高的深度精度，模型参数比最先进的模型少近33倍。据我们所知，这项工作是第一个在单目视频序列上训练的用于实时无监督单目深度估计的极轻量级神经网络，它开辟了在低成本嵌入式设备上实现基于深度学习的实时的【形】无监督单目深度预测的可能性。
2020-06-27 cs.CV
Unsupervised Learning of Geometry with Edge-aware Depth-Normal Consistency
University of Southern California（南加州大学）；Baidu Research（百度研究院）
近年来，通过深度卷积网络（DCN）观看未标记的视频来学习重建单个图像的深度引起了人们的极大关注。在本文中，我们介绍了一个表面正常表示的无监督深度估计框架。我们估计的深度被限制为与预测的法线兼容，从而产生更鲁棒的几何结果。具体来说，我们制定了一个边缘感知的深度法线一致性项，并通过在DCN内部构建深度到法线层和法线到深度层来解决它。深度到法线层将估计的深度作为输入，并使用基于相邻像素的交叉产生来计算法线方向。然后，给定估计的法线，法线到深度层通过局部平面平滑输出正则化的深度图。这两个层都是在图像内部边缘的意识下计算的，以帮助解决深度/法线不连续性问题并保留锐利边缘。最后，为了训练网络，我们将光度误差和梯度平滑应用于深度和法线预测。我们在室外（KITTI）和室内（NYUv 2）数据集上进行了实验，结果表明我们的算法大大优于现有技术，这证明了我们方法的好处。
2017-11-10 cs.CV
Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Brain（谷歌大脑）
我们提出了一种新的方法，无监督学习的深度和自我运动的单目视频。无监督学习不需要单独的监督信号（深度或自我运动地面实况，或多视图视频）。无监督深度学习的先前工作使用像素或基于梯度的损失，仅考虑小的局部邻域中的像素。我们的主要贡献是明确地考虑场景的推断3D几何形状，执行估计的3D点云和跨连续帧的自我运动的一致性。这是一个具有挑战性的任务，并解决了一个新的（近似）反向传播算法对齐3D结构。我们结合这种新的基于3D的损失与2D损失的基础上，使用估计的深度和自我运动从相邻帧的帧重建的光度质量。我们还引入了有效性掩码，以避免惩罚那些没有有用信息的区域。我们在KITTI数据集和未校准的手机摄像头上捕获的视频数据集上测试我们的算法。我们提出的方法一致地提高了两个数据集上的深度估计，并且在深度和自我运动方面都优于最先进的方法。因为我们只需要一个简单的视频，所以在大型和各种数据集上学习深度和自我运动成为可能。我们通过在低质量的未校准视频数据集上进行训练并在KITTI上进行评估来证明这一点，在KITTI本身上训练的性能最好的先验方法中排名。
2018-06-09 cs.CV
AdaDepth: Unsupervised Content Congruent Adaptation for Depth Estimation
Indian Institute of Science（印度科学学院）
监督式深度学习方法在单目深度估计任务中显示出了有希望的结果;但获取地面实况的成本很高，并且容易产生噪声和不准确性。虽然合成数据集已被用来规避上述问题，由于固有的域转移，所得到的模型不能很好地推广到自然场景。最近的对抗性域自适应方法在减轻源域和目标域之间的差异方面表现良好。但是这些方法大多局限于分类设置，并且不能很好地扩展全卷积架构。在这项工作中，我们提出了AdaDepth -单目深度估计的逐像素回归任务的无监督领域自适应策略。所提出的方法通过a）对抗性学习和b）对适应的目标表示明确施加内容一致性而没有上述限制。我们的无监督方法与其他已建立的方法在深度估计任务上具有竞争力，并在半监督设置中实现了最先进的结果。
2018-06-07 cs.CV
Pseudo Supervised Monocular Depth Estimation with Teacher-Student Network
McMaster University（麦克马斯特大学）；University at Buffalo（布法罗大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管监督单目深度估计最近有所改进，但缺乏高质量的逐像素地面实况注释已成为进一步进展的主要障碍。在这项工作中，我们提出了一种新的无监督深度估计方法的伪监督机制的基础上，通过训练的师生网络与知识蒸馏。它策略性地集成了监督和无监督单目深度估计以及无监督双目深度估计的优点。具体地，教师网络利用双目深度估计的有效性来产生精确的视差图，然后将其用作伪地面实况以训练学生网络进行单目深度估计。这有效地将无监督学习的问题转换为监督学习。我们广泛的实验结果表明，所提出的方法优于国家的最先进的KITTI基准。
2021-10-22 cs.CV
Unsupervised Video Depth Estimation Based on Ego-motion and Disparity Consensus
基于无监督学习的深度估计方法受到越来越多的关注，因为它们不需要大量难以获取的密集标记数据来进行训练。在本文中，我们提出了一种新的无监督的单目视频深度估计方法在自然场景中，利用国家的最先进的方法。该方法在三个方面超越了基线方法：1）在基线方法的基础上增加了一个额外的信号作为监督信号，在视差估计的基础上加入了左右双目图像重建损失，从而可以用立体视觉的时间帧和右帧重建左帧; 2）联合使用两种视点合成损失和左右视差一致性正则化训练网络，同时估计深度和姿态; 3）使用边缘感知的平滑L2正则化来平滑深度图，同时保持目标的轮廓。在KITTI自动驾驶数据集和Make 3D数据集上进行的大量实验表明了该算法在训练效率上的优越性。我们仅用3/5倍的训练数据就可以达到与基线有竞争力的结果。实验结果还表明，我们的方法甚至优于经典的监督方法，使用地面真实深度或给定的姿势进行训练。
2019-09-03 cs.CV
PLNet: Plane and Line Priors for Unsupervised Indoor Depth Estimation
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院（社会））
室内单目视频深度的无监督学习具有挑战性，因为人工环境包含许多无纹理区域。幸运的是，室内场景充满了特定的结构，如平面和线条，这应该有助于指导无监督的深度学习。本文提出了利用平面和线先验来增强深度估计的PLNet。我们首先表示场景的几何形状使用局部平面系数和施加的表示上的平滑约束。此外，我们通过随机选择一些可能共面或共线的点集来构造简单有效的一致性损失，从而增强平面和线性一致性。为了验证所提出的方法的有效性，我们进一步提出了评估的平面和线性区域上的可靠的预测点云的平面度和直线度。这些区域的规律性指示高质量的室内重建。在NYU Depth V2和ScanNet上的实验表明，PLNet优于现有方法。代码可在\url{https://github.com/HalleyJiang/PLNet}上获得。
2021-10-12 cs.CV
Bridging Unsupervised and Supervised Depth from Focus via All-in-Focus Supervision
MediaTek Inc.（联发科技股份有限公司）；National Tsing Hua University（国立清华大学）
深度估计是计算机视觉中一项长期而重要的任务。以前的大多数作品都试图从输入图像中估计深度，并假设图像是全聚焦（AiF），这在现实世界的应用中不太常见。另一方面，一些作品考虑散焦模糊，并将其视为深度估计的另一个线索。在本文中，我们提出了一种方法来估计不仅深度图，但AIF图像从一组图像具有不同的焦点位置（称为焦点堆栈）。我们设计了一个共享的架构，利用深度和AIF估计之间的关系。因此，所提出的方法既可以用地面实况深度进行监督训练，也可以用AIF图像作为监督信号进行\emph{unsupervisedly}训练。我们在各种实验中表明，我们的方法优于国家的最先进的方法在定量和定性，也有更高的效率在推理时间。
2021-08-24 cs.CV
Unsupervised Learning-based Depth Estimation aided Visual SLAM Approach
National Key Laboratory of Parallel and Distributed Processing（并行与分布式处理国家重点实验室）；National Key Laboratory of Integrated Automation of Process Industry（流程工业综合自动化国家重点实验室）；National University of Defense Technology（国防科技大学）；Northeastern University（东北大学）
RGB-D相机的工作范围有限，很难准确测量远距离的深度信息。此外，RGB-D摄像机容易受到强光等外界因素的影响，导致获取的环境深度信息精度不高。近年来，深度学习技术在视觉SLAM领域取得了巨大的成功，它可以直接从视觉输入中学习高级特征，提高深度信息的估计精度。因此，深度学习技术保持了扩展深度信息的来源并提高SLAM系统的性能的潜力。然而，现有的基于深度学习的方法主要是监督的，并且需要大量的地面真实深度数据，由于现实的限制，这是很难获得的。在本文中，我们首先提出了一个无监督学习框架，它不仅使用图像重建的监督，但也利用姿态估计方法来增强监督信号，并增加训练约束的任务，单目深度和相机运动估计。此外，我们成功地利用我们的无监督学习框架，以协助传统的ORB-SLAM系统时，ORB-SLAM方法的初始化模块不能匹配足够的功能。定性和定量的实验表明，我们的无监督学习框架执行的深度估计任务的监督方法，并优于以前的国家的最先进的方法$13.5\%$在KITTI数据集。此外，我们的无监督学习框架可以显着加快ORB-SLAM系统的初始化过程，并有效地提高在强光照和弱纹理场景的环境映射的准确性。
2019-01-22 cs.CV
Image Masking for Robust Self-Supervised Monocular Depth Estimation
NavInfo Europe（四维图新欧洲公司）；Eindhoven University of Technology（埃因霍温理工大学）
自监督单目深度估计是三维场景理解的一个重要任务。与单目自我运动估计联合学习，已经提出了几种方法来预测准确的像素级深度，而不使用标记数据。然而，这些方法集中于在理想条件下提高性能，而没有自然或数字损坏。即使对于对象特定的深度估计，也假设一般不存在遮挡。这些方法也容易受到对抗攻击的攻击，这是它们在机器人和自动驾驶系统中可靠部署的相关问题。我们提出MIMDepth，一种自监督单目深度估计的自适应掩码图像建模（MIM）方法。虽然MIM已被用来学习可概括的功能在预训练过程中，我们展示了它如何适用于单目深度估计的直接训练。我们的实验表明，MIMDepth对噪声，模糊，天气条件，数字伪影，遮挡以及无目标和有针对性的对抗攻击更具鲁棒性。
2023-02-01 cs.CV
Progressive Fusion for Unsupervised Binocular Depth Estimation using Cycled Networks
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；Huawei Technologies Ireland（华为技术爱尔兰）
最近基于监督回归的深单目深度估计方法取得了显著的性能。然而，它们在训练期间需要昂贵的地面实况注释。为了解决这个问题，在本文中，我们提出了一种新的无监督深度学习方法来预测深度图。我们介绍了一种新的网络架构，命名为渐进融合网络（PFN），这是专门为双目立体深度估计。该网络基于多尺度细化策略，该策略结合了两个立体视图提供的信息。此外，我们建议将这个网络堆叠两次，以形成一个循环。这种循环方法可以被解释为一种数据增强的形式，因为在训练时，网络既从训练集图像（在前向半周期中）学习，也从合成图像（在后向半周期中）学习。该架构与对抗学习联合训练。在公开数据集KITTI、Cityscapes和ApolloScape上进行的大量实验证明了该模型的有效性，与其他无监督深度学习方法相比具有很强的竞争力。
2019-09-17 cs.CV
Bilateral Cyclic Constraint and Adaptive Regularization for Unsupervised Monocular Depth Prediction
University of California, Los Angeles（加州大学洛杉矶分校）；Chung-Ang University（中央大学）
从单个图像推断（假设）场景深度的监督学习方法需要昂贵的每像素地面实况。我们遵循几何方法，利用丰富的立体图像学习模型来假设场景结构，而无需直接监督。虽然我们用立体对训练网络，但我们在测试时只需要一张图像来假设视差或深度。我们提出了一个新的目标函数，利用左右视差之间的双边循环关系，我们引入了一个自适应正则化方案，允许网络处理立体对中的共同可见和遮挡区域。这个过程最终产生一个模型，以生成在单个图像中看到的场景的三维结构的假设。当用于生成一个单一的（最可能的）深度估计时，我们的方法在KITTI基准测试中的表现优于最先进的无监督单目深度预测方法。我们通过将我们在KITTI上训练的模型应用于Make3d数据集，证明了我们的方法可以很好地推广。
2019-06-19 cs.CV
Unsupervised High-Resolution Depth Learning From Videos With Dual Networks
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
无监督深度学习将目标视图与从其相邻帧合成的视图之间的外观差异作为监督信号。由于监控信号仅来自图像本身，因此训练数据的分辨率显著影响性能。高分辨率图像包含更多的细粒度细节，并提供更准确的监控信号。然而，由于存储器和计算能力的限制，原始图像通常在训练期间被下采样，这会严重损失细节和视差精度。为了充分挖掘高分辨率数据所包含的信息，提出了一种简单有效的双网络结构，该结构可以直接以高分辨率图像为输入，高效地生成高分辨率、高精度的深度图。我们还提出了一个自组装注意（SA-注意）模块来处理低纹理区域。在基准KITTI和Make 3D数据集上的评估表明，我们的方法在单目深度估计任务中达到了最先进的结果。
2019-10-20 cs.CV
Learning monocular depth estimation with unsupervised trinocular assumptions
University of Bologna（博洛尼亚大学）
从单个图像中获得精确的深度测量是3D传感的一个迷人的解决方案。CNN在这一领域取得了相当大的进步，最近的趋势是用几何引导的图像重建信号取代了对地面真实标签的需求，从而实现了无监督训练。目前，为此目的，现有技术依赖于用双目立体装置获取的图像来预测逆深度（即，根据上述监管原则。然而，这些方法遭受从立体设置继承的靠近遮挡、左图像边界等的众所周知的问题。因此，在本文中，我们通过移动到三目域进行训练来解决这些问题。假设中心图像作为参考，我们训练一个CNN来推断视差表示，将这样的图像与其左侧和右侧的帧配对。该策略允许获得不受典型立体伪影影响的深度图。此外，由于三目数据集很少可用，我们引入了一种新的交错训练过程，使执行从当前双目数据集概述的三目假设。在KITTI数据集上的详尽实验结果证实，我们的建议优于在双目立体对上训练的无监督单眼深度估计的最先进方法以及依赖于其他线索的任何已知方法。
2018-08-05 cs.CV
P$^{2}$Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation
DGene Inc（DGene公司）
本文研究了室内环境中的无监督深度估计问题。这项任务是极具挑战性的，因为在这些场景中的非纹理区域的广大地区。这些区域可能会压倒为户外环境提出的常用无监督深度估计框架中的优化过程。然而，即使当这些区域被掩蔽时，性能仍然不令人满意。在本文中，我们认为，性能不佳遭受的非歧视性的基于点的匹配。为此，我们提出了P $^2$网。我们首先提取具有大的局部梯度的点，并采用以每个点为中心的补丁作为其表示。然后在补丁上定义多视图一致性丢失。该操作显著提高了网络训练的鲁棒性。此外，由于室内场景中的那些无纹理区域（例如，墙壁、地板、屋顶、\etc）通常对应于平面区域，因此我们提出利用超像素作为平面先验。我们强制预测的深度由每个超像素内的平面很好地拟合。在NYUv2和ScanNet上的大量实验表明，我们的P $^2$ Net的性能大大优于现有的方法。代码可在\url{https://github.com/svip-lab/Indoor-SfMLearner}获得。
2020-07-15 cs.CV
Unsupervised Adversarial Depth Estimation using Cycled Generative Networks
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
虽然最近基于监督回归的深单目深度估计方法已经取得了显著的性能，但在训练期间需要昂贵的地面实况注释。为了解决这个问题，在本文中，我们提出了一种新的无监督深度学习方法来预测深度图，并表明深度估计任务可以在对抗学习框架内有效地解决。具体来说，我们提出了一个深度生成网络，它可以学习预测对应场，即在校准的立体相机设置中两个图像视图之间的视差图。所提出的架构由两个生成子网络组成，这两个生成子网络通过对抗学习进行联合训练，用于重建视差图，并以循环的方式组织，以便相互提供约束和监督。在公开数据集KITTI和Cityscapes上的大量实验证明了所提出的模型的有效性和与最先进方法的竞争结果。代码和训练模型可在https://github.com/andrea-pilzer/unsup-stereo-depthGAN上获得。
2018-07-28 cs.CV
Iterative Occlusion-Aware Light Field Depth Estimation using 4D Geometrical Cues
Instituto de Telecomunicações, Portugal（葡萄牙电信研究所）；ESTG - Polytechnic University of Leiria（莱里亚理工学院）；PEE, COPPE, Federal University of Rio de Janeiro（里约热内卢联邦大学）
提出一种非学习的迭代遮挡感知光场深度估计方法，利用可解释4D几何模型分析平面方向与相交，显著提升表面法线角度精度。
2025-05-14 cs.CV eess.IV
Unsupervised Monocular Depth Estimation Based on Hierarchical Feature-Guided Diffusion
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；Bionic Vision System Laboratory, State Key Laboratory of Transducer Technology, Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（生物视觉系统实验室，传感技术国家重点实验室，微系统与信息工程研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Xiongan Institute of Innovation（雄安创新研究院）；University of Science and Technology of China（中国科学技术大学）
针对真实场景图像模糊带噪导致深度估计鲁棒性不足的问题，提出结合分层特征引导去噪模块与隐式深度一致性损失的扩散模型无监督单目深度估计方法，在多数据集上实现了生成类模型中的领先性能与强鲁棒性。
2025-10-28 cs.CV
ProtoDepth: Unsupervised Continual Depth Completion with Prototypes
Yale Vision Lab（耶鲁视觉实验室）
本文提出 ProtoDepth，通过学习可切换的领域原型集与领域描述符，在无监督深度补全的持续学习中缓解灾难性遗忘，并取得室内外基准的当前最优结果。
2025-03-17 cs.CV
Unsupervised CNN for Single View Depth Estimation: Geometry to the Rescue
The University of Adelaide（阿德莱德大学）
当前大多数深度卷积神经网络的一个显著弱点是需要使用大量手动标记的数据来训练它们。在这项工作中，我们提出了一个无监督的框架来学习用于单视图深度预测的深度卷积神经网络，而不需要预训练阶段或注释的地面真实深度。我们通过以类似于自动编码器的方式训练网络来实现这一点。在训练时，我们考虑一对图像，源和目标，两者之间具有小的已知相机运动，例如立体对。我们训练卷积编码器来预测源图像的深度图。为此，我们使用预测的深度和已知的视图间位移显式地生成目标图像的逆扭曲，以重建源图像;重建中的光测量误差是编码器的重建损失。该训练数据的获取比等效系统简单得多，不需要手动注释，也不需要将深度传感器校准到相机。我们表明，我们的网络在不到一半的KITTI数据集上训练（没有任何进一步的增强），可以与单视图深度估计的最新监督方法的性能相媲美。
2016-07-29 cs.CV
H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry
The Hamlyn Centre for Robotic Surgery, Imperial College London（伦敦帝国理工学院哈姆林机器人手术中心）；The Kennedy Institute of Rheumatology, University of Oxford（牛津大学肯尼迪风湿病学研究所）
立体图像对的深度估计已经成为计算机视觉中最受关注的应用之一，其中大多数先前的方法依赖于完全监督学习设置。然而，由于难以获得准确和可扩展的地面实况数据，完全监督方法的训练具有挑战性。作为替代方案，自我监督方法越来越受欢迎，以减轻这一挑战。在本文中，我们介绍了H-Net，这是一种用于无监督立体深度估计的深度学习框架，它利用对极几何来改进立体匹配。第一次，暹罗自动编码器架构用于深度估计，其允许提取校正立体图像之间的互信息。为了加强对极线的约束，设计了相互对极线注意力机制，在学习输入立体声对之间的互信息的同时，更加强调位于同一对极线上的特征的对应性。通过将语义信息结合到所提出的注意力机制中来进一步增强立体对应。更具体地说，最优传输算法用于抑制注意力并消除两个相机中不可见的区域中的离群值。在KITTI 2015和Cityscapes上的大量实验表明，我们的方法优于最先进的无监督立体深度估计方法，同时缩小了与全监督方法的差距。
2021-04-22 cs.CV
Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）
互谱深度估计的目的是利用一对双光谱图像提供所有光照条件下的深度图。当车辆配备有两个不同模态的相机时，这对于自主车辆应用是有价值的。然而，由不同模态相机捕获的图像在光度上可能完全不同。因此，互谱深度估计是一个非常具有挑战性的问题。此外，大规模开源数据集的缺乏也阻碍了该领域的进一步研究。在本文中，我们提出了一种无监督的可见光图像引导的互谱（即，热和可见光，简称TIR-VIS）深度估计框架给出了从可见光相机和热相机捕获的一对RGB和热图像。我们首先采用一个基本的深度估计网络，使用RGB图像对。然后，我们提出了一个多尺度的特征转移网络，从TIR-VIS域的VIS域的特征转移到特征级，以适应训练的深度估计网络。最后，我们提出了一种互谱深度周期一致性方法来改善双谱图像对的深度结果。同时，我们向社会发布了一个大型的双光谱深度估计数据集，其中包括在不同场景中捕获的可见光和远红外立体图像。实验结果表明，该方法比现有的方法具有更好的性能。我们的数据集可在https://github.com/whitecrow1027/VIS-TIR-Datasets上获得。
2022-04-30 cs.CV
Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography
Princeton University（普林斯顿大学）
现代移动连拍摄影流水线捕获并合并短帧序列以恢复增强的图像，但通常忽略它们捕获的场景的3D性质，将图像之间的像素运动视为2D聚合问题。我们表明，在一个“长脉冲”，四十二个12万像素的RAW帧捕获在一个两秒的序列，有足够的视差信息从自然的手震颤单独恢复高质量的场景深度。为此，我们设计了一种测试时间优化方法，该方法将神经RGB-D表示与长突发数据相匹配，并同时估计场景深度和相机运动。我们的平面加深度模型是端到端训练的，并通过控制网络在训练期间的什么时间可以访问哪些多分辨率体积特征来执行从粗到细的细化。我们通过实验验证了该方法，并展示了几何精度的深度重建，无需额外的硬件或单独的数据预处理和姿态估计步骤。
2023-03-27 cs.CV
Toward Better SSIM Loss for Unsupervised Monocular Depth Estimation
The MOE Key Laboratory for Neuroinformation, the School of Life Science and Technology, University of Electronic Science and Technology of China（MOE神经信息关键实验室、生命科学与技术学院、电子科学与技术大学）
本文针对无监督单目深度估计中传统SSIM损失忽略分量与超参数影响的问题，提出用加法替代乘法组合亮度、对比度和结构相似性分量的新SSIM形式，并在KITTI-2015上基于MonoDepth显著提升性能。
2025-06-05 cs.CV
Region Deformer Networks for Unsupervised Depth Estimation from Unconstrained Monocular Videos
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
虽然基于学习的图像/视频深度估计已经取得了实质性的进展，但仍然存在固有的局限性。有监督的方法受到少量地面实况或标记数据的限制，而用于单目视频的无监督方法主要基于静态场景假设，在存在动态对象的真实世界场景中表现不佳。在本文中，我们提出了一种新的基于学习的方法，包括深度网，PoseNet和区域变形器网络（RDN）估计深度无约束的单目视频没有地面实况监督。核心贡献在于RDN用于正确处理各种对象的刚性和非刚性运动，例如刚性移动的汽车和可变形的人。特别地，提出了一种基于变形的运动表示来对2D图像上的单个对象运动进行建模。这种表示使我们的方法适用于各种无约束的单目视频。我们的方法不仅可以在标准基准KITTI和Cityscapes上获得最先进的结果，而且在拥挤的行人跟踪数据集上也显示出有希望的结果，这证明了基于变形的运动表示的有效性。代码和训练模型可在https://github.com/haofeixu/rdn4depth上获得。
2019-05-23 cs.CV
