Depth Extraction from Video Using Non-parametric Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research New England（微软新英格兰研究院）；Microsoft Research（微软研究院）
我们描述了一种使用非参数深度采样从视频自动生成合理深度图的技术。我们展示了我们的技术在过去的方法失败的情况下（非平移相机和动态场景）。我们的技术适用于单个图像以及视频。对于视频，我们使用局部运动线索来改善推断的深度图，而光流用于确保时间深度一致性。对于训练和评估，我们使用基于Kinect的系统来收集包含具有已知深度的立体视频的大型数据集。我们表明，我们的深度估计技术优于国家的最先进的基准数据库。我们的技术可用于自动将单视场视频转换为立体声3D可视化，我们通过各种室内和室外场景的视觉效果，包括故事片Charade的结果来证明这一点。
2019-12-24 cs.CV
Video Depth Estimation by Fusing Flow-to-Depth Proposals
HKUST（香港科技大学）；Nuro Inc.（努罗公司）；Scale AI（Scale人工智能公司）
单目视频的深度可以让数十亿台设备和机器人通过一个摄像头看到3D世界。在本文中，我们提出了一种方法与可微的流到深度层的视频深度估计。该模型包括一个流到深度层，一个相机姿态细化模块，和一个深度融合网络。给定光流和相机姿态，我们的流到深度层通过显式地解决对极几何优化问题来生成深度建议和相应的置信度图。我们的流到深度层是可区分的，因此我们可以通过最大化相机姿势细化模块中的聚合置信度来细化相机姿势。我们的深度融合网络可以利用从不同相邻帧推断的深度建议及其置信度图来产生最终的深度图。此外，深度融合网络还可以采用其他方法生成的深度建议来进一步改进结果。在三个公共数据集上的实验表明，我们的方法优于最先进的深度估计方法，并且具有合理的跨数据集泛化能力：我们在KITTI上训练的模型在看不见的Waymo数据集上仍然表现良好。
2020-03-03 cs.CV
DPMix: Mixture of Depth and Point Cloud Video Experts for 4D Action Segmentation
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
针对点云视频长时序建模能力不足的问题，提出DPMix方法，将点云视频转换为深度视频并结合传统视频建模，通过集成深度与点云视频专家显著提升了4D动作分割准确率，在HOI4D Challenge 2023中获得第一名。
2023-07-31 cs.CV
Learning Single-Image Depth from Videos using Quality Assessment Networks
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Princeton University（普林斯顿大学）
在野外从单个图像进行深度估计仍然是一个具有挑战性的问题。一个主要障碍是缺乏高质量的野外图像训练数据。在本文中，我们提出了一种方法来自动生成这样的数据，通过结构从运动（SfM）在互联网上的视频。该方法的核心是一个质量评估网络，它可以识别从SfM获得的高质量重建。使用这种方法，我们从大量的YouTube视频中收集单视图深度训练数据，并构建一个新的数据集，称为YouTube3D。实验表明，YouTube3D在训练深度估计网络方面是有效的，并在单视图深度估计领域取得了一定的进展。
2019-04-24 cs.CV
Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences
Indian Institute of Technology Patna（巴特那印度理工学院）
3D场景的密集深度估计具有许多应用，主要在机器人和监视中。LiDAR和雷达传感器是实时深度估计的硬件解决方案，但这些传感器产生稀疏的深度图，有时不可靠。近年来，针对使用单个2D图像来处理深度估计的研究受到了很多关注。基于深度学习的自监督深度估计方法从纠正的立体和单目视频帧中显示出有希望的结果。我们提出了一个基于自我注意力的深度和自我运动网络的未校正的图像。我们还将相机的不可微失真引入训练管道。我们的方法进行竞争力相比，其他既定的方法，使用校正图像的深度估计。
2020-05-28 cs.CV
Online Video Depth Anything: Temporally-Consistent Depth Prediction with Low Memory Consumption
Heidelberg University（海德堡大学）
本文提出在线视频深度估计方法 oVDA，借鉴大语言模型的缓存与掩码技术，在保证时间一致性的同时降低显存占用，并在边缘设备上实现实时运行。
2025-10-10 cs.CV
Learning depth from monocular video sequences
Rice University（莱斯大学）
本文针对单目视频深度估计问题，提出新训练损失、帧间像素运动模型和网络架构，在KITTI自监督设置下取得领先结果。
2023-10-26 cs.CV
Depth-Centric Dehazing and Depth-Estimation from Real-World Hazy Driving Video
Nanjing University of Science and Technology（南京理工大学）；Huaiyin Institute of Technology（淮阴工学院）
提出深度中心框架，结合大气散射模型与亮度一致性约束，共享深度网络同时优化去雾与深度估计，并引入两个判别器正则化，在真实雾霾视频上超越现有方法。
2024-12-16 cs.CV
Edge-aware Consistent Stereo Video Depth Estimation
K|Lens GmbH（K|Lens有限公司）；Saarland Informatics Campus（萨尔兰信息学园区）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；MPI Informatics（马克斯·普朗克信息学研究所）
针对视频深度估计的一致性与细节模糊问题，提出面向立体视频的边缘感知深度估计方法，结合左右一致性损失、SLAM位姿估计与边缘保持损失，实现准确的稠密深度估计。
2023-05-04 cs.CV
Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Brain（谷歌大脑）
我们提出了一种新的方法，无监督学习的深度和自我运动的单目视频。无监督学习不需要单独的监督信号（深度或自我运动地面实况，或多视图视频）。无监督深度学习的先前工作使用像素或基于梯度的损失，仅考虑小的局部邻域中的像素。我们的主要贡献是明确地考虑场景的推断3D几何形状，执行估计的3D点云和跨连续帧的自我运动的一致性。这是一个具有挑战性的任务，并解决了一个新的（近似）反向传播算法对齐3D结构。我们结合这种新的基于3D的损失与2D损失的基础上，使用估计的深度和自我运动从相邻帧的帧重建的光度质量。我们还引入了有效性掩码，以避免惩罚那些没有有用信息的区域。我们在KITTI数据集和未校准的手机摄像头上捕获的视频数据集上测试我们的算法。我们提出的方法一致地提高了两个数据集上的深度估计，并且在深度和自我运动方面都优于最先进的方法。因为我们只需要一个简单的视频，所以在大型和各种数据集上学习深度和自我运动成为可能。我们通过在低质量的未校准视频数据集上进行训练并在KITTI上进行评估来证明这一点，在KITTI本身上训练的性能最好的先验方法中排名。
2018-06-09 cs.CV
Self-Supervised Human Depth Estimation from Monocular Videos
Simon Fraser University（西蒙弗雷泽大学）；Nanjing University（南京大学）；ETH Zürich（苏黎世联邦理工学院）；Alibaba AI Labs（阿里巴巴人工智能实验室）
以前估计人体深度细节的方法通常需要使用“地面实况”深度数据进行监督训练。本文提出了一种自监督的方法，可以训练的YouTube视频没有已知的深度，这使得训练数据收集简单，提高了学习网络的泛化能力。自监督学习通过最小化照片一致性损失来实现，该照片一致性损失在视频帧与根据估计的深度和人体的3D非刚性运动而变形的其相邻帧之间进行评估。为了解决这个非刚体运动，我们首先估计一个粗略的SMPL模型在每个视频帧，并计算相应的非刚体运动，这使得自监督学习估计的形状细节。实验表明，该方法具有更好的泛化能力，在野外数据上的表现也更好。
2020-05-07 cs.CV
Unsupervised Learning of Depth and Ego-Motion from Video
UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们提出了一个无监督学习框架的任务，单目深度和摄像机运动估计从非结构化的视频序列。我们通过使用视图合成任务作为监督信号同时训练深度和相机姿态估计网络来实现这一点。因此，网络在训练期间通过视图合成目标耦合，但可以在测试时独立应用。对KITTI数据集的实证评估证明了我们方法的有效性：1）使用地面真实姿势或深度进行训练的监督方法进行单目深度估计，以及2）在可比输入设置下，使用已建立的SLAM系统进行姿势估计。
2017-08-01 cs.CV
Recurrent Neural Network for (Un-)supervised Learning of Monocular VideoVisual Odometry and Depth
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
基于深度学习的单视图深度估计方法最近已经显示出非常有希望的结果。然而，这种方法忽略了人类视觉系统中用于确定深度的最重要特征之一，即运动。我们提出了一种基于学习的多视图密集深度图和里程估计方法，该方法使用递归神经网络（RNN）并利用多视图图像重投影和前向-后向流一致性损失进行训练。我们的模型可以在监督甚至无监督模式下进行训练。它是专为深度和视觉里程计估计从视频输入帧的时间相关。然而，它也推广到单视图深度估计。我们的方法在KITTI驾驶数据集上产生优于最先进的基于单视图和多视图学习的深度估计方法的结果。
2019-04-15 cs.CV
Less is More: Consistent Video Depth Estimation with Masked Frames Modeling
Huazhong University of Science and Technology（华中科技大学）；Adobe Research（奥多比研究院）
时间一致性是视频深度估计的关键挑战。以前的工作是基于额外的光流或相机姿势，这是耗时的。相比之下，我们用较少的信息获得一致性。由于视频本身存在严重的时间冗余，丢失的帧可以从相邻的帧中恢复。受此启发，我们提出了帧掩蔽网络（FMNet），一个时空Transformer网络预测的基础上，他们的相邻帧掩蔽帧的深度。通过重构掩蔽的时间特征，FMNet可以学习内在的帧间相关性，从而实现一致性。与现有技术相比，实验结果表明，我们的方法实现了可比的空间精度和更高的时间一致性，没有任何额外的信息。我们的工作提供了一个新的角度一致的视频深度估计。我们的官方项目页面是https://github.com/RaymondWang987/FMNet。
2022-08-18 cs.CV
NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation
School of AIA, Huazhong University of Science and Technology（华中科技大学AIA学院）；School of EIC, Huazhong University of Science and Technology（华中科技大学EIC学院）；Adobe Research（奥多比研究院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文提出即插即用的神经稳定器NVDS+，并构建最大自然场景视频深度数据集VDW，通过双向推理融合提升视频深度估计的一致性、精度与效率，同时验证了其在语义分割及多种下游应用中的通用性。
2024-10-03 cs.CV
Robust Consistent Video Depth Estimation
Facebook（脸书）；Virginia Tech（弗吉尼亚理工大学）
我们提出了一种算法，用于估计一致的密集深度图和相机构成从单目视频。我们将基于学习的深度先验（以针对单图像深度估计训练的卷积神经网络的形式）与几何优化相结合，以估计平滑的相机轨迹以及详细和稳定的深度重建。我们的算法结合了两种互补技术：（1）用于低频大规模对齐的灵活变形样条和（2）用于精细深度细节的高频对齐的几何感知深度滤波。与以前的方法相比，我们的方法不需要相机姿势作为输入，并实现了具有挑战性的手持手机捕获包含大量的噪声，抖动，运动模糊和滚动快门变形的鲁棒重建。我们的方法在深度和姿态估计方面的定量性能优于Sintel基准测试的最新技术，并在不同的野生数据集上获得了良好的定性结果。
2021-06-22 cs.CV
Exploiting temporal consistency for real-time video depth estimation
Northwestern Polytechnical University（西北工业大学）；University of Adelaide（阿德莱德大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
最近，通过利用来自深度卷积神经网络（CNN）的分层特征，来自静态图像的深度估计的准确性已经显著提高。与静态图像相比，视频帧之间存在大量的信息，可以利用这些信息来提高深度估计的性能。在这项工作中，我们专注于探索时间信息从单目视频的深度估计。具体来说，我们利用卷积长短期记忆（CLSTM）的优势，提出了一种新的时空CSLTM（ST-CLSTM）结构。我们的ST-CLSTM结构不仅可以捕获空间特征，而且可以捕获连续视频帧之间的时间相关性/一致性，计算成本可以忽略不计。此外，为了保持估计的深度帧之间的时间一致性，我们应用生成对抗学习方案并设计了时间一致性损失。时间一致性损失与空间损失相结合，以端到端的方式更新模型。通过利用时间信息，我们构建了一个视频深度估计框架，该框架实时的【形】运行并生成视觉上令人愉快的结果。此外，我们的方法是灵活的，可以推广到大多数现有的深度估计框架。代码可在：https://tinyurl.com/STCLSTM
2019-08-10 cs.CV
FlashDepth: Real-time Streaming Video Depth Estimation at 2K Resolution
Netflix Eyeline Studios；Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
提出FlashDepth方法，通过对预训练单图像深度模型进行修改，实现了2K分辨率、24 FPS的实时流式视频深度估计，在边界锐度和速度上显著优于现有模型，同时保持竞争力的准确度。
2025-05-30 cs.CV
MAMo: Leveraging Memory and Attention for Monocular Video Depth Estimation
Qualcomm AI Research（高通人工智能研究中心）
本文提出 MAMo 记忆与注意力框架，可将单图像深度网络扩展为视频模型，通过可更新的视觉/位移 token 记忆、自注意力与交叉注意力融合时序信息，在多个基准上以更低延迟达到 SOTA。
2025-01-16 cs.CV
Structured Depth Prediction in Challenging Monocular Video Sequences
NICTA（澳大利亚国家信息与通信技术研究院）
在本文中，我们解决的问题，估计从单目视频序列的场景的深度。特别是，我们处理具有挑战性的情况下，如非平移相机运动和动态场景，传统的运动恢复结构和运动立体方法不适用。为此，我们首先研究了从单个图像的深度估计的问题。在这种情况下，我们利用的深度是已知的图像池的可用性，并制定单眼深度估计作为离散连续优化问题，其中连续变量编码的输入图像中的超像素的深度，和离散的表示相邻超像素之间的关系。这个离散-连续优化问题的解决方案是通过使用粒子置信传播在图形模型中执行推理来获得的。为了处理视频序列，我们将单个图像模型扩展为两帧模型，该模型可以自然编码短程时间一致性并本质上处理动态对象。基于该模型的预测，我们引入了一个完全连接的成对CRF，该CRF在整个视频中考虑了更长范围的时空交互。我们证明了我们的模型在室内和室外场景的有效性。
2015-11-19 cs.CV
Video Depth Propagation
ETH Zürich（苏黎世联邦理工学院）；Toyota Motor Europe（丰田欧洲公司）；INSAIT, Sofia University St. Kliment Ohridski（索菲亚大学圣克莱门特·奥赫里德斯学院）
VeloDepth通过引入传播模块和结构化时间一致性设计，实现了高效且稳健的视频深度估计，提供更准确且快速的实时深度解决方案。
2025-12-11 cs.CV
Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth
针对单目视频深度估计中的尺度不一致问题，提出局部加权线性回归方法利用稀疏锚点恢复尺度偏移，结合630万RGBD图像训练的深度模型，构建了新型3D场景重建流程，在零样本基准上性能提升达50%。
2023-04-06 cs.CV
Extraction of Key-frames of Endoscopic Videos by using Depth Information
Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）；Chubu University（中部大学）
提出了一种基于深度学习的单目深度估计（MDE）技术，用于选择内窥镜视频的最具信息量的帧（关键帧）。在大多数情况下，息肉的地面真实深度图并不容易获得，这就是为什么在我们的方法中采用迁移学习方法。内窥镜模态通常捕获数千帧。在这种情况下，丢弃内窥镜视频的低质量和临床不相关的帧，同时保留最具信息量的帧用于临床诊断是非常重要的。在此基础上，提出了一种利用息肉深度信息的关键帧选择策略。在我们的方法中，图像矩，边缘幅度，和关键点被认为是自适应地选择关键帧。我们提出的方法的一个重要应用可能是在提取的关键帧的帮助下进行息肉的3D重建。此外，息肉是本地化的帮助下提取的深度图。
2021-06-30 cs.CV
Learning Temporally Consistent Video Depth from Video Diffusion Priors
Zhejiang University（浙江大学）；University of Bologna（博洛尼亚大学）；University of Southern California（南加州大学）；Ant Group（蚂蚁集团）；Toyota Research Institute（丰田研究院）；Rock Universe AI
针对流式视频深度估计的跨帧一致性问题，提出基于视频扩散先验的 ChronoDepth，通过片段内与跨片段上下文感知训练及滑动窗口推理提升任意长视频的时间一致性。
2025-06-07 cs.CV
Neural RGB->D Sensing: Depth and Uncertainty from a Video Camera
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）；SenseTime（商汤科技）
深度感知对于三维重建和场景理解至关重要。主动式深度传感器提供密集度量测量，但通常遭受诸如受限的操作范围、低空间分辨率、传感器干扰和高功耗的限制。在本文中，我们提出了一种深度学习（DL）方法，用于从单目视频流中连续估计每像素深度及其不确定性，目标是有效地将RGB相机转换为RGB-D相机。与先前的基于DL的方法不同，我们估计每个像素的深度概率分布而不是单个深度值，从而估计每个输入帧的3D深度概率量。这些深度概率量在贝叶斯过滤框架下随着时间的推移而累积，因为更多的传入帧被顺序处理，这有效地降低了深度不确定性并提高了准确性、鲁棒性和时间稳定性。与以往的工作相比，该方法实现了更准确和稳定的结果，并更好地推广到新的数据集。实验结果还表明，我们的方法的输出可以直接输入到经典的RGB-D的三维扫描方法的三维场景重建。
2019-01-09 cs.CV
Region Deformer Networks for Unsupervised Depth Estimation from Unconstrained Monocular Videos
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
虽然基于学习的图像/视频深度估计已经取得了实质性的进展，但仍然存在固有的局限性。有监督的方法受到少量地面实况或标记数据的限制，而用于单目视频的无监督方法主要基于静态场景假设，在存在动态对象的真实世界场景中表现不佳。在本文中，我们提出了一种新的基于学习的方法，包括深度网，PoseNet和区域变形器网络（RDN）估计深度无约束的单目视频没有地面实况监督。核心贡献在于RDN用于正确处理各种对象的刚性和非刚性运动，例如刚性移动的汽车和可变形的人。特别地，提出了一种基于变形的运动表示来对2D图像上的单个对象运动进行建模。这种表示使我们的方法适用于各种无约束的单目视频。我们的方法不仅可以在标准基准KITTI和Cityscapes上获得最先进的结果，而且在拥挤的行人跟踪数据集上也显示出有希望的结果，这证明了基于变形的运动表示的有效性。代码和训练模型可在https://github.com/haofeixu/rdn4depth上获得。
2019-05-23 cs.CV
Self-supervised monocular depth estimation from oblique UAV videos
Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente（特文特大学地球信息科学与地球观测学院（ITC））
无人机已成为一种必不可少的摄影测量，因为它们价格实惠，易于使用和多功能。从无人机捕获的航空图像在小规模和大规模纹理映射，三维建模，目标检测任务，DTM和DSM生成等方面都有应用。摄影测量技术通常用于从无人机图像中获取同一场景的多个图像的三维重建。计算机视觉和深度学习技术的发展使单图像深度估计（SIDE）成为一个热门研究领域。在无人机图像上使用SIDE技术可以克服对多幅图像进行3D重建的需要。本文旨在使用深度学习从单个UAV航空图像估计深度。我们遵循一种自监督学习方法，即自监督单目深度估计（SMDE），它不需要地面实况深度或除图像之外的任何额外信息来学习估计深度。单目视频帧用于训练深度学习模型，该模型通过两个不同的网络联合学习深度和姿态信息，每个网络用于深度和姿态。预测的深度和姿态用于利用视频中的时间信息从另一图像的角度重建一幅图像。我们提出了一种新的架构，具有两个二维CNN编码器和一个三维CNN解码器，用于从连续的时间帧中提取信息。为了提高图像生成的质量，引入了对比度损失项。我们的实验是在公开的无人机视频数据集上进行的。实验结果表明，我们的模型优于国家的最先进的方法在估计的深度。
2020-12-19 cs.CV
StableDPT: Temporal Stable Monocular Video Depth Estimation
ETH Zürich（苏黎世联邦理工学院）；DisneyResearch|Studios（迪士尼研究|工作室）
StableDPT通过引入时间模块和高效的交叉注意力机制，提升单目视频深度估计的时序稳定性与处理效率。
2026-01-06 cs.CV
3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation
Fudan University（复旦大学）；Johns Hopkins University（约翰霍普金斯大学）
提出一种将视频深度估计转化为多视图3D重建的框架，通过光度渲染、世界坐标对齐和多尺度时间梯度一致性约束，实现全局3D结构一致性，在自监督和零样本临床场景中达到最先进的空间精度。
2026-06-16 cs.CV
Structure-preserving Image Translation for Depth Estimation in Colonoscopy Video
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对结肠镜深度估计中合成与临床数据的域差距问题，提出结构保持的sim2real图像翻译流水线及临床序列数据集，生成带真实感且保留深度结构的合成图像，提升深度估计临床泛化能力。
2024-08-19 cs.CV
NimbleD: Enhancing Self-supervised Monocular Depth Estimation with Pseudo-labels and Large-scale Video Pre-training
University of Reading（雷丁大学）
本文提出NimbleD框架，利用大型视觉模型生成的伪标签进行监督，无需相机内参即可进行大规模视频预训练，显著提升了轻量级模型的深度估计性能，满足低延迟VR/AR应用需求。
2024-08-26 cs.CV
Video Depth Anything: Consistent Depth Estimation for Super-Long Videos
ByteDance（字节跳动）
针对Depth Anything视频深度估计时序不一致、现有方法仅适用于短视频且需权衡质效的问题，提出Video Depth Anything，通过时空头、时序梯度损失及关键帧推理策略，实现超长视频高效一致的深度估计，刷新零样本SOTA。
2026-10-15 cs.AI cs.CV
DVD: Deterministic Video Depth Estimation with Generative Priors
DVD通过确定性方法将预训练视频扩散模型转化为单次通过深度回归器，解决视频深度估计中的生成与判别模型权衡问题，实现零样本性能提升并释放开源训练套件。
2026-03-12 cs.CV
Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos
Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院）
针对现有视频手术技能评估忽视三维空间信息的问题，提出语义RGB-深度融合框架，结合深度融合与分层注意力，在33例喉显微手术中技能分类F1达0.938，优于单一模态。
2026-10-02 cs.CV
Recurrent Neural Network for Learning DenseDepth and Ego-Motion from Video
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
基于学习的单视图深度估计通常不能很好地推广到不可见的数据集。虽然基于学习的两帧深度估计通过学习跨帧匹配特征在一定程度上解决了这个问题，但它在不确定性高的大深度处表现不佳。存在很少的基于学习的多视图深度估计方法。在本文中，我们提出了一种基于学习的，多视图密集深度图和自我运动估计方法，使用递归神经网络（RNN）。我们的模型是专为3D重建从视频输入帧的时间相关。该方法可推广到单视图或双视图密集深度估计。与最近的单视图或双视图基于CNN的深度估计方法相比，我们的模型利用了更多的视图，并实现了更准确的结果，特别是在大距离下。我们的方法在室内和室外基准数据集上产生优于最先进的基于学习的单视图或双视图深度估计方法的结果。我们还证明，我们的方法甚至可以在非常困难的序列上工作，例如内窥镜视频，其中没有任何假设（静态场景，恒定照明，朗伯反射等）。传统的3D重建方法。
2018-05-17 cs.CV
STATIC: Surface-normal-guided Two-branch Alignment and Temporal Integration for Consistent Video Depth Estimation
Yonsei University（延世大学）
针对视频单目深度估计中Transformer模型帧间一致性差的问题，提出STATIC模型，通过表面法线差异掩码识别静动态区域并独立学习一致性，无需额外信息，在KITTI和NYUv2数据集上实现最优性能。
2026-10-27 cs.CV
Pose-Free Omnidirectional Gaussian Splatting for 360-Degree Videos with Consistent Depth Priors
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Chongqing University（重庆大学）；Air Force Engineering University（空军工程大学）
本文提出PFGS360方法，通过无姿态全景视频重建3D高斯，利用一致性深度先验估计姿态并提升视图合成保真度。
2026-03-26 cs.CV
$S^3$Net: Semantic-Aware Self-supervised Depth Estimation with Monocular Videos and Synthetic Data
Rutgers University（罗格斯大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；Blue River Technology（蓝河科技）
用单目相机解决深度估计使得相机作为低成本深度估计传感器在诸如自动驾驶和机器人之类的应用中广泛使用成为可能。然而，学习这种可扩展的深度估计模型需要大量标记数据，收集成本很高。有两种流行的现有方法不需要注释深度图：（i）在对抗框架中使用标记的合成和未标记的真实数据来预测更准确的深度，以及（ii）利用单目视频帧中跨空间和时间的几何结构的无监督模型。理想情况下，我们希望利用这两种方法提供的功能，因为它们相互补充;然而，现有的方法没有充分利用这些附加的好处。我们提出了$S^3$ Net，这是一个结合了这些互补功能的自监督框架：我们使用合成和真实世界的图像进行训练，同时利用几何，时间和语义约束。我们新颖的整合架构提供了使用单目视频进行自监督深度估计的新的最先进技术。我们提出了一种独特的方式来训练这个自我监督的框架，并实现（i）超过$15\%$改进以前的合成监督的方法，使用领域自适应适应和（ii）超过$10\%$改进以前的自我监督的方法，利用几何约束的真实数据。
2020-07-28 cs.CV
EndoStreamDepth: Temporally Consistent Monocular Depth Estimation for Endoscopic Video Streams
Vanderbilt University（范德比大学）
EndoStreamDepth通过时间模块和多尺度监督提升内窥镜视频流中单目深度估计的准确性和一致性。
2025-12-31 cs.CV
StreamTTO: Efficient Online Test-Time Optimization for Video Depth Completion
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出一种轻量级测试时适应方法，通过更新低维子空间实现高效零样本深度完成，提升准确率与效率的平衡。
2026-09-23 cs.CV
Self-supervised Object Motion and Depth Estimation from Video
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们提出了一个自监督学习框架来估计单个对象的运动和单目深度从视频。我们建模的对象运动作为一个6度的自由度刚体变换。利用实例分割模板引入目标信息。与预测密集光流图来模拟运动的方法相比，我们的方法显着减少了要估计的值的数量。我们的系统通过施加一个新的几何约束损失项来消除运动预测的尺度模糊性。在KITTI驱动数据集上的实验表明，该系统能够在不需要外部注释的情况下捕获对象运动。我们的系统优于以前的自监督方法在3D场景流预测，并有助于在动态区域的视差预测。
2020-05-13 cs.CV
Unsupervised Video Depth Estimation Based on Ego-motion and Disparity Consensus
基于无监督学习的深度估计方法受到越来越多的关注，因为它们不需要大量难以获取的密集标记数据来进行训练。在本文中，我们提出了一种新的无监督的单目视频深度估计方法在自然场景中，利用国家的最先进的方法。该方法在三个方面超越了基线方法：1）在基线方法的基础上增加了一个额外的信号作为监督信号，在视差估计的基础上加入了左右双目图像重建损失，从而可以用立体视觉的时间帧和右帧重建左帧; 2）联合使用两种视点合成损失和左右视差一致性正则化训练网络，同时估计深度和姿态; 3）使用边缘感知的平滑L2正则化来平滑深度图，同时保持目标的轮廓。在KITTI自动驾驶数据集和Make 3D数据集上进行的大量实验表明了该算法在训练效率上的优越性。我们仅用3/5倍的训练数据就可以达到与基线有竞争力的结果。实验结果还表明，我们的方法甚至优于经典的监督方法，使用地面真实深度或给定的姿势进行训练。
2019-09-03 cs.CV
Unsupervised Scale-consistent Depth Learning from Video
The University of Adelaide（阿德莱德大学）；TuSimple（图森未来）；Agency for Science, Technology and Research（新加坡科技研究局）；Nankai University（南开大学）
我们提出了一个单目深度估计器SC-Depth，它只需要未标记的视频进行训练，并在推理时实现尺度一致的预测。我们的贡献包括：（i）我们提出了几何一致性损失，其惩罚相邻视图之间的预测深度的不一致性;（ii）我们提出了自发现掩模以自动定位违反基本静态场景假设并在训练期间引起噪声信号的移动对象;（iii）我们通过详细的消融研究证明了每种成分的有效性，并显示出高-高质量的深度估计在KITTI和NYUv 2数据集中都有结果。此外，由于具有规模一致性预测的能力，我们表明，我们的单眼训练的深度网络很容易集成到ORB-SLAM 2系统中，以实现更强大和准确的跟踪。所提出的混合伪RGBD SLAM在KITTI中显示出令人信服的结果，并且在不进行额外训练的情况下很好地推广到KAIST数据集。最后，我们提供了几个演示定性评价。
2021-05-25 cs.CV
FutureDepth: Learning to Predict the Future Improves Video Depth Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文提出 FutureDepth，利用 F-Net 未来特征预测和 R-Net 自适应掩码重建学习运动与多帧对应线索，在多个基准上实现更高效的 SOTA 视频深度估计。
2025-01-16 cs.CV
Self-Supervised Learning of Depth and Ego-Motion from Video by Alternative Training and Geometric Constraints from 3D to 2D
Xi’an Jiaotong University（西安交通大学）
基于无标记单目视频的深度和自我运动的自监督学习已经取得了很好的效果并引起了广泛的关注。现有的方法大多基于运动恢复结构（SFM）原理，通过相邻帧的光度一致性联合训练深度和姿态网络。然而，深度和姿态网络的耦合关系严重影响学习性能，并且重投影关系对尺度模糊敏感，特别是对于姿态学习。在本文中，我们的目标是在没有辅助任务的情况下提高深度姿势学习性能，并通过交替训练每个任务并将极线几何约束纳入基于迭代最近点（ICP）的点云匹配过程来解决上述问题。与联合训练深度和姿态网络不同，我们的关键思想是通过交替训练每个网络，同时修复另一个网络，更好地利用这两个任务的相互依赖性。我们还设计了一个对数尺度的3D结构一致性损失，以便在训练过程中更加强调较小的深度值。为了使优化更容易，我们进一步将极线几何纳入基于ICP的学习过程中进行姿势学习。在各种基准数据集上的大量实验表明，我们的算法优于最先进的自监督方法。
2021-08-04 cs.CV
MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos with Depth Priors
City University of HongKong（香港城市大学）；HKUST（香港科技大学）；HKU（香港大学）；TAMU（德克萨斯大学奥斯汀分校）；CUHK(SZ)（香港城市大学（深圳））
MoDGS是基于深度先验的新管线，通过3D感知初始化与鲁棒深度损失，从相机静止或缓慢移动的随意单目视频渲染高质量动态场景新视角，性能优于现有方法且代码公开。
2026-09-01 cs.CV
DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos
The University of Hong Kong（香港大学）；PlusAI corporation（PlusAI公司）；Zhejiang University（浙江大学）；Tencent corporation（腾讯公司）
针对现有单目视频自监督深度估计忽略动态物体的问题，提出含DO3D运动解耦模块的联合学习方法，将非刚性运动分解为6自由度全局变换与局部形变场，在多个基准上深度、光流估计性能均达SOTA。
2024-03-09 cs.CV
PTC-Depth: Pose-Refined Monocular Depth Estimation with Temporal Consistency
Ajou University（亚洲大学）；Sony Creative AI Lab（索尼创意AI实验室）
本文提出PTC-Depth框架，通过轮式里程计实现稳定深度估计，结合光流三角化估计相机姿态和稀疏深度，利用递归贝叶斯估计修正尺度，提升深度预测的准确性和一致性。
2026-04-02 cs.CV
Outdoor Monocular Depth Estimation: A Research Review
Bennett University（贝内特大学）
深度估计是计算机视觉中的一个重要课题，应用于各种方法和应用中。虽然估计深度的传统方法是基于深度线索的，并且需要诸如立体相机的特定设备以及根据所使用的方法来配置输入，但是当前的焦点是单个源或单目深度估计。卷积神经网络的最新发展以及这些深度学习方法中经典方法的集成，导致了深度估计问题的许多进步。室外深度估计问题，即野外深度估计问题，是一个研究很少的领域。在本文中，我们概述了开放研究中存在的可用数据集、深度估计方法、研究工作、趋势、挑战和机遇。据我们所知，没有公开的调查工作提供了一个全面的收集户外深度估计技术和研究范围，使我们的工作的人希望进入这一领域的研究作出重要贡献。
2022-05-03 cs.CV
ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation
School of Information Science and Technology, University of Science and Technology of China (USTC)（信息科学与技术学院，中国科学技术大学）
ScaleDepth通过分解度量深度为尺度预测和相对深度估计，实现了对室内外场景的统一深度估计，无需设置深度范围或微调模型。
2024-07-11 cs.CV
Depth Estimation maps of lidar and stereo images
The Australian National University（澳大利亚国立大学）
本文作为技术报告，重点介绍了基于激光雷达数据和立体图像（前左和前右）的深度估计的评估和性能。激光雷达三维云数据和立体图像由福特公司提供。此外，本文还将对深度估计性能优化的一些细节进行说明。还有一些原因是为什么不用机器学习来做深度估计，而用纯数学来做立体深度估计。本文的结构如下：（1）性能：讨论和评价由立体图像和三维云点生成的深度图，以及对齐和误差的关系分析;（2）立体图像的深度估计：说明如何利用立体图像估计深度的方法;（3）激光雷达的深度估计：说明如何利用三维云数据估计深度的方法;总之，本报告主要是展示深度图的性能及其方法，并对它们进行分析。
2022-12-22 cs.CV
Deep Learning-based Depth Estimation Methods from Monocular Image and Videos: A Comprehensive Survey
Murdoch University（默多克大学）；The University of Western Australia（西澳大学）
本文综述了基于深度学习的单目图像与视频深度估计方法，涵盖其分类、架构演变、挑战、里程碑、数据集与评估指标，反映了该领域十年间的快速发展。
2024-06-28 cs.CV
Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文利用内窥镜近场光照的光度线索，通过新颖损失函数、PPSNet深度细化网络和教师-学生迁移学习，提升单目深度估计性能，在C3VD数据集上达到最先进水平。
2024-08-20 cs.CV
Monocular Depth Estimation Based On Deep Learning: An Overview
East China University of Science and Technology（华东理工大学）
深度信息对于自主系统感知环境和估计其自身状态是重要的。传统的深度估计方法，如运动恢复结构和立体视觉匹配，是建立在多个视点的特征对应关系。同时，预测的深度图是稀疏的。从单个图像推断深度信息（单目深度估计）是不适定问题。随着深度神经网络的快速发展，基于深度学习的单目深度估计近年来得到了广泛的研究，并在精度方面取得了很好的表现。同时，通过深度神经网络以端到端的方式从单个图像估计密集深度图。为了提高深度估计的精度，本文提出了不同的网络结构、损失函数和训练策略。因此，本文综述了当前基于深度学习的单目深度估计方法。首先，我们总结了几个在基于深度学习的深度估计中广泛使用的数据集和评价指标。此外，我们回顾了一些有代表性的现有方法，根据不同的训练方式：监督，无监督和半监督。最后，我们讨论了单目深度估计的挑战，并为未来的研究提供了一些想法。
2020-07-03 cs.CV
