DEHRFormer: Real-time Transformer for Depth Estimation and Haze Removal from Varicolored Haze Scenes
Southwest University（西南大学）；Jimei University（集美大学）；Xinjiang University（新疆大学）
由彩色投射引起的杂色雾造成雾去除和深度估计的挑战。目前基于学习的深度估计方法主要针对首先去雾然后从无雾场景估计深度。这样，彩色薄雾和场景深度之间的内在联系就丢失了。在本文中，我们提出了一个实时的【形】Transformer同时单图像深度估计和烟雾消除（DEHRFormer）。DEHRFormer由一个编码器和两个特定于任务的解码器组成。具有可学习查询的Transformer解码器被设计为从任务不可知的编码器解码耦合特征，并将它们分别投影到干净的图像和深度图中。此外，我们引入了一种新的学习范式，利用对比学习和域一致性学习来解决现实世界去雾的弱泛化问题，同时从具有多色雾的相同场景预测相同的深度图。实验表明，DEHRFormer实现了显着的性能改善，在不同的杂色雾场景比以前的深度估计网络和去雾方法。
2023-03-13 cs.CV
Self-Supervised Monocular Scene Decomposition and Depth Estimation
KUIS AI Center（KUIS AI中心）；Koç University（科奇大学）
自监督单目深度估计方法要么忽略场景中独立移动的对象，要么需要单独的分割步骤来识别它们。我们提出MonoDepthSeg来联合估计深度并从单目视频中分割移动对象，而不使用任何地面真实标签。我们将场景分解为固定数量的组件，每个组件对应于图像上的一个区域，其自身的变换矩阵表示其运动。我们估计的掩模和运动的每个组件有效地与共享的编码器。我们在三个驱动数据集上评估了我们的方法，并表明我们的模型在将场景分解为单独移动组件的同时明显提高了深度估计。
2021-10-21 cs.CV
Language-Depth Navigated Thermal and Visible Image Fusion
University of Georgia（佐治亚大学）
针对现有热红外-可见光图像融合忽略深度信息的局限，提出文本引导且深度驱动的融合网络，通过扩散模型提取多通道特征、CLIP提取语义信息并结合深度估计损失优化，提升3D重建精度与机器人场景理解能力。
2025-04-12 cs.CV
Deep Robust Single Image Depth Estimation Neural Network Using Scene Understanding
Samsung Semiconductor Inc.（三星半导体有限公司）
单幅图像深度估计在三维计算机视觉中起着至关重要的作用。在本文中，我们提出了一个两阶段的鲁棒SIDE框架，可以执行盲SIDE的室内和室外场景。在第一阶段，场景理解模块将RGB图像分类为不同的深度范围。我们介绍了两个不同的场景理解模块，分别基于场景分类和粗深度估计。在第二阶段，由特定深度范围的图像训练的SIDE网络被应用于获得精确的深度图。为了提高准确性，我们进一步设计了一个基于深度可分离卷积的多任务编解码SIDE网络DS-SIDENet。DS-SIDENet经过优化，可最大限度地减少深度分类和深度回归损失。与单任务SIDE网络相比，这提高了准确性。实验结果表明，训练DS-SIDENet在一个单独的数据集，如纽约大学达到竞争力的性能，最先进的方法，更好的效率。我们提出的强大的SIDE框架也表现出良好的性能扫描网室内图像和KITTI室外图像同时。与Robust Vision Challenge（ROB）2018提交的作品相比，它实现了最高性能。
2019-06-07 cs.CV
Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；KU Leuven（鲁汶大学）
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景，即使在无监督的情况下，基于学习的方法也提供了有希望的结果，但对于动态和可变形场景，几乎没有文献涉及同样的问题。在这项工作中，我们提出了一个无监督的单目框架密集的深度估计的动态场景，共同重建刚性和非刚性的部分，而不明确建模的相机运动。使用密集的对应关系，我们推导出一个训练目标，旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中，密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果，证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外，该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes
Cornell University（康奈尔大学）
Dynamo-Depth通过联合学习单目深度、三维独立流场和运动分割，利用运动分割初始估计消除动态场景中的深度歧义，在Waymo Open和nuScenes上显著提升运动物体深度估计性能。
2023-10-29 cs.CV
Scene Depth Estimation from Traditional Oriental Landscape Paintings
Sungkyunkwan University（成均馆大学）；SK Planet Co., Ltd.（SK星球有限公司）
针对东方山水画深度估计难题，提出含两步图像翻译与CLIP匹配的框架，结合预训练深度模型实现深度估计，为首项相关研究，可助力视障人士体验画作。
2024-03-07 cs.CV
Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth Estimation with Both Implicit and Explicit Semantic Guidance
Northwestern Polytechnical University（西北工业大学）
自监督深度估计在从未标记图像序列学习深度方面取得了巨大成功。虽然图像和像素级深度之间的映射在当前的方法中得到了很好的研究，但图像，深度和场景语义之间的相关性却很少考虑。这阻碍了网络更好地理解场景的真实几何形状，因为上下文线索不仅贡献了场景深度的潜在表示，而且还贡献了深度图的直接约束。在本文中，我们利用这两个好处，提出了精确的自我监督深度估计的隐式和显式语义指导。我们提出了一个语义感知的空间特征对齐（SSFA）计划，有效地对齐隐含的语义特征与深度特征的场景感知的深度估计。我们还提出了一个语义指导的排名损失明确限制估计的深度图与真实场景的上下文属性是一致的。语义标签噪声和预测不确定性都被认为是产生可靠的深度监督。大量的实验结果表明，我们的方法产生高质量的深度图，无论是在复杂的场景或不同的语义类别是一贯优越的，并优于国家的最先进的方法显着的利润。
2021-02-11 cs.CV
DiverseDepth: Affine-invariant Depth Prediction Using Diverse Data
University of Adelaide（阿德莱德大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Data61；Beijing University of Posts & Telecommunications（北京邮电大学）
我们提出了一种单目图像的深度估计方法，该方法可以预测不同场景的高质量深度，直到仿射变换，从而保持场景的准确形状。先前预测度量深度的方法通常仅适用于特定场景。相比之下，学习相对深度（更近或更远的信息）可以享受更好的泛化，代价是无法恢复场景的准确几何形状。在这项工作中，我们提出了一个数据集和方法来解决这个难题，旨在预测精确的深度，直到仿射变换，并对不同的场景具有良好的泛化能力。首先，我们构建了一个大规模和多样化的数据集，称为多样场景深度数据集（DiverseDepth），它具有广泛的场景和前景内容。与以前的学习目标相比，即，学习度量深度或相对深度，我们建议使用我们的不同数据集来学习仿射不变深度，以确保场景的泛化和高质量几何形状。此外，为了在复杂数据集上有效地训练模型，我们提出了一种多课程学习方法。实验结果表明，在zero-shot测试环境下，该方法在8个数据集上的性能明显优于以往的方法，证明了学习模型对不同场景的良好泛化能力。重建的点云与预测的深度表明，我们的方法可以恢复高质量的三维形状。代码和数据集可在https://tinyurl.com/DiverseDepth上获得
2020-03-28 cs.CV
Automated 3D-GS Registration and Fusion via Skeleton Alignment and Gaussian-Adaptive Features
School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学）
提出一种自动化 3D-GS 子地图配准与融合方法，通过几何骨架、椭球感知卷积和多因素高斯融合，在 ScanNet-GSReg 与 Coord 上显著降低 RRE 并提升 PSNR。
2025-07-28 cs.CV
SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes
University of Oxford（牛津大学）；The University of Adelaide（阿德莱德大学）；OPPO US Research Center（OPPO美国研究中心）；DJI Technology（大疆科技）；Zhejiang University（浙江大学）
针对动态场景下自监督单目深度估计精度低、边界模糊的问题，提出SC-DepthV3，利用预训练模型生成的伪深度先验设计新损失函数，在6个数据集上取得显著优于现有方法的性能。
2023-10-05 cs.CV
Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths from a Monocular Camera
University of Minnesota（明尼苏达大学）；NVIDIA（英伟达）
本文提出了一种新的方法来合成图像从任意角度和时间给定的图像集合的动态场景。新的视图合成的一个关键挑战来自于动态场景重建，其中对极几何不适用于动态内容的局部运动。为了解决这一挑战，我们提出将来自单视图的深度（DSV）和来自多视图立体视觉的深度（DMV）相结合，其中DSV是完整的，即，深度被分配给每个像素，但其比例是视点可变的，而DMV是视点不变的，但不完整。我们的见解是，虽然它的规模和质量与其他视图不一致，从一个单一的视图的深度估计可以用来推理的动态内容的全局一致的几何形状。我们将这个问题视为学习校正DSV的尺度，并利用视图之间的局部一致运动来细化每个深度，以形成连贯的深度估计。我们以自我监督的方式将这些任务集成到深度融合网络中。给定融合的深度图，我们在特定的位置和时间用我们的深度混合网络合成一个逼真的虚拟视图，完成场景并渲染虚拟视图。我们评估我们的方法的深度估计和视图合成不同的真实世界的动态场景，并显示出出色的性能超过现有的方法。
2020-04-02 cs.CV
Surgical Depth Anything: Depth Estimation for Surgical Scenes using Foundation Models
Vanderbilt University（范德堡大学）
针对手术场景中单目深度估计的挑战，本文通过微调 Depth Anything 基础模型，有效解决了模糊、出血和反射等问题，显著提升了手术环境下的深度估计精度与可靠性。
2024-10-09 cs.CV
Dense Depth Estimation of a Complex Dynamic Scene without Explicit 3D Motion Estimation
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最近的几何方法需要可靠的三维运动参数的估计，以获得精确的密集的深度图的复杂动态场景从单目图像\cite{kumar2017monocular, ranftl2016dense}。通常，使用图像数据来估计相对3D运动参数的\textbf{precise}测量并验证其准确性是一项具有挑战性的任务。在这项工作中，我们提出了一种替代方法，绕过3D运动估计的要求，以获得一个密集的深度图的动态场景。给定两个连续帧之间的每像素光流对应关系和参考帧的稀疏深度先验，我们表明，我们可以有效地恢复连续帧的密集深度图，而无需求解3D运动参数。我们的方法假设一个分段的平面模型的动态场景，它经历了刚性变换局部，并尽可能刚性的两个连续的帧之间的全球变换。在我们的假设下，我们可以避免显式估计的3D旋转和平移估计场景深度。从本质上讲，我们的配方提供了一种非常规的方式来思考和恢复的复杂动态场景，这是增量和运动自由的性质密集的深度图。我们提出的方法不对动态场景做对象级或任何其他高级先验假设，因此，它适用于广泛的场景。基准数据集上的实验结果表明，我们的方法的多帧的能力。
2019-03-23 cs.CV
Indoor GeoNet: Weakly Supervised Hybrid Learning for Depth and Pose Estimation
Northeastern University（东北大学）
人类通过积累从场景的多个相互连接的投影获得的信息并通过解释它们的对应关系，自然地感知到他们面前的3D场景。这种现象激发了人工智能模型通过对该场景的不同视图之间的对应关系进行建模来提取所观察场景的深度和视角。我们的论文建立在使用深度学习（DL）模型从时间连续视频帧进行无监督深度和相对相机姿态估计领域的先前工作的基础上。我们的方法使用了一个混合学习框架，在最近的一项名为GeoNet的工作中引入，它利用3D场景中的几何约束，从基于中间DL的预测深度和相对姿态合成一个新的视图。然而，最先进的无监督深度和姿态估计DL模型仅在一些可用的室外场景数据集上进行训练/测试，并且我们已经证明它们很难转移到新场景，特别是从室内环境中，其中估计需要更高的精度并处理可能的遮挡。本文介绍了“室内GeoNet”，一个弱监督的深度和相机姿态估计模型，针对室内场景。在室内GeoNet中，我们利用了人类或机器人导航员收集的室内RGBD数据集的可用性，并在模型的深度训练中添加了部分（即弱）监督。实验结果表明，我们的模型有效地推广到新的场景，从不同的建筑物。与原始GeoNet相比，室内GeoNet显示出显着的深度和姿态估计误差减少，同时在室内环境中合成新视图时显示出3倍的重建精度。
2018-11-19 cs.CV
GSDC Transformer: An Efficient and Effective Cue Fusion for Monocular Multi-Frame Depth Estimation
Zhejiang University（浙江大学）
针对单目多帧深度估计中注意力融合复杂、显式融合依赖精确分割的问题，提出 GSDC Transformer，通过可变形与稀疏注意力及超级 token 局部稠密融合，在 KITTI 上实现高效的最先进性能。
2023-12-05 cs.CV
Mono-Stixels: Monocular depth reconstruction of dynamic street scenes
Robert Bosch GmbH（罗伯特·博世有限公司）；Goethe University（歌德大学）
在本文中，我们提出了mono-stixels，一个紧凑的环境表示专门设计的动态街景。Mono-stixels是一种新的方法来估计stixels从单目相机序列，而不是传统上使用的立体深度测量。我们的方法联合推断的深度，运动和语义信息的动态场景作为一个一维能量最小化问题的基础上光流估计，逐像素语义分割和摄像机运动。用单应性描述了stixel的光流。通过应用单格素模型，格素单应性的自由度被减少到仅多达两个自由度。此外，我们利用场景模型和语义信息来处理移动对象。在我们的实验中，我们使用公共可用的DeepFlow进行光流估计，使用FCN 8进行语义信息作为输入，并在KITTI 2015数据集上显示，单stixels提供了场景静态和移动部分的紧凑和可靠的深度重建。因此，单stixels克服了以前的结构从运动的方法的静态场景的限制。
2019-08-07 cs.CV
FusionDepth: Complement Self-Supervised Monocular Depth Estimation with Cost Volume
HKUST（香港科技大学）；Tencent（腾讯）
本文提出FusionDepth框架，通过贝叶斯融合层结合单目与多视点代价体，在无深度监督下迭代细化单目深度估计，在KITTI基准上超越现有无监督方法。
2023-05-10 cs.CV
UniCT Depth: Event-Image Fusion Based Monocular Depth Estimation with Convolution-Compensated ViT Dual SA Block
School of Computer Science, Peking University（北京大学计算机科学系）；Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室）；College of Computer, National University of Defense Technology（国防科技大学计算机学院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学系）
本文提出 UniCT Depth，通过融合 CNN 与 Transformer 的 CcViT-DA 模块及 DCC 模块实现事件-图像跨模态深度建模，在关键指标上优于现有方法。
2025-07-26 cs.CV
OctNetFusion: Learning Depth Fusion from Data
Institute for Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形与视觉研究所）；Autonomous Vision Group, MPI for Intelligent Systems Tübingen（蒂宾根马克斯·普朗克智能系统研究所自主视觉组）；Computer Vision and Geometry Group, ETH Zürich（苏黎世联邦理工学院计算机视觉与几何组）
在本文中，我们提出了一种基于学习的深度融合方法，即，从多个深度图像进行密集3D重建。深度融合最常见的方法是基于平均截断符号距离函数，这最初是由Curless和Levoy在1996年提出的。虽然该方法简单并且提供了很好的结果，但它不能重建（部分）被遮挡的表面，并且需要大量的帧来过滤掉传感器噪声和离群值。受大型3D模型库的可用性和深度学习的最新进展的启发，我们提出了一种新的3D CNN架构，该架构可以学习从输入深度图预测隐式表面表示。我们基于学习的方法显着优于传统的体积融合方法的降噪和离群抑制。通过学习真实世界3D对象和场景的结构，我们的方法进一步能够重建被遮挡的区域，并填补重建中的空白。我们证明，我们的学习为基础的方法优于香草TSDF融合以及TV-L1融合的体积融合的任务。此外，我们展示了最先进的3D形状完成结果。
2017-10-31 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu（奥卢大学）；Aalto University（阿尔托大学）
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器（如Microsoft Kinect）生成，深度图都有噪声，并且可能具有较差的初始配准。在本文中，我们介绍了一种方法，这是能够处理离群值，特别是，甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中，以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后，将原始深度图重新配准到融合点云以细化原始相机外部参数。然后，再次使用细化的外部参数执行融合。重复此过程，直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
ViFu: Multiple 360$^\circ$ Objects Reconstruction with Clean Background via Visible Part Fusion
The University of Tokyo（东京大学）；Woven by Toyota（丰田编织公司）
针对多时间戳场景中遮挡导致背景与360°物体重建不完整的问题，提出ViFu，通过分割对齐和可见性感知的辐射场融合恢复干净背景与完整物体。
2024-04-15 cs.CV
Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image
The University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）；Adobe（奥多比）
尽管在过去几年中取得了重大进展，但对于使用单个单目图像的深度估计仍然存在挑战。首先，主要由于有限的训练数据，训练可以很好地推广到不同场景的度量深度预测模型是不平凡的。因此，研究人员建立了大规模的相对深度数据集，这些数据集更容易收集，但是现有的相对深度估计模型往往由于使用相对深度数据进行训练而导致未知的深度偏移，从而无法恢复出准确的三维场景形状。我们在这里解决这个问题，并试图通过对大规模相对深度数据进行训练来估计准确的场景形状，并估计深度偏移。要做到这一点，我们提出了一个两阶段的框架，首先预测深度到一个未知的规模，并从一个单一的单目图像转移，然后利用3D点云数据来预测深度转移和相机的焦距，使我们能够恢复3D场景形状。由于这两个模块是单独训练的，因此我们不需要严格配对的训练数据。此外，我们提出了图像级归一化回归损失和基于法线的几何损失，以改善相对深度注释的训练。我们在九个看不见的数据集上测试了我们的深度模型，并在zero-shot评估上实现了最先进的性能。代码可在：https://git.io/Depth
2022-09-04 cs.CV
Learning Online Multi-Sensor Depth Fusion
KU Leuven（鲁汶大学）；Google Research（谷歌研究院）；ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Lund University（隆德大学）
许多手持式或混合现实设备与单个传感器一起用于3D重建，尽管它们通常包括多个传感器。多传感器深度融合能够显著提高3D重建方法的鲁棒性和准确性，但现有技术不足以处理以不同值范围以及噪声和离群值统计操作的传感器。为此，我们引入了SenFuNet，这是一种深度融合方法，可以学习特定于传感器的噪声和离群值统计数据，并以在线方式组合来自不同传感器的深度帧数据流。我们的方法融合多传感器的深度流，而不管时间同步和校准和推广以及很少的训练数据。我们在现实世界的CoRBS和Scene3D数据集以及CNAS数据集上使用各种传感器组合进行实验。实验表明，我们的融合策略优于传统的和最近的在线深度融合方法。此外，多个传感器的组合比使用单个传感器产生更鲁棒的离群值处理和更精确的表面重建。源代码和数据可在https://github.com/tfy14esa/SenFuNet上获得。
2022-09-21 cs.CV
Deep feature fusion for self-supervised monocular depth prediction
IIT Delhi（德里印度理工学院）
端到端无监督学习的最新进展显着提高了单目深度预测的性能，并减轻了对地面真实深度的要求。虽然已经做了大量的工作，通过利用平滑度，左右一致性，正则化和匹配表面法线来合并多个损失来执行各种结构约束，但其中一些考虑到现实世界图像中存在的多尺度结构。大多数作品使用在ImageNet权重上预训练的VGG16或ResNet50模型来预测深度。我们提出了一种深度特征融合方法，利用多尺度特征从头开始学习自监督深度。我们的融合网络在编码器网络的每一层都从上层和下层选择特征，从而创建多个特征金字塔子网络，在应用CoordConv解决方案后将其馈送到解码器。我们还提出了一个细化模块学习更高级别的深度特征和较低级别的残留深度的组合，使用超解析较低级别的残留深度的像素洗牌框架，更高级别的残留深度。我们选择KITTI数据集进行评估，并表明我们提出的架构可以在深度预测中产生更好或相当的结果。
2020-05-16 cs.CV
Self-Supervised Monocular Depth Estimation with Internal Feature Fusion
University of East Anglia（东英吉利大学）
用于深度估计的自监督学习使用图像序列中的几何形状进行监督，并显示出有希望的结果。与许多计算机视觉任务一样，深度网络的性能取决于从图像中学习准确的空间和语义表示的能力。因此，利用语义分割网络进行深度估计是很自然的。在这项工作中，基于一个成熟的语义分割网络HRNet，我们提出了一种新的深度估计网络HRNet，它可以利用语义信息的下采样和上采样过程。通过应用特征融合和注意力机制，我们提出的方法在KITTI基准测试中的性能优于最先进的单目深度估计方法。我们的方法在更高分辨率的训练数据上也表现出更大的潜力。我们提出了一个额外的扩展评估策略，通过建立一个测试集的挑战性的情况下，经验来自标准基准。
2021-11-19 cs.CV
IGFuse: Interactive 3D Gaussian Scene Reconstruction via Multi-Scans Fusion
IGFuse 通过融合多次扫描中因物体重新摆放而揭示的遮挡区域，构建分割感知高斯场并施加双向一致性与协同共剪枝，实现无需密集观测的高保真交互式三维场景重建与物体级操控。
2025-08-18 cs.CV
Light Robust Monocular Depth Estimation For Outdoor Environment Via Monochrome And Color Camera Fusion
Gwangju Institute of Science and Technology（光州科学技术学院）；School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；School of Electrical Engineering（电气工程学院）；Computer Science Gwangju Institute of Science（光州科学技术学院计算机科学）
深度估计在SLAM、里程计和自动驾驶中起着重要作用。特别是单目深度估计由于其低成本、低存储和低计算而成为一种有利可图的技术。然而，它不是一个足够的预测深度图，因为相机往往无法得到一个干净的图像，因为光线条件。为了解决这一问题，各种传感器融合方法被提出。尽管传感器融合是一种强大的方法，但它需要昂贵的传感器、额外的存储器和高计算性能。本文提出了一种基于局部增强相关系数最大化的彩色图像与单色图像像素级融合与立体匹配方法。我们的方法不仅在所有指标上优于最先进的作品，而且在成本，内存和计算方面也很有效。我们还通过消融研究验证了我们设计的有效性。
2022-02-24 cs.CV
RM-Depth: Unsupervised Learning of Recurrent Monocular Depth in Dynamic Scenes
H-1 Research（H-1研究院）
无监督的方法在单目深度估计上显示出有希望的结果。然而，训练数据必须在没有移动对象的场景中捕获。为了提高精度，最近的方法倾向于增加它们的模型参数。本文提出了一种无监督学习框架，用于联合预测单目深度和完整的3D运动，包括运动物体和摄像机的运动。(1)递归调制单元用于自适应地和迭代地融合编码器和解码器特征。这不仅改善了单图像深度推断，而且不会过度消耗模型参数。(2)代替使用单个滤波器集合用于上采样，多个滤波器集合被设计用于残差上采样。这有助于边缘保留滤波器的学习并提高性能。(3)一个基于变形的网络被用来估计运动对象的运动场，而不使用语义先验。这打破了场景刚性的要求，并允许使用一般的视频进行无监督学习。运动场进一步通过异常感知训练损失来正则化。尽管深度模型在测试时间内只使用了一张图像和2.97M参数，但它在KITTI和Cityscapes基准测试中获得了最先进的结果。
2023-03-08 cs.CV
Learning to Recover 3D Scene Shape from a Single Image
The University of Adelaide（阿德莱德大学）；Adobe Research（Adobe研究院）
尽管单目深度估计在野外取得了显著进展，但由于混合数据深度预测训练中使用的平移不变重构损失引起的未知深度平移以及可能的未知相机焦距，最近的最先进的方法不能用于恢复准确的3D场景形状。我们详细研究了这个问题，并提出了一个两阶段的框架，首先预测深度到一个未知的规模和位移从一个单目图像，然后使用3D点云编码器来预测丢失的深度偏移和焦距，使我们能够恢复一个现实的3D场景形状。此外，我们提出了图像级归一化回归损失和基于法线的几何损失，以增强在混合数据集上训练的深度预测模型。我们在九个看不见的数据集上测试了我们的深度模型，并在zero-shot数据集泛化上实现了最先进的性能。代码可在：www.example.com
2020-12-17 cs.CV
FS-Depth: Focal-and-Scale Depth Estimation from a Single Image in Unseen Indoor Scene
针对未见室内场景单图深度估计的焦距与尺度模糊问题，提出FS-Depth模型，通过融合焦距特征与多尺度相对深度特征估计绝对深度，显著提升了跨数据集泛化能力并缓解3D重建变形。
2023-07-27 cs.CV
Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for 3D Point Scene Completion from a Single Depth Image
The Chinese University of Hong Kong(Shenzhen)（香港中文大学（深圳））；Dalian University of Technology（大连理工大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；Texas A&M University（得克萨斯农工大学）
本文提出了一种基于深度强化学习的渐进式视图修复方法，在体指导下完成三维点场景的修复，实现了从单个深度图像重建高质量的场景。我们的方法是端到端的，由三个模块组成：3D场景体重建，2D深度图修复和多视图选择完成。给定单个深度图像，我们的方法首先通过3D体积分支来获得体积场景重建，作为下一个视图修复步骤的指导，该步骤试图弥补缺失的信息;第三步涉及将体积投影到输入的同一视图下，将它们连接起来以完成当前视图深度，并将所有深度集成到点云中。由于遮挡区域不可用，我们求助于深度Q-Network来环顾四周，并逐步选择下一个最佳视图来完成大洞，直到场景得到充分重建，同时保证有效性。所有步骤都是共同学习的，以实现稳健和一致的结果。我们进行了定性和定量的评估与广泛的实验上的SUCG数据，获得更好的结果比最先进的。
2019-03-12 cs.CV
Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth
针对单目视频深度估计中的尺度不一致问题，提出局部加权线性回归方法利用稀疏锚点恢复尺度偏移，结合630万RGBD图像训练的深度模型，构建了新型3D场景重建流程，在零样本基准上性能提升达50%。
2023-04-06 cs.CV
ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation
School of Information Science and Technology, University of Science and Technology of China (USTC)（信息科学与技术学院，中国科学技术大学）
ScaleDepth通过分解度量深度为尺度预测和相对深度估计，实现了对室内外场景的统一深度估计，无需设置深度范围或微调模型。
2024-07-11 cs.CV
PAD-Net: Multi-Tasks Guided Prediction-and-Distillation Network for Simultaneous Depth Estimation and Scene Parsing
The University of Trento（特伦托大学）；The University of Sydney（悉尼大学）；The Chinese University of Hong Kong（香港中文大学）
深度估计和场景解析是视觉场景理解中两个特别重要的任务。在本文中，我们解决了联合CNN中同时进行深度估计和场景解析的问题。该任务通常可以被视为深度多任务学习问题[42]。与以往直接在给定输入训练数据的情况下对多个任务进行优化的方法不同，提出了一种新的多任务引导预测-蒸馏网络（PAD-Net），该网络首先预测一组从低级到高级的中间辅助任务，然后，通过我们提出的多模态输入，将来自这些中间辅助任务的预测用作多模态输入，最终任务的模态蒸馏模块。在联合学习过程中，中间任务不仅充当学习更鲁棒的深度表示的监督，而且还为改进最终任务提供丰富的多模态信息。在两个具有挑战性的数据集（即NYUD-v2和Cityscapes）上对深度估计和场景解析任务进行了大量的实验，证明了所提出方法的有效性。
2018-05-11 cs.CV
Is my Depth Ground-Truth Good Enough? HAMMER -- Highly Accurate Multi-Modal Dataset for DEnse 3D Scene Regression
Technical University of Munich（慕尼黑工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Siemens AG（西门子股份公司）
深度估计是三维计算机视觉的核心任务。最近的方法研究了用各种深度传感器模态训练的单眼深度的任务。每种传感器都有其优点和缺点，这是由估计的性质造成的。在文献中，主要是平均的深度平均误差进行了调查，传感器的能力通常没有讨论。然而，特别是室内环境对一些设备提出了挑战。无纹理区域对来自运动的运动恢复结构提出了挑战，反射材料对于主动感测是有问题的，并且半透明材料的距离对于用现有传感器测量是复杂的。本文提出了HAMMER，一个数据集，包括来自多个常用传感器的深度估计，用于室内深度估计，即ToF，立体声，结构光以及单目RGB+P数据。我们在3D扫描仪和对齐渲染的帮助下构建高度可靠的地面真实深度图。一个流行的深度估计器是在这些数据和典型的深度传感器上训练的。在不同的场景结构下对估计进行了广泛的分析。我们注意到在具有挑战性但日常场景内容的家庭环境中各种传感器技术所产生的泛化问题。我们公开提供的HAMMER为有针对性的深度改进和传感器融合方法铺平了道路。
2022-05-09 cs.CV
Temporally Consistent Online Depth Estimation in Dynamic Scenes
Johns Hopkins University（约翰斯·霍普金斯大学）；Reality Labs, Meta Inc.（Meta公司现实实验室）
时间一致的深度估计对于诸如增强现实之类的在线应用是至关重要的。虽然立体深度估计作为生成3D信息的有前景的方式已经受到了相当大的关注，但是关注于保持时间稳定性的工作相对较少。事实上，根据我们的分析，目前的技术仍然存在时间一致性差的问题。在动态场景中，由于物体和相机同时运动，在时间上稳定深度是具有挑战性的。在在线设置中，该过程进一步加剧，因为只有过去的帧可用。我们提出了一个名为一致的在线动态深度（CODD）的框架，在动态场景中的在线设置产生时间上一致的深度估计。CODD通过新颖的运动和融合网络增强了每帧立体声网络。运动网络通过预测每个像素的SE3变换并对齐观察结果来解释动态。融合网络通过聚合当前和过去的估计来提高时间深度一致性。我们进行了大量的实验，并证明定量和定性的CODD优于竞争的方法在时间上的一致性和执行标准杆在每帧的准确性。
2022-12-08 cs.CV
Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes
Zhejiang University（浙江大学）
自监督方法在深度估计任务上显示出有希望的结果。然而，以前的方法估计的目标深度图和摄像机的自我运动同时，未充分利用多帧的相关性信息，忽略了动态对象的运动。本文提出了一种新的Dyna-Depthformer框架，该框架联合预测场景深度和3D运动场，并使用Transformer聚合多帧信息。我们的贡献是双重的。首先，我们利用多视图相关性通过一系列的自我和交叉注意层，以获得增强的深度特征表示。具体来说，我们使用透视变换来获取初始参考点，并使用可变形注意力来减少计算成本。其次，我们提出了一种基于变形的运动网络来估计动态对象的运动场，而不使用语义先验。为了提高运动场的预测，我们提出了一个迭代优化策略，连同稀疏正则化损失。整个管道通过构建最小的重投影损失来实现端到端的自监督训练。在KITTI和Cityscapes基准上的大量实验证明了我们方法的有效性，并表明我们的方法优于最先进的算法。
2023-03-20 cs.CV
MultiDepth: Multi-Sample Priors for Refining Monocular Metric Depth Estimations in Indoor Scenes
Silicon Valley Emerging Tech of LG Electronics CTO Office（LG电子首席技术官办公室硅谷新兴技术部门）
针对现有单目度量深度估计模型适配室内场景效果差的问题，提出MultiDepth轻量级优化框架，结合多样本先验优化深度预测，在四个数据集上实现超45%的准确率提升且计算开销更低。
2024-11-01 cs.CV
Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
立体激光雷达融合是一项很有前途的任务，因为我们可以利用两种不同类型的3D感知用于实际用途-密集的3D信息（立体相机）和高精度的稀疏点云（LiDAR）。然而，由于它们的模态和结构不同，传感器数据对齐的方法是成功的传感器融合的关键。为此，我们提出了一种几何感知的立体激光雷达融合网络的远程深度估计，称为体积传播网络。我们的网络的关键思想是利用稀疏和准确的点云作为线索，在统一的3D体积空间中引导立体图像的对应关系。与现有的融合策略不同，我们直接将点云嵌入到体积中，这使我们能够将有效信息传播到体积中的邻近体素中，并减少对应关系的不确定性。因此，它允许我们无缝地融合两种不同的输入方式，并回归一个长距离的深度图。我们的融合进一步增强了新提出的特征提取层的点云图像引导：FusionConv。FusionConv提取点云特征，考虑语义（2D图像域）和几何（3D域）关系，并帮助在体积上融合。在最近的立体激光雷达融合方法中，我们的网络在KITTI和Virtual-KITTI数据集上实现了最先进的性能。
2021-03-24 cs.CV
G2-MonoDepth: A General Framework of Generalized Depth Inference from Monocular RGB+X Data
本文提出单目深度推理统一任务及基础基准G2-MonoDepth，通过统一数据表示、损失函数、改进网络和数据增强流水线处理多源稀疏深度输入，在深度估计、补全和增强三个子任务上均优于SOTA基线。
2023-10-24 cs.CV
RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制与网络系统研究所）；California Institute of Technology（加州理工学院）
本文提出RadarCam-Depth，一种四阶段雷达-相机融合框架，通过单目深度预测与稀疏雷达点尺度对齐及细化，实现高精度稠密深度估计，在nuScenes和自采数据集上MAE分别降低25.6%和40.2%。
2024-03-19 cs.CV
Self-Distilled Depth Refinement with Noisy Poisson Fusion
School of AIA, Huazhong University of Science and Technology（华中科技大学AIA学院）；School of EIC, Huazhong University of Science and Technology（华中科技大学EIC学院）；Adobe Research（奥多比研究院）
本文将深度细化建模为噪声泊松融合问题，提出自蒸馏深度细化框架SDDR，通过由粗到细的自蒸馏生成低噪声深度边缘伪标签，并结合边缘引导的梯度损失与融合损失进行优化，在多个基准上显著提升了精度、边缘质量、效率和泛化能力。
2024-11-24 cs.CV
Defogging Kinect: Simultaneous Estimation of Object Region and Depth in Foggy Scenes
The Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Academic Center for Computing and Media Studies, Kyoto University（京都大学计算与媒体研究学术中心）
从二维图像重建三维图像和进行场景深度估计是计算机视觉的主要任务。然而，使用传统的3D重建技术在参与的介质中（如浑浊的水，雾或烟雾）具有挑战性。我们已经开发了一种方法，使用飞行时间（ToF）相机来估计对象区域和深度同时在参与媒体。散射分量是饱和的，因此它不依赖于场景深度，并且由于参与介质中的光衰减，从远处点反射的接收信号可以忽略不计，因此对这样的点的观测仅包含散射分量。这些现象使我们能够从只包含散射分量的背景中估计目标区域中的散射分量。该问题被制定为鲁棒估计的对象区域被视为离群值，它使同时估计的对象区域和深度的基础上的迭代加权最小二乘（IRLS）优化方案。我们证明了所提出的方法使用从Kinect V2在真实雾场景中捕获的图像的有效性，并与合成数据的适用性进行评估。
2019-04-01 cs.CV
Camera-LiDAR Fusion with Latent Contact for Place Recognition in Challenging Cross-Scenes
Southeast University（东南大学）
针对跨场景地点识别中视角、季节变化等挑战，提出三通道描述符，含图像、点云及基于潜在接触的双阶段融合分支，在多个数据集上达到最先进性能。
2023-10-16 cs.CV cs.RO
To complete or to estimate, that is the question: A Multi-Task Approach to Depth Completion and Monocular Depth Estimation
鲁棒的三维场景理解现在是一个不断增长的研究领域，在许多现实世界的应用，如自动驾驶和机器人导航高度相关。在本文中，我们提出了一个基于多任务学习的模型，能够执行两个任务：-稀疏深度完成（即生成完整的密集场景深度给定稀疏深度图像作为输入）和单眼深度估计（即从单个RGB图像预测场景深度）通过两个子网络联合训练端到端使用从公开可用的合成和真实世界图像语料库中随机采样的数据。第一个子网络通过从场景学习较低级别的特征来生成稀疏深度图像，第二个子网络预测整个场景的全密集深度图像，从而更好地理解场景的几何和上下文，因此，该方法的性能优越。整个模型可以用于从单个RGB图像推断完整的场景深度，或者第二网络可以单独用于在给定稀疏深度输入的情况下执行深度完成。使用对抗训练，一个强大的目标函数，一个依赖于跳过连接的深层架构，以及合成和真实世界训练数据的混合，我们的方法能够产生卓越的高质量场景深度。广泛的实验评估表明，我们的方法相比，在这两个问题域的当代国家的最先进的技术的有效性。
2019-08-15 cs.CV cs.LG
Perspective-aware fusion of incomplete depth maps and surface normals for accurate 3D reconstruction
Austrian Institute of Technology（奥地利技术研究所）；Center for Vision, Automation and Control（视觉、自动化与控制中心）；Competence unit High-Performance Vision System（高性能视觉系统能力单元）
本文提出一种视角感知的对数深度融合方法，通过显式考虑透视投影，提升基于单视角相机的深度和法线图的3D重建精度，并利用法线信息填补缺失深度数据。
2026-02-07 cs.CV eess.SP
Reinforcement Learning Based Optimal Camera Placement for Depth Observation of Indoor Scenes
The University of Tokyo（东京大学）
在使用多个摄像机的任务中，探索最友好的摄像机设置-最佳摄像机放置（OCP）问题是非常重要的。然而，现有的OCP解决方案很少专门用于室内场景的深度观察，大多数通用解决方案都是离线工作的。针对这一问题，提出了一种基于强化学习的室内场景深度观测OCP在线解决方案。所提出的解决方案包括一个模拟环境，实现场景观察和奖励估计使用阴影地图和代理网络包含软演员-评论家（SAC）的强化学习骨干和特征提取器，从观察到的点云逐层提取特征。两个国家的最先进的基于优化的离线方法进行了比较实验。实验结果表明，该系统优于七个测试场景，在获得较低的深度观测误差。所有测试场景的总误差也小于基线的90%。因此，所提出的系统在没有场景的先验知识或较低深度观察误差是主要目标的情况下更能胜任深度相机放置。
2021-10-21 cs.CV cs.LG
High-Speed Dynamic 3D Imaging with Sensor Fusion Splatting
University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth College（达特茅斯学院）；Rice University（莱斯大学）
本文提出一种融合RGB、深度和事件相机的可变形3D高斯泼溅方法，通过联合优化高斯参数与时间变形场，实现高速动态场景的高质量3D重建，在渲染保真度和结构精度上显著优于现有技术。
2025-02-07 cs.CV cs.GR
Incremental Joint Learning of Depth, Pose and Implicit Scene Representation on Monocular Camera in Large-scale Scenes
Institute of Medical Robotics and Department of Automation, Shanghai Jiao Tong University（上海交通大学医学机器人研究所和自动化系）；Key Laboratory of System Control and Information Processing, Ministry of Education, Shanghai（系统控制与信息处理重点实验室，教育部，上海）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）
本文提出了一种增量联合学习框架，通过视觉Transformer提升大规模场景的深度、姿态估计和隐式场景表示能力。
2025-07-16 cs.CV cs.RO
Joint Image and Depth Estimation with Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
基于掩模的无镜头相机用定制掩模取代传统相机的镜头。这些相机可能非常薄，甚至灵活。最近，已经证明这种基于掩模的相机可以恢复场景的光强度和深度信息。现有的深度恢复算法要么假设场景由少量的深度平面组成，要么在大的3D体积上解决稀疏恢复问题。这两种方法都不能恢复具有大深度变化的场景。在本文中，我们提出了一种新的深度估计方法的基础上交替梯度下降算法，联合估计一个连续的深度图和光分布的未知场景从其无透镜测量。我们提出了各种3D测试场景的图像和深度重建的模拟结果。与其他方法的比较表明，我们的算法是更强大的自然场景与大范围的深度。我们建立了一个原型无透镜相机和目前的实验结果重建的强度和深度图的不同的真实物体。
2020-06-19 cs.CV eess.IV
See in Depth: Training-Free Surgical Scene Segmentation with Monocular Depth Priors
Global College, Shanghai Jiao Tong University, Shanghai, China（上海交通大学全球学院）
本文提出一种无需训练的手术场景分割方法，利用单目深度先验和预训练模型实现高效分割，实验表明其在标注效率和分割性能上优于现有方法。
2025-12-05 cs.AI cs.CV
SG-PGM: Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and Its Downstream Tasks
German Research Center for Artificial Intelligence（德国人工智能研究中心）
本文提出SG-PGM，将三维场景图对齐建模为部分图匹配问题，通过语义几何特征融合和可学习top-k节点选择实现对齐，并利用节点对齐重评分点匹配，在低重叠场景下提升对齐精度10~20%。
2024-03-28 cs.CV cs.RO
Enhanced Scale-aware Depth Estimation for Monocular Endoscopic Scenes with Geometric Modeling
The Chinese University of Hong Kong（香港中文大学）
针对单目内窥镜深度估计缺乏绝对尺度、边界细节不准的问题，提出结合几何建模的增强尺度感知框架，通过多分辨率融合及器械3D位姿恢复尺度，在内部数据和模拟数据上验证了有效性。
2024-08-14 cs.CV cs.RO
