Camera-Independent Single Image Depth Estimation from Defocus Blur
University of Virginia（弗吉尼亚大学）
针对单目散焦模糊深度估计对相机参数敏感的问题，提出基于光学物理方程的无需重训练校正方法，并构建合成数据集，在DDFF12和NYU depth V2上验证了方法对相机变化的强鲁棒性。
2023-11-21 cs.CV
Matching-based Depth Camera and Mirrors for 3D Reconstruction
University of Montreal（蒙特利尔大学）；University of Science and Technology（科技大学）
三维物体模型的重建在计算机视觉的许多应用中起着重要的作用。本文提出了一种简单的方法来构建一个更便宜的系统，只使用一个深度相机和2个或更多的镜子进行3D重建，而不是像许多研究中那样使用一组相机和/或传感器。每个反射镜被等效地视为另一视点处的深度相机。由于所有场景数据仅由一个深度传感器提供，因此我们的方法可以应用于移动对象，并且不需要任何同步协议。一些实验进行了易于评估的对象，以确认我们所提出的系统的重建精度。
2019-08-17 cs.CV
Total Variation-Based Dense Depth from Multi-Camera Array
National University of Ireland, Galway（爱尔兰国立高威大学）
多相机阵列越来越多地用于消费者和工业应用中，并且记录了各种被动技术以估计来自此类相机阵列的深度。当前的深度估计方法提供成像场景中的深度的有用估计，但是由于显著的计算要求而通常是不切实际的。本文提出了一种新的框架，从多相机阵列/光场相机生成高质量的连续深度图。所提出的框架利用对局部对极平面图像（EPI）的分析来启动深度估计过程。然后，使用基于Fenchel-Rockafellar对偶的总变差（TV）最小化来处理估计的深度图。该方法的基础上，一个众所周知的基准评估表明，所提出的框架相比，排名靠前的深度估计方法和基线算法的准确性方面表现良好。测试数据集包括真实感和非真实感场景。值得注意的是，当与顶级算法相比时，实现等同精度所需的计算要求显著降低。因此，所提出的框架是适合部署在消费者和工业应用。
2017-11-21 cs.CV
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
UC Irvine（加州大学尔湾分校）；Carnegie Mellon University（卡内基梅隆大学）
单目深度预测器通常在大规模训练集上进行训练，这些训练集自然偏向于相机姿态的分布。因此，训练的预测器无法对在不常见的相机姿势下捕获的测试示例进行可靠的深度预测。为了解决这个问题，我们提出了两种新的技术，在训练和预测过程中利用相机的姿态。首先，我们引入了一种简单的视角感知数据增强，它通过以几何一致的方式扰动现有示例，合成具有更多样化视图的新训练样本。其次，我们提出了一个条件模型，利用每图像相机构成的先验知识，将其编码为输入的一部分。我们表明，联合应用这两种方法可以提高对在不常见甚至从未见过的相机姿势下捕获的图像的深度预测。我们表明，我们的方法提高性能时，应用到一系列不同的预测架构。最后，我们表明，显式编码的相机姿态分布提高了综合训练的深度预测器的泛化性能时，对真实图像进行评估。
2021-03-28 cs.CV
CamLessMonoDepth: Monocular Depth Estimation with Unknown Camera Parameters
University of Applied Sciences (HTW)（应用科学大学）
在计算机视觉的许多应用中，感知3D信息至关重要。单目深度估计的最新进展已经表明，通过训练深度神经网络来预测逆深度和姿态，从单个相机输入获得这样的知识是可能的，而不需要地面实况数据。然而，大多数这样的方法需要在训练期间明确地馈送相机参数。因此，在训练期间不能使用来自野生的图像序列。虽然存在也预测相机本质的方法，但它们的性能与将相机参数作为输入的新方法不一样。在这项工作中，我们提出了一种隐式估计针孔摄像机的内在以及深度和姿态的方法，通过学习单目图像序列。此外，通过利用有效的子像素卷积，我们表明，高保真度的深度估计可以获得。我们还将逐像素的不确定性估计嵌入到框架中，以强调这项工作在实际领域中的可能适用性。最后，我们证明了在没有相机固有特性的先验知识的情况下准确预测深度信息的可能性，同时在KITTI基准上优于现有的最先进的方法。
2021-10-27 cs.CV
CAM-Convs: Camera-Aware Multi-Scale Convolutions for Single-View Depth
University of Zaragoza（萨拉戈萨大学）；University of Freiburg（弗莱堡大学）；Intel Labs（英特尔实验室）；Bitbrain（Bitbrain（公司））；cs.uni-freiburg.de（（注：原文本中该部分为邮箱域名，不应作为机构提取，实际有效机构为上述列出的））
单视图深度估计存在这样的问题，即在来自一个相机的图像上训练的网络不能推广到用不同相机模型拍摄的图像。因此，改变相机模型需要收集全新的训练数据集。在这项工作中，我们提出了一种新型的卷积，可以考虑相机参数，从而允许神经网络学习校准感知模式。实验证实，这大大提高了深度预测网络的泛化能力，并且当用不同的相机获取训练和测试图像时，明显优于现有技术。
2019-04-03 cs.CV
Toward Depth Estimation Using Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
最近，编码掩模已被用于演示一种薄形无透镜相机FlatCam，其中掩模被直接放置在裸露的图像传感器的顶部。在本文中，我们提出了一个成像模型和算法，联合估计的深度和强度信息的场景从一个或多个FlatCams。我们使用一个光场表示模型的3D场景到传感器的映射，其中来自不同深度的光线产生不同的调制模式。我们提出了一个贪婪的深度追踪算法来搜索3D体积和估计的深度和强度的相机视场内的每个像素。我们目前的仿真结果分析我们所提出的模型和算法的性能与不同的FlatCam设置。
2017-11-09 cs.CV
Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras
Carnegie Mellon University（卡内基梅隆大学）；Waymo；Meta
针对多视角RGB三维人体姿态方法需多视角、已标定相机且依赖真实姿态训练的问题，提出无需训练回归模型的MVD-HPE流程，结合深度引导相机位姿估计与深度约束姿态优化，在自采数据集上性能优于现有无回归方案。
2024-01-28 cs.CV
Neural Camera Models
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
现代计算机视觉已经超越了互联网照片收集的领域，进入了物理世界，引导配备摄像头的机器人和自动驾驶汽车通过非结构化环境。为了使这些具体的代理与现实世界的对象进行交互，相机越来越多地被用作深度传感器，为各种下游推理任务重建环境。机器学习辅助深度感知或深度估计为图像中的每个像素预测到成像场景点的距离。虽然在深度估计中已经取得了令人印象深刻的进步，但是仍然存在重大挑战：（1）大规模收集地面实况深度标签是困难的并且是昂贵的，（2）相机信息通常被假设为已知的，但是通常是不可靠的，以及（3）限制性相机假设是常见的，即使在实践中使用了各种各样的相机类型和镜头。在这篇论文中，我们专注于放松这些假设，并描述对最终目标的贡献，把相机变成真正通用的深度传感器。
2022-08-27 cs.CV
DepthP+P: Metric Accurate Monocular Depth Estimation using Planar and Parallax
当前的自监督单目深度估计方法大多基于估计表示相机运动的刚体运动。这些方法在其预测中遭受众所周知的尺度模糊性问题。我们提出了DepthP+P，这是一种通过遵循传统的平面视差范式来学习以度量尺度估计输出的方法。我们首先使用公共地平面来对齐两个帧，该公共地平面消除了相机运动中的旋转分量的影响。使用两个神经网络，我们预测深度和相机平移，与旋转一起预测相比，单独预测更容易。通过假设已知的相机高度，我们可以计算3D点的诱导2D图像运动，并将其用于在自监督单目方法中重建目标图像。我们在KITTI驾驶数据集上进行了实验，结果表明，平面视差方法只需要预测相机平移，可以作为依赖于估计6DoF相机运动的当前方法的度量准确的替代方案。
2023-01-05 cs.CV
SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Tianjin University（天津大学）；PhiGent Robotics（鉴智机器人）
从图像中进行深度估计是自动驾驶3D感知的基本步骤，是LiDAR等昂贵深度传感器的经济替代方案。时间光度约束使得能够在没有标签的情况下进行自监督深度估计，进一步促进其应用。然而，大多数现有的方法仅基于每个单目图像来预测深度，而忽略了多个周围相机之间的相关性，这些相机通常可用于现代自动驾驶车辆。在本文中，我们提出了一种SurroundDepth方法，将来自多个周围视图的信息结合起来，以预测跨相机的深度图。具体来说，我们采用一个联合网络来处理所有周围的意见，并提出了一个跨视图Transformer，以有效地融合来自多个视图的信息。我们应用跨视图自注意力，有效地使多相机特征地图之间的全局交互。不同于自监督单目深度估计，我们能够预测现实世界的尺度给定的多摄像机外部矩阵。为了实现这一目标，我们采用两帧结构从运动中提取尺度感知的伪深度来预训练模型。此外，而不是预测每个单独的摄像机的自我运动，我们估计一个普遍的自我运动的车辆，并将其转移到每个视图，以实现多视图自我运动的一致性。在实验中，我们的方法达到了最先进的性能上具有挑战性的多相机深度估计数据集DDAD和nuScenes。
2022-09-20 cs.CV
FisheyeDistill: Self-Supervised Monocular Depth Estimation with Ordinal Distillation for Fisheye Cameras
OPPO US Research Center（OPPO美国研究中心）；InnoPeak Technology, Inc.（InnoPeak技术公司）；Wing LLC（Wing有限责任公司）
在本文中，我们处理的问题，单目深度估计鱼眼相机在一个自我监督的方式。自监督深度估计的已知问题是其在低光/过度曝光条件下和在大的均匀区域中受到影响。为了解决这个问题，我们提出了一种新的序数蒸馏损失，从一个大的教师模型中提取序数信息。这样的教师模型，因为已经在大量不同的数据上训练，可以很好地捕获深度排序信息，但缺乏保持准确的场景几何形状。结合自监督损失，我们证明了我们的模型不仅可以在具有挑战性的环境中生成合理的深度图，而且可以更好地恢复场景几何形状。我们进一步利用AR眼镜设备的鱼眼摄像头来收集室内数据集，以便于评估。
2022-05-05 cs.CV
Hybrid Light Field Imaging for Improved Spatial Resolution and Depth Range
Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）
光场成像涉及捕获光的角度和空间分布;它实现了新的功能，例如捕获后数字重新聚焦、相机孔径调整、透视移位和深度估计。基于微透镜阵列（MLA）的光场相机提供了一种成本有效的光场成像方法。基于MLA的光场相机存在两个主要限制：低空间分辨率和窄基线。虽然低空间分辨率限制了光场相机的通用用途和适用性，但是窄基线限制了深度估计范围和准确度。在本文中，我们提出了一个混合立体成像系统，包括一个光场相机和一个普通的相机。该混合系统解决了基于MLA的光场相机的空间分辨率和窄基线问题，同时保留了光场成像能力。
2017-07-31 cs.CV
SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；SZ DJI Technology Co., Ltd.（深圳市大疆创新科技有限公司）；The University of New South Wales（新南威尔士大学）
本文提出SDGE方法，通过在360°相机组重叠区域利用立体结果生成深度先验和伪标签，并引入虚拟针孔相机与自标定位姿，提升有监督和自监督深度估计精度及跨视图一致性。
2024-04-02 cs.CV
Video Depth Estimation by Fusing Flow-to-Depth Proposals
HKUST（香港科技大学）；Nuro Inc.（努罗公司）；Scale AI（Scale人工智能公司）
单目视频的深度可以让数十亿台设备和机器人通过一个摄像头看到3D世界。在本文中，我们提出了一种方法与可微的流到深度层的视频深度估计。该模型包括一个流到深度层，一个相机姿态细化模块，和一个深度融合网络。给定光流和相机姿态，我们的流到深度层通过显式地解决对极几何优化问题来生成深度建议和相应的置信度图。我们的流到深度层是可区分的，因此我们可以通过最大化相机姿势细化模块中的聚合置信度来细化相机姿势。我们的深度融合网络可以利用从不同相邻帧推断的深度建议及其置信度图来产生最终的深度图。此外，深度融合网络还可以采用其他方法生成的深度建议来进一步改进结果。在三个公共数据集上的实验表明，我们的方法优于最先进的深度估计方法，并且具有合理的跨数据集泛化能力：我们在KITTI上训练的模型在看不见的Waymo数据集上仍然表现良好。
2020-03-03 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu（奥卢大学）；Aalto University（阿尔托大学）
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器（如Microsoft Kinect）生成，深度图都有噪声，并且可能具有较差的初始配准。在本文中，我们介绍了一种方法，这是能够处理离群值，特别是，甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中，以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后，将原始深度图重新配准到融合点云以细化原始相机外部参数。然后，再次使用细化的外部参数执行融合。重复此过程，直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
Neural RGB->D Sensing: Depth and Uncertainty from a Video Camera
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）；SenseTime（商汤科技）
深度感知对于三维重建和场景理解至关重要。主动式深度传感器提供密集度量测量，但通常遭受诸如受限的操作范围、低空间分辨率、传感器干扰和高功耗的限制。在本文中，我们提出了一种深度学习（DL）方法，用于从单目视频流中连续估计每像素深度及其不确定性，目标是有效地将RGB相机转换为RGB-D相机。与先前的基于DL的方法不同，我们估计每个像素的深度概率分布而不是单个深度值，从而估计每个输入帧的3D深度概率量。这些深度概率量在贝叶斯过滤框架下随着时间的推移而累积，因为更多的传入帧被顺序处理，这有效地降低了深度不确定性并提高了准确性、鲁棒性和时间稳定性。与以往的工作相比，该方法实现了更准确和稳定的结果，并更好地推广到新的数据集。实验结果还表明，我们的方法的输出可以直接输入到经典的RGB-D的三维扫描方法的三维场景重建。
2019-01-09 cs.CV
Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels
Google Research（谷歌研究院）
计算立体已经达到了很高的精度水平，但在存在遮挡、重复纹理和沿边缘的对应错误的情况下会降低。我们提出了一种基于神经网络的深度估计新方法，该方法将来自双摄像头的立体声与来自双像素传感器的立体声相结合，这在消费者相机上越来越常见。我们的网络使用了一种新的架构来融合这两个信息源，可以克服纯双目立体匹配的上述局限性。我们的方法提供了一个密集的深度图与尖锐的边缘，这是至关重要的计算摄影应用程序，如合成浅景深或3D照片。此外，我们避免了固有的模糊性，由于立体相机的孔径问题，通过设计的立体基线是正交的双像素基线。我们目前的实验和比较与国家的最先进的方法表明，我们的方法提供了一个实质性的改进，比以前的作品。
2020-03-31 cs.CV
Robust Full-FoV Depth Estimation in Tele-wide Camera System
Samsung Electronics（三星电子）
具有不同视场（FoV）镜头的远距相机系统在最近的移动设备中变得非常流行。传统的立体匹配方法很难获得全视场深度。基于纯深度神经网络（DNN）的深度估计方法可以获得完整的FoV深度，但对于训练数据集未覆盖的场景鲁棒性较低。针对上述问题，本文提出了一种基于分层沙漏网络的全景深深度估计方法，该方法结合了传统立体匹配方法的鲁棒性和深度神经网络的准确性。更具体地说，所提出的网络包括三个主要模块：单个图像深度预测模块从输入彩色图像推断初始深度，深度传播模块将传统的立体匹配远场视觉深度传播到周围区域，深度组合模块将初始深度与传播深度融合以生成最终输出。每个模块都采用沙漏模型，这是一种具有跳跃连接的编码器-解码器结构。实验结果表明，与现有的深度估计方法相比，该方法不仅在野外测试图像上具有较强的鲁棒性和较好的主观深度质量，而且在标准数据集上也获得了较好的量化结果。
2019-10-18 cs.CV
CoL3D: Collaborative Learning of Single-view Depth and Camera Intrinsics for Metric 3D Shape Recovery
Alibaba Cloud Computing（阿里云计算）
针对单图像度量三维形状恢复需相机内参的问题，提出CoL3D协同学习框架，联合估计深度与内参，通过三维先验约束、规范入射场机制及形状相似性损失，提升多基准数据集上的深度估计、相机校准性能与三维形状质量。
2025-02-13 cs.CV
UniDAC: Universal Metric Depth Estimation for Any Camera
Michigan State University（密歇根州立大学）；Bosch Research North America & Bosch Center for AI (BCAI)（博世北美研究院与博世人工智能中心）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出UniDAC框架，通过分离度量深度估计为相对深度预测和空间变化尺度估计，实现跨不同相机类型的通用鲁棒性，采用轻量级Depth-Guided Scale Estimation模块和RoPE-ϕ位置嵌入提升性能。
2026-04-08 cs.CV
Joint Calibration of Panoramic Camera and Lidar Based on Supervised Learning
Shanghai Jiao Tong University（上海交通大学）
针对当代全景相机-激光扫描仪系统，传统的标定方法不适用于成像模型极非线性的全景相机。基于统计优化的方法存在对激光扫描仪通道数要求较高的缺点。全景摄像机-激光扫描仪系统的高精度标定设备价格昂贵。针对全景相机-激光扫描仪系统标定中存在的问题，提出了一种基于监督学习的方法。首先，通过设计一个圆形标定对象，获取全景图像和点云的对应特征点，生成训练数据集。此外，通过设计一个对全景成像模型进行预处理的监督学习网络，将传统的标定问题转化为一个多元非线性回归优化问题。利用反向传播算法对旋转和平移矩阵进行了高精度的回归。实验结果表明，该方法能快速回归标定参数，精度优于传统标定方法和基于统计优化的标定方法。该方法标定精度高，自动化程度高。
2017-09-13 cs.CV
Depth Estimation Analysis of Orthogonally Divergent Fisheye Cameras with Distortion Removal
Aalto University（阿尔托大学）
本文针对正交发散鱼眼相机立体视觉系统提出基于两个虚拟针孔相机的畸变去除与深度估计方法，通过仿真和真实实验验证其在畸变去除和深度估计精度上的有效性。
2023-07-07 cs.CV
Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）
互谱深度估计的目的是利用一对双光谱图像提供所有光照条件下的深度图。当车辆配备有两个不同模态的相机时，这对于自主车辆应用是有价值的。然而，由不同模态相机捕获的图像在光度上可能完全不同。因此，互谱深度估计是一个非常具有挑战性的问题。此外，大规模开源数据集的缺乏也阻碍了该领域的进一步研究。在本文中，我们提出了一种无监督的可见光图像引导的互谱（即，热和可见光，简称TIR-VIS）深度估计框架给出了从可见光相机和热相机捕获的一对RGB和热图像。我们首先采用一个基本的深度估计网络，使用RGB图像对。然后，我们提出了一个多尺度的特征转移网络，从TIR-VIS域的VIS域的特征转移到特征级，以适应训练的深度估计网络。最后，我们提出了一种互谱深度周期一致性方法来改善双谱图像对的深度结果。同时，我们向社会发布了一个大型的双光谱深度估计数据集，其中包括在不同场景中捕获的可见光和远红外立体图像。实验结果表明，该方法比现有的方法具有更好的性能。我们的数据集可在https://github.com/whitecrow1027/VIS-TIR-Datasets上获得。
2022-04-30 cs.CV
Marginalized Bundle Adjustment: Multi-View Camera Pose from Monocular Depth Estimates
Google（谷歌）；Michigan State University（密歇根州立大学）
本文提出边缘束调整方法，利用单目深度估计的密集深度图，有效整合到结构从运动任务中，提升多视角3D视觉性能。
2026-02-21 cs.CV
Single-Shot Metric Depth from Focused Plenoptic Cameras
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（德国航空航天中心机器人与机电一体化研究所）；I3A, Universidad de Zaragoza（萨拉戈萨大学I3A研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种利用聚焦型全光相机单帧输入的稠密度量深度估计流程，并构建真实光场数据集LFS验证其有效性。
2025-03-12 cs.CV
RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制与网络系统研究所）；California Institute of Technology（加州理工学院）
本文提出RadarCam-Depth，一种四阶段雷达-相机融合框架，通过单目深度预测与稀疏雷达点尺度对齐及细化，实现高精度稠密深度估计，在nuScenes和自采数据集上MAE分别降低25.6%和40.2%。
2024-03-19 cs.CV
RealMonoDepth: Self-Supervised Monocular Depth Estimation for General Scenes
University of Surrey（萨里大学）
我们提出了一种广义的自监督学习方法，用于在1- 100米的不同深度范围内对场景的真实深度进行单目估计。用于单目深度估计的现有监督方法需要精确的深度测量用于训练。这种限制导致引入了自监督方法，该方法在具有固定相机基线的立体图像对上进行训练，以估计视差，该视差在给定已知校准的情况下被变换为深度。自我监督的方法已经证明了令人印象深刻的结果，但并没有推广到具有不同深度范围或相机基线的场景。在本文中，我们介绍了RealMonoDepth一个自我监督的单目深度估计方法，学习估计真实场景深度的各种室内和室外场景。提出了一种新的基于相对深度缩放和扭曲的场景真实深度损失函数。这允许具有多个数据集的单个网络的自我监督训练，用于具有来自立体对和野生移动相机数据集的不同深度范围的场景。对五个基准数据集的全面性能评估表明，RealMonoDepth提供了一个经过训练的网络，可以在室内和室外场景中进行深度估计，始终优于以前的自监督方法。
2020-04-14 cs.CV
Human Gait Symmetry Assessment using a Depth Camera and Mirrors
University of Montreal（蒙特利尔大学）；University of Science and Technology（科技大学）
本文提出了一种可靠的方法，使用深度相机和两个镜子的人体步态对称性评估。我们系统的输入是一系列3D点云，这些点云是由包括飞行时间（ToF）深度相机和两个镜子的设置形成的。在每个点云中估计一个圆柱形直方图来描述姿态。然后将这种直方图的序列分成表示两个半体的两个子直方图序列。最后应用互相关技术来提供描述步态对称指数的值。对9种不同的步态类型进行了评估，以证明我们的方法在评估步态对称性方面的能力。我们的系统和相关的方法，采用不同的输入数据类型之间的比较，也提供。
2019-08-16 cs.CV
RbFT-Net: Rectify-Before-Fuse Temporal Radar Anchors for 4D Radar-Camera Depth Completion
本文提出RbFT-Net框架，通过图像条件校正模块校正雷达锚点并选择性传播，解决雷达测量的稀疏与干扰问题，在相关数据集上的深度补全性能优于对比方法。
2026-08-14 cs.CV
Motion Guided LIDAR-camera Self-calibration and Accelerated Depth Upsampling for Autonomous Vehicles
Ford Motor Company（福特汽车公司）
提出了一种新的运动引导方法，用于LiDAR和相机的无目标自校准，并使用LiDAR点到图像参考帧上的重新投影进行实时深度上采样。通过优化目标函数来估计校准参数，该目标函数惩罚从时间同步的图像和点云序列获得的2D和重新投影的3D运动矢量之间的距离。对于上采样，提出了一种简单，但有效和时间效率的配方，最大限度地减少深度梯度的等式约束，涉及激光雷达测量。从城市环境中记录的真实数据进行验证和演示，我们的两种方法是有效的，适用于移动机器人和自动驾驶汽车应用施加实时要求。
2020-07-02 cs.CV
Monocular Fisheye Camera Depth Estimation Using Sparse LiDAR Supervision
Valeo und Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Valeo Vision Systems（法雷奥视觉系统公司）；Technische University, Chemnitz（开姆尼茨工业大学）
自动驾驶汽车周围的近场深度估计是一项重要功能，可以通过四个视野超过180的广角鱼眼相机来实现。基于卷积神经网络（CNN）的深度估计产生现有技术水平的结果，但是由于无法手动获得深度注释，因此进展受到阻碍。合成数据集是常用的，但它们有局限性。例如，它们无法捕捉真实数据集中存在的车辆等对象外观的广泛变化。在对自然图像执行推断时也存在域移位，这由许多明确地处理领域自适应的尝试所示。在这项工作中，我们探索了一种替代方法的训练使用稀疏激光雷达数据作为地面实况的深度估计鱼眼相机。我们使用我们的自动驾驶汽车设置构建了自己的数据集，该设置具有64束Velodyne LiDAR和四个广角鱼眼相机。为了处理LiDAR和鱼眼相机的视点差异，实现了遮挡解决机制。我们从Eigen的多尺度卷积网络架构开始，通过修改激活函数和优化器进行改进。我们在我们的数据集上获得了有希望的结果，RMSE误差与KITTI上获得的最新结果相当。
2018-09-24 cs.CV
TacoDepth: Towards Efficient Radar-Camera Depth Estimation with One-stage Fusion
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；School of AIA, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；SenseTime Research（商汤科技研究院）
针对雷达-相机深度估计中多阶段框架耗时且鲁棒性不足的问题，提出单阶段融合模型TacoDepth，通过图结构提取器和金字塔融合模块提升效率与精度，精度和速度较SOTA分别提升12.8%和91.8%。
2025-04-16 cs.CV
Depth360: Self-supervised Learning for Monocular Depth Estimation using Learnable Camera Distortion Model
Toyota Central R&D Labs., Inc.（丰田中央研发实验室股份有限公司）
自监督单目深度估计已被广泛研究以从RGB图像估计深度图像和相对姿态。这个框架对研究人员来说很有吸引力，因为深度和姿态网络可以从时间序列图像中训练，而不需要地面真实深度和姿态。在这项工作中，我们估计机器人周围的深度（360度视图）使用时间序列球形相机图像，从相机的参数是未知的。我们提出了一个可学习的轴对称相机模型，它接受两个鱼眼相机图像失真的球形相机图像。此外，我们使用照片级逼真的模拟器训练我们的模型，以生成地面真实深度图像来提供监督。此外，我们引入了损失函数来提供地板约束，以减少反射地板表面可能导致的伪影。我们证明了我们的方法的有效性，使用来自GO斯坦福数据集的球形摄像机图像和来自KITTI数据集的针孔摄像机图像来比较我们的方法与基线方法在学习摄像机参数方面的性能。
2022-02-18 cs.CV cs.RO
FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出FlowMap，一种端到端可微方法，通过梯度下降最小化光流目标函数，联合估计视频序列的相机位姿、内参和密集深度，在360度新视角合成任务中表现媲美COLMAP。
2024-07-23 cs.CV
Intel RealSense Stereoscopic Depth Cameras
Intel Corporation（英特尔公司）
我们将全面概述英特尔实感RGBD立体成像系统。我们讨论这些系统的操作模式，功能行为，并包括其预期的性能，缺点和局限性的模型。我们提供了有关系统的光学特性、相关算法以及这些特性如何影响不同应用的信息，包括3D重建和手势识别。我们的讨论涵盖英特尔实感R200和英特尔实感D400（正式名称为RS400）。
2017-10-29 cs.CV
FIS-Nets: Full-image Supervised Networks for Monocular Depth Estimation
Hikvision Research Institute (HRI), Hangzhou Hikvision Digital Technology Co. Ltd（海康威视研究院（HRI），杭州海康威视数字技术有限公司）
本文讨论了单目深度估计的全图像监督的重要性。我们提出了一个半监督的架构，它结合了使用图像一致性的无监督框架和稠密深度完成的监督框架。后者提供全图像深度作为对前者的监督。将导航系统中的自我运动作为内部时间变换网络的输出监督嵌入到无监督框架中，使单目深度估计更好。在评估中，我们表明，我们提出的模型优于其他方法的深度估计。
2020-01-19 cs.CV
Fine Dense Alignment of Image Bursts through Camera Pose and Depth Estimation
Inria Paris（法国国家信息与自动化研究所巴黎分院）
针对手持相机连拍图像的精细对齐问题，提出联合优化相机运动及逐像素表面深度与朝向的无训练密集对应方法，在小基线合成连拍上优于现有最佳光流方法，并可支持深度估计与三维重建。
2023-12-08 cs.CV
X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras
研究提出X-lens模型用于异构相机实时度量深度估计，基于几何感知异构相机公式，含可学习校准令牌和雅可比参数化失真偏差，在多数据集训练，实验证明其精度高、参数少，在多种设置下性能有竞争力。
2026-07-16 cs.CV
Embodiment: Self-Supervised Depth Estimation Based on Camera Models
University of Georgia（佐治亚大学）；Ford Motor Company（福特汽车公司）；University of Maryland（马里兰大学）
针对单目自监督深度估计在性能和尺度上的局限，提出将相机内参和外参等物理属性嵌入深度学习模型，基于物理原理生成地面区域深度先验作为免费监督信号，提升无监督方法效果并实现具身化理解。
2024-08-29 cs.CV
Joint Blind Motion Deblurring and Depth Estimation of Light Field
Seoul National University（首尔大学）；Inha University（仁荷大学）
从单个光场中去除摄像机运动模糊是一个具有挑战性的任务，因为它是高度不适定的逆问题。当模糊核由于场景深度变化和高阶相机运动而在空间上变化时，问题变得更糟。在本文中，我们提出了一种新的算法来估计所有的模糊模型变量联合，包括潜在的子孔径图像，相机运动，和场景深度从模糊的4D光场。利用光场的多视图性质通过利用强深度线索和多视图模糊观察来减轻优化的逆性质。在任意6自由度摄像机运动和场景深度不受约束的情况下，该联合估计方法同时实现了高质量的光场去模糊和深度估计。对真实和合成的模糊光场进行了大量的实验，实验结果表明，该算法优于现有的光场去模糊和深度估计方法。
2018-06-14 cs.CV
AutoDepthNet: High Frame Rate Depth Map Reconstruction using Commodity Depth and RGB Cameras
University of British Columbia（不列颠哥伦比亚大学）
提出AutoDepthNet，一种结合商用深度和RGB相机的编码器-解码器模型，通过融合高速RGB帧与历史深度图实现高帧率、低延迟的实时深度图重建，显著提升精度并修复缺失像素。
2023-05-24 cs.AI cs.CV
Position Estimation of Camera Based on Unsupervised Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
从视频序列中恢复场景的三维结构和摄像机姿态是一个令人兴奋的任务。目前的解决方案大多分为两个部分，单目深度恢复和相机姿态估计。单目深度恢复通常被作为一个独立的部分来研究，并且使用更好的深度估计来求解姿态。而传统的SLAM（同时定位与地图构建）方法在大多数情况下仍是对摄像机位姿进行估计。利用无监督方法进行单目深度恢复和位姿估计，得益于[1]的研究，取得了较好的效果。本文改进了文[1]的方法。重点在于对该方法的思想和相关理论进行改进，引入更合理的帧间约束，最终在统一的世界坐标系下将摄像机运动轨迹与帧间位姿估计进行综合。我们的结果得到更好的性能。
2018-05-05 cs.CV
DepthAgent: Towards Better Universal Depth Estimation via Sample-wise Expert Selection
Michigan State University（密歇根州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
提出DepthAgent，一种视觉语言智能体，通过多轮工具调用和强化学习微调，自适应地为不同相机设置（透视、鱼眼、全景）选择或融合多个深度估计专家模型，显著提升通用深度估计性能。
2026-05-22 cs.CV
Light Robust Monocular Depth Estimation For Outdoor Environment Via Monochrome And Color Camera Fusion
Gwangju Institute of Science and Technology（光州科学技术学院）；School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；School of Electrical Engineering（电气工程学院）；Computer Science Gwangju Institute of Science（光州科学技术学院计算机科学）
深度估计在SLAM、里程计和自动驾驶中起着重要作用。特别是单目深度估计由于其低成本、低存储和低计算而成为一种有利可图的技术。然而，它不是一个足够的预测深度图，因为相机往往无法得到一个干净的图像，因为光线条件。为了解决这一问题，各种传感器融合方法被提出。尽管传感器融合是一种强大的方法，但它需要昂贵的传感器、额外的存储器和高计算性能。本文提出了一种基于局部增强相关系数最大化的彩色图像与单色图像像素级融合与立体匹配方法。我们的方法不仅在所有指标上优于最先进的作品，而且在成本，内存和计算方面也很有效。我们还通过消融研究验证了我们设计的有效性。
2022-02-24 cs.CV
SCARED-C: Corrected Camera Poses for Endoscopic Depth Estimation
Vanderbilt University（范德比大学）；Intuitive Surgical, Inc.（Intuitive Surgical公司）
SCARED-C通过修正相机姿态，将可靠RGB-D配对数从35增加到17135，采用COLMAP和尺度恢复步骤提升内窥镜深度估计的精度与可靠性。
2026-05-15 cs.CV
SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）
在野外，单目深度估计固有地预测未知尺度的深度。为了解决尺度模糊问题，我们提出了一种学习算法，利用单目同时定位与地图构建（SLAM）与本体感受传感器。这样的单目SLAM系统可以提供度量缩放的相机姿态。给定这些度量姿态和单目序列，我们提出了一种用于预训练的监督单目深度网络的自监督学习方法，以实现度量缩放的深度估计。我们的方法是基于师生公式，指导我们的网络预测高质量的深度。我们证明，我们的方法是有用的，如移动机器人导航的各种应用，并适用于不同的环境。我们的完整系统显示了对最近的自监督深度估计和完成方法在EuRoC，OpenLORIS和ScanNet数据集上的改进。
2022-03-10 cs.CV
D^2-4DGS: Dual-Depth Guided Sparse-Camera 4D Gaussian Splatting
针对稀疏相机动态四维高斯溅射的几何监督不足问题，提出双深度先验引导的D^2-4DGS框架，经9个数据集-视图设置验证，其峰值信噪比平均较最佳对比方法提升1.33dB。
2026-08-04 cs.CV
Pseudo Supervised Monocular Depth Estimation with Teacher-Student Network
McMaster University（麦克马斯特大学）；University at Buffalo（布法罗大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管监督单目深度估计最近有所改进，但缺乏高质量的逐像素地面实况注释已成为进一步进展的主要障碍。在这项工作中，我们提出了一种新的无监督深度估计方法的伪监督机制的基础上，通过训练的师生网络与知识蒸馏。它策略性地集成了监督和无监督单目深度估计以及无监督双目深度估计的优点。具体地，教师网络利用双目深度估计的有效性来产生精确的视差图，然后将其用作伪地面实况以训练学生网络进行单目深度估计。这有效地将无监督学习的问题转换为监督学习。我们广泛的实验结果表明，所提出的方法优于国家的最先进的KITTI基准。
2021-10-22 cs.CV
Contactless 3D Human Body Measurement Using Depth Cameras for Smart Health Monitoring
Department of Computer（计算机系）；Department of Information（信息系）；Department of Human Genetics（人类遗传学系）；University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
提出一种基于深度相机和3D点云的非接触式人体测量框架，通过空间滤波、地标选择及体素/网格分析实现身高、臂展、体积和表面积等关键指标的准确估计。
2026-06-11 cs.CV
Training Self-Supervised Depth Completion Using Sparse Measurements and a Single Image
本文提出一种仅需稀疏深度测量和单张图像的自监督深度补全方法，通过利用深度分布设计损失函数并结合视觉基础模型分割图，摆脱了对稠密标签和多帧图像的依赖。
2025-07-20 cs.CV
Semi-Supervised Deep Learning for Monocular Depth Map Prediction
RWTH Aachen University（亚琛工业大学）
受监督的深度学习经常受到缺乏足够的训练数据的困扰。具体地，在单目深度图预测的上下文中，几乎不可能在现实的动态户外环境中确定密集的地面实况深度图像。例如，当使用LiDAR传感器时，距离测量中存在噪声，传感器之间的校准不可能是完美的，并且测量通常比相机图像稀疏得多。在本文中，我们提出了一种新的方法来从单目图像中预测深度图，以半监督的方式学习。虽然我们使用稀疏地面实况深度进行监督学习，但我们也使用直接图像对齐损失来强制我们的深度网络在立体设置中产生照片一致性密集深度图。在实验中，我们展示了优越的性能，从单个图像的深度图预测相比，国家的最先进的方法。
2017-05-09 cs.CV
Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning
Seoul National University（首尔大学）；Inha University（仁荷大学）
本文针对360°单目深度估计中深度数据不足和自监督解不稳定问题，提出仅用重力对齐视频的自监督方法、监督与自监督联合学习方案以及非局部融合块，首次将Transformer成功应用于360°深度估计，并在多个基准上达到最先进性能。
2021-12-30 cs.CV
MonSter: Awakening the Mono in Stereo
Tel-Aviv University（特拉维夫大学）；Toronto University（多伦多大学）
被动深度估计是计算机视觉中研究最久的领域之一。用于被动深度估计的最常见的方法是立体或单目系统。使用前者需要精确的校准过程，并且具有有限的有效范围。后者不需要外部校准，但通常实现较差的深度精度，可以进行调整，以在部分深度范围内实现更好的结果。在这项工作中，我们建议结合这两个框架。我们提出了一个双摄像机系统，其中的摄像机联合使用，以提取立体深度和单独提供从每个摄像机的单眼深度。这些深度图的组合导致更准确的深度估计。此外，强制执行提取的地图之间的一致性导致一种新的在线自校准策略。我们提出了一个原型相机，展示了所提出的组合的好处，在现实世界的场景中的自校准和深度重建。
2019-10-30 cs.CV
