SPLODE: Semi-Probabilistic Point and Line Odometry with Depth Estimation from RGB-D Camera Motion
University of Surrey（萨里大学）
有源深度相机受到几个限制，这会导致深度图不完整和有噪声，并可能因此影响RGB-D测距法的性能。为了解决这个问题，本文提出了一种基于点和线特征的视觉里程计方法，该方法利用来自深度传感器的测量和来自相机运动的深度估计。深度估计是由概率深度估计框架连续生成的，用于两种类型的特征，以补偿深度测量的缺乏和不准确的特征深度关联。该框架明确地对来自点和线观测的三角测量深度的不确定性进行建模，以验证并获得精确的估计值。此外，通过将深度测量传播通过深度图配准模块并使用独立地考虑3D到2D和2D到3D重投影误差的帧到帧运动估计方法来利用深度测量。在大型室内和室外场景中捕获的RGB-D序列的结果表明，通过我们的方法将深度测量和估计相结合，能够克服深度测量的缺失和不准确性。
2017-08-09 cs.CV cs.RO
Sphere-Depth: A Benchmark for Depth Estimation Methods with Varying Spherical Camera Orientations
Department of Engineering, University of Palermo, Palermo, Italy（帕尔梅罗大学工程系）
本文提出Sphere-Depth基准，评估单目深度估计模型在球面图像中的鲁棒性，通过模拟相机姿态扰动和深度校准误差协议，发现即使专门处理球面图像的模型在姿态变化下也表现不佳。
2026-04-25 cs.AI cs.CV
WS-SfMLearner: Self-supervised Monocular Depth and Ego-motion Estimation on Surgical Videos with Unknown Camera Parameters
Vanderbilt University（范德堡大学）
本文提出WS-SfMLearner，一种自监督系统，在未知相机内参的手术视频中同时预测深度图、相机位姿及内参，通过代价体积辅助监督提升各项估计精度。
2024-02-06 cs.AI cs.CV eess.IV
Quantitative Depth Quality Assessment of RGBD Cameras At Close Range Using 3D Printed Fixtures
Root AI Inc（Root人工智能公司）
移动机器人操纵他们的环境需要高精度的场景理解在近距离。通常情况下，这种理解是通过RGBD相机实现的，但为应用选择合适的RGBD相机的评估过程是最低限度的定量。由于质量是特定于应用程序的，因此有限的企业发布的指标不能转化为现实世界混乱环境中观察到的质量。为了弥合这一差距，我们提出了一种使用一组近似真实条件的可扩展3D打印夹具定量测量深度质量的方法。通过将深度质量框定为已知几何形状的点云密度和均方根误差（RMSE），我们提出了一种方法，该方法可由其他系统集成商扩展用于自定义环境。我们展示了3个相机的比较，并提出了一个案例研究相机的选择，提供参考网格和分析代码，并讨论进一步的扩展。
2019-03-21 cs.CV cs.RO
GenDepth: Generalizing Monocular Depth Estimation for Arbitrary Camera Parameters via Ground Plane Embedding
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
本文提出 GenDepth，通过地平面深度的相机参数嵌入与对抗性领域对齐，并结合多样化合成数据，提升单目度量深度估计对任意车载相机设置的泛化能力。
2023-12-10 cs.CV cs.RO
Deep Depth from Focal Stack with Defocus Model for Camera-Setting Invariance
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Shiga University（滋贺大学）
我们提出了一个基于学习的深度从聚焦/散焦（DFF），它需要一个焦点堆栈作为输入估计场景深度。散焦模糊是用于深度估计的有用线索。然而，模糊的大小不仅取决于场景深度，还取决于相机设置，如焦距，焦距和f数。如果相机设置在训练和测试时间不同，则当前基于学习的方法没有任何散焦模型，无法估计正确的深度图。我们的方法将平面扫描体积作为场景深度、散焦图像和相机设置之间的约束的输入，并且这种中间表示使得能够在训练和测试时间使用不同的相机设置进行深度估计。这种相机设置不变性可以增强基于学习的DFF方法的适用性。实验结果还表明，我们的方法是强大的对合成到真正的域差距，并表现出最先进的性能。
2022-02-26 cs.CV
Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Shenzhen DJI Sciences and Technologies Ltd.（深圳市大疆创新科技有限公司）；Tsinghua University（清华大学）
从图像中估计深度图是机器人系统中的重要任务。现有的方法可以分为两组，包括多视图立体视觉和单目深度估计。前者要求摄像机之间有较大的重叠区域和足够的基线，而后者对每幅图像进行独立处理，很难保证摄像机之间的结构一致性。在本文中，我们提出了一种新的多摄像机协作深度预测方法，不需要大的重叠区域，同时保持摄像机之间的结构一致性。具体来说，我们制定的深度估计作为一个加权组合的深度基础，其中的权重迭代更新的细化网络驱动的建议的一致性损失。在迭代更新期间，跨相机比较深度估计的结果，并且在基公式的帮助下将重叠区域的信息传播到整个深度图。在DDAD和NuScenes数据集上的实验结果证明了该方法的优越性能。
2022-10-05 cs.CV
Multi-Event-Camera Depth Estimation and Outlier Rejection by Refocused Events Fusion
Technische Universität Berlin（柏林工业大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）；Science of Intelligence Excellence Cluster（智能科学卓越集群）
活动摄像机是生物启发的传感器，提供优于传统摄像机的优势。它们异步操作，以微秒分辨率对场景进行采样，并产生一系列亮度变化。这种非传统的输出激发了新颖的计算机视觉方法来释放相机的潜力。在这里，基于事件的立体三维重建SLAM的问题被认为是。大多数基于事件的立体方法试图利用相机的高时间分辨率和事件跨相机的连续性来建立匹配和估计深度。相比之下，这项工作研究如何估计深度没有明确的数据关联融合视差空间图像（DSI）起源于有效的单目方法。融合理论的开发和应用，以设计多摄像机三维重建算法，产生国家的最先进的结果，证实了与四个基线方法和测试各种可用的数据集的比较。
2022-09-12 cs.CV cs.RO eess.SP
Event-based Stereo Depth Estimation from Ego-motion using Ray Density Fusion
Technische Universität Berlin（柏林工业大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）；SCIoI Excellence Cluster（SCIoI卓越集群）
事件相机是生物启发的传感器，通过响应场景中的亮度变化来模仿人类视网膜。它们以微秒级分辨率生成基于异步尖峰的输出，与传统相机相比具有高动态范围、低运动模糊和能效等优势。大多数基于事件的立体方法试图利用相机的高时间分辨率和事件跨相机的连续性来建立匹配和估计深度。相比之下，这项工作研究如何估计深度立体事件相机没有明确的数据关联融合后投影射线密度，并证明其有效性头戴式摄像机的数据，这是记录在一个以自我为中心的方式。代码和视频可在https://github.com/tub-rip/dvs_mcemvs上获得
2022-10-17 cs.CV cs.RO
JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision
Ajou University（韩国亚洲大学）；Kennesaw State University（肯尼索州立大学）
研究自动驾驶系统中雷达-相机深度估计问题，提出单阶段JustDepth方法，仅用雷达、相机和单扫描激光雷达训练，能聚合雷达回波解耦运行时与点数，融合模态传播深度，减轻条纹伪影，相比先进方法减少推理时间并降低条纹伪影。
2026-07-27 cs.CV cs.RO
EGA-Depth: Efficient Guided Attention for Self-Supervised Multi-Camera Depth Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
提出EGA-Depth引导注意力架构，通过透视图交叉参考相邻视图，仅对重叠视图执行注意力，提升自监督多相机深度估计的效率与精度，在nuScenes和DDAD基准上达到SOTA。
2023-04-06 cs.CV
A Compact Light Field Camera for Real-Time Depth Estimation
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
在许多应用中使用深度相机。最近，光场方法越来越多地用于深度计算。虽然这些方法证明了技术上的可行性，但它们不能被带入现实世界的应用，因为它们具有高计算时间以及大的设计。本文正是克服了这两个缺点。本文首次提出了一种基于光场原理的深度相机，它不仅能提供实时的【形】深度信息，而且设计紧凑。
2019-07-25 cs.CV
Unsupervised Learning of Depth Estimation and Visual Odometry for Sparse Light Field Cameras
School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney（悉尼大学航空航天、机械与机电工程学院）；Sydney Institute for Robotics and Intelligent Systems（悉尼机器人与智能系统研究院）
虽然出现了令人兴奋的多种新型成像设备，可以大大提高机器人的感知能力，但校准和解释这些相机的挑战限制了它们在机器人领域的应用。在这项工作中，我们概括了技术，从无监督学习，让机器人自主解释新类型的相机。我们考虑新兴的稀疏光场（LF）相机，其捕获描述穿过平面的光线的集合的4D LF函数的子集。我们介绍了一个广义的稀疏LF编码，允许无监督学习的里程和深度。我们证明了所提出的方法优于单目和传统的技术处理4D图像，产生更准确的里程计和深度图，并提供这些与度量尺度。我们期望我们的技术推广到广泛的LF和稀疏LF相机，并使无人监督的重新校准，以应对在机器人的生命周期内相机行为的变化。这项工作代表了在机器人应用中简化新型成像设备集成的第一步。
2021-03-21 cs.CV cs.RO
FisheyeDepth: A Real Scale Self-Supervised Depth Estimation Model for Fisheye Camera
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本文提出FisheyeDepth，一种面向鱼眼相机的自监督深度估计模型，通过引入鱼眼相机模型、真实尺度位姿信息和多通道输出策略，在无需真值深度数据的情况下实现真实尺度、高鲁棒性的鱼眼图像深度估计。
2025-03-08 cs.CV cs.RO
Joint Image and Depth Estimation with Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
基于掩模的无镜头相机用定制掩模取代传统相机的镜头。这些相机可能非常薄，甚至灵活。最近，已经证明这种基于掩模的相机可以恢复场景的光强度和深度信息。现有的深度恢复算法要么假设场景由少量的深度平面组成，要么在大的3D体积上解决稀疏恢复问题。这两种方法都不能恢复具有大深度变化的场景。在本文中，我们提出了一种新的深度估计方法的基础上交替梯度下降算法，联合估计一个连续的深度图和光分布的未知场景从其无透镜测量。我们提出了各种3D测试场景的图像和深度重建的模拟结果。与其他方法的比较表明，我们的算法是更强大的自然场景与大范围的深度。我们建立了一个原型无透镜相机和目前的实验结果重建的强度和深度图的不同的真实物体。
2020-06-19 cs.CV eess.IV
Robust and Flexible Omnidirectional Depth Estimation with Multiple 360-degree Cameras
Nanjing University（南京大学）；Jinling Institute of Technology（金陵科技学院）
本文利用多台360度相机的几何约束与冗余信息，提出两阶段和一阶段两种全向深度估计算法，并构建含污损与眩光的合成数据集，实现了鲁棒、灵活且达到最先进性能的深度预测。
2025-02-06 cs.CV
Camera-Independent Single Image Depth Estimation from Defocus Blur
University of Virginia（弗吉尼亚大学）
针对单目散焦模糊深度估计对相机参数敏感的问题，提出基于光学物理方程的无需重训练校正方法，并构建合成数据集，在DDFF12和NYU depth V2上验证了方法对相机变化的强鲁棒性。
2023-11-21 cs.CV
Matching-based Depth Camera and Mirrors for 3D Reconstruction
University of Montreal（蒙特利尔大学）；University of Science and Technology（科技大学）
三维物体模型的重建在计算机视觉的许多应用中起着重要的作用。本文提出了一种简单的方法来构建一个更便宜的系统，只使用一个深度相机和2个或更多的镜子进行3D重建，而不是像许多研究中那样使用一组相机和/或传感器。每个反射镜被等效地视为另一视点处的深度相机。由于所有场景数据仅由一个深度传感器提供，因此我们的方法可以应用于移动对象，并且不需要任何同步协议。一些实验进行了易于评估的对象，以确认我们所提出的系统的重建精度。
2019-08-17 cs.CV
Semantic keypoint extraction for scanned animals using multi-depth-camera systems
点云中的关键点注释是3D重建、对象跟踪和对齐的重要任务，特别是在可变形或移动场景中。在农业机器人的背景下，牲畜自动化的一项关键任务是进行状态评估或行为识别。在这项工作中，我们提出了一种新的方法在点云语义关键点标注，通过重新制定的关键点提取的关键点和点云的其余部分之间的距离的回归问题。我们使用映射到径向基函数（RBF）的点云流形上的距离，然后使用编码器-解码器架构学习。通过考虑外部校准和相机帧丢失上的噪声，对特定于多深度相机系统的数据增强给予特别考虑。此外，我们研究计算效率高的非刚性变形方法，可以应用于动物点云。我们的方法进行了测试，在现场收集的数据，在移动的肉牛，与多个硬件同步的RGB-D相机的校准系统。
2022-11-16 cs.CV cs.RO
Total Variation-Based Dense Depth from Multi-Camera Array
National University of Ireland, Galway（爱尔兰国立高威大学）
多相机阵列越来越多地用于消费者和工业应用中，并且记录了各种被动技术以估计来自此类相机阵列的深度。当前的深度估计方法提供成像场景中的深度的有用估计，但是由于显著的计算要求而通常是不切实际的。本文提出了一种新的框架，从多相机阵列/光场相机生成高质量的连续深度图。所提出的框架利用对局部对极平面图像（EPI）的分析来启动深度估计过程。然后，使用基于Fenchel-Rockafellar对偶的总变差（TV）最小化来处理估计的深度图。该方法的基础上，一个众所周知的基准评估表明，所提出的框架相比，排名靠前的深度估计方法和基线算法的准确性方面表现良好。测试数据集包括真实感和非真实感场景。值得注意的是，当与顶级算法相比时，实现等同精度所需的计算要求显著降低。因此，所提出的框架是适合部署在消费者和工业应用。
2017-11-21 cs.CV
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
UC Irvine（加州大学尔湾分校）；Carnegie Mellon University（卡内基梅隆大学）
单目深度预测器通常在大规模训练集上进行训练，这些训练集自然偏向于相机姿态的分布。因此，训练的预测器无法对在不常见的相机姿势下捕获的测试示例进行可靠的深度预测。为了解决这个问题，我们提出了两种新的技术，在训练和预测过程中利用相机的姿态。首先，我们引入了一种简单的视角感知数据增强，它通过以几何一致的方式扰动现有示例，合成具有更多样化视图的新训练样本。其次，我们提出了一个条件模型，利用每图像相机构成的先验知识，将其编码为输入的一部分。我们表明，联合应用这两种方法可以提高对在不常见甚至从未见过的相机姿势下捕获的图像的深度预测。我们表明，我们的方法提高性能时，应用到一系列不同的预测架构。最后，我们表明，显式编码的相机姿态分布提高了综合训练的深度预测器的泛化性能时，对真实图像进行评估。
2021-03-28 cs.CV
CamLessMonoDepth: Monocular Depth Estimation with Unknown Camera Parameters
University of Applied Sciences (HTW)（应用科学大学）
在计算机视觉的许多应用中，感知3D信息至关重要。单目深度估计的最新进展已经表明，通过训练深度神经网络来预测逆深度和姿态，从单个相机输入获得这样的知识是可能的，而不需要地面实况数据。然而，大多数这样的方法需要在训练期间明确地馈送相机参数。因此，在训练期间不能使用来自野生的图像序列。虽然存在也预测相机本质的方法，但它们的性能与将相机参数作为输入的新方法不一样。在这项工作中，我们提出了一种隐式估计针孔摄像机的内在以及深度和姿态的方法，通过学习单目图像序列。此外，通过利用有效的子像素卷积，我们表明，高保真度的深度估计可以获得。我们还将逐像素的不确定性估计嵌入到框架中，以强调这项工作在实际领域中的可能适用性。最后，我们证明了在没有相机固有特性的先验知识的情况下准确预测深度信息的可能性，同时在KITTI基准上优于现有的最先进的方法。
2021-10-27 cs.CV
M${^2}$Depth: Self-supervised Two-Frame Multi-camera Metric Depth Estimation
Tsinghua University（清华大学）；Megvii Technology（旷视科技）
本文提出M${^2}$Depth，一种自监督双帧多相机度量深度估计网络，通过时空代价体融合与SAM神经先验增强边缘，在nuScenes和DDAD上达到最先进性能。
2024-05-03 cs.CV
Unsupervised Learning of Depth, Camera Pose and Optical Flow from Monocular Video
Intel Corporation（英特尔公司）
我们提出了DFPNet -一个无监督的联合学习系统，用于从单目图像序列中估计单目深度、光流和自运动（相机姿态）。由于3D场景几何形状的性质，这三个组件是耦合的。我们利用这一事实，以端到端的方式联合训练所有三个组件。一个单一的复合损失函数--包括基于图像重建的深度和光流损失、双向一致性检查和平滑损失分量--用于训练网络。使用超参数调整，我们能够将模型大小减少到最先进的DFP模型的5%（8.4M参数）以下。对KITTI和Cityscapes驾驶数据集的评估表明，我们的模型在所有三项任务中都取得了与最先进水平相当的结果，即使模型尺寸明显较小。
2022-10-11 cs.AI cs.CV
CAM-Convs: Camera-Aware Multi-Scale Convolutions for Single-View Depth
University of Zaragoza（萨拉戈萨大学）；University of Freiburg（弗莱堡大学）；Intel Labs（英特尔实验室）；Bitbrain（Bitbrain（公司））；cs.uni-freiburg.de（（注：原文本中该部分为邮箱域名，不应作为机构提取，实际有效机构为上述列出的））
单视图深度估计存在这样的问题，即在来自一个相机的图像上训练的网络不能推广到用不同相机模型拍摄的图像。因此，改变相机模型需要收集全新的训练数据集。在这项工作中，我们提出了一种新型的卷积，可以考虑相机参数，从而允许神经网络学习校准感知模式。实验证实，这大大提高了深度预测网络的泛化能力，并且当用不同的相机获取训练和测试图像时，明显优于现有技术。
2019-04-03 cs.CV
Toward Depth Estimation Using Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
最近，编码掩模已被用于演示一种薄形无透镜相机FlatCam，其中掩模被直接放置在裸露的图像传感器的顶部。在本文中，我们提出了一个成像模型和算法，联合估计的深度和强度信息的场景从一个或多个FlatCams。我们使用一个光场表示模型的3D场景到传感器的映射，其中来自不同深度的光线产生不同的调制模式。我们提出了一个贪婪的深度追踪算法来搜索3D体积和估计的深度和强度的相机视场内的每个像素。我们目前的仿真结果分析我们所提出的模型和算法的性能与不同的FlatCam设置。
2017-11-09 cs.CV
Multi-Modal Depth Estimation Using Convolutional Neural Networks
TU Kaiserslautern（凯泽斯劳滕工业大学）
本文讨论了稀疏的距离传感器数据和一个单一的相机图像在具有挑战性的天气条件下的密集深度预测的问题。这项工作探讨了不同的传感器模式，如相机，雷达和激光雷达的意义，通过应用深度学习方法来估计深度。虽然激光雷达具有比雷达更高的深度感测能力，并且在许多先前的工作中已经与相机图像集成，但是使用CNN的关于鲁棒的雷达距离数据和相机图像的融合的深度估计还没有被探索太多。在这项工作中，提出了一个深度回归网络，利用迁移学习方法，包括一个编码器，其中高性能的预训练模型已被用来初始化它提取密集的功能和解码器进行上采样和预测所需的深度。结果在Nuscenes，KITTI和使用CARLA模拟器创建的合成数据集上进行了演示。此外，顶视图变焦摄像头从起重机在建筑工地上捕获的图像进行评估，以估计起重机吊臂从地面承载重物的距离，以显示在安全关键应用的可用性。
2020-12-17 cs.AI cs.CV
Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras
Carnegie Mellon University（卡内基梅隆大学）；Waymo；Meta
针对多视角RGB三维人体姿态方法需多视角、已标定相机且依赖真实姿态训练的问题，提出无需训练回归模型的MVD-HPE流程，结合深度引导相机位姿估计与深度约束姿态优化，在自采数据集上性能优于现有无回归方案。
2024-01-28 cs.CV
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras
Google AI（谷歌人工智能）；Robotics at Google（谷歌机器人部门）
我们提出了一种新的方法，同时学习的深度，自我运动，对象运动，和相机的本质从单目视频，仅使用相邻视频帧的一致性作为监督信号。与之前的工作类似，我们的方法通过对帧应用可微扭曲并将结果与相邻帧进行比较来学习，但它提供了几项改进：我们直接使用训练期间预测的深度图，以几何和可微的方式解决遮挡问题。我们引入随机层归一化，一种新的强大的正则化，我们占对象运动相对于场景。据我们所知，我们的工作是第一个以无监督的方式从视频中学习相机内部参数，包括镜头失真，从而使我们能够从任意未知来源的视频中提取准确的深度和运动。我们评估了我们在Cityscapes，KITTI和EuRoC数据集上的结果，建立了深度预测和里程计的新技术水平，并定性地证明了可以从YouTube视频集合中学习深度预测。
2019-04-10 cs.CV cs.GR cs.LG
Neural Camera Models
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
现代计算机视觉已经超越了互联网照片收集的领域，进入了物理世界，引导配备摄像头的机器人和自动驾驶汽车通过非结构化环境。为了使这些具体的代理与现实世界的对象进行交互，相机越来越多地被用作深度传感器，为各种下游推理任务重建环境。机器学习辅助深度感知或深度估计为图像中的每个像素预测到成像场景点的距离。虽然在深度估计中已经取得了令人印象深刻的进步，但是仍然存在重大挑战：（1）大规模收集地面实况深度标签是困难的并且是昂贵的，（2）相机信息通常被假设为已知的，但是通常是不可靠的，以及（3）限制性相机假设是常见的，即使在实践中使用了各种各样的相机类型和镜头。在这篇论文中，我们专注于放松这些假设，并描述对最终目标的贡献，把相机变成真正通用的深度传感器。
2022-08-27 cs.CV
Transformers in Self-Supervised Monocular Depth Estimation with Unknown Camera Intrinsics
Advanced Research Lab, NavInfo Europe（四维图新欧洲高级研究实验室）
自动驾驶和高级驾驶员辅助系统的出现使得计算机视觉在3D场景理解方面的不断发展成为必要。自监督单目深度估计是一种不使用地面真值标签的单目距离估计方法，是三维场景理解中的一项重要任务。然而，用于该任务的现有方法限于卷积神经网络（CNN）架构。与使用局部线性运算并在各层中丢失特征分辨率的CNN相比，视觉Transformer在每个阶段都以恒定的分辨率处理全局感受野。虽然最近的工作比较了Transformers与他们的CNN同行的任务，如图像分类，没有研究存在调查的影响，使用Transformers的自我监督单眼深度估计。在这里，我们首先演示了如何适应视觉Transformer的自我监督单眼深度估计。此后，我们比较了Transformer和基于CNN的架构在KITTI深度预测基准上的性能，以及它们对自然损坏和对抗攻击的鲁棒性，包括当相机内部函数未知时。我们的研究演示了如何基于transformer的架构，虽然运行时效率较低，实现了相当的性能，同时更强大和更普遍。
2022-02-07 cs.AI cs.CV
Monocular One-Shot Metric-Depth Alignment for RGB-Based Robot Grasping
Department of Computer Science, Rutgers University（计算机科学系，罗格斯大学）
提出MOMA框架，通过一次性自适应对齐从单张RGB图像恢复度量深度，无需额外训练，在透明物体和真实抓取任务中表现优异。
2025-06-20 cs.CV cs.RO
MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources
Li Auto Inc（李自动公司）
研究针对度量深度估计扩展难题，提出MetricAnything框架，通过随机掩码创建稀疏度量提示解耦空间推理与偏差，用多样3D数据预训练，在多任务中表现出色，推动度量感知发展。
2026-07-07 cs.AI cs.CV
DepthP+P: Metric Accurate Monocular Depth Estimation using Planar and Parallax
当前的自监督单目深度估计方法大多基于估计表示相机运动的刚体运动。这些方法在其预测中遭受众所周知的尺度模糊性问题。我们提出了DepthP+P，这是一种通过遵循传统的平面视差范式来学习以度量尺度估计输出的方法。我们首先使用公共地平面来对齐两个帧，该公共地平面消除了相机运动中的旋转分量的影响。使用两个神经网络，我们预测深度和相机平移，与旋转一起预测相比，单独预测更容易。通过假设已知的相机高度，我们可以计算3D点的诱导2D图像运动，并将其用于在自监督单目方法中重建目标图像。我们在KITTI驾驶数据集上进行了实验，结果表明，平面视差方法只需要预测相机平移，可以作为依赖于估计6DoF相机运动的当前方法的度量准确的替代方案。
2023-01-05 cs.CV
G-CUT3R: Guided 3D Reconstruction with Camera and Depth Prior Integration
Applied AI Institute（应用人工智能研究所）；T-Tech（T-Tech公司）；KAUST（卡塔尔科技大学）
本文提出 G-CUT3R，通过专用模态编码器和零卷积将深度、相机标定或位置等先验融入 CUT3R，从而在多类三维重建与多视图基准上显著提升性能。
2025-09-29 cs.AI cs.CV
SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Tianjin University（天津大学）；PhiGent Robotics（鉴智机器人）
从图像中进行深度估计是自动驾驶3D感知的基本步骤，是LiDAR等昂贵深度传感器的经济替代方案。时间光度约束使得能够在没有标签的情况下进行自监督深度估计，进一步促进其应用。然而，大多数现有的方法仅基于每个单目图像来预测深度，而忽略了多个周围相机之间的相关性，这些相机通常可用于现代自动驾驶车辆。在本文中，我们提出了一种SurroundDepth方法，将来自多个周围视图的信息结合起来，以预测跨相机的深度图。具体来说，我们采用一个联合网络来处理所有周围的意见，并提出了一个跨视图Transformer，以有效地融合来自多个视图的信息。我们应用跨视图自注意力，有效地使多相机特征地图之间的全局交互。不同于自监督单目深度估计，我们能够预测现实世界的尺度给定的多摄像机外部矩阵。为了实现这一目标，我们采用两帧结构从运动中提取尺度感知的伪深度来预训练模型。此外，而不是预测每个单独的摄像机的自我运动，我们估计一个普遍的自我运动的车辆，并将其转移到每个视图，以实现多视图自我运动的一致性。在实验中，我们的方法达到了最先进的性能上具有挑战性的多相机深度估计数据集DDAD和nuScenes。
2022-09-20 cs.CV
Unsupervised Learning Based Focal Stack Camera Depth Estimation
Center for Ultrafast Optical Science, University of Michigan（超快光学科学中心，密歇根大学）；University of Michigan（密歇根大学）
提出一种基于无监督深度学习的方法，从焦堆相机图像估计深度，在NYU-v2数据集上相比单图像方法显著提高精度。
2026-06-03 cs.CV cs.LG eess.IV
Hybrid Light Field Imaging for Improved Spatial Resolution and Depth Range
Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）
光场成像涉及捕获光的角度和空间分布;它实现了新的功能，例如捕获后数字重新聚焦、相机孔径调整、透视移位和深度估计。基于微透镜阵列（MLA）的光场相机提供了一种成本有效的光场成像方法。基于MLA的光场相机存在两个主要限制：低空间分辨率和窄基线。虽然低空间分辨率限制了光场相机的通用用途和适用性，但是窄基线限制了深度估计范围和准确度。在本文中，我们提出了一个混合立体成像系统，包括一个光场相机和一个普通的相机。该混合系统解决了基于MLA的光场相机的空间分辨率和窄基线问题，同时保留了光场成像能力。
2017-07-31 cs.CV
SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；SZ DJI Technology Co., Ltd.（深圳市大疆创新科技有限公司）；The University of New South Wales（新南威尔士大学）
本文提出SDGE方法，通过在360°相机组重叠区域利用立体结果生成深度先验和伪标签，并引入虚拟针孔相机与自标定位姿，提升有监督和自监督深度估计精度及跨视图一致性。
2024-04-02 cs.CV
Video Depth Estimation by Fusing Flow-to-Depth Proposals
HKUST（香港科技大学）；Nuro Inc.（努罗公司）；Scale AI（Scale人工智能公司）
单目视频的深度可以让数十亿台设备和机器人通过一个摄像头看到3D世界。在本文中，我们提出了一种方法与可微的流到深度层的视频深度估计。该模型包括一个流到深度层，一个相机姿态细化模块，和一个深度融合网络。给定光流和相机姿态，我们的流到深度层通过显式地解决对极几何优化问题来生成深度建议和相应的置信度图。我们的流到深度层是可区分的，因此我们可以通过最大化相机姿势细化模块中的聚合置信度来细化相机姿势。我们的深度融合网络可以利用从不同相邻帧推断的深度建议及其置信度图来产生最终的深度图。此外，深度融合网络还可以采用其他方法生成的深度建议来进一步改进结果。在三个公共数据集上的实验表明，我们的方法优于最先进的深度估计方法，并且具有合理的跨数据集泛化能力：我们在KITTI上训练的模型在看不见的Waymo数据集上仍然表现良好。
2020-03-03 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu（奥卢大学）；Aalto University（阿尔托大学）
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器（如Microsoft Kinect）生成，深度图都有噪声，并且可能具有较差的初始配准。在本文中，我们介绍了一种方法，这是能够处理离群值，特别是，甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中，以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后，将原始深度图重新配准到融合点云以细化原始相机外部参数。然后，再次使用细化的外部参数执行融合。重复此过程，直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
Neural RGB->D Sensing: Depth and Uncertainty from a Video Camera
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）；SenseTime（商汤科技）
深度感知对于三维重建和场景理解至关重要。主动式深度传感器提供密集度量测量，但通常遭受诸如受限的操作范围、低空间分辨率、传感器干扰和高功耗的限制。在本文中，我们提出了一种深度学习（DL）方法，用于从单目视频流中连续估计每像素深度及其不确定性，目标是有效地将RGB相机转换为RGB-D相机。与先前的基于DL的方法不同，我们估计每个像素的深度概率分布而不是单个深度值，从而估计每个输入帧的3D深度概率量。这些深度概率量在贝叶斯过滤框架下随着时间的推移而累积，因为更多的传入帧被顺序处理，这有效地降低了深度不确定性并提高了准确性、鲁棒性和时间稳定性。与以往的工作相比，该方法实现了更准确和稳定的结果，并更好地推广到新的数据集。实验结果还表明，我们的方法的输出可以直接输入到经典的RGB-D的三维扫描方法的三维场景重建。
2019-01-09 cs.CV
FisheyeDistill: Self-Supervised Monocular Depth Estimation with Ordinal Distillation for Fisheye Cameras
OPPO US Research Center（OPPO美国研究中心）；InnoPeak Technology, Inc.（InnoPeak技术公司）；Wing LLC（Wing有限责任公司）
在本文中，我们处理的问题，单目深度估计鱼眼相机在一个自我监督的方式。自监督深度估计的已知问题是其在低光/过度曝光条件下和在大的均匀区域中受到影响。为了解决这个问题，我们提出了一种新的序数蒸馏损失，从一个大的教师模型中提取序数信息。这样的教师模型，因为已经在大量不同的数据上训练，可以很好地捕获深度排序信息，但缺乏保持准确的场景几何形状。结合自监督损失，我们证明了我们的模型不仅可以在具有挑战性的环境中生成合理的深度图，而且可以更好地恢复场景几何形状。我们进一步利用AR眼镜设备的鱼眼摄像头来收集室内数据集，以便于评估。
2022-05-05 cs.CV
Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels
Google Research（谷歌研究院）
计算立体已经达到了很高的精度水平，但在存在遮挡、重复纹理和沿边缘的对应错误的情况下会降低。我们提出了一种基于神经网络的深度估计新方法，该方法将来自双摄像头的立体声与来自双像素传感器的立体声相结合，这在消费者相机上越来越常见。我们的网络使用了一种新的架构来融合这两个信息源，可以克服纯双目立体匹配的上述局限性。我们的方法提供了一个密集的深度图与尖锐的边缘，这是至关重要的计算摄影应用程序，如合成浅景深或3D照片。此外，我们避免了固有的模糊性，由于立体相机的孔径问题，通过设计的立体基线是正交的双像素基线。我们目前的实验和比较与国家的最先进的方法表明，我们的方法提供了一个实质性的改进，比以前的作品。
2020-03-31 cs.CV
Robust Full-FoV Depth Estimation in Tele-wide Camera System
Samsung Electronics（三星电子）
具有不同视场（FoV）镜头的远距相机系统在最近的移动设备中变得非常流行。传统的立体匹配方法很难获得全视场深度。基于纯深度神经网络（DNN）的深度估计方法可以获得完整的FoV深度，但对于训练数据集未覆盖的场景鲁棒性较低。针对上述问题，本文提出了一种基于分层沙漏网络的全景深深度估计方法，该方法结合了传统立体匹配方法的鲁棒性和深度神经网络的准确性。更具体地说，所提出的网络包括三个主要模块：单个图像深度预测模块从输入彩色图像推断初始深度，深度传播模块将传统的立体匹配远场视觉深度传播到周围区域，深度组合模块将初始深度与传播深度融合以生成最终输出。每个模块都采用沙漏模型，这是一种具有跳跃连接的编码器-解码器结构。实验结果表明，与现有的深度估计方法相比，该方法不仅在野外测试图像上具有较强的鲁棒性和较好的主观深度质量，而且在标准数据集上也获得了较好的量化结果。
2019-10-18 cs.CV
CoL3D: Collaborative Learning of Single-view Depth and Camera Intrinsics for Metric 3D Shape Recovery
Alibaba Cloud Computing（阿里云计算）
针对单图像度量三维形状恢复需相机内参的问题，提出CoL3D协同学习框架，联合估计深度与内参，通过三维先验约束、规范入射场机制及形状相似性损失，提升多基准数据集上的深度估计、相机校准性能与三维形状质量。
2025-02-13 cs.CV
UniDAC: Universal Metric Depth Estimation for Any Camera
Michigan State University（密歇根州立大学）；Bosch Research North America & Bosch Center for AI (BCAI)（博世北美研究院与博世人工智能中心）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出UniDAC框架，通过分离度量深度估计为相对深度预测和空间变化尺度估计，实现跨不同相机类型的通用鲁棒性，采用轻量级Depth-Guided Scale Estimation模块和RoPE-ϕ位置嵌入提升性能。
2026-04-08 cs.CV
Depth Estimation Analysis of Orthogonally Divergent Fisheye Cameras with Distortion Removal
Aalto University（阿尔托大学）
本文针对正交发散鱼眼相机立体视觉系统提出基于两个虚拟针孔相机的畸变去除与深度估计方法，通过仿真和真实实验验证其在畸变去除和深度估计精度上的有效性。
2023-07-07 cs.CV
Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）
互谱深度估计的目的是利用一对双光谱图像提供所有光照条件下的深度图。当车辆配备有两个不同模态的相机时，这对于自主车辆应用是有价值的。然而，由不同模态相机捕获的图像在光度上可能完全不同。因此，互谱深度估计是一个非常具有挑战性的问题。此外，大规模开源数据集的缺乏也阻碍了该领域的进一步研究。在本文中，我们提出了一种无监督的可见光图像引导的互谱（即，热和可见光，简称TIR-VIS）深度估计框架给出了从可见光相机和热相机捕获的一对RGB和热图像。我们首先采用一个基本的深度估计网络，使用RGB图像对。然后，我们提出了一个多尺度的特征转移网络，从TIR-VIS域的VIS域的特征转移到特征级，以适应训练的深度估计网络。最后，我们提出了一种互谱深度周期一致性方法来改善双谱图像对的深度结果。同时，我们向社会发布了一个大型的双光谱深度估计数据集，其中包括在不同场景中捕获的可见光和远红外立体图像。实验结果表明，该方法比现有的方法具有更好的性能。我们的数据集可在https://github.com/whitecrow1027/VIS-TIR-Datasets上获得。
2022-04-30 cs.CV
Marginalized Bundle Adjustment: Multi-View Camera Pose from Monocular Depth Estimates
Google（谷歌）；Michigan State University（密歇根州立大学）
本文提出边缘束调整方法，利用单目深度估计的密集深度图，有效整合到结构从运动任务中，提升多视角3D视觉性能。
2026-02-21 cs.CV
Single-Shot Metric Depth from Focused Plenoptic Cameras
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（德国航空航天中心机器人与机电一体化研究所）；I3A, Universidad de Zaragoza（萨拉戈萨大学I3A研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种利用聚焦型全光相机单帧输入的稠密度量深度估计流程，并构建真实光场数据集LFS验证其有效性。
2025-03-12 cs.CV
Single-shot ToF sensing with sub-mm precision using conventional CMOS sensors
Northwestern University（西北大学）；University of Arizona（亚利桑那大学）
我们提出了一种新的单镜头干涉ToF相机的目标是精确的动态物体的三维测量。相机的概念是基于合成波长干涉，一种技术，允许检索的深度图的物体与光学粗糙表面在亚毫米深度精度。与传统的ToF相机相比，我们的设备仅使用现成的CCD/CMOS探测器，并以其固有的芯片分辨率工作（截至目前，理论上高达20 Mp或更高）。此外，我们可以在单次拍摄中获得物体的完整3D模型，这意味着不需要曝光的时间序列或时间照明调制（例如幅度或频率调制），这使得我们的相机对物体运动具有鲁棒性。在本文中，我们介绍了新的相机的概念，并显示第一次测量，证明我们的系统的能力。我们提供了小型（厘米大小）物体的3D测量，点云分辨率> 2 Mp（我们使用的探测器的分辨率），深度精度高达亚毫米。我们还报告了一个“单镜头3D视频”采集和第一单镜头“非视线”测量。我们的技术对于具有动态物体运动的高精度应用具有巨大潜力，例如，在AR/VR、工业检测、医学成像以及通过雾或人体组织等散射介质成像中。
2022-12-02 cs.CV
RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制与网络系统研究所）；California Institute of Technology（加州理工学院）
本文提出RadarCam-Depth，一种四阶段雷达-相机融合框架，通过单目深度预测与稀疏雷达点尺度对齐及细化，实现高精度稠密深度估计，在nuScenes和自采数据集上MAE分别降低25.6%和40.2%。
2024-03-19 cs.CV
MonoNeRF: Learning Generalizable NeRFs from Monocular Videos without Camera Pose
University of California, San Diego（加州大学圣地亚哥分校）；FAIR, Meta AI（Meta人工智能基础研究实验室）
本文提出 MonoNeRF，一种无需深度或相机位姿标注、从单目视频学习可泛化神经辐射场的自编码器框架，可同时支持深度估计、位姿估计和单图像新视角合成。
2023-06-04 cs.CV cs.LG cs.RO
