XCalib Depth-Guided Geometric Optimization for Dense Thermal-Visible Video Registration
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP–UGA（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）；Institut Universitaire de France (IUF)（法国大学研究院）；Lynred（Lynred公司）
XCalib提出一种无监督密集热红外-可见光配准框架，利用虚拟针孔相机参数化作为几何约束，结合深度估计优化位姿与内参，并通过归一化边缘相关性度量，提升动态场景下的时间稳定性和对齐精度。
2026-09-21 cs.CV
Exploring intermediate representation for monocular vehicle pose estimation
The Hong Kong University of Science and Technology（香港科技大学）；SenseTime Research（商汤科技研究院）
我们提出了一个新的基于学习的框架来从单个RGB图像中恢复SO（3）中的车辆姿态。与以前的作品，从局部外观到观察角度的映射，我们探索了一个渐进的方法，通过提取有意义的中间几何表示（IGRs）来估计自我中心的车辆方向。这种方法的特征在于将感知强度转换为IGR的深度模型，IGR被映射到相机坐标系中编码对象方向的3D表示。核心问题是使用什么IGR以及如何更有效地学习它们。我们回答前一个问题，设计IGRs的基础上插值长方体，从原始的3D注释容易。后一个问题促使我们将几何知识与一个新的损失函数的基础上的投影不变量。该损失函数允许在训练阶段使用未标记的数据来改进表示学习。在没有额外标签的情况下，我们的系统在KITTI基准测试中的联合车辆检测和姿态估计性能优于以前的基于单目RGB的方法，甚至可以与立体声方法相媲美。代码和预训练模型可在此https URL上获得。
2021-07-12 cs.CV cs.LG cs.RO
Vision and Learning for Deliberative Monocular Cluttered Flight
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA Corporation（英伟达公司）；George Mason University（乔治梅森大学）；Harvey Mudd College（哈维穆德学院）
摄像机提供了丰富的信息来源，同时对于中小型无人机（UAV）来说是被动的、便宜的和轻便的。在这项工作中，我们提出了滚动时域控制，这是广泛应用于地面车辆，单目视觉作为唯一的传感模式，自主无人机飞行在密集的杂波的第一个实现。我们通过许多贡献使其在无人机上变得可行：通过相关和多样的感知和控制的新型耦合，对机器人周围场景的多种解释，利用机器学习的最新进展来展示任何时候预算成本敏感的特征选择，以及用于单目深度预测的快速非线性回归。我们经验性地证明了我们的新管道的功效，通过超过2公里的真实世界的实验，通过密集的树木与四旋翼从现成的零件。此外，我们的管道旨在将来自其他模式（如立体声和激光雷达）的信息结合起来。
2014-11-24 cs.CV cs.LG cs.RO
Intention Recognition of Pedestrians and Cyclists by 2D Pose Estimation
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
预测行人和骑自行车者等弱势道路使用者（VRU）的意图对于执行安全和舒适的驾驶操作至关重要。人类驾驶就是这种情况，因此，提供任何级别驾驶辅助的系统（从高级驾驶员辅助系统（ADAS）到全自动驾驶汽车（AV））都应考虑到这一点。在本文中，我们展示了基于单目视觉的人体姿态估计的最新进展，即那些依赖于深度卷积神经网络（CNN）的人，能够识别这种VRU的意图。在骑自行车的情况下，我们假设他们遵守交通规则，以表明未来的演习与手臂信号。在行人的情况下，没有迹象可以假设。相反，我们假设行人的行走模式允许确定他/她是否有在自我车辆的路径中横穿道路的意图，使得自我车辆必须相应地操纵（例如，减速或停止）。在本文中，我们将展示如何使用相同的方法来识别行人和骑自行车的人的意图。对于行人，我们在JAAD数据集上进行实验。对于骑自行车的人，我们没有找到类似的数据集，因此，我们通过获取和注释我们与研究社区共享的视频来创建自己的数据集。总的来说，拟议的管道提供了新的国家的最先进的结果VRU的意图识别。
2019-10-09 cs.CV cs.RO
Metric Pose Estimation for Human-Machine Interaction Using Monocular Vision
PROFACTOR GmbH（PROFACTOR有限公司）；Johannes Kepler University（约翰内斯·开普勒大学）
协作机器人在生产中的快速发展需要新的自动化技术，这些技术将人类和机器同等考虑在内。在这项工作中，我们描述了一个基于单目摄像机的系统，从鸟瞰角度来检测人机交互。我们的系统从单个广角彩色图像预测人类和机器人的姿势。尽管我们的方法适用于2D颜色输入，但我们将大多数检测提升到度量3D空间。我们的系统合并姿态信息与预定义的虚拟传感器，以协调人机交互。我们在三个用例中展示了我们系统的优势。
2019-10-08 cs.CV cs.HC cs.RO
FIERY: Future Instance Prediction in Bird's-Eye View from Surround Monocular Cameras
Wayve；University of Cambridge（剑桥大学）
驾驶需要与道路代理进行交互，并预测他们未来的行为，以便安全导航。我们提出了FIERY：一个概率未来预测模型，从单目相机鸟瞰。我们的模型预测未来的实例分割和运动的动态代理，可以转化为非参数的未来轨迹。我们的方法结合了传统自动驾驶堆栈的感知，传感器融合和预测组件，通过直接从环绕RGB单目相机输入估计鸟瞰图预测。FIERY学习以端到端的方式仅从相机驾驶数据中建模未来的固有随机性，而不依赖于高清地图，并预测多模式未来轨迹。我们表明，我们的模型在NuScenes和Lyft数据集上的表现优于以前的预测基线。代码和训练模型可在https://github.com/wayveai/fiery上获得。
2021-10-18 cs.CV cs.RO
Self-Supervised Learning based Depth Estimation from Monocular Images
本文探索在自监督单目深度估计中引入姿态估计、高效亚像素卷积插值和语义分割等技术，并去除相机内参、加入天气增强，以提升深度图的细粒度与全局一致性。
2023-04-14 cs.AI cs.CV cs.LG
Robust Monocular Localization of Drones by Adapting Domain Maps to Depth Prediction Inaccuracies
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
通过联合训练基于深度学习的深度预测和基于贝叶斯滤波的姿态推理，我们提出了一种新的单目定位框架。所提出的跨模态框架在模型可扩展性和对环境变化的容忍度方面显著优于仅深度学习的预测。具体来说，即使使用轻量级深度预测器进行极差的深度估计，我们也几乎没有显示姿态准确性的下降。与标准深度学习相比，即使没有明确的领域自适应，我们的框架也能在极端光照变化中保持高姿态准确度。通过公开表示地图和中间特征地图（如深度估计），我们的框架还允许更快的更新和重用中间预测用于其他任务，如避障，从而提高资源效率。
2022-10-27 cs.AI cs.CV cs.LG
Parse Geometry from a Line: Monocular Depth Estimation with Partial Laser Observation
Zhejiang University（浙江大学）；Horizon Robotics（地平线机器人）；The University of Technology, Sydney（悉尼科技大学）
许多标准的机器人平台至少配备有固定的2D激光测距仪和单目相机。虽然这些平台没有用于3D深度感测能力的传感器，但深度知识在许多机器人活动中是必不可少的部分。因此，近来，对使用单目图像的深度估计的兴趣越来越大。由于该任务本质上是模糊的，因此数据驱动的估计深度在机器人应用中可能不可靠。在本文中，我们试图提高单目深度估计的精度，通过引入二维平面观察从剩余的激光测距仪没有额外的成本。具体来说，我们从稀疏的激光测距数据构建一个密集的参考地图，重新定义的深度估计任务，估计真实和参考深度之间的距离。为了解决这个问题，我们构造了一种新的残差神经网络，并紧密结合分类和回归损失的连续深度估计。实验结果表明，我们的方法实现了相当大的促进相比，国家的最先进的方法在NYUD 2和KITTI，验证了我们的方法的有效性，利用额外的感官信息。我们进一步证明了我们的方法在避障中的潜在用途，与单独使用单目相机或2D激光测距仪的解决方案相比，我们的方法提供了全面的深度信息。
2016-10-17 cs.CV cs.RO
Recent Advancement in 3D Biometrics using Monocular Camera
Birla Institute of Technology and Science, Pilani – Hyderabad Campus（比拉理工学院及科学学院，皮拉尼-海得拉巴校区）
本文综述了采用单目视觉的3D生物特征识别技术的最新进展，对比了其与传统方法的异同、优势与挑战，概述了相关技术、工业应用系统，并探讨了该领域的开放性研究问题。
2024-01-05 cs.CV
FusionDepth: Complement Self-Supervised Monocular Depth Estimation with Cost Volume
HKUST（香港科技大学）；Tencent（腾讯）
本文提出FusionDepth框架，通过贝叶斯融合层结合单目与多视点代价体，在无深度监督下迭代细化单目深度估计，在KITTI基准上超越现有无监督方法。
2023-05-10 cs.CV
Disentangled Latent Transformer for Interpretable Monocular Height Estimation
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）
基于遥感影像的单目高程估计（MHE）在快速响应自然灾害的快速生成三维城市模型方面具有很大的潜力。大多数现有的作品追求更高的性能。然而，很少有研究探讨MHE网络的可解释性。在本文中，我们的目标是探索深度神经网络如何从单个单目图像预测高度。为了全面理解MHE网络，我们建议从多个层次来解释它们：1）神经元：单元级解剖。探索学习的内部深层表征的语义和高度选择性; 2）深度：对象级解释。研究不同语义类别、尺度和空间背景对身高估计的影响; 3）归因：像素级分析。了解哪些输入像素对于高度估计是重要的。基于多层次解译，提出了一种解纠缠的潜在Transformer网络，旨在为单目高度估计提供更紧凑、可靠和可解释的深度模型。此外，一个新的无监督语义分割任务的基础上高度估计首次在这项工作中介绍。此外，我们还构建了一个新的数据集联合语义分割和高度估计。我们的工作为理解和设计MHE模型提供了新的见解。
2022-02-02 cs.CV
Monocular Depth Estimation by Learning from Heterogeneous Datasets
The Computer Vision Center (CVC)（计算机视觉中心）；Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学）；Huawei European Research Center（华为欧洲研究中心）
深度估计提供执行自动驾驶和驾驶员辅助的基本信息。特别地，单目深度估计从实用的角度来看是有趣的，因为使用单个相机比许多其他选项更便宜，并且避免了立体视觉方法所需的连续校准策略的需要。用于单目深度估计的现有技术方法基于卷积神经网络（CNN）。一个有前途的工作路线包括在训练CNN进行深度估计时引入有关交通场景的额外语义信息。在实践中，这意味着用于CNN训练的深度数据由具有像素级语义标签的图像补充，这些图像通常难以注释（例如拥挤的城市图像）。此外，到目前为止，通常的做法是假设相同的原始训练数据与两种类型的地面实况相关联，即，深度和语义标签。本文的主要贡献是表明，这一硬约束可以规避，即，我们可以通过利用来自异构数据集的深度和语义信息来训练CNN进行深度估计。为了说明我们的方法的好处，我们结合了KITTI深度和Cityscapes语义分割数据集，在单目深度估计上表现优于最先进的结果。
2018-09-12 cs.CV cs.LG
Monocular 3D Object Position Estimation with VLMs for Human-Robot Interaction
本研究利用VLMs通过单目RGB图像、自然语言输入和机器人状态估计3D物体位置，通过微调和条件路由技术提升预测性能，实现人机交互中的鲁棒预测。
2026-03-01 cs.AI cs.CV cs.HC
Monocular Depth Decomposition of Semi-Transparent Volume Renderings
Ulm University（乌尔姆大学）
神经网络在从彩色图像中提取几何信息方面取得了巨大的成功。特别是，单目深度估计网络在真实世界场景中越来越可靠。在这项工作中，我们调查的适用性，这样的单眼深度估计网络的半透明体渲染图像。由于深度是出了名的难以定义的体积场景中没有明确定义的表面，我们认为不同的深度计算已经出现在实践中，并比较国家的最先进的单眼深度估计方法，这些不同的解释在评估过程中考虑不同程度的不透明度的渲染。此外，我们研究如何扩展这些网络，以进一步获得颜色和不透明度信息，以创建一个分层表示的场景的基础上一个单一的彩色图像。该分层表示由空间上分离的半透明间隔组成，这些间隔与原始输入渲染合成。在我们的实验中，我们表明，现有的方法，单目深度估计可以适应执行良好的半透明体渲染，这有几个应用领域的科学可视化，如重新组合与额外的对象和标签或额外的阴影。
2023-02-18 cs.CV
Self-Supervised Monocular Depth Estimation with Internal Feature Fusion
University of East Anglia（东英吉利大学）
用于深度估计的自监督学习使用图像序列中的几何形状进行监督，并显示出有希望的结果。与许多计算机视觉任务一样，深度网络的性能取决于从图像中学习准确的空间和语义表示的能力。因此，利用语义分割网络进行深度估计是很自然的。在这项工作中，基于一个成熟的语义分割网络HRNet，我们提出了一种新的深度估计网络HRNet，它可以利用语义信息的下采样和上采样过程。通过应用特征融合和注意力机制，我们提出的方法在KITTI基准测试中的性能优于最先进的单目深度估计方法。我们的方法在更高分辨率的训练数据上也表现出更大的潜力。我们提出了一个额外的扩展评估策略，通过建立一个测试集的挑战性的情况下，经验来自标准基准。
2021-11-19 cs.CV
PI-Net: Pose Interacting Network for Multi-Person Monocular 3D Pose Estimation
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业信息技术研究所）
最近的文献解决了单目三维姿态估计任务非常令人满意。在这些研究中，不同的人通常被视为独立的姿态实例来估计。然而，在许多日常情况下，人们正在交互，并且个体的姿势取决于他/她的被交互者的姿势。在本文中，我们研究如何利用这种依赖性来增强当前和未来可能的深度网络，以进行3D单目姿态估计。我们的姿势交互网络，或PI-Net，将可变数量的交互对象的初始姿势估计输入到用于改进感兴趣的人的姿势的循环架构中。由于公共注释的多人3D人体姿态数据集的有限可用性，评估这样的方法是具有挑战性的。我们在MuPoTS数据集上证明了我们方法的有效性，并在其上设置了新的最新技术。其他多人数据集（3D姿态地面实况不可用）上的定性结果展示了所提出的PI-Net。PI-Net在PyTorch中实现，代码将在论文被接受后提供。
2020-10-11 cs.CV
Recovering Biomechanical Signals from Missing Keypoints Using Temporal Interpolation in Monocular Gait Analysis
Singapore University of Technology and Design（新加坡科技设计大学）
本研究提出用一阶时间插值恢复单目步态分析中缺失的踝关节关键点，将膝关节角度误差从23.4°降至1.1°，证明简单方法可有效替代复杂学习模型。
2026-09-10 cs.CV eess.IV
SilhoNet-Fisheye: Adaptation of A ROI Based Object Pose Estimation Network to Monocular Fisheye Images
University of Michigan（密歇根大学）；DROP lab（DROP实验室）；Department of Naval Architecture and Marine Engineering（船舶与海洋工程系）
最近，人们对用于基于单目图像的对象姿态估计的深度学习方法产生了很大的兴趣。虽然物体姿态估计是自主机器人与物理世界交互的一个重要问题，并且基于单眼的方法的应用空间是广阔的，但是将这些方法应用于鱼眼成像系统的工作很少。此外，几乎不存在的方式注释鱼眼图像数据集上，这些方法可以开发和测试。对于应用于水下领域的基于鱼眼图像或其他方式的目标检测方法，研究前景甚至更加稀疏。在这项工作中，我们提出了一种新的框架，用于适应基于ROI的6D对象姿态估计方法，以处理完整的鱼眼图像。该方法结合了从中间球面图像表示感兴趣的区域的几何投影，以校正鱼眼失真。此外，我们贡献了一个鱼眼图像数据集，称为UWHandles，收集在自然的水下环境中，与6D对象的姿态和2D限界框注释。
2020-02-27 cs.CV
Self-supervised Learning for Dense Depth Estimation in Monocular Endoscopy
The Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医疗机构）
我们提出了一种自监督的方法来训练卷积神经网络，用于从单目内窥镜数据进行密集深度估计，而无需解剖结构或阴影的先验建模。我们的方法只需要从单目内窥镜视频和多视图立体视觉重建方法，例如运动恢复结构，监督学习稀疏但准确的方式的顺序数据。因此，我们的方法既不需要手动交互，如缩放或标记，也不需要在训练和应用阶段的患者CT。我们证明了我们的方法从两个病人的鼻窦内窥镜数据的性能和验证深度预测定量使用相应的患者CT扫描，我们发现亚毫米级的残留误差。
2018-07-26 cs.CV
MonoLoco: Monocular 3D Pedestrian Localization and Uncertainty Estimation
EPFL（洛桑联邦理工学院）
我们从根本上解决了单目RGB图像的三维人体定位的病态问题。由于神经网络输出点估计的局限性，我们通过基于拉普拉斯分布的损失函数预测置信区间来解决任务中的模糊性。我们的架构是一个轻量级的前馈神经网络，预测三维位置和相应的置信区间给定的二维人体姿势。该设计特别适合于小训练数据、跨数据集泛化和实时应用。我们的实验表明，我们（i）在KITTI和nuScenes数据集上的表现优于最先进的结果，（ii）甚至优于远处行人的基于立体声的方法，以及（iii）估计有意义的置信区间。我们进一步分享了在有限观测和分布外样本情况下对不确定性模型的见解。
2019-08-20 cs.CV
Revisiting Self-Supervised Monocular Depth Estimation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
从单目视频序列进行深度图预测和运动估计的自监督学习至关重要-因为它实现了机器人和自动驾驶汽车中的广泛任务。大量的研究工作已经通过解决光照变化、遮挡和动态对象等问题来提高性能。然而，这些努力中的每一项都针对个人目标，并作为单独的工作持续下去。此外，以前的大多数作品都采用了相同的CNN架构，没有获得架构上的好处。因此，仍然需要调查以前的方法的相互依赖性和架构因素的影响。为了实现这些目标，我们重新审视了许多以前提出的用于深度和运动联合学习的自监督方法，进行了全面的实证研究，并揭示了多个关键见解。此外，由于我们的研究，我们显着提高了性能-优于以前的最先进的性能。
2021-03-23 cs.AI cs.CV cs.RO
Task-Aware Monocular Depth Estimation for 3D Object Detection
The University of Adelaide（阿德莱德大学）；Bytedance AI Lab（字节跳动人工智能实验室）
单目深度估计能够从单个2D图像实现3D感知，因此多年来吸引了许多研究关注。几乎所有的方法都平等地对待图像中的前景和背景区域（“事物和东西”）。然而，并非所有像素都相等。前景物体的深度在三维物体识别和定位中起着至关重要的作用。到目前为止，如何提高前景对象的深度预测精度很少讨论。本文首先分析了前景和背景的数据分布和相互作用，然后提出了前景-背景分离的单目深度估计（ForeSeE）方法，分别使用优化目标和深度解码器来估计前景和背景的深度。我们的方法显着提高了前景物体的深度估计性能。将ForeSeE应用于3D目标检测，我们实现了7.5 AP增益，并在其他单目方法中创造了新的最先进的结果。代码将在https://github.com/WXinlong/ForeSeE上提供。
2019-12-09 cs.CV
Deep Physics-aware Inference of Cloth Deformation for Monocular Human Performance Capture
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；ETH Zurich（苏黎世联邦理工学院）；Google Inc.（谷歌公司）
最近的单目人的表现捕捉方法已经显示出令人信服的密集跟踪结果的整个身体从一个单一的RGB相机。然而，现有的方法要么根本不估计衣服，要么用简单的几何先验来建模衣服变形，而不是考虑基本的物理原理。这会导致在重建过程中出现明显的伪影，例如，烘烤的皱纹，看似违反重力的难以置信的变形，以及布料和身体之间的交叉点。为了解决这些问题，我们提出了一种针对个人的、基于学习的方法，该方法将模拟层集成到训练过程中，以首次在弱监督的深度单目人类表现捕获的背景下提供物理监督。我们展示了如何将物理学集成到训练过程中，从而提高了学习到的布料变形，允许将衣服建模为单独的几何体，并大大减少了布料与身体的交叉。在训练过程中仅依赖于弱的2D多视图监督，我们的方法比当前最先进的方法有了显着的改进，因此是朝着真实的单目捕获穿着衣服的人的整个变形表面迈出的明确一步。
2021-10-14 cs.CV
MetricDepth: Enhancing Monocular Depth Estimation with Deep Metric Learning
Harbin Institute of Technology（哈尔滨工业大学）
本文提出MetricDepth，通过基于差分的样本识别和多范围策略将深度度量学习引入单目深度估计，以差异化正则化负样本，从而提升模型性能。
2024-12-29 cs.CV
Self-Supervised Perceptually Interpretable Monocular Depth Estimation
University of Thessaly（塞萨利大学）
本文提出自监督可感知解释的单目深度估计框架PIMDE，通过分解图像为感知特征图并独立估计后融合，在KITTI上实现与现有方法相当的精度，同时增强可解释性。
2026-09-28 cs.CV
Deep Convolutional Poses for Human Interaction Recognition in Monocular Videos
Heriot-Watt University（赫瑞-瓦特大学）
人机交互识别是计算机视觉中的一个具有挑战性的问题，由于其重要的应用，多年来一直在研究。随着人类姿势估计问题的深度模型的发展，这项工作的目的是验证使用人类姿势的有效性，以识别单目视频中的人类交互。本文提出了一种基于5个步骤的方法：检测场景中的每个人，跟踪他们，检索人体姿势，基于姿势提取特征，最后使用分类器识别交互。两人互动数据集用于开发这种方法。使用全序列评估方法，它达到了87.56%的平均准确率的所有相互作用。Yun等人使用相同的数据集实现了91.10%，但他们的方法使用深度传感器来识别交互。本文开发的方法表明，RGB相机可以像深度相机一样有效地识别两个人之间的交互，使用最近开发的深度模型来估计人体姿势。
2016-12-13 cs.CV
A high-precision self-supervised monocular visual odometry in foggy weather based on robust cycled generative adversarial networks and multi-task learning aided depth estimation
North University of China（中北大学）
本文提出了一种高精度的自监督单目VO，这是专门设计用于雾天导航。设计了一种循环生成对抗网络，通过强制前向和后向半循环输出一致的估计，获得高质量的自监督损失。此外，基于梯度的损失和感知损失的引入，以消除复杂的光度变化的自我监督损失在雾天的干扰。为解决深度估计的不适定性问题，基于雾天图像深度估计与透射图计算之间的强相关性，设计了一种自监督多任务学习辅助深度估计模块。在人工雾天KITTI数据集上的实验结果表明，本文提出的自监督单目VO在深度和姿态估计方面优于文献中其他最先进的单目VO，表明所设计的方法更适合雾天。
2022-03-09 cs.CV
ROI-10D: Monocular Lifting of 2D Detection to 6D Pose and Metric Shape
Technical University of Munich（慕尼黑工业大学）；Toyota Research Institute（丰田研究院）
我们提出了一种用于端到端单目3D目标检测和度量形状检索的深度学习方法。我们提出了一种新的损失制定提升2D检测，方向和规模估计到3D空间。代替单独优化这些量，3D实例化允许适当地测量框的度量未对准。我们的实验表明，我们的10D提升稀疏的2D区域的利益（ROI）取得了很大的成果，为6D构成和恢复的纹理度量几何的实例。这进一步使得能够通过将恢复的网格直接修复到2D场景上来实现3D合成数据增强。我们在KITTI3D上对其他强大的单眼方法进行了评估，并证明我们的方法在官方测试集上的3D姿态度量上使AP加倍，定义了最新的技术水平。
2019-04-10 cs.CV
Structure-Centric Robust Monocular Depth Estimation via Knowledge Distillation
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Computing Technology Chinese Academy of Sciences（中国科学院计算技术研究所）；Guangdong Hong Kong Macao Greater Bay Area National Technology Innovation Center（粤港澳大湾区国家技术创新中心）；Shouguang Cheng Zhi Feng Xing Technology Co., Ltd（寿光诚智丰兴科技有限公司）
针对自监督单目深度估计在恶劣场景下鲁棒性差的问题，提出以结构为中心、结合语义专家知识蒸馏与可学习同构图的方法，减少对局部纹理的依赖，在分布外恶劣场景数据集上达到SOTA性能，兼具可扩展性与兼容性。
2024-10-09 cs.CV
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
自监督单目深度估计由于其重要的实际意义和近年来的发展前景而得到了广泛的研究。然而，大多数作品遭受有限的监督光度一致性，特别是在弱纹理区域和对象边界。为了克服这个弱点，我们提出了新的想法，以提高自我监督的单目深度估计，利用跨域的信息，特别是场景语义。我们专注于将隐含的语义知识几何表示增强，并提出两个想法：一个度量学习方法，利用语义引导的局部几何优化中间深度表示和一个新的功能融合模块，明智地利用两个异构特征表示之间的交叉模态。我们在KITTI数据集上全面评估了我们的方法，并证明我们的方法优于最先进的方法。源代码可在https://github.com/hyBlue/FSRE-Depth上获得。
2021-08-19 cs.CV
MonoProb: Self-Supervised Monocular Depth Estimation with Interpretable Uncertainty
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能委员会）；LIST（电子与信息技术实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）
本文提出MonoProb，一种自监督单目深度估计方法，通过概率建模和自蒸馏损失输出可解释的不确定性，并设计新指标评估，提升深度与不确定性预测性能。
2023-11-10 cs.CV
Interpretable Vision Transformers in Monocular Depth Estimation via SVDA
Dept. Electrical and Computer Engineering（电子与计算机工程系）；Democritus University of Thrace（德米特里乌斯大学）；Athena Research Center（雅典研究中心）；University Campus at Kimmeria（基米里亚大学校园）
SVDA通过引入谱结构化的注意力机制，提升了单目深度估计的可解释性，同时保持了预测精度并降低了计算开销。
2026-02-11 cs.CV
Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Huawei European Research Center（华为欧洲研究中心）；Technische Universität München（慕尼黑工业大学）
深度信息对于自动驾驶和驾驶员辅助中的车载感知至关重要。单目深度估计（MDE）是非常吸引人的，因为它允许外观和深度直接像素对应而无需进一步校准。最好的MDE模型基于以监督方式训练的卷积神经网络（CNN），即，假设逐像素地面实况（GT）。通常，该GT在训练时通过校准的多模态传感器套件获得。然而，在训练时仅使用单目系统也更便宜且更具可扩展性。这是可能的，依靠结构从运动（SfM）的原则，以产生自我监督。然而，问题的隐藏对象，可见性的变化，静态相机的间隔，无纹理的区域，和规模的模糊性，减少了这种自我监督的有用性。在本文中，我们执行单目深度估计的虚拟世界监督（MonoDEVS）和现实世界的SfM自我监督。我们通过利用具有准确语义和深度监督的虚拟世界图像并解决虚拟到真实领域的差距来补偿SfM自我监督的限制。我们的MonoDEVSNet优于以前在单眼甚至立体声序列上训练的MDE CNN。
2022-06-03 cs.CV
ROIFormer: Semantic-Aware Region of Interest Transformer for Efficient Self-Supervised Monocular Depth Estimation
OPPO
互惠互利的跨域的探索已经显示出巨大的潜力，以准确的自我监督深度估计。在这项工作中，我们重温深度和语义信息之间的特征融合，并提出了一个有效的局部自适应注意几何感知表示增强方法。我们没有在特征空间中建立全局连接或无约束地变形注意力，而是将空间交互绑定在可学习的感兴趣区域内。特别是，我们利用语义信息中的几何线索来学习局部自适应边界框，以指导无监督特征聚合。局部区域将大多数不相关的参考点排除在注意力空间之外，从而产生更多的选择性特征学习和更快的收敛。我们自然地扩展到一个多头和层次的方式，使信息蒸馏在不同的语义水平，提高细粒度的深度估计的特征判别能力的范式。在KITTI数据集上的大量实验表明，我们提出的方法建立了一个新的最先进的自监督单目深度估计任务，证明了我们的方法比以前的Transformer变体的有效性。
2023-03-06 cs.CV
Monocular Real-time Full Body Capture with Inter-part Correlations
Tsinghua University（清华大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
我们提出了第一种实时的【形】全身捕捉方法，该方法从单色图像中估计身体和手的形状和运动以及动态3D人脸模型。我们的方法使用了一个新的神经网络架构，利用身体和手之间的相关性，在高计算效率。与以前的工作不同，我们的方法是在多个数据集上联合训练的，这些数据集分别关注手、身体或面部，而不需要同时注释所有部分的数据，这在足够的范围内创建起来要困难得多。这种多数据集训练的可能性使其具有卓越的泛化能力。与早期的单目全身方法相比，我们的方法通过估计统计面部模型的形状、表情、亮度和照明参数来捕获更具表现力的3D面部几何形状和颜色。我们的方法在公共基准上达到了具有竞争力的准确性，同时速度明显更快，并提供更完整的面部重建。
2021-04-15 cs.CV
Lite-Mono: A Lightweight CNN and Transformer Architecture for Self-Supervised Monocular Depth Estimation
University of Twente（特文特大学）
近年来，不需要用于训练的地面实况的自监督单目深度估计引起了关注。设计轻量级但有效的模型，以便它们可以部署在边缘设备上，这是非常有趣的。许多现有的架构受益于以牺牲模型大小为代价使用较重的主干。本文实现了一个轻量级的体系结构的可比结果。具体而言，CNN和Transformers的有效组合进行了研究，并提出了一种称为Lite-Mono的混合架构。提出了卷积扩张卷积（CDC）模块和局部-全局特征交互（LGFI）模块。前者用于提取丰富的多尺度局部特征，后者利用自注意力机制将长程全局信息编码到特征中。实验表明，Lite-Mono在准确性上优于Monodepth 2，可训练参数减少了约80%。
2023-03-15 cs.CV
Single-Eye View: Monocular Real-time Perception Package for Autonomous Driving
本文提出LRHPerception，结合端到端学习与局部映射方法，提升自动驾驶中的目标跟踪、道路分割和深度估计性能，实现单目图像数据的五通道张量输出，实现实时29FPS处理。
2026-03-22 cs.CV
Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；Dalian University of Technology（大连理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出通过投影建模学习几何引导的深度估计，在单目3D目标检测网络中设计几何公式实现2D与3D交互，并解决2D标注与投影框不对齐问题，在KITTI数据集上无额外数据下将SOTA性能提升2.80%。
2024-04-24 cs.CV
Adversarial Patch Attacks on Monocular Depth Estimation Networks
Graduate School of Engineering, Nagoya University（名古屋大学大学院工学研究科）；Tokyo Institute of Technology（东京工业大学）；Aalborg University（奥尔堡大学）
得益于深度卷积神经网络（CNN）出色的学习能力，近年来使用CNN的单目深度估计取得了巨大成功。然而，从单目图像单独的深度估计基本上是一个不适定的问题，因此，似乎这种方法将具有固有的弱点。为了揭示这一局限性，我们提出了一种对抗性补丁攻击的单目深度估计的方法。更具体地说，我们生成了人工模式（对抗补丁），可以欺骗目标方法估计放置模式的区域的不正确深度。我们的方法可以在现实世界中实现物理放置在真实场景中的印刷图案。我们还分析了攻击下的单眼深度估计的行为，通过可视化的激活水平的中间层和区域的潜在影响的对抗攻击。
2020-10-06 cs.CR cs.CV eess.IV
Polygon Intersection-over-Union Loss for Viewpoint-Agnostic Monocular 3D Vehicle Detection
Vanderbilt University（范德比大学）
本文提出多边形交并损失用于多视图无关单目3D车辆检测，实验表明其在3D检测模型中比L1损失效果更好
2025-12-04 cs.CV
3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera
MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵兰-普法尔茨技术大学）
本文提出首个基于单目事件相机的双手交互三维追踪框架，通过半监督特征注意力解决左右手模糊，并集成交叉损失修复碰撞，发布合成数据集Ev2Hands-S和真实基准Ev2Hands-R，在三维重建精度上优于现有方法。
2023-12-21 cs.CV
Perceiving Humans: from Monocular 3D Localization to Social Distancing
EPFL（洛桑联邦理工学院）
在智能交通系统（ITS）的背景下感知人类通常依赖于多个摄像头或昂贵的LiDAR传感器。在这项工作中，我们提出了一种新的具有成本效益的基于视觉的方法，感知人类的位置在3D和他们的身体方向从一个单一的图像。我们提出了一个神经网络架构，预测的置信区间相比，点估计的不适定的单眼3D任务相关的挑战。我们的神经网络估计人类3D身体位置和他们的方向与不确定性的措施。我们提出的解决方案（i）是隐私安全的，（ii）适用于任何固定或移动的摄像头，（iii）不依赖于地平面估计。我们展示了我们的方法在三个应用方面的性能：在3D中定位人类，检测社交互动，以及验证最近因COVID-19爆发而采取的安全措施的合规性。我们表明，这是可能的重新思考的概念“社会距离”作为一种形式的社会互动，在一个简单的基于位置的规则。我们公开共享源代码，以实现开放科学任务。
2021-03-24 cs.CV
Towards Interpretable Deep Networks for Monocular Depth Estimation
Sun Yat-sen University（中山大学）；NEC Laboratories America（美国 NEC 实验室）；National Chiao Tung University（国立交通大学）
用于单目深度估计（MDE）的深度网络最近取得了令人鼓舞的性能，进一步理解这些网络的可解释性是非常重要的。现有的方法试图通过研究视觉线索来提供事后解释，这可能不会探索深度网络学习的内部表征。在本文中，我们发现网络的一些隐藏单元对一定的深度范围具有选择性，因此这种行为可以作为解释内部表示的一种方式。根据我们的观察，我们量化了深度MDE网络的可解释性，其隐藏单元的深度选择性。此外，我们还提出了一种方法来训练可解释的MDE深度网络，而不改变它们的原始架构，通过为每个单元分配一个深度范围来选择。实验结果表明，我们的方法是能够提高深度MDE网络的可解释性，大大提高其单元的深度选择性，同时不损害，甚至提高深度估计的准确性。我们进一步提供了全面的分析来展示选择单元的可靠性、我们的方法在不同层、模型和数据集上的适用性，以及模型误差分析的演示。源代码和模型可在https://github.com/youzunzhi/InterpretableMDE上获得。
2021-08-11 cs.CV
Is Pseudo-Lidar needed for Monocular 3D Object detection?
Toyota Research Institute（丰田研究所）
从单个图像进行3D目标检测的最新进展利用单目深度估计作为产生3D点云的一种方式，将相机变成伪激光雷达传感器。这些两阶段检测器随着中间深度估计网络的准确性而提高，中间深度估计网络本身可以在没有手动标记的情况下经由大规模自监督学习来提高。然而，它们往往比端到端方法更容易过拟合，更复杂，并且与类似的基于激光雷达的探测器的差距仍然很大。在这项工作中，我们提出了一种端到端的单级单目3D物体检测器DD 3D，它可以从深度预训练中受益，如伪激光雷达方法，但没有它们的局限性。我们的架构旨在实现深度估计和3D检测之间的有效信息传输，使我们能够根据未标记的预训练数据的数量进行扩展。我们的方法在两个具有挑战性的基准测试中取得了最先进的结果，在KITTI-3D基准测试中，汽车和行人的AP分别为16.34%和9.28%，在NuScenes上的mAP为41.5%。
2021-08-13 cs.CV
BinsFormer: Revisiting Adaptive Bins for Monocular Depth Estimation
Harbin Institute of Technology（哈尔滨工业大学）；Australian National University（澳大利亚国立大学）
单目深度估计是计算机视觉中的一项基本任务，受到越来越多的关注。最近，一些方法将其重新表述为分类回归任务以提高模型性能，其中通过预测概率分布和离散箱的线性组合来估计连续深度。在本文中，我们提出了一种新的框架，称为BinsFormer，量身定制的分类回归为基础的深度估计。它主要集中在特定任务中的两个关键组成部分：1）适当生成自适应箱和2）概率分布和箱预测之间的充分相互作用。具体来说，我们采用Transformer解码器来生成bin，新颖地将其视为直接的集到集预测问题。我们进一步集成了多尺度解码器结构，以实现对空间几何信息的全面理解，并以粗到细的方式估计深度图。此外，提出了一个额外的场景理解查询，以提高估计精度，这证明了模型可以隐式地学习有用的信息，从辅助环境分类任务。在KITTI、NYU和SUN RGB-D数据集上进行的大量实验表明，BinsFormer超越了最先进的单眼深度估计方法，具有显著的边缘。代码和预训练模型将在\url{https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox}上公开提供。
2022-04-03 cs.CV
Guiding Monocular Depth Estimation Using Depth-Attention Volume
University of Oulu（奥卢大学）；Czech Technical University（捷克理工大学）；Tampere University（坦佩雷大学）
从单个图像恢复场景深度是一个不适定的问题，需要额外的先验，通常被称为单目深度线索，以消除不同的3D解释的歧义。在最近的工作中，这些先验知识已经通过使用深度神经网络从大型数据集中以端到端的方式学习。在本文中，我们提出了指导深度估计，有利于平面结构，尤其是在室内环境中无处不在。这是通过将一个非局部共面约束的网络与一个新的注意力机制称为深度注意力体积（DAV）。在两个流行的室内数据集，即NYU-Depth-v2和ScanNet上的实验表明，我们的方法实现了最先进的深度估计结果，同时只使用了竞争方法所需参数的一小部分。
2020-08-16 cs.CV
A Study on the Generality of Neural Network Structures for Monocular Depth Estimation
Hyundai Motor Group（现代汽车集团）；DGIST（大邱庆北科学技术院）
该研究针对单目深度估计缺乏泛化性分析的问题，对比CNN与Transformer骨干网络的偏差特性，发现形状偏差的Transformer比纹理偏差的CNN泛化性更好，揭示了网络结构特性与偏差、泛化性的关联。
2023-12-10 cs.AI cs.CV
RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation
Nanjing University of Science and Technology（南京理工大学）
现有的自监督单目深度估计方法可以摆脱昂贵的注释，并取得有希望的结果。然而，当直接采用在固定分辨率上训练的模型来评估其他不同分辨率时，这些方法遭受严重的性能下降。本文通过学习场景深度的尺度不变性，提出了一种分辨率自适应的自监督单目深度估计方法（RA-Depth）。具体来说，我们提出了一个简单而有效的数据增强方法来生成任意尺度的图像为同一场景。然后，我们开发了一个双重高分辨率网络，它使用具有密集交互的多路径编码器和解码器来聚合多尺度特征以进行准确的深度推断。最后，为了明确地学习场景深度的尺度不变性，我们制定了不同尺度的深度预测的跨尺度深度一致性损失。在KITTI、Make 3D和NYU-V2数据集上的大量实验表明，RA-Depth不仅具有最佳的性能，而且具有良好的分辨率自适应能力。
2022-07-26 cs.CV
Neighbor-Vote: Improving Monocular 3D Object Detection through Neighbor Distance Voting
University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）
随着摄像机越来越多地部署在自动驾驶等新的应用领域，在单目图像上执行3D目标检测成为视觉场景理解的重要任务。单目3D目标检测的最新进展主要依赖于“伪LiDAR”的产生，其执行单目深度估计并将2D像素提升为伪3D点。然而，由于单目图像的深度估计的精度差，导致伪LiDAR点在对象内的不可避免的位置偏移。因此，预测的边界框可能遭受不准确的位置和变形的形状。在本文中，我们提出了一种新的邻居投票方法，结合邻居预测，以改善目标检测严重变形的伪激光雷达点云。具体来说，物体周围的每个特征点形成自己的预测，然后通过投票达成“共识”。通过这种方式，我们可以有效地将邻居的预测与本地预测相结合，实现更准确的3D检测。为了进一步扩大前景感兴趣区域（ROI）伪LiDAR点与背景点之间的差异，我们还将2D前景像素的ROI预测分数编码为相应的伪LiDAR点。我们在KITTI基准测试上进行了大量的实验，以验证我们所提出的方法的优点。我们的结果在鸟瞰图检测优于国家的最先进的性能由一个很大的利润，特别是对于“硬”的水平检测。
2021-07-06 cs.CV
Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data
University of Adelaide（阿德莱德大学）；Centre for Automotive Safety Research（汽车安全研究中心）
准确的交叉口车辆7自由度预测是评估道路使用者之间潜在冲突的重要任务。原则上，这可以通过能够检测每个车辆的姿态的单个相机系统来实现，但是这将需要大的、准确标记的数据集，从该数据集训练检测器。虽然存在大型车辆姿态数据集（表面上是为自动驾驶车辆开发的），但我们发现这些数据集的训练不足。这些数据集包含来自地面视点的图像，而用于交叉口观察的理想视图将位于路面上方更高的位置。我们开发了一种替代方法，使用弱监督方法微调交通观测摄像头的3D对象检测器;在此过程中，可以利用现有的大型自动驾驶车辆数据集进行预训练。为了微调单目3D对象检测器，我们的方法利用来自重叠的宽基线视图的多个2D检测和编码subjacent几何一致性的损失。我们的方法在我们的数据集上实现了车辆7 DoF姿态预测精度，与自动驾驶车辆数据集上性能最好的单目3D对象检测器相当。我们提出了我们的训练方法，多视图重投影损失和数据集。
2021-10-21 cs.CV
MAGiSt3R: Multi-Agent Feed-forward 3D Reconstruction from Monocular RGB Videos
University of Bologna（博洛尼亚大学）；The University of Hong Kong（香港大学）；Southeast University（东南大学）；Monash University（莫纳什大学）
研究基于单目RGB视频的多智能体3D重建问题，核心方法是用3R家族前馈模型和MAGMA合并模型，并进行姿态图优化，主要贡献是在合成和真实数据集上验证该框架相比现有方法有更高重建和相机跟踪精度。
2026-07-17 cs.CV
Large Language Models Can Understanding Depth from Monocular Images
College of Applied Technology Shenzhen University（深圳大学应用技术学院）
本文提出多模态框架 LLM-MDE，通过跨模态重编程与自适应提示估计，使大型语言模型在少样本/零样本条件下高效完成单目深度估计。
2024-09-02 cs.AI cs.CV
EndoStreamDepth: Temporally Consistent Monocular Depth Estimation for Endoscopic Video Streams
Vanderbilt University（范德比大学）
EndoStreamDepth通过时间模块和多尺度监督提升内窥镜视频流中单目深度估计的准确性和一致性。
2025-12-31 cs.CV
