Self-supervised 3D Object Detection from Monocular Pseudo-LiDAR
Samsung Electronics Co., Ltd.（三星电子有限公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院）
已经尝试通过融合立体相机图像和LiDAR传感器数据或使用LiDAR进行预训练并仅使用单目图像进行测试来检测3D对象，但是由于准确度低，很少尝试仅使用单目图像序列。此外，当仅使用单目图像进行深度预测时，只能预测尺度不一致的深度，这就是研究人员不愿意单独使用单目图像的原因。因此，我们提出了一种方法，通过实现检测网络和深度预测网络的端到端学习，仅使用单目图像序列来预测绝对深度和检测3D对象。因此，该方法在KITTI 3D数据集上的性能优于其他现有方法。即使在训练过程中同时使用单目图像和3D LiDAR来提高性能，与使用相同输入的其他方法相比，我们的表现也是最好的。此外，端到端学习不仅提高了深度预测性能，还实现了绝对深度预测，因为我们的网络利用了汽车等3D物体的大小由近似大小决定的事实。
2022-09-20 cs.CV
Learning Auxiliary Monocular Contexts Helps Monocular 3D Object Detection
单目3D目标检测的目标是在输入的单个2D图像中定位3D边界框。这是一个非常具有挑战性的问题，并且仍然是开放的，特别是当没有额外的信息（例如，深度、激光雷达和/或多帧）可以在训练和/或推断中被利用。本文提出了一种简单而有效的配方单目三维目标检测，而不利用任何额外的信息。提出了MonoCon方法，该方法学习单目上下文，作为训练中的辅助任务，以帮助单目3D目标检测。关键思想是，利用图像中对象的带注释的3D边界框，存在丰富的适定的投影2D监督信号集合可用于训练，诸如投影的角关键点及其相对于2D限界框的中心的相关联的偏移向量，其应当被利用作为训练中的辅助任务。提出的MonoCon的动机是在高层次上的测量理论中的Cramer-Wold定理。在实现中，它利用一个非常简单的端到端设计来证明学习辅助单目上下文的有效性，该设计由三个组件组成：基于深度神经网络（DNN）的特征主干，用于学习3D限界框预测中使用的基本参数的多个回归头分支，以及用于学习辅助上下文的多个回归头分支。在训练之后，为了更好的推理效率，丢弃辅助上下文回归分支。在实验中，提出的MonoCon在KITTI基准测试（汽车，行人和骑自行车的人）。它在汽车类别的排行榜中优于所有现有技术，并且在准确性方面对行人和骑自行车的人获得了相当的性能。由于设计简单，所提出的MonoCon方法获得了最快的推理速度，相比之下为38.7 fps
2021-12-09 cs.CV
Categorical Depth Distribution Network for Monocular 3D Object Detection
University of Toronto（多伦多大学）
单目3D目标检测是自主车辆的关键问题，因为与典型的多传感器系统相比，它提供了一种具有简单配置的解决方案。单目3D检测的主要挑战在于准确预测物体深度，由于缺乏直接的距离测量，因此必须从物体和场景线索中推断出物体深度。许多方法试图直接估计深度以辅助3D检测，但由于深度不准确而显示出有限的性能。我们提出的解决方案，分类深度分布网络（CaDDN），使用每个像素的预测分类深度分布，将丰富的上下文特征信息投影到3D空间中的适当深度间隔。然后，我们使用计算效率的鸟瞰图投影和单级检测器来产生最终的输出边界框。我们将CaDDN设计为用于联合深度估计和目标检测的完全可区分的端到端方法。我们验证了我们的方法在KITTI 3D目标检测基准，我们排名第一的单目方法。我们还在新发布的Waymo Open Dataset上提供了第一个单目3D检测结果。我们为CaDDN提供了可用的代码版本。
2021-03-23 cs.CV
MDS-Net: A Multi-scale Depth Stratification Based Monocular 3D Object Detection Algorithm
Zhejiang University（浙江大学）；Donghai Laboratory（东海实验室）
由于缺乏深度信息，单目3D目标检测在自动驾驶中非常具有挑战性。提出了一种基于多尺度深度分层的单目三维目标检测算法，该算法采用无锚点方法，在逐像素预测的基础上检测三维目标。在所提出的MDS-Net中，开发了一种新的基于深度的分层结构，通过建立对象的深度和图像尺寸之间的数学模型来提高网络的深度预测能力。提出了一种新的角度损失函数，进一步提高了角度预测的精度，加快了训练的收敛速度。最后在后处理阶段应用优化的软NMS来调整候选框的置信度。在KITTI基准测试上的实验表明，MDS-Net在3D检测和BEV检测任务中优于现有的单目3D检测方法，同时满足实时性要求。
2022-04-28 cs.CV
ImVoxelNet: Image to Voxels Projection for Monocular and Multi-View General-Purpose 3D Object Detection
Samsung AI Center Moscow（三星人工智能中心莫斯科）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
在本文中，我们介绍的任务，多视角RGB为基础的三维目标检测作为一个端到端的优化问题。为了解决这个问题，我们提出了ImVoxelNet，一种新的基于单目或多视图RGB图像的3D目标检测的全卷积方法。每个多视图输入中的单目图像的数量在训练和推断期间可以变化;实际上，这个数量对于每个多视图输入可能是唯一的。ImVoxelNet成功地处理了室内和室外场景，这使得它具有通用性。具体来说，它在接受RGB图像的所有方法中，在KITTI（单目）和nuScene（多视图）基准上实现了最先进的汽车检测结果。此外，它超越了现有的基于RGB的3D目标检测方法在SUN RGB-D数据集。在ScanNet上，ImVoxelNet为多视图3D目标检测设定了新的基准。源代码和训练模型可在https://github.com/saic-vul/imvoxelnet上获得。
2021-10-15 cs.CV
Triangulation Learning Network: from Monocular to Stereo 3D Object Detection
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文研究了从立体图像中检测三维目标检测的问题，其关键在于如何有效地利用立体信息。与以前使用像素级深度图的方法不同，我们提出采用3D锚显式地构建立体图像中感兴趣区域之间的对象级对应关系，深度神经网络从中学习在3D空间中检测和三角测量目标对象。我们还引入了一个具有成本效益的通道重新加权策略，增强了代表性的功能，削弱了嘈杂的信号，以促进学习过程。所有这些都灵活地集成到一个使用单目图像的固体基线探测器中。我们证明了单目基线和立体三角测量学习网络在具有挑战性的KITTI数据集上的3D目标检测和定位方面优于现有的最先进技术。
2019-06-04 cs.CV
Object Detection on Single Monocular Images through Canonical Correlation Analysis
University of Southern California（南加利福尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
在不使用额外的三维数据，如点云或深度图像提供的三维信息，我们检索的三维物体信息从单目图像。从单个单目图像恢复高质量的预测深度图像，并将其与相应的单目图像一起馈送到2-D对象建议网络中。大多数现有的具有两个流输入数据的深度学习框架总是通过连接或添加来融合单独的数据，其视图特征图的每个部分都可以平等地对整个任务做出贡献。然而，当数据是嘈杂的，太多的信息是冗余的，这些方法不再有效地产生预测或分类。在这份报告中，我们提出了一个二维CCA（典型相关分析）框架，以融合单目图像和相应的预测深度图像的基本计算机视觉任务，如图像分类和目标检测。首先，我们用一维CCA和Alexnet实现了不同的结构，以测试图像分类任务的性能。然后，我们将其中一种结构与2D-CCA应用于目标检测。在这些实验中，我们发现我们提出的框架在将预测的深度图像作为输入时表现得更好，模型是从地面真实深度训练的。
2020-02-13 cs.CV
MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer
National Taiwan University（国立台湾大学）；Mobile Drive Technology（移动驱动科技公司）
单目3D目标检测是自动驾驶中一项重要而又具有挑战性的任务。一些现有的方法利用来自现成的深度估计器的深度信息来辅助3D检测，但是遭受额外的计算负担并且实现由不准确的深度先验引起的有限的性能。为了缓解这一问题，我们提出了MonoDTR，一种新型的端到端深度感知Transformer网络，用于单目3D目标检测。它主要由两个组件组成：（1）深度感知特征增强（DFE）模块，该模块隐式地学习具有辅助监督的深度感知特征，而不需要额外的计算;以及（2）深度感知Transformer（DTR）模块，该模块全局地集成上下文和深度感知特征。此外，不同于传统的逐像素位置编码，我们引入了一种新的深度位置编码（DPE）注入深度位置提示到Transformers。我们提出的深度感知模块可以很容易地插入到现有的仅图像的单目3D对象检测器，以提高性能。在KITTI数据集上的大量实验表明，我们的方法优于以前最先进的基于单眼的方法，并实现了实时检测。代码可在https://github.com/kuanchihhuang/MonoDTR上获得
2022-03-28 cs.CV
MonoPGC: Monocular 3D Object Detection with Pixel Geometry Contexts
Zongmu Technology（纵目科技）；Fudan University（复旦大学）
单目3D目标检测揭示了自动驾驶中经济但具有挑战性的任务。近年来基于中心的单目方法发展迅速，在速度和精度之间有很大的权衡，其中它们通常依赖于通过2D特征的对象中心的深度估计。然而，视觉语义特征没有足够的像素几何信息，可能会影响空间三维检测任务的线索的性能。为了缓解这一问题，我们提出了MonoPGC，一种新的端到端的单目3D目标检测框架，具有丰富的像素几何上下文。我们引入像素深度估计作为辅助任务，并设计深度交叉注意金字塔模块（DCPM），将局部和全局深度几何知识注入视觉特征。此外，我们提出了深度空间感知的Transformer（DSAT），以有效地集成3D空间位置和深度感知功能。此外，我们设计了一种新的深度梯度位置编码（DGPE），使更多的不同像素的几何上下文到Transformer更好的目标检测。大量的实验表明，我们的方法达到了最先进的性能KITTI数据集。
2023-02-21 cs.CV
M3DSSD: Monocular 3D Single Stage Object Detector
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）；School of Micro-Nano Electronics, Zhejiang University（浙江大学微纳电子学院）
在本文中，我们提出了一个单目3D单级目标检测器（M3 DSSD）的特征对齐和非对称非局部注意。现有的基于锚点的单目3D目标检测方法存在特征不匹配的问题。为了克服这一点，我们提出了一个两步特征对齐方法。在第一步中，执行形状对准以使特征图的感受野能够聚焦于具有高置信度分数的预定义锚点。在第二步中，中心对准用于在2D/3D中心处对准特征。此外，通常难以学习全局信息并捕获长期关系，这对于对象的深度预测是重要的。因此，我们提出了一种新的非对称非局部注意力块与多尺度采样提取深度方面的功能。建议的M3 DSSD实现显着更好的性能比单目3D目标检测方法的KITTI数据集，在3D目标检测和鸟瞰图任务。
2021-03-24 cs.CV
MonoGround: Detecting Monocular 3D Objects from the Ground
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Lab（上海人工智能实验室）
单目三维目标检测以其简单、成本低等优点引起了人们的广泛关注。由于单目成像过程中的不适定2D到3D映射本质，单目3D目标检测遭受不准确的深度估计，从而具有较差的3D检测结果。为了解决这个问题，我们提出在单目3d目标检测中引入地平面作为先验。地平面先验作为不适定映射的附加几何条件和深度估计中的额外源。这样，我们就可以得到离地面更精确的深度估计。同时，为了充分利用地平面先验，我们提出了一种深度对齐训练策略和一种精确的两阶段深度推理方法。值得注意的是，引入的地平面先验不需要额外的数据源，如LiDAR，立体图像和深度信息。在KITTI基准上的大量实验表明，与其他方法相比，我们的方法可以实现最先进的结果，同时保持非常快的速度。我们的代码和模型可以在https://github.com/cfzd/MonoGround上找到。
2022-06-15 cs.CV
MonoJSG: Joint Semantic and Geometric Cost Volume for Monocular 3D Object Detection
The Hong Kong University of Science and Technology（香港科技大学）；DJI（大疆创新）
由于2D-3D投影固有的不适定性，单目3D目标检测缺乏精确的深度恢复能力。虽然深度神经网络（DNN）能够从高级学习特征实现单目深度感测，但是由于深度卷积机制，像素级线索通常被省略。为了从DNN中强大的特征表示和像素级几何约束中受益，我们将单目对象深度估计重新表示为渐进式细化问题，并提出了一个联合语义和几何成本体积来建模深度误差。具体来说，我们首先利用神经网络来学习对象的位置、尺寸和密集归一化的3D对象坐标。基于对象深度，将密集坐标片连同对应的对象特征一起重新投影到图像空间，以联合语义和几何误差的方式构建成本体。通过将成本体积馈送到细化网络来获得最终深度，其中通过直接深度监督来正则化语义和几何错误的分布。通过细化框架有效地减少深度误差，我们在KITTI和Waymo数据集上都获得了最先进的结果。
2022-03-16 cs.CV
Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；Dalian University of Technology（大连理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出通过投影建模学习几何引导的深度估计，在单目3D目标检测网络中设计几何公式实现2D与3D交互，并解决2D标注与投影框不对齐问题，在KITTI数据集上无额外数据下将SOTA性能提升2.80%。
2024-04-24 cs.CV
Monocular 3D Object Detection Leveraging Accurate Proposals and Shape Reconstruction
University of Toronto（多伦多大学）
我们提出MonoPSR，一个单目3D目标检测方法，利用建议和形状重建。首先，使用针孔相机模型的基本关系，从一个成熟的2D对象检测器的检测被用来生成一个场景中的每个对象的3D建议。这些建议的3D位置被证明是相当准确的，这大大降低了回归最终的3D限界框检测的难度。同时，在以物体为中心的坐标系中预测点云，以学习局部尺度和形状信息。然而，关键的挑战是如何利用形状信息来指导3D定位。因此，我们设计了聚合损失，包括一种新的投影对齐损失，以联合优化神经网络中的这些任务，以提高3D定位精度。我们在KITTI基准上验证了我们的方法，在此基础上，我们在已发布的单目方法中设置了新的最先进的结果，包括更难的行人和骑自行车的类别，同时保持高效的运行时间。
2019-04-02 cs.CV
MonoCLUE : Object-Aware Clustering Enhances Monocular 3D Object Detection
针对单目3D目标检测因深度不适定和视野有限导致的几何线索缺失与精度不足问题，提出MonoCLUE，通过局部聚类捕捉目标外观部分、构建广义场景记忆整合视觉特征，提升部分可见目标检测效果，在KITTI基准上取得最优性能。
2025-11-11 cs.CV
WeakM3D: Towards Weakly Supervised Monocular 3D Object Detection
Zhejiang University（浙江大学）；FABU Inc.（FABU公司）
单目三维目标检测是三维场景理解中最具挑战性的任务之一。由于单目图像的不适定性，现有的单目3D检测方法高度依赖于使用LiDAR点云上的手动注释的3D框标签进行训练。这种注释过程非常费力且昂贵。为了免除对3D框标签的依赖，在本文中，我们探讨了弱监督单目3D检测。具体来说，我们首先检测图像上的2D盒子。然后，我们采用生成的2D盒选择相应的RoI LiDAR点作为弱监督。最终，我们采用一个网络来预测3D盒子，它可以与相关的RoI LiDAR点紧密对齐。这个网络是通过最小化我们新提出的3D框估计和相应的RoI LiDAR点之间的3D对齐损失来学习的。我们将说明上述学习问题的潜在挑战，并通过在我们的方法中引入几个有效的设计来解决这些挑战。代码将在https://github.com/SPengLiang/WeakM3D上提供。
2022-03-16 cs.CV
Gated3D: Monocular 3D Object Detection From Temporal Illumination Cues
Algolux（Algolux公司）；Daimler AG（戴姆勒股份公司）；Ulm University（乌尔姆大学）；Princeton University（普林斯顿大学）
当今最先进的3D目标检测方法基于激光雷达、立体或单目相机。基于激光雷达的方法实现了最佳的精度，但是具有大的覆盖区、高成本和机械限制的角度采样率，导致在长距离处的低空间分辨率。最近基于低成本单目或立体相机的方法有望克服这些局限性，但由于它们依赖无源CMOS传感器，因此在低光或低对比度区域会遇到困难。在这项工作中，我们提出了一种新的三维目标检测模式，利用时间照明线索从低成本的单目门控成像器。我们提出了一种新的深度检测器架构，Gated3D，这是专为三个门控图像的时间照明线索。门控图像使我们能够利用成熟的2D对象特征提取器，通过截头体段估计来指导3D预测。我们在一个新的3D检测数据集上评估了所提出的方法，该数据集包括在超过10，000公里的驾驶数据中捕获的门控图像。我们验证，我们的方法优于国家的最先进的单眼和立体的方法在长距离。我们将发布我们的代码和数据集，开辟一种新的传感器模式，作为在自动驾驶中取代激光雷达的途径。
2021-02-06 cs.CV
Towards Generalization Across Depth for Monocular 3D Object Detection
Mapillary Research（Mapillary研究）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
虽然昂贵的LiDAR和立体相机设备已经成功开发了3D目标检测方法，但单目RGB方法远远落后。这项工作通过引入MoVi-3D（一种用于单目3D目标检测的新颖的单级深度架构）来推进现有技术。MoVi-3D建立在一种新的方法之上，该方法利用几何信息在训练和测试时生成虚拟视图，其中对象外观相对于距离进行归一化。这些虚拟生成的视图有助于检测任务，因为它们显著降低了与放置在距相机不同距离处的对象相关联的视觉外观变化。因此，深度模型从学习深度特定的表示中解脱出来，并且可以显着降低其复杂性。特别是，在这项工作中，我们表明，由于我们的虚拟视图生成过程中，一个轻量级的，单级架构足以设置新的国家的最先进的结果流行的KITTI 3D基准。
2020-04-02 cs.CV
Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection
Fudan University（复旦大学）；Baidu Inc（百度公司）
本文的目的是学习上下文和深度感知的特征表示，以解决单目三维目标检测的问题。我们做出以下贡献：（i）我们提出了一种深度条件动态消息传播（DSPs）网络，以有效地将多尺度深度信息与图像上下文相结合，而不是采用复杂的基于伪激光雷达的方法;（ii）这是通过首先自适应地对图像上下文中的上下文感知节点进行采样，然后动态地预测用于传播信息的混合深度相关滤波器权重和亲和矩阵来实现的;（iii）通过增强中心感知深度编码（CDE）任务，我们的方法成功地消除了不准确的深度先验;（iv）我们彻底证明了我们提出的方法的有效性，并在KITTI基准数据集上显示了基于单眼的方法中的最新结果。特别是，我们在提交日（2020年11月16日）将$1^{st}$评为竞争激烈的KITTI单眼3D目标检测赛道。代码和模型在\url{https://github.com/fudan-zvg/DDMP}发布
2021-03-30 cs.CV
Monocular 3D Object Detection via Geometric Reasoning on Keypoints
Skoltech（斯科尔科沃科学技术研究所）；Yandex（Yandex（俄罗斯央捷科斯公司））
众所周知，单目3D目标检测由于深度信息的丢失而成为具有挑战性的视觉任务;使用单独的仅图像方法来恢复深度的尝试导致不稳定和有噪声的深度估计，从而损害3D检测。在本文中，我们提出了一种新的基于关键点的方法，三维目标检测和定位从一个单一的RGB图像。我们围绕图像中的2D关键点检测建立多分支模型，并使用概念上简单的几何推理方法对其进行补充。我们的网络以端到端的方式执行，同时和相互依赖地估计2D特征，例如2D边界框，关键点和方向，以及场景中的完整3D姿势。我们融合不同分支的输出，在训练过程中应用重投影一致性损失。对具有挑战性的KITTI数据集基准的实验评估表明，我们的网络在其他单目3D检测器中取得了最先进的结果。
2019-05-14 cs.CV
Deep Fitting Degree Scoring Network for Monocular 3D Object Detection
Tsinghua University（清华大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
本文提出了一种用于单目3D目标检测的深度拟合度评分网络，其目的是对建议与目标之间的拟合度进行最终评分。与大多数现有的单目框架使用紧约束来获得3D定位不同，我们的方法通过测量投影的3D建议与对象之间的视觉拟合度来实现高精度定位。我们首先使用基于锚的方法回归对象的尺寸和方向，以便可以构建合适的3D建议。我们提出了一种基于2D线索的3D IOU推理网络，它可以完全基于2D线索来推断3D提案和对象之间的3D IOU。因此，在检测过程中，我们在3D空间中采样大量的候选对象，并将这些3D边界框单独投影到2D图像上。最佳候选者可以通过简单地探索提案和对象之间的空间重叠来挑选出来，其形式是PNET的输出3D IoU分数。在KITTI数据集上的实验证明了该框架的有效性。
2019-06-08 cs.CV
Objects are Different: Flexible Monocular 3D Object Detection
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在没有深度信息的情况下，从单个图像中精确定位3D对象是一个极具挑战性的问题。大多数现有的方法采用相同的方法对所有对象，而不管其不同的分布，导致有限的性能截断对象。在本文中，我们提出了一个灵活的框架，单目3D目标检测，显式的截断对象，并自适应地结合多种方法的对象深度估计。具体来说，我们解耦的特征图的边缘预测长尾截断对象，使正常对象的优化不受影响。此外，我们将对象深度估计公式化为直接回归的对象深度和来自不同组的关键点的求解深度的不确定性引导的集合。实验结果表明，在保持实时性的前提下，该方法在KITTI基准测试集上的中等水平和困难水平下的性能分别比现有方法提高了27%和30%.代码将在\url{https://github.com/zhangyp15/MonoFlex}上提供。
2021-04-06 cs.CV
ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）
针对单目3D目标检测中前景稀疏导致训练效果差的问题，提出ODM3D半监督框架，通过多模态知识蒸馏、BEV占用引导掩码及跨模态数据增强提升性能，在KITTI基准上超越现有单目检测方法。
2023-11-07 cs.CV
SilhoNet-Fisheye: Adaptation of A ROI Based Object Pose Estimation Network to Monocular Fisheye Images
University of Michigan（密歇根大学）；DROP lab（DROP实验室）；Department of Naval Architecture and Marine Engineering（船舶与海洋工程系）
最近，人们对用于基于单目图像的对象姿态估计的深度学习方法产生了很大的兴趣。虽然物体姿态估计是自主机器人与物理世界交互的一个重要问题，并且基于单眼的方法的应用空间是广阔的，但是将这些方法应用于鱼眼成像系统的工作很少。此外，几乎不存在的方式注释鱼眼图像数据集上，这些方法可以开发和测试。对于应用于水下领域的基于鱼眼图像或其他方式的目标检测方法，研究前景甚至更加稀疏。在这项工作中，我们提出了一种新的框架，用于适应基于ROI的6D对象姿态估计方法，以处理完整的鱼眼图像。该方法结合了从中间球面图像表示感兴趣的区域的几何投影，以校正鱼眼失真。此外，我们贡献了一个鱼眼图像数据集，称为UWHandles，收集在自然的水下环境中，与6D对象的姿态和2D限界框注释。
2020-02-27 cs.CV
MonoMAE: Enhancing Monocular 3D Detection through Depth-Aware Masked Autoencoders
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出受掩码自编码器启发的单目3D检测器MonoMAE，通过深度感知掩码和轻量级查询补全机制解决目标遮挡问题，学习丰富且具泛化能力的3D表征，显著提升遮挡与非遮挡目标的检测性能。
2024-10-15 cs.CV
Cross-Modality Knowledge Distillation Network for Monocular 3D Object Detection
Zhejiang University（浙江大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
利用基于LiDAR的检测器或真实LiDAR点数据来指导单目3D检测已经带来了显著的改进，例如，伪激光雷达方法。然而，现有的方法通常采用非端到端的训练策略，没有充分利用LiDAR信息，LiDAR数据的丰富潜力没有得到很好的开发。在本文中，我们提出了跨模态知识蒸馏（CMKD）网络的单目3D检测，有效地和直接地转移知识从激光雷达模态图像模态的功能和响应。此外，我们通过从大规模未标记数据中提取知识，进一步扩展CMKD作为半监督训练框架，并显着提高性能。在提交之前，CMKD将$1^{st}$列为单眼3D探测器中的一种，与之前的最先进方法相比，KITTI $test$集和Waymo $val$集都有显著的性能提升。
2022-11-14 cs.CV
NeurOCS: Neural NOCS Supervision for Monocular 3D Object Localization
Stevens Institute of Technology（史蒂文斯理工学院）；NEC Laboratories America（美国NEC实验室）
本文提出 NeurOCS 框架，通过可微渲染从实例掩码和三维框学习类别级形状先验，为单目三维定位提供密集坐标监督，在 KITTI-Object 基准上取得单目方法第一。
2023-05-28 cs.CV
Learning Geocentric Object Pose in Oblique Monocular Images
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；The Johns Hopkins University（约翰斯·霍普金斯大学）
物体的地心姿态，定义为地面以上的高度和相对于重力的方向，是使用RGBD图像进行目标检测、分割和定位任务的真实世界结构的有力表示。对于近距离视觉任务，高度和方向直接来自立体计算的深度，最近来自深度网络预测的单眼深度。对于地球观测等远程视觉任务，无法用单目图像可靠地估计深度。受最近单目离地高度预测和静态图像光流预测工作的启发，我们开发了一种地心姿态编码来解决这一挑战，并训练一个深度网络来密集计算表示，由公开可用的机载激光雷达监督。我们利用这些属性来纠正倾斜图像，并删除观察到的对象视差，以显着提高定位的准确性，并使从非常不同的倾斜视点拍摄的多个图像的准确对准。我们证明了我们的方法的价值，通过扩展两个大规模的公共数据集的语义分割在倾斜的卫星图像。我们所有的数据和代码都是公开的。
2020-07-01 cs.CV
Every Dataset Counts: Scaling up Monocular 3D Object Detection with Joint Datasets Training
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本研究提出一种联合数据集训练框架，通过鲁棒单目3D模型、选择性训练策略和伪3D训练方法，利用多种3D/2D数据集提升单目3D目标检测的泛化能力与性能。
2024-09-24 cs.CV
Monocular 3D Object Detection with LiDAR Guided Semi Supervised Active Learning
Technical University Munich（慕尼黑工业大学）；BMW Group（宝马集团）
提出 MonoLiG 半监督主动学习框架，用 LiDAR 指导单目 3D 检测的数据选择与跨模态伪标签训练，在 KITTI 和 Waymo 上显著降低标注成本并提升 BEV AP。
2023-07-17 cs.CV
SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation
ZongMu Tech（纵目科技）；TU/e（埃因霍温理工大学）
估计物体的3D方向和平移对于无基础设施的自主导航和驾驶至关重要。在单目视觉的情况下，成功的方法主要基于两个成分：（i）生成2D区域建议的网络，（ii）通过利用所获取的感兴趣区域预测3D对象姿态的R-CNN结构。我们认为，2D检测网络是冗余的，并为3D检测引入了不可忽略的噪声。因此，我们提出了一种新的三维目标检测方法，命名为烟雾，在本文中，预测一个三维限界框为每个检测到的对象相结合的一个单一的关键点估计与回归的三维变量。作为第二个贡献，我们提出了一个多步骤的解缠方法来构建三维限界框，这显着提高了训练收敛和检测精度。与以前的3D检测技术相比，我们的方法不需要复杂的前/后处理，额外的数据和细化阶段。尽管其结构简单，我们提出的SMOKE网络优于所有现有的单目3D检测方法的KITTI数据集上，给最好的国家的最先进的结果在3D目标检测和鸟瞰图评估。该代码将公开发布。
2020-02-24 cs.CV
Revisiting Monocular 3D Object Detection with Depth Thickness Field
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
针对现有单目3D目标检测中深度表示3D结构感知能力有限的问题，提出基于深度厚度场的MonoDTF网络，通过场景级深度重定向和实例级空间细化模块提升检测精度，在KITTI和Waymo数据集上达到SOTA且通用性强。
2025-03-24 cs.CV
Is Pseudo-Lidar needed for Monocular 3D Object detection?
Toyota Research Institute（丰田研究所）
从单个图像进行3D目标检测的最新进展利用单目深度估计作为产生3D点云的一种方式，将相机变成伪激光雷达传感器。这些两阶段检测器随着中间深度估计网络的准确性而提高，中间深度估计网络本身可以在没有手动标记的情况下经由大规模自监督学习来提高。然而，它们往往比端到端方法更容易过拟合，更复杂，并且与类似的基于激光雷达的探测器的差距仍然很大。在这项工作中，我们提出了一种端到端的单级单目3D物体检测器DD 3D，它可以从深度预训练中受益，如伪激光雷达方法，但没有它们的局限性。我们的架构旨在实现深度估计和3D检测之间的有效信息传输，使我们能够根据未标记的预训练数据的数量进行扩展。我们的方法在两个具有挑战性的基准测试中取得了最先进的结果，在KITTI-3D基准测试中，汽车和行人的AP分别为16.34%和9.28%，在NuScenes上的mAP为41.5%。
2021-08-13 cs.CV
Reinforced Axial Refinement Network for Monocular 3D Object Detection
Tsinghua University（清华大学）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Inc.（华为公司）
单目3D目标检测的目的是从2D输入图像中提取目标的3D位置和属性。这是一个不适定问题，主要困难在于深度不可知相机的信息丢失。传统的方法从空间中采样3D边界框并推断目标对象与它们中的每一个之间的关系，然而，在3D空间中有效样本的概率相对较小。为了提高采样效率，我们建议从初始预测开始，并逐渐向地面真相进行改进，每一步只改变一个3d参数。这就需要设计一个经过几个步骤后得到奖励的策略，因此我们采用强化学习来优化它。所提出的框架，强化轴向细化网络（RAR-Net），作为一个后处理阶段，可以自由地集成到现有的单目3D检测方法中，并以很小的额外计算成本提高KITTI数据集上的性能。
2020-08-31 cs.CV
Monocular 3D Object Detection with Decoupled Structured Polygon Estimation and Height-Guided Depth Estimation
The Chinese University of Hong Kong（香港中文大学）；Sensetime Group Limited（商汤集团有限公司）
单目3D目标检测任务的目的是基于单目RGB图像预测物体的3D边界框。由于三维空间中的位置恢复是相当困难的，由于缺乏深度信息，本文提出了一种新的统一框架，该框架将检测问题分解为一个结构化的多边形预测任务和深度恢复任务。与广泛研究的二维包围盒不同，本文提出的二维图像中的结构多边形由目标物体的多个投影表面组成。与广泛使用的3D限界框建议相比，它被证明是一个更好的表示3D检测。为了将预测的2D结构化多边形逆投影到3D物理世界中的长方体，以下深度恢复任务在利用给定相机投影矩阵完成逆投影变换之前使用对象高度。此外，提出了一种细粒度的3D盒细化方案，以进一步校正3D检测结果。在具有挑战性的KITTI基准上进行了实验，其中我们的方法达到了最先进的检测精度。
2021-06-09 cs.CV
MonoDETRNext: Next-Generation Accurate and Efficient Monocular 3D Object Detector
Northwestern Polytechnical University（西北工业大学）
针对MonoDETR的查询初始化问题，通过引入更高效编码器和更强深度估计器提出MonoDETRNext（含速度优先的E变体与精度优先的A变体），在KITTI测试集AP₃D指标上较MonoDETR分别提升2.35%和3.52%，建立单目3D检测新基准。
2024-11-27 cs.CV
MonoSAOD: Monocular 3D Object Detection with Sparsely Annotated Label
Kyung Hee University（庆熙大学）
本文提出MonoSAOD框架，通过Road-Aware Patch Augmentation和Prototype-Based Filtering实现稀疏标注下的单目3D物体检测，结合几何保留增强与原型引导伪标签，提升稀疏监督下的检测鲁棒性。
2026-04-05 cs.CV
Learning Monocular 3D Vehicle Detection without 3D Bounding Box Labels
Technical University of Munich（慕尼黑工业大学）；Artisense（Artisense公司）
基于深度学习的3D对象检测器的训练需要具有3D限界框标签的大型数据集，这些标签必须通过手动标记生成。我们提出了一个学习单目三维目标检测没有三维限界框标签的网络架构和训练过程。通过将对象表示为三角形网格并采用可微形状渲染，我们定义了基于深度图、分割掩模以及由预先训练的现成网络生成的自我和对象运动的损失函数。我们评估了所提出的算法在现实世界的KITTI数据集，并实现了有前途的性能相比，国家的最先进的方法，需要3D限界框标签的训练和优越的性能，传统的基线方法。
2020-10-07 cs.CV
3D-MOOD: Lifting 2D to 3D for Monocular Open-Set Object Detection
ETH Zürich（苏黎世联邦理工学院）；Tsinghua University（清华大学）；INSAIT, Sofia University（INSAIT，索菲亚大学）；Microsoft（微软）；University of Bonn（波恩大学）
针对现有单目3D目标检测方法仅适用于闭集场景的问题，提出首个端到端3D单目开集目标检测器3D-MOOD，通过2D到3D的提升、几何先验与规范图像空间设计，在闭集和开集基准上均取得SOTA结果。
2025-09-05 cs.CV
Monocular Object Instance Segmentation and Depth Ordering with CNNs
University of Toronto（多伦多大学）
在本文中，我们解决的问题，从一个单一的单目图像的实例级分割和深度排序。为了实现这一目标，我们利用卷积神经网络并训练它们来直接预测实例级分割，其中实例ID对图像补丁内的深度排序进行编码。为了提供图像的连贯的单一解释，我们开发了一个马尔可夫随机场，它将卷积神经网络的预测作为输入，应用于不同分辨率的重叠补丁，以及连接组件算法的输出。它旨在预测准确的实例级分割和深度排序。我们证明了我们的方法在具有挑战性的KITTI基准测试的有效性，并在这两项任务上表现出良好的性能。
2015-12-18 cs.CV
MonoWAD: Weather-Adaptive Diffusion Model for Robust Monocular 3D Object Detection
Kyung Hee University（庆熙大学）；ETRI（电子通信研究院）
提出MonoWAD，一种基于天气自适应扩散模型的天气鲁棒单目3D目标检测器，通过天气码本和自适应扩散模型结合天气自适应增强损失，在晴天和雾天等多种天气条件下实现鲁棒的3D检测。
2024-07-23 cs.CV
Perspective-aware Convolution for Monocular 3D Object Detection
National Taiwan University（国立台湾大学）
针对单目3D目标检测中仅靠图像线索难预测深度的问题，提出感知视角卷积层，沿像素深度轴提取特征融入透视信息，在KITTI3D简单基准达23.9%平均精度，提升检测精度。
2023-08-24 cs.CV
IDMS: Instance Depth for Multi-scale Monocular 3D Object Detection
针对单目三维目标检测中缺乏图像深度信息和检测精度差的问题，提出了基于实例深度的多尺度单目三维目标检测方法。首先，为了增强模型对不同尺度目标的处理能力，设计了基于扩张卷积的多尺度感知模块，并考虑到不同尺度特征图之间的不一致性，从空间和通道两个方向对包含多尺度信息的深度特征进行了重新细化。首先，设计了一个基于扩张卷积的多尺度感知模块，以增强模型对不同尺度目标的处理能力。考虑到不同尺度特征图之间的不一致性，对包含多尺度信息的深度特征从空间和通道两个方向进行了重新细化。其次，为了使模型获得更好的三维感知效果，本文提出将实例深度信息作为辅助学习任务来增强三维目标的空间深度特征，并利用稀疏实例深度来监督辅助学习任务。最后，通过在KITTI测试集和评测集上对所提算法进行验证，实验结果表明，与基线方法相比，所提方法在汽车类AP 40中的检测性能提高了5.27%，有效地提高了单目三维目标检测算法的检测性能。
2023-02-13 cs.CV
Homography Loss for Monocular 3D Object Detection
Alibaba Cloud Computing Ltd.（阿里云计算有限公司）；Zhejiang University（浙江大学）
单目三维目标检测是自动驾驶中的一项重要任务。然而，目前大多数方法将场景中的每个3D对象视为独立的训练样本，而忽略了它们固有的几何关系，从而不可避免地导致缺乏利用空间约束。在本文中，我们提出了一种新的方法，考虑到所有的对象，并探讨他们的相互关系，以帮助更好地估计3D框。此外，由于目前2D检测更可靠，我们还研究了如何使用检测到的2D框作为指导，以全局约束相应的预测3D框的优化。为此，提出了一种可微的损失函数--单应性损失（Homography Loss），它利用二维和三维信息，通过全局约束平衡不同物体之间的位置关系，从而得到更精确的预测三维盒子。得益于简洁的设计，我们的损失函数具有通用性，可以插入任何成熟的单目3D探测器，同时显著提高其基线性能。实验表明，与其他最先进的方法相比，我们的方法在KITTI 3D数据集上具有最佳性能（2021年11月）。
2022-04-02 cs.CV
MonoDGP: Monocular 3D Object Detection with Decoupled-Query and Geometry-Error Priors
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
MonoDGP提出透视不变几何误差修正投影公式，并解耦深度引导解码器与2D解码器，结合区域分割头优化输入token，在KITTI上实现无需额外数据的领先单目3D检测性能。
2025-03-12 cs.CV
Geometry-based Distance Decomposition for Monocular 3D Object Detection
Imperial College London（帝国理工学院）；DJI（大疆创新）；Zhejiang University（浙江大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
单目3D目标检测对于自动驾驶具有重要意义，但仍然具有挑战性。其核心挑战是在没有明确深度信息的情况下预测物体的距离。与大多数现有方法中将距离作为单一变量回归不同，我们提出了一种新的基于几何的距离分解，通过其因子来恢复距离。分解将物体的距离分解为最具代表性和稳定的变量，即物理高度和图像平面中的投影视觉高度。此外，分解保持了两个高度之间的自一致性，当两个预测高度都不准确时，导致鲁棒的距离预测。分解还使我们能够跟踪不同场景的距离不确定性的原因。这种分解使得距离预测可解释、准确和鲁棒。我们的方法直接从RGB图像中预测3D边界框，具有紧凑的架构，使训练和推理简单高效。实验结果表明，该方法在KITTI数据集的单目3D目标检测和鸟瞰图任务上达到了最佳性能，并且可以推广到具有不同相机特性的图像。
2022-06-29 cs.CV
Orthographic Feature Transform for Monocular 3D Object Detection
University of Cambridge（剑桥大学）
从单目图像中进行3D目标检测已被证明是一项极具挑战性的任务，领先系统的性能甚至还没有达到基于LiDAR的同行的10%。对这种性能差距的一种解释是，现有系统完全受基于透视图像的表示的支配，其中对象的外观和比例随着深度而变化，并且难以推断出有意义的距离。在这项工作中，我们认为，在3D世界的原因的能力是3D目标检测任务的一个基本要素。为此，我们引入了正交特征变换，它使我们能够通过将基于图像的特征映射到正交3D空间来逃避图像域。这使我们能够在一个尺度一致且对象之间的距离有意义的域中对场景的空间配置进行整体推理。我们将此转换作为端到端深度学习架构的一部分应用，并在KITTI 3D对象基准测试中实现了最先进的性能。\footnote {我们将在接受此手稿后发布完整的源代码和预训练模型。
2018-11-20 cs.CV
MonoDistill: Learning Spatial Features for Monocular 3D Object Detection
Dalian University of Technology（大连理工大学）；The University of Sydney（悉尼大学）
三维目标检测是三维场景理解的一项基本而具有挑战性的任务，基于单目的方法可以作为基于立体或基于LiDAR的方法的经济替代方案。然而，由于缺乏空间线索，从单个图像准确地检测3D空间中的对象是极其困难的。为了解决这个问题，我们提出了一个简单有效的方案，将LiDAR信号的空间信息引入到单目3D探测器中，而不会在推理阶段引入任何额外的成本。特别是，我们首先将LiDAR信号投影到图像平面中，并将它们与RGB图像对齐。之后，我们使用得到的数据来训练具有与基线模型相同架构的3D检测器（LiDAR Net）。最后，这个LiDAR Net可以作为教师将学习到的知识转移到基线模型。实验结果表明，该方法可以显着提高基线模型的性能，并排名$1^{st}$地方之间的所有单眼为基础的方法在KITTI基准。此外，进行了广泛的消融研究，进一步证明了我们设计的每个部分的有效性，并说明了基线模型从LiDAR Net中学习到了什么。我们的代码将在\url{https://github.com/monster-ghost/MonoDistill}发布。
2022-01-26 cs.CV
MonoMM: A Multi-scale Mamba-Enhanced Network for Real-time Monocular 3D Object Detection
Chongqing University of Technology（重庆理工大学）；University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
本文提出MonoMM网络，通过聚焦多尺度融合模块和深度感知Mamba增强模块，在降低计算开销的同时提升单目3D目标检测精度，并在KITTI上实现实时检测。
2024-08-01 cs.CV
Exploiting Depth from Single Monocular Images for Object Detection and Semantic Segmentation
The University of Adelaide（阿德莱德大学）；The University of Queensland（昆士兰大学）
增强RGB数据与测量的深度已被证明可以提高计算机视觉中的一系列任务的性能，包括目标检测和语义分割。尽管诸如微软Kinect之类的深度传感器已经促进了这种深度信息的容易获取，但是在视觉任务中使用的绝大多数图像不包含深度信息。在本文中，我们表明，增强RGB图像与估计的深度也可以提高目标检测和语义分割的准确性。具体来说，我们首先利用最近成功的深度估计从单目图像和学习深度深度估计模型。然后，我们从估计的深度学习深度特征，并结合RGB特征进行目标检测和语义分割。此外，我们提出了一种RGB-D语义分割方法，该方法采用多任务训练方案：语义标签预测和深度值回归。我们在几个数据集上测试了我们的方法，并证明了将来自估计深度的信息结合起来显著提高了目标检测和语义分割的性能。
2016-10-06 cs.CV
MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation
Institute of Intelligent Vehicles, School of Automotive Studies, Tongji University（同济大学汽车学院智能车辆研究所）
三维空间中的目标定位是单目三维目标检测中一个具有挑战性的方面。6DoF位姿估计的最新进展表明，预测图像和物体3D模型之间的密集2D-3D对应图，然后通过透视n点（Perspective-n-Point，简称PSPs）算法估计物体位姿，可以实现显著的定位精度。然而，这些方法依赖于使用对象几何形状的地面真实值进行训练，这在真实的户外场景中很难获得。为了解决这个问题，我们提出了MonoRUn，这是一种新的检测框架，它以自监督的方式学习密集的对应关系和几何形状，并具有简单的3D限界框注释。为了回归像素相关的3D对象坐标，我们采用了具有不确定性意识的区域重建网络。对于自监督训练，预测的3D坐标被投影回图像平面。提出了一种鲁棒KL损失，以最小化不确定加权重投影误差。在测试阶段，我们通过将网络不确定性传播到所有下游模块来利用网络不确定性。更具体地说，利用不确定性驱动的Pestro算法来估计对象姿态及其协方差。大量的实验表明，我们提出的方法优于当前国家的最先进的方法KITTI基准。
2021-03-24 cs.CV
IDEAL-M3D: Instance Diversity-Enriched Active Learning for Monocular 3D Detection
IDEAL-M3D通过实例级多样性增强主动学习，提升单目3D检测性能并减少标注资源消耗。
2025-11-24 cs.CV
Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data
University of Adelaide（阿德莱德大学）；Centre for Automotive Safety Research（汽车安全研究中心）
准确的交叉口车辆7自由度预测是评估道路使用者之间潜在冲突的重要任务。原则上，这可以通过能够检测每个车辆的姿态的单个相机系统来实现，但是这将需要大的、准确标记的数据集，从该数据集训练检测器。虽然存在大型车辆姿态数据集（表面上是为自动驾驶车辆开发的），但我们发现这些数据集的训练不足。这些数据集包含来自地面视点的图像，而用于交叉口观察的理想视图将位于路面上方更高的位置。我们开发了一种替代方法，使用弱监督方法微调交通观测摄像头的3D对象检测器;在此过程中，可以利用现有的大型自动驾驶车辆数据集进行预训练。为了微调单目3D对象检测器，我们的方法利用来自重叠的宽基线视图的多个2D检测和编码subjacent几何一致性的损失。我们的方法在我们的数据集上实现了车辆7 DoF姿态预测精度，与自动驾驶车辆数据集上性能最好的单目3D对象检测器相当。我们提出了我们的训练方法，多视图重投影损失和数据集。
2021-10-21 cs.CV
MonoMIP: Multi-Height Inverse Perspective Mapping for Monocular 3D Object Detection
Ozyegin University（奥兹耶金大学）
针对单目3D检测中透视图像平面的空间扭曲问题，提出双解码器框架MonoMIP，通过多高度逆透视映射生成BEV特征，在KITTI和Waymo基准上优于现有单目方法。
2026-10-13 cs.CV
