LAM3D: Leveraging Attention for Monocular 3D Object Detection
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）；Faculty of Automation and Computer Science（自动化与计算机科学学院）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出LAM3D框架，以PVTv2为骨干并利用自注意力机制进行单目3D目标检测，在KITTI基准上优于参考方法，验证了注意力机制对该任务的有效性。
2024-08-03 cs.AI cs.CV
MonoSKD: General Distillation Framework for Monocular 3D Object Detection via Spearman Correlation Coefficient
Beihang University（北京航空航天大学）
针对单目3D检测跨模态知识蒸馏难题，提出基于斯皮尔曼相关系数的通用蒸馏框架MonoSKD，以宽松损失学习特征相对相关性，在KITTI基准上实现最先进性能且不增加推理成本。
2023-10-17 cs.AI cs.CV
On Moving Object Segmentation from Monocular Video with Transformers
Robert Bosch GmbH（罗伯特·博世有限公司）；Heidelberg University（海德堡大学）
本文提出 M3Former 融合架构，利用 Transformer 结合外观与二维/三维运动特征完成单目运动分割，并证明多样化训练数据对 KITTI 和 DAVIS 上的 SotA 性能至关重要。
2024-11-28 cs.AI cs.CV
Aerial Monocular 3D Object Detection
Cooperative Medianet Innovation Center (CMIC)（合作 medianet 创新中心（CMIC））；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Shanghai AI Laboratory（上海人工智能实验室）
提出DVDET双视角系统，通过可训练几何可变形变换解决航空视角畸变，实现无人机单目3D目标检测，并发布仿真与真实数据集验证其可行性。
2025-01-20 cs.AI cs.CV
Object-Aware Centroid Voting for Monocular 3D Object Detection
Rochester Institute of Technology（罗切斯特理工学院）
单目3D目标检测旨在从单个相机检测3D物理世界中的对象。然而，最近的方法要么依赖于昂贵的LiDAR设备，要么求助于密集的逐像素深度估计，这导致了过高的计算成本。在本文中，我们提出了一个端到端的可训练单目3D对象检测器，而无需学习密集深度。具体地，2D框的网格坐标首先被投影回3D空间，针孔模型作为3D质心建议。然后，引入了一种新的对象感知投票方法，该方法同时考虑了区域外观注意力和几何投影分布，以投票3D质心提案进行3D对象定位。通过后期融合和预测的3D方向和尺寸，可以从单个RGB图像中检测对象的3D边界框。该方法是直接的，但显着优于其他单眼为基础的方法。在KITTI基准测试上的大量实验结果验证了该方法的有效性。
2020-07-20 cs.CV
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation
Tongji University（同济大学）；Alibaba Group（阿里巴巴集团）
在计算机视觉中，通过透视n点（Perspective-n-Points，PSPs）从单个RGB图像定位3D对象是一个长期存在的问题。在端到端深度学习的驱动下，最近的研究建议将PSNR解释为可微层，以便可以通过反向传播梯度w.r.t.物体姿势。然而，从头开始学习整个不受限制的2D-3D点集无法与现有方法收敛，因为确定性姿势本质上是不可微的。在本文中，我们提出了EPro-Pestrian，一个用于一般端到端姿态估计的概率Pestrian层，它输出SE（3）流形上的姿态分布，基本上将分类Softmax带到连续域。2D-3D坐标和对应的权重被视为通过最小化预测姿态分布和目标姿态分布之间的KL偏差来学习的中间变量。基本原则统一了现有的方法，类似于注意力机制。EPro-PnP的性能显著优于竞争对手的基线，缩小了基于PnP的方法与LineMOD 6DoF姿态估计和nuScenes 3D目标检测基准测试中特定任务领导者之间的差距。
2022-08-11 cs.CV
MonoGRNet: A General Framework for Monocular 3D Object Detection
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research Asia（微软亚洲研究院）
在真实3D空间中检测和定位物体在场景理解中起着至关重要的作用，由于图像投影期间的几何信息丢失，仅给定单目图像是特别具有挑战性的。我们提出MonoGRNet的非模态三维目标检测从单目图像通过几何推理在观察到的二维投影和未观察到的深度维度。MonoGRNet将单目3D目标检测任务分解为四个子任务，包括2D目标检测、实例级深度估计、投影3D中心估计和局部角点回归。任务分解显著地促进了单目3D目标检测，允许在单个前向通路中有效地预测目标3D边界框，而不使用对象提议、后处理或由先前方法利用的计算上昂贵的像素级深度估计。此外，MonoGRNet灵活地适应完全和弱监督学习，这提高了我们的框架在不同环境中的可行性。实验在KITTI、Cityscapes和MS COCO数据集上进行。结果表明，我们的框架在各种情况下的良好表现。
2021-04-18 cs.CV
SGM3D: Stereo Guided Monocular 3D Object Detection
Fudan University（复旦大学）；Baidu Inc.（百度公司）
本文提出SGM3D框架，通过多粒度域自适应和IoU匹配对齐，将立体输入学到的三维特征迁移到单目检测中，在KITTI和Lyft上取得领先结果。
2022-02-24 cs.CV
Task-Aware Monocular Depth Estimation for 3D Object Detection
The University of Adelaide（阿德莱德大学）；Bytedance AI Lab（字节跳动人工智能实验室）
单目深度估计能够从单个2D图像实现3D感知，因此多年来吸引了许多研究关注。几乎所有的方法都平等地对待图像中的前景和背景区域（“事物和东西”）。然而，并非所有像素都相等。前景物体的深度在三维物体识别和定位中起着至关重要的作用。到目前为止，如何提高前景对象的深度预测精度很少讨论。本文首先分析了前景和背景的数据分布和相互作用，然后提出了前景-背景分离的单目深度估计（ForeSeE）方法，分别使用优化目标和深度解码器来估计前景和背景的深度。我们的方法显着提高了前景物体的深度估计性能。将ForeSeE应用于3D目标检测，我们实现了7.5 AP增益，并在其他单目方法中创造了新的最先进的结果。代码将在https://github.com/WXinlong/ForeSeE上提供。
2019-12-09 cs.CV
OCM3D: Object-Centric Monocular 3D Object Detection
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；FABU Inc.（FABU公司）
仅图像和伪LiDAR表示通常用于单目3D目标检测。然而，基于它们的方法具有缺点，要么不能很好地捕捉空间关系的钻孔图像像素或难以处理的单目伪激光雷达点云的噪声性质。为了克服这些问题，在本文中，我们提出了一种新的对象为中心的体素表示量身定制的单目3D目标检测。具体而言，体素建立在每个对象建议上，并且它们的大小由点的3D空间分布自适应地确定，从而允许在体素网格内有效地组织有噪声的点云。这种表示被证明是能够在3D空间中准确定位的对象。此外，先前的工作希望通过从整个图像或噪声点云提取的深度特征来估计方向。相比之下，我们认为，从对象图像补丁的局部ROI信息单独与一个适当的搜索方案是一个更好的输入，因为它提供了完整的语义线索，同时排除不相关的干扰。此外，我们通过考虑3D物体和相关的2D盒子之间的关系，分解了单目3D目标检测中的置信机制。在KITTI上进行评估，我们的方法大大优于最先进的方法。该代码将很快公布。
2021-04-13 cs.CV
DMODE: Differential Monocular Object Distance Estimation Module without Class Specific Information
Simon Fraser University（西蒙菲莎大学）
本文提出类别无关的 DMODE 模块，通过融合物体尺寸随时间变化与相机运动估计单目距离，并在 KITTI MOTS 上验证其优于传统方法。
2024-05-07 cs.AI cs.CV cs.LG
Shape-Aware Monocular 3D Object Detection
Xiamen University（厦门大学）；Ningbo Boden AI Technology Co., Ltd.（宁波博登人工智能科技有限公司）
通过单个透视相机检测3D物体是一个具有挑战性的问题。无锚点和基于关键点的模型由于其有效性和简单性而受到越来越多的关注。然而，这些方法中的大多数容易受到遮挡和截断的对象。提出了一种单阶段单目三维目标检测模型。实例分割头被集成到模型训练中，这允许模型知道目标对象的可见形状。该检测在很大程度上避免了来自目标对象周围的不相关区域的干扰。此外，我们还发现，流行的基于IoU的评估指标，这是最初设计用于评估立体或基于激光雷达的检测方法，是不敏感的单目3D目标检测算法的改进。针对单目三维目标检测模型，提出了一种新的评价指标--平均深度相似度（ADS）。我们的方法优于流行的和建议的评估指标的基线，同时保持实时效率。
2022-04-24 cs.CV
Self-supervised 3D Object Detection from Monocular Pseudo-LiDAR
Samsung Electronics Co., Ltd.（三星电子有限公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院）
已经尝试通过融合立体相机图像和LiDAR传感器数据或使用LiDAR进行预训练并仅使用单目图像进行测试来检测3D对象，但是由于准确度低，很少尝试仅使用单目图像序列。此外，当仅使用单目图像进行深度预测时，只能预测尺度不一致的深度，这就是研究人员不愿意单独使用单目图像的原因。因此，我们提出了一种方法，通过实现检测网络和深度预测网络的端到端学习，仅使用单目图像序列来预测绝对深度和检测3D对象。因此，该方法在KITTI 3D数据集上的性能优于其他现有方法。即使在训练过程中同时使用单目图像和3D LiDAR来提高性能，与使用相同输入的其他方法相比，我们的表现也是最好的。此外，端到端学习不仅提高了深度预测性能，还实现了绝对深度预测，因为我们的网络利用了汽车等3D物体的大小由近似大小决定的事实。
2022-09-20 cs.CV
Learning Auxiliary Monocular Contexts Helps Monocular 3D Object Detection
单目3D目标检测的目标是在输入的单个2D图像中定位3D边界框。这是一个非常具有挑战性的问题，并且仍然是开放的，特别是当没有额外的信息（例如，深度、激光雷达和/或多帧）可以在训练和/或推断中被利用。本文提出了一种简单而有效的配方单目三维目标检测，而不利用任何额外的信息。提出了MonoCon方法，该方法学习单目上下文，作为训练中的辅助任务，以帮助单目3D目标检测。关键思想是，利用图像中对象的带注释的3D边界框，存在丰富的适定的投影2D监督信号集合可用于训练，诸如投影的角关键点及其相对于2D限界框的中心的相关联的偏移向量，其应当被利用作为训练中的辅助任务。提出的MonoCon的动机是在高层次上的测量理论中的Cramer-Wold定理。在实现中，它利用一个非常简单的端到端设计来证明学习辅助单目上下文的有效性，该设计由三个组件组成：基于深度神经网络（DNN）的特征主干，用于学习3D限界框预测中使用的基本参数的多个回归头分支，以及用于学习辅助上下文的多个回归头分支。在训练之后，为了更好的推理效率，丢弃辅助上下文回归分支。在实验中，提出的MonoCon在KITTI基准测试（汽车，行人和骑自行车的人）。它在汽车类别的排行榜中优于所有现有技术，并且在准确性方面对行人和骑自行车的人获得了相当的性能。由于设计简单，所提出的MonoCon方法获得了最快的推理速度，相比之下为38.7 fps
2021-12-09 cs.CV
Categorical Depth Distribution Network for Monocular 3D Object Detection
University of Toronto（多伦多大学）
单目3D目标检测是自主车辆的关键问题，因为与典型的多传感器系统相比，它提供了一种具有简单配置的解决方案。单目3D检测的主要挑战在于准确预测物体深度，由于缺乏直接的距离测量，因此必须从物体和场景线索中推断出物体深度。许多方法试图直接估计深度以辅助3D检测，但由于深度不准确而显示出有限的性能。我们提出的解决方案，分类深度分布网络（CaDDN），使用每个像素的预测分类深度分布，将丰富的上下文特征信息投影到3D空间中的适当深度间隔。然后，我们使用计算效率的鸟瞰图投影和单级检测器来产生最终的输出边界框。我们将CaDDN设计为用于联合深度估计和目标检测的完全可区分的端到端方法。我们验证了我们的方法在KITTI 3D目标检测基准，我们排名第一的单目方法。我们还在新发布的Waymo Open Dataset上提供了第一个单目3D检测结果。我们为CaDDN提供了可用的代码版本。
2021-03-23 cs.CV
MDS-Net: A Multi-scale Depth Stratification Based Monocular 3D Object Detection Algorithm
Zhejiang University（浙江大学）；Donghai Laboratory（东海实验室）
由于缺乏深度信息，单目3D目标检测在自动驾驶中非常具有挑战性。提出了一种基于多尺度深度分层的单目三维目标检测算法，该算法采用无锚点方法，在逐像素预测的基础上检测三维目标。在所提出的MDS-Net中，开发了一种新的基于深度的分层结构，通过建立对象的深度和图像尺寸之间的数学模型来提高网络的深度预测能力。提出了一种新的角度损失函数，进一步提高了角度预测的精度，加快了训练的收敛速度。最后在后处理阶段应用优化的软NMS来调整候选框的置信度。在KITTI基准测试上的实验表明，MDS-Net在3D检测和BEV检测任务中优于现有的单目3D检测方法，同时满足实时性要求。
2022-04-28 cs.CV
MVM3Det: A Novel Method for Multi-view Monocular 3D Detection
State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统管理与控制国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；College of Engineering and Computer Science, Australian National University（澳大利亚国立大学工程与计算机科学学院）；School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械与车辆学院）
单目3D目标检测在很多应用场景中会遇到遮挡问题，如交通监控、行人监控等，这会导致严重的假阴性多视角目标检测通过结合不同视角的数据有效地解决了这一问题。然而，由于标签混淆和特征混淆，多视角三维目标检测的方向估计是棘手的，这是重要的目标跟踪和意图预测。本文提出了一种新的多视点三维目标检测方法MVM3Det，该方法根据多视点单目信息同时估计目标的三维位置和方向。该方法由两部分组成：1）位置建议网络，通过特征正交变换将不同角度的特征整合为一致的全局特征来估计位置。2)多分支方向估计网络，引入特征透视池，克服了方向估计过程中的两个混淆问题。此外，我们提出了第一个数据集的多视图三维目标检测命名为MVM3D。与我们的数据集和公共数据集WildTrack上的最新技术（SOTA）方法相比，我们的方法取得了非常有竞争力的结果。
2021-09-22 cs.CV
ImVoxelNet: Image to Voxels Projection for Monocular and Multi-View General-Purpose 3D Object Detection
Samsung AI Center Moscow（三星人工智能中心莫斯科）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
在本文中，我们介绍的任务，多视角RGB为基础的三维目标检测作为一个端到端的优化问题。为了解决这个问题，我们提出了ImVoxelNet，一种新的基于单目或多视图RGB图像的3D目标检测的全卷积方法。每个多视图输入中的单目图像的数量在训练和推断期间可以变化;实际上，这个数量对于每个多视图输入可能是唯一的。ImVoxelNet成功地处理了室内和室外场景，这使得它具有通用性。具体来说，它在接受RGB图像的所有方法中，在KITTI（单目）和nuScene（多视图）基准上实现了最先进的汽车检测结果。此外，它超越了现有的基于RGB的3D目标检测方法在SUN RGB-D数据集。在ScanNet上，ImVoxelNet为多视图3D目标检测设定了新的基准。源代码和训练模型可在https://github.com/saic-vul/imvoxelnet上获得。
2021-10-15 cs.CV
Triangulation Learning Network: from Monocular to Stereo 3D Object Detection
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文研究了从立体图像中检测三维目标检测的问题，其关键在于如何有效地利用立体信息。与以前使用像素级深度图的方法不同，我们提出采用3D锚显式地构建立体图像中感兴趣区域之间的对象级对应关系，深度神经网络从中学习在3D空间中检测和三角测量目标对象。我们还引入了一个具有成本效益的通道重新加权策略，增强了代表性的功能，削弱了嘈杂的信号，以促进学习过程。所有这些都灵活地集成到一个使用单目图像的固体基线探测器中。我们证明了单目基线和立体三角测量学习网络在具有挑战性的KITTI数据集上的3D目标检测和定位方面优于现有的最先进技术。
2019-06-04 cs.CV
Object Detection on Single Monocular Images through Canonical Correlation Analysis
University of Southern California（南加利福尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
在不使用额外的三维数据，如点云或深度图像提供的三维信息，我们检索的三维物体信息从单目图像。从单个单目图像恢复高质量的预测深度图像，并将其与相应的单目图像一起馈送到2-D对象建议网络中。大多数现有的具有两个流输入数据的深度学习框架总是通过连接或添加来融合单独的数据，其视图特征图的每个部分都可以平等地对整个任务做出贡献。然而，当数据是嘈杂的，太多的信息是冗余的，这些方法不再有效地产生预测或分类。在这份报告中，我们提出了一个二维CCA（典型相关分析）框架，以融合单目图像和相应的预测深度图像的基本计算机视觉任务，如图像分类和目标检测。首先，我们用一维CCA和Alexnet实现了不同的结构，以测试图像分类任务的性能。然后，我们将其中一种结构与2D-CCA应用于目标检测。在这些实验中，我们发现我们提出的框架在将预测的深度图像作为输入时表现得更好，模型是从地面真实深度训练的。
2020-02-13 cs.CV
MonoPair: Monocular 3D Object Detection Using Pairwise Spatial Relationships
Alibaba Group（阿里巴巴集团）
单目3D目标检测是自动驾驶中的重要组成部分，但解决起来具有挑战性，特别是对于那些仅部分可见的遮挡样本。大多数检测器将每个3D对象视为独立的训练目标，不可避免地导致对被遮挡样本缺乏有用信息。为此，我们提出了一种新的方法，以改善单目三维目标检测考虑配对样本的关系。这使我们能够编码空间约束的部分被遮挡的对象从他们的相邻邻居。具体而言，所提出的检测器计算相邻对象对的对象位置和3D距离的不确定性感知预测，随后通过非线性最小二乘法进行联合优化。最后，一阶段的不确定性感知预测结构和后优化模块进行了专门的集成，以确保运行时的效率。实验表明，我们的方法在KITTI 3D检测基准上产生了最好的性能，通过大幅超越最先进的竞争对手，特别是对于硬样本。
2020-03-01 cs.AI cs.CV cs.LG
MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer
National Taiwan University（国立台湾大学）；Mobile Drive Technology（移动驱动科技公司）
单目3D目标检测是自动驾驶中一项重要而又具有挑战性的任务。一些现有的方法利用来自现成的深度估计器的深度信息来辅助3D检测，但是遭受额外的计算负担并且实现由不准确的深度先验引起的有限的性能。为了缓解这一问题，我们提出了MonoDTR，一种新型的端到端深度感知Transformer网络，用于单目3D目标检测。它主要由两个组件组成：（1）深度感知特征增强（DFE）模块，该模块隐式地学习具有辅助监督的深度感知特征，而不需要额外的计算;以及（2）深度感知Transformer（DTR）模块，该模块全局地集成上下文和深度感知特征。此外，不同于传统的逐像素位置编码，我们引入了一种新的深度位置编码（DPE）注入深度位置提示到Transformers。我们提出的深度感知模块可以很容易地插入到现有的仅图像的单目3D对象检测器，以提高性能。在KITTI数据集上的大量实验表明，我们的方法优于以前最先进的基于单眼的方法，并实现了实时检测。代码可在https://github.com/kuanchihhuang/MonoDTR上获得
2022-03-28 cs.CV
MonoPGC: Monocular 3D Object Detection with Pixel Geometry Contexts
Zongmu Technology（纵目科技）；Fudan University（复旦大学）
单目3D目标检测揭示了自动驾驶中经济但具有挑战性的任务。近年来基于中心的单目方法发展迅速，在速度和精度之间有很大的权衡，其中它们通常依赖于通过2D特征的对象中心的深度估计。然而，视觉语义特征没有足够的像素几何信息，可能会影响空间三维检测任务的线索的性能。为了缓解这一问题，我们提出了MonoPGC，一种新的端到端的单目3D目标检测框架，具有丰富的像素几何上下文。我们引入像素深度估计作为辅助任务，并设计深度交叉注意金字塔模块（DCPM），将局部和全局深度几何知识注入视觉特征。此外，我们提出了深度空间感知的Transformer（DSAT），以有效地集成3D空间位置和深度感知功能。此外，我们设计了一种新的深度梯度位置编码（DGPE），使更多的不同像素的几何上下文到Transformer更好的目标检测。大量的实验表明，我们的方法达到了最先进的性能KITTI数据集。
2023-02-21 cs.CV
M3DSSD: Monocular 3D Single Stage Object Detector
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）；School of Micro-Nano Electronics, Zhejiang University（浙江大学微纳电子学院）
在本文中，我们提出了一个单目3D单级目标检测器（M3 DSSD）的特征对齐和非对称非局部注意。现有的基于锚点的单目3D目标检测方法存在特征不匹配的问题。为了克服这一点，我们提出了一个两步特征对齐方法。在第一步中，执行形状对准以使特征图的感受野能够聚焦于具有高置信度分数的预定义锚点。在第二步中，中心对准用于在2D/3D中心处对准特征。此外，通常难以学习全局信息并捕获长期关系，这对于对象的深度预测是重要的。因此，我们提出了一种新的非对称非局部注意力块与多尺度采样提取深度方面的功能。建议的M3 DSSD实现显着更好的性能比单目3D目标检测方法的KITTI数据集，在3D目标检测和鸟瞰图任务。
2021-03-24 cs.CV
MonoGround: Detecting Monocular 3D Objects from the Ground
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Lab（上海人工智能实验室）
单目三维目标检测以其简单、成本低等优点引起了人们的广泛关注。由于单目成像过程中的不适定2D到3D映射本质，单目3D目标检测遭受不准确的深度估计，从而具有较差的3D检测结果。为了解决这个问题，我们提出在单目3d目标检测中引入地平面作为先验。地平面先验作为不适定映射的附加几何条件和深度估计中的额外源。这样，我们就可以得到离地面更精确的深度估计。同时，为了充分利用地平面先验，我们提出了一种深度对齐训练策略和一种精确的两阶段深度推理方法。值得注意的是，引入的地平面先验不需要额外的数据源，如LiDAR，立体图像和深度信息。在KITTI基准上的大量实验表明，与其他方法相比，我们的方法可以实现最先进的结果，同时保持非常快的速度。我们的代码和模型可以在https://github.com/cfzd/MonoGround上找到。
2022-06-15 cs.CV
MonoJSG: Joint Semantic and Geometric Cost Volume for Monocular 3D Object Detection
The Hong Kong University of Science and Technology（香港科技大学）；DJI（大疆创新）
由于2D-3D投影固有的不适定性，单目3D目标检测缺乏精确的深度恢复能力。虽然深度神经网络（DNN）能够从高级学习特征实现单目深度感测，但是由于深度卷积机制，像素级线索通常被省略。为了从DNN中强大的特征表示和像素级几何约束中受益，我们将单目对象深度估计重新表示为渐进式细化问题，并提出了一个联合语义和几何成本体积来建模深度误差。具体来说，我们首先利用神经网络来学习对象的位置、尺寸和密集归一化的3D对象坐标。基于对象深度，将密集坐标片连同对应的对象特征一起重新投影到图像空间，以联合语义和几何误差的方式构建成本体。通过将成本体积馈送到细化网络来获得最终深度，其中通过直接深度监督来正则化语义和几何错误的分布。通过细化框架有效地减少深度误差，我们在KITTI和Waymo数据集上都获得了最先进的结果。
2022-03-16 cs.CV
Monocular Differentiable Rendering for Self-Supervised 3D Object Detection
Preferred Networks, Inc（优选网络公司）；Toyota Research Institute - Advanced Development（丰田研究院高级开发部）；Toyota Research Institute（丰田研究院）
单目图像中三维目标检测是一个不适定问题，这是由于深度和尺度的投影纠缠。为了克服这种模糊性，我们提出了一种新的自我监督的方法，纹理的3D形状重建和姿势估计的刚性物体的帮助下，强大的形状先验和2D实例掩码。我们的方法预测的3D位置和网格的图像中的每个对象使用微分渲染和来自一个预先训练的单目深度估计网络的自监督的目标。我们使用KITTI三维目标检测数据集来评估该方法的准确性。实验表明，我们可以有效地使用嘈杂的单目深度和微分渲染作为替代昂贵的3D地面实况标签或激光雷达信息。
2020-09-30 cs.CV cs.LG
Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；Dalian University of Technology（大连理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出通过投影建模学习几何引导的深度估计，在单目3D目标检测网络中设计几何公式实现2D与3D交互，并解决2D标注与投影框不对齐问题，在KITTI数据集上无额外数据下将SOTA性能提升2.80%。
2024-04-24 cs.CV
Monocular 3D Object Detection Leveraging Accurate Proposals and Shape Reconstruction
University of Toronto（多伦多大学）
我们提出MonoPSR，一个单目3D目标检测方法，利用建议和形状重建。首先，使用针孔相机模型的基本关系，从一个成熟的2D对象检测器的检测被用来生成一个场景中的每个对象的3D建议。这些建议的3D位置被证明是相当准确的，这大大降低了回归最终的3D限界框检测的难度。同时，在以物体为中心的坐标系中预测点云，以学习局部尺度和形状信息。然而，关键的挑战是如何利用形状信息来指导3D定位。因此，我们设计了聚合损失，包括一种新的投影对齐损失，以联合优化神经网络中的这些任务，以提高3D定位精度。我们在KITTI基准上验证了我们的方法，在此基础上，我们在已发布的单目方法中设置了新的最先进的结果，包括更难的行人和骑自行车的类别，同时保持高效的运行时间。
2019-04-02 cs.CV
MonoCLUE : Object-Aware Clustering Enhances Monocular 3D Object Detection
针对单目3D目标检测因深度不适定和视野有限导致的几何线索缺失与精度不足问题，提出MonoCLUE，通过局部聚类捕捉目标外观部分、构建广义场景记忆整合视觉特征，提升部分可见目标检测效果，在KITTI基准上取得最优性能。
2025-11-11 cs.CV
WeakM3D: Towards Weakly Supervised Monocular 3D Object Detection
Zhejiang University（浙江大学）；FABU Inc.（FABU公司）
单目三维目标检测是三维场景理解中最具挑战性的任务之一。由于单目图像的不适定性，现有的单目3D检测方法高度依赖于使用LiDAR点云上的手动注释的3D框标签进行训练。这种注释过程非常费力且昂贵。为了免除对3D框标签的依赖，在本文中，我们探讨了弱监督单目3D检测。具体来说，我们首先检测图像上的2D盒子。然后，我们采用生成的2D盒选择相应的RoI LiDAR点作为弱监督。最终，我们采用一个网络来预测3D盒子，它可以与相关的RoI LiDAR点紧密对齐。这个网络是通过最小化我们新提出的3D框估计和相应的RoI LiDAR点之间的3D对齐损失来学习的。我们将说明上述学习问题的潜在挑战，并通过在我们的方法中引入几个有效的设计来解决这些挑战。代码将在https://github.com/SPengLiang/WeakM3D上提供。
2022-03-16 cs.CV
Gated3D: Monocular 3D Object Detection From Temporal Illumination Cues
Algolux（Algolux公司）；Daimler AG（戴姆勒股份公司）；Ulm University（乌尔姆大学）；Princeton University（普林斯顿大学）
当今最先进的3D目标检测方法基于激光雷达、立体或单目相机。基于激光雷达的方法实现了最佳的精度，但是具有大的覆盖区、高成本和机械限制的角度采样率，导致在长距离处的低空间分辨率。最近基于低成本单目或立体相机的方法有望克服这些局限性，但由于它们依赖无源CMOS传感器，因此在低光或低对比度区域会遇到困难。在这项工作中，我们提出了一种新的三维目标检测模式，利用时间照明线索从低成本的单目门控成像器。我们提出了一种新的深度检测器架构，Gated3D，这是专为三个门控图像的时间照明线索。门控图像使我们能够利用成熟的2D对象特征提取器，通过截头体段估计来指导3D预测。我们在一个新的3D检测数据集上评估了所提出的方法，该数据集包括在超过10，000公里的驾驶数据中捕获的门控图像。我们验证，我们的方法优于国家的最先进的单眼和立体的方法在长距离。我们将发布我们的代码和数据集，开辟一种新的传感器模式，作为在自动驾驶中取代激光雷达的途径。
2021-02-06 cs.CV
Towards Generalization Across Depth for Monocular 3D Object Detection
Mapillary Research（Mapillary研究）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
虽然昂贵的LiDAR和立体相机设备已经成功开发了3D目标检测方法，但单目RGB方法远远落后。这项工作通过引入MoVi-3D（一种用于单目3D目标检测的新颖的单级深度架构）来推进现有技术。MoVi-3D建立在一种新的方法之上，该方法利用几何信息在训练和测试时生成虚拟视图，其中对象外观相对于距离进行归一化。这些虚拟生成的视图有助于检测任务，因为它们显著降低了与放置在距相机不同距离处的对象相关联的视觉外观变化。因此，深度模型从学习深度特定的表示中解脱出来，并且可以显着降低其复杂性。特别是，在这项工作中，我们表明，由于我们的虚拟视图生成过程中，一个轻量级的，单级架构足以设置新的国家的最先进的结果流行的KITTI 3D基准。
2020-04-02 cs.CV
Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection
Fudan University（复旦大学）；Baidu Inc（百度公司）
本文的目的是学习上下文和深度感知的特征表示，以解决单目三维目标检测的问题。我们做出以下贡献：（i）我们提出了一种深度条件动态消息传播（DSPs）网络，以有效地将多尺度深度信息与图像上下文相结合，而不是采用复杂的基于伪激光雷达的方法;（ii）这是通过首先自适应地对图像上下文中的上下文感知节点进行采样，然后动态地预测用于传播信息的混合深度相关滤波器权重和亲和矩阵来实现的;（iii）通过增强中心感知深度编码（CDE）任务，我们的方法成功地消除了不准确的深度先验;（iv）我们彻底证明了我们提出的方法的有效性，并在KITTI基准数据集上显示了基于单眼的方法中的最新结果。特别是，我们在提交日（2020年11月16日）将$1^{st}$评为竞争激烈的KITTI单眼3D目标检测赛道。代码和模型在\url{https://github.com/fudan-zvg/DDMP}发布
2021-03-30 cs.CV
Monocular 3D Object Detection via Geometric Reasoning on Keypoints
Skoltech（斯科尔科沃科学技术研究所）；Yandex（Yandex（俄罗斯央捷科斯公司））
众所周知，单目3D目标检测由于深度信息的丢失而成为具有挑战性的视觉任务;使用单独的仅图像方法来恢复深度的尝试导致不稳定和有噪声的深度估计，从而损害3D检测。在本文中，我们提出了一种新的基于关键点的方法，三维目标检测和定位从一个单一的RGB图像。我们围绕图像中的2D关键点检测建立多分支模型，并使用概念上简单的几何推理方法对其进行补充。我们的网络以端到端的方式执行，同时和相互依赖地估计2D特征，例如2D边界框，关键点和方向，以及场景中的完整3D姿势。我们融合不同分支的输出，在训练过程中应用重投影一致性损失。对具有挑战性的KITTI数据集基准的实验评估表明，我们的网络在其他单目3D检测器中取得了最先进的结果。
2019-05-14 cs.CV
Deep Fitting Degree Scoring Network for Monocular 3D Object Detection
Tsinghua University（清华大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
本文提出了一种用于单目3D目标检测的深度拟合度评分网络，其目的是对建议与目标之间的拟合度进行最终评分。与大多数现有的单目框架使用紧约束来获得3D定位不同，我们的方法通过测量投影的3D建议与对象之间的视觉拟合度来实现高精度定位。我们首先使用基于锚的方法回归对象的尺寸和方向，以便可以构建合适的3D建议。我们提出了一种基于2D线索的3D IOU推理网络，它可以完全基于2D线索来推断3D提案和对象之间的3D IOU。因此，在检测过程中，我们在3D空间中采样大量的候选对象，并将这些3D边界框单独投影到2D图像上。最佳候选者可以通过简单地探索提案和对象之间的空间重叠来挑选出来，其形式是PNET的输出3D IoU分数。在KITTI数据集上的实验证明了该框架的有效性。
2019-06-08 cs.CV
Objects are Different: Flexible Monocular 3D Object Detection
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在没有深度信息的情况下，从单个图像中精确定位3D对象是一个极具挑战性的问题。大多数现有的方法采用相同的方法对所有对象，而不管其不同的分布，导致有限的性能截断对象。在本文中，我们提出了一个灵活的框架，单目3D目标检测，显式的截断对象，并自适应地结合多种方法的对象深度估计。具体来说，我们解耦的特征图的边缘预测长尾截断对象，使正常对象的优化不受影响。此外，我们将对象深度估计公式化为直接回归的对象深度和来自不同组的关键点的求解深度的不确定性引导的集合。实验结果表明，在保持实时性的前提下，该方法在KITTI基准测试集上的中等水平和困难水平下的性能分别比现有方法提高了27%和30%.代码将在\url{https://github.com/zhangyp15/MonoFlex}上提供。
2021-04-06 cs.CV
VR3Dense: Voxel Representation Learning for 3D Object Detection and Monocular Dense Depth Reconstruction
Ford Greenfield Labs（福特绿地实验室）
三维目标检测和密集深度估计是自动驾驶中最重要的任务之一。多传感器模态可以共同属性朝向更好的机器人感知，并为此，我们介绍了一种方法，用于联合训练三维目标检测和单目密集深度重建神经网络。它在推理过程中将LiDAR点云和单个RGB图像作为输入，并生成对象姿势预测以及密集重建的深度图。将LiDAR点云转换为一组体素，并使用3D卷积层提取其特征，从中回归物体姿态参数。相应的RGB图像特征提取使用另一个二维卷积神经网络。我们进一步使用这些组合特征来预测密集的深度图。虽然我们的目标检测是以监督的方式训练的，但深度预测网络是用自监督和监督损失函数训练的。我们还介绍了一个损失函数，边缘保持平滑损失，并表明，这导致更好的深度估计相比，边缘感知平滑损失函数，经常用于深度预测工作。
2021-09-14 cs.AI cs.CV cs.LG
ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）
针对单目3D目标检测中前景稀疏导致训练效果差的问题，提出ODM3D半监督框架，通过多模态知识蒸馏、BEV占用引导掩码及跨模态数据增强提升性能，在KITTI基准上超越现有单目检测方法。
2023-11-07 cs.CV
SilhoNet-Fisheye: Adaptation of A ROI Based Object Pose Estimation Network to Monocular Fisheye Images
University of Michigan（密歇根大学）；DROP lab（DROP实验室）；Department of Naval Architecture and Marine Engineering（船舶与海洋工程系）
最近，人们对用于基于单目图像的对象姿态估计的深度学习方法产生了很大的兴趣。虽然物体姿态估计是自主机器人与物理世界交互的一个重要问题，并且基于单眼的方法的应用空间是广阔的，但是将这些方法应用于鱼眼成像系统的工作很少。此外，几乎不存在的方式注释鱼眼图像数据集上，这些方法可以开发和测试。对于应用于水下领域的基于鱼眼图像或其他方式的目标检测方法，研究前景甚至更加稀疏。在这项工作中，我们提出了一种新的框架，用于适应基于ROI的6D对象姿态估计方法，以处理完整的鱼眼图像。该方法结合了从中间球面图像表示感兴趣的区域的几何投影，以校正鱼眼失真。此外，我们贡献了一个鱼眼图像数据集，称为UWHandles，收集在自然的水下环境中，与6D对象的姿态和2D限界框注释。
2020-02-27 cs.CV
MonoMAE: Enhancing Monocular 3D Detection through Depth-Aware Masked Autoencoders
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出受掩码自编码器启发的单目3D检测器MonoMAE，通过深度感知掩码和轻量级查询补全机制解决目标遮挡问题，学习丰富且具泛化能力的3D表征，显著提升遮挡与非遮挡目标的检测性能。
2024-10-15 cs.CV
MoNet3D: Towards Accurate Monocular 3D Object Localization in Real Time
Chongqing University（重庆大学）；Arizona State University（亚利桑那州立大学）
三维空间中的单目多目标检测和定位已被证明是一项具有挑战性的任务。MoNet 3D算法是一种新颖而有效的框架，它可以预测单目图像中每个对象的3D位置，并为每个对象绘制3D限界框。MoNet 3D方法将相邻对象的空间几何相关性的先验知识融入深度神经网络训练过程中，以提高3D对象定位的准确性。在KITTI数据集上的实验表明，该算法对三维空间中物体的深度和水平坐标的预测准确率分别达到96.25%和94.74%。此外，该方法能够实现每秒27.85帧的实时图像处理，在嵌入式高级辅助驾驶系统中具有良好的应用前景。我们的代码可在https://github.com/CQUlearningsystemgroup/YicongPeng上公开获取。
2020-06-29 cs.CV cs.LG
Cross-Modality Knowledge Distillation Network for Monocular 3D Object Detection
Zhejiang University（浙江大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
利用基于LiDAR的检测器或真实LiDAR点数据来指导单目3D检测已经带来了显著的改进，例如，伪激光雷达方法。然而，现有的方法通常采用非端到端的训练策略，没有充分利用LiDAR信息，LiDAR数据的丰富潜力没有得到很好的开发。在本文中，我们提出了跨模态知识蒸馏（CMKD）网络的单目3D检测，有效地和直接地转移知识从激光雷达模态图像模态的功能和响应。此外，我们通过从大规模未标记数据中提取知识，进一步扩展CMKD作为半监督训练框架，并显着提高性能。在提交之前，CMKD将$1^{st}$列为单眼3D探测器中的一种，与之前的最先进方法相比，KITTI $test$集和Waymo $val$集都有显著的性能提升。
2022-11-14 cs.CV
NeurOCS: Neural NOCS Supervision for Monocular 3D Object Localization
Stevens Institute of Technology（史蒂文斯理工学院）；NEC Laboratories America（美国NEC实验室）
本文提出 NeurOCS 框架，通过可微渲染从实例掩码和三维框学习类别级形状先验，为单目三维定位提供密集坐标监督，在 KITTI-Object 基准上取得单目方法第一。
2023-05-28 cs.CV
Learning Geocentric Object Pose in Oblique Monocular Images
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；The Johns Hopkins University（约翰斯·霍普金斯大学）
物体的地心姿态，定义为地面以上的高度和相对于重力的方向，是使用RGBD图像进行目标检测、分割和定位任务的真实世界结构的有力表示。对于近距离视觉任务，高度和方向直接来自立体计算的深度，最近来自深度网络预测的单眼深度。对于地球观测等远程视觉任务，无法用单目图像可靠地估计深度。受最近单目离地高度预测和静态图像光流预测工作的启发，我们开发了一种地心姿态编码来解决这一挑战，并训练一个深度网络来密集计算表示，由公开可用的机载激光雷达监督。我们利用这些属性来纠正倾斜图像，并删除观察到的对象视差，以显着提高定位的准确性，并使从非常不同的倾斜视点拍摄的多个图像的准确对准。我们证明了我们的方法的价值，通过扩展两个大规模的公共数据集的语义分割在倾斜的卫星图像。我们所有的数据和代码都是公开的。
2020-07-01 cs.CV
Recurrent Scene Parsing with Perspective Understanding in the Loop
University of California, Irvine（加州大学尔湾分校）
物体可能以任意尺度出现在场景的透视图像中，这对以固定分辨率处理图像的识别系统构成了挑战。我们提出了一个深度感知门控模块，根据对象尺度（与深度成反比）自适应地选择卷积网络架构中的池域大小，以便为远处的对象保留小细节，而较大的感受野用于附近的对象。深度选通信号由立体视差提供或直接从单目输入估计。我们将这种深度感知门控集成到一个循环卷积神经网络中，以执行语义分割。我们的循环模块迭代地细化分割结果，利用以前迭代的深度和语义预测。通过在四个流行的大规模RGB-D数据集上的广泛实验，我们证明了这种方法具有竞争力的语义分割性能，模型更加紧凑。我们对这种架构进行了广泛的分析，包括在单目RGB上操作但在训练过程中使用深度作为边信息的变体，无监督门控作为通用注意力机制，以及多分辨率门控。我们发现，联合语义分割和深度的门控池产生定量单目深度估计的最先进的结果。
2017-12-06 cs.CV
MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection
CUHK MMLab（香港中文大学多媒体实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Centre for Perceptual and Interactive Intelligence (CPII)（感知与交互智能中心）
针对单目3D目标检测中局部视觉特征的局限，提出深度引导Transformer框架MonoDETR，通过深度感知Transformer和目标-场景深度交互提升性能，在KITTI上获SOTA且无需额外深度标注，泛化能力优异。
2025-02-13 cs.AI cs.CV eess.IV
Every Dataset Counts: Scaling up Monocular 3D Object Detection with Joint Datasets Training
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本研究提出一种联合数据集训练框架，通过鲁棒单目3D模型、选择性训练策略和伪3D训练方法，利用多种3D/2D数据集提升单目3D目标检测的泛化能力与性能。
2024-09-24 cs.CV
Monocular 3D Object Detection with LiDAR Guided Semi Supervised Active Learning
Technical University Munich（慕尼黑工业大学）；BMW Group（宝马集团）
提出 MonoLiG 半监督主动学习框架，用 LiDAR 指导单目 3D 检测的数据选择与跨模态伪标签训练，在 KITTI 和 Waymo 上显著降低标注成本并提升 BEV AP。
2023-07-17 cs.CV
SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation
ZongMu Tech（纵目科技）；TU/e（埃因霍温理工大学）
估计物体的3D方向和平移对于无基础设施的自主导航和驾驶至关重要。在单目视觉的情况下，成功的方法主要基于两个成分：（i）生成2D区域建议的网络，（ii）通过利用所获取的感兴趣区域预测3D对象姿态的R-CNN结构。我们认为，2D检测网络是冗余的，并为3D检测引入了不可忽略的噪声。因此，我们提出了一种新的三维目标检测方法，命名为烟雾，在本文中，预测一个三维限界框为每个检测到的对象相结合的一个单一的关键点估计与回归的三维变量。作为第二个贡献，我们提出了一个多步骤的解缠方法来构建三维限界框，这显着提高了训练收敛和检测精度。与以前的3D检测技术相比，我们的方法不需要复杂的前/后处理，额外的数据和细化阶段。尽管其结构简单，我们提出的SMOKE网络优于所有现有的单目3D检测方法的KITTI数据集上，给最好的国家的最先进的结果在3D目标检测和鸟瞰图评估。该代码将公开发布。
2020-02-24 cs.CV
Center3D: Center-based Monocular 3D Object Detection with Joint Depth Understanding
Technische Universität Darmstadt（达姆施塔特工业大学）
在3D空间中定位对象并理解其相关的3D属性是具有挑战性的，因为只有单目RGB图像。这种情况由于透视投影期间深度信息的丢失而变得复杂。我们提出了Center 3D，一个阶段的锚免费的方法，有效地估计3D位置和深度，只使用单目RGB图像。通过利用2D和3D中心之间的差异，我们能够一致地估计深度。Center 3D使用分类和回归的组合来理解隐藏的深度信息，比单独使用每种方法更强大。我们的方法采用了两种联合方法：（1）LID：一种分类主导的方法与顺序线性递增离散化。(2)DepJoint：一种回归主导的方法，具有用于深度估计的多个本征变换。在中等对象的KITTI数据集上进行评估，Center 3D将BEV中的AP从$29.7\%$改进为$42.8\%$，将3D中的AP从$18.6\%$改进为$39.1\%$。与最先进的检测器相比，Center 3D在实时单目目标检测中实现了最佳的速度-精度权衡。
2020-05-27 cs.CV cs.LG
Revisiting Monocular 3D Object Detection with Depth Thickness Field
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
针对现有单目3D目标检测中深度表示3D结构感知能力有限的问题，提出基于深度厚度场的MonoDTF网络，通过场景级深度重定向和实例级空间细化模块提升检测精度，在KITTI和Waymo数据集上达到SOTA且通用性强。
2025-03-24 cs.CV
Shift R-CNN: Deep Monocular 3D Object Detection with Closed-Form Geometric Constraints
Arnia Software（阿尼亚软件公司）；LG Electronics（LG电子）；Politehnica University of Bucharest（布加勒斯特理工大学）
我们提出了Shift R-CNN，这是一种用于单目3D目标检测的混合模型，它将深度学习与几何的力量相结合。我们采用更快的R-CNN网络来回归初始2D和3D对象属性，并使用相机投影矩阵将其与逆2D到3D几何映射问题的最小二乘解决方案相结合。然后，数学系统的封闭形式解以及适应的Faster R-CNN的初始输出通过最终的ShiftNet网络，该网络使用我们新提出的体积位移损失来细化结果。我们的新的、几何约束的深度学习方法用于单目3D目标检测，在KITTI 3D目标检测基准测试中获得了最佳结果，是所有不使用任何预训练网络进行深度估计的单目方法中最好的。
2019-05-23 cs.CV cs.LG
Is Pseudo-Lidar needed for Monocular 3D Object detection?
Toyota Research Institute（丰田研究所）
从单个图像进行3D目标检测的最新进展利用单目深度估计作为产生3D点云的一种方式，将相机变成伪激光雷达传感器。这些两阶段检测器随着中间深度估计网络的准确性而提高，中间深度估计网络本身可以在没有手动标记的情况下经由大规模自监督学习来提高。然而，它们往往比端到端方法更容易过拟合，更复杂，并且与类似的基于激光雷达的探测器的差距仍然很大。在这项工作中，我们提出了一种端到端的单级单目3D物体检测器DD 3D，它可以从深度预训练中受益，如伪激光雷达方法，但没有它们的局限性。我们的架构旨在实现深度估计和3D检测之间的有效信息传输，使我们能够根据未标记的预训练数据的数量进行扩展。我们的方法在两个具有挑战性的基准测试中取得了最先进的结果，在KITTI-3D基准测试中，汽车和行人的AP分别为16.34%和9.28%，在NuScenes上的mAP为41.5%。
2021-08-13 cs.CV
