Attention-Based Depth Distillation with 3D-Aware Positional Encoding for Monocular 3D Object Detection
ZongmuTech（宗目科技）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑智能科学与技术研究院）；Huazhong University of Science and Technology（华中科技大学）
提出ADD框架，通过3D感知位置编码和注意力机制进行深度知识蒸馏，解决深度先验误差导致的特征错位问题，在KITTI基准上实现SOTA性能且无额外推理成本。
2023-07-03 cs.CV
TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models
ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；The Chinese University of Hong Kong（香港中文大学）
TrajectoryCrafter通过双流条件视频扩散模型和双重重投影策略，将确定性视图变换与随机内容生成解耦，实现单目视频相机轨迹的精确重定向与4D内容生成。
2025-03-07 cs.AI cs.CV cs.GR
UrbanNet: Leveraging Urban Maps for Long Range 3D Object Detection
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）
依靠单目图像数据进行精确的3D目标检测仍然是一个悬而未决的问题，其解决方案对交通监控等成本敏感的应用具有广泛的影响。我们提出了UrbanNet，一个模块化的体系结构，用于静态相机的长距离单目3D目标检测。我们提出的系统结合了常用的城市地图，以及一个成熟的2D对象检测器和一个有效的3D对象描述符，以实现精确的检测，即使在长距离的对象沿其三个轴旋转。我们在一个新的具有挑战性的合成数据集上评估了UrbanNet，并强调了其设计在坡度变化的道路交通检测中的优势，其中平地近似不适用。数据和代码可在https://github.com/TRAILab/UrbanNet上获得
2021-10-11 cs.AI cs.CV eess.IV
SoccerNet-v3D: Leveraging Sports Broadcast Replays for 3D Scene Understanding
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所）
本研究提出SoccerNet-v3D和ISSIA-3D两个3D足球场景理解数据集，构建单目3D球定位任务并提出基线方法与边界框优化技术，为该领域建立新基准并提供代码支持。
2025-04-14 cs.AI cs.CV
Toward a Real-Time Framework for Accurate Monocular 3D Human Pose Estimation with Geometric Priors
Gepetto Team, LAAS-CNRS（Gepetto团队，LAAS-CNRS）
提出融合实时2D关键点检测、几何感知2D到3D提升、相机内参与解剖先验的框架，借助自标定和生物力学逆运动学生成训练数据，实现边缘设备上轻量准确的单目3D姿态估计。
2025-07-21 cs.AI cs.CV
M3DSSD: Monocular 3D Single Stage Object Detector
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）；School of Micro-Nano Electronics, Zhejiang University（浙江大学微纳电子学院）
在本文中，我们提出了一个单目3D单级目标检测器（M3 DSSD）的特征对齐和非对称非局部注意。现有的基于锚点的单目3D目标检测方法存在特征不匹配的问题。为了克服这一点，我们提出了一个两步特征对齐方法。在第一步中，执行形状对准以使特征图的感受野能够聚焦于具有高置信度分数的预定义锚点。在第二步中，中心对准用于在2D/3D中心处对准特征。此外，通常难以学习全局信息并捕获长期关系，这对于对象的深度预测是重要的。因此，我们提出了一种新的非对称非局部注意力块与多尺度采样提取深度方面的功能。建议的M3 DSSD实现显着更好的性能比单目3D目标检测方法的KITTI数据集，在3D目标检测和鸟瞰图任务。
2021-03-24 cs.CV
PoseGRAF: Geometric-Reinforced Adaptive Fusion for Monocular 3D Human Pose Estimation
Liaoning Technical University（辽宁工程技术大学）
针对现有单目3D人体姿态估计忽略骨骼方向角度关联、易生成不合理姿态的问题，提出PoseGRAF框架，通过双图卷积、交叉注意力、动态融合及残差改进Transformer编码器实现姿态估计，在多个数据集上性能超SOTA且泛化性好。
2025-06-17 cs.AI cs.CV
Cross-Modality Knowledge Distillation Network for Monocular 3D Object Detection
Zhejiang University（浙江大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
利用基于LiDAR的检测器或真实LiDAR点数据来指导单目3D检测已经带来了显著的改进，例如，伪激光雷达方法。然而，现有的方法通常采用非端到端的训练策略，没有充分利用LiDAR信息，LiDAR数据的丰富潜力没有得到很好的开发。在本文中，我们提出了跨模态知识蒸馏（CMKD）网络的单目3D检测，有效地和直接地转移知识从激光雷达模态图像模态的功能和响应。此外，我们通过从大规模未标记数据中提取知识，进一步扩展CMKD作为半监督训练框架，并显着提高性能。在提交之前，CMKD将$1^{st}$列为单眼3D探测器中的一种，与之前的最先进方法相比，KITTI $test$集和Waymo $val$集都有显著的性能提升。
2022-11-14 cs.CV
M2H: Multi-Task Learning with Efficient Window-Based Cross-Task Attention for Monocular Spatial Perception
Department of Earth Observation Science（地球观测科学系）
本文提出M2H框架，通过高效的窗口交叉任务注意力模块，实现单目图像上的语义分割、深度估计、边缘检测和表面法线估计，同时在计算效率上优于现有方法。
2025-10-20 cs.CV cs.LG cs.RO
SGM3D: Stereo Guided Monocular 3D Object Detection
Fudan University（复旦大学）；Baidu Inc.（百度公司）
本文提出SGM3D框架，通过多粒度域自适应和IoU匹配对齐，将立体输入学到的三维特征迁移到单目检测中，在KITTI和Lyft上取得领先结果。
2022-02-24 cs.CV
Lite-FPN for Keypoint-based Monocular 3D Object Detection
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
利用单个图像进行3D目标检测是自动驾驶的一项重要且具有挑战性的任务。近年来，基于关键点的单目3D目标检测取得了巨大的进展，并取得了很大的速度和精度的折衷。然而，与基于LIDAR的方法在精度方面仍然存在巨大差距。为了在不牺牲效率的情况下提高其性能，我们提出了一种称为Lite-FPN的轻量级特征金字塔网络，以有效和高效的方式实现多尺度特征融合，这可以提高基于关键点的检测器的多尺度检测能力。此外，通过引入一种新的回归损失--注意损失，进一步缓解了分类得分与定位精度之间的不匹配。对于提出的损失，在训练阶段，具有高置信度但定位差的预测会受到更多关注。基于几个国家的最先进的基于关键点的检测器的KITTI数据集上的比较实验表明，我们提出的方法管理，以实现显着的改善，在准确性和帧速率。代码和预训练模型将在\url{https://github.com/yanglei18/Lite-FPN}上发布。
2021-06-12 cs.CV
Map-Mono-Ego: Map-Grounded Global Human Pose Estimation from Monocular Egocentric Video
Keio University（庆应大学）；National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院）
本文提出Map-MonoEgo框架，通过利用预扫描的3D点云实现从单目摄像头获得的全局一致的人体姿态估计，并引入AIST-Living数据集，证明该方法在无需专用硬件的情况下能有效提升日常监控任务的实用性。
2026-05-20 cs.CV
ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）
针对单目3D目标检测中前景稀疏导致训练效果差的问题，提出ODM3D半监督框架，通过多模态知识蒸馏、BEV占用引导掩码及跨模态数据增强提升性能，在KITTI基准上超越现有单目检测方法。
2023-11-07 cs.CV
Object-Aware Centroid Voting for Monocular 3D Object Detection
Rochester Institute of Technology（罗切斯特理工学院）
单目3D目标检测旨在从单个相机检测3D物理世界中的对象。然而，最近的方法要么依赖于昂贵的LiDAR设备，要么求助于密集的逐像素深度估计，这导致了过高的计算成本。在本文中，我们提出了一个端到端的可训练单目3D对象检测器，而无需学习密集深度。具体地，2D框的网格坐标首先被投影回3D空间，针孔模型作为3D质心建议。然后，引入了一种新的对象感知投票方法，该方法同时考虑了区域外观注意力和几何投影分布，以投票3D质心提案进行3D对象定位。通过后期融合和预测的3D方向和尺寸，可以从单个RGB图像中检测对象的3D边界框。该方法是直接的，但显着优于其他单眼为基础的方法。在KITTI基准测试上的大量实验结果验证了该方法的有效性。
2020-07-20 cs.CV
Task-Aware Monocular Depth Estimation for 3D Object Detection
The University of Adelaide（阿德莱德大学）；Bytedance AI Lab（字节跳动人工智能实验室）
单目深度估计能够从单个2D图像实现3D感知，因此多年来吸引了许多研究关注。几乎所有的方法都平等地对待图像中的前景和背景区域（“事物和东西”）。然而，并非所有像素都相等。前景物体的深度在三维物体识别和定位中起着至关重要的作用。到目前为止，如何提高前景对象的深度预测精度很少讨论。本文首先分析了前景和背景的数据分布和相互作用，然后提出了前景-背景分离的单目深度估计（ForeSeE）方法，分别使用优化目标和深度解码器来估计前景和背景的深度。我们的方法显着提高了前景物体的深度估计性能。将ForeSeE应用于3D目标检测，我们实现了7.5 AP增益，并在其他单目方法中创造了新的最先进的结果。代码将在https://github.com/WXinlong/ForeSeE上提供。
2019-12-09 cs.CV
Efficient Multi-task Uncertainties for Joint Semantic Segmentation and Monocular Depth Estimation
Institute of Photogrammetry and Remote Sensing (IPF)（摄影测量与遥感研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出新型师生蒸馏方法 EMUFormer，通过隐式利用教师模型预测不确定性，在联合语义分割和单目深度估计任务上实现高效多任务不确定性量化，在 Cityscapes 和 NYUv2 上达到 SOTA。
2024-02-16 cs.AI cs.CV cs.LG
PPT: token-Pruned Pose Transformer for monocular and multi-view human pose estimation
University of California, Irvine（加州大学欧文分校）；Tencent Inc（腾讯公司）；Meta AI
近年来，视觉Transformer及其变体在单目和多视角人体姿态估计中发挥了越来越重要的作用。将图像补丁视为令牌，Transformers可以对整个图像内或来自其他视图的图像之间的全局依赖性进行建模。然而，全局注意力在计算上是昂贵的。因此，很难将这些基于变换的方法扩展到高分辨率特征和许多视图。在本文中，我们提出了令牌修剪姿态Transformer（PPT）的二维人体姿态估计，它可以定位一个粗略的人体面具，并执行自我注意力只在选定的令牌。此外，我们将我们的PPT扩展到多视图人体姿态估计。基于PPT，我们提出了一种新的跨视图融合策略，称为人体区域融合，认为所有的人类前景像素作为相应的候选人。COCO和MPII上的实验结果表明，我们的PPT可以匹配以前的姿态Transformer方法的精度，同时减少了计算。此外，在人类3.6M和滑雪姿势上的实验表明，我们的多视图PPT可以有效地融合来自多个视图的线索，并实现新的最先进的结果。
2022-09-16 cs.CV
Shape-Aware Monocular 3D Object Detection
Xiamen University（厦门大学）；Ningbo Boden AI Technology Co., Ltd.（宁波博登人工智能科技有限公司）
通过单个透视相机检测3D物体是一个具有挑战性的问题。无锚点和基于关键点的模型由于其有效性和简单性而受到越来越多的关注。然而，这些方法中的大多数容易受到遮挡和截断的对象。提出了一种单阶段单目三维目标检测模型。实例分割头被集成到模型训练中，这允许模型知道目标对象的可见形状。该检测在很大程度上避免了来自目标对象周围的不相关区域的干扰。此外，我们还发现，流行的基于IoU的评估指标，这是最初设计用于评估立体或基于激光雷达的检测方法，是不敏感的单目3D目标检测算法的改进。针对单目三维目标检测模型，提出了一种新的评价指标--平均深度相似度（ADS）。我们的方法优于流行的和建议的评估指标的基线，同时保持实时效率。
2022-04-24 cs.CV
MonoGround: Detecting Monocular 3D Objects from the Ground
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Lab（上海人工智能实验室）
单目三维目标检测以其简单、成本低等优点引起了人们的广泛关注。由于单目成像过程中的不适定2D到3D映射本质，单目3D目标检测遭受不准确的深度估计，从而具有较差的3D检测结果。为了解决这个问题，我们提出在单目3d目标检测中引入地平面作为先验。地平面先验作为不适定映射的附加几何条件和深度估计中的额外源。这样，我们就可以得到离地面更精确的深度估计。同时，为了充分利用地平面先验，我们提出了一种深度对齐训练策略和一种精确的两阶段深度推理方法。值得注意的是，引入的地平面先验不需要额外的数据源，如LiDAR，立体图像和深度信息。在KITTI基准上的大量实验表明，与其他方法相比，我们的方法可以实现最先进的结果，同时保持非常快的速度。我们的代码和模型可以在https://github.com/cfzd/MonoGround上找到。
2022-06-15 cs.CV
MonoPGC: Monocular 3D Object Detection with Pixel Geometry Contexts
Zongmu Technology（纵目科技）；Fudan University（复旦大学）
单目3D目标检测揭示了自动驾驶中经济但具有挑战性的任务。近年来基于中心的单目方法发展迅速，在速度和精度之间有很大的权衡，其中它们通常依赖于通过2D特征的对象中心的深度估计。然而，视觉语义特征没有足够的像素几何信息，可能会影响空间三维检测任务的线索的性能。为了缓解这一问题，我们提出了MonoPGC，一种新的端到端的单目3D目标检测框架，具有丰富的像素几何上下文。我们引入像素深度估计作为辅助任务，并设计深度交叉注意金字塔模块（DCPM），将局部和全局深度几何知识注入视觉特征。此外，我们提出了深度空间感知的Transformer（DSAT），以有效地集成3D空间位置和深度感知功能。此外，我们设计了一种新的深度梯度位置编码（DGPE），使更多的不同像素的几何上下文到Transformer更好的目标检测。大量的实验表明，我们的方法达到了最先进的性能KITTI数据集。
2023-02-21 cs.CV
MonoCLUE : Object-Aware Clustering Enhances Monocular 3D Object Detection
针对单目3D目标检测因深度不适定和视野有限导致的几何线索缺失与精度不足问题，提出MonoCLUE，通过局部聚类捕捉目标外观部分、构建广义场景记忆整合视觉特征，提升部分可见目标检测效果，在KITTI基准上取得最优性能。
2025-11-11 cs.CV
Homography Loss for Monocular 3D Object Detection
Alibaba Cloud Computing Ltd.（阿里云计算有限公司）；Zhejiang University（浙江大学）
单目三维目标检测是自动驾驶中的一项重要任务。然而，目前大多数方法将场景中的每个3D对象视为独立的训练样本，而忽略了它们固有的几何关系，从而不可避免地导致缺乏利用空间约束。在本文中，我们提出了一种新的方法，考虑到所有的对象，并探讨他们的相互关系，以帮助更好地估计3D框。此外，由于目前2D检测更可靠，我们还研究了如何使用检测到的2D框作为指导，以全局约束相应的预测3D框的优化。为此，提出了一种可微的损失函数--单应性损失（Homography Loss），它利用二维和三维信息，通过全局约束平衡不同物体之间的位置关系，从而得到更精确的预测三维盒子。得益于简洁的设计，我们的损失函数具有通用性，可以插入任何成熟的单目3D探测器，同时显著提高其基线性能。实验表明，与其他最先进的方法相比，我们的方法在KITTI 3D数据集上具有最佳性能（2021年11月）。
2022-04-02 cs.CV
Aug3D-RPN: Improving Monocular 3D Object Detection by Synthetic Images with Virtual Depth
当前基于几何的单目3D目标检测模型可以通过利用透视几何来有效地检测对象，但是由于缺乏准确的深度信息，它们的性能受到限制。虽然这个问题可以在基于深度的模型中得到缓解，其中在3D框推理之前插入深度估计模块以预测深度信息，但是这种模块的引入显著地降低了检测速度。而不是训练一个昂贵的深度估计，我们提出了一个渲染模块，以增加训练数据合成图像与虚拟深度。渲染模块以RGB图像及其对应的稀疏深度图像作为输入，输出各种真实感的合成图像，检测模型可以从中学习更多有区别的特征，以适应物体的深度变化。此外，我们引入了一个辅助模块，通过深度估计任务联合优化检测模型来改进检测模型。这两个模块都在训练时间内工作，不会向检测模型引入额外的计算。实验表明，通过使用我们提出的模块，基于几何的模型可以代表KITTI 3D检测基准的领先精度。
2021-07-28 cs.CV
Efficient Feature Aggregation and Scale-Aware Regression for Monocular 3D Object Detection
Department of Electronic Engineering, Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院电子工程系）；School of Mathematics and Statistics, University of Glasgow（格拉斯哥大学数学与统计学学院）
MonoASRH通过高效混合特征聚合模块和自适应尺度感知回归头，提升单目3D物体检测的尺度感知能力和特征聚合效率
2025-11-15 cs.CV
Mono3DV: Monocular 3D Object Detection with 3D-Aware Bipartite Matching and Variational Query DeNoising
Ho Chi Minh University of Technology, VNUHCM（胡志明技术大学）
Mono3DV通过引入3D感知双目匹配和变分查询去噪机制，提升单目3D目标检测性能，无需外部数据即可在KITTI基准上取得最佳效果。
2026-01-03 cs.CV
MonoMIP: Multi-Height Inverse Perspective Mapping for Monocular 3D Object Detection
Ozyegin University（奥兹耶金大学）
针对单目3D检测中透视图像平面的空间扭曲问题，提出双解码器框架MonoMIP，通过多高度逆透视映射生成BEV特征，在KITTI和Waymo基准上优于现有单目方法。
2026-10-13 cs.CV
ShapeGaussian: High-Fidelity 4D Human Reconstruction in Monocular Videos via Vision Priors
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；PAII Inc（PAII公司）
ShapeGaussian通过整合无模板的视觉先验，在单目视频中实现了高保真的4D人体重建，提高了重建的准确性和鲁棒性。
2026-02-05 cs.CV
MonoVQD: Monocular 3D Object Detection with Variational Query Denoising and Self-Distillation
AITech Lab（AITech实验室）；Computer Science and Engineering Faculty（计算机科学与工程系）；Ho Chi Minh City University of Technology（胡志明市技术大学）；VNUHCM
MonoVQD通过掩码分离自注意力、变分查询去噪和自蒸馏三项创新，解决了DETR类架构在单目3D检测中的优化不稳定与梯度消失问题，在KITTI基准上取得领先性能，并展现出跨架构与多视图场景的强泛化能力。
2025-06-14 cs.CV
SSD-MonoDETR: Supervised Scale-aware Deformable Transformer for Monocular 3D Object Detection
Hunan University（湖南大学）；Hefei University of Technology（合肥工业大学）
本文提出监督尺度感知可变形注意力（SSDA）方法，通过预设多尺度掩码和深度视觉特征学习尺度感知滤波器，并配以加权尺度匹配损失，显著提升单目3D目标检测精度，在KITTI和Waymo数据集上达到最先进性能。
2023-09-01 cs.CV cs.RO eess.IV
CA-W3D: Leveraging Context-Aware Knowledge for Weakly Supervised Monocular 3D Detection
School of Computer Science, Faculty of Engineering, The University of Sydney（计算机科学学院，工程学院，悉尼大学）
本文提出CA-W3D，通过两阶段训练（ROCM预训练和D2OD蒸馏）增强弱监督单目3D检测的上下文感知能力，在KITTI基准上全面超越现有方法。
2025-08-03 cs.AI cs.CV
Time-to-Label: Temporal Consistency for Self-Supervised Monocular 3D Object Detection
University of Genoa（热那亚大学）；Technical University of Munich（慕尼黑工业大学）；Google Inc.（谷歌公司）
单目3D目标检测由于RGB相机的成本优势和更广泛的可用性而继续吸引关注。尽管最近的进步和大规模采集数据的能力，注释成本和复杂性仍然限制了监督设置中的3D目标检测数据集的大小。另一方面，自监督方法旨在依靠借口任务或各种一致性约束来训练深度网络。此外，其他3D感知任务（如深度估计）已经显示出时间先验作为自我监督信号的好处。在这项工作中，我们认为，时间上的一致性的水平上的对象构成，提供了一个重要的监督信号的物理运动的强先验。具体来说，我们提出了一个自我监督的损失，它使用这种一致性，除了渲染和比较损失，以完善嘈杂的姿态预测，并获得高质量的伪标签。为了评估所提出的方法的有效性，我们微调一个综合训练的单目3D目标检测模型，使用我们在真实数据上生成的伪标签。在标准KITTI 3D基准测试中的评估表明，与其他单目自监督和监督方法相比，我们的方法达到了有竞争力的性能。
2022-03-04 cs.CV cs.RO
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich（慕尼黑工业大学）
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块，相关的粗深度预测，聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外，我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块，我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比，这产生了几何上有意义的注意力，并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
SaccadeCam: Adaptive Visual Attention for Monocular Depth Sensing
University of Florida（佛罗里达大学）
大多数单目深度感测方法使用在不考虑场景内容的情况下创建的常规捕获的图像。相比之下，动物的眼睛有快速的机械运动，称为扫视，控制场景如何通过中央凹成像，其中分辨率最高。在本文中，我们提出了SaccadeCam框架自适应分布到感兴趣的区域在场景中的分辨率。我们的自适应分辨率算法是一个自我监督的网络，我们展示了端到端的学习单目深度估计的结果。我们还展示了一个真正的SaccadeCam硬件原型的初步结果。
2021-08-16 cs.CV
360-DFPE: Leveraging Monocular 360-Layouts for Direct Floor Plan Estimation
National Tsing Hua University（台湾清华大学）；Phiar Technologies（Phiar科技公司）
我们提出了360-DFPE，一种顺序的平面图估计方法，直接将360图像作为输入，而不依赖于主动传感器或3D信息。我们的方法利用了单目视觉SLAM解决方案和单目360房间布局方法之间的松散耦合集成，分别估计相机姿态和布局几何形状。由于我们的任务是使用单目图像顺序捕获平面图，因此整个场景结构，房间实例和房间形状都是未知的。为了应对这些挑战，我们首先通过制定熵最小化过程来处理视觉里程计和布局几何之间的尺度差异，这使我们能够在不提前知道整个场景的情况下直接对齐360布局。其次，顺序识别各个房间，我们提出了一种新的房间识别算法，跟踪每个房间沿着相机探索使用几何信息。最后，为了估计房间的最终形状，我们提出了一个最短路径算法与迭代的粗到细的策略，提高了先前的配方具有更高的精度和更快的运行时间。此外，我们收集了一个新的平面图数据集，具有挑战性的大规模场景，提供点云和连续的360图像信息。实验结果表明，我们的单目解决方案实现了良好的性能对当前国家的最先进的算法，依赖于主动传感器，并需要整个场景重建数据提前。
2022-05-08 cs.CV
Robust Monocular Localization in Sparse HD Maps Leveraging Multi-Task Uncertainty Estimation
University of Freiburg（弗莱堡大学）
使用低成本传感器设置和稀疏高清地图在密集城市场景中进行鲁棒定位与当前自动驾驶的进步高度相关，但仍然是一个具有挑战性的研究课题。我们提出了一种新的单目定位方法的基础上的滑动窗口姿态图，利用预测的不确定性，提高精度和鲁棒性，对具有挑战性的情况下，每帧故障。为此，我们提出了一个有效的多任务不确定性感知模块，其中包括语义分割，以及限界框检测，使本地化的车辆在稀疏的地图，只包含车道边界和交通灯。此外，我们设计了直接从估计的不确定性产生的可微成本图。这开辟了以无关联和不确定性感知的方式最小化无定形地图元素的重投影损失的可能性。对Lyft 5数据集的广泛评估表明，尽管地图稀疏，但我们的方法可以在具有挑战性的城市场景中实现强大而准确的6D定位
2021-10-20 cs.AI cs.CV cs.LG
3D Former: Monocular Scene Reconstruction with 3D SDF Transformers
Alibaba Group（阿里巴巴集团）
由于大环境的复杂性，从姿态图像重建单目场景具有挑战性。最近的体积方法学习直接预测TSDF体积，并在这项任务中表现出有前途的结果。然而，大多数方法都集中在如何提取和融合的2D特征的3D特征体积，但他们都没有改善的方式，3D体积是如何聚合。在这项工作中，我们提出了一个SDF Transformer网络，它取代了3D CNN的作用，以更好地进行3D特征聚合。为了降低爆炸性的计算复杂度的三维多头注意力，我们提出了一个稀疏窗口的注意力模块，其中的注意力只计算在一个局部窗口内的非空体素。在此基础上，提出了一种自顶向下-自底向上的三维特征聚合注意网络，该网络采用扩张注意结构防止几何退化，并采用两个全局模块来构造全局感受野。在多个数据集上的实验表明，该三维Transformer网络生成的重建结果更准确、更完整，优于以往的方法。值得注意的是，在ScanNet数据集上，网格精度提高了41.8%，网格完整性提高了25.3%。项目页面：https://weihaosky.github.io/sdfformer。
2023-03-09 cs.AI cs.CV
PromptMono: Cross Prompting Attention for Self-Supervised Monocular Depth Estimation in Challenging Environments
Northwestern Polytechnical University（西北工业大学）
针对挑战性环境中单目深度估计困难，提出PromptMono自监督框架，利用可学习视觉提示和门控跨提示注意力模块，在Oxford Robotcar和nuScenes数据集上验证了优越性能。
2025-03-28 cs.CV
EdgeConv with Attention Module for Monocular Depth Estimation
Yonsei University（延世大学）
单目深度估计在机器人和自动驾驶中是一项特别重要的任务，其中3D结构信息是必不可少的。然而，极端的光照条件和复杂的表面对象使得难以预测单个图像中的深度。因此，为了生成准确的深度图，模型学习场景的结构信息非常重要。针对单目深度估计的困难，提出了一种新的逐块边缘转换模块（PEM）和边缘转换注意模块（EAM）。所提出的模块通过使用边缘卷积学习空间中彼此接近的图像块之间的关系来提取结构信息。我们的方法在两个流行的数据集上进行了评估，NYU Depth V2和KITTI Eigen split，实现了最先进的性能。我们证明了该模型预测深度鲁棒性具有挑战性的场景，通过各种比较实验。
2021-10-26 cs.CV
Guiding Monocular Depth Estimation Using Depth-Attention Volume
University of Oulu（奥卢大学）；Czech Technical University（捷克理工大学）；Tampere University（坦佩雷大学）
从单个图像恢复场景深度是一个不适定的问题，需要额外的先验，通常被称为单目深度线索，以消除不同的3D解释的歧义。在最近的工作中，这些先验知识已经通过使用深度神经网络从大型数据集中以端到端的方式学习。在本文中，我们提出了指导深度估计，有利于平面结构，尤其是在室内环境中无处不在。这是通过将一个非局部共面约束的网络与一个新的注意力机制称为深度注意力体积（DAV）。在两个流行的室内数据集，即NYU-Depth-v2和ScanNet上的实验表明，我们的方法实现了最先进的深度估计结果，同时只使用了竞争方法所需参数的一小部分。
2020-08-16 cs.CV
Bidirectional Attention Network for Monocular Depth Estimation
Huawei Technologies（华为技术有限公司）
在本文中，我们提出了一种双向注意力网络（BANet），这是一种用于单目深度估计（MDE）的端到端框架，它解决了卷积神经网络中有效整合局部和全局信息的局限性。这种机制的结构源于神经机器翻译的强大概念基础，并提出了一种轻量级的自适应控制计算机制，类似于递归神经网络的动态特性。我们引入了双向注意模块，利用前馈特征映射，并结合全局上下文来过滤歧义。大量的实验揭示了这种双向注意力模型在前馈基线和其他最先进的方法上的高度能力，用于在两个具有挑战性的数据集- KITTI和DIODE上进行单目深度估计。我们表明，我们提出的方法，无论是优于或执行至少与国家的最先进的单眼深度估计方法具有较少的内存和计算复杂性。
2021-03-25 cs.CV cs.RO
Geometric Distillation from Rectified Stereo: Leveraging Epipolar Cues for Monocular Depth
Michigan State University（密歇根州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究针对单目深度估计在不同环境下的难题，提出将多视图模型的尺度感知几何先验转移到单目深度基础模型的框架，通过对极蒸馏方法，无需多视图输入就能保持几何一致性，显著提升零样本度量深度估计性能，且与模型无关。
2026-09-03 cs.CV
Depth-Relative Self Attention for Monocular Depth Estimation
Seoul National University（首尔大学）
提出RED-T模型，在自注意力中引入相对深度引导，减轻单目深度估计对RGB视觉提示的偏置，并构建限制训练深度范围的新基准以评估未见深度鲁棒性。
2023-04-25 cs.CV
MagicHOI: Leveraging 3D Priors for Accurate Hand-object Reconstruction from Short Monocular Video Clips
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
MagicHOI利用新视角合成扩散模型的3D先验，在视角变化有限的短单目视频中正则化不可见物体区域，结合接触约束，显著提升手物重建精度。
2025-08-07 cs.CV
Channel-Wise Attention-Based Network for Self-Supervised Monocular Depth Estimation
State Key Laboratory for Manufacturing System Engineering（机械制造系统工程国家重点实验室）；School of Mechanical Engineering, Xi’an Jiaotong University（西安交通大学机械工程学院）
自监督学习在单目深度估计中已经显示出非常有前途的结果。场景结构和局部细节都是高质量深度估计的重要线索。最近的作品缺乏明确的场景结构建模和正确的细节信息处理，这导致了性能瓶颈和预测结果中的模糊伪影。本文提出了一种基于场景注意力的深度估计网络（CADepth-Net），该网络具有两个有效的贡献：1）结构感知模块采用自注意力机制捕获长距离依赖关系，并在通道维度上聚合判别特征，显式增强场景结构的感知，获得更好的场景理解和丰富的特征表示。2)细节强调模块重新校准逐通道特征图并选择性地强调信息特征，旨在突出关键的局部细节信息并更有效地融合不同级别的特征，从而产生更精确和更锐利的深度预测。此外，大量的实验验证了我们的方法的有效性，并表明我们的模型达到了最先进的KITTI基准测试和Make 3D数据集的结果。
2021-12-24 cs.AI cs.CV cs.LG
Learning Monocular Depth in Dynamic Environment via Context-aware Temporal Attention
ZongmuTech（纵目科技）；Fudan University（复旦大学）；Huazhong University of Science and Technology（华中科技大学）
针对动态场景中多帧单目深度估计的静态假设失效问题，提出CTA-Depth网络，利用上下文感知时间注意力与长距离几何嵌入保持移动物体特征一致性，在三个基准上超越现有方法。
2023-05-12 cs.CV
Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文利用内窥镜近场光照的光度线索，通过新颖损失函数、PPSNet深度细化网络和教师-学生迁移学习，提升单目深度估计性能，在C3VD数据集上达到最先进水平。
2024-08-20 cs.CV
Leveraging Stable Diffusion for Monocular Depth Estimation via Image Semantic Encoding
University of York（约克大学）
本文提出一种基于图像的语义嵌入方法，直接从视觉特征提取上下文信息以改进单目深度估计，在KITTI和Waymo数据集上达到与最先进模型相当的性能，并克服了CLIP文本嵌入在复杂室外场景中的局限性。
2025-02-01 cs.CV cs.LG
Structured Attention Guided Convolutional Neural Fields for Monocular Depth Estimation
University of Trento（特伦托大学）；Peking University（北京大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
最近的工作已经显示出将条件随机场（CRF）模型集成到深度架构中以改善像素级预测任务的好处。根据这条研究路线，在本文中，我们介绍了一种新的方法，单目深度估计。与以前的工作类似，我们的方法采用连续CRF来融合来自前端卷积神经网络（CNN）不同层的多尺度信息。与过去的工作相类似，我们的方法受益于结构化的注意力模型，该模型自动调节不同尺度下相应特征之间传输的信息量。重要的是，所提出的注意力模型被无缝集成到CRF中，允许对整个架构进行端到端的训练。我们广泛的实验评估证明了所提出的方法的有效性，该方法在KITTI基准上与以前的方法具有竞争力，并且在NYU Depth V2数据集上优于最先进的方法。
2018-03-29 cs.CV
Self-supervised Monocular Depth Estimation with Large Kernel Attention
Harbin Engineering University（哈尔滨工程大学）；Guangdong University of Petrochemical Technology（广东石油化工学院）
提出基于大核注意力的自监督单目深度估计网络，通过二维结构建模长距离依赖并保持通道自适应性，结合上采样模块恢复细节，在KITTI数据集上取得有竞争力的结果。
2024-09-26 cs.CV
Attention Attention Everywhere: Monocular Depth Prediction with Skip Attention
IIT Delhi（印度理工学院德里分校）
单目深度估计（MDE）的目标是在给定单个RGB图像的情况下预测逐像素深度。对于卷积模型和最近的基于注意力的模型，由于同时需要全局上下文和像素级分辨率，基于编码器-解码器的架构被发现是有用的。通常，跳过连接模块用于融合编码器和解码器特征，其包括特征图级联，然后是卷积操作。在众多的计算机视觉问题的注意力的好处证明的启发下，我们提出了一个基于注意力的编码器和解码器的功能融合。我们提出MDE作为一个像素查询细化的问题，其中最粗糙的编码器功能用于初始化像素级查询，然后细化到更高的分辨率建议跳过注意模块（SAM）。我们制定的有序回归的bin中心，离散化的连续深度范围内的预测问题，并引入一个Bin中心预测（BCP）模块，预测箱在粗层次上使用像素查询。除了图像自适应深度分箱的好处外，所提出的设计还有助于通过直接监督地面实况来学习初始像素查询中的改进深度嵌入。在NYUV 2和KITTI这两个规范数据集上进行的大量实验表明，我们的架构分别比最先进的架构高出5.3%和3.9%，并且在SNORGBD数据集上的泛化性能提高了9.4%。代码可在https://github.com/ashutosh1807/PixelFormer.git上获得。
2022-10-17 cs.CV
Pyramid Feature Attention Network for Monocular Depth Prediction
Nanjing University（南京大学）；Nanjing Institute of Advanced Artificial Intelligence（南京新一代人工智能研究院）
针对单目深度估计中多层级特征利用不足导致的布局、边界和表面预测问题，提出PFANet，通过DCAM与SPAM增强高层上下文和低层空间特征，并结合尺度不变梯度损失，在KITTI上取得最优性能。
2024-03-03 cs.CV
Attention-based Context Aggregation Network for Monocular Depth Estimation
深度估计是一项传统的计算机视觉任务，在理解三维场景几何形状中起着至关重要的作用。最近，基于深度卷积神经网络的方法在单目深度估计领域取得了有希望的结果。具体地说，结合了由基于扩张卷积的块（atrous spatial pyramid pooling，ASPP）提取的多尺度特征的框架在密集标记任务中获得了显着的改进。然而，离散化和预定义的膨胀率不能捕获在不同场景中不同的连续上下文信息，并且容易在深度估计中引入网格伪影。在本文中，我们提出了一个基于注意力的上下文聚合网络（ACAN）来解决这些困难。基于自注意模型，ACAN自适应地学习像素之间的任务特定的相似性来建模上下文信息。首先，我们将单目深度估计转换为密集标记多类分类问题。然后，我们提出了一个软序推断预测概率转换为连续的深度值，这可以减少离散化误差（RMSE下降约1%）。其次，建议ACAN聚合的图像级和像素级的上下文信息的深度估计，其中前者表示整个图像的统计特性和后者提取的长程空间依赖性为每个像素。第三，为了进一步减少RGB图像和深度图之间的不一致性，我们构造了一个注意损失，以最小化它们的信息熵。我们在公共单眼深度估计基准数据集（包括NYU Depth V2，KITTI）上进行评估。实验结果表明，我们提出的ACAN的优越性，并取得了竞争力的结果与国家的艺术。
2019-01-29 cs.CV
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos
Institute for Applied Computational Science, Harvard University（哈佛大学应用计算科学研究所）；Google Brain（谷歌大脑）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习从RGB输入预测场景深度对于室内和室外机器人导航都是一项具有挑战性的任务。在这项工作中，我们解决无监督学习的场景深度和机器人自我运动的监督是由单目视频，相机是最便宜的，最少的限制和最普遍的传感器机器人。以前在无监督图像到深度学习方面的工作已经在该领域建立了强大的基线。我们提出了一种新的方法，它产生更高质量的结果，能够模拟移动的对象，并显示跨数据域，例如，从室外到室内场景。主要思想是在学习过程中引入几何结构，通过对场景和单个对象进行建模;从单目视频中学习相机自我运动和对象运动作为输入。此外，一个在线的细化方法，以适应学习的飞行到未知的领域。所提出的方法优于所有最先进的方法，包括那些处理运动，例如通过学习流。我们的结果在质量上与使用立体声作为监督的结果相当，并且显着提高了对包含大量对象运动的场景和数据集的深度预测。该方法具有实际意义，因为它允许跨环境传输，通过将在城市场景中为机器人导航收集的数据训练的模型传输到室内导航设置。与本文相关的代码可以在www.example.com上找到。
2018-11-15 cs.CV
