Diversity Matters: Fully Exploiting Depth Clues for Reliable Monocular 3D Object Detection
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
作为一个固有的不适定问题，单帧图像的深度估计是单目3D目标检测（M3OD）中最具挑战性的部分。许多现有的方法依赖于先入为主的假设来桥接单目图像中缺失的空间信息，并预测每个感兴趣对象的唯一深度值。然而，这些假设在实际应用中并不总是成立的。为了解决这个问题，我们提出了一个深度求解系统，该系统充分探索M3 OD中子任务的视觉线索，并为每个目标的深度生成多个估计。由于深度估计本质上依赖于不同的假设，因此它们呈现不同的分布。即使某些假设崩溃，根据其余假设建立的估计仍然可靠。此外，我们还制定了深度选择和组合策略。该策略能够去除由崩溃的假设引起的异常估计，并自适应地将剩余的估计合并为一个估计。通过这种方式，我们的深度求解系统变得更加精确和强大。利用M3OD的多个子任务的线索，在不引入任何额外信息的情况下，我们的方法在KITTI 3D目标检测基准测试中的中等测试分裂水平上相对于当前最好的方法超过20%以上，同时仍然保持实时效率。
2022-05-19 cs.CV
Weakly Supervised Monocular 3D Object Detection using Multi-View Projection and Direction Consistency
Beijing Institute of Technology（北京理工大学）；QCraft（轻舟智航）；University of Macau（澳门大学）
单目三维目标检测因其易于应用而成为自动驾驶领域的主流方法。一个突出的优点是在推理过程中不需要LiDAR点云。然而，目前大多数方法仍然依赖于3D点云数据来标记训练阶段使用的地面实况。训练和推理之间的这种不一致性使得难以利用大规模的反馈数据，并且增加了数据汇集费用。为了弥补这一差距，我们提出了一种新的弱监督单目3D目标检测方法，它可以训练模型，只有2D标记的图像。具体来说，我们在这个任务中探索了三种类型的一致性，即投影一致性、多视图一致性和方向一致性，并在此基础上设计了一个弱监督的框架。此外，我们提出了一个新的二维方向标记方法在这项任务中，以指导模型准确的旋转方向预测。实验表明，我们的弱监督方法实现了一些完全监督的方法相当的性能。当用作预训练方法时，我们的模型可以显著优于相应的全监督基线，只有1/3的3D标签。https://github.com/weakmono3d/weakmono3d
2023-03-15 cs.CV
ImVoxelNet: Image to Voxels Projection for Monocular and Multi-View General-Purpose 3D Object Detection
Samsung AI Center Moscow（三星人工智能中心莫斯科）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
在本文中，我们介绍的任务，多视角RGB为基础的三维目标检测作为一个端到端的优化问题。为了解决这个问题，我们提出了ImVoxelNet，一种新的基于单目或多视图RGB图像的3D目标检测的全卷积方法。每个多视图输入中的单目图像的数量在训练和推断期间可以变化;实际上，这个数量对于每个多视图输入可能是唯一的。ImVoxelNet成功地处理了室内和室外场景，这使得它具有通用性。具体来说，它在接受RGB图像的所有方法中，在KITTI（单目）和nuScene（多视图）基准上实现了最先进的汽车检测结果。此外，它超越了现有的基于RGB的3D目标检测方法在SUN RGB-D数据集。在ScanNet上，ImVoxelNet为多视图3D目标检测设定了新的基准。源代码和训练模型可在https://github.com/saic-vul/imvoxelnet上获得。
2021-10-15 cs.CV
MonoGRNet: A General Framework for Monocular 3D Object Detection
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research Asia（微软亚洲研究院）
在真实3D空间中检测和定位物体在场景理解中起着至关重要的作用，由于图像投影期间的几何信息丢失，仅给定单目图像是特别具有挑战性的。我们提出MonoGRNet的非模态三维目标检测从单目图像通过几何推理在观察到的二维投影和未观察到的深度维度。MonoGRNet将单目3D目标检测任务分解为四个子任务，包括2D目标检测、实例级深度估计、投影3D中心估计和局部角点回归。任务分解显著地促进了单目3D目标检测，允许在单个前向通路中有效地预测目标3D边界框，而不使用对象提议、后处理或由先前方法利用的计算上昂贵的像素级深度估计。此外，MonoGRNet灵活地适应完全和弱监督学习，这提高了我们的框架在不同环境中的可行性。实验在KITTI、Cityscapes和MS COCO数据集上进行。结果表明，我们的框架在各种情况下的良好表现。
2021-04-18 cs.CV
Towards Model Generalization for Monocular 3D Object Detection
Harbin Institute of Technology（哈尔滨工业大学）；University of Science and Technology of China（中国科学技术大学）；SenseTime Research（商汤科技研究院）
随着大规模自动驾驶数据集的出现和深度学习技术的快速发展，单目3D目标检测（Mono 3D）取得了巨大的进步。然而，由于严重的域间隙（例如，视场（FOV）、像素大小和数据集之间的对象大小），Mono 3D检测器难以泛化，导致在看不见的域上的性能急剧下降。为了解决这些问题，我们将位置不变变换和多尺度训练与像素大小深度策略相结合，构建了一个有效的统一相机广义范式（CGP）。它充分考虑了不同相机捕获的图像的FOV和像素大小的差异。此外，我们进一步调查的障碍，定量指标时，跨数据集推理，通过详尽的系统研究。我们发现，预测的规模偏差导致了巨大的失败。因此，我们提出了2D-3D几何一致的对象缩放策略（GCOS）通过实例级增强来弥合差距。我们的方法DGMono 3D在所有评估的数据集上都取得了显着的性能，甚至在没有利用目标域上的数据的情况下也超过了SoTA无监督领域自适应方案。
2022-06-13 cs.CV
Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training
University of Chinese Academy of Sciences（中国科学院大学）
在这项工作中，我们提出了一种新的单镜头和基于关键点的框架，用于仅使用RGB图像的单目3D对象检测，称为KM 3D-Net。我们设计了一个完全卷积模型来预测对象的关键点、尺寸和方向，然后将这些估计与透视几何约束相结合来计算位置属性。此外，我们将几何约束重新表述为可微版本，并将其嵌入到网络中，以减少运行时间，同时以端到端的方式保持模型输出的一致性。受益于这个简单的结构，我们然后提出了一个有效的半监督训练策略的设置标记训练数据是稀缺的。在该策略中，我们在不同的输入增强条件和网络正则化下，对同一未标记图像执行两个共享权重KM 3D-Net的一致预测。特别是，我们统一的坐标相关的增广作为仿射变换的差分恢复对象的位置，并提出了一个关键点的网络正则化模块。我们的模型只需要RGB图像，没有合成数据，实例分割，CAD模型，或深度生成器。尽管如此，在流行的KITTI 3D检测数据集上进行的大量实验表明，KM 3D-Net在效率和准确性方面都大大超过了之前所有最先进的方法。同时，据我们所知，这是第一次将半监督学习应用于单目三维物体检测。我们甚至超过了大多数以前的完全监督方法，只有13%的标记数据在KITTI上。
2020-09-02 cs.CV
Categorical Depth Distribution Network for Monocular 3D Object Detection
University of Toronto（多伦多大学）
单目3D目标检测是自主车辆的关键问题，因为与典型的多传感器系统相比，它提供了一种具有简单配置的解决方案。单目3D检测的主要挑战在于准确预测物体深度，由于缺乏直接的距离测量，因此必须从物体和场景线索中推断出物体深度。许多方法试图直接估计深度以辅助3D检测，但由于深度不准确而显示出有限的性能。我们提出的解决方案，分类深度分布网络（CaDDN），使用每个像素的预测分类深度分布，将丰富的上下文特征信息投影到3D空间中的适当深度间隔。然后，我们使用计算效率的鸟瞰图投影和单级检测器来产生最终的输出边界框。我们将CaDDN设计为用于联合深度估计和目标检测的完全可区分的端到端方法。我们验证了我们的方法在KITTI 3D目标检测基准，我们排名第一的单目方法。我们还在新发布的Waymo Open Dataset上提供了第一个单目3D检测结果。我们为CaDDN提供了可用的代码版本。
2021-03-23 cs.CV
Attention-Based Depth Distillation with 3D-Aware Positional Encoding for Monocular 3D Object Detection
ZongmuTech（宗目科技）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑智能科学与技术研究院）；Huazhong University of Science and Technology（华中科技大学）
提出ADD框架，通过3D感知位置编码和注意力机制进行深度知识蒸馏，解决深度先验误差导致的特征错位问题，在KITTI基准上实现SOTA性能且无额外推理成本。
2023-07-03 cs.CV
Sparseness Meets Deepness: 3D Human Pose Estimation from Monocular Video
University of Pennsylvania（宾夕法尼亚大学）；Ryerson University（瑞尔森大学）
本文讨论了从单目图像序列中估计三维全身人体姿态的挑战。这里，考虑两种情况：（i）提供了人体关节的图像位置，以及（ii）关节的图像位置未知。在前一种情况下，引入了一种新的方法，该方法集成了稀疏驱动的3D几何先验和时间平滑。在后一种情况下，通过将关节的图像位置视为潜变量来扩展前一种情况。训练深度全卷积网络来预测2D关节位置的不确定性图。通过期望最大化算法在整个序列上实现了3D姿态估计，其中示出了在推断期间可以方便地边缘化2D关节位置不确定性。对Human3.6M数据集的实证评估表明，所提出的方法在最先进的基线上实现了更高的3D姿态估计精度。此外，所提出的方法优于具有挑战性的PennAction数据集上公开可用的2D姿态估计基线。
2016-04-28 cs.CV
Learning Occupancy for Monocular 3D Object Detection
Zhejiang University（浙江大学）；FABU Inc.（FABU公司）
本文提出OccupancyM3D，通过在视锥体和三维空间中直接学习占用并利用稀疏LiDAR生成体素占用标签，增强三维特征，在KITTI和Waymo上取得单目三维检测新最优结果。
2023-05-25 cs.CV
On the Role of Rotation Equivariance in Monocular 2D-to-3D Human Pose Lifting
CVL, Linköping University（林雪平大学计算机视觉实验室）；Independent Researcher（独立研究员）
针对单目3D人体姿态估计中旋转导致性能下降的问题，通过旋转数据增强联合输入输出姿态，有效学习旋转等变性，提升鲁棒性并优于完全等变设计方法。
2026-09-02 cs.CV
Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
单目3D人体姿态估计的进步主要是由监督技术，需要大规模的2D/3D姿态注释。在没有任何丢弃不熟悉的分布外数据的规定的情况下，这些方法通常表现不稳定。为此，我们将3D人体姿势学习作为一个无监督的领域自适应问题。我们引入了MRP-Net，它构成了一个通用的深度网络骨干，其中两个输出头订阅了两种不同的配置; a）无模型联合定位和b）基于模型的参数回归。这样的设计使我们能够得到合适的措施，量化预测的不确定性，在姿态和关节级别的粒度。虽然仅对标记的合成样本进行监督，但自适应过程旨在最小化未标记目标图像的不确定性，同时最大化极端分布外数据集（背景）的不确定性。除了合成到真实的3D姿势自适应之外，联合不确定性还允许扩展自适应以适用于野外图像，即使在存在遮挡和截断场景的情况下也是如此。我们提出了一个全面的评估所提出的方法，并展示了最先进的性能基准数据集。
2022-03-29 cs.CV
Towards Intrinsic-Aware Monocular 3D Object Detection
Michigan State University（密歇根州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出MonoIA框架，通过语言引导表示建模和适应相机内在变化，实现鲁棒的三维物体检测，实验表明在KITTI等基准上取得新突破。
2026-03-28 cs.CV
FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection
CUHK-SenseTime Joint Lab（香港中文大学-商汤联合实验室）；the Chinese University of Hong Kong（香港中文大学）
单目三维目标检测以其低成本的优势成为自动驾驶领域的一项重要任务。由于其固有的不适定性质，它比传统的2D情况更具挑战性，这主要体现在缺乏深度信息。2D检测的最新进展为更好地解决这一问题提供了机会。然而，使一般适配的2D检测器在该3D任务中工作是不平凡的。在本文中，我们研究了这个问题的实践建立在一个完全卷积的单级检测器，并提出了一个通用框架FCOS 3D。具体来说，我们首先将通常定义的7-DoF 3D目标变换到图像域，并将它们解耦为2D和3D属性。然后将对象分配到不同的特征级别，并考虑其2D尺度，并且仅根据用于训练过程的投影3D中心来分配。此外，中心度被重新定义为基于3D中心的2D高斯分布，以拟合3D目标配方。所有这些都使这个框架简单而有效，摆脱了任何2D检测或2D-3D对应的先验。我们的解决方案在NeurIPS 2020的nuScenes 3D检测挑战中获得了所有视觉方法的第一名。代码和模型在https://github.com/open-mmlab/mmdetection3d上发布。
2021-09-24 cs.AI cs.CV cs.RO
MonoDGP: Monocular 3D Object Detection with Decoupled-Query and Geometry-Error Priors
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
MonoDGP提出透视不变几何误差修正投影公式，并解耦深度引导解码器与2D解码器，结合区域分割头优化输入token，在KITTI上实现无需额外数据的领先单目3D检测性能。
2025-03-12 cs.CV
Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts
School of Computer Science, Peking University（北京大学计算机学院）；Peng Cheng Laboratory（鹏城实验室）；The Chinese University of Hong Kong（香港中文大学）
针对单目3D目标检测在测试时域偏移中的语义与几何双重不确定性，提出DUO框架，通过无监督凸focal loss加权和语义感知法向场约束联合降低不确定性并提升鲁棒性。
2025-08-28 cs.CV
Polygon Intersection-over-Union Loss for Viewpoint-Agnostic Monocular 3D Vehicle Detection
Vanderbilt University（范德比大学）
本文提出多边形交并损失用于多视图无关单目3D车辆检测，实验表明其在3D检测模型中比L1损失效果更好
2025-12-04 cs.CV
Exploring 2D Data Augmentation for 3D Monocular Object Detection
NIT Tiruchirappalli（国立特里奇拉帕利理工学院）；SASTRA University（萨斯特拉大学）；Navya（Navya公司）；Valeo（法雷奥）
数据增强是基于CNN的图像识别任务（如目标检测）的关键组成部分。然而，对于3D目标检测的研究相对较少。许多标准的2D目标检测数据增强技术没有扩展到3D框。扩展这些数据增强用于3D目标检测需要适应输入场景的3D几何形状和合成新的视点。这需要场景的准确深度信息，而这可能并不总是可用的。在本文中，我们评估现有的二维数据增强，并提出了两个新的增强单目三维检测，而不需要新的视图合成。由于训练时间较短，我们首先在RTM 3D检测模型上评估这些增强。在KITTI汽车检测数据集的基线上，我们在汽车的3D AP（@IoU=0.7）中获得了4%的一致改进，行人和骑自行车的人的3D AP（@IoU=0.25）得分为1.8%。我们还证明了严格的评估的mAP分数重新加权他们考虑到类的不平衡KITTI验证数据集。
2021-04-21 cs.CV cs.RO
Consistency Regularisation for Unsupervised Domain Adaptation in Monocular Depth Estimation
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Ulm University（乌尔姆大学）；University of Surrey（萨里大学）
本文提出一种基于一致性的半监督学习方法，通过成对损失函数实现单目深度估计的无监督域适应，仅需训练单个模型，在KITTI和NYUv2基准上达到最新性能。
2024-05-27 cs.CV
Learning Depth from Monocular Videos Using Synthetic Data: A Temporally-Consistent Domain Adaptation Approach
The University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
大多数现有技术的单目深度估计方法是监督学习方法。这种方法的成功在很大程度上取决于高质量的深度标签，这是昂贵的获得。最近的一些方法试图通过利用来自单眼视频的无监督线索来学习深度网络，这些线索更容易获得但不太可靠。在本文中，我们建议通过从合成视频中转移知识来解决这个难题，这些视频具有易于获得的地面实况深度标签。由于合成图像和真实图像之间的风格差异，我们提出了一种时间一致的领域自适应（TCDA）方法，同时探索合成域中的标签和视频中的时间约束，以提高风格转移和深度预测。此外，我们利用合成数据中的地面真实光流和姿态信息来学习移动掩模和姿态预测网络。学习的运动掩模可以过滤掉产生错误的时间约束的运动区域，并且估计的姿态提供用于估计时间约束的更好的初始化。实验结果表明，我们的方法的有效性和可比的性能对国家的最先进的。
2019-11-26 cs.CV
Plugging Self-Supervised Monocular Depth into Unsupervised Domain Adaptation for Semantic Segmentation
University of Bologna（博洛尼亚大学）
尽管最近的语义分割方法已经取得了显著的进步，但它们仍然依赖于大量的带注释的训练数据，而这些数据在自动驾驶场景中通常是不可行的。以前的工作通常使用无监督领域自适应（UDA）来解决这个问题，这需要在合成图像上训练网络，并将模型应用于真实图像，同时最大限度地减少两个领域之间的差异。然而，这些技术不考虑可以从其他任务获得的附加信息。因此，我们建议利用自监督单目深度估计来改进UDA用于语义分割。一方面，我们部署深度，实现一个插件组件，可以注入互补的几何线索到任何现有的UDA方法。我们进一步依赖深度来生成一组大量的不同样本，以自训练最终模型。我们的整个提案允许在GTA5->CS基准测试中实现最先进的性能（58.8 mIoU）。代码可在https://github.com/CVLAB-Unibo/d4-dbst上获得。
2021-10-13 cs.CV
MSDA: Monocular Self-supervised Domain Adaptation for 6D Object Pose Estimation
Tampere University（坦佩雷大学）；University of Oulu（奥卢大学）
从真实图像中获取标记的6D姿态是一项昂贵且耗时的任务。虽然很容易获得大量的合成RGB图像，但由于合成域与真实域之间的差距，在其上训练的模型会遭受明显的性能下降。为了减轻这种退化，我们提出了一种实用的自我监督领域自适应方法，利用真正的RGB（-D）数据，而不需要真正的姿势标签。我们首先使用合成RGB图像对模型进行预训练，然后使用真实RGB（-D）图像对预训练模型进行微调。微调过程是自我监督的基于RGB的姿态感知一致性和深度引导的对象距离伪标签，这不需要耗时的在线可微分渲染。我们建立了我们的领域自适应方法的基础上，最近的姿态估计器SC 6D和评估它的YCB视频数据集。我们的实验表明，我们的方法实现了与其完全监督的对应物相当的性能，同时优于现有的最先进的方法。
2023-02-14 cs.CV
DepthSSC: Monocular 3D Semantic Scene Completion via Depth-Spatial Alignment and Voxel Adaptation
University of Washington（华盛顿大学）；Sun Yat-sen University（中山大学）；Taiyuan University of Technology（太原理工大学）；Central South University（中南大学）
针对单目3D语义场景补全中物体形状预测不准和边界分类错误的问题，提出集成ST-GF模块与GAV的DepthSSC方法，实现空间与深度信息精确对齐，在SemanticKITTI等数据集上取得SOTA性能。
2024-11-25 cs.CV
ELITE: Efficient Gaussian Head Avatar from a Monocular Video via Learned Initialization and TEst-time Generative Adaptation
Dept. of Electrical Engineering, POSTECH（POSTECH电子工程系）；School of Computing, KAIST（韩国科学技术院计算机学院）；UNIST（全南大学）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
ELITE通过学习初始化和测试时生成适应，高效生成高斯头人偶，实现高保真和强野外泛化，合成速度比2D方法快60倍。
2026-01-15 cs.CV
Geometry-Aware Symmetric Domain Adaptation for Monocular Depth Estimation
University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
由于先进的深度网络架构，监督深度估计已经实现了高精度。由于地面实况深度标签很难获得，最近的方法试图通过探索无监督的线索以无监督的方式学习深度估计网络，这些线索是有效的，但不如真实标签可靠。解决这一难题的一种新兴方法是通过领域自适应技术从具有地面实况深度的合成图像中转移知识。然而，这些方法忽略了目标域中自然图像的特定几何结构（即，真实数据），这对于高性能深度预测是重要的。受此启发，我们提出了一个几何感知的对称领域自适应框架（GASDA），用于联合探索合成数据中的标签和真实数据中的对极几何。此外，通过在端到端网络中对称地训练两个图像风格转换器和深度估计器，我们的模型实现了更好的图像风格转换并生成高质量的深度图。实验结果表明，我们提出的方法的有效性和可比的性能对国家的最先进的。代码将公开提供：https://github.com/sshan-zhao/GASDA。
2019-04-03 cs.CV
Monocular Depth Estimation with Self-supervised Instance Adaptation
University of Oxford（牛津大学）
自监督学习的最新进展表明，可以从原始视频数据中学习精确的单目深度重建，而无需使用任何3D地面实况进行监督。然而，在机器人应用中，场景的多个视图可能可用或不可用，这取决于机器人的动作，在单目和多视图重建之间切换。为了解决这种混合设置，我们提出了一种新的方法，扩展了任何现成的自我监督单目深度重建系统，在测试时使用多个图像。我们的方法建立在一个标准的先验学习来执行单目重建，但在测试时使用自我监督，以进一步提高重建精度时，多个图像是可用的。当用于更新模型的正确组件，这种方法是非常有效的。在标准KITTI基准上，我们的自监督方法始终优于所有以前的方法，对于三种常见设置（单眼，立体和单眼+立体），绝对误差平均减少25%，并且与完全监督的最先进方法相比，准确性非常接近。
2020-04-13 cs.CV cs.LG
PPEA-Depth: Progressive Parameter-Efficient Adaptation for Self-Supervised Monocular Depth Estimation
Tsinghua University（清华大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
本文提出PPEA-Depth，通过渐进式参数高效适配和紧凑编解码适配器，将预训练图像模型迁移到自监督单目深度估计，有效应对动态场景挑战，并在KITTI、CityScapes和DDAD上取得最优性能。
2024-01-17 cs.CV
WARM-3D: A Weakly-Supervised Sim2Real Domain Adaptation Framework for Roadside Monocular 3D Object Detection
School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）
针对路侧3D数据集稀缺问题，提出弱监督Sim2Real域适应框架WARM-3D，利用合成数据与2D标签进行弱监督，显著提升路侧单目3D检测性能与泛化能力。
2024-07-30 cs.CV
Cyclic Test-Time Adaptation on Monocular Video for 3D Human Mesh Reconstruction
Seoul National University（首尔国立大学）；SNU-LG AI Research Center（首尔国立大学-LG人工智能研究中心）
针对3D人体网格重建中测试时自适应过度依赖噪声2D证据的问题，提出CycleAdapt循环协同HMRNet与MDNet，以逐步细化的3D监督目标实现单目视频域自适应并达到SOTA。
2023-08-12 cs.CV
MonoSOWA: Scalable monocular 3D Object detector Without human Annotations
Dept. of Cybernetics FEE, Czech Technical University（控制系，捷克技术大学）
提出MonoSOWA，一种无需人工标注的单目3D物体检测方法，利用局部物体运动模型解耦运动，速度快700倍，在三个数据集上显著优于先前工作，并可作为预训练工具。
2025-06-19 cs.AI cs.CV cs.LG
DaRF: Boosting Radiance Fields from Sparse Inputs with Monocular Depth Adaptation
Korea University（高丽大学）
DaRF通过在线互补训练将单目深度估计的几何先验注入NeRF，并以逐块尺度-位移拟合和几何蒸馏解决深度歧义，实现稀疏输入下稳健的室内外场景重建。
2023-09-25 cs.CV
WEDepth: Efficient Adaptation of World Knowledge for Monocular Depth Estimation
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
针对单目深度估计（MDE）的固有挑战，提出WEDepth方法，无需修改视觉基础模型（VFMs）结构和权重即可适配MDE，利用其先验知识，在NYU-Depth v2和KITTI数据集上取得SOTA性能及强零样本迁移能力。
2025-11-11 cs.CV
Self-Supervised Adaptation of High-Fidelity Face Models for Monocular Performance Tracking
University of Minnesota（明尼苏达大学）；Facebook Reality Labs（Facebook现实实验室）
数据采集和人脸建模技术的改进使我们能够创建高保真逼真的人脸模型。然而，驱动这些逼真的人脸模型需要特殊的输入数据，例如3D网格和展开的纹理。此外，这些面部模型期望在受控实验室环境下获得干净的输入数据，这与在野外收集的数据非常不同。所有这些限制使得在商品相机的跟踪中使用高保真模型具有挑战性。在本文中，我们提出了一个自我监督的领域自适应方法，使动画的高保真人脸模型从商品相机。我们的方法首先通过训练一个新的网络来规避对特殊输入数据的要求，该网络可以直接从单个2D图像驱动人脸模型。然后，我们克服了实验室和不受控制的环境之间的域不匹配，通过执行基于“连续帧纹理一致性”的自监督领域自适应的假设，即人脸的外观在连续帧上是一致的，避免了建模新的环境，如照明或背景的必要性。实验表明，我们能够驱动一个高保真的人脸模型来执行复杂的面部运动从手机摄像头，而不需要任何标记的数据从新的域。
2019-07-25 cs.CV
Unsupervised Monocular Depth Estimation in Highly Complex Environments
East China University of Science and Technology（华东理工大学）
随着计算智能算法的发展，基于扭曲光度一致性的无监督单目深度和姿态估计框架在白天场景中表现出了良好的性能。而在一些具有挑战性的环境中，如夜晚和雨夜，由于复杂的照明和反射，基本的光度一致性假设是站不住脚的，因此上述无监督框架不能直接应用于这些复杂的场景。在本文中，我们研究了高度复杂的场景中的无监督单目深度估计的问题，并通过采用基于图像传输的领域自适应框架来解决这个具有挑战性的问题。我们将在白天场景中训练的深度模型调整为适用于夜间场景，并且对特征空间和输出空间的约束促使框架学习深度解码的关键特征。同时，针对图像传输质量不稳定对领域自适应的影响，提出了一种图像自适应方法，对传输图像的质量进行评估，并对相应的损失进行重新加权，以提高自适应深度模型的性能。大量的实验表明，所提出的无监督框架在估计高度复杂的图像的密集深度图的有效性。
2022-06-09 cs.CV
Unsupervised Domain Adaptation for Monocular 3D Object Detection via Self-Training
Harbin Institute of Technology（哈尔滨工业大学）；University of Science and Technology of China（中国科学技术大学）；SenseTime Research（商汤科技研究院）
随着深度学习技术和新兴的大规模自动驾驶数据集的出现，单目3D目标检测（Mono 3D）取得了前所未有的成功。然而，由于目标域上缺乏标签，跨域部署的性能急剧下降仍然是一个尚未得到充分研究的挑战。在本文中，我们首先全面调查的领域差距在Mono 3D，其中的关键观察是由域的几何错位引起的深度移位问题的重要潜在因素。然后，我们提出了STMono 3D，一个新的自教学框架，用于Mono 3D上的无监督领域自适应。为了减轻深度偏移，我们引入了几何对齐的多尺度训练策略来解开相机参数，并保证域的几何一致性。在此基础上，我们开发了一个教师-学生范式，以产生自适应伪标签的目标域。受益于端到端框架提供了更丰富的伪标签信息，我们提出了质量感知的监督策略，以考虑实例级伪置信度，提高目标域训练过程的有效性。此外，提出了正聚焦训练策略和动态阈值，以处理大量的FN和FP伪样本。STMono 3D在所有评估数据集上都取得了卓越的性能，甚至超过了KITTI 3D目标检测数据集上的完全监督结果。据我们所知，这是第一个探索Mono 3D有效UDA方法的研究。
2022-04-27 cs.CV
A Simple yet Effective Test-Time Adaptation for Zero-Shot Monocular Metric Depth Estimation
U2IS, ENSTA Paris Institut Polytechnique de Paris Palaiseau（U2IS，ENSTA巴黎理工学院帕莱索）
本文提出了一种基于3D点的测试时适应方法，用于提升零样本单目深度估计的精度和鲁棒性。
2025-11-28 cs.CV
Multi range Real-time depth inference from a monocular stabilized footage using a Fully Convolutional Neural Network
Parrot（派诺特）；ENSTA ParisTech（巴黎高等先进技术学院）；Université Paris-Saclay（巴黎萨克雷大学）
利用神经网络架构从单目稳定视频中进行深度图推理，并将其应用于刚性场景中的无人机视频，提出了一种用于无约束无人机飞行的多范围架构，利用来自传感器的飞行数据为整洁的户外环境制作精确的深度图。我们尝试我们的算法在合成场景和真实的无人机飞行数据。定量结果给出了合成场景略有嘈杂的方向，并表明我们的多范围架构，提高了深度推理。与这篇文章一起的是一个视频，更全面地展示了我们的结果。
2018-09-12 cs.CV
Visual Domain Adaptation for Monocular Depth Estimation on Resource-Constrained Hardware
Ulm University（乌尔姆大学）；DTU – Technical University of Denmark（丹麦技术大学）
现实世界的感知系统在许多情况下建立在具有有限资源的硬件上，以遵守其承载系统的成本和功率限制。通过模型压缩技术以及高效的硬件感知架构设计，在资源受限的硬件上部署深度神经网络成为可能。然而，由于不同的操作环境，还需要模型自适应。在这项工作中，我们解决了在视觉领域自适应的背景下在资源受限的硬件上训练深度神经网络的问题。我们选择单目深度估计的任务，我们的目标是将预训练的模型转换为目标的域数据。虽然源域包含标签，但我们假设目标域没有标签，就像在现实世界中发生的那样。然后，我们提出了一种对抗性学习方法，该方法适用于在资源有限的设备上进行训练。由于视觉领域自适应，即神经网络训练，以前没有探索资源受限的硬件，我们提出了基于图像的深度估计的第一个可行性研究。我们的实验表明，视觉领域自适应是相关的，只有有效的网络架构和训练集在几百个样本的顺序。模型和代码是公开的。
2022-05-05 cs.CV cs.LG
FAGhead: Fully Animate Gaussian Head from Monocular Videos
Zhejiang University（浙江大学）；vivo AI Lab（vivo AI实验室）
FAGhead提出从单目视频重建可完全控制表情与姿态的3D头部化身，通过优化中性3D高斯、可学习表示场PLRF及alpha渲染监督，在开源和自采数据集上超越现有方法。
2024-06-28 cs.CV
DualCross: Cross-Modality Cross-Domain Adaptation for Monocular BEV Perception
UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文提出DualCross框架，通过跨模态跨域自适应将LiDAR点云知识迁移到单目BEV感知模型，首次系统分析野外单目3D任务的跨域跨传感器适应问题，并在大规模数据集上取得最优结果。
2024-06-12 cs.AI cs.CV cs.RO
DESC: Domain Adaptation for Depth Estimation via Semantic Consistency
Imperial College London（帝国理工学院）
准确的真实深度注释很难获得，需要使用特殊设备，如LiDAR传感器。自监督方法试图通过处理视频或立体声序列来克服这个问题，这可能并不总是可用的。相反，在本文中，我们提出了一种领域自适应方法来训练一个单目深度估计模型，使用一个完全注释的源数据集和一个非注释的目标数据集。我们通过利用语义预测和低级别边缘特征为目标域提供指导来弥合域差距。我们强制主模型和使用语义分割和边缘图训练的第二模型之间的一致性，并以实例高度的形式引入先验知识。我们的方法进行评估标准的领域自适应的单目深度估计的基准，并表现出一致的改进后，国家的最先进的。
2020-09-03 cs.CV
Estimating Depth from Monocular Images as Classification Using Deep Fully Convolutional Residual Networks
The University of Adelaide（阿德莱德大学）
单目图像深度估计是场景理解的关键组成部分，最近在很大程度上受益于深度卷积神经网络（CNN）。在本文中，我们利用最近的深度残差网络，并提出了一种简单而有效的方法来解决这个问题。我们将深度估计公式化为逐像素分类任务。具体来说，我们首先将连续深度值离散化为多个bin，并根据其深度范围标记bin。然后，我们训练完全卷积的深度残差网络来预测每个像素的深度标签。执行离散深度标签分类而不是连续深度值回归允许我们以概率分布的形式预测置信度。我们进一步应用全连接条件随机场（CRF）作为后处理步骤，以加强局部平滑交互，从而改善结果。我们在室内和室外数据集上评估了我们的方法，并实现了最先进的性能。
2017-08-11 cs.CV
MonoCT: Overcoming Monocular 3D Detection Domain Shift with Consistent Teacher Models
DeepScenario（深度场景公司）；TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对跨场景单目3D检测的域偏移问题，提出MonoCT无监督域自适应方法，通过GDE模块、PLS模块和DM策略生成高质量伪标签，在6个基准上性能显著优于现有SOTA方法且多视角泛化性好。
2025-03-17 cs.CV
Lightweight Prompt-Guided CLIP Adaptation for Monocular Depth Estimation
School of Engineering Science, Simon Fraser University（西蒙弗雷泽大学工程科学学院）；School of Information Science and Technology, Eastern Institute of Technology（东方理工学院信息科学与技术学院）
本文提出MoA-DepthCLIP框架，通过轻量级MoA模块和选择性微调提升单目深度估计的精度与效率，优于基线模型。
2026-04-01 cs.AI cs.CV cs.LG
LuMon: A Comprehensive Benchmark and Development Suite with Novel Datasets for Lunar Monocular Depth Estimation
本文提出LuMon基准，通过新数据集评估月球单目深度估计方法，分析了领域迁移差距并建立仿真到现实的适应基线。
2026-04-10 cs.CV
AdaDepth: Unsupervised Content Congruent Adaptation for Depth Estimation
Indian Institute of Science（印度科学学院）
监督式深度学习方法在单目深度估计任务中显示出了有希望的结果;但获取地面实况的成本很高，并且容易产生噪声和不准确性。虽然合成数据集已被用来规避上述问题，由于固有的域转移，所得到的模型不能很好地推广到自然场景。最近的对抗性域自适应方法在减轻源域和目标域之间的差异方面表现良好。但是这些方法大多局限于分类设置，并且不能很好地扩展全卷积架构。在这项工作中，我们提出了AdaDepth -单目深度估计的逐像素回归任务的无监督领域自适应策略。所提出的方法通过a）对抗性学习和b）对适应的目标表示明确施加内容一致性而没有上述限制。我们的无监督方法与其他已建立的方法在深度估计任务上具有竞争力，并在半监督设置中实现了最先进的结果。
2018-06-07 cs.CV
DASP: Self-supervised Nighttime Monocular Depth Estimation with Domain Adaptation of Spatiotemporal Priors
College of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院）；Digital Future Lab, Flanders Make, Hasselt University（数字未来实验室，弗拉芒制造，哈塞尔特大学）；College of Engineering, Shantou University（汕头大学工程学院）；Hasselt University（哈塞尔特大学）
DASP通过结合时空先验学习和自监督方法，实现了夜间单目深度估计的高效准确恢复。
2025-12-16 cs.CV
Depth Estimation from Single-shot Monocular Endoscope Image Using Image Domain Adaptation And Edge-Aware Depth Estimation
Nagoya University（名古屋大学）；Kyoto Second Red Cross Hospital（京都第二红十字医院）；Sapporo-Minami-Sanjo Hospital（札幌南三条医院）；Sapporo-Kosei General Hospital（札幌厚生综合医院）；Keiwakai Nishioka Hospital（惠和会西冈医院）；National Institute of Informatics（国立信息学研究所）
我们提出了一种深度估计方法，从一个单一的拍摄单目内窥镜图像使用朗伯表面翻译域自适应和深度估计使用多尺度边缘损失。我们采用了两步估计过程，包括朗伯表面翻译从不成对的数据和深度估计。器官表面的纹理和镜面反射降低了深度估计的准确性。我们应用朗伯表面平移的内窥镜图像，以消除这些纹理和反射。然后，我们使用全卷积网络（FCN）来估计深度。在FCN的训练期间，估计图像与地面实况深度图像之间的对象边缘相似性的提高对于获得更好的结果是重要的。为了提高深度估计的精度，我们引入了多尺度边缘损失函数。我们使用真实的结肠镜图像定量评估所提出的方法。估计的深度值与实际深度值成比例。此外，我们使用卷积神经网络将估计的深度图像应用于结肠镜图像的自动解剖位置识别。通过使用估计的深度图像，网络的识别准确率从69.2%提高到74.1%。
2022-01-12 cs.CV eess.IV
No Pose Estimation? No Problem: Pose-Agnostic and Instance-Aware Test-Time Adaptation for Monocular Depth Estimation
Department of Artificial Intelligence, Kyungpook National University（人工智能系，庆北国立大学）；Department of Electrical and Computer Engineering, Queen’s University（电气与计算机工程系，皇后大学）；Department of Information and Communications Engineering, Pukyong National University（信息与通信工程系，浦项国立大学）
本文提出PITTA框架，通过位姿无关的测试时自适应和实例感知掩码策略，在不依赖相机位姿信息的情况下提升单目深度估计模型在动态多样化环境中的自适应性能，并在DrivingStereo和Waymo数据集上超越现有方法。
2025-11-07 cs.AI cs.CV
Self6D: Self-Supervised Monocular 6D Object Pose Estimation
Technical University of Munich（慕尼黑工业大学）；Tsinghua University（清华大学）；Google（谷歌）
目标的6维姿态估计是计算机视觉中的一个基本问题。卷积神经网络（CNN）最近已被证明能够甚至从单目图像预测可靠的6D姿态估计。尽管如此，CNN被认为是非常数据驱动的，并且获取足够的注释通常非常耗时和劳动密集型。为了克服这个缺点，我们提出了单目6D姿态估计的想法，通过自监督学习，消除了真正的注释的需要。在用合成RGB数据训练我们提出的完全监督的网络之后，我们利用神经渲染的最新进展，进一步在未注释的真实RGB-D数据上自我监督模型，寻求视觉和几何上的最佳对齐。广泛的评估表明，我们提出的自我监督是能够显着提高模型的原始性能，优于所有其他方法依赖于合成数据或采用精心设计的技术，从领域自适应领域。
2020-08-03 cs.CV
Unsupervised Monocular Depth Estimation for Night-time Images using Adversarial Domain Feature Adaptation
TATA Consultancy Services（塔塔咨询服务公司）；Queensland University of Technology（昆士兰科技大学）；Edge Hill University（边山大学）
在本文中，我们探讨了从无约束RGB单目夜间图像中估计每像素深度图的问题，这是一项艰巨的任务，在文献中尚未得到充分解决。由于夜间图像之间存在较大的域偏移，最先进的日间深度估计方法在使用夜间图像进行测试时惨败。通常用于训练这些网络的照片度量损失可能不适用于夜间图像，因为缺乏白天图像中常见的均匀照明，这使得它成为一个难以解决的问题。我们建议解决这个问题，把它作为一个领域自适应问题，在白天的图像训练的网络适应工作的夜间图像。具体而言，编码器被训练为通过使用基于PatchGAN的对抗性判别学习方法从夜间图像生成与从白天图像获得的特征难以区分的特征。与现有的直接适应深度预测（网络输出）的方法不同，我们建议适应从编码器网络获得的特征图，以便预先训练的白天深度解码器可以直接用于从这些适应的特征预测深度。因此，所得到的方法被称为“对抗域特征自适应（ADFA）”，并通过具有挑战性的牛津夜间驾驶数据集上的实验证明了其有效性。此外，所提出的ADFA方法的模块化编码器-解码器架构允许我们使用编码器模块作为特征提取器，其可以用于许多其他应用中。一个这样的应用程序被证明，从我们的自适应编码器网络获得的功能表现优于其他国家的最先进的方法在视觉识别问题，从而进一步建立所提出的方法的有用性和有效性。
2020-10-03 cs.CV cs.RO
NeW CRFs: Neural Window Fully-connected CRFs for Monocular Depth Estimation
Alibaba Group（阿里巴巴集团）
从单个图像估计准确的深度是具有挑战性的，因为它本质上是模糊和不适定的。虽然最近的作品设计越来越复杂和强大的网络直接回归深度图，我们采取的CRF优化的路径。由于计算昂贵，CRF通常在邻域之间而不是整个图中执行。为了充分利用全连接CRF的潜力，我们将输入分成窗口，并在每个窗口内执行FC-CRF优化，这降低了计算复杂度，使FC-CRF可行。为了更好地捕捉图中节点之间的关系，我们利用多头注意力机制来计算多头势函数，将其馈送到网络以输出优化的深度图。然后，我们建立了一个自底向上-自顶向下的结构，其中这个神经窗口FC-CRFs模块作为解码器，视觉Transformer作为编码器。实验表明，与以前的方法相比，我们的方法显着提高了KITTI和NYUv 2数据集上所有指标的性能。此外，该方法可以直接应用于全景图像，并优于所有以前的全景方法上的MatterPort 3D数据集。项目页面：https://weihaosky.github.io/newcrfs。
2022-06-06 cs.CV
Toward A Better Understanding of Monocular Depth Evaluation
Princeton University（普林斯顿大学）
针对单目深度估计评估缺乏标准化、现有指标对曲率扰动敏感性不足的问题，本文定量分析现有指标与人类判断的对齐差异，提出基于相对表面法向量的新指标及配套工具、复合指标构建方法。
2025-11-17 cs.CV
RANGER: A Monocular Zero-Shot Semantic Navigation Framework through Visual Contextual Adaptation
Beihang University（北京航空航天大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）
RANGER通过视觉上下文学习实现零样本语义导航，无需依赖深度和姿态信息，利用3D基础模型和视觉语言模型提升任务效率与环境适应性。
2026-04-01 cs.CV cs.RO
