Deep Fitting Degree Scoring Network for Monocular 3D Object Detection
Tsinghua University（清华大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
本文提出了一种用于单目3D目标检测的深度拟合度评分网络，其目的是对建议与目标之间的拟合度进行最终评分。与大多数现有的单目框架使用紧约束来获得3D定位不同，我们的方法通过测量投影的3D建议与对象之间的视觉拟合度来实现高精度定位。我们首先使用基于锚的方法回归对象的尺寸和方向，以便可以构建合适的3D建议。我们提出了一种基于2D线索的3D IOU推理网络，它可以完全基于2D线索来推断3D提案和对象之间的3D IOU。因此，在检测过程中，我们在3D空间中采样大量的候选对象，并将这些3D边界框单独投影到2D图像上。最佳候选者可以通过简单地探索提案和对象之间的空间重叠来挑选出来，其形式是PNET的输出3D IoU分数。在KITTI数据集上的实验证明了该框架的有效性。
2019-06-08 cs.CV
MonoJSG: Joint Semantic and Geometric Cost Volume for Monocular 3D Object Detection
The Hong Kong University of Science and Technology（香港科技大学）；DJI（大疆创新）
由于2D-3D投影固有的不适定性，单目3D目标检测缺乏精确的深度恢复能力。虽然深度神经网络（DNN）能够从高级学习特征实现单目深度感测，但是由于深度卷积机制，像素级线索通常被省略。为了从DNN中强大的特征表示和像素级几何约束中受益，我们将单目对象深度估计重新表示为渐进式细化问题，并提出了一个联合语义和几何成本体积来建模深度误差。具体来说，我们首先利用神经网络来学习对象的位置、尺寸和密集归一化的3D对象坐标。基于对象深度，将密集坐标片连同对应的对象特征一起重新投影到图像空间，以联合语义和几何误差的方式构建成本体。通过将成本体积馈送到细化网络来获得最终深度，其中通过直接深度监督来正则化语义和几何错误的分布。通过细化框架有效地减少深度误差，我们在KITTI和Waymo数据集上都获得了最先进的结果。
2022-03-16 cs.CV
ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）
针对单目3D目标检测中前景稀疏导致训练效果差的问题，提出ODM3D半监督框架，通过多模态知识蒸馏、BEV占用引导掩码及跨模态数据增强提升性能，在KITTI基准上超越现有单目检测方法。
2023-11-07 cs.CV
Difficulty-Aware Label-Guided Denoising for Monocular 3D Object Detection
针对单目3D目标检测中深度估计不准及忽略实例级检测难度的问题，提出MonoDLGD框架，基于检测不确定性自适应扰动并重构真值标签，在KITTI基准所有难度级别上实现最优性能。
2025-11-17 cs.CV
MonoDistill: Learning Spatial Features for Monocular 3D Object Detection
Dalian University of Technology（大连理工大学）；The University of Sydney（悉尼大学）
三维目标检测是三维场景理解的一项基本而具有挑战性的任务，基于单目的方法可以作为基于立体或基于LiDAR的方法的经济替代方案。然而，由于缺乏空间线索，从单个图像准确地检测3D空间中的对象是极其困难的。为了解决这个问题，我们提出了一个简单有效的方案，将LiDAR信号的空间信息引入到单目3D探测器中，而不会在推理阶段引入任何额外的成本。特别是，我们首先将LiDAR信号投影到图像平面中，并将它们与RGB图像对齐。之后，我们使用得到的数据来训练具有与基线模型相同架构的3D检测器（LiDAR Net）。最后，这个LiDAR Net可以作为教师将学习到的知识转移到基线模型。实验结果表明，该方法可以显着提高基线模型的性能，并排名$1^{st}$地方之间的所有单眼为基础的方法在KITTI基准。此外，进行了广泛的消融研究，进一步证明了我们设计的每个部分的有效性，并说明了基线模型从LiDAR Net中学习到了什么。我们的代码将在\url{https://github.com/monster-ghost/MonoDistill}发布。
2022-01-26 cs.CV
Exploring Geometric Consistency for Monocular 3D Object Detection
The Hong Kong University of Science and Technology（香港科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
研究了单目三维目标检测中存在不适定深度估计的几何一致性问题。我们首先进行了彻底的分析，揭示现有的方法无法始终定位对象时，发生不同的几何变化。特别是，我们设计了一系列的几何操作来诊断现有的检测器，然后说明他们的脆弱性，始终关联的深度与对象的表观大小和位置。为了缓解这个问题，我们提出了四个几何感知的数据增强方法，以提高检测器的几何一致性。我们首先修改了一些常用的二维图像的数据增强方法，使它们能够在三维空间中保持几何一致性。我们证明这样的修改是重要的。此外，我们提出了一个3D特定的图像扰动方法，采用相机运动。在增强过程中，操纵具有对应图像的相机系统，同时保留用于深度恢复的几何视觉线索。我们表明，通过使用几何一致性约束，所提出的增强技术导致KITTI和nuScenes单目3D检测基准与最先进的结果的改进。此外，我们证明了增强方法非常适合半监督训练和跨数据集泛化。
2022-05-22 cs.CV
DeLightMono: Enhancing Self-Supervised Monocular Depth Estimation in Endoscopy by Decoupling Uneven Illumination
DeLightMono通过解耦照明和反光信息，提升内窥镜图像中低光照区域的自监督单目深度估计性能。
2025-11-25 cs.CV
ShapeGaussian: High-Fidelity 4D Human Reconstruction in Monocular Videos via Vision Priors
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；PAII Inc（PAII公司）
ShapeGaussian通过整合无模板的视觉先验，在单目视频中实现了高保真的4D人体重建，提高了重建的准确性和鲁棒性。
2026-02-05 cs.CV
DMODE: Differential Monocular Object Distance Estimation Module without Class Specific Information
Simon Fraser University（西蒙菲莎大学）
本文提出类别无关的 DMODE 模块，通过融合物体尺寸随时间变化与相机运动估计单目距离，并在 KITTI MOTS 上验证其优于传统方法。
2024-05-07 cs.AI cs.CV cs.LG
Learning to Fuse Monocular and Multi-view Cues for Multi-frame Depth Estimation in Dynamic Scenes
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）；DJI（大疆创新）；The University of New South Wales（新南威尔士大学）
本文提出跨线索融合模块，无需显式掩码即可融合多视角与单目线索，使静态区域几何感知与动态区域上下文信息相互增强，在真实数据集上显著提升动态场景多帧深度估计的精度与泛化能力。
2023-04-18 cs.CV
Mono3R: Exploiting Monocular Cues for Geometric 3D Reconstruction
National University of Defence Technology（国防科技大学）
针对现有基于匹配的多视图3D重建模型在弱纹理、低光照等匹配线索有限区域重建质量下降的问题，提出Mono3R，通过引入单目引导细化模块整合单目几何先验，显著提升重建鲁棒性与精度。
2025-04-18 cs.CV
MV-FCOS3D++: Multi-View Camera-Only 4D Object Detection with Pretrained Monocular Backbones
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）
在这份技术报告中，我们介绍了我们的解决方案，称为MV-FCOS 3D ++，用于Waymo开放数据集挑战赛2022中的仅摄像头3D检测轨道。对于多视图仅相机3D检测，基于鸟瞰视图或3D几何表示的方法可以利用来自相邻视图之间的重叠区域的立体提示，并且直接执行3D检测而无需手工制作的后处理。然而，它缺乏对2D主干的直接语义监督，这可以通过预训练简单的基于单眼的检测器来补充。我们的解决方案是一个多视图框架，4D检测遵循这种模式。它基于一个简单的单目检测器FCOS 3D ++，仅使用Waymo的对象注释进行预训练，并将多视图特征转换为3D网格空间以检测其上的3D对象。设计了一种用于单帧理解和时间立体匹配的双路径颈部，以结合多帧信息。我们的方法最终使用单个模型实现了49.75%的mAPL，并在WOD挑战中获得第二名，在训练期间没有任何基于LiDAR的深度监督。该代码将在https://github.com/Tai-Wang/Depth-from-Motion上发布。
2022-07-26 cs.CV cs.RO
A Novel Illumination-Invariant Loss for Monocular 3D Pose Estimation
Australian National University（澳大利亚国立大学）
从给定的2D图像识别已知物体的3D姿态的问题在计算机视觉中具有重要的应用。我们提出的方法注册一个已知的对象的3D模型在一个给定的2D照片的对象有许多优点，比现有的方法。它不需要事先训练，相机参数的知识，图像和模型之间的显式点对应或匹配特征。与估计部分3D姿态的技术（如在传送带上的交通或机器部件的俯视图中）不同，我们的方法估计对象的完整3D姿态。它适用于在变化和未知的照明条件下从给定视图获得的单个静态图像。为此，我们推导出一种新的光照不变的距离测量之间的2D照片和投影的3D模型，然后最小化，以找到最佳的姿势参数。车辆姿态检测在真实照片的结果。
2013-11-28 cs.CV
MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction
University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
近年来，神经隐式曲面重建方法已成为多视图三维重建的热门。与传统的多视图立体视觉方法相比，由于神经网络的归纳平滑偏差，这些方法倾向于产生更平滑和更完整的重建。最先进的神经隐式方法允许从许多输入视图对简单场景进行高质量的重建。然而，对于更大和更复杂的场景以及从稀疏视点捕获的场景，它们的性能显著下降。这主要是由RGB重建损失中的固有模糊性引起的，其没有提供足够的约束，特别是在较少观察和无纹理的区域中。受单眼几何预测领域的最新进展的启发，我们系统地探索了这些线索为改善神经隐式表面重建提供的效用。我们表明，深度和正常的线索，预测的通用单目估计，显着提高重建质量和优化时间。此外，我们分析和研究多种设计选择，代表神经隐式表面，从单片MLP模型单网格多分辨率网格表示。我们观察到，几何单目先验提高性能的小规模的单对象以及大规模的多对象场景，独立的选择表示。
2022-10-12 cs.CV
MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction
Technical University of Munich（慕尼黑技术大学）；Google（谷歌）；Tsinghua University（清华大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
MonoGSDF通过结合高斯点与神经SDF，利用单目几何线索实现高效隐式表面重建，提升三维表面恢复的精度与效率。
2025-11-20 cs.CV
GOOD: Exploring Geometric Cues for Detecting Objects in an Open World
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们解决开放世界类不可知的目标检测的任务，即，通过从有限数量的基本对象类学习来检测图像中的每个对象。最先进的基于RGB的模型存在过度拟合训练类的问题，并且经常无法检测到外观新颖的对象。这是因为基于RGB的模型主要依赖于外观相似性来检测新的对象，并且也容易过度拟合快捷线索，例如纹理和区分部分。为了解决这些基于RGB的对象检测器的缺点，我们建议将几何线索，如深度和法线，预测通用的单目估计。具体来说，我们使用几何线索训练的对象建议网络的伪标记未注释的新对象的训练集。我们由此产生的几何引导的开放世界对象检测器（GOOD）显着提高了新对象类别的检测召回率，并且仅用几个训练类就已经表现良好。在COCO数据集上使用单个“人”类进行训练，GOOD比SOTA方法高出5.0%AR@100，相对提高了24%。
2023-02-03 cs.CV cs.LG
Crafting Monocular Cues and Velocity Guidance for Self-Supervised Multi-Frame Depth Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Science（中国科学院大学人工智能学院）；PhiGent Robotics（鉴智机器人）；Southeast University（东南大学）
自监督单目方法可以有效地学习弱纹理表面或反射物体的深度信息。然而，由于单目几何建模中固有的模糊性，深度精度受到限制。相比之下，多帧深度估计方法由于直接利用几何约束的多视图立体视觉（MVS）的成功而提高了深度精度。不幸的是，MVS经常遭受无纹理区域、非朗伯表面和移动对象的影响，特别是在没有已知相机运动和深度监督的真实世界视频序列中。因此，我们提出了MOVEDepth，它利用MONOCULAR线索和VElocity指导来改善多帧深度学习。与现有的MVS深度和单目深度之间的一致性方法不同，MOVEDepth通过直接解决MVS的固有问题来增强多帧深度学习。我们的方法的关键是利用单目深度作为几何优先级来构造MVS成本体积，并在预测的摄像机速度的指导下调整成本体积的深度候选。我们进一步融合单目深度和MVS深度通过学习成本量的不确定性，这导致在一个强大的深度估计对多视图几何模糊。大量的实验表明，MOVEDepth实现了最先进的性能：与Monodepth 2和PackNet相比，我们的方法在KITTI基准测试中的深度精度分别提高了20%和19.8%。MOVEDepth还推广到更具挑战性的DDAD基准，相对优于ManyDepth 7.2%。该代码可在https://github.com/JeffWang987/MOVEDepth上获得。
2022-08-19 cs.CV
NeRF-based Spacecraft Reconstruction from Monocular Imagery Under Illumination Variability and Pose Uncertainty
ICTEAM, UCLouvain（ICTEAM，乌得勒支大学）；ESAT, KU Leuven（ESAT，鲁汶大学）；MECH, KU Leuven（机械工程系，鲁汶大学）；Aerospacelab（航天实验室）；UCLouvain（乌得勒支大学）
本文提出一种基于NeRF的方法，通过引入图像特定的外观嵌入和姿态修正项，提升在光照变化和姿态不确定性下的航天器重建鲁棒性，验证了其在离线重建中的有效性，并展示了其在在线重建中的潜力。
2026-05-20 cs.CV
Geometric Distillation from Rectified Stereo: Leveraging Epipolar Cues for Monocular Depth
Michigan State University（密歇根州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究针对单目深度估计在不同环境下的难题，提出将多视图模型的尺度感知几何先验转移到单目深度基础模型的框架，通过对极蒸馏方法，无需多视图输入就能保持几何一致性，显著提升零样本度量深度估计性能，且与模型无关。
2026-09-03 cs.CV
TexHOI: Reconstructing Textures of 3D Unknown Objects in Monocular Hand-Object Interaction Scenes
Department of Computer Science, The University of Texas at Dallas（计算机科学系，德克萨斯大学达拉斯分校）
TexHOI提出一种从单目视频重建手物交互场景中未知物体高保真纹理的方法，通过辐射场复合渲染、手物姿态优化和物理渲染参数细化，首次显式建模手对光照与阴影的影响，超越现有最优方法。
2025-02-04 cs.CV
Geometry Meets Light: Leveraging Geometric Priors for Universal Photometric Stereo under Limited Multi-Illumination Cues
针对通用光度立体在多光照线索不可靠场景下的缺陷，提出GeoUniPS网络，结合合成监督与预训练3D重建模型的几何先验，设计双分支编码器并引入新数据集，在复杂真实场景中实现更优的表面法线恢复性能。
2025-11-18 cs.CV
Monocular Depth Estimation Using Cues Inspired by Biological Vision Systems
Imperial College London（帝国理工学院）
单目深度估计（MDE）旨在将场景的RGB图像从同一相机视图转换为逐像素深度图。由于缺少信息，它从根本上是不适定的：任何单个图像都可以从许多可能的3D场景中获取。因此，MDE任务的一部分是学习图像中的哪些视觉线索可以用于深度估计，以及如何使用。由于训练数据受到注释成本的限制或网络容量受到计算能力的限制，这是具有挑战性的。在这项工作中，我们证明，明确地注入视觉线索信息的模型是有益的深度估计。在对生物视觉系统进行深入研究之后，我们着重于语义信息和物体大小及其关系的先验知识，以模拟相对大小、熟悉大小和绝对大小的生物线索。我们使用最先进的语义和实例分割模型来提供外部信息，并利用语言嵌入来编码类之间的关系信息。我们还提供了一个先验的平均现实世界中的对象的大小。这种外部信息克服了数据可用性的限制，并确保给定网络的有限容量集中在已知有用的线索上，从而提高性能。我们通过实验验证了我们的假设，并在广泛使用的NYUD 2室内深度估计基准上评估了所提出的模型。结果表明，在深度预测的语义信息，尺寸先验和实例大小显式提供的RGB图像时，我们的方法可以很容易地适应任何深度估计系统的改进。
2022-05-12 cs.CV
Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing
Google Research（谷歌研究院）
我们提出了PHORHUM，一种新颖的，端到端的可训练的，深度神经网络方法，用于仅提供单目RGB图像的逼真的3D人体重建。我们的像素对齐方法估计详细的3D几何形状，并首次将未着色的表面颜色与场景照明一起估计。观察到，3D监督本身是不够的高保真度的颜色重建，我们引入基于补丁的渲染损失，使可靠的颜色重建的可见部分的人，和详细的和合理的颜色估计的不可见的部分。此外，我们的方法专门解决了先前工作的方法和实际局限性，在一个端到端的模型中，可以有效地解开因素，代表几何形状，光照和照明效果。在广泛的实验中，我们证明了我们的方法的通用性和鲁棒性。我们的国家的最先进的结果验证方法定性和不同的指标，几何和颜色重建。
2022-04-19 cs.CV
Monocular Spherical Depth Estimation with Explicitly Connected Weak Layout Cues
Centre for Research and Technology Hellas（希腊研究与技术中心）；Universidad Politécnica de Madrid（马德里理工大学）
球形摄像机以整体方式捕获场景，并已用于房间布局估计。最近，随着适当数据集的可用性，在从单个全向图像进行深度估计方面也取得了进展。虽然这两个任务是互补的，但很少有作品能够并行地探索它们以提高室内几何感知，并且已经这样做的作品要么依赖于合成数据，要么使用小规模数据集，因为很少有选项可以在真实场景中包括布局注释和密集深度图。这部分是由于房间布局需要手动注释。在这项工作中，我们超越了这一限制，并生成一个360几何视觉（360 V）数据集，其中包括多个模态，多视图立体视觉数据和自动生成的弱布局线索。我们还探索了这两个任务之间的显式耦合，将它们集成到一个单射训练模型中。我们依赖于基于深度的布局重建和基于布局的深度注意力，这两项任务的性能都有所提高。通过使用单个360度摄像头扫描房间，可以轻松快速地进行建筑规模的3D扫描。
2022-06-22 cs.CV
MonStereo: When Monocular and Stereo Meet at the Tail of 3D Human Localization
EPFL（洛桑联邦理工学院）；Visual Intelligence for Transportation (VITA) lab（交通视觉智能实验室）
单目和立体视觉是自动驾驶汽车或社交机器人背景下3D人体定位的经济高效的解决方案。然而，它们通常是独立开发的，有各自的优势和局限性。我们提出了一个新的统一的学习框架，利用单眼和立体声线索的优势，三维人体定位。我们的方法联合（i）在左右图像中关联人类，（ii）通过依赖于单眼线索的鲁棒性来处理立体设置中的遮挡和遥远的情况，以及（iii）通过利用人类高度分布的先验知识来解决单眼透视投影的固有模糊性。我们通过分析整个误差分布和估计校准的置信区间，专门评估离群值以及具有挑战性的情况，如遮挡和远处的行人。最后，我们批判性地回顾了官方的KITTI 3D度量标准，并提出了一个为人类量身定制的实用3D定位度量。
2021-03-22 cs.CV
GSDC Transformer: An Efficient and Effective Cue Fusion for Monocular Multi-Frame Depth Estimation
Zhejiang University（浙江大学）
针对单目多帧深度估计中注意力融合复杂、显式融合依赖精确分割的问题，提出 GSDC Transformer，通过可变形与稀疏注意力及超级 token 局部稠密融合，在 KITTI 上实现高效的最先进性能。
2023-12-05 cs.CV
Augmented Reality for Depth Cues in Monocular Minimally Invasive Surgery
Bournemouth University（伯恩茅斯大学）；University of Chester（切斯特大学）；University of Bradford（布拉德福德大学）
微创手术（MIS）（如腹腔镜）的主要挑战之一是缺乏深度感知。近年来，腹腔镜场景跟踪和表面重建一直是研究的焦点，以提供丰富的附加信息来辅助手术过程并补偿深度感知问题。然而，鲁棒的3D表面重建和增强现实与深度感知的重建场景还有待报道。本文介绍了我们在这方面的工作。首先，我们采用了一个国家的最先进的视觉同时定位与地图构建（SLAM）框架- ORB-SLAM -和扩展算法用于在MIS场景可靠的内窥镜摄像机跟踪和显着点映射。然后，我们开发了一个强大的全球三维表面重建框架的基础上提取的稀疏点云SLAM框架。我们的方法是结合移动最小二乘平滑算法内的离群值去除过滤器，然后采用泊松曲面重建，以获得光滑的表面从非结构化稀疏点云。我们所提出的方法已被定量评估相比，地面实况摄像机的轨迹和器官模型表面，我们用来渲染合成模拟视频。在体内腹腔镜视频中使用的测试已经证明了鲁棒性和准确性，我们提出的框架上的相机跟踪和表面重建，说明了我们的算法的潜力，深度增强和深度校正增强现实在MIS与单眼内窥镜。
2017-03-01 cs.CV
Tracking monocular camera pose and deformation for SLAM inside the human body
Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究院（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
可变形场景中的单目SLAM将为多种医疗应用开辟道路，如内窥镜检查中的计算机辅助导航，自动药物输送或自主机器人手术。在本文中，我们提出了一种新的方法，同时跟踪相机的姿态和三维场景变形，没有任何假设的环境拓扑结构或形状。该方法使用光照不变的光度方法来跟踪图像特征，并结合重投影误差和变形的空间和时间正则化来估计相机运动和变形。我们在模拟结肠镜检查的结果表明，该方法的准确性和鲁棒性，在复杂的场景下，变形水平的增加。我们在Endomapper数据集的人体结肠镜检查中的定性结果表明，该方法能够成功应对真实内窥镜检查的挑战：变形，低纹理和强光照变化。我们还比较了以前的跟踪方法在更简单的情况下，从Hamlyn数据集，我们获得有竞争力的性能，而不需要任何拓扑假设。
2022-04-18 cs.CV
MonoPlane: Exploiting Monocular Geometric Cues for Generalizable 3D Plane Reconstruction
Bytedance Inc.（字节跳动公司）；College of Information Sciences and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）
MonoPlane利用单目几何线索（深度和法线）结合邻近引导的RANSAC框架，实现可泛化的3D平面检测与重建，在零样本迁移中达到最先进性能。
2024-11-02 cs.CV cs.RO
ChiTransformer:Towards Reliable Stereo from Cues
Georgia State University（佐治亚州立大学）
本文提出受视交叉启发的自监督双目深度估计网络 ChiTransformer，通过 ViT、GPCA 与混合层融合单目线索和跨视图模式，性能提升11%，并适用于鱼眼等非直线图像。
2023-11-01 cs.CV
Self-Supervised Joint Learning Framework of Depth Estimation via Implicit Cues
Tianjin University（天津大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong（香港中文大学）
在自监督单目深度估计中，深度不连续性和运动目标伪影仍然是具有挑战性的问题。现有的自监督方法通常利用单个视图来训练深度估计网络。与静态视图相比，视频帧间丰富的动态特性有利于精确的深度估计，尤其是对于动态对象。在这项工作中，我们提出了一种新的自监督联合学习框架，用于使用来自单目和立体视频的连续帧进行深度估计。其主要思想是使用一个隐式的深度线索提取器，它利用动态和静态线索来生成有用的深度建议。这些线索可以预测可区分的运动轮廓和几何场景结构。此外，引入了一种新的高维注意力模块来提取清晰的全局变换，有效地抑制了高维空间中局部描述符的不确定性，使得学习框架的优化更加可靠。实验表明，该框架优于国家的最先进的（SOTA）KITTI和Make3D数据集。
2020-06-26 cs.CV
RobustFusion: Robust Volumetric Performance Reconstruction under Human-object Interactions from Monocular RGBD Stream
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Shanghaitech University（上海科技大学）；OPPO US Research Center（OPPO美国研究中心）
在现实世界的场景中，高质量的4D人类行为重建与各种物体的复杂交互是必不可少的，这使得许多沉浸式VR/AR应用成为可能。然而，最近的进展仍然未能提供可靠的性能重建，遭受具有挑战性的相互作用模式和严重的闭塞，特别是对于单眼设置。为了填补这一空白，在本文中，我们提出了RobustFusion，一个强大的体积性能重建系统，用于人与物体的交互场景，只使用一个单一的RGBD传感器，它结合了各种数据驱动的视觉和交互线索，以处理复杂的交互模式和严重的闭塞。我们提出了一个语义感知的场景解耦方案来明确地对遮挡进行建模，并通过分割细化和鲁棒的对象跟踪来防止解纠缠的不确定性并保持时间一致性。我们进一步引入了一个强大的性能捕获方案的各种数据驱动的线索的帮助下，这不仅使重新初始化的能力，但也在数据驱动的方式建模的复杂的人与对象的交互模式。为此，我们引入了一个空间关系之前，以防止不合理的交叉点，以及数据驱动的交互线索，以保持自然的运动，特别是对于那些严重的人类物体遮挡的区域。我们还采用了一种自适应融合方案的时间相干的人的物体重建与遮挡分析和人类解析线索。大量的实验证明了我们的方法的有效性，以实现高质量的4D人类性能重建下复杂的人与物体的相互作用，同时仍然保持轻量级的单目设置。
2021-04-30 cs.CV
THIRDEYE: Cue-Aware Monocular Depth Estimation via Brain-Inspired Multi-Stage Fusion
DartLabs
提出THIRDEYE，一种线索感知单目深度估计方法，通过预训练冻结的专家网络提供显式单目线索，并在大脑启发的三阶段层次中融合，仅需适度微调即可生成高分辨率视差图。
2025-06-25 cs.AI cs.CV
Gated Stereo: Joint Depth Estimation from Gated and Wide-Baseline Active Stereo Cues
Mercedes-Benz（梅赛德斯-奔驰）；Princeton University（普林斯顿大学）；Algolux（Algolux公司）
提出Gated Stereo深度估计技术，结合单目与立体预测分支并利用门控自监督损失，在160米距离内MAE较现有方法最高提升74%。
2023-05-22 cs.CV
GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；University of Science and Technology of China（中国科学技术大学）
针对3DGS在室内无纹理区域重建不完整的问题，提出融合神经SDF与3DGS的统一优化框架，利用SDF引导高斯致密化与剪枝，并引入法线和边缘先验正则化，在表面重建和新视角合成上达到SOTA。
2025-04-01 cs.CV
CoGE: Sim-to-Real Online Geometric Estimation for Monocular Colonoscopy
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学电子工程系，香港特别行政区，中国）；Shenzhen Loop Area Institute, China（深圳环湖研究所，中国）
本文提出CoGE框架，通过光照感知监督模块和结构感知感知模块，实现内镜中在线单目几何估计，仅用仿真数据训练即可在仿真和真实场景中取得最佳性能。
2026-05-13 cs.AI cs.CV
Repurposing Marigold for Zero-Shot Metric Depth Estimation via Defocus Blur Cues
University of California San Diego（加州大学圣地亚哥分校）
本文提出一种无需训练的方法，通过向预训练扩散模型 Marigold 注入散焦模糊线索，将其转化为零样本度量深度估计器，在自采数据集上优于现有方法。
2025-05-23 cs.CV
SST: Real-time End-to-end Monocular 3D Reconstruction via Sparse Spatial-Temporal Guidance
Tsinghua University（清华大学）；Google（谷歌）
针对实时单目三维重建中细节丢失问题，提出端到端网络SST，利用视觉SLAM稀疏点作为空间引导，结合跨模态注意力融合时间特征，在ScanNet和7-Scenes上达到最优性能，推理速度59 FPS。
2023-07-25 cs.CV
RaGS: Unleashing 3D Gaussian Splatting from 4D Radar and Monocular Cues for 3D Object Detection
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Automotive Studies, Tongji University（同济大学汽车学院）；Momoni AI, Gothenburg, Sweden（Momoni AI（瑞典哥德堡））；College of Energy Engineering, Zhejiang University（浙江大学能源工程学院）
RaGS首次利用3D高斯泼溅融合4D雷达与单目线索进行3D目标检测，通过级联的高斯场构建与细化流程实现动态聚焦稀疏信息区域，在多个数据集上取得SOTA性能。
2025-11-08 cs.AI cs.CV
VI3: Grounding Pretrained 3D Foundation Models with Inertial Cues
Universidad de Zaragoza（萨拉戈萨大学）
VI3是一种仅用IMU读数即可对预训练3DFM进行度量级锚定的模型无关框架，在合成与真实航空数据集上无需真值监督即可恢复度量尺度，兼具几何一致性，可作为精细优化或强先验。
2026-09-04 cs.CV
MonoTAKD: Teaching Assistant Knowledge Distillation for Monocular 3D Object Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）；Cisco Systems, Inc.（思科系统公司）；Taijitu AI, Inc.（太极图人工智能公司）；National Taiwan Normal University（国立台湾师范大学）；National Taiwan University（国立台湾大学）
针对单目3D检测中深度模糊导致的知识蒸馏性能下降，提出MonoTAKD方法，引入相机助教模型和残差3D空间线索，在KITTI3D上达到最优，并验证了泛化性。
2025-03-26 cs.CV
Polarimetric Monocular Dense Mapping Using Relative Deep Depth Prior
University of Alberta（阿尔伯塔大学）
本文研究了基于偏振相机的偏振稠密地图重建，以相对深度信息作为先验信息。通常，偏振成像能够揭示关于表面法线的信息，例如方位角和天顶角，这可以支持密集重建问题的解决方案的发展，特别是在纹理贫乏的区域中。然而，由于两种类型的偏振反射（镜面反射/漫反射），偏振形状线索是模糊的。尽管已经提出了解决这个问题的方法，但它们要么是离线的，因此在机器人应用中不实用，要么使用不完整的极化线索，导致性能不佳。在本文中，我们提出了一种在线重建方法，使用完整的偏振摄像机提供的偏振线索。通过我们的在线方法，我们可以沿着和垂直于等深度轮廓传播稀疏深度值。通过对具有挑战性的图像序列进行全面的实验，我们证明了我们的方法能够显着提高深度图的准确性，并增加其密度，特别是在纹理较差的区域。
2021-02-10 cs.CV cs.RO
DreamTexture: Shape from Virtual Texture with Analysis by Augmentation
Bielefeld University（比勒费尔德大学）；University of British Columbia（不列颠哥伦比亚大学）
针对DreamFusion无监督3D重建计算成本高、约束不足的问题，提出DreamTexture方法，利用单目深度线索与共形映射优化实现高效3D重建，验证了生成模型的单目形状理解能力，提出“增强分析”新范式。
2025-03-20 cs.AI cs.CV cs.LG
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
MonSter++: Unified Stereo Matching, Multi-view Stereo, and Real-time Stereo with Monodepth Priors
School of Electronic Information and Communications, Huazhong University of Science and Technology（电子信息与通讯学院，华中科技大学）；Meta；AI Chip Center, Hong Kong University of Science and Technology（香港科技大学人工智能芯片中心）；Nanjing Forestry University（南京林业大学）；Autel Robotics
MonSter++通过双分支架构融合单目深度先验与多视点线索，迭代互增强解决病态区域匹配难题，在立体匹配、实时立体和多视点立体八个基准上达到最先进水平。
2025-09-25 cs.CV
Learning monocular depth estimation infusing traditional stereo knowledge
University of Bologna（博洛尼亚大学）
从单个图像的深度估计代表了一个迷人的，但具有挑战性的问题与无数的应用。最近的工作证明，这项任务可以在没有地面实况标签的直接监督下学习，利用序列或立体对的图像合成。针对这第二种情况，在本文中，我们利用立体匹配，以提高单目深度估计。为此，我们提出了monoResMatch，一种新的深度架构，旨在通过从不同的角度合成特征，与输入图像水平对齐，在两个线索之间进行立体匹配，从单个输入图像中推断深度。与之前分享这一原理的作品相比，我们的网络是第一个从头开始训练的端到端网络。此外，我们展示了如何通过传统的立体算法（如半全局匹配）获得代理地面实况注释，从而实现更准确的单目深度估计，同时通过保持自监督方法来对抗对昂贵深度标签的需求。详尽的实验结果证明了i）所提出的monoResMatch架构与ii）代理监督之间的协同如何达到自监督单目深度估计的最新技术水平。该代码可在https://github.com/fabiotosi92/monoResMatch-Tensorflow上公开获取。
2019-04-08 cs.CV
Failure or Drift? Evaluating Monocular SLAM under Synthetic and Real-World Corruptions
University of Mannheim（曼海姆大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
本研究评估单目SLAM在合成与真实世界干扰下的表现，区分跟踪失效与漂移，发现学习型跟踪器会产生持续漂移，且其排序随干扰物理保真度变化。
2026-09-01 cs.CV cs.RO
Monocular Depth Estimation with Global-Aware Discretization and Local Context Modeling
East China Normal University（华东师范大学）
针对单目深度估计的模糊性问题，本文提出结合局部与全局线索的方法，利用门控大核注意力模块和全局箱预测模块，在NYU-V2和KITTI数据集上取得领先性能。
2025-08-05 cs.CV
Rethinking Monocular Depth Embedding for Generalized Stereo Matching
Shaanxi Key Laboratory for Network Computing and Security Technology, Xi’an University of Technology（陕西理工大学网络计算与安全技术重点实验室）；College of Computer Science, Sichuan University（四川大学计算机学院）
该研究重新思考单目深度嵌入用于广义立体匹配，通过减少分支耦合、构建软约束等方式，将单目信息集成到特征提取和GRU迭代中，还提出相关方法解决边界模糊问题，在多基准测试中达领先性能，提升了泛化能力与准确性。
2026-07-13 cs.CV
Event-based Monocular Dense Depth Estimation with Recurrent Transformers
提供高时间分辨率和高动态范围的事件摄像机为解决常见挑战带来了新的视角（例如，运动模糊和低光深度估计。然而，如何有效地利用稀疏的空间信息和丰富的时间线索，从异步事件仍然是一个具有挑战性的努力。为此，我们提出了一种新的基于事件的单目深度估计与经常性的Transformers器，即EReFormer，这是第一个纯Transformer与递归机制来处理连续的事件流。在空间建模方面，提出了一种基于空间Transformer融合模块的变换器编解码器，具有比基于CNN的方法更好的全局上下文信息建模能力。对于时间建模，我们设计了一个门递归视觉Transformer单元，引入了递归机制到Transformers，提高时间建模能力，同时减轻昂贵的GPU内存成本。实验结果表明，我们的EReFormer在合成和真实世界的数据集上都优于最先进的方法。我们希望我们的工作将吸引进一步的研究，在基于事件的视觉社区中开发出令人惊叹的Transformers。我们的开源代码可以在补充材料中找到。
2022-12-06 cs.CV
Learning Latent Proxies for Controllable Single-Image Relighting
HKUST（香港科技大学）；HKPolyU（香港理工大学）；CUHK（香港中文大学）
本文提出LightCtrl，通过物理先验和稀疏提示实现可控单图像照明，利用DPO优化和ScaLight数据集提升光照控制精度与PSNR表现。
2026-03-16 cs.CV
Learning Depth from Monocular Videos Using Synthetic Data: A Temporally-Consistent Domain Adaptation Approach
The University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
大多数现有技术的单目深度估计方法是监督学习方法。这种方法的成功在很大程度上取决于高质量的深度标签，这是昂贵的获得。最近的一些方法试图通过利用来自单眼视频的无监督线索来学习深度网络，这些线索更容易获得但不太可靠。在本文中，我们建议通过从合成视频中转移知识来解决这个难题，这些视频具有易于获得的地面实况深度标签。由于合成图像和真实图像之间的风格差异，我们提出了一种时间一致的领域自适应（TCDA）方法，同时探索合成域中的标签和视频中的时间约束，以提高风格转移和深度预测。此外，我们利用合成数据中的地面真实光流和姿态信息来学习移动掩模和姿态预测网络。学习的运动掩模可以过滤掉产生错误的时间约束的运动区域，并且估计的姿态提供用于估计时间约束的更好的初始化。实验结果表明，我们的方法的有效性和可比的性能对国家的最先进的。
2019-11-26 cs.CV
Depth Is All You Need for Monocular 3D Detection
Toyota Research Institute（丰田研究院）
从单个图像进行3D检测的最新进展的关键贡献者是单目深度估计。现有的方法集中在如何明确地利用深度，通过生成伪点云或提供图像特征的注意线索。最近的工作利用深度预测作为预训练任务，并在训练深度表示进行3D检测时对其进行微调。然而，这种适应是不够的，并且在规模上受到手动标签的限制。在这项工作中，我们建议以无监督的方式进一步将深度表示与目标域对齐。我们的方法在训练期间利用常用的LiDAR或RGB视频来微调深度表示，从而改进3D检测器。特别是在使用RGB视频时，我们表明，由于两个任务之间的损失分布不一致，我们首先生成伪深度标签的两阶段训练至关重要。无论使用哪种类型的参考数据，我们的多任务学习方法都在KITTI和NuScenes的最新技术水平上有所改进，同时匹配其单任务子网络的测试时间复杂度。
2022-10-05 cs.CV
Robust Monocular Edge Visual Odometry through Coarse-to-Fine Data Association
在这项工作中，我们提出了一个单目视觉里程计框架，它允许利用最好的属性的边缘功能的照明鲁棒相机跟踪，而在同一时间改善的性能退化的边缘映射。在前端，基于ICP的边缘配准可以在光照变化下提供鲁棒的运动估计和粗略的数据关联。在后端，一个新的边缘引导的数据关联管道搜索最佳光度匹配点沿几何可能的边缘通过模板匹配，使匹配可以在以后的光束法平差进一步细化。我们提出的数据关联策略的核心在于一个点到边的几何不确定性分析，分析得出（1）的概率搜索长度公式，显着减少了搜索空间的系统加速和（2）的几何置信度映射退化检测的基础上预测的深度不确定性。此外，基于匹配置信度的补丁大小自适应策略被集成到我们的管道中，与其他组件连接，以减少匹配歧义。我们提出了广泛的分析和评估，我们提出的系统的影响下，照明变化和大的相机运动，我们提出的系统优于当前最先进的算法的合成和真实世界的基准数据集。
2020-03-16 cs.CV cs.RO eess.IV
