Scalable Vision-Based 3D Object Detection and Monocular Depth Estimation for Autonomous Driving
Electronic and Computer Engineering（电子与计算机工程）
该论文围绕自动驾驶视觉3D感知，改进单目与立体3D检测，融合2D/3D标注训练，并提出无监督单目深度估计流程。
2024-03-04 cs.CV cs.RO
Neighbor-Vote: Improving Monocular 3D Object Detection through Neighbor Distance Voting
University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）
随着摄像机越来越多地部署在自动驾驶等新的应用领域，在单目图像上执行3D目标检测成为视觉场景理解的重要任务。单目3D目标检测的最新进展主要依赖于“伪LiDAR”的产生，其执行单目深度估计并将2D像素提升为伪3D点。然而，由于单目图像的深度估计的精度差，导致伪LiDAR点在对象内的不可避免的位置偏移。因此，预测的边界框可能遭受不准确的位置和变形的形状。在本文中，我们提出了一种新的邻居投票方法，结合邻居预测，以改善目标检测严重变形的伪激光雷达点云。具体来说，物体周围的每个特征点形成自己的预测，然后通过投票达成“共识”。通过这种方式，我们可以有效地将邻居的预测与本地预测相结合，实现更准确的3D检测。为了进一步扩大前景感兴趣区域（ROI）伪LiDAR点与背景点之间的差异，我们还将2D前景像素的ROI预测分数编码为相应的伪LiDAR点。我们在KITTI基准测试上进行了大量的实验，以验证我们所提出的方法的优点。我们的结果在鸟瞰图检测优于国家的最先进的性能由一个很大的利润，特别是对于“硬”的水平检测。
2021-07-06 cs.CV
Robust and Accurate Object Velocity Detection by Stereo Camera for Autonomous Driving
SUBARU Corporation（斯巴鲁公司）
虽然安装在车辆上的基于摄像机的传感器的数量最近急剧增加，但鲁棒且准确的物体速度检测是困难的。此外，使用雷达作为融合系统仍然很常见。我们已经开发出一种方法来准确地检测使用相机的对象的速度，基于大规模的数据集收集了20多年的汽车制造商，斯巴鲁。该方法由三种方法组成：一种融合多幅立体视差图像的高动态范围（HDR）检测方法，一种结合单目视差和立体视差结果的融合方法，以及一种新的速度计算方法。使用测量设备和测试过程中，可以定量再现恶劣的环境，通过安装在实际车辆上开发的立体相机进行评估。
2020-12-01 cs.CV
M3D-RPN: Monocular 3D Region Proposal Network for Object Detection
Michigan State University（密歇根州立大学）
了解3D世界是城市自动驾驶的关键组成部分。通常，昂贵的LiDAR传感器和立体RGB成像的组合对于成功的3D目标检测算法是至关重要的，而单目图像方法的性能大大降低。我们建议通过将单目3D检测问题重新表述为独立的3D区域建议网络来缩小差距。我们利用2D和3D透视图的几何关系，允许3D框利用图像空间中生成的众所周知的强大卷积特征。为了帮助解决繁重的3D参数估计，我们进一步设计了深度感知卷积层，其能够实现位置特定的特征开发，从而改善3D场景理解。与之前的单目3D检测工作相比，我们的方法仅由所提出的3D区域建议网络组成，而不是依赖于外部网络、数据或多个阶段。M3 D-RPN能够显著提高KITTI城市自动驾驶数据集中单目3D目标检测和鸟瞰视图任务的性能，同时有效地使用共享的多类模型。
2019-08-11 cs.CV
Extending Monocular Visual Odometry to Stereo Camera Systems by Scale Optimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）
提出了一种将单目视觉里程计扩展到立体摄像系统的新方法。所提出的方法使用一个额外的摄像头来准确地估计和优化单目视觉里程计的规模，而不是从立体匹配三角测量3D点。具体地，由单目视觉里程计生成的3D点被投影到立体对的另一个相机上，并且通过直接最小化测光误差来恢复和优化尺度。与直接的立体匹配相比，它在计算上是高效的，对立体视觉系统增加的开销最小，并且对重复纹理是鲁棒的。另外，直接尺度优化使得立体视觉里程计能够纯粹基于直接方法。对公共数据集的广泛评估（例如，KITTI）和室外环境（陆地和水下）的实验证明了通过尺度优化扩展的立体视觉里程计方法的准确性和效率，以及其在具有挑战性纹理的环境中的鲁棒性。
2019-09-17 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
Joint Recursive Monocular Filtering of Camera Motion and Disparity Map
单目场景重建对于机器人或自动驾驶等现代应用至关重要。虽然立体方法通常比单目方法产生更好的精度，但它们更昂贵且更难以校准。在这项工作中，我们提出了一种新型的二阶最佳最小能量滤波器，它在包含新型视差组的积李群上递归地联合估计相机运动、视差图和高阶运动学。这种数学框架能够处理非欧几里德状态空间，非线性观测和高维数，这对于大多数经典滤波器是不可行的。为了对离群值具有鲁棒性，我们在这个框架中使用广义Charbonnier能量函数，而不是相关工作中提出的二次能量函数。实验证实，我们的方法可以实现与最先进技术相媲美的准确重建。
2016-06-07 cs.CV math.OC
StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation
Beijing Jiaotong University（北京交通大学）；Dzine AI；University of Toronto（多伦多大学）
StereoWorld通过几何感知正则化和时空拼接方案，实现高效高质量的单目到立体视频生成。
2025-12-11 cs.CV
OASIS-DC: Generalizable Depth Completion via Output-level Alignment of Sparse-Integrated Monocular Pseudo Depth
Vehicle Intelligence Perception Lab (VIPLAB), Gachon University, Seongnam-si, Republic of Korea（高银大学）
OASIS-DC通过输出级对齐稀疏集成单目伪深度，实现无需大量标注样本的通用深度补全。
2026-02-01 cs.CV cs.RO
Reversing the cycle: self-supervised deep stereo through enhanced monocular distillation
University of Bologna（博洛尼亚大学）；China Agricultural University（中国农业大学）
在许多领域，自监督学习解决方案正在迅速发展，并填补了监督方法的空白。这一事实发生在基于单眼或立体的深度估计中，后者通常为前者提供有效的自我监督源。相比之下，软化典型的立体声文物，我们提出了一种新的自我监督范式扭转两者之间的联系。有目的地，为了训练深度立体网络，我们通过单眼完成网络提取知识。该架构利用传统立体算法提供的单图像线索和少量稀疏点，通过多个估计的共识机制来估计密集而准确的视差图。我们用流行的立体数据集彻底评估了不同监督信号的影响，显示了用我们的范式训练的立体网络如何优于现有的自监督框架。最后，我们的建议实现了显着的泛化能力处理域转移问题。代码可在https://github.com/FilippoAleotti/Reversing获得
2020-08-17 cs.CV
DROID-SLAM: Deep Visual SLAM for Monocular, Stereo, and RGB-D Cameras
Princeton University（普林斯顿大学）
我们介绍了DROID-SLAM，一个新的基于深度学习的SLAM系统。DROID-SLAM由通过Dense Bundle Adjustment层的相机姿态和像素深度的周期性迭代更新组成。DROID-SLAM是准确的，比以前的工作实现了很大的改进，并且坚固耐用，遭受的灾难性故障大大减少。尽管在单目视频上进行训练，但它可以利用立体声或RGB-D视频来提高测试时的性能。我们的开源代码的URL是https://github.com/princeton-vl/DROID-SLAM。
2022-02-02 cs.CV
Triangulation Learning Network: from Monocular to Stereo 3D Object Detection
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文研究了从立体图像中检测三维目标检测的问题，其关键在于如何有效地利用立体信息。与以前使用像素级深度图的方法不同，我们提出采用3D锚显式地构建立体图像中感兴趣区域之间的对象级对应关系，深度神经网络从中学习在3D空间中检测和三角测量目标对象。我们还引入了一个具有成本效益的通道重新加权策略，增强了代表性的功能，削弱了嘈杂的信号，以促进学习过程。所有这些都灵活地集成到一个使用单目图像的固体基线探测器中。我们证明了单目基线和立体三角测量学习网络在具有挑战性的KITTI数据集上的3D目标检测和定位方面优于现有的最先进技术。
2019-06-04 cs.CV
Unsupervised monocular stereo matching
Northeastern University（东北大学）
目前，深度学习在单目图像深度估计中的应用越来越多，并已显示出可喜的成果。目前较为理想的单目深度估计方法是基于地面真值深度的监督学习，但该方法需要大量昂贵的地面真值深度作为监督标签。因此，研究人员开始致力于无监督的深度估计方法。尽管无监督深度估计方法的精度仍低于有监督方法，但它是一个很有前途的研究方向。本文基于在相同的无监督深度估计模型下，立体匹配模型优于单目深度估计模型的实验结果，提出了一种无监督单目视觉立体匹配方法。为了实现单目立体匹配，我们构建了两个无监督的深度卷积网络模型，一个是从左视图重建右视图，另一个是利用重建的右视图和原始左视图估计深度图。这两个网络模型在测试阶段通过管道连接在一起。在具有挑战性的KITTI数据集上，该方法的输出结果优于当前主流的无监督深度估计方法。
2018-12-31 cs.CV
Learning Monocular Depth Estimation via Selective Distillation of Stereo Knowledge
Hyundai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
基于深度学习的单目深度估计已经得到了广泛的探索，但其准确性和泛化能力仍然远远落后于基于立体的方法。为了解决这个问题，最近的一些研究提出了通过提取视差图作为代理地面实况来监督单目深度估计网络。然而，这些研究天真地提取立体知识，而没有考虑基于立体和单目深度估计方法的比较优势。在本文中，我们建议选择性地提取视差图，以实现更可靠的代理监督。具体来说，我们首先设计一个解码器（MaskDecoder），它学习两个二进制掩码，这些掩码被训练为在代理视差图和每个像素的估计深度图之间进行最佳选择。然后，将学习到的掩码馈送到另一个解码器（DepthDecoder），以强制估计的深度仅从代理视差图中的掩蔽区域学习。此外，还设计了一个教师-学生模块，将StereoNet的几何知识转移到MonoNet。大量的实验验证了我们的方法在KITTI数据集上实现了最先进的自监督和代理监督单目深度估计性能，甚至超过了一些半监督方法。
2022-05-18 cs.CV
SGM3D: Stereo Guided Monocular 3D Object Detection
Fudan University（复旦大学）；Baidu Inc.（百度公司）
本文提出SGM3D框架，通过多粒度域自适应和IoU匹配对齐，将立体输入学到的三维特征迁移到单目检测中，在KITTI和Lyft上取得领先结果。
2022-02-24 cs.CV
Rethinking Monocular Depth Embedding for Generalized Stereo Matching
Shaanxi Key Laboratory for Network Computing and Security Technology, Xi’an University of Technology（陕西理工大学网络计算与安全技术重点实验室）；College of Computer Science, Sichuan University（四川大学计算机学院）
该研究重新思考单目深度嵌入用于广义立体匹配，通过减少分支耦合、构建软约束等方式，将单目信息集成到特征提取和GRU迭代中，还提出相关方法解决边界模糊问题，在多基准测试中达领先性能，提升了泛化能力与准确性。
2026-07-13 cs.CV
Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency
Hyndai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
本文提出一种无需真值和训练、利用多视差图一致性过滤伪深度图错误的自监督单目深度估计知识蒸馏方法，在无纹理、遮挡边界和反射表面等困难区域优于现有方法。
2024-01-23 cs.CV
Learning monocular depth estimation infusing traditional stereo knowledge
University of Bologna（博洛尼亚大学）
从单个图像的深度估计代表了一个迷人的，但具有挑战性的问题与无数的应用。最近的工作证明，这项任务可以在没有地面实况标签的直接监督下学习，利用序列或立体对的图像合成。针对这第二种情况，在本文中，我们利用立体匹配，以提高单目深度估计。为此，我们提出了monoResMatch，一种新的深度架构，旨在通过从不同的角度合成特征，与输入图像水平对齐，在两个线索之间进行立体匹配，从单个输入图像中推断深度。与之前分享这一原理的作品相比，我们的网络是第一个从头开始训练的端到端网络。此外，我们展示了如何通过传统的立体算法（如半全局匹配）获得代理地面实况注释，从而实现更准确的单目深度估计，同时通过保持自监督方法来对抗对昂贵深度标签的需求。详尽的实验结果证明了i）所提出的monoResMatch架构与ii）代理监督之间的协同如何达到自监督单目深度估计的最新技术水平。该代码可在https://github.com/fabiotosi92/monoResMatch-Tensorflow上公开获取。
2019-04-08 cs.CV
Mono2Stereo: Monocular Knowledge Transfer for Enhanced Stereo Matching
Beijing Institute of Technology（北京理工大学）
本文提出Mono2Stereo方法，通过两阶段训练（合成数据预训练和真实数据微调）将单目深度知识迁移至立体匹配，设计了数据生成流水线与S2DKD策略，显著提升了模型的零样本泛化能力和领域内性能。
2024-11-14 cs.CV
Learning Monocular Depth by Distilling Cross-domain Stereo Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
单目深度估计的目的是估计单个图像的逐像素深度图，其在场景理解和自动驾驶中具有广泛的应用。现有的监督和非监督方法面临着巨大的挑战。有监督方法需要大量的深度测量数据，这些数据通常很难获得，而无监督方法通常在估计精度方面受到限制。由图形引擎生成的合成数据为收集大量深度数据提供了一种可能的解决方案。然而，合成数据和真实数据之间的巨大领域差距使得直接使用它们进行训练具有挑战性。在本文中，我们建议使用立体匹配网络作为代理，从合成数据中学习深度，并使用预测的立体视差图来监督单目深度估计网络。跨域合成数据可以充分利用在这个新的框架。提出了不同的策略，以确保学习的深度感知能力很好地转移到不同的领域。我们广泛的实验表明，国家的最先进的单目深度估计的KITTI数据集的结果。
2018-08-20 cs.CV
Scale Estimation of Monocular SfM for a Multi-modal Stereo Camera
Nagoya University（名古屋大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
本文提出了一种新的方法来估计单目SfM的多模态立体相机的绝对尺度。在计算机视觉和机器人学领域，单目SfM的尺度估计已经被广泛研究以简化系统。本文解决了立体相机系统的尺度估计问题，其中两个相机捕获不同的光谱图像（例如，RGB和FIR），其特征点难以使用描述符直接匹配。此外，由于低分辨率和缺乏热场景纹理，FIR图像之间的匹配点的数量可能相对较小。为了应对这些困难，所提出的方法估计的尺度参数使用批量优化，基于极线约束的少数特征之间的不可见光图像的对应关系。通过合成和真实图像实验验证了该方法的精度和数值稳定性。
2018-10-28 cs.CV
Advancing Autonomous Driving: DepthSense with Radar and Spatial Attention
School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology（全州科学技术院电气工程与计算机科学学院）；Division of National Science and Technology Data (Large Scale AI Research Group), Korea Institute of Science and Technology Information (KISTI)（国家科学技术数据 division（大规模人工智能研究组），韩国科学技术信息研究院）；Department of Information Systems, College of Computer Sciences and Information Technology, King Faisal University（国王法尔萨大学信息系统系，计算机科学与信息科技学院）
DepthSense通过结合雷达与单目相机数据，提升自动驾驶中的深度估计精度，采用编码器-解码器架构和空间注意力机制，实现高效且准确的深度感知。
2025-11-23 cs.CV cs.LG cs.RO
Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light
Hefei University of Technology（合肥工业大学）；Orbbec（奥比中光）；Sun Yat-sen University（中山大学）
众所周知，被动立体声系统不能很好地适应弱纹理对象，例如，白墙然而，这些弱纹理目标在室内环境中非常常见。在本文中，我们提出了一种新的立体系统，它包括两个摄像机（RGB摄像机和红外摄像机）和红外散斑投影仪。RGB相机用于深度估计和纹理获取。IR相机和散斑投影仪可以形成单目结构光（MSL）子系统，而两个相机可以形成双目立体子系统。由MSL子系统生成的深度图可以为立体匹配网络提供外部指导，这可以显著提高匹配精度。为了验证所提出的系统的有效性，我们建立了一个原型，并收集了测试数据集在室内场景。评估结果表明，当使用网络RAFT时，该系统的Bad 2.0误差为被动立体声系统的28.2%。数据集和训练模型可在https://github.com/YuhuaXu/MonoStereoFusion上获得。
2022-03-20 cs.CV
PromptStereo: Zero-Shot Stereo Matching via Structure and Motion Prompts
Huazhong University of Science and Technology（华中科技大学）；Optics Valley Laboratory（光谷实验室）
PromptStereo通过结构和运动提示提升零样本立体匹配的泛化性能，提出PRU模块增强单目深度模型的潜在表示。
2026-03-03 cs.CV
Depth-Aware Rover: A Study of Edge AI and Monocular Vision for Real-World Implementation
Space Applications Centre（空间应用中心）；Institute of Advanced Indian Space Research（印度高级空间研究机构）；Indian Space Research Organization（印度空间研究组织）；Technology and Research（技术与研究）
本文研究了基于边缘AI和单目视觉的越野车导航，通过模拟和现实测试，发现单目深度估计在实际部署中更稳健且成本更低。
2026-04-24 cs.CV
Diving into the Fusion of Monocular Priors for Generalized Stereo Matching
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology, China（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学，中国）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China（广东机器感知与智能计算实验室，深圳MSU-BIT大学，中国）；NVIDIA
本文针对立体匹配在遮挡等病态区域的泛化问题，提出利用二值局部排序图统一相对与绝对深度表示，并将单目深度到视差的融合建模为配准问题，从而在跨数据集泛化中显著提升性能且几乎不损失效率。
2025-08-18 cs.CV
LS-Net: Learning to Solve Nonlinear Least Squares for Monocular Stereo
Imperial College London（帝国理工学院）
平方和目标函数是计算机视觉算法中非常常用的一种。然而，这些目标函数并不总是容易优化的。求解者所做的基本假设往往不被满足，许多问题本质上是不适定的。在本文中，我们提出了LS-Net，这是一种神经非线性最小二乘优化算法，即使在存在逆境的情况下，它也能有效地优化这些成本函数。与传统方法不同，所提出的求解器不需要手工制作的正则化器或先验，因为这些都是从数据中隐式学习的。我们应用我们的方法的问题，运动立体声即。从单目序列的图像对联合估计运动和场景几何形状。我们表明，我们学习的优化器能够有效地解决这个具有挑战性的优化问题。
2018-09-09 cs.CV
On the Importance of Stereo for Accurate Depth Estimation: An Efficient Semi-Supervised Deep Neural Network Approach
NVIDIA（英伟达）
我们重新审视自主车辆的背景下的视觉深度估计的问题。尽管近年来在单目深度估计方面取得了进展，但我们发现，单目和立体深度精度之间的差距仍然很大，这是一个特别相关的结果，因为预计将自动驾驶的车辆普遍依赖单目相机。我们认为，消除这一差距的挑战是显着的，由于单眼视觉的基本限制。因此，我们集中精力在立体声深度估计。我们提出了一种新的半监督学习方法来训练深度立体神经网络，以及一种新的架构，其中包含机器学习的argmax层和自定义运行时（将公开共享），使我们的立体DNN的较小版本能够在嵌入式GPU上运行。竞争结果显示在KITTI 2015立体数据集上。我们还评估了立体声算法的最新进展，通过测量各种设计标准的准确性的影响。
2020-07-08 cs.CV
StereoDETR: Stereo-based Transformer for 3D Object Detection
Shanghai University（上海大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
StereoDETR是一种基于立体的高效3D目标检测框架，通过结合单目DETR和立体分支，实现了比单目方法更快的速度和更高的准确性。
2025-11-24 cs.CV
Learn Stereo, Infer Mono: Siamese Networks for Self-Supervised, Monocular, Depth Estimation
Tel Aviv University（特拉维夫大学）；The Open University of Israel（以色列开放大学）
近年来，自监督单目深度估计领域取得了巨大的进步。大多数方法假设立体声数据在训练期间可用，但通常未充分利用它，仅将其视为参考信号。我们提出了一种新的自监督方法，它在训练过程中平等地使用左图像和右图像，但在测试时仍然可以使用单个输入图像，用于单目深度估计。我们的Siamese网络架构由两个孪生网络组成，每个网络都学习从单个图像预测视差图。然而，在测试时，仅使用这些网络中的一个来推断深度。我们在标准KITTI本征分裂基准测试中展示了最先进的结果，同时也是新KITTI单视图基准测试中得分最高的自监督方法。为了证明我们的方法推广到新数据集的能力，我们进一步提供了Make3D基准测试的结果，该测试在训练期间没有使用。
2019-05-01 cs.CV
A Large RGB-D Dataset for Semi-supervised Monocular Depth Estimation
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）；Agency for Defense Development（国防发展局）
当前用于单目深度估计的自监督方法主要基于在训练阶段期间利用立体图像对或单目序列的深度嵌套卷积网络。然而，它们通常在遮挡区域和深度边界周围显示不准确的结果。在本文中，我们提出了一个简单而有效的方法，单目深度估计使用立体图像对。该研究旨在提出一种学生-教师策略，在该策略中，浅层学生网络使用从更深、更准确的教师网络获得的辅助信息进行训练。具体来说，我们首先训练立体教师网络充分利用双目感知的3-D几何，然后使用教师网络的深度预测训练学生网络的单眼深度推理。这使我们能够利用所有可用的深度数据，从大量的未标记的立体对。我们提出了一种策略，该策略涉及使用数据集成来合并教师网络的多个深度预测，以通过收集超出单个预测的非平凡知识来改进训练样本。为了改进训练学生网络时使用的不准确的深度估计，我们进一步提出了立体置信度引导的回归损失，该回归损失处理遮挡、无纹理区域和重复模式中不可靠的伪深度值。为了补充现有的户外驾驶场景数据集，我们建立了一个新的大规模数据集，由100万张使用手持立体相机拍摄的户外立体图像组成。最后，我们证明了单目深度估计网络提供了适合于高层次视觉任务的特征表示。各种户外场景的实验结果表明，我们的方法，它优于国家的最先进的方法的有效性和灵活性。
2021-10-22 cs.CV
Beyond Monocular Deraining: Parallel Stereo Deraining Network Via Semantic Prior
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Inception Institute of Artificial Intelligence（启元人工智能研究院）；Meituan Group（美团集团）；Australian National University（澳大利亚国立大学）；Tencent（腾讯）；Beijing Institute of Technology（北京理工大学）
下雨是一种常见的自然现象。然而，在雨中拍摄图像通常会导致图像质量下降，从而损害许多计算机视觉系统的性能。现有的大多数去雨算法只使用一幅输入图像，目的是恢复一幅干净的图像。很少有工作利用立体图像。此外，即使是基于单图像的单目去噪，目前的许多方法也不能令人满意地完成任务，因为它们大多依赖于每像素损失函数，而忽略了语义信息。在本文中，我们提出了一个成对的雨去除网络（PRRNet），它利用立体图像和语义信息。具体地说，我们开发了一个语义感知的脱层模块（SADM），它解决了语义分割和脱层的场景，语义融合网络（SFNet）和视图融合网络（VFNet），分别融合语义信息和多视图信息的任务。此外，我们还介绍了一个增强的成对雨去除网络（EPRRNet），利用语义之前，从立体图像中删除雨条纹。首先使用粗去噪网络去除输入图像上的雨纹，然后使用预先训练好的语义分割网络从粗去噪后的图像中提取语义特征。最后，一个并行的立体去盲网络融合语义和多视图信息，以恢复更精细的结果。我们还提出了新的立体声为基准的雨天数据集。在单目和新提出的立体雨天数据集上的实验表明，该方法达到了最先进的性能。
2021-05-09 cs.CV
MonoMVSNet: Monocular Priors Guided Multi-View Stereo Network
University of Science and Technology Beijing（北京科技大学）
提出MonoMVSNet，通过引入单目特征和深度先验解决MVS在无纹理和反射区域的特征匹配失败问题，在DTU和Tanks-and-Temples基准上达到最先进性能。
2025-07-15 cs.CV
MonSter++: Unified Stereo Matching, Multi-view Stereo, and Real-time Stereo with Monodepth Priors
School of Electronic Information and Communications, Huazhong University of Science and Technology（电子信息与通讯学院，华中科技大学）；Meta；AI Chip Center, Hong Kong University of Science and Technology（香港科技大学人工智能芯片中心）；Nanjing Forestry University（南京林业大学）；Autel Robotics
MonSter++通过双分支架构融合单目深度先验与多视点线索，迭代互增强解决病态区域匹配难题，在立体匹配、实时立体和多视点立体八个基准上达到最先进水平。
2025-09-25 cs.CV
BridgeDepth: Bridging Monocular and Stereo Reasoning with Latent Alignment
The Chinese University of Hong Kong（香港中文大学）；University at Buffalo（布法罗大学）；Spatial AI & Robotics Lab（空间人工智能与机器人实验室）
提出统一框架BridgeDepth，通过交叉注意力机制对单目与立体深度估计的潜在表示进行迭代双向对齐，利用单目先验解决立体模糊性并用立体几何细化单目深度，在Middlebury和ETH3D上零样本泛化误差降低超40%。
2025-08-13 cs.CV cs.RO
Geometric Reciprocity: Unlocking Self-Supervision for Stereoscopic Video Generation
Visual AI Lab, The University of Hong Kong, Hong Kong, China（香港大学视觉人工智能实验室）
针对单目转立体任务中立体修复依赖稀缺标注数据的问题，提出几何互易性定理，构建自监督框架，从海量单目视频学习，性能远超现有无监督、监督SOTA方法。
2026-07-07 cs.CV
Flow-Motion and Depth Network for Monocular Stereo and Beyond
HKUST（香港科技大学）
我们提出了一种基于学习的方法，解决了单目立体，并可以扩展到融合深度信息从多个目标帧。给定来自具有已知内在校准的单目相机的两个无约束图像，我们的网络估计源图像的相对相机姿态和深度图。所提出的方法的核心贡献是三方面的。首先，为静态场景定制了一个网络，该网络联合估计光流和相机运动。通过联合估计，光流搜索空间逐渐减小，导致高效且准确的流估计。其次，提出了一种新的三角层来编码估计的光流和相机运动，同时避免了由极线引起的常见数值问题。第三，除了两个视图的深度估计，我们进一步扩展了上述网络，融合来自多个目标图像的深度信息，并估计源图像的深度图。为了进一步使研究界受益，我们引入了一些工具来生成逼真的运动结构数据集，以便可以很好地训练和评估深度网络。与以往的方法相比，所提出的方法，并在更短的时间内达到国家的最先进的结果。从现实世界的应用和谷歌地球的图像被用来证明该方法的泛化能力。
2019-09-12 cs.CV
PanoDepth: A Two-Stage Approach for Monocular Omnidirectional Depth Estimation
University of Missouri（密苏里大学）；BOSCH Research China（博世中国研究中心）；BOSCH Research North America（博世北美研究中心）
全方位的3D信息是必不可少的广泛的应用，如虚拟现实，自动驾驶，机器人等，在本文中，我们提出了一种新的，模型不可知的，两个阶段的管道全方位单目深度估计。我们提出的框架PanoDepth以一个360图像作为输入，在第一阶段产生一个或多个合成视图，并将原始图像和合成图像馈送到后续的立体匹配阶段。在第二阶段，我们提出了一个可微的球形扭曲层，以有效地处理全向立体几何。通过在立体匹配阶段利用显式的基于立体的几何约束，PanoDepth可以生成密集的高质量深度。我们进行了广泛的实验和消融研究，以评估PanoDepth与整个管道以及每个阶段的单个模块。我们的研究结果表明，PanoDepth优于国家的最先进的方法的360单眼深度估计的大幅度。
2022-02-02 cs.CV
M2Depth: Unifying Monocular Depth Foundation Priors with Multi-View Stereo
Dongguk University（东国大学）；dot（42dot）
M2Depth框架通过双向互细化策略耦合深度基础模型与级联多视图立体匹配流程，引入先验引导的代价体细化机制，在标准基准上优于现有多视图立体匹配方法，且对稀疏视图设置泛化能力出色。
2026-08-24 cs.CV
STS: Surround-view Temporal Stereo for Multi-view 3D Detection
MEGVII Technology（旷视科技）；Peking University（北京大学）；Beihang University（北京航空航天大学）
学习准确的深度对于多视图3D目标检测是必不可少的。最近的方法主要是从单目图像中学习深度，由于单目深度学习的不适定性，这些方法面临固有的困难。在这项工作中，我们提出了一种新的环绕视图时间立体（STS）技术，该技术利用帧之间的几何对应关系来促进准确的深度学习，而不是使用单一的单目深度方法。具体地说，我们把本车周围所有摄像机的视野作为一个统一的视图，即环绕视图，并对其进行时间立体匹配，得到的STS不同帧之间的几何对应关系被利用，并结合单目深度产生最终的深度预测。nuScenes上的综合实验表明，STS大大提高了3D检测能力，特别是对于中距离和长距离物体。在使用ResNet-50主干的BEVDepth上，STS分别将mAP和NDS提高了2.6%和1.4%。当使用更大的主干和更大的图像分辨率时，观察到一致的改善，证明了其有效性
2022-08-22 cs.CV
Single View Stereo Matching
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Sun Yat-sen University（中山大学）
以前的单目深度估计方法采用单一视图并直接回归预期结果。虽然最近的进展是通过在训练过程中应用几何启发的损失函数，推理过程并没有明确地施加任何几何约束。因此，这些模型纯粹依赖于数据的质量和学习概括的有效性。这要么会导致次优结果，要么需要大量昂贵的地面实况标记数据来生成合理的结果。在本文中，我们首次表明，单目深度估计问题可以重新表述为两个子问题，一个视图合成过程，其次是立体匹配，有两个有趣的属性，即i）几何约束可以明确施加在推理过程中; ii）对标记的深度数据的需求可以大大减轻。我们表明，整个管道仍然可以以端到端的方式进行训练，这种新的配方在提高性能方面发挥着关键作用。所得到的模型优于所有以前的单目深度估计方法，以及立体块匹配方法在具有挑战性的KITTI数据集，仅使用少量的真实训练数据。该模型也推广到其他单目深度估计基准。我们还讨论了解决单目深度估计立体方法的影响和优势。
2018-03-09 cs.CV
Geometric Distillation from Rectified Stereo: Leveraging Epipolar Cues for Monocular Depth
Michigan State University（密歇根州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究针对单目深度估计在不同环境下的难题，提出将多视图模型的尺度感知几何先验转移到单目深度基础模型的框架，通过对极蒸馏方法，无需多视图输入就能保持几何一致性，显著提升零样本度量深度估计性能，且与模型无关。
2026-09-03 cs.CV
Active Perception with A Monocular Camera for Multiscopic Vision
Hong Kong University of Science and Technology（香港科技大学）
我们设计了一个多视角视觉系统，利用低成本的单目RGB摄像机，以获得准确的深度估计的机器人应用。与具有在不受约束的相机姿势处捕获的图像的多视图立体视觉不同，所提出的系统主动地控制具有安装的相机的机器人臂以捕获具有相同视差的水平或垂直对准位置中的图像序列。在这个系统中，我们结合的参考图像和周围的图像之间的立体匹配的成本体积，形成一个融合的成本体积，是强大的离群值。在Middlebury数据集上的实验和真实机器人实验表明，我们获得的视差图比两帧立体匹配更准确：在我们的实验中，平均绝对误差减少了50.2%。
2020-01-22 cs.CV
Prism: Semi-Supervised Multi-View Stereo with Monocular Structure Priors
University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对无监督MVS在真实复杂数据上性能差、合成数据训练的MVS泛化性弱的问题，提出半监督框架Prism，借助合成数据训练的单目深度先验与新型损失函数，实现性能显著提升，为多源数据训练MVS提供新思路。
2024-12-08 cs.CV
M2SVid: End-to-End Inpainting and Refinement for Monocular-to-Stereo Video Conversion
Google（谷歌）；Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学）；Goethe University Frankfurt（法兰克福歌德大学）；MPI for Informatics, Saarland Informatics Campus（信息研究所，萨尔兰信息校区）；Technical University of Munich（慕尼黑技术大学）
M2SVid通过端到端修复和细化技术，实现单目到立体视频转换，生成高质量右视图并提升效率。
2025-11-25 cs.CV
Monocular Depth Estimation with Augmented Ordinal Depth Relationships
The University of Adelaide（阿德莱德大学）；Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Shanghai Institute for Advanced Communications and Data Science, Shanghai University（上海大学上海先进通信与数据科学研究院）
大多数现有的单目图像深度估计算法需要大量的度量地面实况深度用于监督学习。我们表明，相对深度可以是度量深度估计的信息线索，可以很容易地从大量的立体视频。由于缺少摄像机参数，从立体视频中获取度量深度有时是不切实际的。在本文中，我们提出了提高性能的度量深度估计与相对深度收集立体电影视频使用现有的立体匹配算法。我们引入了一个新的“相对立体深度”（RDIS）数据集密集标记的相对深度。我们首先在RDIS数据集上预训练ResNet模型。然后，我们在具有度量地面真实深度的RGB-D数据集上微调模型。在我们的微调，我们制定深度估计作为一个分类任务。这种重新制定方案使我们能够获得概率分布形式的深度预测的置信度。有了这种信心，我们提出了一个信息增益损失，以利用接近地面实况的预测。我们在室内和室外基准RGB-D数据集上评估了我们的方法，并实现了最先进的性能。
2019-07-11 cs.CV
DEFOM-Stereo: Depth Foundation Model Based Stereo Matching
Insta360 Research（Insta360研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
DEFOM-Stereo将单目深度基础模型融入循环立体匹配框架，通过特征整合与尺度更新提升视差估计，在多个基准上取得顶尖性能，并展现出强零样本泛化能力。
2025-04-23 cs.CV
Increased-Range Unsupervised Monocular Depth Estimation
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
无监督深度学习方法在单图像深度估计方面表现出了良好的性能。由于这些方法中的大多数使用双目立体对进行自我监督，因此深度范围通常是有限的。小基线立体对提供小的深度范围，但可以很好地处理遮挡。另一方面，用宽基线钻机采集的立体图像在近距离内引起与遮挡相关的误差，但在远距离内很好地估计深度。在这项工作中，我们建议将小基线和宽基线的优点结合起来。通过使用三个水平对齐的视图训练网络，我们可以获得近距离和远距离的准确深度预测。我们的策略允许从单个图像推断多基线深度。这与采用两个以上相机的先前多基线系统不同。定性和定量的结果表明，多基线的方法优于以往的立体为基础的单目方法的性能。对于0.1到80米的深度范围，我们的方法与Monodepth 2相比，深度的绝对相对误差降低了24%。我们的方法在单个Nvidia1080 GPU上每秒提供21帧，使其对实际应用非常有用。
2020-06-23 cs.CV
DeMoN: Depth and Motion Network for Learning Monocular Stereo
University of Freiburg（弗赖堡大学）；Daimler AG R&D（戴姆勒股份公司研发部）
在本文中，我们制定运动恢复结构作为一个学习问题。我们训练一个端到端的卷积网络，从连续的、无约束的图像对中计算深度和相机运动。该架构由多个堆叠的编码器-解码器网络组成，核心部分是一个能够改进自身预测的迭代网络。该网络不仅估计深度和运动，而且还估计表面法线、图像之间的光流和匹配的置信度。该方法的一个重要组成部分是基于空间相对差异的训练损失。与传统的两帧运动恢复结构运动恢复结构方法相比，该方法具有更高的精度和更强的鲁棒性。与流行的单图像深度网络相比，DeMoN学习了匹配的概念，因此可以更好地推广到训练过程中看不到的结构。
2017-04-11 cs.CV
Fusion of stereo and still monocular depth estimates in a self-supervised learning context
我们研究了自主机器人如何通过自我学习来提高其深度估计能力。特别是，我们研究了一种自监督学习设置，其中立体视觉深度估计作为卷积神经网络（CNN）的目标，将单个静止图像转换为密集的深度图。在训练之后，立体声和单声道估计用新颖的融合方法融合，该方法保留高置信度立体声估计，同时利用低置信度区域中的CNN估计。文章的主要贡献是，它表明，融合估计导致更高的性能比单独的立体视觉估计。在KITTI数据集和Parrot SLAMDunk上进行的实验表明，即使是相当有限的CNN也可以帮助为配备立体视觉的机器人提供更可靠的深度图，用于自主导航。
2018-03-20 cs.CV cs.RO
Gated3D: Monocular 3D Object Detection From Temporal Illumination Cues
Algolux（Algolux公司）；Daimler AG（戴姆勒股份公司）；Ulm University（乌尔姆大学）；Princeton University（普林斯顿大学）
当今最先进的3D目标检测方法基于激光雷达、立体或单目相机。基于激光雷达的方法实现了最佳的精度，但是具有大的覆盖区、高成本和机械限制的角度采样率，导致在长距离处的低空间分辨率。最近基于低成本单目或立体相机的方法有望克服这些局限性，但由于它们依赖无源CMOS传感器，因此在低光或低对比度区域会遇到困难。在这项工作中，我们提出了一种新的三维目标检测模式，利用时间照明线索从低成本的单目门控成像器。我们提出了一种新的深度检测器架构，Gated3D，这是专为三个门控图像的时间照明线索。门控图像使我们能够利用成熟的2D对象特征提取器，通过截头体段估计来指导3D预测。我们在一个新的3D检测数据集上评估了所提出的方法，该数据集包括在超过10，000公里的驾驶数据中捕获的门控图像。我们验证，我们的方法优于国家的最先进的单眼和立体的方法在长距离。我们将发布我们的代码和数据集，开辟一种新的传感器模式，作为在自动驾驶中取代激光雷达的途径。
2021-02-06 cs.CV
Self-Supervised Monocular Depth Hints
Niantic；UCL（伦敦大学学院）
单目深度估计器可以用来自双目立体数据的各种形式的自我监督来训练，以规避对高质量激光扫描或其他地面实况数据的需求。然而，缺点是与自监督学习一起使用的光度重投影损失通常具有多个局部最小值。这些看似可行的替代方案可能会限制回归网络的学习，导致它预测质量有限的深度图。作为一个突出的例子，薄结构周围的深度不连续性经常被当前最先进的方法错误地估计。在这里，我们研究的问题，模糊的重新预测深度预测立体的自我监督，并引入深度提示，以减轻其影响。深度提示是从简单的现成的立体声算法获得的补充深度建议。这些提示增强了现有的光度损失函数，并用于指导网络学习更好的权重。它们不需要额外的数据，并且仅在某些时候被认为是正确的。我们表明，使用我们的深度提示在训练几个领先的自监督立体模型时，不仅是我们自己的模型，而且会有很大的提升。此外，结合其他良好的实践，我们在KITTI基准上产生了最先进的深度预测。
2019-09-19 cs.CV
ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras
Instituto de Investigación en Ingeniería de Aragón (I3A), Universidad de Zaragoza（萨拉戈萨大学阿拉贡工程研究所（I3A））；Oculus Research
我们提出了ORB-SLAM 2一个完整的SLAM系统的单眼，立体和RGB-D相机，包括地图重用，闭环和重新定位功能。该系统可在各种环境中在标准CPU上实时工作，从小型手持室内序列到工业环境中的无人机飞行和城市周围的汽车驾驶。我们的后端基于单目和立体观测的光束法平差，可以使用度量尺度进行精确的轨迹估计。我们的系统包括一个轻量级的定位模式，利用视觉里程计跟踪未映射的区域和匹配的地图点，允许零漂移定位。对29个流行的公共序列的评估表明，我们的方法达到了最先进的精度，在大多数情况下是最准确的SLAM解决方案。我们发布源代码，不仅是为了SLAM社区的利益，也是为了为其他领域的研究人员提供开箱即用的SLAM解决方案。
2017-06-19 cs.CV cs.RO
Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World
The University of Sydney（悉尼大学）
单目视觉里程计（VO）通过提供实时车辆运动从成本效益的相机图像吸引了广泛的研究关注。然而，最先进的基于优化的单目VO方法遭受长期预测的尺度不一致问题。最近引入了深度学习，通过利用训练数据集中的立体序列或地面实况运动来解决这个问题。然而，它带来了数据汇集的额外成本，并且这样的训练数据可能在所有数据集中都不可用。在这项工作中，我们提出了VRVO，一种新的框架，用于从虚拟数据中检索绝对比例，可以很容易地从现代仿真环境中获得，而在真正的领域没有立体声或地面实况数据需要在训练或推理阶段。具体来说，我们首先训练一个尺度感知的视差网络使用单目真实图像和立体虚拟数据。通过使用对抗性训练策略将来自两个域的图像映射到共享特征空间来弥合虚拟到真实域的差距。由此产生的规模一致的差异，然后集成与直接VO系统通过构建一个虚拟的立体目标，确保在长轨迹的规模一致性。此外，为了解决由单独的优化后端和学习过程引起的次优问题，我们进一步提出了一个相互加强的管道，允许学习和优化之间的双向信息流，从而提高了彼此的鲁棒性和准确性。我们证明了我们的框架在KITTI和vKITTI2数据集上的有效性。
2022-03-11 cs.CV
