Improving Monocular Visual Odometry Using Learned Depth
The University of Adelaide（阿德莱德大学）；The University of Hong Kong（香港大学）；Northwest A&F University（西北农林科技大学）；CSIRO Data61（联邦科学与工业研究组织数据61研究所）；Zhejiang University（浙江大学）
单目视觉里程计（VO）是机器人学和计算机视觉中的一个重要课题。到目前为止，如何建立准确和强大的单目VO系统，可以很好地工作在不同的场景仍然在很大程度上没有解决。在本文中，我们提出了一个框架，利用单目深度估计，以改善VO。我们的框架的核心是一个单目深度估计模块，具有强大的泛化能力，为不同的场景。它由两个独立的工作模式组成，以协助定位和映射。利用单个单目图像输入，深度估计模块预测相对深度以帮助定位模块提高准确度。利用稀疏深度图和RGB图像输入，深度估计模块可以生成用于密集映射的精确的尺度一致深度。与现有的基于学习的VO方法相比，该方法对不同场景具有更强的泛化能力。更重要的是，我们的框架能够大幅提升现有基于几何的VO方法的性能。
2022-04-04 cs.CV
Ground Plane based Absolute Scale Estimation for Monocular Visual Odometry
Baidu Inc.（百度公司）；National Engineering Laboratory of Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Australia Centre for Robotic Vision（澳大利亚机器人视觉中心）
从单目相机恢复绝对度量尺度对于基于单目相机的系统是具有挑战性但非常期望的问题。通过使用不同种类的线索，已经提出了各种方法的规模估计，如相机的高度，对象的大小等。在本文中，首先，我们总结了不同种类的规模估计方法。然后，通过分析不同方法的优缺点，提出了一种鲁棒的基于地平面和摄像机高度的分而治之的绝对尺度估计方法。通过使用估计的尺度，已经提出了一种有效的尺度校正策略，以减少在单目视觉里程计（VO）估计过程中的尺度漂移。最后，在公开和自采集的图像序列上验证了该方法的有效性和鲁棒性。
2019-03-03 cs.CV
Dense Prediction Transformer for Scale Estimation in Monocular Visual Odometry
Aeronautics Institute of Technology（航空技术研究所）
单目视觉里程计通过单个摄像机的图像来估计智能体的位置，并且它被应用于自动驾驶车辆、医疗机器人和增强现实。然而，单目系统由于在2D帧中缺乏深度信息而遭受尺度模糊问题。本文的贡献，显示应用密集预测Transformer模型的规模估计单目视觉里程计系统。实验结果表明，该模型通过对深度图的精确估计，可以有效降低单目系统的尺度漂移问题，在视觉里程计基准测试中具有较好的性能。
2022-10-04 cs.AI cs.CV
Recurrent Neural Network for (Un-)supervised Learning of Monocular VideoVisual Odometry and Depth
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
基于深度学习的单视图深度估计方法最近已经显示出非常有希望的结果。然而，这种方法忽略了人类视觉系统中用于确定深度的最重要特征之一，即运动。我们提出了一种基于学习的多视图密集深度图和里程估计方法，该方法使用递归神经网络（RNN）并利用多视图图像重投影和前向-后向流一致性损失进行训练。我们的模型可以在监督甚至无监督模式下进行训练。它是专为深度和视觉里程计估计从视频输入帧的时间相关。然而，它也推广到单视图深度估计。我们的方法在KITTI驾驶数据集上产生优于最先进的基于单视图和多视图学习的深度估计方法的结果。
2019-04-15 cs.CV
Tight Integration of Feature-based Relocalization in Monocular Direct Visual Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense GmbH
在本文中，我们提出了一个框架集成基于地图的重新定位到在线直接视觉里程计。为了实现基于地图的直接方法的重新定位，我们将图像特征集成到直接稀疏测距法（DSO），并依靠特征匹配将在线视觉里程计（VO）与先前构建的地图相关联。重新定位姿势的整合是三方面的。首先，将它们作为姿态先验纳入前端跟踪的直接图像对准中。其次，它们与后端捆绑式调整紧密结合。第三，进一步提出了一个在线融合模块，将相对VO位姿和全局重定位位姿组合在一个位姿图中，以估计关键帧平滑和全局精确的位姿。我们在两个多天气数据集上评估了我们的方法，展示了整合不同手工制作和学习功能的好处，并展示了相机跟踪精度的有希望的改进。
2021-03-29 cs.CV
Enhancing self-supervised monocular depth estimation with traditional visual odometry
Univrses AB（Univrses AB公司）；University of Bologna（博洛尼亚大学）
从单个图像估计深度代表了利用多个相机的更传统方法的有吸引力的替代方案。在这个领域，深度学习取得了出色的成果，但代价是需要大量标记有精确深度测量的数据进行训练。通过利用单目序列或立体声对代替昂贵的地面实况深度注释的自监督方法，这个问题得到了缓解。本文使进一步提高单目深度估计集成到现有的自监督网络的几何先验。具体来说，我们提出了一个稀疏不变的自动编码器能够处理传统的视觉里程计算法的输出协同工作的深度从单声道网络。在KITTI数据集上的实验结果表明，通过利用几何先验，我们的建议：i）优于文献中的现有方法，ii）与紧凑和复杂的单声道深度架构很好地结合，允许其在高端GPU以及嵌入式设备（例如，NVIDIA Jetson TX2）。
2019-08-12 cs.CV
Unsupervised Learning of Monocular Depth Estimation and Visual Odometry with Deep Feature Reconstruction
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Indian Institute of Technology (BHU)（印度理工学院（贝拿勒斯印度教大学））
尽管基于学习的方法在单视图深度估计和视觉里程计中显示出有希望的结果，但是大多数现有方法以监督的方式处理任务。最近的单视图深度估计方法探索了通过最小化光度误差来在没有完全监督的情况下学习的可能性。在本文中，我们探讨使用立体序列学习深度和视觉里程计。立体序列的使用使得能够使用空间（左右对之间）和时间（向前向后）光度扭曲误差，并将场景深度和相机运动约束为常见的真实世界尺度。在测试时，我们的框架是能够估计单视图深度和两个视图里程从单目序列。我们还展示了如何通过考虑深度特征的扭曲来改善标准的光度扭曲损失。我们通过大量的实验表明：（i）由于对深度施加的额外约束，对单视图深度和视觉里程计的联合训练提高了深度预测，并实现了视觉里程计的竞争结果;（ii）基于深度特征的扭曲损失改善了单视图深度估计和视觉里程计的简单光度扭曲损失。我们的方法在这两项任务中都优于KITTI驾驶数据集上现有的基于学习的方法。源代码可在https://github.com/Huangying-Zhan/Depth-VO-Feat上获得
2018-04-05 cs.CV
DeepVO: A Deep Learning approach for Monocular Visual Odometry
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
基于深度学习的技术已经被精确地采用来解决许多标准的计算机视觉问题，其中一些是图像分类、目标检测和分割。尽管这些方法取得了广泛的成功，但它们还没有被大量地用于解决自主导航中遇到的标准感知相关问题，例如视觉里程计（VO）、运动恢复结构（SfM）和同时定位与地图构建（SLAM）。本文使用基于深度学习的框架来分析单目视觉里程计的问题，而不是常规的"特征检测和跟踪"管道方法。进行了几项实验，以了解已知/未知环境、传统可跟踪特征和针对对象分类调整的预训练激活对网络准确估计相机（或车辆）运动轨迹的能力的影响。基于这些观察，我们提出了一个卷积神经网络架构，最适合于在已知的环境条件下估计对象的姿态，并显示有前途的结果，当涉及到推断的实际规模，仅使用一个单一的相机在实时。
2016-11-18 cs.CV
Self-supervised Pretraining and Finetuning for Monocular Depth and Visual Odometry
Naver Labs Europe（欧洲Naver实验室）
本文提出两阶段自监督 transformer 训练框架，结合 CroCo 预训练与无标注视频微调，在六类数据集上同时提升单目深度和视觉里程计性能。
2024-06-16 cs.CV
A high-precision self-supervised monocular visual odometry in foggy weather based on robust cycled generative adversarial networks and multi-task learning aided depth estimation
North University of China（中北大学）
本文提出了一种高精度的自监督单目VO，这是专门设计用于雾天导航。设计了一种循环生成对抗网络，通过强制前向和后向半循环输出一致的估计，获得高质量的自监督损失。此外，基于梯度的损失和感知损失的引入，以消除复杂的光度变化的自我监督损失在雾天的干扰。为解决深度估计的不适定性问题，基于雾天图像深度估计与透射图计算之间的强相关性，设计了一种自监督多任务学习辅助深度估计模块。在人工雾天KITTI数据集上的实验结果表明，本文提出的自监督单目VO在深度和姿态估计方面优于文献中其他最先进的单目VO，表明所设计的方法更适合雾天。
2022-03-09 cs.CV
D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
我们提出D3 VO作为一种新的框架，用于单目视觉里程计，在三个层面上利用深度网络-深度，姿态和不确定性估计。我们首先提出了一种新的自监督单目深度估计网络训练立体视频没有任何外部监督。特别地，它将训练图像对对齐到具有预测亮度变换参数的相似照明条件中。此外，我们对输入图像上像素的光度不确定性进行建模，这提高了深度估计的准确性，并为直接（无特征）视觉里程计中的光度残差提供了一个学习的加权函数。评估结果表明，该网络优于国家的最先进的自我监督深度估计网络。D3 VO将预测的深度、姿态和不确定性紧密结合到直接的视觉里程计方法中，以增强前端跟踪和后端非线性优化。我们在KITTI里程计基准和EuRoC MAV数据集上对D3 VO进行了单眼视觉里程计的评估，结果表明D3 VO的性能大大优于传统的单眼VO方法。它还实现了与KITTI上最先进的立体/LiDAR里程计和EuRoC MAV上最先进的视觉惯性里程计相当的结果，同时仅使用单个相机。
2020-03-28 cs.AI cs.CV
Monocular Visual Odometry with a Rolling Shutter Camera
Gwanju Institue Science and Technology（光州科学技术院）
滚动快门（RS）相机由于低成本成像能力而变得普及。然而，当相机或对象移动或照明条件改变时，RS相机遭受不期望的伪影。因此，使用RS相机的单目视觉里程计（MVO）会产生不准确的自我运动估计。以前的作品解决了这个RS失真的问题，从图像和/或惯性传感器的运动预测。然而，MVO在处理相机运动突然改变时（例如，移动相机的振动瞬时引起极快的运动）的RS失真时仍然有麻烦。为了解决这个问题，我们提出了一种新的MVO算法，考虑到遥感相机的几何特性。该算法的核心思想是新的RS本质矩阵，它包含了在每帧的瞬时角速度和线速度。我们的算法产生准确和强大的自我运动估计在一个在线的方式，并适用于各种移动应用与RS相机。通过对合成数据集和真实数据集的定量和定性比较，验证了该算法的优越性。
2017-04-24 cs.CV
Learning Monocular Visual Odometry via Self-Supervised Long-Term Modeling
Virginia Tech（弗吉尼亚理工大学）；NEC Labs America（NEC美国实验室）；UCSD（加州大学圣迭戈分校）
单目视觉里程计（VO）在帧到帧姿态估计期间遭受严重的误差累积。在本文中，我们提出了一个自监督学习方法VO与特别考虑的一致性在较长的序列。为此，我们使用具有双层卷积LSTM模块的姿势网络来建模姿势预测中的长期依赖性。我们训练网络与纯粹的自我监督的损失，包括一个周期的一致性损失，模仿几何VO中的循环闭合模块。受先前几何系统的启发，我们允许网络在训练期间超越一个小的时间窗口，通过一个新的损失，包括时间上遥远的（例如，O（100））帧。考虑到GPU内存的限制，我们提出了一个阶段式的训练机制，其中第一阶段在本地时间窗口中操作，第二阶段在给定第一阶段特征的情况下使用“全局”损失来细化姿势。我们在几个标准VO数据集上展示了具有竞争力的结果，包括KITTI和TUM RGB-D。
2020-07-21 cs.CV
Challenges in Monocular Visual Odometry: Photometric Calibration, Motion Bias and Rolling Shutter Effect
Technical University of Munich（慕尼黑工业大学）；Artisense（Artisense公司）；Chair for Computer Vision and Artificial Intelligence, Department of Informatics, Technical University of Munich, Germany（慕尼黑工业大学信息学系计算机视觉与人工智能研究室）
单目视觉里程计（VO）和同时定位与地图构建（SLAM）在准确性、鲁棒性和效率方面已经有了巨大的改进，并且近年来越来越受欢迎。然而，没有这么多的讨论已经进行，以揭示三个非常有影响力的，但容易被忽视的方面的影响：测光校准，运动偏差和卷帘快门效应。在这项工作中，我们定量评估这三个方面的直接，基于特征的和半直接的方法的艺术状态，提供了有用的实用知识，既可以更好地应用现有的方法和开发新的算法VO和SLAM的社会。结论（其中一些是反直觉的）得出的技术和实证分析，我们所有的实验。针对现有方法提出了可能的改进，例如提高ORB-SLAM的亚像素精度，从而提高其性能。
2018-06-07 cs.CV
WGANVO: Monocular Visual Odometry based on Generative Adversarial Networks
CIFASIS (CONICET-UNR)（阿根廷国家科学技术研究理事会-罗萨里奥国立大学联合研究所）
在这项工作中，我们提出了WGANVO，一种基于深度学习的单眼视觉里程计方法。具体地，训练神经网络以从图像对回归姿态估计。使用半监督方法进行训练。与基于几何的单目方法不同，该方法可以在不需要先验知识和额外信息的情况下恢复场景的绝对尺度。该系统的评估是在著名的KITTI数据集上进行的，它被证明是实时的工作的，所获得的准确性令人鼓舞，可以继续开发基于深度学习的方法。
2020-07-27 cs.CV cs.RO
Learning by Inertia: Self-supervised Monocular Visual Odometry for Road Vehicles
Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了iDVO（惯性嵌入式深度视觉里程计），一种基于自监督学习的道路车辆单目视觉里程计（VO）。当对相邻帧内的几何一致性进行建模时，大多数深度VO方法忽略了相机姿态的时间连续性，这导致速度曲线中非常严重的锯齿状波动。通过观察道路车辆在大部分时间内表现出平滑的动态特性，设计了惯性损失函数来描述异常运动变化，帮助模型从长期的摄像机自运动中学习连续性。该方法基于递归卷积神经网络（RCNN）架构，通过扩展的长短期记忆（LSTM）块隐式地对道路车辆的动力学和时间连续性进行建模。此外，我们开发了动态硬边缘掩模来处理快速相机运动中的非一致性，通过阻挡边界部分，并在整个非一致性掩模中产生更高的效率。在KITTI数据集上对所提出的方法进行了评估，结果表明，相对于其他单目深VO和SLAM方法，该方法具有最先进的性能。
2019-05-05 cs.CV
A Photometrically Calibrated Benchmark For Monocular Visual Odometry
Technical University Munich（慕尼黑工业大学）
我们提出了一个数据集用于评估单目视觉里程计和SLAM方法的跟踪精度。它包含50个真实世界的序列，包括超过100分钟的视频，记录在几十个不同的环境-从狭窄的室内走廊到广阔的室外场景。所有序列主要包含探索相机运动，开始和结束在同一位置。这允许通过从开始到结束的累积漂移来评估跟踪精度，而不需要完整序列的地面实况。与现有数据集相比，所有序列都经过光度校准。我们提供传感器报告的每帧曝光时间、相机响应函数和密集镜头衰减因子。我们还提出了一种新的，简单的方法来非参数晕影校准，这需要最少的设置，很容易重现。最后，我们彻底评估了现有的两种方法（ORB-SLAM和DSO）的数据集上，包括图像分辨率的影响，相机的视野，和相机的运动方向的分析。
2016-10-08 cs.CV
Monocular Rotational Odometry with Incremental Rotation Averaging and Loop Closure
School of Computer Science, University of Adelaide（阿德莱德大学计算机科学学院）
估计相机的绝对方位对于姿态估计任务是必不可少的。已建立的方法是首先执行视觉里程计（VO）或视觉SLAM（V-SLAM），并且从由VO或V-SLAM估计的相机姿态（6 DOF）检索相机取向（3 DOF）。除了在估计全6 DOF相机姿态中的冗余之外，该方法的一个缺点是由于对结构和运动的基本约束而对估计地图（3D场景点）连同6 DOF姿态的依赖性。为了简化绝对方向估计的任务，我们制定了单目旋转里程计问题，并设计了一个快速算法，以准确地估计相机的方向与2D-2D特征匹配单独。支撑我们的系统是一个新的增量旋转平均快速和恒定时间迭代更新方法。此外，我们的系统维护视图图，其1）允许求解环路闭合以移除相机定向漂移，以及2）可用于热启动V-SLAM系统。我们在真实世界的数据集上进行了大量的定量实验，以证明我们的增量相机方向求解器的准确性。最后，我们展示了我们的算法对V-SLAM的好处：1）解决已知的旋转问题来估计相机和周围地图的轨迹，以及2）使V-SLAM系统能够跟踪纯旋转运动。
2020-10-05 cs.CV
Direct Monocular Odometry Using Points and Lines
Carnegie Mellon University（卡内基梅隆大学）
大多数用于单目相机的视觉里程计算法通过特征匹配或像素强度的直接对准来关注点，而忽略了常见但重要的几何实体：边缘。在本文中，我们提出了一个里程计算法，结合点和边缘，以受益于直接和基于特征的方法的优点。它在纹理较少的环境中工作得更好，并且通过增加收敛盆对照明变化和快速运动更加鲁棒。我们保持一个深度图的关键帧，然后在跟踪部分，相机的姿态恢复通过最小化的光度误差和几何误差的匹配边缘的概率框架。在匹配部分，利用边缘来提高匹配速度和匹配精度。在各种公共数据集上，我们的算法比最先进的单目测距方法实现了更好或相当的性能。在一些具有挑战性的纹理较少的环境中，我们的算法减少了状态估计误差超过50%。
2017-03-19 cs.CV cs.RO
Motion Consistency Loss for Monocular Visual Odometry with Attention-Based Deep Learning
Autonomous Computational Systems Lab (LAB-SCA)（自主计算系统实验室（LAB-SCA））；Aeronautics Institute of Technology（航空技术研究院）
本文面向基于深度学习的视觉里程计，提出利用连续重叠视频片段中重复运动的运动一致性损失，并在 KITTI 基准上验证其可提升模型性能。
2024-01-19 cs.CV cs.RO
KLTNet: Learning Sparse Feature Tracking for Robust and Accurate Monocular Visual-Inertial Odometry
Shanghai Jiao Tong University（上海交通大学）
该研究提出轻量型学习型稀疏特征跟踪器KLTNet，替换传统KLT跟踪器，结合由粗到精架构与各向同性置信度权重，在多数据集实验中提升了VIO系统的跟踪与里程计精度，且保持实时性。
2026-08-26 cs.CV
Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World
The University of Sydney（悉尼大学）
单目视觉里程计（VO）通过提供实时车辆运动从成本效益的相机图像吸引了广泛的研究关注。然而，最先进的基于优化的单目VO方法遭受长期预测的尺度不一致问题。最近引入了深度学习，通过利用训练数据集中的立体序列或地面实况运动来解决这个问题。然而，它带来了数据汇集的额外成本，并且这样的训练数据可能在所有数据集中都不可用。在这项工作中，我们提出了VRVO，一种新的框架，用于从虚拟数据中检索绝对比例，可以很容易地从现代仿真环境中获得，而在真正的领域没有立体声或地面实况数据需要在训练或推理阶段。具体来说，我们首先训练一个尺度感知的视差网络使用单目真实图像和立体虚拟数据。通过使用对抗性训练策略将来自两个域的图像映射到共享特征空间来弥合虚拟到真实域的差距。由此产生的规模一致的差异，然后集成与直接VO系统通过构建一个虚拟的立体目标，确保在长轨迹的规模一致性。此外，为了解决由单独的优化后端和学习过程引起的次优问题，我们进一步提出了一个相互加强的管道，允许学习和优化之间的双向信息流，从而提高了彼此的鲁棒性和准确性。我们证明了我们的框架在KITTI和vKITTI2数据集上的有效性。
2022-03-11 cs.CV
Deep Direct Visual Odometry
East China University of Science and Technology（华东理工大学）；University of Technology Sydney（悉尼科技大学）；Fuzhou University（福州大学）；Lulea University of Technology（吕勒奥理工大学）
传统的单目直接视觉里程计（DVO）是从图像中同时估计机器人自身运动和环境地图的最著名的方法之一。然而，DVO在跟踪期间严重依赖于高质量的图像和准确的初始姿态估计。凭借深度学习的出色性能，先前的工作已经表明，深度神经网络可以以无监督的方式从单目图像序列中有效地学习帧之间的6-DoF（自由度）姿势。然而，这些基于无监督深度学习的框架不能准确地生成长单目视频的完整轨迹，因为每个姿势之间的尺度不一致。为了解决这个问题，我们使用了几个几何约束，以提高姿态网络的规模一致性，包括改进以前的损失函数，并提出了一种新的规模到轨迹约束的无监督训练。我们称之为TrajNet提出的新的约束训练的姿态网络。此外，提出了一种新的DVO架构，称为深度直接稀疏测距（DDSO），通过嵌入TrajNet来克服以前的直接稀疏测距（DSO）框架的缺点。在KITTI数据集上的大量实验表明，与以往的无监督单目方法相比，所提出的约束可以有效提高TrajNet的尺度一致性，与TrajNet的集成使DSO的初始化和跟踪更加鲁棒和准确。
2021-04-10 cs.CV
CodedVO: Coded Visual Odometry
University of Maryland（马里兰大学）；University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；SAAB, Inc.（萨博公司）；Army Research Laboratory（陆军研究实验室）
本文提出CodedVO，一种利用定制光学器件将度量深度信息物理编码到图像中的新型单目视觉里程计方法，有效克服了尺度模糊问题，并在ICL-NUIM室内数据集上实现了0.08米的平均轨迹误差，达到最先进性能。
2024-07-25 cs.CV cs.RO
Accurate and Robust Scale Recovery for Monocular Visual Odometry Based on Plane Geometry
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Department of Electronic Engineering, The Chinese University of Hong Kong（香港中文大学电子工程系）
尺度模糊是单目视觉里程计中的一个基本问题。典型的解决方案包括闭环检测和环境信息挖掘。对于像自动驾驶汽车这样的应用，闭环并不总是可用的，因此从环境中挖掘先验知识成为一种更有前途的方法。在本文中，假设一个恒定的高度的相机在地面上，我们开发了一个轻量级的规模恢复框架，利用准确和强大的估计的地平面。该框架包括一个地面点提取算法，用于选择高质量的点在地平面上，和地面点聚合算法加入提取的地面点在一个局部滑动窗口。基于聚合的数据，最终通过使用基于RANSAC的优化器解决最小二乘问题来恢复规模。充足的数据和强大的优化器可实现高度准确的规模恢复。在KITTI数据集上的实验表明，该框架在平移误差方面可以达到最先进的精度，同时在旋转误差方面保持有竞争力的性能。由于轻量级设计，我们的框架还在数据集上展示了20Hz的高频。
2021-05-17 cs.CV
Learning monocular visual odometry with dense 3D mapping from dense 3D flow
University of Birmingham（伯明翰大学）；University of Lincoln（林肯大学）；Toshiba Research Europe（东芝欧洲研究院）
本文介绍了一种用于单目SLAM的完全深度学习方法，该方法可以使用神经网络来学习视觉里程计（L-VO）和密集3D映射来执行同时定位。通过子网络从单眼图像生成密集2D流和深度图像，然后由L-VO网络中的3D流关联层使用以生成密集3D流。给定该3D流，双流L-VO网络然后可以预测6DOF相对位姿并且进一步重建车辆轨迹。为了学习运动方向之间的相关性，在损失函数中采用双变量高斯建模。在KITTI里程计基准测试中，L-VO网络的平均平移误差和平均旋转误差的总体性能分别为2.68%和0.0143 deg/m。此外，学习的深度被充分利用来生成密集的3D地图。因此，一个完整的视觉SLAM系统，即学习单目测距结合密集的3D映射，实现。
2018-07-25 cs.CV cs.RO
Scale-aware direct monocular odometry
Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究所）；Universidad de Zaragoza（萨拉戈萨大学）
我们提出了一个通用的框架尺度感知直接单目测距的基础上深度预测从深神经网络。与以前的方法相比，深度信息只被部分利用，我们制定了一个新的深度预测残差，使我们能够将多视图深度信息。此外，我们建议使用截断的鲁棒成本函数，防止考虑不一致的深度估计。光度和深度预测测量集成到一个紧密耦合的优化，导致规模意识的单目系统，不积累规模漂移。我们的建议没有具体的神经网络，能够与绝大多数现有的深度预测解决方案一起工作。我们证明了我们的建议的有效性和通用性，评估它的KITTI里程数据集，使用两个公开的神经网络，并将其与类似的方法和国家的最先进的单眼和立体SLAM。实验表明，我们的建议在很大程度上优于经典的单目SLAM，是5至9倍的精度，击败类似的方法，并具有更接近立体声系统的精度。
2022-07-22 cs.CV cs.RO
360DVO: Deep Visual Odometry for Monocular 360-Degree Camera
Division of Integrative Systems and Design, Hong Kong University of Science and Technology（整合系统与设计系，香港科学与技术大学）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（计算机科学与工程系，香港科学与技术大学）；Department of Ocean Science, Hong Kong University of Science and Technology（海洋科学系，香港科学与技术大学）
360DVO通过深度学习方法提升单目360度相机在复杂环境下的视觉里程计鲁棒性和精度。
2026-01-09 cs.CV
FDMO: Feature Assisted Direct Monocular Odometry
University of Waterloo（滑铁卢大学）；American University of Beirut（贝鲁特美国大学）
视觉里程计（VO）可以被分类为直接的或基于特征的。当系统进行光度校准，并以高速率捕获图像时，直接方法在准确性和处理时间方面表现出优于基于特征的方法;它们在缺乏特征的环境中也更鲁棒。在缺点上，直接方法依赖于启发式运动模型来对帧之间的相机运动的估计进行播种;在违反这些模型的情况下（例如，不稳定的运动），直接方法容易失败。本文提出了一种新的系统，名为FDMO（特征辅助直接单目测距），它补充了直接和基于特征的技术的优点。仅当故障模式（例如，大基线）的直接跟踪。当不再违反这些条件时，控制返回到直接里程计。引入效应以帮助FDMO实时的执行。当使用TumMono和EuroC数据集进行评估时，与DSO和ORB SLAM相比，FDMO显示出显著的漂移（对齐，旋转和缩放）减少。
2018-04-15 cs.CV cs.RO
Match and Locate: low-frequency monocular odometry based on deep feature matching
本文提出一种仅需单目相机、可在低频（约1帧/秒）下工作的里程计方法，利用深度特征匹配估计位姿，并用卷积神经网络调整尺度，在AISG-SLA挑战赛中取得第三名，误差约为3°和2米。
2023-11-16 cs.CV
Self-Improving Visual Odometry
Magic Leap, Inc.（Magic Leap公司）
我们提出了一个自监督学习框架，该框架使用未标记的单目视频序列来生成大规模的监督，用于训练视觉里程计（VO）前端，这是一种计算图像之间逐点数据关联的网络。我们的自我改进方法使VO前端能够随着时间的推移而学习，不像其他VO和SLAM系统需要耗时的手动调整或昂贵的数据汇集来适应新的环境。我们提出的前端在单目图像上操作，由一个多任务卷积神经网络组成，该网络输出2D关键点位置、关键点描述符和一个新的点稳定性得分。我们使用VO的输出来创建点对应的自监督数据集，以重新训练前端。当在ScanNet的250万张单目图像上使用VO进行大规模训练时，稳定性分类器会自动发现不太可能对VO有帮助的关键点的排名，例如深度不连续性的t型连接，阴影和高光特征以及动态对象，如人。由此产生的前端在ScanNet上的3D到2D姿态估计任务中优于传统方法（SIFT、ORB、AKAZE）和深度学习方法（SuperPoint和LF-Net）。
2018-12-08 cs.CV
CoProU-VO: Combining Projected Uncertainty for End-to-End Unsupervised Monocular Visual Odometry
TU Munich（慕尼黑工业大学）；DeepScenario；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对无监督单目视觉里程计在动态场景下因静态假设失效导致位姿不准的问题，提出结合跨帧投影不确定性的CoProU-VO方法，在KITTI等数据集上实现性能提升。
2025-08-01 cs.CV
Self-Supervised Geometry-Guided Initialization for Robust Monocular Visual Odometry
Frontier Research Center, Toyota Motor Corporation (TMC)（丰田汽车公司前沿研究中心）；Toyota Research Institute (TRI)（丰田研究院）
针对DROID-SLAM在大幅运动和动态场景中的优化失效问题，提出用冻结预训练单目深度估计器的自监督几何先验初始化稠密BA，无需微调主干即在KITTI和DDAD上显著提升鲁棒性。
2025-09-28 cs.CV cs.RO
Real-time Monocular Visual Odometry for Turbid and Dynamic Underwater Environments
ONERA（法国航空航天实验室）；CNRS（法国国家科学研究中心）
在机器人水下作业的背景下，由介质属性引起的视觉退化使得难以专用于定位目的的相机。因此，大多数定位方法是基于与声学定位相关联的昂贵的导航传感器。另一方面，视觉里程计和视觉SLAM已经被详尽地研究用于空中或陆地应用，但是最先进的算法在水下失败。在本文中，我们解决的问题，使用一个简单的低成本的摄像机进行水下定位，并提出了一种新的单目视觉里程计方法专用于水下环境。我们评估不同的跟踪方法，并表明，光流为基础的跟踪更适合于水下图像比经典的方法的基础上描述符。我们还提出了一种基于关键帧的高度依赖于非线性优化的视觉里程计方法。该算法已在模拟和真实水下数据集上进行了评估，并在许多最具挑战性的条件下优于最先进的视觉SLAM方法。这项工作的主要应用是用于水下考古任务的遥控潜水器（ROV）的本地化，但开发的系统可以用于任何其他应用程序，只要视觉信息可用。
2020-02-27 cs.CV cs.RO
Monocular Visual Odometry for an Unmanned Sea-Surface Vehicle
University of Portsmouth（朴茨茅斯大学）；Plymouth University（普利茅斯大学）
我们解决的问题，在河口地区使用单目相机和角速度输入从惯性传感器的自主海面车辆定位。我们的方法受到与环境相关联的两个突出缺点的挑战，这两个缺点通常不存在于陆地（或空中）上的标准视觉同时定位与地图构建（SLAM）应用中：a）场景深度显著变化（从几米到几公里），以及b）结合后者，不存在地平面来提供具有足够视差的特征，基于该视差来可靠地检测运动。为此，我们使用的IMU方向反馈，以重新投射的视觉定位的问题，没有映射组件，虽然地图可以隐式地从相机姿态估计。我们发现，我们的方法产生可靠的里程估计的轨迹几百米长的水。为了将视觉里程计估计与基于GPS的地面实况进行比较，我们在公共参数上用样条插值轨迹，并获得以米为单位的位置误差，恢复两个样条之间的最佳仿射变换。
2017-07-19 cs.CV cs.RO
Visual-LiDAR Odometry and Mapping with Monocular Scale Correction and Visual Bootstrapping
Beijing Institute of Technology（北京理工大学）
本文提出一种结合 ORB-SLAM 与 A-LOAM 的视觉-激光雷达里程计方法，通过单目尺度校正和视觉引导的激光雷达位姿初始化降低漂移，在 KITTI 和 S3E 数据集上显著优于单独的 ORB-SLAM2 和 A-LOAM，精度接近双目 ORB-SLAM2。
2023-07-08 cs.CV cs.RO
Deep Online Correction for Monocular Visual Odometry
Horizon Robotics（地平线机器人）；Huazhong University of Science and Technology（华中科技大学）
在这项工作中，我们提出了一种新的深度在线校正（DOC）框架的单目视觉里程计。整个流水线分为两个阶段：首先，从以自监督方式训练的卷积神经网络（CNN）获得深度图和初始姿态。其次，通过在推理阶段期间经由姿势的梯度更新来最小化光度误差，进一步改进由CNN预测的姿势。我们提出的方法的好处是双重的：1）与在线学习方法不同，DOC不需要计算CNN参数的梯度传播。因此，它在推理阶段节省了更多的计算资源。2)与将CNN与传统方法相结合的混合方法不同，DOC完全依赖于深度学习（DL）框架。虽然没有复杂的后端优化模块，我们的方法取得了优异的性能，相对变换误差（RTE）= 2.0%的KITTI Odometry基准的Seq。09，其性能优于传统的单眼VO框架，并与混合方法相当。
2021-03-18 cs.CV cs.LG cs.RO
Monocular Event-Inertial Odometry with Adaptive decay-based Time Surface and Polarity-aware Tracking
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学网络系统与控制研究所）
本文提出一种结合自适应衰减时间表面与极性感知跟踪的单目事件-惯性里程计，通过引入极性反转时间表面解决运动方向变化导致的极性翻转问题，在多种数据集上优于现有最先进技术。
2024-09-21 cs.CV cs.RO
Unsupervised Deep Persistent Monocular Visual Odometry and Depth Estimation in Extreme Environments
The University of Oxford（牛津大学）；NASA - Jet Propulsion Laboratory, California Institute of Technology（美国国家航空航天局喷气推进实验室、加州理工学院）
近年来，无监督深度学习方法在从未标记的单目图像序列中估计深度和视觉里程计（VO）方面受到了极大的关注。然而，由于感知退化、遮挡和快速运动，它们的性能在具有挑战性的环境中受到限制。此外，现有的无监督方法缺乏跨帧的尺度一致性约束，这导致VO估计器无法提供长序列的持久轨迹。在这项研究中，我们提出了一个无监督的单目深度VO框架，预测六度的自由度构成相机运动和深度图的场景从未标记的RGB图像序列。我们对拟议框架进行了详细的定量和定性评估：a）DARPA地下挑战期间收集的具有挑战性的数据集; b）基准KITTI和Cityscapes数据集。所提出的方法优于传统和最先进的无监督深度VO方法，为姿势估计和深度恢复提供更好的结果。所提出的方法是COSTAR团队参与DARPA地下挑战赛所使用的解决方案的一部分。
2020-10-31 cs.AI cs.CV
UM-Depth : Uncertainty Masked Self-Supervised Monocular Depth Estimation with Visual Odometry
School of Mechanical and Robotics Engineering, Gwangju Institute of Science and Technology (GIST)（光州科学技术学院机械与机器人工程学院）；Department of Smart ICT Convergence Engineering, Seoul National University of Science and Technology（首尔科学技术大学智能ICT融合工程系）
提出UM-Depth框架，通过在师生训练中嵌入不确定性估计并仅在训练阶段使用光流，有效提升了动态边界和无纹理区域的深度估计精度，在KITTI上达到SOTA。
2025-09-17 cs.CV
UNO: Unified Self-Supervised Monocular Odometry for Platform-Agnostic Deployment
Institute of Medical Robotics and Department of Automation, Shanghai Jiao Tong University（医学机器人研究所和自动化系，上海交通大学）；The Centre for Advanced Robotics Technology Innovation (CARTIN), School of Electrical and Electronic Engineering, Nanyang Technological University（先进机器人技术创新中心（CARTIN），电子与电气工程学院，南洋理工大学）；School of Electrical and Electronic Engineering, Nanyang Technological University（电子与电气工程学院，南洋理工大学）；Singapore State Grid Intelligence Technology CO., LTD.（新加坡国网智能技术有限公司）
提出统一自监督单目视觉里程计 UNO，通过专家混合、Gumbel-Softmax 专家选择与几何一致性后端实现跨平台泛化，并在 KITTI、EuRoC-MAV、TUM-RGBD 上达到 SOTA。
2025-06-08 cs.CV
Drift Reduction for Monocular Visual Odometry of Intelligent Vehicles using Feedforward Neural Networks
Ain Shams University（艾因夏姆斯大学）；Delft University of Technology（代尔夫特理工大学）
本文提出了一种基于前馈神经网络的单目视觉里程计算法。视觉里程计算法计算车辆在连续相机帧之间的增量运动，然后将这些增量积分以确定车辆的姿态。提出的神经网络减少了由于特征检测和匹配、摄像机内部参数等方面的不准确而导致的车辆姿态估计误差，这些不准确会传播到车辆的运动估计中，从而导致更大的估计误差。漂移减小神经网络基于连续相机帧中的特征的运动来识别这样的误差，从而导致更准确的增量运动估计。使用KITTI数据集对所提出的漂移减少神经网络进行训练和验证，结果表明所提出的方法在减少增量方向估计中的误差方面是有效的，从而减少了姿态估计中的总体误差。
2022-07-02 cs.CV cs.RO
Learning Monocular Visual Odometry through Geometry-Aware Curriculum Learning
University of Oxford（牛津大学）；Heriot Watt University（赫瑞-瓦特大学）
受人类和动物认知过程的启发，课程学习（CL）通过逐渐增加训练数据的难度来训练模型。在本文中，我们研究CL是否可以应用到复杂的几何问题，如估计单眼视觉里程计（VO）。与现有的CL方法不同，我们提出了一种新的CL策略，通过逐渐使学习目标在训练过程中变得更加困难来学习单眼VO的几何形状。为此，我们提出了一种新的几何感知目标函数，通过有界姿态回归损失在小窗口上联合优化相对和复合变换。一个级联的光流网络，其次是递归网络与可微窗口的组成层，称为CL-VO，被设计为学习所提出的目标。在三个真实世界的数据集上的评估表明，CL-VO的性能优于最先进的基于特征和基于学习的VO。
2019-11-05 cs.CV cs.LG cs.RO
Transformer-Based Model for Monocular Visual Odometry: A Video Understanding Approach
Aeronautics Institute of Technology（航空技术学院）
本文提出TSformer-VO，一种基于时空自注意力的Transformer模型，将单目视觉里程计视为视频理解任务，端到端估计相机6自由度姿态，在KITTI数据集上取得最先进性能，优于DeepVO。
2025-01-20 cs.AI cs.CV cs.RO
MotionHint: Self-Supervised Monocular Visual Odometry with Motion Constraints
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
MotionHint通过引入运动约束模型，提升单目视觉里程计的精度，减少ATE误差达28.73%
2026-02-19 cs.CV cs.RO
Online Photometric Calibration for Auto Exposure Video for Realtime Visual Odometry and SLAM
Technical University of Munich（慕尼黑工业大学）
最近的直接视觉里程计和SLAM算法已经证明了令人印象深刻的精度水平。然而，它们需要光度照相机校准，以实现有竞争力的结果。因此，相应的算法不能直接应用于现成的相机或用未知相机获取的视频序列。在这项工作中，我们提出了一种在线光度校准的方法，使处理自动曝光视频的视觉里程计精度与那些光度校准的视频。我们的算法恢复连续帧的曝光时间，相机的响应函数，以及由于渐晕的传感器辐照度的衰减因子。增益鲁棒KLT特征轨迹用于获得场景点对应作为非线性优化框架的输入。我们表明，我们的方法可以可靠地校准任意的视频序列，通过评估它的数据集，其完整的光度地面真相。我们进一步表明，我们的校准可以提高性能的一个国家的最先进的直接视觉里程计的方法，只工作在像素强度，校准测光参数在一个在线的方式在实时。
2017-10-05 cs.CV
Sparse2Dense: From direct sparse odometry to dense 3D reconstruction
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出了一种基于深度学习的密集单目SLAM方法。与现有方法相比，该框架使用学习的表面法线通过稀疏到密集的映射来构建密集的3D模型。利用单视点学习的深度估计作为单目视觉里程计的先验，我们获得了精确的定位和高质量的深度重建。实验结果表明，与现有的单目密集SLAM方法相比，该方法显著提高了视觉跟踪和深度预测的性能.
2019-03-21 cs.CV cs.RO
Momo: Monocular Motion Estimation on Manifolds
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
关于车辆位置的知识对于自动驾驶是不可或缺的。为了应用全局定位方法，必须知道可以从视觉里程计获得的姿态先验。先验知识的质量和鲁棒性决定了定位的成功。Momo是一种单目帧到帧运动估计方法，为此目的提供高质量的视觉里程计。通过考虑车辆的运动模型，姿态先验的可靠性和准确性显着提高。我们表明，特别是在低结构的环境中，莫莫优于最先进的。此外，该方法的设计，使多个摄像机有或没有重叠可以集成。对KITTI数据集和适当的多相机数据集的评估表明，即使只有100- 300个特征匹配，先验估计也具有高精度和实时性。
2017-08-01 cs.CV
Loosely-Coupled Semi-Direct Monocular SLAM
我们提出了一种新的半直接的单目同时定位与地图构建（SLAM）的方法，结合了直接和基于特征的方法的互补优势。所提出的流水线松散地耦合直接里程计和基于特征的SLAM以执行三个级别的并行优化：（1）光度束调整（BA），其联合优化局部结构和运动，（2）几何BA，其细化关键帧姿势和相关联的特征图点，以及（3）姿势图优化，以在存在环路闭合的情况下实现全局地图一致性。这通过将基于特征的操作限制于来自直接测距模块的边缘化关键帧来实时实现。对两个基准数据集的详尽评估表明，我们的系统在整体准确性和鲁棒性方面优于最先进的单目测距和SLAM系统。
2019-01-06 cs.CV cs.RO
DSVO: Direct Stereo Visual Odometry
提出了一种无需立体匹配的立体视觉里程计算法。它在重复高频纹理的场景中特别鲁棒。被称为DSVO（直接立体视觉里程计），它直接对像素强度进行操作，没有任何显式的特征匹配，因此比最先进的基于立体匹配的方法更有效和更准确。它应用了一个半直接的单目视觉里程计上运行的立体对，跟踪相机的姿态和映射的环境，同时，另一个相机是用来优化单目视觉里程计的规模。我们评估DSVO在一些具有挑战性的场景，以评估其性能，并提出与最先进的立体声视觉里程计算法的比较。
2019-09-16 cs.CV cs.RO
MVOFormer: Flow-Semantic Transformer for Robust Monocular Visual Odometry
State Key Laboratory of Fluid Power and Mechatronic Systems, Zhejiang University（浙江大学流体动力与机电系统国家重点实验室）；Zhejiang Key Laboratory of Industrial Big Data and Robot Intelligent Systems（浙江省工业大数据与机器人智能系统重点实验室）；School of Mechanical Engineering, Zhejiang University（浙江大学机械工程学院）；Robotics Institute, Zhejiang University（浙江大学机器人研究院）；School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院）；Rural Health Research Institute, Charles Sturt University（查尔斯特大学农村健康研究所）；University College London（伦敦大学学院）
提出MVOFormer，一种流-语义双分支编码器与迭代多模态解码器结合的Transformer框架，通过融合密集几何运动与语义先验实现粗到细位姿优化，在零样本泛化上显著超越现有方法。
2026-06-16 cs.CV cs.RO
Towards Robust Monocular Visual Odometry for Flying Robots on Planetary Missions
German Aerospace Center (DLR)（德国航空航天中心（DLR））；Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
在未来，地外探险不仅将由漫游者进行，而且还将由飞行机器人进行。刚刚降落在火星上的技术演示无人机“无畏号”将标志着一个不受地形可穿越性阻碍的探索新时代的开始。强大的自我定位是至关重要的。轻便、廉价、信息丰富的传感器摄像头已经被用于估计车辆的自我运动。然而，在人造环境中被证明有效的方法不能简单地部署在其他星球上。火星荒地中存在的高度重复的纹理对基于描述符匹配的方法构成了巨大的挑战。在本文中，我们提出了一种先进的鲁棒单目测距算法，使用有效的光流跟踪，以获得图像之间的特征对应关系和一个完善的关键帧选择标准。与大多数其他方法相比，我们的框架还可以处理仅旋转的运动，这对于单目测距系统来说特别具有挑战性。此外，我们提出了一种新的方法来估计当前的规模漂移的风险的基础上的相对翻译信息矩阵的主成分分析。这样我们就得到了一个隐含的不确定性度量。我们评估了我们的方法在火星环境中捕获的具有挑战性的真实世界数据集的所有序列上的有效性，并表明它优于最先进的方法。
2021-09-12 cs.CV cs.RO
Virtual Testbed for Monocular Visual Navigation of Small Unmanned Aircraft Systems
Air Force Institute of Technology（空军理工学院）
单目视觉导航方法在过去十年中取得了重大进展，最近产生了几种实时解决方案，用于自主导航小型无人驾驶飞机系统，而无需依赖GPS。这对于可能涉及GPS信号降级或拒绝的环境的军事行动至关重要。然而，测试和比较视觉导航算法仍然是一个挑战，因为视觉数据是昂贵的收集。在进行户外测试之前，在虚拟环境中进行飞行测试是一个有吸引力的解决方案。这项工作提出了一个虚拟的测试平台进行模拟飞行测试，在现实世界的地形和分析的实时性能的视觉导航算法在31赫兹。创建该工具的目的是最终找到一种视觉里程计算法，该算法适用于在固定翼飞机上进一步进行GPS拒绝导航研究，尽管所有算法都是为其他模态设计的。该测试平台用于在固定翼平台上评估三种当前最先进的开源单眼视觉里程计算法：直接稀疏里程计、半直接视觉里程计和ORB-SLAM 2（禁用环路闭合）。
2020-07-01 cs.CV cs.RO
Driven to Distraction: Self-Supervised Distractor Learning for Robust Monocular Visual Odometry in Urban Environments
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
我们提出了一个自我监督的方法，忽略“干扰”的相机图像的目的，在杂乱的城市环境中的车辆运动鲁棒估计。我们利用离线多会话映射方法为每个输入图像自动生成每个像素的短暂性掩码和深度图，我们使用它来训练深度卷积网络。在运行时，我们使用预测的短暂性和深度作为单目视觉里程计（VO）管道的输入，使用稀疏特征或密集光度匹配。我们的方法只使用一个摄像头产生度量尺度VO，即使90%的图像被动态的、独立移动的物体遮挡，也可以恢复正确的自运动。我们评估了我们强大的VO方法超过400公里的驾驶从牛津RobotCar数据集，并证明减少里程漂移和显着改善egomotion估计在城市交通中的大型移动车辆的存在。
2018-03-05 cs.AI cs.CV cs.LG
