EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；University of Maryland, College Park（马里兰大学帕克分校）
介绍了一种新的事件相机数据集EVIMO2，它通过在更复杂的场景中提供来自更好的相机的更多数据来改进流行的EVIMO数据集。与其前身一样，EVIMO2以每像素地面真实深度和分割以及相机和对象姿势的形式提供标签。所有序列都使用来自物理相机的数据，许多序列具有多个独立移动的对象。通常，这样的标记数据在物理事件相机数据集中不可用。因此，EVIMO2将作为现有算法的一个具有挑战性的基准，并为新算法的开发提供丰富的训练集。特别是，EVIMO2是适合于支持运动和对象分割，光流，运动恢复结构和视觉（惯性）里程计在单眼或立体配置的研究。EVIMO 2包含来自三个640 $\times$ 480事件相机、一个2080 $\times$ 1552经典彩色相机的41分钟数据、来自两个六轴惯性测量单元的惯性测量以及来自Vicon运动捕捉系统的毫米精度物体姿态。数据集的173个序列被分为三类。3.75独立移动的家居物品22.55分钟，静态场景22.55分钟，浅层场景中的基本运动14.85分钟。一些序列是在弱光条件下记录的，而传统的相机无法做到。深度和分段对于事件相机以60 Hz提供，对于经典相机以30 Hz提供。可以使用开源代码重新生成掩码，速率高达200 Hz。本技术报告简要介绍了EVIMO2。完整的文件可在网上查阅。单个序列的视频可以在下载页面上进行采样。
2022-05-06 cs.CV cs.RO
An Empirical Evaluation of Four Off-the-Shelf Proprietary Visual-Inertial Odometry Systems
Sookmyung Women’s University（淑明女子大学）
商业视觉惯性里程计（VIO）系统作为一种具有成本效益的现成六个自由度（6-DoF）自我运动跟踪方法而受到关注，该方法用于估计准确且一致的相机姿态数据，此外它们还能够在没有来自运动捕捉或全球定位系统的外部定位的情况下进行操作。然而，从现有的结果来看，还不清楚哪种商业VIO平台在室内和室外机器人应用的状态估计方面是最稳定、一致和准确的。我们通过一系列室内和室外实验评估了四种流行的专有VIO系统（Apple ARKit，Google ARCore，Intel RealSense T265和Stereolabs ZED 2），展示了它们的定位稳定性，一致性和准确性。我们提出我们的完整结果作为研究界的基准比较。
2022-07-14 cs.CV cs.RO
DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR
Visual Intelligence Lab, KAIST（韩国科学技术院视觉智能实验室）
本文提出DSERT-RoLL数据集，结合立体事件、RGB和热成像相机以及4D雷达和双光雷达，涵盖多样的天气和光照条件，提供精确的2D和3D边界框及轨迹ID，支持跨传感器组合的公平比较，提升新型传感器的数据可用性，并建立统一的3D和2D基准，促进传感器性能的系统研究。
2026-04-04 cs.CV
Recalibrating the KITTI Dataset Camera Setup for Improved Odometry Accuracy
University of Zagreb（萨格勒布大学）
在过去的十年中，用于评估里程计准确性的最相关的公共数据集之一是KITTI数据集。除了质量和丰富的传感器设置外，它的成功还归功于在线评估工具，该工具使研究人员能够对算法进行基准测试和比较。结果仅在测试子集上进行评估，而不需要任何关于地面真相的知识，从而产生无偏的，无过拟合的，因此基于相机，3D激光或两者的组合的机器人定位的相关验证。然而，与任何传感器设置一样，它需要预先校准并提供校正的立体图像，从而引入对默认校准参数的依赖性。考虑到这一点，自然会出现一个问题，即是否可以找到一组更好的校准参数，这将产生更高的里程精度。在本文中，我们提出了一种新的方法，一杆校准的KITTI数据集多摄像机设置。该方法产生更好的校准参数，在较低的校准重投影误差和较低的视觉里程计误差的意义上。我们进行了实验，我们显示三种不同的里程计算法，即ORB 2，ORB-SLAM 2和VISO 2，里程计精度显着提高与建议的校准参数。此外，我们的里程计，1002，结合所提出的校准方法，实现了最高的精度在官方KITTI记分牌上的0.53%的平移和0.0009度/米的旋转误差，甚至优于三维激光为基础的方法。
2021-09-08 cs.CV cs.RO
Extending Monocular Visual Odometry to Stereo Camera Systems by Scale Optimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）
提出了一种将单目视觉里程计扩展到立体摄像系统的新方法。所提出的方法使用一个额外的摄像头来准确地估计和优化单目视觉里程计的规模，而不是从立体匹配三角测量3D点。具体地，由单目视觉里程计生成的3D点被投影到立体对的另一个相机上，并且通过直接最小化测光误差来恢复和优化尺度。与直接的立体匹配相比，它在计算上是高效的，对立体视觉系统增加的开销最小，并且对重复纹理是鲁棒的。另外，直接尺度优化使得立体视觉里程计能够纯粹基于直接方法。对公共数据集的广泛评估（例如，KITTI）和室外环境（陆地和水下）的实验证明了通过尺度优化扩展的立体视觉里程计方法的准确性和效率，以及其在具有挑战性纹理的环境中的鲁棒性。
2019-09-17 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras
Technical University of Munich（慕尼黑工业大学）
我们提出立体直接稀疏里程计（立体DSO）作为一种新的方法，高精度的实时视觉里程计估计的大规模环境立体相机。它联合优化活动窗口内的所有模型参数，包括所有关键帧的内部/外部相机参数和所有选定像素的深度值。特别是，我们提出了一种新的方法来整合约束从静态立体到捆绑调整管道的时间多视图立体视觉。通过从具有足够强度梯度的图像区域均匀采样像素来实现实时优化。固定基线立体解决规模漂移。它还降低了对大光流和卷帘快门效应的灵敏度，这是直接图像对准方法的已知缺点。定量评估表明，建议的立体DSO优于现有的国家的最先进的视觉里程计方法在跟踪精度和鲁棒性。此外，我们的方法提供了一个更精确的度量3D重建比以前的密集/半密集的直接方法，同时提供了一个更高的重建密度比基于特征的方法。
2017-08-25 cs.CV
Single-Shot Metric Depth from Focused Plenoptic Cameras
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（德国航空航天中心机器人与机电一体化研究所）；I3A, Universidad de Zaragoza（萨拉戈萨大学I3A研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种利用聚焦型全光相机单帧输入的稠密度量深度估计流程，并构建真实光场数据集LFS验证其有效性。
2025-03-12 cs.CV
The POLAR Traverse Dataset: A Dataset of Stereo Camera Images Simulating Traverses across Lunar Polar Terrain under Extreme Lighting Conditions
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；NASA Ames Research Center（NASA埃姆斯研究中心）
本文提出 POLAR Traverse 数据集，包含模拟月球极地极端光照下穿越的高保真立体图像，用于开发和测试视觉里程计等算法，并揭示极地光照条件。
2024-03-18 cs.CV cs.RO
Robust Stereo Feature Descriptor for Visual Odometry
Amirkabir University（阿米尔卡比尔大学）
在本文中，我们提出了一种简单的方法来利用立体相机数据来改善特征描述符。使用立体相机的计算机视觉算法需要对3D信息进行一些计算。我们利用这些预先计算的信息来改进特征描述符算法。我们使用3D特征信息来估计每个特征的尺度。这样，每个特征描述符将对尺度变化更鲁棒，而无需大量计算。此外，我们使用立体图像来构造描述符向量。尺度不变特征变换（SIFT）和快速视网膜关键点（FREAK）描述符被用来评估所提出的方法。特征跟踪测试中的尺度归一化技术使标准SIFT提高了8.75%，使标准FREAK提高了28.65%。使用所提出的立体特征描述符，视觉里程计算法的设计和测试的KITTI数据集。立体FREAK描述符将内点匹配的数量提高了19%，从而将视觉里程计的准确性提高了23%。
2018-09-23 cs.CV
DS-VIO: Robust and Efficient Stereo Visual Inertial Odometry based on Dual Stage EKF
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；UBTECH Robotics（优必选科技）；Arizona State University（亚利桑那州立大学）
提出了一种基于两级扩展卡尔曼滤波器（EKF）的实时鲁棒立体视觉惯性里程计（VIO）算法。该算法的第一阶段融合了加速度计和陀螺仪，第二阶段融合了立体相机和惯性测量单元。由于加速度计和陀螺仪以及立体相机和IMU之间的充分互补特性，基于两阶段EKF的算法可以实现高精度的里程估计。同时，由于该算法的状态向量维数较低，其计算效率与以往基于滤波器的方法相当。我们称我们的方法DS-VIO（双阶段EKF立体视觉惯性里程计）和评估我们的DSVIO算法，通过比较它与最先进的方法，包括OKVIS，ROVIO，VINS-MONO和S-MSCKF的EuRoC数据集。结果表明，我们的算法可以达到相当甚至更好的性能方面的RMS误差
2019-05-02 cs.CV
IBISCape: A Simulated Benchmark for multi-modal SLAM Systems Evaluation in Large-scale Dynamic Environments
Univ Evry（埃夫里大学）
高保真SLAM系统的开发过程取决于它们在可靠数据集上的验证。为了实现这一目标，我们提出了IBISCape，这是一个模拟基准，包括用于异构传感器遥测的数据同步和采集API：立体RGB/DVS，深度，IMU和GPS，以及地面真实场景分割和车辆自我运动。我们的基准是建立在CARLA模拟器，其后端是虚幻引擎渲染一个高动态的场景模拟现实世界。此外，我们还提供34个适用于自动驾驶汽车导航的多模态数据集，包括事故等场景理解评估场景，以及基于与我们的API集成的动态天气模拟类的各种帧质量。我们还引入了第一个校准目标的CARLA地图，以解决未知的失真参数的问题，CARLA模拟DVS和RGB相机。最后，使用IBISCape序列，我们评估四个ORB-SLAM 3系统（单眼RGB，立体RGB，立体视觉惯性（SVI），和RGB-D）的性能和BASALT视觉惯性里程计（VIO）系统在模拟大规模动态环境中收集的各种序列。关键词：基准，多模态，数据集，里程计，校准，DVS，SLAM
2022-10-20 cs.CV cs.RO eess.IV
Estimating Fog Parameters from a Sequence of Stereo Images
Edinburgh Centre for Robotics, the School of Mathematical and Computer Sciences, Heriot-Watt University（爱丁堡机器人中心、数学与计算机科学学院、赫瑞斯泰大学）；School of Engineering and Physical Sciences, Heriot-Watt University（工程与物理科学学院、赫瑞斯泰大学）；Sense Robotics Lab, Department of Electrical and Electronic Engineering, Imperial College London（感知机器人实验室、电子与电气工程系、伦敦帝国学院）
本文提出了一种从立体图像序列中同时估计雾参数的方法，并创建了新的SDIRF数据集，用于评估算法在雾环境下的性能。
2025-11-25 cs.CV
A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using LiDAR Descriptors
University of Minnesota Twin Cities（明尼苏达大学双城分校）
地点识别是同时定位与地图构建（SLAM）算法的核心组成部分。特别是在视觉SLAM系统中，通过测量表示这些位置的图像之间的外观相似性来识别先前访问过的地方。然而，这样的方法对视觉外观变化敏感，并且在计算上也可能是昂贵的。在本文中，我们提出了另一种方法，适应激光雷达描述符的三维点从立体视觉里程计的地方识别。3D点可能比2D视觉线索更可靠（例如，2D特征）对抗环境变化（例如，可变照明），并且这可以有益于长期部署场景中的视觉SLAM系统。立体-视觉里程计生成具有绝对比例的3D点，这使我们能够使用LiDAR描述符进行高计算效率的位置识别。通过对标准基准数据集的广泛评估，我们证明了使用3D点进行2D方法识别的准确性，效率和鲁棒性。
2020-07-26 cs.CV
Multi-Spectral Visual Odometry without Explicit Stereo Matching
Zhejiang University（浙江大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
由标准（可见光）照相机和长波红外照相机组成的多光谱传感器可以同时提供可见光和热图像。由于热成像与环境照明无关，因此可以帮助克服标准相机在复杂照明条件下的某些限制。然而，由于两种类型的相机的信息源的差异，它们的图像通常具有很低的纹理相似性。因此，传统的基于纹理的特征匹配方法不能直接应用于获得立体对应。针对这一问题，本文提出了一种无需显式立体匹配的多光谱视觉里程计方法。利用直接图像对准对可见光图像和热图像进行多视图立体视觉的光束法平差。比例尺漂移可以通过使用固定基线立体对地图点进行额外的时间观测来避免。实验结果表明，该方法可以提供准确的视觉里程计的结果与恢复的度量尺度。此外，所提出的方法还可以提供一个度量的3D重建在半稠密密度与多光谱信息，这是从现有的多光谱方法。
2019-08-23 cs.CV
Beyond Photometric Consistency: Gradient-based Dissimilarity for Improving Visual Odometry and Stereo Matching
University of Bonn（波恩大学）
姿态估计和地图构建是自主机器人的核心组成部分，通常依赖于传感器数据的配准。在本文中，我们研究了一种新的度量注册的图像，建立在光度误差的想法。我们的方法结合了梯度方向为基础的度量与幅度相关的缩放项。我们集成到立体声估计以及视觉里程计系统，并显示出明显的优势，典型的差距和直接图像配准任务时，使用我们提出的度量。我们的实验评估表明，我们的度量导致更强大，更准确的估计场景深度以及相机轨迹。因此，该度量提高了相机姿态估计，进而提高了移动机器人的映射能力。我们相信，一系列现有的视觉里程计和视觉SLAM系统可以受益于本文报道的研究结果。
2020-04-08 cs.CV
DSVO: Direct Stereo Visual Odometry
提出了一种无需立体匹配的立体视觉里程计算法。它在重复高频纹理的场景中特别鲁棒。被称为DSVO（直接立体视觉里程计），它直接对像素强度进行操作，没有任何显式的特征匹配，因此比最先进的基于立体匹配的方法更有效和更准确。它应用了一个半直接的单目视觉里程计上运行的立体对，跟踪相机的姿态和映射的环境，同时，另一个相机是用来优化单目视觉里程计的规模。我们评估DSVO在一些具有挑战性的场景，以评估其性能，并提出与最先进的立体声视觉里程计算法的比较。
2019-09-16 cs.CV cs.RO
Stereo-based Multi-motion Visual Odometry for Mobile Robots
Wuhan University（武汉大学）
随着计算机视觉的发展，视觉里程计被越来越多的移动机器人采用。然而，我们发现，不仅自己的姿势，但其他移动物体的姿势也是至关重要的机器人的决定。此外，当有明显的运动物体出现时，视觉里程计会受到很大的干扰。本文提出了一种基于立体视觉的多运动视觉里程计方法来获取机器人及其他运动物体的位姿。为了同时获得姿态，在传统的视觉里程计流水线中加入了连续运动分割模块和坐标转换模块。因此，所有移动对象的姿态可以被获取并转换到地面坐标系中。实验结果表明，所提出的多运动视觉里程计能有效消除运动目标对视觉里程计的影响，且每个运动目标的位置和方向RMSE（均方根误差）分别达到10 cm和3°。
2019-10-15 cs.CV cs.RO
Noise Models in Feature-based Stereo Visual Odometry
Toshiba Research Europe Ltd.（东芝欧洲研究有限公司）
在视觉里程计和从照片进行大规模重建中常见的基于视觉的视觉结构和运动重建流水线使用不同图像中的对应特征的位置来确定场景的3D结构以及与每个图像相关联的相机参数。噪声模型定义了每个图像中每个特征位置的可能性，是此类管道准确性的关键因素，以及优化策略。许多不同的噪声模型已被提出在文献中，在本文中，我们研究了几个性能。我们评估这些模型特别w.r.t.立体视觉里程计，因为这项任务既简单（相机的内在特性是恒定和已知的;几何形状可以可靠地初始化），又具有现成的地面实况数据集（KITTI里程计和新筑波立体数据集）。我们的评估表明，噪声模型，更适应噪声的变化性质一般表现得更好。
2016-07-01 cs.CV cs.RO
Multi-Frame GAN: Image Enhancement for Stereo Visual Odometry in Low Light
Technical University of Munich（慕尼黑工业大学）；Artisense
我们提出了多帧GAN（MFGAN）的概念，并证明了其作为低光条件下立体视觉里程计的图像序列增强的潜力。我们的方法基于一个可逆的对抗网络，将明亮照明场景的有益特征转移到光照较差的序列中，而无需昂贵的配对数据集。为了保持平移序列的相干几何线索，我们提出了一种新的网络架构，以及一个新的损失项结合的时间和立体声基于光流估计。我们证明了增强序列提高了最先进的基于特征的直接立体视觉里程计方法在具有挑战性的照明中对合成和真实数据集的性能。我们还表明，MFGAN在视觉里程计方面优于其他最先进的图像增强和风格转移方法。
2019-10-15 cs.CV cs.RO
MITI: SLAM Benchmark for Laparoscopic Surgery
MITI基准测试提供了一套用于评估微创手术中SLAM算法性能的高质量数据集，包含多模态传感器信息和校准数据，旨在推动视觉-惯性算法的发展。
2026-02-11 cs.CV eess.IV
A General Optimization-based Framework for Local Odometry Estimation with Multiple Sensors
Hong Kong University of Science and Technology（香港科技大学）
如今，越来越多的传感器被装备在机器人上，以提高机器人的鲁棒性和自主能力。我们已经看到了不同平台上配备的各种传感器套件，例如地面车辆上的立体相机，手机上带有IMU（惯性测量单元）的单目相机，以及空中机器人上带有IMU的立体相机。虽然过去已经提出了许多用于状态估计的算法，但是它们通常应用于单个传感器或特定的传感器组。它们中的一些可以与多个传感器选择一起使用。在本文中，我们提出了一个通用的基于优化的框架里程估计，它支持多个传感器集。在我们的框架中，每个传感器都被视为一个一般因素。共享公共状态变量的因素被加在一起以构建优化问题。我们进一步证明了与视觉和惯性传感器，形成三个传感器套件（立体相机，单目相机与IMU，和立体相机与IMU）的一般性。我们在公共数据集上验证了我们的系统的性能，并通过多个传感器的真实实验。结果与其他国家的最先进的算法进行比较。我们强调，我们的系统是一个通用的框架，它可以很容易地融合各种传感器的姿态图优化。我们的实现是开源的\footnote{https://github.com/HKUST-Aerial-Robotics/VINS-Fusion}。
2019-01-11 cs.CV
Baseline and Triangulation Geometry in a Standard Plenoptic Camera
在本文中，我们演示了光场三角测量，以确定深度距离和基线的全光相机。微透镜和图像传感器的进步已经使得全光相机能够以足够的空间分辨率从不同视点捕获场景。虽然可以使用三角测量从立体视点对中的视差推断物体距离，但是当应用于全光相机的情况时，该概念仍然是模糊的。我们提出了一个几何光场模型，允许三角测量应用于全光相机，以预测物体的距离或指定所需的基线。结果表明，我们的新方法的距离估计匹配放置在摄像机前面的真实物体。使用光学设计软件进行的额外基准测试进一步验证了模型的准确性，几种主要镜头类型和焦点设置的偏差小于+-0.33%。汽车和机器人领域的各种应用都可以从这种估计模型中受益。
2021-01-20 cs.CG cs.CV cs.IR
Expansion of Visual Hints for Improved Generalization in Stereo Matching
NVIDIA（英伟达）；Aalto University（阿尔托大学）；Niantic
我们引入视觉提示扩展来指导立体匹配，以提高泛化能力。我们的工作是出于视觉惯性里程计（VIO）在计算机视觉和机器人技术，其中一个稀疏和不均匀分布的特征点集表征场景的鲁棒性。为了提高立体匹配，我们建议将2D提示提升到3D点。这些稀疏且不均匀分布的3D视觉提示使用3D随机几何图来扩展，这增强了学习和推理过程。我们在多个广泛采用的基准测试中评估了我们的建议，并在不使用图像序列以外的其他传感器的情况下显示出更好的性能。为了突出实用性和共生与视觉里程计，我们演示了我们的方法如何运行在嵌入式硬件上。
2022-11-01 cs.CV
Stereo Visual Odometry with Deep Learning-Based Point and Line Feature Matching using an Attention Graph Neural Network
Ford Next LLC（福特Next有限责任公司）；Arizona State University（亚利桑那州立大学）；Qualcomm（高通）
提出一种基于注意力图神经网络的StereoVO技术，通过深度学习匹配点线特征，在雾、雨、雪及夜间眩光等低能见度条件下实现了优于现有算法的稳健特征匹配与定位性能。
2023-08-02 cs.CV cs.RO
Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World
The University of Sydney（悉尼大学）
单目视觉里程计（VO）通过提供实时车辆运动从成本效益的相机图像吸引了广泛的研究关注。然而，最先进的基于优化的单目VO方法遭受长期预测的尺度不一致问题。最近引入了深度学习，通过利用训练数据集中的立体序列或地面实况运动来解决这个问题。然而，它带来了数据汇集的额外成本，并且这样的训练数据可能在所有数据集中都不可用。在这项工作中，我们提出了VRVO，一种新的框架，用于从虚拟数据中检索绝对比例，可以很容易地从现代仿真环境中获得，而在真正的领域没有立体声或地面实况数据需要在训练或推理阶段。具体来说，我们首先训练一个尺度感知的视差网络使用单目真实图像和立体虚拟数据。通过使用对抗性训练策略将来自两个域的图像映射到共享特征空间来弥合虚拟到真实域的差距。由此产生的规模一致的差异，然后集成与直接VO系统通过构建一个虚拟的立体目标，确保在长轨迹的规模一致性。此外，为了解决由单独的优化后端和学习过程引起的次优问题，我们进一步提出了一个相互加强的管道，允许学习和优化之间的双向信息流，从而提高了彼此的鲁棒性和准确性。我们证明了我们的框架在KITTI和vKITTI2数据集上的有效性。
2022-03-11 cs.CV
A Robust Pavement Mapping System Based on Normal-Constrained Stereo Visual Odometry
the Hong Kong University of Science and Technology（香港科技大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
路面状况是土木基础设施维护的关键。该任务通常需要高效的道路损伤定位，这可以通过嵌入在无人机（UAV）中的视觉里程计系统来完成。然而，现有的视觉里程计和映射方法在场景结构退化的情况下存在较大的漂移。为了缓解这个问题，我们将法线约束集成到视觉里程计过程中，这大大有助于避免大的漂移。通过对切平面上的法向量进行参数化，在位姿优化过程中将法向量因子与传统的重投影因子耦合。实验结果证明了该系统的有效性。总体绝对轨迹误差改善了约20%，这表明估计的轨迹比使用其他最先进的方法获得的轨迹精确得多。
2019-10-29 cs.CV cs.RO
Feature-based Event Stereo Visual Odometry
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Rimac Automobili（里马克汽车公司）
基于事件的相机是生物启发的传感器，其输出事件，即，场景中的异步逐像素亮度变化。它们的高动态范围和微秒级的时间分辨率使它们在具有挑战性的照明环境和高速场景中比标准相机更可靠，因此开发仅基于事件相机的里程计算法为自主系统和机器人提供了令人兴奋的新可能性。在本文中，我们提出了一种新的立体视觉里程计方法的事件摄像机的基础上进行特征检测和匹配与仔细的特征管理，而姿态估计是通过重投影误差最小化。我们评估了所提出的方法在两个公开数据集上的性能：室内飞行无人机捕获的MVSEC序列和DSEC室外驾驶序列。MVSEC提供了来自运动捕捉的精确地面实况，而对于不提供地面实况的DSEC，为了获得标准相机帧上的参考轨迹，我们使用了我们的SOFT视觉里程计，这是KITTI记分牌上排名最高的算法之一。我们将我们的方法与ESVO方法进行了比较，ESVO方法是第一种也是唯一的立体声事件里程计方法，在MVSEC序列上显示出同等的性能，而在DSEC数据集上，ESVO与我们的方法不同，无法使用默认参数处理户外驾驶场景。此外，我们的方法ESVO的两个重要的优点是，它适应跟踪频率的异步事件率，不需要初始化。
2021-07-10 cs.CV cs.RO
Conceptual Evaluation of Deep Visual Stereo Odometry for the MARWIN Radiation Monitoring Robot in Accelerator Tunnels
Faculty of Computer Science and Digital Society（计算机科学与数字社会学院）；HAW Hamburg（汉堡应用技术大学）
本文评估了深度视觉立体视觉里程计在加速器隧道中为MARWIN机器人提供自主导航的可能性，通过结合3D几何约束，旨在提高在未知环境中的鲁棒性和灵活性。
2025-11-25 cs.CV cs.RO
SFVO: Decoupled Confidence-Guided Stereo-Flow Visual Odometry with Bidirectional PnP
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Cheng Kar-Shun Robotics Institute（郑家纯机器人研究所）
提出SFVO，一种基于预训练立体匹配与光流模型的对应驱动立体视觉里程计框架，通过解耦置信度图提升几何约束可靠性，实现鲁棒准确的位姿估计。
2026-09-21 cs.CV cs.RO
Unsupervised Learning of Monocular Depth Estimation and Visual Odometry with Deep Feature Reconstruction
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Indian Institute of Technology (BHU)（印度理工学院（贝拿勒斯印度教大学））
尽管基于学习的方法在单视图深度估计和视觉里程计中显示出有希望的结果，但是大多数现有方法以监督的方式处理任务。最近的单视图深度估计方法探索了通过最小化光度误差来在没有完全监督的情况下学习的可能性。在本文中，我们探讨使用立体序列学习深度和视觉里程计。立体序列的使用使得能够使用空间（左右对之间）和时间（向前向后）光度扭曲误差，并将场景深度和相机运动约束为常见的真实世界尺度。在测试时，我们的框架是能够估计单视图深度和两个视图里程从单目序列。我们还展示了如何通过考虑深度特征的扭曲来改善标准的光度扭曲损失。我们通过大量的实验表明：（i）由于对深度施加的额外约束，对单视图深度和视觉里程计的联合训练提高了深度预测，并实现了视觉里程计的竞争结果;（ii）基于深度特征的扭曲损失改善了单视图深度估计和视觉里程计的简单光度扭曲损失。我们的方法在这两项任务中都优于KITTI驾驶数据集上现有的基于学习的方法。源代码可在https://github.com/Huangying-Zhan/Depth-VO-Feat上获得
2018-04-05 cs.CV
DynPL-SVO: A Robust Stereo Visual Odometry for Dynamic Scenes
School of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院）
本文提出DynPL-SVO，一种结合点线特征联合代价函数与动态网格算法的立体视觉里程计方法，通过Levenberg-Marquardt最小化重投影误差估计运动，在KITTI和EuRoC MAV数据集上准确率平均提升超20%。
2023-06-24 cs.CV cs.RO
Blur aware metric depth estimation with multi-focus plenoptic cameras
Université Clermont Auvergne（克莱蒙奥弗涅大学）；Clermont Auvergne INP（克莱蒙奥弗涅国立理工学院）；CNRS（法国国家科学研究中心）；Institut Pascal（帕斯卡研究所）
本文提出BLADE方法，利用多焦光场相机中的散焦模糊与对应关系线索，结合逆投影模型和深度缩放标定，实现精确的度量深度估计。
2023-08-08 cs.CV eess.IV
Event-based Stereo Visual Odometry
Technische Universität Berlin（柏林工业大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）
基于事件的相机是生物启发的视觉传感器，其像素彼此独立工作，并以微秒分辨率异步响应亮度变化。它们的优势使其能够应对机器人技术中具有挑战性的场景，例如高速和高动态范围场景。我们提出了一个解决方案的问题，视觉里程计从立体事件为基础的摄像机钻机所获得的数据。我们的系统遵循并行跟踪和映射方法，其中每个子问题（3D重建和相机姿态估计）的新解决方案的开发考虑到两个目标：原则和效率，与商品硬件的实时操作。为此，我们寻求最大限度地提高立体声基于事件的数据的时空一致性，同时使用一个简单而有效的表示。具体地，映射模块通过以概率方式融合来自多个局部视点（通过时空一致性获得）的深度估计来构建场景的半密集3D地图。跟踪模块通过解决由于所选择的地图和事件数据表示而自然产生的配准问题来恢复立体装备的姿态。在公开数据集和我们自己的录音上的实验证明了所提出的方法在具有一般6自由度运动的自然场景中的多功能性。该系统成功地利用了基于事件的摄像机的优势，在具有挑战性的照明条件下（如低光和高动态范围）执行视觉里程计，同时在标准CPU上实时运行。我们在开源许可证下发布软件和数据集，以促进基于事件的SLAM新兴主题的研究。
2021-02-22 cs.CV cs.RO
Improving the Accuracy of Stereo Visual Odometry Using Visual Illumination Estimation
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）
在缺乏可靠、准确的GPS定位系统的情况下，视觉里程计（VO）已成为估计机器人自运动的一种有效手段。像任何航位推算技术一样，VO遭受漂移误差随时间的无限累积，但是这种累积可以通过结合来自例如太阳传感器的绝对取向信息来限制。在本文中，我们利用最近的工作对视觉户外照明估计表明，在立体VO管道的估计误差可以通过推断太阳的位置，从用于计算VO相同的图像流，从而获得太阳感应的好处，而不需要一个专用的太阳传感器或太阳是可见的相机。我们比较了基于手工制作的视觉线索和卷积神经网络（CNN）的太阳估计方法，并在流行的KITTI数据集的7.8公里城市驾驶上展示了我们的方法，与纯VO相比，平移平均均方根误差（ARMSE）降低了43%，最终平移漂移误差降低了59%。
2019-08-08 cs.CV cs.RO
Hyperspectral Light Field Stereo Matching
ShanghaiTech University（上海科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Plex-VR Inc.（Plex-VR 公司）；Microsoft Research（微软研究院）；University of Delaware（特拉华大学）
在本文中，我们描述了如何使用高光谱光场捕获（H-LF）系统可以提取场景深度。我们的H-LF系统由一个5 x 6的相机阵列组成，每个相机在可见光谱中采样不同的窄带。场景深度的提取分为两部分。第一部分是我们的新的交叉谱成对匹配技术，它涉及到一个新的谱不变的特征描述符和它的同伴匹配度量，我们称之为双向加权归一化互相关（BWNCC）。第二部分，即H-LF立体匹配，使用依赖于BWNCC的光谱相关对应和散焦线索的组合。这两个新的成本项被集成到一个马尔可夫随机场（MRF）的视差估计。在合成和真实H-LF数据上的实验表明，该方法可以生成高质量的视差图。我们还表明，这些结果可以用来产生完整的全光立方体，除了合成全聚焦和散焦的彩色图像在不同的传感器光谱响应。
2017-09-04 cs.CV
Event-based Stereo Visual Odometry with Native Temporal Resolution via Continuous-time Gaussian Process Regression
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
本文提出一种无需分组或近似的Event-based立体视觉里程计流程，通过物理动机先验的高斯过程回归进行连续时间轨迹估计，保持事件相机时间保真度，在MVSEC数据集上误差显著优于现有公开方法。
2023-09-12 cs.CV cs.RO
MAC-VO: Metrics-aware Covariance for Learning-based Stereo Visual Odometry
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；School of Ocean and Civil Engineering, Shanghai JiaoTong University（上海交通大学海洋与土木工程学院）
MAC-VO提出利用学习到的度量感知匹配不确定性进行关键点选择与协方差建模，并融入位姿图优化，从而在挑战性环境中提升立体视觉里程计的鲁棒性和位姿估计可靠性。
2025-03-12 cs.CV cs.RO
Fast Multi-frame Stereo Scene Flow with Motion Segmentation
RIKEN AIP（理化学研究所革新智能综合研究中心）；Microsoft Research（微软研究院）；The University of Tokyo（东京大学）
我们提出了一种新的多帧方法，有效地计算场景流（密集的深度和光流）和摄像机自我运动的动态场景观察从一个移动的立体摄像机钻机。我们的技术还分割出移动物体从刚性场景。在我们的方法中，我们首先使用立体匹配和视觉里程计来估计视差图和6-DOF相机运动。然后，我们确定区域不一致的估计相机运动和计算每像素光流只在这些地区。使用融合移动将该流建议与基于相机运动的流建议融合以获得最终的光流和运动分割。这种统一的框架有利于所有四个任务-立体，光流，视觉里程计和运动分割，从而提高整体精度和效率。我们的方法目前在KITTI 2015场景流基准测试中排名第三。此外，我们的CPU实现每帧运行2-3秒，比前六种方法快1-3个数量级。我们还报告了对具有快速相机和物体运动的挑战性Sintel序列的全面评估，其中我们的方法始终优于OSF [Menze和Geiger，2015]，目前在KITTI基准中排名第二。
2017-07-05 cs.CV
ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras
School of Robotics, Hunan University（湖南大学机器人学院）；Neuromorphic Automation and Intelligence Lab (NAIL)（神经形态自动化与智能实验室）；Department of Electronic and Computer Engineering（电子与计算机工程系）；Hong Kong University of Science and Technology（香港科学与技术大学）；TU Berlin（柏林工业大学）；Science of Intelligence Excellence Cluster（智能科学卓越集群）；Robotics Institute Germany（德国机器人研究所）；Einstein Center Digital Future（爱因斯坦中心数字未来）
针对事件相机直接法SLAM中建图计算复杂与旋转自由度退化问题，提出基于立体事件相机和IMU预积分的直接视觉-惯性里程计系统，提升建图效率与全局定位精度。
2025-09-08 cs.CV cs.RO
D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
我们提出D3 VO作为一种新的框架，用于单目视觉里程计，在三个层面上利用深度网络-深度，姿态和不确定性估计。我们首先提出了一种新的自监督单目深度估计网络训练立体视频没有任何外部监督。特别地，它将训练图像对对齐到具有预测亮度变换参数的相似照明条件中。此外，我们对输入图像上像素的光度不确定性进行建模，这提高了深度估计的准确性，并为直接（无特征）视觉里程计中的光度残差提供了一个学习的加权函数。评估结果表明，该网络优于国家的最先进的自我监督深度估计网络。D3 VO将预测的深度、姿态和不确定性紧密结合到直接的视觉里程计方法中，以增强前端跟踪和后端非线性优化。我们在KITTI里程计基准和EuRoC MAV数据集上对D3 VO进行了单眼视觉里程计的评估，结果表明D3 VO的性能大大优于传统的单眼VO方法。它还实现了与KITTI上最先进的立体/LiDAR里程计和EuRoC MAV上最先进的视觉惯性里程计相当的结果，同时仅使用单个相机。
2020-03-28 cs.AI cs.CV
Evaluation of the visual odometry methods for semi-dense real-time
Wuhan University of Technology（武汉理工大学）
近几十年来，视觉里程计（VO）在计算机视觉领域的使用显着增加。它也被用于各种机器人应用，例如火星探测漫游者。本文首先讨论了两种流行的现有视觉里程计方法，即LSD-SLAM和ORB-SLAM 2，以提高视觉SLAM系统的性能指标，使用梅山方法。我们在三个不同的知名KITTI数据集、EuRoC MAV数据集和TUM RGB-D数据集上仔细评估了上述方法，以获得最佳结果，并将结果与不同视觉里程计方法的评估指标进行了图形比较。其次，我们提出了一种实时的【形】运行的方法与立体相机，它结合了现有的基于特征的（间接）方法和现有的无特征（直接）方法匹配精确的半密度直接图像对齐和重建一个准确的3D环境直接对像素图像梯度。虚拟对象;性能度量;梅山方法;基于特征的方法;无特征的方法;半密集实时的【形】。
2018-04-12 cs.CV
VOCA: Visual Odometry with Codec Awareness
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
提出VOCA方法，利用视频编解码信息改进压缩流上的立体视觉里程计跟踪性能，在因果VO上达到最先进的相对轨迹误差和效率。
2026-07-02 cs.CV
UnDeepVO: Monocular Visual Odometry through Unsupervised Deep Learning
University of Essex（埃塞克斯大学）；Heriot-Watt University（赫瑞-瓦特大学）；National University of Defense Technology（国防科技大学）
本文提出了一种新的单目视觉里程计（VO）系统UnDeepVO。UnDeepVO能够通过使用深度神经网络来估计单目相机的6-DoF姿态及其景深。所提出的UnDeepVO有两个显著特征：一个是无监督的深度学习方案，另一个是绝对规模恢复。具体来说，我们通过使用立体图像对来训练UnDeepVO以恢复尺度，但通过使用连续的单目图像来测试它。因此，UnDeepVO是一个单目系统。定义用于训练网络的损失函数是基于空间和时间密集信息。系统概述如图1所示。在KITTI数据集上的实验表明，我们的UnDeepVO在姿态精度方面取得了良好的性能。
2018-02-21 cs.CV
Learning Residual Flow as Dynamic Motion from Stereo Videos
KAIST（韩国科学技术院）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种方法，用于从移动立体钻机观察到的3D场景流分解成静止的场景元素和动态对象运动。我们的无监督学习框架共同推理了摄像机运动、光流和移动对象的3D运动。三个合作网络预测立体匹配，摄像机运动和残余流，其表示由于对象运动而不是来自摄像机运动的流分量。基于刚性射影几何，利用估计的立体深度来指导摄像机运动估计，利用深度和摄像机运动来指导残差流估计。我们还明确估计的3D场景流的动态对象的残留流和场景深度的基础上。KITTI数据集上的实验证明了该方法的有效性，并表明该方法在光流和视觉里程计任务上优于其他最先进的算法。
2019-09-16 cs.CV
Enhancing self-supervised monocular depth estimation with traditional visual odometry
Univrses AB（Univrses AB公司）；University of Bologna（博洛尼亚大学）
从单个图像估计深度代表了利用多个相机的更传统方法的有吸引力的替代方案。在这个领域，深度学习取得了出色的成果，但代价是需要大量标记有精确深度测量的数据进行训练。通过利用单目序列或立体声对代替昂贵的地面实况深度注释的自监督方法，这个问题得到了缓解。本文使进一步提高单目深度估计集成到现有的自监督网络的几何先验。具体来说，我们提出了一个稀疏不变的自动编码器能够处理传统的视觉里程计算法的输出协同工作的深度从单声道网络。在KITTI数据集上的实验结果表明，通过利用几何先验，我们的建议：i）优于文献中的现有方法，ii）与紧凑和复杂的单声道深度架构很好地结合，允许其在高端GPU以及嵌入式设备（例如，NVIDIA Jetson TX2）。
2019-08-12 cs.CV
Pseudo-LiDAR for Visual Odometry
China University of Mining and Technology（中国矿业大学）；Shanghai Jiao Tong University（上海交通大学）
在现有方法中，LiDAR测距法表现出优越的性能，但视觉里程计因其价格优势仍被广泛应用。传统上，视觉里程计的任务主要依赖于连续图像的输入。然而，里程计网络学习图像提供的对极几何信息是非常复杂的。本文将伪激光雷达的概念引入到里程测量中来解决这一问题。伪LiDAR点云将图像生成的深度图反投影到3D点云中，改变了图像的表示方式。与立体图像相比，由立体匹配网络生成的伪LiDAR点云可以得到明确的三维坐标。由于6自由度（DoF）位姿变换发生在3D空间中，因此由伪LiDAR点云提供的3D结构信息比图像更直接。与稀疏LiDAR相比，伪LiDAR具有更密集的点云。为了充分利用伪激光雷达提供的丰富点云信息，采用了一种投影感知的密集测距流水线。大多数以前的基于LiDAR的算法从点云中采样8192个点作为里程计网络的输入。投影感知密集测距管道将从图像生成的所有伪LiDAR点云（除了错误点）作为网络的输入。在充分利用图像中三维几何信息的同时，图像中的语义信息也被用于里程计任务。2D-3D的融合是在仅基于图像的里程计中实现的。在KITTI数据集上的实验证明了该方法的有效性。据我们所知，这是第一个使用伪激光雷达的视觉里程计方法。
2022-09-04 cs.CV cs.RO
Balancing the Budget: Feature Selection and Tracking for Multi-Camera Visual-Inertial Odometry
University of Oxford（牛津大学）
提出一种多相机视觉-惯性里程计系统，通过跨相机连续跟踪特征并选择固定特征预算，在保持精度的同时降低计算负担，在挑战性环境中将漂移率降低高达80%。
2022-05-12 cs.CV cs.RO
A Review of Visual Odometry Methods and Its Applications for Autonomous Driving
The University of Western Australia（西澳大学）
对自动驾驶应用的研究已经观察到近年来基于计算机视觉的方法的增加。在开发专用的基于视觉的系统的尝试中，视觉里程计通常被认为是实现运动估计和自定位的关键要素，以代替车轮里程计或惯性测量。本文介绍了一个最近的审查方法，是相关的视觉里程计，重点是自动驾驶。本文综述了视觉里程计的单眼，立体和视觉惯性形式，分别介绍了他们的应用相关的分析。讨论得出的轮廓所面临的问题，在目前的研究状态，并总结审查的工作。本文最后提出了未来的工作建议，以帮助视觉里程计的发展前景。
2020-09-19 cs.CV eess.IV
Visual-Inertial Odometry with Online Calibration of Velocity-Control Based Kinematic Motion Models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出一种双目视觉惯性里程计方法，通过在线集成并标定轮式机器人基于速度控制的运动学模型，利用RBF核补偿控制延迟与偏差，无需轮式编码器即可提升VIO精度并用于运动控制与规划。
2023-04-18 cs.CV
Training Deep SLAM on Single Frames
Samsung AI Center（三星人工智能中心）
基于学习的视觉里程计和SLAM方法在过去几年中表现出稳定的改进。然而，收集地面真实姿势来训练这些方法是困难且昂贵的。这可以通过在无监督模式下进行训练来解决，但无监督和有监督方法的性能之间仍然存在很大的差距。在这项工作中，我们专注于为基于深度学习的视觉里程计和将光流作为输入的SLAM方法生成合成数据。我们以光流的形式产生训练数据，该光流对应于真实帧和虚拟帧之间的任意相机移动。为了合成数据，我们使用由深度传感器产生或从立体对估计的深度图。我们在合成数据上训练视觉里程计模型，并且不使用地面实况姿态，因此该模型可以被认为是无监督的。它也可以被归类为单眼，因为我们不使用深度图进行推理。我们还提出了一种简单的方法，将任何视觉里程计模型转换为基于帧匹配和图形优化的SLAM方法。我们证明了综合训练的视觉里程计模型和基于该模型的SLAM方法在KITTI数据集上的无监督方法中产生了最先进的结果，并在具有挑战性的EuRoC数据集上显示了有希望的结果。
2019-12-11 cs.CV
OTPL-VIO: Robust Visual-Inertial Odometry with Optimal Transport Line Association and Adaptive Uncertainty
OTPL-VIO通过最优传输线关联与自适应不确定性方法，提升低纹理和光照变化场景下的视觉-惯性里程计鲁棒性与精度。
2026-08-14 cs.CV cs.RO
Direct Monocular Odometry Using Points and Lines
Carnegie Mellon University（卡内基梅隆大学）
大多数用于单目相机的视觉里程计算法通过特征匹配或像素强度的直接对准来关注点，而忽略了常见但重要的几何实体：边缘。在本文中，我们提出了一个里程计算法，结合点和边缘，以受益于直接和基于特征的方法的优点。它在纹理较少的环境中工作得更好，并且通过增加收敛盆对照明变化和快速运动更加鲁棒。我们保持一个深度图的关键帧，然后在跟踪部分，相机的姿态恢复通过最小化的光度误差和几何误差的匹配边缘的概率框架。在匹配部分，利用边缘来提高匹配速度和匹配精度。在各种公共数据集上，我们的算法比最先进的单目测距方法实现了更好或相当的性能。在一些具有挑战性的纹理较少的环境中，我们的算法减少了状态估计误差超过50%。
2017-03-19 cs.CV cs.RO
Geometric-based Line Segment Tracking for HDR Stereo Sequences
University of Malaga（马拉加大学）
在这项工作中，我们提出了一个纯粹的几何方法，具有挑战性的立体声流与严重的照明变化或高动态范围（HDR）的环境中的线段的鲁棒匹配。为此，我们利用匹配问题的单义性，即每个观察必须与单个特征相对应或根本不对应。我们把这个问题描述为一个稀疏的，凸的，由几何约束正则化的匹配向量的L1最小化。该公式允许沿着序列的线段的鲁棒跟踪，其中传统的基于外观的匹配技术由于照明条件的动态变化而往往失败。此外，所提出的匹配算法也导致了相当大的速度提高，使其适合于实时应用，如视觉里程计（VO）的现有技术。当然，与基于外观的方法相比，这是以匹配数量略低为代价的，并且还将其应用限制于连续视频序列，因为它相当受限于连续帧之间的小姿态增量。我们验证声称的优势，首先评估的匹配性能，在具有挑战性的视频序列，然后测试的基准点和线为基础的VO算法的方法。
2018-09-25 cs.CV
