WALK-VIO: Walking-motion-Adaptive Leg Kinematic Constraint Visual-Inertial Odometry for Quadruped Robots
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出了一种新的视觉-惯性里程计(VIO),它具有随身体运动而变化的步行运动自适应腿部运动约束,用于四足机器人的定位。四足机器人主要使用VIO,因为它们需要快速定位以进行控制和路径规划。然而,由于四足机器人主要用于户外,从天空或地面提取的无关特征会导致跟踪失败。此外,四足机器人的步行运动会导致摆动,这会降低由于相机和惯性测量单元(IMU)的定位精度。为了克服这些限制,许多研究人员使用VIO与腿部运动学约束。然而,由于四足机器人的步行运动根据控制器,步态,四足机器人的速度,等等,这些因素应该考虑的过程中添加腿运动学约束。我们提出了VIO,可以使用无论步行运动通过调整腿的运动学约束因子。为了评估WALK-VIO,我们创建并发布了四足机器人的数据集,这些机器人在仿真环境中以各种类型的步行运动移动。此外,我们通过与当前最先进的算法进行比较,验证了WALK-VIO的有效性。
2021-11-30 cs.RO
Ground-VIO: Monocular Visual-Inertial Odometry with Online Calibration of Camera-Ground Geometric Parameters
Wuhan University(武汉大学)
针对车辆场景中单目VIO精度低的问题,提出利用地面特征与相机-地面几何在线标定的Ground-VIO方法,显著提升里程计精度,性能媲美甚至优于立体VIO。
2023-06-18 cs.RO
MIR-VIO: Mutual Information Residual-based Visual Inertial Odometry with UWB Fusion for Robust Localization
多年来,应用于移动机器人和无人机的视觉里程计取得了令人印象深刻的进展。然而,视觉感知仍然是一个具有挑战性的领域,因为视觉传感器在使用单目相机获取正确的尺度信息方面存在一些问题,并且容易受到照明变化的情况的影响。在本文中,UWB传感器融合提出的视觉惯性测距算法作为一种解决方案,以减轻这个问题。考虑到超宽带的特点,设计了一种基于互信息的代价函数。考虑到UWB信号模型的特点,其中的不确定性增加的UWB锚和标签之间的距离的增加,我们引入了一个新的残差项的成本函数。在室内环境中进行实验时,通过UWB传感器融合,解决了特征点较少的环境中的初始化问题,定位具有鲁棒性。当残差项采用互信息的概念时,可以得到最鲁棒的里程计。
2021-09-08 cs.RO
VIODE: A Simulated Dataset to Address the Challenges of Visual-Inertial Odometry in Dynamic Environments
University of Tokyo(东京大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
动态环境,如城市地区仍然是具有挑战性的流行的视觉惯性里程计(VIO)算法。现有的数据集通常无法捕捉这些环境的动态特性,因此难以定量评估现有VIO方法的鲁棒性。为了解决这个问题,我们提出了三个贡献:首先,我们提供了VIODE基准,一个新的数据集记录从一个模拟的无人机,在具有挑战性的动态环境中导航。VIODE数据集的独特功能是将移动对象系统地引入场景中。它包括三个环境,每个环境都有四个动态级别,可以逐步添加移动对象。该数据集包含同步的立体图像和IMU数据,以及地面实况轨迹和实例分割掩模。其次,我们比较国家的最先进的VIO算法的VIODE数据集,并表明,他们在高度动态的场景中表现出显着的性能下降。第三,我们提出了一个简单的扩展依赖于语义信息的视觉定位算法。我们的研究结果表明,场景语义是一种有效的方式来减轻动态对象的VIO算法的不利影响。最后,我们在https://github.com/kminoda/VIODE上公开提供VIODE数据集。
2021-02-11 cs.RO
Continuous-Time Spline Visual-Inertial Odometry
University of Minnesota Twin Cities(明尼苏达大学双城分校);Minnesota Robotics Institute(明尼苏达机器人研究所)
我们提出了一个连续时间样条为基础的制定视觉惯性里程计(VIO)。具体来说,我们的姿势作为一个三次样条,其时间导数用于合成线加速度和角速度,这是比较从惯性测量单元(IMU)的最佳状态估计的测量。样条边界条件在摄像机和IMU之间建立约束,我们将VIO表示为约束非线性优化问题。连续时间姿态表示使得解决许多VIO挑战成为可能,例如,卷帘快门失真和传感器可能缺乏同步。我们在两个公开的数据集上进行实验,证明了我们的方法的最先进的准确性和实时计算效率。
2022-02-18 cs.RO
Observability Analysis of Visual-Inertial Odometry with Online Calibration of Velocity-Control Based Kinematic Motion Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在本文中,我们分析了视觉惯性里程计(VIO)的可观测性使用立体相机与速度控制为基础的运动学运动模型。以往的工作表明,在一般情况下,全局位置和偏航是不可观测的VIO系统,此外,滚动和俯仰也变得不可观测,如果没有旋转。我们证明,通过整合一个平面的运动约束滚动和俯仰成为可观察的。我们还表明,运动模型的参数是可观察的。
2022-04-13 cs.RO
Toward Efficient and Robust Multiple Camera Visual-inertial Odometry
The Chinese University of Hongkong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Sociaty(深圳人工智能与机器人研究院);Carnegie Mellon University(卡内基梅隆大学);Wuhan University(武汉大学)
效率和鲁棒性是视觉-惯性里程计(VIO)系统的基本标准。在处理大量的视觉数据时,CPU资源和计算延迟的高成本限制了VIO与其他应用程序集成的可能性。近年来,功能强大的嵌入式GPU在提高前端图像处理能力方面有着巨大的潜力。同时,多摄像头系统可以增加后端优化的视觉约束。受这些见解的启发,我们将GPU增强算法纳入VIO领域,从而提出了一种具有NVIDIA Vision编程接口(VPI)的新前端。这个新的前端可以实现多摄像头VIO特征关联,并提供更稳定的后端姿态优化。在单目数据集上的实验表明,与原始VIO相比,新前端的CPU资源占用率和计算延迟分别降低了40.4%和50.6%,而不损失准确性。多摄像机系统显示出更高的VIO初始化成功率和更好的整体状态估计鲁棒性。
2021-09-24 cs.RO
An Equivariant Filter for Visual Inertial Odometry
Systems Theory and Robotics Group(系统理论与机器人研究组);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Australian National University(澳大利亚国立大学)
由于配备有单目相机和惯性测量单元(IMU)两者的设备的普遍存在,视觉惯性里程计(VIO)引起了极大的兴趣。基于扩展卡尔曼滤波器的方法在VIO中仍然很受欢迎,因为与基于优化的方法相比,它们的内存需求、CPU使用率和处理时间都很低。在本文中,我们分析了VIO问题,从几何的角度来看,并提出了一个新的配方上的光滑商流形的等价关系是众所周知的不变性VIO的参考框架的选择。我们提出了一种新的李群,该李群在该流形上传递,并且与视觉测量兼容。这种结构允许应用等变滤波器(EqF)设计,从而产生用于VIO问题的新型滤波器。与一个非常简单的视觉处理前端相结合,所提出的滤波器在EuRoC数据集上展示了与其他基于EKF的VIO算法相比最先进的性能。
2021-04-08 cs.RO
LBDU-VIO: Learned Bias Dynamics and Uncertainty for Visual-Inertial Odometry with Unreliable Vision
Beijing Institute of Technology(北京理工大学)
针对视觉不可靠时传统MSCKF鲁棒性不足的问题,提出LBDU-VIO,用神经ODE建模偏置动力学并预测IMU不确定性,在EuRoC和TUM-VI上降低误差,视觉中断时相对S-MSCKF误差降低25.1%。
2026-10-01 cs.RO
TCB-VIO: Tightly-Coupled Focal-Plane Binary-Enhanced Visual Inertial Odometry
University of Toronto(多伦多大学);Delft University of Technology(代尔夫特理工大学);Toronto Metropolitan University(多伦多 Metropolitan 大学);University College London(伦敦大学学院)
针对视觉惯性里程计的漂移问题,提出基于多状态约束卡尔曼滤波器的紧耦合6自由度TCB-VIO,依托焦平面传感器处理器阵列实现250FPS高帧率运行,性能超越现有主流方法。
2025-10-04 cs.RO
Run Your Visual-Inertial Odometry on NVIDIA Jetson: Benchmark Tests on a Micro Aerial Vehicle
Korea Advanced Institute of Science and Technology(韩国科学技术院);Korea Electronics Technology Institute (KETI)(韩国电子技术研究院);KI-AI;KIR at KAIST(韩国科学技术院KIR)
本文介绍了在NVIDIA Jetson平台上对各种视觉(非惯性)里程计算法进行的基准测试。比较的算法包括单声道和立体声,涵盖视觉里程计(VO)和视觉惯性里程计(VIO):VINS-Mono、VINS-Fusion、Kimera、ALVIO、Stereo-MSCKF、ORB-SLAM 2立体声和ROVIO。由于这些方法主要用于无人机(UAV),因此它们必须在处理板尺寸和重量受限的情况下表现良好。NVIDIA发布的Jetson板满足了这些限制,因为它们具有足够强大的中央处理单元(CPU)和图形处理单元(GPU)用于图像处理。然而,在现有的研究中,Jetson板作为执行VO/VIO的处理平台的性能还没有在计算资源的使用和准确性方面进行广泛的比较。因此,本研究比较了几个NVIDIA Jetson平台上的代表VO/VIO算法,即NVIDIA Jetson TX 2,Xavier NX和AGX Xavier,并为无人机引入了一个新的数据集“KAIST VIO数据集”。包括纯旋转,数据集有几个几何轨迹是苛刻的视觉(惯性)状态估计。评估是在各种Jetson板、算法和轨迹上的估计里程计、CPU使用和内存使用的准确性方面进行的。我们展示了全面基准测试的{结果},并发布了用于计算机视觉和机器人应用的数据集。
2021-03-02 cs.RO
FEJ-VIRO: A Consistent First-Estimate Jacobian Visual-Inertial-Ranging Odometry
Zhejiang University(浙江大学)
近年来,视觉惯性里程计(VIO)取得了许多重大进展。然而,VIO方法在长轨迹上遭受定位漂移。在本文中,我们提出了一个初步估计雅可比视觉惯性测距测距(FEJ-VIRO),以减少定位漂移的VIO框架\textit{consistently}的超宽带(UWB)测距测量。考虑到超宽带锚点的初始位置通常是不可用的,我们提出了一个长短窗口结构来初始化超宽带锚点的位置以及状态增强的协方差。初始化后,FEJ-VIRO估计UWB锚的位置,同时随着机器人的姿态。我们进一步分析了视觉惯性测距估计器的可观测性,证明了在理想情况下存在\textit{four}不可观测方向,而在实际情况下,由于虚假信息的增益,其中一个不可观测方向消失。基于这些分析,我们利用FEJ技术来执行不可观测的方向,从而减少估计的不一致性。最后,我们验证了我们的分析和评估建议FEJ-VIRO与模拟和现实世界的实验。
2022-07-17 cs.RO
SP-VIO: Robust and Efficient Filter-Based Visual Inertial Odometry with State Transformation Model and Pose-Only Visual Description
College of Intelligent Science and Technology, National University of Defense Technology(国防科技大学智能科学学院)
本文提出SP-VIO,通过DST-EKF状态变换、仅位姿视觉描述和DST-RTS回溯方法,提升滤波式VIO在视觉缺失条件下的精度、一致性与鲁棒性。
2025-03-07 cs.RO
Visual-Inertial and Leg Odometry Fusion for Dynamic Locomotion
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tandon School of Engineering, New York University(纽约大学坦登工程学院);Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
实现足式机器人的动态运动行为需要一个高质量的状态估计模块。特别是当运动包括飞行阶段时,现有技术的方法无法产生机器人姿态的可靠估计,特别是基座高度。在本文中,我们提出了一种新的方法相结合的视觉惯性里程(VIO)与腿部里程的扩展卡尔曼滤波器(EKF)为基础的状态估计。VIO模块使用立体相机和IMU来产生机器人基础连杆在惯性系中的低漂移3D位置和偏航方向以及无漂移俯仰和滚动方向。然而,由于图像处理和优化,这些值具有相当大的延迟量,同时更新速率非常低,这不适合于低级控制。为了减少延迟,我们以VIO传感器的IMU测量的速率来预测VIO状态估计。EKF模块使用VIO预测的基本姿态和线速度,将它们与第二个高速率IMU和腿部里程测量进一步融合,并产生适合控制的高频率和小延迟的机器人状态估计。我们集成了这个轻量级的估计框架与非线性模型预测控制器,并成功地实现了一组敏捷的运动行为,包括小跑和跳跃在不同的水平速度,在扭矩控制的四足机器人。
2022-10-10 cs.RO
SM/VIO: Robust Underwater State Estimation Switching Between Model-based and Visual Inertial Odometry
University of South Carolina(南卡罗来纳大学);Epic Systems Corporation(Epic系统公司)
针对水下视觉惯性里程计易因环境因素失效的问题,提出SM/VIO框架,通过运动学模型与本体感知传感器在VIO失效时维持位姿估计并结合健康监测实现及时切换,经Aqua2实验验证了其鲁棒性。
2023-04-04 cs.CV cs.RO
Deployment of Reliable Visual Inertial Odometry Approaches for Unmanned Aerial Vehicles in Real-world Environment
Czech Technical University in Prague(捷克布拉格技术大学);Federal University of São Carlos(圣卡洛斯联邦大学)
本文提出了将视觉惯性里程计(VIO)方法集成到一个模块化控制系统中,该系统是为无人机(UAV)和无人机协作组在现实环境中的部署而设计的。可靠性分析和公平的性能比较的几种方法集成到一个控制管道,以实现在实际条件下的完全自治。尽管大多数VIO算法在人工创建的数据集上实现了优异的定位精度和可忽略的漂移,但是在非理想情况下的可靠性、对退化的传感器数据的鲁棒性以及外部干扰和反馈控制耦合的影响方面没有得到很好的研究。这些缺陷,这是固有的,在现实世界中部署的无人机的情况下,产生负面影响的能力,最常用的VIO方法输出一个合理的姿态估计。我们确定了VIO本地化下可靠飞行的关键条件,并为无法实现这些条件的情况提出了变通方法和补偿。定量分析了采用VIO方法的无人机系统的性能。RTK地面实况和能力,提供可靠的姿态估计的反馈控制上的无人机,是具有挑战性的照明条件下跟踪动态轨迹。
2023-02-03 cs.RO
EMA-VIO: Deep Visual-Inertial Odometry with External Memory Attention
National University of Defense Technology(国防科技大学)
准确和鲁棒的定位是移动代理的基本需求。视觉惯性里程计(VIO)算法利用来自相机和惯性传感器的信息来估计位置和平移。最近基于深度学习的VIO模型吸引了人们的注意,因为它们以数据驱动的方式提供姿态信息,而不需要设计手工制作的算法。现有的基于学习的VIO模型依赖于递归模型来融合多模态数据和处理传感器信号,训练困难且效率不高。我们提出了一种新的基于学习的VIO框架与外部记忆的注意力,有效地和高效地结合了视觉和惯性特征的状态估计。我们提出的模型能够准确和鲁棒地估计姿态,即使在具有挑战性的场景中,例如,在阴天和积水的地面上,这是传统的VIO算法难以提取的视觉特征。实验结果表明,该算法在不同场景下的性能均优于传统的VIO基线和基于学习的VIO基线。
2022-09-18 cs.CV cs.RO
LF-VIO: A Visual-Inertial-Odometry Framework for Large Field-of-View Cameras with Negative Plane
Zhejiang University(浙江大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Huzhou Institute of Zhejiang University(浙江大学湖州研究院)
视觉惯性里程计在自动驾驶和机器人领域引起了广泛的关注。视场(FoV)的大小在视觉里程计(VO)和视觉惯性里程计(VIO)中起着重要作用,因为大的FoV使得能够感知广泛的周围场景元素和特征。然而,当相机的场到达负半平面时,不能再简单地使用[u,v,1]^T来表示图像特征点。为了解决这个问题,我们提出了LF-VIO,这是一个用于具有极大FoV的相机的实时VIO框架。我们利用一个单位长度的三维向量来表示特征点,并设计了一系列的算法来克服这一挑战。为了解决具有地面实况位置和姿态的全景视觉里程计数据集的稀缺性,我们提出了PALVIO数据集,该数据集使用全景环形透镜(PAL)系统收集,具有360°x(40°-120°)的整个FoV和IMU传感器。通过各种实验,在PALVIO基准和FoV为360°x(0°-93.5°)的公共鱼眼相机数据集上验证了所提出的LF-VIO。LF-VIO优于最先进的视觉惯性里程计方法。我们的数据集和代码在https://github.com/flysoaryun/LF-VIO上公开发布
2022-07-18 cs.CV cs.RO eess.IV
Sphere-VIO: Fast and Robust Visual-Inertial Odometry via Unified Spherical Representation for Heterogeneous Multi-Camera Systems
提出Sphere-VIO,一种基于统一球面表示的轻量级滤波VIO框架,通过统一球面全景模型和深度引导跟踪,实现异构多相机系统的鲁棒特征跟踪与高效状态估计。
2026-06-29 cs.RO
Range-Visual-Inertial Odometry: Scale Observability Without Excitation
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
对于大多数机器人应用来说,以恒定速度行进是最有效的轨迹。不幸的是,没有加速度计激励,单目视觉惯性里程计(VIO)不能观察规模和遭受严重的误差漂移。这是将一维激光测距仪纳入美国宇航局的Inconvenity火星直升机导航系统的主要动机。然而,Incidity的简化方法仅限于平坦地形。提出了一种基于面约束的距离测量更新模型。由此产生的范围VIO方法不再限于平面场景,而是扩展到任何通用机器人应用程序的任意结构。一个重要的理论结果表明,尺度不再是零或常加速度运动的可观性矩阵的右零空间。实际上,这意味着在匀速运动下,尺度变得可观察,这使得在任意地形上进行简单而强大的自主操作成为可能。由于测距仪占用空间小,因此range-VIO保留了VIO的最小尺寸、重量和功率属性,并具有类似的运行时间。的好处进行评估的真实飞行数据代表常见的空中机器人方案。使用室内应力数据和全状态地面实况证明了鲁棒性。我们发布了我们的软件框架,称为xVIO,作为开源。
2021-03-28 cs.RO
Benchmarking Visual-Inertial Odometry in Subterranean Environments Under Sensor Degradation, Miscalibration, and Dynamic Occlusion
Nanyang Technological University(南洋理工大学);Dalian University of Technology(大连理工大学);Queensland University(昆士兰大学);Sun Yat-sen University(中山大学)
针对地下环境VIO在传感器退化、误标定和动态遮挡下的失效问题,提出基于CERBERUS数据集的失效中心基准,系统评估四种VIO系统在九种扰动下的鲁棒性,揭示范式间脆弱性差异并提供部署指导。
2026-09-17 cs.RO
XIRVIO: Critic-guided Iterative Refinement for Visual-Inertial Odometry with Explainable Adaptive Weighting
Airbus(空中客车公司);University of Oxford(牛津大学);University of Bristol(布里斯托大学)
提出基于transformer和GAN的单目视觉惯性里程计框架XIRVIO,通过评论家引导的迭代细化预测位姿,并利用自适应传感器加权实现可解释性,在KITTI数据集上达到SOTA水平。
2025-03-01 cs.RO
ROOAD: RELLIS Off-road Odometry Analysis Dataset
Texas A&M University(德克萨斯农工大学)
视觉惯性里程计(VIO)的开发和实施主要集中在结构化环境中,但对越野环境中的定位的兴趣正在增长。在本文中,我们提出了RELLIS越野里程分析数据集(ROOAD),它提供了高质量的,时间同步的越野单目视觉惯性数据序列,以进一步发展相关研究。我们在两种最先进的VIO算法上评估了数据集,(1)Open-VINS和(2)VINS-Fusion。我们的研究结果表明,这两种算法在ROOAD数据集上的性能比在结构化环境中的性能差2到30倍。此外,OpenVINS在越野环境中具有比VINS-Fusion更好的跟踪稳定性和实时性能,而VINS-Fusion在几个数据序列中的跟踪精度优于OpenVINS。由于Kalibr工具包中的相机-IMU校准工具在这项工作中得到了广泛的使用,因此我们包含了几个校准数据序列。我们的手动测量显示Kalibr的工具在相机和IMU之间的相机框架中的方位误差达到+/-1度,最好为+/-1 mm(x轴和y轴),最差为+/-10 mm(z轴)。这个新的数据集为研究人员设计和测试他们的定位算法提供了一组新的场景,以及对VIO在越野环境中当前性能的重要见解。ROOAD数据集:github.com/unmannedlab/ROOAD
2022-04-07 cs.RO
Navion: A 2mW Fully Integrated Real-Time Visual-Inertial Odometry Accelerator for Autonomous Navigation of Nano Drones
MIT(麻省理工学院)
本文介绍了Navion,一种用于视觉惯性里程计(VIO)的节能加速器,可实现小型机器人的自主导航(例如,纳米无人机)和便携式设备上的虚拟/增强现实。该芯片使用惯性测量和单/立体图像来估计无人机的轨迹和环境的3D地图。这个估计是通过运行一个国家的最先进的VIO算法的基础上非线性因子图优化,这需要大量的不规则结构的内存和异构的计算流。为了减少能耗和占地面积,整个VIO系统完全集成在芯片上,以消除昂贵的片外处理和存储。这项工作使用压缩和利用结构化和非结构化稀疏减少片上存储器大小的4.1 $\times$。在严格的面积限制下使用网格,可将吞吐量提高43%。该芯片采用65 nm CMOS工艺制造,可实时的【形】处理752幅来自EuRoC数据集的$\times$ 480立体图像,平均功耗仅为2 mW。在其峰值性能下,Navion可以以高达171 fps的速度处理立体图像,并以高达52 kHz的速度进行惯性测量,而平均功耗为24 mW。该芯片可配置为最大限度地提高精度,吞吐量和能效权衡,并适应不同的环境。据我们所知,这是第一个在ASIC中完全集成的VIO系统。
2018-09-15 cs.RO
Perception-aware receding horizon trajectory planning for multicopters with visual-inertial odometry
UC Berkeley(加州大学伯克利分校)
视觉惯性里程计(VIO)被广泛用于多旋翼飞行器的状态估计,但它可能在视觉特征较少的环境中或在过于激进的飞行中表现不佳。在这项工作中,我们提出了一个感知感知防撞轨迹规划多旋翼机,可用于任何基于特征的VIO算法。我们的方法是能够飞行的车辆以快速的目标位置,避免在一个未知的静止环境中的障碍物,同时实现良好的VIO状态估计精度。该规划器对一组最小加加速度轨迹进行采样,并在其中找到无碰撞轨迹,然后根据它们到达目标的速度和感知质量对其进行评估。运动模糊的功能和他们的位置被认为是感知质量。我们对特征的运动模糊的新颖考虑使得能够在具有不同光照水平的环境下自动适应轨迹的侵略性。来自评估的最佳轨迹由车辆跟踪,并且当从相机接收到新图像时以滚动水平线的方式更新。只对VIO做了一般性的假设,这样规划器就可以与各种现有的系统一起使用。该方法可以在小型嵌入式计算机上实时运行。我们通过室内和室外环境中的实验验证了我们提出的方法的有效性。与感知不可知的规划器相比,所提出的规划器在相机的视图中保留了更多的特征,并且使飞行不那么具有攻击性,从而使VIO更准确。它还减少了VIO故障,这发生在感知不可知的规划器,但不建议的规划器。所提出的规划飞行通过密集的障碍物的能力也得到了验证。实验视频可以在https://youtu.be/qO3LZIrpwtQ上找到。
2022-08-01 cs.RO
FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry
The University of Hong Kong(香港大学)
为了在同时定位与地图构建(SLAM)任务中实现精确和鲁棒的位姿估计,多传感器融合被证明是一种有效的解决方案,因此在机器人应用中具有巨大的潜力。本文提出了一种快速激光雷达-惯性-视觉里程计系统FAST-LIVO,它建立在两个紧密耦合的直接里程计子系统上:一个VIO子系统和一个LIO子系统。LIO子系统注册原始点(而不是例如,边缘或平面)到增量构建的点云图。地图点还附加有图像块,然后在VIO子系统中使用图像块,通过最小化直接光度误差来对准新图像,而不提取任何视觉特征(例如,ORB或FAST拐角特征)。为了进一步提高VIO的鲁棒性和准确性,提出了一种新的离群点剔除方法,以剔除位于边缘或在图像视图中被遮挡的不稳定地图点。开放的数据序列和我们定制的设备数据进行实验。结果表明,我们提出的系统优于其他同行,可以处理具有挑战性的环境,降低计算成本。该系统支持多线旋转LiDAR和具有完全不同扫描模式的新兴固态LiDAR,并且可以在英特尔和ARM处理器上实时运行。我们在Github上开源了我们的代码和数据集,以使机器人社区受益。
2022-03-02 cs.RO
RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in Dynamic Environments
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);SenseTime Research(商汤科技研究院)
本文提出名为RD-VIO的视觉惯性里程计系统,通过IMU-PARSAC两阶段算法鲁棒检测匹配关键点,并利用特殊子帧和延迟三角化技术处理纯旋转问题,在动态环境中显著优于其他方法。
2024-02-16 cs.CV cs.RO
A Versatile Keyframe-Based Structureless Filter for Visual Inertial Odometry
Wuhan University(武汉大学);ETH Zurich(苏黎世联邦理工学院);The Ohio State University(俄亥俄州立大学)
通过融合来自至少一个相机和惯性测量单元(IMU)的数据进行运动估计使得机器人技术中的许多应用成为可能。然而,在众多的视觉惯性里程计(VIO)方法中,很少有方法能够以一致的协方差有效地估计设备运动,并在线校准传感器参数以处理来自消费者传感器的数据。本文提出了一种基于关键帧的无结构滤波器(KSF)。为了效率,地标不包括在滤波器的状态向量中。为了鲁棒性,KSF使用关键帧的概念关联特征观测并管理状态变量。为了灵活性,KSF支持随时校准IMU系统误差,以及每个相机的外部,内部和时间参数。通过仿真分析了传感器参数估计的一致性和可观测性。对设计选项的敏感性,例如,结合EuRoC基准测试,研究了特征匹配方法和摄像机数目。在原始TUM VI序列和智能手机数据上评估传感器参数估计。此外,姿势估计精度进行了评估,对EuRoC和TUM VI序列与最近的VIO方法。这些测试证实,当数据包含足够的运动时,KSF可靠地校准传感器参数,并一致地估计运动,其精度可与最近的VIO方法相媲美。我们的实现运行在42赫兹的立体相机图像的消费笔记本电脑。
2021-01-02 cs.RO
DM-VIO: Delayed Marginalization Visual-Inertial Odometry
Technical University of Munich(慕尼黑工业大学)
我们提出了DM-VIO,一个单目视觉惯性里程计系统的基础上,两个新的技术称为延迟边缘化和姿态图束调整。DM-VIO使用视觉残差的动态权重执行光度光束法平差。我们采用边缘化,这是一种流行的策略,以保持更新时间的约束,但它不能轻易逆转,和线性化点的连接变量必须是固定的。为了克服这一点,我们提出了延迟边缘化:这个想法是保持第二个因素图,边缘化是延迟的。这使我们能够稍后重新调整这个延迟的图,从而产生更新的边缘化,并具有新的一致的线性化点。此外,延迟边缘化使我们能够将IMU信息注入已经边缘化的国家。这是建议的姿态图光束法平差,我们使用的IMU初始化的基础。与先前的IMU初始化工作相比,它能够捕获完整的光度不确定性,改善尺度估计。为了应对最初不可观测的尺度,在IMU初始化完成后,我们继续优化主系统中的尺度和重力方向。我们在EuRoC,TUM-VI和4Seasons数据集上评估了我们的系统,这些数据集包括飞行无人机,大型手持设备和汽车场景。由于所提出的IMU初始化,我们的系统超过了最先进的视觉惯性里程计,甚至优于立体惯性方法,同时只使用一个相机和IMU。该代码将在http://vision.in.tum.de/dm-vio上发布
2022-01-11 cs.CV cs.RO
Leveraging Structural Information to Improve Point Line Visual-Inertial Odometry
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院);Faculty of Robot Science and Engineering, Northeastern University(东北大学机器人科学与工程学院);Kuaishou Technology(快手科技)
利用线特征可以帮助提高基于点的单目视觉惯性测距(VIO)系统的定位精度,因为线提供了额外的约束。而且,在人工环境中,有些直线是相互平行的。本文设计了一个基于点和直线的VIO系统,将直线分为结构直线(即相互平行的直线)和非结构直线。此外,与使用四个参数来表示3D直线的正交表示不同,我们仅使用两个参数来最大限度地减少结构直线和非结构直线的表示。此外,为了提高直线匹配的效率和成功率,设计了一种基于采样点的直线匹配策略。在EuRoc和TUM VI基准测试的公共数据集上验证了该方法的有效性,并与其他最先进的算法进行了比较。
2022-01-13 cs.RO
VIO-DualProNet: Visual-Inertial Odometry with Learning Based Process Noise Covariance
Hatter Department of Marine Technologies, Charney School of Marine Sciences, University of Haifa(海法大学查尼海洋科学学院哈特海洋技术系)
本文提出VIO-DualProNet,通过深度神经网络仅利用惯性测量实时估计惯性噪声协方差,并集成到VINS-Mono中,从而提升VIO的精度与鲁棒性。
2024-04-29 cs.RO cs.SY eess.SY
PLV-IEKF: Consistent Visual-Inertial Odometry using Points, Lines, and Vanishing Points
Shanghai Jiao Tong University(上海交通大学);SLAMTEC company(思岚科技公司)
针对传统EKF基VIO的系统不一致与角漂移问题,提出融合点、线、消失点特征的右不变滤波VIO方案,证明相关误差定义的一致性及消失点的不可观测特性,实验验证其在人造环境中位姿估计的准确性与一致性。
2023-11-08 cs.RO
Exploiting Feature Confidence for Forward Motion Estimation
视觉惯性里程计(VIO)利用惯性测量单元(IMU)来克服视觉里程计(VO)的局限性。然而,VIO的车辆在大规模的室外环境中仍然有一些困难,估计与遥远的功能向前运动。为了解决这些困难,我们提出了一个强大的VIO方法的基础上,使用IMU的前向运动估计的特征置信度的分析。我们首先制定的VIO问题,使用有效的三焦点张量几何。然后,我们推断的特征的信心,通过使用从IMU获得的运动信息,并将置信度到贝叶斯估计框架。在公开的KITTI数据集上的实验结果表明,该算法的性能优于基准算法,同时也验证了该特征置信度分析和置信度融合自运动估计框架的有效性.
2017-08-13 cs.RO
An Empirical Evaluation of Four Off-the-Shelf Proprietary Visual-Inertial Odometry Systems
Sookmyung Women’s University(淑明女子大学)
商业视觉惯性里程计(VIO)系统作为一种具有成本效益的现成六个自由度(6-DoF)自我运动跟踪方法而受到关注,该方法用于估计准确且一致的相机姿态数据,此外它们还能够在没有来自运动捕捉或全球定位系统的外部定位的情况下进行操作。然而,从现有的结果来看,还不清楚哪种商业VIO平台在室内和室外机器人应用的状态估计方面是最稳定、一致和准确的。我们通过一系列室内和室外实验评估了四种流行的专有VIO系统(Apple ARKit,Google ARCore,Intel RealSense T265和Stereolabs ZED 2),展示了它们的定位稳定性,一致性和准确性。我们提出我们的完整结果作为研究界的基准比较。
2022-07-14 cs.CV cs.RO
UVIO: An UWB-Aided Visual-Inertial Odometry Framework with Bias-Compensated Anchors Initialization
Control of Networked Systems Group, University of Klagenfurt(网络化系统控制组,克雷根弗特大学);Department of Industrial Engineering, University of Trento(工业工程系,特伦托大学)
UVIO框架利用UWB技术和视觉-惯性里程计实现鲁棒低漂移定位,通过无人机自主初始化未知锚点,利用GDOP优化锚点位置估计,减少映射不确定性,最终消除初始化锚点范围内的VIO漂移。
2026-04-22 cs.RO
Structureless VIO
针对视觉惯性里程计(VIO)中定位与建图紧耦合、依赖地图的问题,提出无结构VIO方法,移除框架中的视觉地图,实验证明其相比基线方法兼具更高计算效率与精度优势。
2025-06-16 cs.CV cs.RO
CUAHN-VIO: Content-and-Uncertainty-Aware Homography Network for Visual-Inertial Odometry
Delft University of Technology(代尔夫特理工大学)
基于学习的视觉自我运动估计是有前途的,但还没有准备好在现实世界中的导航敏捷移动机器人。在这篇文章中,我们提出了CUAHN-VIO,一个强大的和有效的单目视觉惯性里程计(VIO)设计的微型飞行器(MAVs)配备了一个向下面对的相机。视觉前端是一个内容和不确定性感知的单应性网络(CUAHN),它对非单应性图像内容和网络预测失败的情况具有鲁棒性。它不仅预测单应变换,而且估计其不确定性。训练是自我监督的,因此它不需要通常难以获得的地面实况。该网络具有良好的通用性,可以在新环境中进行“即插即用”部署,而无需进行微调。一个轻量级的扩展卡尔曼滤波器(EKF)作为VIO后端,并利用从视觉测量更新的网络的均值预测和方差估计。CUAHN-VIO在高速公共数据集上进行了评估,并显示出与最先进的(SOTA)VIO方法相媲美的准确性。由于对运动模糊的鲁棒性,低网络推理时间(~ 23 ms)和稳定的处理延迟(~ 26 ms),CUAHN-VIO成功地在Nvidia Jetson TX 2嵌入式处理器上运行,以导航快速自主MAV。
2022-08-30 cs.CV cs.LG cs.RO
A Self-Supervised, Differentiable Kalman Filter for Uncertainty-Aware Visual-Inertial Odometry
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);Vector Institute(向量研究所)
视觉惯性里程计(VIO)系统传统上依赖于用于自运动估计的基于滤波或优化的技术。虽然这些方法在标称条件下是准确的,但它们在严重的照明变化、快速的相机运动或低纹理图像序列中容易失败。基于学习的系统有可能在具有挑战性的环境中优于经典实现,但目前在标称设置中的表现不如经典方法。在这里,我们介绍了一个框架,利用学习和标准的基于滤波的状态估计的优点,训练混合VIO系统。我们的方法是建立在一个可微的卡尔曼滤波器,与IMU驱动的过程模型和一个强大的,神经网络派生的相对姿态测量模型。卡尔曼滤波器框架的使用使得能够在训练时间和测试时间对不确定性进行原则性处理。我们表明,我们的自监督损失公式优于类似的监督方法,同时还可以进行在线再培训。我们评估我们的系统上的视觉降级版本的EuRoC数据集,并发现我们的估计器的操作没有显着降低的准确性的情况下,经典的估计始终发散。最后,通过适当地利用IMU测量中包含的度量信息,我们的系统能够恢复度量场景尺度,而其他自监督单目VIO方法不能。
2022-10-02 cs.RO
Multi-Resolution Voxelized Map-Based Stereo Visual-Inertial Odometry
Huazhong University of Science and Technology(华中科技大学);AI Chip Center for Emerging Smart Systems (AC-CESS)(新兴智能系统人工智能芯片中心)
研究视觉惯性里程计中姿态估计问题,提出多分辨率先验地图构建方法及基于地图的VIO系统,通过体素化地图、锥形索引策略和DDA算法,减少数据传输量与计算负载,实验证明该系统能在少数据传输下实现准确姿态估计。
2026-07-23 cs.RO
RP-VIO: Robust Plane-based Visual-Inertial Odometry for Dynamic Environments
Robotics Research Center at IIIT Hyderabad(海得拉巴国际信息技术学院机器人研究中心)
现代视觉惯性导航系统(VINS)在实际部署中面临着一个关键的挑战:它们需要在高度动态的环境中可靠和鲁棒地运行。目前最好的解决方案仅仅是基于对象类别的语义将动态对象过滤为离群值。这种方法不能扩展,因为它需要语义分类器来包含所有可能移动的对象类;这很难定义,更不用说部署了。另一方面,许多现实世界的环境表现出强烈的结构性的平面形式,如墙壁和地面,这也是至关重要的静态。我们提出了RP-VIO,一个单目视觉惯性里程计系统,利用这些飞机的简单几何形状,在具有挑战性的动态环境中提高鲁棒性和准确性。由于现有的数据集具有有限数量的动态元素,我们还提出了一个高度动态的,逼真的合成数据集,以更有效地评估现代VINS系统的能力。我们评估我们的方法在这个数据集上,和来自标准数据集的三个不同的序列,包括两个真实世界的动态序列,并显示出比最先进的单目视觉惯性测距系统在鲁棒性和准确性方面的显着改善。我们还在模拟中显示了一个简单的动态特征掩蔽方法的改进。我们的代码和数据集是公开的。
2021-12-05 cs.CV cs.RO
OTPL-VIO: Robust Visual-Inertial Odometry with Optimal Transport Line Association and Adaptive Uncertainty
OTPL-VIO通过最优传输线关联与自适应不确定性方法,提升低纹理和光照变化场景下的视觉-惯性里程计鲁棒性与精度。
2026-08-14 cs.CV cs.RO
LIC-Fusion: LiDAR-Inertial-Camera Odometry
Zhejiang University(浙江大学);University of Delaware(特拉华大学)
提出了一种紧耦合的多传感器融合算法LiDAR-惯性相机融合(LIC-Fusion),该算法有效地融合了IMU测量、稀疏视觉特征和提取的LiDAR点。特别是,拟议的LIC融合执行所有三个异步传感器之间的在线空间和时间传感器校准,以补偿可能的校准变化。其主要贡献是在一个有效的基于MSCKF的框架内,对从LiDAR扫描中检测和跟踪的稀疏边缘/冲浪特征点进行最佳(线性化误差)多模态传感器融合,同时进行稀疏视觉特征观测和IMU读数。我们在室内和室外环境中进行了广泛的实验,表明所提出的LIC融合在估计精度和对侵略性运动的鲁棒性方面优于最先进的视觉惯性测距法(VIO)和LiDAR测距法。
2019-11-01 cs.RO
Self-Supervised Deep Pose Corrections for Robust Visual Odometry
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
我们提出了一种自监督深度姿态校正(DPC)网络,该网络将姿态校正应用于视觉里程计估计器以提高其准确性。我们不是直接回归帧间姿势变化,而是建立在先前的工作基础上,该工作使用数据驱动的学习来回归姿势校正,这些姿势校正解释了由于违反建模假设而导致的系统误差。我们的自监督公式消除了对六自由度地面实况的任何要求,并且与预期相反,与监督方法相比,通常可以提高整体导航精度。通过大量的实验,我们证明了我们的自监督DPC网络可以显着提高经典单眼和立体测距估计器的性能,并大大优于最先进的只学习方法。
2020-10-15 cs.RO
A Spatiotemporal Hand-Eye Calibration for Trajectory Alignment in Visual(-Inertial) Odometry Evaluation
Advanced Display and Sensing Research Center, Yongjiang Laboratory(永江实验室先进显示与传感研究中心);Mixed Reality & AI Lab-Zürich, Microsoft(微软苏黎世混合现实与人工智能实验室)
针对视觉(-惯性)里程计评估中轨迹对齐易受噪声和漂移影响的问题,提出一种充分利用螺旋理论多重约束的时空手眼标定算法,提升了标定的准确性与鲁棒性。
2024-04-23 cs.RO
Leveraging Planar Regularities for Point Line Visual-Inertial Odometry
Megvii (Face++) Technology Inc.(旷视(Face++)科技有限公司);School of Software & Microelectronics, Peking University(北京大学软件与微电子学院)
利用单目视觉惯性里程计(VIO)系统,可以同时估计三维点云和相机运动。由于纯稀疏3D点提供了环境的无结构表示,因此从稀疏点生成3D网格可以进一步对环境拓扑进行建模并产生密集映射。为了提高三维网格生成和定位的准确性,我们提出了一个紧耦合的单目VIO系统,PLP-VIO,它利用点特征和线特征以及平面纹理。共面性约束用于利用额外的结构信息,以便在状态估计器中更准确地估计3D点和空间线。为了鲁棒地检测平面和三维网格,我们在检测方法中结合了线特征和点特征。在合成数据和公开数据集上验证了该方法的有效性,并与其他最先进的算法进行了比较。
2021-01-14 cs.CV cs.RO
Vision-Aided Absolute Trajectory Estimation Using an Unsupervised Deep Network with Online Error Correction
GTS;US Army Research Laboratory(美国陆军研究实验室)
我们提出了一种无监督的深度神经网络方法来融合RGB-D图像与惯性测量,以进行绝对轨迹估计。我们的网络被称为视觉惯性测距学习器(VIOLearner),学习在没有惯性测量单元(IMU)内部参数(对应于陀螺仪和加速度计偏差或白噪声)或IMU和相机之间的外部校准的情况下执行视觉惯性测距(VIO)。该网络学习整合IMU测量值并生成假设轨迹,然后根据缩放图像投影误差相对于像素坐标空间网格的雅可比矩阵在线校正这些假设轨迹。我们评估了我们的网络对国家的最先进的(SOA)视觉惯性里程计,视觉里程计,视觉同时定位与地图构建(VSLAM)的KITTI里程计数据集的方法,并展示了竞争力的里程计性能。
2018-03-08 cs.CV cs.RO
Exploring Event Camera-based Odometry for Planetary Robots
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室);University of Zurich(苏黎世大学)
由于它们对运动模糊的适应能力以及在低光和高动态范围条件下的高鲁棒性,事件相机有望成为未来火星直升机任务中基于视觉的探索传感器。然而,现有的基于事件的视觉惯性里程计(VIO)算法要么遭受高跟踪误差或脆弱,因为他们不能应付重大的深度不确定性所造成的不可预见的损失的跟踪或其他影响。在这项工作中,我们介绍了EKLT-VIO,它通过将最先进的基于事件的前端与基于过滤器的后端相结合来解决这两个限制。这使得它对不确定性既准确又鲁棒,在具有挑战性的基准测试中,它的性能比基于事件和帧的VIO算法高出32%。此外,我们展示了在悬停条件下的准确性能(优于现有的基于事件的方法),以及在新收集的火星样和高动态范围序列中的高鲁棒性,现有的基于帧的方法失败。在这样做的过程中,我们表明,基于事件的VIO是基于视觉的火星探测的前进方向。
2022-07-29 cs.CV cs.RO
PIEKF-VIWO: Visual-Inertial-Wheel Odometry using Partial Invariant Extended Kalman Filter
Shanghai Jiao Tong University(上海交通大学)
不变扩展卡尔曼滤波器(IEKF)作为卡尔曼滤波器的一种先进技术,已成功应用于视觉-惯性测距(VIO)中,在传感器融合中显示出巨大的潜力。在本文中,我们提出了部分IEKF(PIEKF),它只将旋转速度状态的李群结构,并将其应用于视觉惯性轮测距(VIWO),以提高定位精度和一致性。具体来说,我们推导出的旋转速度测量模型,它结合了车轮测量与运动学约束。该模型避免了车轮里程计的3D积分和协方差传播,这对于滤波器的一致性至关重要。并引入平面约束以提高定位精度。采用动态离群点检测方法,利用速度状态输出。通过仿真和实际测试,验证了该方法的有效性,在一致性和精度方面优于基于VIWO的标准多状态约束卡尔曼滤波器(MSCKF)。
2023-03-14 cs.RO
Dual-Agent Reinforcement Learning for Adaptive and Cost-Aware Visual-Inertial Odometry
Southeast University(东南大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出双代理强化学习框架,通过智能选择代理和融合代理优化视觉惯性里程计的运行时机和信任度,提升精度与效率的平衡。
2026-03-17 cs.RO
Online Calibration of a Single-Track Ground Vehicle Dynamics Model by Tight Fusion with Visual-Inertial Odometry
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出ST-VIO,将单轨动力学模型与视觉惯性里程计紧耦合,在线标定模型参数,提升轮式机器人运动预测与跟踪精度。
2024-05-28 cs.CV cs.RO
Fusion of Visual-Inertial Odometry with LiDAR Relative Localization for Cooperative Guidance of a Micro-Scale Aerial Vehicle
Multi-robot Systems Group, Department of Cybernetics, Faculty of Electrical Engineering, Czech Technical University in Prague, Technick\'a 2, Prague, 166 27, Czech Republic
本文提出融合视觉惯性里程计与LiDAR相对定位的协同导航方法,用于引导微型无人机,实现高精度轨迹跟踪和漂移抑制。
2026-03-04 cs.RO
FDMO: Feature Assisted Direct Monocular Odometry
University of Waterloo(滑铁卢大学);American University of Beirut(贝鲁特美国大学)
视觉里程计(VO)可以被分类为直接的或基于特征的。当系统进行光度校准,并以高速率捕获图像时,直接方法在准确性和处理时间方面表现出优于基于特征的方法;它们在缺乏特征的环境中也更鲁棒。在缺点上,直接方法依赖于启发式运动模型来对帧之间的相机运动的估计进行播种;在违反这些模型的情况下(例如,不稳定的运动),直接方法容易失败。本文提出了一种新的系统,名为FDMO(特征辅助直接单目测距),它补充了直接和基于特征的技术的优点。仅当故障模式(例如,大基线)的直接跟踪。当不再违反这些条件时,控制返回到直接里程计。引入效应以帮助FDMO实时的执行。当使用TumMono和EuroC数据集进行评估时,与DSO和ORB SLAM相比,FDMO显示出显著的漂移(对齐,旋转和缩放)减少。
2018-04-15 cs.CV cs.RO
TANGO-VIO: Triangulation-Aware Navigation with Guaranteed Feature-Observability for Visual-Inertial Odometry
Istanbul Technical University(伊斯坦布尔理工大学);Aviation Institute, Istanbul Technical University(伊斯坦布尔理工大学航空学院);Aerospace Research Center, Istanbul Technical University(伊斯坦布尔理工大学航空航天研究中心)
针对视觉惯性里程计中特征可观测性主动维护不足的问题,提出TANGO-VIO框架,通过控制障碍函数保证特征几何可观测性,经仿真和真实实验验证了其有效性。
2026-08-04 cs.RO cs.SY eess.SY
Deep IMU Bias Inference for Robust Visual-Inertial Odometry with Factor Graphs
University of Oxford(牛津大学);Georgia Institute of Technology(佐治亚理工学院)
针对视觉失效下VIO易发散的问题,提出用LSTM和Transformer学习IMU偏置演化的方法,可泛化到未见过的运动模式,平均降低15%漂移率,且跨运动模式无需重训练。
2022-11-08 cs.RO