PRGFlow: Benchmarking SWAP-Aware Unified Deep Visual Inertial Odometry
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）
空中机器人上的里程计必须具有低延迟和高鲁棒性，同时还尊重机器人尺寸所要求的尺寸、重量、面积和功率（SWAP）约束。视觉传感器与惯性测量单元（IMU）的组合已被证明是在资源受限的空中机器人上获得鲁棒和低延迟里程计的最佳组合。最近，用于视觉惯性融合的深度学习方法由于其高精度和鲁棒性而获得了发展势头。然而，这些技术的显着优点是其固有的可扩展性（适应不同大小的空中机器人）和统一性（相同的方法适用于不同大小的空中机器人），通过利用压缩方法和硬件加速，这是以前的方法所缺乏的。为此，我们提出了一种用于视觉平移估计的深度学习方法，并将其与惯性传感器松散融合，以进行完整的6DoF里程估计。我们还提出了一个详细的基准比较不同的架构，损失函数和压缩方法，使可扩展性。我们在MSCOCO数据集上评估我们的网络，并在多个真实飞行轨迹上评估VI融合。
2020-06-11 cs.CV cs.RO
PROBE: Predictive Robust Estimation for Visual-Inertial Navigation
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）
在未知、混乱的环境中导航仍然是机器人社区面临的一个重大挑战。光照变化、自相似纹理、运动模糊和移动物体都是最先进的基于视觉的导航算法的绊脚石。在本文中，我们提出了一种新的技术，提高定位精度的视觉惯性导航系统（VINS）。我们利用训练数据来学习在给定环境中相对于定位误差的视觉特征的质量的模型。该模型将来自视觉惯性预测器的预定义预测空间的每个视觉观测映射到标量权重上，然后使用该标量权重来缩放观测协方差矩阵。通过这种方式，我们的模型可以根据其质量调整每个观察的影响。我们讨论了我们选择的预测和报告的定位误差大幅减少4公里的数据从KITTI数据集，以及实验数据集组成的700米的室内和室外驾驶的小型地面漫游车配备了Skybotix VI传感器。
2019-08-05 cs.CV cs.RO
An Empirical Evaluation of Four Off-the-Shelf Proprietary Visual-Inertial Odometry Systems
Sookmyung Women’s University（淑明女子大学）
商业视觉惯性里程计（VIO）系统作为一种具有成本效益的现成六个自由度（6-DoF）自我运动跟踪方法而受到关注，该方法用于估计准确且一致的相机姿态数据，此外它们还能够在没有来自运动捕捉或全球定位系统的外部定位的情况下进行操作。然而，从现有的结果来看，还不清楚哪种商业VIO平台在室内和室外机器人应用的状态估计方面是最稳定、一致和准确的。我们通过一系列室内和室外实验评估了四种流行的专有VIO系统（Apple ARKit，Google ARCore，Intel RealSense T265和Stereolabs ZED 2），展示了它们的定位稳定性，一致性和准确性。我们提出我们的完整结果作为研究界的基准比较。
2022-07-14 cs.CV cs.RO
Multi-Visual-Inertial System: Analysis, Calibration and Estimation
University of Delaware（特拉华大学）
本文研究多视觉-惯性系统的状态估计与完整标定，提出ACI3解析组合IMU积分方法融合多惯性传感器，并通过可观测性分析揭示退化运动，实验验证其精度优于Kalibr。
2024-09-02 cs.CV cs.RO
RP-VIO: Robust Plane-based Visual-Inertial Odometry for Dynamic Environments
Robotics Research Center at IIIT Hyderabad（海得拉巴国际信息技术学院机器人研究中心）
现代视觉惯性导航系统（VINS）在实际部署中面临着一个关键的挑战：它们需要在高度动态的环境中可靠和鲁棒地运行。目前最好的解决方案仅仅是基于对象类别的语义将动态对象过滤为离群值。这种方法不能扩展，因为它需要语义分类器来包含所有可能移动的对象类;这很难定义，更不用说部署了。另一方面，许多现实世界的环境表现出强烈的结构性的平面形式，如墙壁和地面，这也是至关重要的静态。我们提出了RP-VIO，一个单目视觉惯性里程计系统，利用这些飞机的简单几何形状，在具有挑战性的动态环境中提高鲁棒性和准确性。由于现有的数据集具有有限数量的动态元素，我们还提出了一个高度动态的，逼真的合成数据集，以更有效地评估现代VINS系统的能力。我们评估我们的方法在这个数据集上，和来自标准数据集的三个不同的序列，包括两个真实世界的动态序列，并显示出比最先进的单目视觉惯性测距系统在鲁棒性和准确性方面的显着改善。我们还在模拟中显示了一个简单的动态特征掩蔽方法的改进。我们的代码和数据集是公开的。
2021-12-05 cs.CV cs.RO
Visual-Inertial Object Detection and Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种方法来填充一个未知的环境与以前看到的对象的模型，放置在一个欧几里得参考系，因果关系推断和在线使用单目视频以及惯性传感器。我们实现的系统返回一个稀疏的点云的场景，是可见的，但没有被识别为以前看到的对象的区域，以及一个详细的对象模型和它的姿势在欧几里德框架，否则。该系统包括自下而上和自上而下的组件，由此，经过检测训练的深度网络为非线性滤波器提供的对象假设提供似然分数，该滤波器的状态用作记忆。额外的网络提供边缘的似然分数，这补充了训练成对小变形不变的检测网络。我们在现有数据集上测试我们的算法，并介绍了VISMA数据集，该数据集提供地面真实姿态，点云地图和对象模型，以及带有时间戳的惯性测量。
2018-10-23 cs.CV cs.RO
There's No Place Like Home: Visual Teach and Repeat for Emergency Return of Multirotor UAVs During GPS Failure
Defence Research and Development Canada（加拿大国防研究与发展部）；University of Toronto Institute for Aerospace Studies (UTIAS), University of Toronto（多伦多大学多伦多航空航天研究所（UTIAS））
冗余导航系统对于无人机在高风险环境中的安全运行至关重要。由于大多数商用无人机几乎完全依赖GPS，因此干扰、干扰和多路径是真正的问题，通常将其操作限制在低风险环境和可视视线范围内。本文提出了一种基于视觉的航路跟踪系统的自主，安全返回的无人机的主要导航故障，如GPS干扰。使用可视化示教和重复框架来构建出飞过程中环境的可视化地图，当模拟GPS故障发生时，我们通过将实时视图视觉定位到该地图来显示无人机的自主返回，控制飞行器遵循安全的出飞路径返回发射点。仅使用万向架稳定的立体视觉，而不依赖于外部基础设施或惯性传感，视觉里程计和定位在5-25米的高度和飞行速度高达55公里/小时。我们研究了视觉定位算法在各种条件下的性能，并展示了沿着复杂的450米路径的闭环自治。
2018-09-15 cs.RO
Tightly-Coupled, Speed-aided Monocular Visual-Inertial Localization in Topological Map
提出一种基于拓扑地图的紧耦合速度辅助单目视觉惯性定位算法，利用IESKF融合图像对应与车速，在隧道等场景中优于现有方法。
2024-11-08 cs.CV cs.RO
Effective Target Aware Visual Navigation for UAVs
Sapienza University of Rome（罗马第一大学）
在本文中，我们提出了一种有效的基于视觉的导航方法，允许多旋翼飞行器同时达到所需的目标姿态在环境中，同时不断面对目标物体或地标。在某些情况下，诸如基于位置的视觉伺服（PBVS）和基于图像的视觉伺服（IBVS）的标准技术（例如，当多旋翼执行快速机动时）不允许恒定地保持与感兴趣的目标的视线。相反，我们通过求解一个非线性优化问题来计算最优轨迹，该问题在满足无人机动态约束的同时使目标重投影误差最小化。然后通过实时非线性模型预测控制器（NMPC）跟踪所需的轨迹：这隐含地允许多旋翼满足所需的约束。我们成功地评估了所提出的方法在许多真实和模拟实验中，与标准方法进行了详尽的比较。
2017-08-02 cs.RO
Propeller damage detection, classification and estimation in multirotor vehicles
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Universidad de San Andrés（圣安德烈斯大学）；CONICET（阿根廷科学研究与技术委员会）；Instituto de Ingeniería Biomédica（生物医学工程研究所）
本研究提出一种基于数据驱动的多旋翼无人机螺旋桨损伤检测框架，通过真实受损飞行数据训练分类器与神经网络结合的复合模型，仅用惯性测量与控制输入数据即可实现故障类型识别、损伤程度评估与受损旋翼定位，具备跨平台适配性。
2024-10-07 cs.RO cs.SY eess.SY
Multirotor Nonlinear Model Predictive Control based on Visual Servoing of Evolving Features
National Technical University of Athens (NTUA)（雅典国家技术大学）；University of Thessaly（塞萨利大学）；New York University（纽约大学）
本文提出一种基于演化特征视觉伺服的多旋翼无人机非线性模型预测控制方案，通过结合障碍函数确保安全与最优性能，并利用配备摄像机的四旋翼无人机实时仿真和实验验证了其跟踪移动目标的有效性。
2024-09-25 cs.RO cs.SY eess.SY
DB-VIO: Dual-Branch Visual Inertial Odometry with Enhanced Visual-Inertial Representation
National University of Singapore（新加坡国立大学）
研究针对视觉惯性里程计问题，提出DB-VIO双分支框架，通过融入深度线索、姿态先验和解耦姿态估计进行运动特定时间建模，实验表明该方法在自动驾驶和空中机器人基准测试中性能优异，提升了旋转和平移估计精度。
2026-07-27 cs.RO
Closed-Loop Benchmarking of Stereo Visual-Inertial SLAM Systems: Understanding the Impact of Drift and Latency on Tracking Accuracy
Georgia Institute of Technology（佐治亚理工学院）
视觉惯性SLAM对于GPS拒绝环境中的机器人导航至关重要，例如室内，地下。传统上，视觉惯性SLAM的性能评估与开环分析，重点是SLAM系统的漂移水平。在本文中，我们提出的问题，在闭环导航任务，如精确的轨迹跟踪的视觉估计延迟的重要性。为了了解漂移和延迟对视觉惯性SLAM系统的影响，进行闭环基准测试仿真，其中使用来自视觉惯性估计的反馈命令机器人遵循期望的轨迹。通过广泛评估代表性的最先进的视觉惯性SLAM系统的轨迹跟踪性能，我们揭示了这些系统的视觉估计模块的延迟减少的重要性。研究结果表明，未来的改进方向的视觉惯性SLAM。
2020-03-07 cs.RO
Inertial-Only Optimization for Visual-Inertial Initialization
Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究所（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
我们制定的第一次视觉惯性初始化的最佳估计问题，在这个意义上的最大后验概率（MAP）估计。这使我们能够适当地考虑IMU测量的不确定性，这在以前的方法中被忽略了，或者求解代数方程组，或者使用最小二乘法最小化ad-hoc成本函数。我们在EuRoC数据集上进行的详尽的初始化测试表明，我们的建议在很大程度上优于文献中的最佳方法，能够在不到4秒的时间内在轨迹的几乎任何一点进行初始化，平均尺度误差为5.3%。这种初始化已集成到ORB-SLAM视觉惯性中，提高了其鲁棒性和效率，同时保持了其出色的精度。
2020-03-12 cs.RO
VIR-SLAM: Visual, Inertial, and Ranging SLAM for single and multi-robot systems
École Polytechnique de Montréal（蒙特利尔综合理工学院）
与惯性测量相结合的单目相机通常给出高性能的视觉惯性测距法。然而，对于长轨迹，漂移可能是显著的，特别是当环境在视觉上具有挑战性时。在本文中，我们提出了一个系统，利用超宽带测距与一个静态锚放置在环境中，以纠正累积的错误，每当锚是可见的。我们还将此设置用于协作SLAM：不同的机器人使用相互测距（当可用时）和公共锚来估计彼此之间的变换，促进地图融合我们的系统由两个模块组成：用于单个机器人的双层测距，视觉和惯性测距，以及用于协作SLAM的变换估计模块。我们通过模拟超宽带传感器以及真实机器人在公共数据集上测试我们的系统。实验表明，我们的方法可以超过国家的最先进的视觉惯性里程超过20%。对于视觉上具有挑战性的环境，即使视觉惯性里程计具有显著的漂移，我们的方法也可以工作。此外，我们可以计算协作SLAM变换矩阵，几乎没有额外的计算成本。
2020-05-31 cs.RO
Visual-Inertial Odometry of Aerial Robots
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
视觉惯性里程计（VIO）是估计智能体的状态（姿态和速度）的过程（例如，空中机器人）。VIO是GPS和基于激光雷达的里程计的唯一可行的替代方案，以实现精确的状态估计。由于相机和IMU都非常便宜，这些传感器类型在当今所有的空中机器人中无处不在。
2019-06-14 cs.RO
Visual-Inertial Navigation: A Concise Review
University of Delaware（特拉华大学）
随着惯性和视觉传感器变得无处不在，视觉惯性导航系统（VINS）已经在从移动增强现实到空中导航到自主驾驶的广泛应用中流行，部分原因是传感器的互补感测能力以及降低的成本和尺寸。在本文中，我们彻底调查了在这一领域所做的研究工作，并努力提供一个简洁而完整的回顾相关的工作-这是不幸的是，在文献中失踪，而研究人员和工程师的极大需求-在希望加速VINS的研究和超越我们的社会作为一个整体。
2019-06-06 cs.RO
A LiDAR-Inertial-Visual SLAM System with Loop Detection
据我们所知，我们已经提出了第一个激光雷达-惯性-视觉融合同时定位与地图构建（SLAM）系统，具有很强的位置识别能力。我们提出的SLAM系统由视觉惯性测距（VIO）和激光雷达惯性测距（LIO）子系统组成。我们提出了LIO子系统，利用激光雷达和惯性传感器的测量来构建本地里程图，并提出了VIO子系统，它采用视觉信息来构建2D-3D关联地图。然后，我们提出了一个迭代的卡尔曼滤波器为基础的优化功能，以优化投影图像像素和本地3D点之间的基于局部投影的2D到3D的摄影测量误差，使鲁棒的2D-3D对齐。最后，我们还提出了后端姿态图全局优化和精心设计的闭环检测网络，以提高整个SLAM系统的精度。在复杂的现实环境中部署在UGV上的大量实验表明，我们提出的LiDAR视觉惯性定位系统在精度，效率和鲁棒性方面优于当前最先进的。
2023-01-13 cs.RO
Learned IMU Bias Prediction for Invariant Visual Inertial Odometry
Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系）；Kuwait University（科威特大学）；Department of Computer Science, Rice University（里士满大学计算机科学系）
针对将IMU偏置引入不变滤波器状态会破坏李群对称性的问题，提出用神经网络基于历史IMU序列预测偏置，结合不变MSCKF实现鲁棒视觉惯性里程计，长时间无视觉时仍有效。
2025-10-03 cs.RO
IC-GVINS: A Robust, Real-time, INS-Centric GNSS-Visual-Inertial Navigation System for Wheeled Robot
Wuhan University（武汉大学）
本文提出了一种鲁棒的、实时的【形】惯性导航系统（INS）--以INS为中心的GNSS视觉惯性导航系统（IC-GVINS），该系统充分利用了精确的INS进行状态估计和视觉处理。为了提高系统的鲁棒性，在整个基于关键帧的视觉处理过程中充分利用惯导信息，并采用严格的离群点剔除策略。采用GNSS对IC-GVINS进行精确、方便的初始化，并进一步用于实现大范围环境下的绝对定位。IMU、视觉和GNSS测量在因子图优化的框架内紧密融合。专门的实验进行了评估的鲁棒性和准确性的IC-GVINS上的轮式机器人。IC-GVINS在各种具有移动物体的视觉退化场景中表现出卓越的鲁棒性。相对于最先进的视觉惯性导航系统，所提出的方法在各种环境下产生更好的鲁棒性和精度。我们在GitHub上开源了我们的代码和数据集
2022-06-09 cs.RO
Accurate Monocular Visual-inertial SLAM using a Map-assisted EKF Approach
提出了一种新的紧耦合单目视觉-惯性同时定位与地图构建算法，该算法能够在标准CPU上实时的在全局一致的地图上进行精确、鲁棒的定位。这是通过首先执行视觉惯性扩展卡尔曼滤波器（EKF）以提供高速运动估计来实现的。然而，由于众所周知的线性化问题，滤波器变得不一致。因此，我们执行基于关键帧的视觉惯性光束法平差，以提高系统的一致性和精度。此外，还增加了环路闭合检测和校正模块，以消除重访区域时的累积漂移。最后，将优化后的运动估计和地图反馈给基于EKF的视觉-惯性测距模块，从而减小EKF估计器的不一致性和估计误差。以这种方式，系统可以连续地为长期操作提供可靠的运动估计。在公开数据集和真实实验上对算法的性能进行了验证，证明了算法的优越性。
2018-03-31 cs.RO
Robust Inference for Visual-Inertial Sensor Fusion
University of Padova（帕多瓦大学）
从惯性和视觉传感数据的融合推断三维运动必须与后者中的异常值的优势相抗衡。鲁棒滤波处理联合推理和分类任务，选择哪些数据适合模型，并估计其状态。我们推导出最佳判别式，并提出了几个近似，一些文献中使用的，其他新的。我们通过分析比较它们，指出它们的近似值背后的假设，以及经验。我们表明，最好的表现方法提高了国家的最先进的视觉惯性传感器融合系统的性能，同时保持相同的计算复杂性。
2014-12-16 cs.RO
RaD-VIO: Rangefinder-aided Downward Visual-Inertial Odometry
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
最先进的前向单目视觉惯性里程计算法在实践中通常是脆弱的，特别是在处理初始化和运动的方向，使状态不可观察。在这种情况下，具有可靠的互补里程算法能够实现鲁棒和弹性飞行。使用共同的局部平面性假设，我们提出了一个快速，密集，直接的帧到帧的视觉惯性测距算法，面向下的相机，最小化的联合成本函数，涉及基于单应性的光度成本和IMU正则化项。通过广泛的评估，在各种情况下，我们表现出优越的性能比现有的国家的最先进的面向下的里程计算法的微型飞行器（MAVs）。
2019-05-14 cs.RO
Observability Analysis of Visual-Inertial Odometry with Online Calibration of Velocity-Control Based Kinematic Motion Models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在本文中，我们分析了视觉惯性里程计（VIO）的可观测性使用立体相机与速度控制为基础的运动学运动模型。以往的工作表明，在一般情况下，全局位置和偏航是不可观测的VIO系统，此外，滚动和俯仰也变得不可观测，如果没有旋转。我们证明，通过整合一个平面的运动约束滚动和俯仰成为可观察的。我们还表明，运动模型的参数是可观察的。
2022-04-13 cs.RO
xVIO: A Range-Visual-Inertial Odometry Framework
Jet Propulsion Laboratory, California Institute of Technology（喷气推进实验室，加州理工学院）
xVIO是JPL实现的距离-视觉-惯性里程计算法。它已被证明与闭环控制机载无人旋翼机配备了现成的嵌入式计算机和传感器。它可以在白天使用可见光谱相机，或者在夜间使用热红外相机。本报告是xVIO的完整技术说明。它包括系统架构的概述，导航滤波器的实现，以及雅可比矩阵的推导，这是不是已经在文献中发表。
2020-10-13 cs.RO
maplab: An Open Framework for Research in Visual-inertial Mapping and Localization
Autonomous Systems Lab, ETH Zürich（苏黎世联邦理工学院自主系统实验室）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；Google Inc.（谷歌公司）
鲁棒且准确的视觉惯性估计对于当今机器人领域的许多挑战至关重要。能够针对先前地图进行定位并获得准确且无漂移的姿态估计可以进一步推动此类系统的适用性。然而，目前可用的大多数解决方案要么专注于单个会话用例，要么缺乏本地化功能或端到端管道。我们相信，只有一个完整的系统，结合国家的最先进的算法，可扩展的多会话映射工具，和灵活的用户界面，可以成为一个有效的研究平台。因此，我们提出了maplab，一个开放的，面向研究的视觉惯性映射框架，用于处理和操纵多会话地图，用C++编写。一方面，maplab可以被看作是一个随时可用的视觉惯性测绘和定位系统。另一方面，maplab为研究社区提供了一系列多会话映射工具，包括地图合并，视觉惯性批量优化和循环关闭。此外，它还包括一个在线前端，可以创建视觉惯性地图，并在定位地图中跟踪全局无漂移姿态。在本文中，我们提出了系统架构，五个用例，并在公共数据集上对系统进行评估。maplab的源代码是免费提供的，以利于机器人研究社区。
2017-11-28 cs.RO
DIVO: Continuous-time DVL-Inertial-Visual Odometry for Unmanned Underwater Vehicles
Voyis Imaging Inc.（Voyis影像公司）；Natural Sciences and Engineering Research Council of Canada (NSERC)（加拿大自然科学与工程研究理事会（NSERC））；McGill University（麦吉尔大学）；McGill Engineering Doctoral Award (MEDA) Program（麦吉尔大学工程博士奖（MEDA）项目）
针对无人水下航行器视觉定位与建图挑战，提出基于高斯过程的连续时间轨迹估计框架，融合多传感器异步测量，含新视觉前端，在真实数据集测试中性能优于现有算法。
2026-07-07 cs.RO
Stereo Visual Inertial LiDAR Simultaneous Localization and Mapping
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
同时定位与地图构建（SLAM）是移动机器人和空中机器人的一项基本任务。与基于视觉的系统相比，基于LiDAR的系统由于其准确性和鲁棒性而被证明是优越的。尽管其优越性，纯基于LiDAR的系统在某些退化情况下会失败，例如通过隧道。我们提出了立体视觉惯性激光雷达（VIL）SLAM，在这些退化的情况下表现更好，在所有其他情况下具有相当的性能。VIL-SLAM通过将紧密耦合的立体视觉惯性里程计（VIO）与LiDAR映射和LiDAR增强的视觉环路闭合相结合来实现这一点。该系统实时生成闭环校正的6-DOF LiDAR姿态和近实时的1cm体素密集图。与最先进的LiDAR方法相比，VIL-SLAM表现出更高的准确性和鲁棒性。
2019-02-27 cs.RO
A Comprehensive Introduction of Visual-Inertial Navigation
本文是视觉惯性导航的教程式综述，在经典状态估计框架下梳理其问题建模、基于模型的两类主流方法及相关技术，讨论性能评估改进，并提及新兴的基于学习的替代方法。
2023-06-28 cs.RO
UMS-VINS: United Monocular-Stereo Features for Visual-Inertial Tightly Coupled Odometry
Beijing Institute of Technology（北京理工大学）
本文将单目立体联合特征引入到视觉-惯性紧耦合里程计（UMS-VINS）中，用于鲁棒的位姿估计。UMS-VINS需要两个相机和一个低成本的惯性测量单元（IMU）。UMS-VINS是VINS-FUSION的演变，它从以下三个方面修改了VINS-FUSION。1)UMS-VINS从亚像素平面提取和跟踪特征，以实现特征的更好位置。2)UMS-VINS从左和/或右相机引入额外的二维特征。3)如果视觉初始化失败，则IMU传播直接用于位姿估计，并且如果视觉-IMU对准失败，则UMS-VINS通过视觉里程计估计位姿。公开数据集和新的真实世界的实验表明，所提出的UMS-VINS优于VINS-FUSION从定位精度，定位鲁棒性和环境适应性的角度来看。
2023-03-15 cs.RO
An Accurate Filter-based Visual Inertial External Force Estimator via Instantaneous Accelerometer Update
University of Luxembourg（卢森堡大学）
本文提出一种基于滤波器的新型视觉惯性外力估计器，通过高频瞬时加速度计更新克服现有低频预积分问题，实现低成本无传感器的精确扰动估计。
2024-08-29 cs.RO
R2LIVE: A Robust, Real-time, LiDAR-Inertial-Visual tightly-coupled state Estimator and mapping
Hong Kong University（香港大学）
在这封信中，我们提出了一个鲁棒的，实时的【形】的紧耦合多传感器融合框架，融合激光雷达，惯性传感器和视觉相机的测量，以实现鲁棒和准确的状态估计。我们提出的框架由两部分组成：基于滤波器的里程计和因子图优化。为了保证实时的【形】性能，我们在误差状态迭代卡尔曼滤波器的框架内估计状态，并通过我们的因子图优化进一步提高整体精度。利用所有单个传感器的测量，我们的算法是足够强大的各种视觉故障，激光雷达退化的情况下，并能够运行在实时的【形】在车载计算平台上，在室内，室外，以及不同规模的混合环境进行了大量的实验。此外，结果表明，我们提出的框架可以提高国家的最先进的激光雷达惯性或视觉惯性测距的准确性。为了分享我们的发现并为社区做出贡献，我们在Github上开源了我们的代码。
2021-02-24 cs.RO
Continuous-Time Spline Visual-Inertial Odometry
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Minnesota Robotics Institute（明尼苏达机器人研究所）
我们提出了一个连续时间样条为基础的制定视觉惯性里程计（VIO）。具体来说，我们的姿势作为一个三次样条，其时间导数用于合成线加速度和角速度，这是比较从惯性测量单元（IMU）的最佳状态估计的测量。样条边界条件在摄像机和IMU之间建立约束，我们将VIO表示为约束非线性优化问题。连续时间姿态表示使得解决许多VIO挑战成为可能，例如，卷帘快门失真和传感器可能缺乏同步。我们在两个公开的数据集上进行实验，证明了我们的方法的最先进的准确性和实时计算效率。
2022-02-18 cs.RO
GNSS-Denied Semi Direct Visual Navigation for Autonomous UAVs Aided by PI-Inspired Inertial Priors
Centre for Automation and Robotics, Polytechnic University of Madrid（马德里理工大学自动化与机器人中心）
提出了一种基于半直接视觉里程计（SVO）的无人机（UAV）视觉导航系统的位姿（位置加姿态）漂移抑制方法，该方法基于GNSS（Global Navigation Satellite System）拒绝惯性导航系统的输出，利用先验知识对系统的位姿估计进行非线性优化。该方法的灵感在PI（比例积分）控制系统中，其中的姿态，高度，和速率的爬升惯性输出作为目标，以确保视觉估计不会偏离他们的惯性对应。由此产生的IA-VNS（惯性辅助视觉导航系统）实现了自主固定翼低SWaP（尺寸、重量和功率）无人机的GNSS拒绝导航所固有的水平位置漂移的大幅减少。另外，IA-VNS可以被认为是能够向惯性滤波器提供观测的虚拟增量位置（地面速度）传感器。随机高保真蒙特卡罗模拟的两个代表性的情况下，涉及GNSS信号的损失进行评估的结果，并分析其灵敏度的飞机飞越的地形类型，以及机载传感器的质量上的先验的基础。作者将导航算法和高保真仿真的C++实现作为开源软件发布。
2022-12-22 cs.RO
Fast and Robust Initialization for Visual-Inertial SLAM
Instituto de Investigación en ingeniería de Aragón (I3A)（阿拉贡工程研究所（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
视觉惯性SLAM（VI-SLAM）需要对初始速度、相对于重力的定向以及陀螺仪和加速度计偏差的良好初始估计。在本文中，我们建立在Martinelli提出的初始化方法，并由Kaiser等人扩展，修改它更通用和有效。我们提高精度与几轮的视觉惯性光束法平差，鲁棒的方法与新的可观测性和共识测试，丢弃错误的解决方案。我们在EuRoC数据集上的结果表明，虽然原始方法产生的尺度误差高达156%，但我们的方法能够在不到两秒的时间内始终初始化，尺度误差约为5%，10秒后执行视觉惯性光束法平差，可以进一步减少到1%以下。
2019-08-28 cs.RO
Attention and Anticipation in Fast Visual-Inertial Navigation
Massachusetts Institute of Technology（麻省理工学院）
我们研究的视觉惯性导航（VIN）的问题，其中机器人需要估计其状态使用车载摄像头和惯性传感器，没有任何先验知识的外部环境。我们考虑的情况下，机器人可以分配有限的资源VIN，由于严格的计算约束。因此，我们回答以下问题：在有限的资源，什么是最相关的视觉线索，以最大限度地提高视觉惯性导航的性能？我们的方法有四个关键要素。首先，它是任务驱动的，因为视觉提示的选择是由量化VIN性能的度量指导的。其次，它利用了预期的概念，因为它使用了一个简化的模型，机器人动力学的前向仿真，预测在未来的时间范围内的一组视觉线索的效用。第三，它是有效的和容易实现的，因为它导致了一个贪心算法的选择最相关的视觉线索。第四，它提供了正式的性能保证：我们利用子模块证明，贪婪的选择不能远离最优（组合）的选择。在敏捷无人机上的仿真和真实实验表明，我们的方法确保了最先进的VIN性能，同时保持了精简的处理时间。在简单的情况下，我们的方法优于基于外观的特征选择的定位误差。在最具挑战性的情况下，它可以实现精确的视觉惯性导航，而基于外观的特征选择无法跟踪机器人的运动在积极的机动。
2018-08-02 cs.RO
LBDU-VIO: Learned Bias Dynamics and Uncertainty for Visual-Inertial Odometry with Unreliable Vision
Beijing Institute of Technology（北京理工大学）
针对视觉不可靠时传统MSCKF鲁棒性不足的问题，提出LBDU-VIO，用神经ODE建模偏置动力学并预测IMU不确定性，在EuRoC和TUM-VI上降低误差，视觉中断时相对S-MSCKF误差降低25.1%。
2026-10-01 cs.RO
Laser map aided visual inertial localization in changing environment
Zhejiang University（浙江大学）
户外环境下的长时间视觉定位是一个具有挑战性的问题，尤其是面临跨季节、双向的任务和不断变化的环境。在本文中，我们提出了一种新的视觉惯性定位框架，定位对激光雷达构建的地图。基于激光地图的几何信息，提出了一种混合光束法平差框架，该框架估计相机相对于先验激光地图的位姿，同时优化在线视觉惯性测距系统的状态变量。为了更准确的跨模态数据关联，使用多会话激光和视觉数据来优化激光地图，以提取用于定位的显著且稳定的子集。为了验证所提出的方法的效率，我们收集了数据在我们的校园南部在不同的季节，沿同向和反方向的路线。在所有的定位数据中，我们提出的方法都给出了令人满意的结果，显示了混合光束法平差和地图优化的优越性。
2018-03-03 cs.RO
Tightly Coupled Optimization-based GPS-Visual-Inertial Odometry with Online Calibration and Initialization
South China University of Technology（华南理工大学）；City University of Hong Kong（香港城市大学）
本文提出了一种基于紧密耦合优化的GPS-视觉-惯性里程计系统，以解决视觉-惯性里程计的轨迹漂移问题，特别是在长时间运行时。视觉重投影残差、IMU残差和GPS测量残差在局部束平差中联合最小化，其中我们应用GPS测量值和用于IMU残差的IMU预积分来制定新的GPS残差。为了提高系统的效率和鲁棒性，提出了一种快速的参考坐标初始化方法和一种在线的GPS-IMU外部和时间偏移校准方法。此外，我们进一步测试我们的在线校准方法的性能和收敛性。EuRoC数据集上的实验结果表明，我们的方法始终优于其他紧耦合和松耦合的方法。同时，该系统在KAIST数据集上进行了验证，证明了该系统在视觉或GPS故障的情况下能够很好地工作。
2022-03-05 cs.RO
Super Odometry: IMU-centric LiDAR-Visual-Inertial Estimator for Challenging Environments
Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）
我们提出了超级里程计，一个高精度的多模态传感器融合框架，提供了一种简单而有效的方法来融合多个传感器，如激光雷达，相机和IMU传感器，并实现鲁棒的状态估计在感知退化的环境。与传统的传感器融合方法不同，超级里程计采用以IMU为中心的数据处理管道，结合了松耦合方法和紧耦合方法的优点，并以粗到细的方式恢复运动。建议的框架是由三个部分组成：IMU里程计，视觉惯性里程计，激光惯性里程计。视觉-惯性里程计和激光-惯性里程计在约束IMU偏差之前提供姿态，并从IMU里程计接收运动预测。为了确保高性能的实时性，我们应用了动态八叉树，与静态KD树相比，它只消耗10%的运行时间。该系统被部署在无人机和地面机器人上，作为探险队在DARPA地下挑战赛中的一部分，探险队分别赢得了隧道和城市赛道的$1^{st}$和$2^{nd}$。
2021-08-20 cs.RO
LVI-SAM: Tightly-coupled Lidar-Visual-Inertial Odometry via Smoothing and Mapping
Massachusetts Institute of Technology（麻省理工学院）；Stevens Institute of Technology（史蒂文斯理工学院）
我们提出了一个紧密耦合的激光雷达视觉惯性里程计通过平滑和映射，LVI-SAM，实现实时状态估计和地图建设具有高精度和鲁棒性的框架。LVI-SAM建立在因子图之上，由两个子系统组成：视觉惯性系统（VIS）和激光雷达惯性系统（LIS）。这两个子系统以紧密耦合的方式设计，其中VIS利用LIS估计来促进初始化。通过使用激光雷达测量提取视觉特征的深度信息，可以提高VIS的准确性。进而，LIS利用VIS估计进行初始猜测以支持扫描匹配。闭环闭合首先由VIS识别，然后由LIS进一步细化。LVI-SAM还可以在两个子系统中的一个出现故障时正常工作，这增加了它在无纹理和无特征环境中的鲁棒性。LVI-SAM在各种规模和环境下从多个平台收集的数据集上进行了广泛的评估。我们的实现可以在https://git.io/lvi-sam上获得
2021-05-30 cs.RO
Schmidt or Compressed filtering for Visual-Inertial SLAM?
University of Technology Sydney（悉尼科技大学）；Queensland University of Technology（昆士兰科技大学）
视觉-惯性SLAM由于具有重量轻、性价比高、信息量大等优点而得到了广泛的研究。一个多状态约束滤波器（MSCKF）和施密特版本已经开发，以解决计算成本，它把关键帧作为静态滋扰参数，导致次优性能。我们提出了一种新的压缩MSCKF，它可以实现适度的计算成本，提高精度。通过保持具有压缩形式的信息增益，其可以限制为$\mathcal{O}(L)$，其中$L$是局部关键帧的数量。该系统的性能进行了评估，使用MATLAB仿真器。
2021-09-29 cs.RO
Fast Extrinsic Calibration for Multiple Inertial Measurement Units in Visual-Inertial System
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种快速标定多个惯性测量单元外参的方法，通过构建非线性最小二乘问题估计相对位姿并结合虚拟IMU在流形上的传播，显著提升了视觉惯性里程计的定位精度、速度与鲁棒性。
2024-09-24 cs.RO
PIEKF-VIWO: Visual-Inertial-Wheel Odometry using Partial Invariant Extended Kalman Filter
Shanghai Jiao Tong University（上海交通大学）
不变扩展卡尔曼滤波器（IEKF）作为卡尔曼滤波器的一种先进技术，已成功应用于视觉-惯性测距（VIO）中，在传感器融合中显示出巨大的潜力。在本文中，我们提出了部分IEKF（PIEKF），它只将旋转速度状态的李群结构，并将其应用于视觉惯性轮测距（VIWO），以提高定位精度和一致性。具体来说，我们推导出的旋转速度测量模型，它结合了车轮测量与运动学约束。该模型避免了车轮里程计的3D积分和协方差传播，这对于滤波器的一致性至关重要。并引入平面约束以提高定位精度。采用动态离群点检测方法，利用速度状态输出。通过仿真和实际测试，验证了该方法的有效性，在一致性和精度方面优于基于VIWO的标准多状态约束卡尔曼滤波器（MSCKF）。
2023-03-14 cs.RO
Adaptive VIO: Deep Visual-Inertial Odometry with Online Continual Learning
PKU-SenseTime Joint Lab of MV（北京大学-商汤科技视觉联合实验室）；Peking University（北京大学）
提出自适应VIO，将在线持续学习与传统非线性优化结合，通过神经网络预测视觉对应和IMU偏置并反馈优化，在EuRoC和TUM-VI上超越学习式方法，媲美优化式方法。
2024-05-27 cs.RO
Underwater Visual-Inertial-Acoustic-Depth SLAM with DVL Preintegration for Degraded Environments
School of Ocean Engineering and Technology & Southern Marine science and Engineering Guangdong Laboratory (Zhuhai), Sun Yat-sen University（海洋工程学院及南方海洋科学与工程广东实验室（珠海），中山大学）；Guangdong Provincial Key Laboratory of Information Technology for Deep Water Acoustics（广东省信息技术创新深水声学重点实验室）；Key Laboratory of Comprehensive Observation of Polar Environment (Sun Yat-sen University), Ministry of Education（极地环境综合观测重点实验室（中山大学），教育部）；School of Marine Science and Technology Domain, Beijing Institute of Technology (Zhuhai)（海洋科学与技术学院，北京理工大学（珠海））
本文提出一种融合立体相机、IMU、DVL和压力传感器的图优化SLAM系统，通过DVL预积分与多源残差紧耦合，在视觉退化水下环境中实现高精度、高鲁棒性的定位与建图。
2025-10-24 cs.RO
Resource-aware Online Parameter Adaptation for Computationally-constrained Visual-Inertial Navigation Systems
Norwegian University of Science and Technology（挪威科技大学）
在本文中，一个计算资源感知的视觉惯性导航系统的参数自适应方法，提出了一个目标，使这些算法在计算受限的系统的改进部署。这种能力在超轻型系统或关键任务计算昂贵的过程中使用时至关重要。为了实现这一目标，该算法提出了选择的变化，在视觉前端和优化后端的视觉惯性里程计算法，无论是在执行之前，并在实时的基础上在线分析可用资源。该方法还利用来自系统所经历的运动动力学的信息来在线操纵参数。的一般政策是证明了三个既定的算法，即S-MSCKF，VINS单和OKVIS，并已在EuRoC数据集的实验验证。所提出的方法实现了相当的性能，在一小部分的原始计算成本。
2021-06-01 cs.RO
Optimization-Based Visual-Inertial SLAM Tightly Coupled with Raw GNSS Measurements
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
与文献中的松耦合方法和基于EKF的方法不同，我们提出了一种基于优化的视觉惯性SLAM与原始全球导航卫星系统（GNSS）测量值紧密耦合，这是文献中的第一次尝试。更具体地，在滑动窗口内联合地最小化重投影误差、IMU预积分误差和原始GNSS测量误差，其中考虑了图像和原始GNSS测量之间的非线性。此外，还讨论了边缘化、噪声测量去除以及处理脆弱情况等问题。在复杂城市场景中的公共数据集上的实验结果表明，我们提出的方法优于最先进的视觉惯性SLAM，GNSS单点定位，以及松耦合方法，包括主要包含低层建筑物的场景和包含城市峡谷的场景。
2021-10-24 cs.RO
Visual-Inertial Odometry-enhanced Geometrically Stable ICP for Mapping Applications using Aerial Robots
University of Nevada, Reno（内华达大学里诺分校）
提出了一种基于视觉-惯性里程计增强的几何稳定迭代最近点（ICP）算法，用于空中机器人精确测图。所提出的方法采用了视觉惯性里程框架，以提供强大的先验ICP步骤，并计算来自机载飞行时间深度传感器的点云之间的重叠。在点云的重叠部分内，该方法对点进行采样，使得它们之间的法线分布尽可能大。由于不同的几何形状和传感器轨迹将影响对准过程的性能，因此对ICP步骤的预期几何稳定性进行评估。只有当该测试成功时，才进行匹配、离群值拒绝和误差度量ICP步骤的最小化，并且估计新的相对平移和旋转分量，否则系统依赖于视觉-惯性里程计变换估计。所提出的战略进行了评估，在手持，自动化和完全自主的勘探和测绘任务，使用小型空中机器人，并显示出提供强大的结果，高质量的计算负荷在一个负担得起的增加。
2018-01-29 cs.RO
ROFT-VINS: Robust Feature Tracking-based Visual-Inertial State Estimation for Harsh Environment
Department of Convergence IT Engineering, POSTECH（融合IT工程系，POSTECH）
本文提出一种利用深度学习在单目图像中鲁棒跟踪视觉特征的方法，适用于纹理缺失和快速光照变化的恶劣环境，并评估了其在VINS-Fusion系统中的性能。
2026-03-19 cs.RO
iKalibr-RGBD: Partially-Specialized Target-Free Visual-Inertial Spatiotemporal Calibration For RGBDs via Continuous-Time Velocity Estimation
School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院）
针对原有iKalibr视觉惯性标定方法计算成本高的问题，提出无目标的iKalibr-RGBD方法，利用RGBD深度信息采用无建图自速度估计替代建图位姿估计，继承原流程且计算更高效，已开源。
2024-10-31 cs.RO
Visual-Inertial SLAM with Tightly-Coupled Dropout-Tolerant GPS Fusion
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）
机器人应用正在不断努力实现更高水平的自主性。为了实现这一目标，高度鲁棒和精确的状态估计是必不可少的。结合视觉和惯性传感器模式已被证明在短期应用中产生准确和局部一致的结果。不幸的是，视觉惯性状态估计遭受长期轨迹漂移的积累。为了消除这种漂移，可以将全局测量融合到状态估计流水线中。最为人所知和最广泛使用的全球测量源是全球定位系统。在本文中，我们提出了一种新的方法，充分结合立体视觉惯性同步定位和映射（SLAM），包括视觉循环关闭，与融合的全球传感器模态在一个紧密耦合和优化的框架。在消除测量不确定性的基础上，提出了一种鲁棒的全局坐标系初始化方法。此外，我们提出了一个类似闭环的优化方案，以补偿接收GPS信号中断期间积累的漂移。数据集和现实实验中的实验验证表明，与现有的最先进方法相比，我们的GPS丢失方法具有鲁棒性，并且能够估计高度准确且全球一致的轨迹。
2022-08-01 cs.RO
VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator
Hong Kong University of Science and Technology（香港科技大学）
单目视觉惯性系统（VINS）由一个摄像机和一个低成本的惯性测量单元（IMU）组成，构成了用于度量六自由度（DOF）状态估计的最小传感器套件。然而，缺乏直接距离测量在IMU处理、估计器初始化、外部校准和非线性优化方面带来了重大挑战。在这项工作中，我们提出了VINS-Mono：一个强大的和多功能的单目视觉惯性状态估计器。我们的方法开始于一个强大的估计器初始化和故障恢复过程。采用一种紧耦合的非线性优化方法，通过融合预积分IMU测量值和特征观测值，获得高精度的视觉-惯性里程计。一个循环检测模块，结合我们的紧耦合公式，使重新定位与最小的计算开销。我们还执行四个自由度的姿态图优化，以执行全局一致性。我们在公共数据集和真实世界的实验上验证了我们的系统的性能，并与其他最先进的算法进行了比较。我们还在MAV平台上执行机载闭环自主飞行，并将算法移植到基于iOS的演示中。我们强调，拟议的工作是一个可靠的，完整的，通用的系统，适用于不同的应用程序，需要高精度定位。我们为PC和iOS移动设备开源了我们的实现。
2017-08-13 cs.RO
Visual-Inertial Target Tracking and Motion Planning for UAV-based Radiation Detection
University of Delaware（特拉华大学）
本文讨论了使用最小传感能力的无人机在运输中检测放射性物质的问题，其目标是分类目标的放射性车辆计划通过工作空间的路径，同时跟踪目标的短时间间隔。为此，我们提出了一个运动规划框架，它集成了紧密耦合的视觉惯性定位和目标跟踪。在这个框架中，3D工作空间是已知的，并且该信息与UAV动力学一起用于构建导航功能，该导航功能生成动态可行的安全路径，该路径避开障碍物并且可证明地收敛到移动目标。通过Gazebo中的真实仿真验证了所提出方法的有效性。
2018-05-23 cs.RO
