StructVIO : Visual-inertial Odometry with Structural Regularity of Man-made Environments
Shanghai Jiao Tong University(上海交通大学);HiScene Information Technologies(海视智能信息技术公司);Temple University(天普大学)
我们提出了一种新的视觉惯性里程计的方法,采用在人造环境中的结构规律性。我们用亚特兰大世界模型来描述这种规律性,而不是用曼哈顿世界假设。亚特兰大世界是一个包含多个具有不同航向的当地曼哈顿世界的世界。每个局部曼哈顿世界都是动态检测的,当新的观测值到来时,它们的方向会被状态估计器逐渐细化。通过充分探索与每个局部曼哈顿世界对齐的结构线,我们的视觉-惯性里程计方法变得更加准确和鲁棒,以及更灵活地适应不同类型的复杂人造环境。通过大量的基准测试和实际测试,结果表明,该方法优于现有的视觉惯性系统在大规模的人造环境
2019-03-05 cs.RO
SLICT: Multi-input Multi-scale Surfel-Based Lidar-Inertial Continuous-Time Odometry and Mapping
KTH Royal Institute of Technology(瑞典皇家理工学院);Nanyang Technological University(南洋理工大学)
虽然将特征关联到全局地图具有显著的益处,但为了防止计算呈指数级增长,大多数基于激光雷达的里程计和映射方法选择将特征与单体素尺度的局部地图相关联。利用这一事实,在不同的体素尺度的表面元(表面元素)可以组织在一个树状结构,我们提出了一个基于八叉树的全球地图的多尺度表面元,可以增量更新。这就需要重复计算,例如,整个地图的k-d树。该系统还可以从单个或多个传感器获取输入,从而增强退化情况下的鲁棒性。我们还提出了一个点到面元(PTS)关联方案,PTS和IMU预积分因子的连续时间优化,以及环路闭合和光束平差,为激光雷达惯性连续时间里程计和映射提供了一个完整的框架。在公共和内部数据集上的实验表明,与其他最先进的方法相比,我们的系统具有优势。为了使社区受益,我们在https://github.com/brytsknguyen/slict上发布了源代码和数据集。
2022-11-09 cs.RO
The Visual-Inertial-Dynamical Multirotor Dataset
Zhejiang University(浙江大学);Huzhou Institute, Zhejiang University(浙江大学湖州研究院);Alibaba DAMO Academy(阿里巴巴达摩院)
最近,社区已经见证了许多为开发和测试状态估计器而构建的数据集。然而,对于一些应用,如空中运输或搜索和救援,接触力或其他干扰必须被感知到鲁棒规划和控制,这超出了这些数据集的能力。本文介绍了一个视觉惯性动力学(VID)数据集,不仅关注传统的六个自由度(6-DOF)位姿估计,而且还提供了飞行平台的动力学特性,用于外力感知或动力学辅助估计。VID数据集包含硬件同步图像和惯性测量,具有用于评估常见视觉惯性估计器的精确地面实况轨迹。此外,所提出的数据集突出了转子速度和电机电流测量、控制输入和地面实况6轴力数据,以评估外力估计。据我们所知,拟议的VID数据集是第一个包含真实世界中的视觉惯性和完整动力学信息的公共数据集,用于姿势和外力评估。数据集:https://github.com/ZJU-FAST-Lab/VID-Dataset和相关文件:https://github.com/ZJU-FAST-Lab/VID-Flight-Platform是开源的。
2022-03-02 cs.RO
Run Your Visual-Inertial Odometry on NVIDIA Jetson: Benchmark Tests on a Micro Aerial Vehicle
Korea Advanced Institute of Science and Technology(韩国科学技术院);Korea Electronics Technology Institute (KETI)(韩国电子技术研究院);KI-AI;KIR at KAIST(韩国科学技术院KIR)
本文介绍了在NVIDIA Jetson平台上对各种视觉(非惯性)里程计算法进行的基准测试。比较的算法包括单声道和立体声,涵盖视觉里程计(VO)和视觉惯性里程计(VIO):VINS-Mono、VINS-Fusion、Kimera、ALVIO、Stereo-MSCKF、ORB-SLAM 2立体声和ROVIO。由于这些方法主要用于无人机(UAV),因此它们必须在处理板尺寸和重量受限的情况下表现良好。NVIDIA发布的Jetson板满足了这些限制,因为它们具有足够强大的中央处理单元(CPU)和图形处理单元(GPU)用于图像处理。然而,在现有的研究中,Jetson板作为执行VO/VIO的处理平台的性能还没有在计算资源的使用和准确性方面进行广泛的比较。因此,本研究比较了几个NVIDIA Jetson平台上的代表VO/VIO算法,即NVIDIA Jetson TX 2,Xavier NX和AGX Xavier,并为无人机引入了一个新的数据集“KAIST VIO数据集”。包括纯旋转,数据集有几个几何轨迹是苛刻的视觉(惯性)状态估计。评估是在各种Jetson板、算法和轨迹上的估计里程计、CPU使用和内存使用的准确性方面进行的。我们展示了全面基准测试的{结果},并发布了用于计算机视觉和机器人应用的数据集。
2021-03-02 cs.RO
Visual-Inertial Mapping with Non-Linear Factor Recovery
Technical University of Munich(慕尼黑工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
相机和惯性测量单元是用于自我运动估计和环境映射的互补传感器。它们的结合使视觉惯性里程计(VIO)系统更加准确和强大。然而,对于全局一致的映射,结合视觉和惯性信息并不简单。为了用一组图像估计运动和几何形状,需要大基线。因此,大多数系统都在彼此之间具有较大时间间隔的关键帧上操作。另一方面,惯性数据随着时间间隔的持续时间而迅速退化,并且在几秒钟的积分之后,它通常只包含很少的有用信息。在本文中,我们提出了使用非线性因子恢复从视觉-惯性里程计中提取相关信息用于视觉-惯性映射。我们重建了一组非线性因素,使VIO积累的轨迹上的信息的最佳近似。为了获得一个全球一致的地图,我们结合这些因素与闭环约束使用光束法平差。VIO因子使得全局地图的横滚角和俯仰角可观测,并提高了映射的鲁棒性和准确性。在公共基准测试的实验中,我们证明了我们的方法优于最先进的方法的性能。
2020-05-30 cs.CV cs.RO
Improving Monocular Visual-Inertial Initialization with Structureless Visual-Inertial Bundle Adjustment
University of Luxembourg(卢森堡大学)
针对单目VIO初始化中结构重建计算量大且无结构方法精度受限的问题,提出无结构视觉惯性光束法平差以优化初始解,在真实数据集上显著提升精度并保持实时性。
2025-02-23 cs.CV cs.RO
Direct Visual-Inertial Odometry with Semi-Dense Mapping
University of Kansas(堪萨斯大学)
本文介绍了一种直接视觉-惯性测距系统。特别是,紧耦合的非线性优化的方法,提出了通过集成在直接密集跟踪和惯性测量单元(IMU)的预集成的最新进展,和因子图优化是适应于估计相机的位姿和重建半密集地图。两个滑动窗口保持在所提出的方法。第一种是基于直接稀疏测距法(DSO)的深度估计,用于映射和密集视觉跟踪。在第二个,测量从IMU预集成和密集的视觉跟踪融合概率使用紧耦合,基于优化的传感器融合框架。因此,IMU预积分提供了额外的约束以抑制由视觉里程计引起的标度漂移。在真实世界基准数据集上的评估表明,该方法在室内场景中取得了有竞争力的结果。
2019-10-04 cs.CV cs.RO
PIRVS: An Advanced Visual-Inertial SLAM System with Flexible Sensor Fusion and Hardware Co-Design
PerceptIn, Inc.(感知智能公司)
在本文中,我们提出的PerceptIn机器人视觉系统(PIRVS)系统,嵌入式同时定位与地图构建(SLAM)算法的视觉惯性计算硬件。PIRVS硬件配备了多核处理器、全局快门立体相机和具有精确硬件同步的IMU。PIRVS软件采用了一种新颖灵活的传感器融合方法,不仅可以将视觉测量与惯性测量紧密集成,还可以与其他传感器模态松散耦合。它在PC和PIRVS硬件上实时运行。我们使用多个公共视觉惯性数据集对所提出的系统进行了彻底的评估。实验结果表明,我们的系统达到了相当的精度的国家的最先进的视觉惯性算法在PC上,而更有效的PIRVS硬件。
2017-10-02 cs.CV cs.RO
Inertial Guided Uncertainty Estimation of Feature Correspondence in Visual-Inertial Odometry/SLAM
Korea University(高丽大学)
针对视觉惯性里程计/SLAM中特征匹配易受图像退化影响的问题,提出惯性引导的特征匹配不确定性估计方法,通过构建引导分布拟合图像误差能量函数提升鲁棒性,并在公开数据集上验证了有效性。
2023-11-07 cs.CV cs.RO
eKalibr-Inertial: Continuous-Time Spatiotemporal Calibration for Event-Based Visual-Inertial Systems
School of Geodesy and Geomatics (SGG), Wuhan University (WHU)(测绘学院(SGG),武汉大学(WHU))
本文提出eKalibr-Inertial,一种基于连续时间优化的方法,用于事件相机与惯性测量单元的高精度时空标定,通过圆形网格板实现精确初始化与批量优化,并已开源。
2025-09-07 cs.CV cs.RO
The Aqualoc Dataset: Towards Real-Time Underwater Localization from a Visual-Inertial-Pressure Acquisition System
ONERA, Université Paris Saclay(法国航空航天实验室(ONERA),巴黎萨克雷大学);LIRMM, Université de Montpellier, CNRS(蒙彼利埃计算机、机器人与微电子实验室,蒙彼利埃大学,法国国家科学研究中心);DRASSM, Ministry of Culture(法国文化部水下与海底考古研究局)
本文提出了一种新的水下数据集从视觉惯性压力采集系统,并打算用于基准视觉里程计,视觉SLAM和多传感器SLAM解决方案。该数据集是公开的,包含用于评估的地面实况轨迹。
2018-09-19 cs.CV cs.RO
DefVINS: Visual-Inertial Odometry for Deformable Scenes
Departamento de Informática e Ingeniería de Sistemas, Universidad de Zaragoza(信息与系统工程系,萨拉戈萨大学)
本文提出DefVINS,一种针对变形场景的视觉-惯性里程计,通过分解里程状态为刚性IMU锚定部分和非刚性场景变形图,解决传统VIO对变形场景的不足。同时引入VIMandala基准测试集,并通过实验验证其优于传统方法。
2026-09-17 cs.CV cs.RO
SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究提出SimpleMapping实时视觉惯性稠密建图方法,通过稀疏点辅助MVS网络结合VIO与TSDF融合,实现高质量在线三维网格重建,在EuRoC高难场景F-score较现有方法提升39.7%。
2023-08-27 cs.CV cs.RO
Renormalization for Initialization of Rolling Shutter Visual-Inertial Odometry
Snap(Snap公司)
本文研究了带卷帘快门相机的视觉-惯性里程计系统的初始化问题。惯性测量是使用惯性信号并将其与视觉数据融合的先决条件。我们提出了一种新的统计解决方案的初始化问题的视觉和惯性数据的同时,通过铸造到Kanatani的重整化方案。重整化是一种优化方案,旨在减少常见线性系统的固有统计偏差。我们推导并提出了必要的步骤和方法,具体的初始化问题。对地面实况的广泛评估显示出优越的性能,并在最初提出的最小二乘解决方案的精度高达$20\%$的增益。重正化的表现类似于最优的最大似然估计,尽管通过不同的方法得到解。通过这篇论文,我们增加了一组计算机视觉问题,这些问题可以转换为重整化方案。
2021-03-24 cs.CV cs.RO
ICD-Net: Inertial Covariance Displacement Network for Drone Visual-Inertial SLAM
Hatter Department of Marine Technologies, Charney School of Marine Sciences, University of Haifa(哈特尔海洋技术系,查内海洋科学学院,海法大学)
ICD-Net通过学习处理原始惯性数据并生成带有不确定性的位移估计,提升无人机视觉-惯性SLAM的鲁棒性和准确性。
2025-11-13 cs.CV cs.RO
Stereo Visual Inertial Pose Estimation Based on Feedforward-Feedback Loops
The Hong Kong Polytechnic University(香港理工大学)
本文提出了一种新的立体视觉惯性姿态估计方法。与广泛使用的基于滤波器或基于优化的方法相比,位姿估计过程被建模为控制系统。为了实现系统的稳定控制,设计了反馈或前馈回路,包括梯度下降反馈回路、滚转-俯仰前馈回路和偏差估计反馈回路。这个系统,名为FLVIS(前馈反馈环为基础的视觉惯性系统),流行的EuRoc MAV数据集上进行评估。相对于其他最先进的视觉SLAM方法,FLVIS实现了高精度和鲁棒性。该系统已在无人机平台上实现和测试。本研究的源代码对研究社区是公开的。
2020-07-13 cs.CV cs.RO
EMA-VIO: Deep Visual-Inertial Odometry with External Memory Attention
National University of Defense Technology(国防科技大学)
准确和鲁棒的定位是移动代理的基本需求。视觉惯性里程计(VIO)算法利用来自相机和惯性传感器的信息来估计位置和平移。最近基于深度学习的VIO模型吸引了人们的注意,因为它们以数据驱动的方式提供姿态信息,而不需要设计手工制作的算法。现有的基于学习的VIO模型依赖于递归模型来融合多模态数据和处理传感器信号,训练困难且效率不高。我们提出了一种新的基于学习的VIO框架与外部记忆的注意力,有效地和高效地结合了视觉和惯性特征的状态估计。我们提出的模型能够准确和鲁棒地估计姿态,即使在具有挑战性的场景中,例如,在阴天和积水的地面上,这是传统的VIO算法难以提取的视觉特征。实验结果表明,该算法在不同场景下的性能均优于传统的VIO基线和基于学习的VIO基线。
2022-09-18 cs.CV cs.RO
Learned Monocular Depth Priors in Visual-Inertial Initialization
Google AR(谷歌AR)
视觉惯性里程计(VIO)是当今学术界和工业界大多数AR/VR和自主机器人系统的姿态估计支柱。然而,这些系统对诸如传感器偏差、重力方向和度量尺度等关键参数的初始化高度敏感。在很少满足高视差或可变加速度假设的实际场景中(例如,悬停的空中机器人,智能手机AR用户不使用手机做手势),经典的视觉惯性初始化公式通常变得病态和/或无法有意义地收敛。在本文中,我们专门针对这些低激励的情况下,在野外使用至关重要的视觉惯性初始化。我们建议通过将一个新的基于学习的测量作为更高级别的输入,来规避经典的视觉惯性运动结构(SfM)初始化的限制。我们利用学习的单目深度图像(mono-depth)来约束特征的相对深度,并通过联合优化它们的尺度和偏移来将mono-depth升级到度量尺度。我们的实验表明,一个显着的改善问题的条件相比,一个经典的制定视觉惯性初始化,并表现出显着的准确性和鲁棒性的改善相对于国家的最先进的公共基准,特别是在低激励的情况下。我们进一步扩展这种改进,以说明我们改进的初始化方法对跟踪轨迹的影响,在现有的里程计系统内的实施。
2022-08-01 cs.CV cs.RO
Vision-Depth Landmarks and Inertial Fusion for Navigation in Degraded Visual Environments
Autonomous Robots Lab, University of Nevada, Reno(内华达大学雷诺分校自主机器人实验室)
本文提出了一种视觉,深度和惯性数据的紧密融合的方法,以扩展机器人的导航能力,在GPS拒绝,照明不足,无纹理的环境。视觉和深度信息融合在特征检测和描述符提取水平,以增强一个传感模态与其他。这些多模态功能,然后进一步集成与惯性传感器的线索,使用扩展的卡尔曼滤波器估计的机器人姿态,传感器偏置项,和地标位置同时作为过滤器状态的一部分。通过一组手持式和微型飞行器实验证明,所提出的算法在具有挑战性的视觉退化环境中使用来自轻量级和低成本传感器的RGB-D信息和来自IMU的数据可靠地执行。
2019-03-05 cs.CV cs.RO
R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package
The University of Hong Kong(香港大学)
在这封信中,我们提出了一种新的激光雷达-惯性-视觉传感器融合框架,称为R3 LIVE,它利用激光雷达,惯性和视觉传感器的测量,以实现鲁棒性和准确的状态估计。R3 LIVE由两个子系统组成:激光雷达惯性测距(LIO)和视觉惯性测距(VIO)。LIO子系统(FAST-LIO)利用激光雷达和惯性传感器的测量结果,构建全球地图的几何结构(即3D点的位置)。VIO子系统利用视觉惯性传感器的数据并渲染地图的纹理(即3D点的颜色)。更具体地说,VIO子系统通过最大限度地减少帧到地图的光度误差来直接有效地融合视觉数据。该系统R3 LIVE是在我们前期工作R2 LIVE的基础上开发的,经过精心的架构设计和实现。实验结果表明,该系统比现有系统具有更强的鲁棒性和更高的状态估计精度(见视频)。R3 LIVE是一个多功能和精心设计的系统,面向各种可能的应用,它不仅可以作为实时的【形】机器人应用的SLAM系统,而且还可以重建密集,精确,RGB彩色的3D地图,用于测绘等应用。此外,为了使R3 LIVE更具可扩展性,我们开发了一系列用于重建和纹理网格的离线实用程序,这进一步缩小了R3 LIVE与各种3D应用程序(如模拟器,视频游戏等)之间的差距(请参阅我们的演示视频)。为了分享我们的发现并为社区做出贡献,我们在Github上开源了R3 LIVE,包括我们所有的代码,软件实用程序和我们设备的机械设计。
2021-09-10 cs.CV cs.RO
VIGS-SLAM: Visual Inertial Gaussian Splatting SLAM
ETH Zurich(苏黎世联邦理工学院);University of Stuttgart(斯图加特大学);Microsoft(微软公司)
VIGS-SLAM通过融合视觉与惯性信息,实现鲁棒的实时跟踪和高保真重建,克服了纯视觉方法在运动模糊、低纹理等挑战性条件下的局限。
2026-03-13 cs.CV cs.RO
Visual-Inertial Telepresence for Aerial Manipulation
German Aerospace Center (DLR)(德国航空航天中心(DLR));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Technical University of Munich(慕尼黑工业大学)
本文提出了一种新的远程呈现系统,以提高空中操作能力。它不仅涉及触觉设备,而且还涉及虚拟现实,该虚拟现实为远程遥控操作者提供实时的3D视觉反馈。我们实现这一目标,利用板载视觉和惯性传感器,对象跟踪算法和预生成的对象数据库。由于虚拟现实必须与真实的远程场景紧密匹配,我们提出了一种扩展的标记跟踪算法与视觉惯性里程计。室内和室外实验表明,我们提出的系统在实现先进的空中操作任务,即抓,放置,用力和钉孔插入的好处。
2020-06-20 cs.CV cs.RO
A Look at Improving Robustness in Visual-inertial SLAM by Moment Matching
Aalto University(阿尔托大学);Spectacular AI;FCAI(芬兰人工智能中心)
相机传感器和惯性数据的融合是自主和智能设备中自我运动跟踪的主要方法。依赖于非线性滤波的状态估计技术是用于解决相关信息融合任务的强范例。在这个空间中的事实上的推理方法是著名的扩展卡尔曼滤波器(EKF),它依赖于一阶线性化的动态和测量模型。本文采取了批判性的眼光在EKF的实际影响和限制,特别是在故障的视觉特征协会和存在强干扰噪声。作为一种替代方案,我们重新审视贝叶斯滤波的假设密度公式,并采用矩匹配(无迹卡尔曼滤波)的方法来进行视觉惯性里程计和视觉SLAM。我们的研究结果突出了在动态传播和视觉测量更新的鲁棒性方面的重要方面,并且我们在EuRoC MAV无人机数据基准上显示了最先进的结果。
2022-05-27 cs.CV cs.RO
Tightly Coupled 3D Lidar Inertial Odometry and Mapping
RAM-LAB(机器人与自动化实验室);Hong Kong University of Science and Technology(香港科技大学)
自我运动估计是大多数移动机器人应用的基本要求。通过传感器融合,我们可以弥补独立传感器的不足,并提供更可靠的估计。本文介绍了一种紧耦合的激光雷达-惯性测量组合融合方法。通过联合最大限度地减少来自激光雷达和IMU测量的成本,激光雷达-IMU测距法(LIO)可以在长期实验后以可接受的漂移表现良好,即使在激光雷达测量可能降级的挑战性情况下。此外,为了获得更可靠的激光雷达位姿估计,提出了一种旋转约束的细化算法(LIO映射),以进一步对准激光雷达位姿与全球地图。实验结果表明,该方法可以估计的姿态传感器对的IMU更新率与高精度,即使在快速运动条件下或不足的功能。
2019-04-15 cs.CV cs.RO
Visual-Inertial Localization for Skid-Steering Robots with Kinematic Constraints
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
虽然视觉定位或SLAM在过去的几十年里取得了很大的进展,但在实际应用中,当将其部署在移动机器人上时,很少有工作在设计状态估计器时明确考虑真实机器人系统的运动学(或动力学)约束。为了促进当前国家的最先进的视觉惯性定位算法的实际部署,在这项工作中,我们提出了一个低成本的运动学约束定位系统,特别是一个滑移转向移动机器人。特别是,我们推导出一个原则的方式的机器人的运动学约束的基础上的瞬时旋转中心(ICR)模型,并将它们以紧密耦合的方式集成到基于滑动窗口光束法平差(BA)的视觉惯性估计。由于ICR模型参数是随时间变化的,例如,轨道与地形的相互作用和地形粗糙度,我们估计这些运动学参数在线随着导航状态。为此,我们进行深入的可观测性分析,并确定运动条件下的状态/参数估计是可行的。所提出的运动学约束的视觉-惯性定位系统已经在不同的地形场景中得到了广泛的验证。
2019-11-13 cs.CV cs.RO
OrcVIO: Object residual constrained Visual-Inertial Odometry
University of California San Diego(加州大学圣迭戈分校)
在同时定位与地图构建(SLAM)系统中引入对象级语义信息是关键。它不仅提高了性能,而且还使任务指定的有意义的对象。这项工作提出了OrcVIO,视觉惯性里程计紧密结合结构化对象模型的跟踪和优化。OrcVIO通过语义特征和边界框重投影错误进行区分,对对象的姿态和形状进行批量优化。估计的对象状态有助于在IMU相机状态上的实时增量优化。使用真实数据评估OrcVIO精确轨迹估计和大规模对象级映射的能力。
2021-05-29 cs.CV cs.RO
Online Refractive Camera Model Calibration in Visual Inertial Odometry
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
本文提出一种通用折射相机模型,在视觉惯性里程计中在线联合估计里程计与未知介质折射率,仅需空气标定即可在折射流体中实现与常规相当的定位性能。
2024-09-18 cs.CV cs.RO
CNN-Augmented Visual-Inertial SLAM with Planar Constraints
OPPO US Research Center(OPPO美国研究中心)
我们提出了一个强大的视觉惯性SLAM系统,结合了卷积神经网络(CNN)和平面约束的好处。我们的系统利用CNN来预测每个图像的深度图和相应的不确定性图。CNN深度有效地引导SLAM的后端优化,同时CNN不确定性自适应地加权每个特征点对后端优化的贡献。给定来自惯性传感器的重力方向,我们进一步提出了一种快速平面检测方法,该方法通过一点RANSAC检测水平平面,通过两点RANSAC检测垂直平面。这些稳定检测到的平面进而用于正则化SLAM的后端优化。我们评估了我们的系统上的公共数据集,\ie,欧洲RoC,并证明了改进的结果比一个国家的最先进的SLAM系统,\ie,ORB-SLAM 3。
2022-05-05 cs.CV cs.RO
SM/VIO: Robust Underwater State Estimation Switching Between Model-based and Visual Inertial Odometry
University of South Carolina(南卡罗来纳大学);Epic Systems Corporation(Epic系统公司)
针对水下视觉惯性里程计易因环境因素失效的问题,提出SM/VIO框架,通过运动学模型与本体感知传感器在VIO失效时维持位姿估计并结合健康监测实现及时切换,经Aqua2实验验证了其鲁棒性。
2023-04-04 cs.CV cs.RO
AQUA-SLAM: Tightly-Coupled Underwater Acoustic-Visual-Inertial SLAM with Sensor Calibration
Imperial College London(帝国理工学院);Heriot-Watt University(赫瑞瓦特大学)
针对水下视觉SLAM受能见度与特征丢失影响的问题,提出紧耦合AQUA-SLAM融合DVL、立体相机和IMU,并实现在线多传感器外参与DVL对准标定,水池与北海实验证明其精度和鲁棒性优于现有方法。
2025-03-14 cs.CV cs.RO
EDI: ESKF-based Disjoint Initialization for Visual-Inertial SLAM Systems
Stevens Institute of Technology(史蒂文斯理工学院);Meta;Hangzhou Dianzi University(杭州电子科技大学)
本文提出EDI,一种基于误差状态卡尔曼滤波器的分离式视觉-惯性初始化方法,通过估计陀螺仪偏置、校正旋转并引入加权最小二乘闭式解,在EuRoC数据集上3秒内实现5.8%的平均尺度误差,优于现有方法。
2023-08-04 cs.CV cs.RO
Monocular Visual-Inertial Depth Estimation
Intel Labs(英特尔实验室);Apple(苹果公司)
我们提出了一个视觉惯性深度估计管道,它集成了单目深度估计和视觉惯性里程计,以产生密集的深度估计与度量尺度。我们的方法对稀疏度量深度进行全局缩放和移位对齐,然后进行基于学习的密集对齐。我们在TartanAir和VOID数据集上进行了评估,观察到相对于仅执行全局对齐,使用密集尺度对齐的逆RMSE减少了30%。我们的方法在低密度下尤其具有竞争力;只有150个稀疏度量深度点,我们的密集到密集深度对齐方法比KBNet的稀疏到密集深度完成低50%以上,目前是VOID的最新技术。我们展示了成功的zero-shot传输从合成TartanAir到真实世界的VOID数据,并在NYUv 2和VCU-RVI上进行泛化测试。我们的方法是模块化的,并与各种单眼深度估计模型兼容。视频:https://youtu.be/IMwiKwSpshQ代码:https://github.com/isl-org/VI-Depth
2023-03-21 cs.CV cs.RO
FLSea: Underwater Visual-Inertial and Stereo-Vision Forward-Looking Datasets
University of Haifa(海法大学)
水下的能见度是一项挑战,随着主体和相机之间距离的增加,能见度会降低,使前视方向的视觉任务更加困难。我们在地中海和红海收集了水下前视立体视觉和视觉惯性图像集。据我们所知,在水下环境中没有其他公开的数据集,这些数据集是通过这种相机传感器定向与地面实况一起发布的。这些数据集对于多个水下应用的开发至关重要,包括避障、视觉里程计、3D跟踪、同时定位与地图构建(SLAM)和深度估计。立体数据集包括在动态水下环境中与已知大小的物体同步的立体图像。视觉惯性数据集包含单目图像和IMU测量,与毫秒分辨率时间戳和放置在场景中的已知大小的对象对齐。这两种传感器配置都允许进行尺度估计,其中校准基线在立体设置中,IMU在视觉惯性设置中。使用摄影测量法为两种数据集类型离线创建地面实况深度图。地面实况通过在整个成像环境中放置的多个已知测量值进行验证。总共有5个立体和8个视觉惯性数据集,每个数据集包含数千张图像,具有一系列不同的水下能见度和环境光线条件,自然和人造结构以及动态相机运动。相机的前视方向使这些数据集成为测试水下避障算法和在动态环境中靠近海底导航的独特和理想选择。通过我们的数据集,我们希望鼓励在动态和/或浅水环境中推进水下航行器的自主功能。
2023-02-24 cs.CV cs.RO
When We First Met: Visual-Inertial Person Localization for Co-Robot Rendezvous
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
我们的目标是使机器人能够通过额外的传感方式(目标人的3D惯性测量)来视觉定位目标人。当机器人第一次在人群中遇到人时,或者当自主车辆必须在人群中与骑手会合而不提前知道人的外观时,可能会出现对这种技术的需求。一个人的惯性信息可以用可穿戴设备(如智能手机)测量,并可以在会合期间选择性地与自主系统共享。我们提出了一种学习视觉惯性特征空间的方法,在该空间中,视频中的人的运动可以很容易地与可穿戴惯性测量单元(IMU)测量的运动相匹配。通过使用对比损失来学习两种模态到联合特征空间中的变换,对比损失迫使由同一个人生成的惯性运动特征和视频运动特征在联合特征空间中靠近。为了验证我们的方法,我们组成了一个包含超过60,000个移动人员视频片段以及可穿戴IMU数据的数据集。我们的实验表明,我们提出的方法是能够准确地定位一个目标的人与80.7%的准确率,仅使用5秒的IMU数据和视频。
2020-11-03 cs.CV cs.RO
Visual-Inertial Monocular SLAM with Map Reuse
Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究所 (I3A));Universidad de Zaragoza(萨拉戈萨大学)
近年来,视觉惯性测距技术取得了很好的成果,其目标是以高精度和鲁棒性计算传感器的增量运动。然而,这些方法缺乏闭环的能力,并且即使传感器不断地重新访问同一地点,轨迹估计也会累积漂移。在这项工作中,我们提出了一种新的紧密耦合的视觉惯性同时定位与地图构建系统,该系统能够闭合环路,并重复使用其地图,以实现零漂移定位在已经映射的区域。虽然我们的方法可以应用于任何相机配置,我们在这里解决最普遍的问题,单目相机,其众所周知的规模模糊。我们还提出了一种新的惯性测量单元初始化方法,它计算的规模,重力方向,速度,陀螺仪和加速度计的偏差,在几秒钟内具有高精度。我们测试我们的系统在最近的微型飞行器的公共数据集的11个序列,实现了典型的比例因子误差为1%和厘米精度。我们比较了国家的最先进的视觉惯性里程计序列与重访,证明了更好的精度,我们的方法,由于地图重用和无漂移积累。
2017-01-17 cs.CV cs.RO
RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in Dynamic Environments
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);SenseTime Research(商汤科技研究院)
本文提出名为RD-VIO的视觉惯性里程计系统,通过IMU-PARSAC两阶段算法鲁棒检测匹配关键点,并利用特殊子帧和延迟三角化技术处理纯旋转问题,在动态环境中显著优于其他方法。
2024-02-16 cs.CV cs.RO
LIVE-GS: Online LiDAR-Inertial-Visual State Estimation and Globally Consistent Mapping with 3D Gaussian Splatting
LIVE-GS通过结合激光雷达与3D高斯点云绘制,实现高精度地图一致性,解决稀疏数据和计算效率问题。
2026-03-09 cs.CV cs.RO
BodySLAM++: Fast and Tightly-Coupled Visual-Inertial Camera and Human Motion Tracking
Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学)
BodySLAM++扩展OKVIS2,利用视觉-惯性数据同时估计人体与相机状态,分别提升26%和12%精度,实现实时性能。
2023-09-03 cs.CV cs.RO
VINet: Visual and Inertial-based Terrain Classification and Adaptive Navigation over Unknown Terrain
Baidu USA(百度美国);University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一个视觉和惯性为基础的地形分类网络(VINet)的机器人导航在不同的可穿越的表面。我们使用一种新的基于导航的标记方案的地形分类和概括未知的表面。我们提出的感知方法和自适应调度控制框架可以根据地形导航特性进行预测,并在已知和未知表面上的地形分类和导航控制上都有更好的性能。我们的VINet在已知地形上的监督设置下的准确率可以达到98.37%,与以前的方法相比,在未知地形上的准确率提高了8.51%。我们部署VINet的移动跟踪机器人的轨迹跟踪和导航在不同的地形,我们证明了10.3%的改进相比,基线控制器的RMSE。
2023-03-01 cs.CV cs.RO
The TUM VI Benchmark for Evaluating Visual-Inertial Odometry
Technical University of Munich(慕尼黑工业大学)
视觉里程计和SLAM方法在诸如增强现实或机器人技术的领域中具有各种各样的应用。视觉传感器与惯性测量的互补极大地提高了跟踪精度和鲁棒性,从而引起了人们对视觉惯性(VI)里程计方法发展的极大兴趣。在本文中,我们提出了TUM VI基准,一个新的数据集,在不同的场景中的一组不同的序列,用于评估VI里程计。它提供分辨率为1024x1024(20 Hz)、高动态范围和光度校准的相机图像。IMU以200 Hz的频率测量3个轴上的加速度和角速度,而摄像机和IMU传感器在硬件中是时间同步的。对于轨迹评估,我们还在序列的开始和结束时以高频率(120 Hz)提供来自运动捕捉系统的准确姿势地面实况,我们将其与相机和IMU测量结果准确对齐。包含原始数据和校准数据的完整数据集是公开的。我们还在我们的数据集上评估了最先进的VI里程计方法。
2020-03-09 cs.CV cs.RO
Vision-Aided Absolute Trajectory Estimation Using an Unsupervised Deep Network with Online Error Correction
GTS;US Army Research Laboratory(美国陆军研究实验室)
我们提出了一种无监督的深度神经网络方法来融合RGB-D图像与惯性测量,以进行绝对轨迹估计。我们的网络被称为视觉惯性测距学习器(VIOLearner),学习在没有惯性测量单元(IMU)内部参数(对应于陀螺仪和加速度计偏差或白噪声)或IMU和相机之间的外部校准的情况下执行视觉惯性测距(VIO)。该网络学习整合IMU测量值并生成假设轨迹,然后根据缩放图像投影误差相对于像素坐标空间网格的雅可比矩阵在线校正这些假设轨迹。我们评估了我们的网络对国家的最先进的(SOA)视觉惯性里程计,视觉里程计,视觉同时定位与地图构建(VSLAM)的KITTI里程计数据集的方法,并展示了竞争力的里程计性能。
2018-03-08 cs.CV cs.RO
Collaborative Visual Inertial SLAM for Multiple Smart Phones
Zhejiang University of Technology(浙江工业大学);Tianjin University of Technology(天津理工大学)
映射的效率和准确性在大型场景和长期AR应用中至关重要。多智能体协作SLAM是实现多用户AR交互的前提。多个智能手机的合作有可能提高任务完成的效率和鲁棒性,并且可以完成单个智能体无法完成的任务。然而,它依赖于强大的通信,有效的位置检测,强大的映射,以及代理之间的有效信息共享。我们提出了一个多智能协作单眼视觉惯性SLAM部署在多个iOS移动设备上的集中式架构。每个智能体都可以独立地探索环境,在线运行视觉-惯性测距模块,然后将所有测量信息发送到具有更高计算资源的中央服务器。服务器管理接收到的所有信息,检测重叠区域,合并和优化地图,并在需要时与代理共享信息。我们已经在公共数据集和真实环境中验证了系统的性能。所提出的系统的映射和融合的准确性是可比的VINS-Mono,这需要更高的计算资源。
2021-06-23 cs.CV cs.RO
Estimating Metric Poses of Dynamic Objects Using Monocular Visual-Inertial Fusion
Hong Kong University of Science and Technology(香港科技大学);Tencent Inc(腾讯公司)
单目3D对象跟踪系统通常仅具有最大比例的姿态估计结果,而没有被跟踪对象的任何先验知识。在本文中,我们提出了一种新的想法来恢复度量尺度的任意动态对象,通过优化世界帧中的对象的轨迹,没有运动假设。通过在时域中引入一个额外的约束,我们的单目视觉惯性跟踪系统可以获得连续的六个自由度(6-DoF)的姿态估计没有尺度模糊。我们的方法既不需要固定的多相机也不需要深度传感器设置来实现尺度可观测性,相反,单目传感套件内的IMU为相机本身和跟踪对象提供尺度信息。我们建立在我们的单目视觉惯性系统(VINS)的顶部,以获得准确的状态估计的单目相机在世界帧的建议系统。整个系统由二维目标跟踪器、基于目标区域的视觉光束法平差(BA)、VINS和基于相关分析的尺度估计器组成。与地面实况的实验比较证明了我们的3D跟踪性能的跟踪精度,而移动增强现实(AR)演示显示了潜在应用的可行性。
2018-08-21 cs.CV cs.RO
Visual-Inertial Multi-Instance Dynamic SLAM with Object-level Relocalisation
Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学)
本文提出了一个紧密耦合的视觉-惯性对象级多实例动态SLAM系统。即使在极其动态的场景中,它也可以鲁棒地优化相机姿态、速度、IMU偏差,并构建环境的密集3D重建对象级地图。我们的系统可以鲁棒地跟踪和重建任意对象的几何形状,它们的语义和运动,通过将相关的颜色,深度,语义和前景对象概率逐步融合到每个对象模型中,这要归功于其强大的传感器和对象跟踪。此外,当物体丢失或移动到相机视野之外时,我们的系统可以在重新观察时可靠地恢复其姿态。我们证明了我们的方法的鲁棒性和准确性,通过定量和定性测试它在现实世界的数据序列。
2022-08-08 cs.CV cs.RO
Keyframe-Based Visual-Inertial Online SLAM with Relocalization
RWTH Aachen University(亚琛工业大学)
利用惯性测量值对图像进行补充已经成为实现高精度和鲁棒性的实时相机位姿跟踪的最流行方法之一。在本文中,我们提出了一种基于关键帧的方法,视觉惯性同时定位与地图构建(SLAM)的单目和立体相机。我们的视觉惯性SLAM系统是基于一个实时的视觉惯性里程计方法,提供本地一致的轨迹和地图估计。我们通过在线闭环和非线性优化实现了估计的全局一致性。此外,我们的系统支持在先前获得的地图中重新定位,并允许继续SLAM操作。我们评估我们的方法在公共室内基准数据集和新记录的室外序列的准确性,重新定位能力和运行时的效率。我们展示了国家的最先进的性能相比,我们的系统的视觉惯性测距方法和基线视觉SLAM方法在恢复的轨迹的相机。
2017-03-02 cs.CV
VIMD: Monocular Visual-Inertial Motion and Depth Estimation
University of Delaware (UD) College of Engineering(德克萨斯大学达勒姆分校工程学院);University of Delaware(德克萨斯大学达勒姆分校);Robot Perception and Navigation Group (RPNG)(机器人感知与导航小组)
VIMD通过多视图信息迭代优化像素尺度,实现高效且鲁棒的单目视觉-惯性深度估计,适用于资源受限的3D视觉感知场景。
2026-02-09 cs.CV cs.RO
DM-VIO: Delayed Marginalization Visual-Inertial Odometry
Technical University of Munich(慕尼黑工业大学)
我们提出了DM-VIO,一个单目视觉惯性里程计系统的基础上,两个新的技术称为延迟边缘化和姿态图束调整。DM-VIO使用视觉残差的动态权重执行光度光束法平差。我们采用边缘化,这是一种流行的策略,以保持更新时间的约束,但它不能轻易逆转,和线性化点的连接变量必须是固定的。为了克服这一点,我们提出了延迟边缘化:这个想法是保持第二个因素图,边缘化是延迟的。这使我们能够稍后重新调整这个延迟的图,从而产生更新的边缘化,并具有新的一致的线性化点。此外,延迟边缘化使我们能够将IMU信息注入已经边缘化的国家。这是建议的姿态图光束法平差,我们使用的IMU初始化的基础。与先前的IMU初始化工作相比,它能够捕获完整的光度不确定性,改善尺度估计。为了应对最初不可观测的尺度,在IMU初始化完成后,我们继续优化主系统中的尺度和重力方向。我们在EuRoC,TUM-VI和4Seasons数据集上评估了我们的系统,这些数据集包括飞行无人机,大型手持设备和汽车场景。由于所提出的IMU初始化,我们的系统超过了最先进的视觉惯性里程计,甚至优于立体惯性方法,同时只使用一个相机和IMU。该代码将在http://vision.in.tum.de/dm-vio上发布
2022-01-11 cs.CV cs.RO
Modeling Varying Camera-IMU Time Offset in Optimization-Based Visual-Inertial Odometry
Tencent AI Lab(腾讯人工智能实验室)
结合相机和惯性测量单元(IMU)已被证明在运动跟踪中是有效的,因为这两种传感模式提供了适合融合的互补特性。虽然大多数作品都专注于全局快门相机和同步传感器测量,但消费级设备大多配备卷帘快门相机,并且存在传感器同步不完善的问题。在这项工作中,我们提出了一个非线性优化为基础的单目视觉惯性里程计(VIO)与变化的相机IMU的时间偏移建模为一个未知变量。我们的方法能够以统一的方式处理卷帘快门效应和不完美的传感器同步。此外,我们引入了一个有效的算法,动态规划和红黑树的基础上,以加快IMU集成在变长的时间间隔在优化过程中。一个不确定性感知的初始化也提出了启动VIO鲁棒。Euroc数据集和手机数据的最先进的方法的比较,以验证我们的方法的有效性。
2018-10-12 cs.CV cs.RO
DAVIO: Dense Monocular-Inertial SLAM with Feed-Forward Initialization and Pose-Conditioned Mapping
ITMO University(ITMO大学)
DAVIO利用单一多视图深度模型实现稠密单目惯性SLAM,通过无特征线性系统快速启动VIO滤波器,并用度量姿态条件化深度模型建图,在EuRoC和ORI序列上显著优于现有方法。
2026-09-24 cs.CV cs.RO
Efficient Deep Visual and Inertial Odometry with Adaptive Visual Modality Selection
University of Michigan(密歇根大学)
近年来,基于深度学习的视觉惯性里程计(VIO)方法表现出优于传统几何方法的显著性能。然而,所有现有的方法使用的视觉和惯性测量的每一个姿态估计,导致潜在的计算冗余。虽然视觉数据处理比惯性测量单元(IMU)的成本高得多,但它可能并不总是有助于提高姿态估计精度。在本文中,我们提出了一种基于自适应深度学习的VIO方法,通过机会性地禁用视觉模态来减少计算冗余。具体而言,我们训练一个策略网络,该策略网络基于当前运动状态和IMU读数学习动态停用视觉特征提取器。采用Gumbel-Softmax技巧对策略网络进行训练,使决策过程可区分,便于端到端系统训练。学习的策略是可解释的,它显示了自适应复杂性降低的依赖于网络的决策模式。实验结果表明,我们的方法实现了类似的,甚至更好的性能比全模态基线高达78.8%的计算复杂性减少KITTI数据集评估。该代码可在https://github.com/mingyuyng/Visual-Selective-VIO上获得。
2022-10-19 cs.CV
Relocalization, Global Optimization and Map Merging for Monocular Visual-Inertial SLAM
Hong Kong University of Science and Technology(香港科技大学)
单目视觉惯性系统(VINS)由一台摄像机和一个低成本的惯性测量单元(IMU)组成,是实现精确六自由度状态估计的常用方法。然而,这种局部精确的视觉-惯性测距法易于漂移并且不能提供绝对姿态估计。利用历史信息重新定位和校正漂移已成为一个热门话题。在本文中,我们提出了一个单目视觉惯性SLAM系统,它可以重新定位相机,并在先前建立的地图中获得绝对位姿。然后进行四自由度位姿图优化,以校正漂移并实现全局一致性。4自由度包含x、y、z和偏航角,偏航角是视觉惯性系统中的实际漂移方向。此外,所提出的系统可以重用的地图保存和加载它在一个有效的方式。通过全局姿态图优化,可以将当前地图和先前地图合并在一起。我们在公共数据集上验证了我们的系统的准确性,并与其他最先进的算法进行了比较。我们还评估了我们的系统在大规模户外环境中的地图融合能力。地图重用的源代码被集成到我们的公共代码VINS-Mono中。
2018-03-05 cs.CV
DeepTIO: A Deep Thermal-Inertial Odometry with Visual Hallucination
University of Oxford(牛津大学)
视觉里程计在广泛的环境中表现出优异的性能。然而,在视觉上被拒绝的场景中(例如,浓烟或黑暗),姿态估计降级甚至失败。热像仪通常用于环境能见度低时的感知和检查。然而,它们在里程估计中的使用受到缺乏鲁棒视觉特征的阻碍。在某种程度上,这是由于传感器测量环境温度分布而不是场景外观和几何形状。为了克服这个问题,我们提出了一个深度神经网络模型,用于热惯性里程计(DeepTIO),通过结合视觉幻觉网络为热网络提供补充信息。幻觉网络被教导通过使用Huber损失来预测来自热图像的假视觉特征。我们还采用选择性融合,专注地融合来自三种不同模态的特征,即热特征、幻觉特征和惯性特征。广泛的实验中进行的手持和移动机器人的数据在良性和充满烟雾的环境中,所提出的模型的有效性。
2020-01-19 cs.CV cs.LG cs.RO
ADVIO: An authentic dataset for visual-inertial odometry
Aalto University(阿尔托大学);Tampere University of Technology(坦佩雷理工大学)
行人视觉惯性里程计缺乏现实和开放的基准数据集,很难确定已公布的方法之间的差异。现有的数据集要么缺乏完整的六自由度地面实况,要么仅限于具有光学跟踪系统的小空间。我们利用纯惯性导航的进步,并开发了一套通用的和具有挑战性的现实世界的计算机视觉基准集的视觉惯性测距。为此,我们构建了一个测试台,配备了iPhone,Google Pixel Android手机和Google Tango设备。我们提供广泛的原始传感器数据,几乎可以在任何现代智能手机上访问,以及高质量的地面实况跟踪。我们还将Google Tango、ARCore和Apple ARKit的视觉惯性轨迹与学术论坛上发表的两种最新方法进行了比较。这些数据集涵盖了室内和室外的情况,包括楼梯、自动扶梯、电梯、办公环境、购物中心和地铁站。
2018-07-25 cs.CV
Learning Pose Estimation for UAV Autonomous Navigation andLanding Using Visual-Inertial Sensor Data
California Institute of Technology(加州理工学院)
在这项工作中,我们提出了一种新的学习方法的自主导航和着陆的无人机(UAV)。我们开发了一种用于视觉-惯性里程计的深度神经架构的多模态融合。我们以端到端的方式训练模型,以从视觉和惯性测量流中估计当前车辆姿态。我们首先评估我们的估计的准确性,通过比较模型的预测,传统的算法在公开的EuRoC MAV数据集。结果表明,$25 \%$在估计精度上优于基线。最后,我们将该架构集成到Airsim的闭环飞行控制系统中-虚幻引擎的插件模拟器-并提供自主导航和着陆的仿真结果。
2020-04-09 cs.CV cs.LG cs.RO