Learning Pose Estimation for UAV Autonomous Navigation andLanding Using Visual-Inertial Sensor Data
California Institute of Technology(加州理工学院)
在这项工作中,我们提出了一种新的学习方法的自主导航和着陆的无人机(UAV)。我们开发了一种用于视觉-惯性里程计的深度神经架构的多模态融合。我们以端到端的方式训练模型,以从视觉和惯性测量流中估计当前车辆姿态。我们首先评估我们的估计的准确性,通过比较模型的预测,传统的算法在公开的EuRoC MAV数据集。结果表明,$25 \%$在估计精度上优于基线。最后,我们将该架构集成到Airsim的闭环飞行控制系统中-虚幻引擎的插件模拟器-并提供自主导航和着陆的仿真结果。
2020-04-09 cs.CV cs.LG cs.RO
The Invisible Map: Visual-Inertial SLAM with Fiducial Markers for Smartphone-based Indoor Navigation
Olin College of Engineering(奥林工程学院)
本文提出一种基于图SLAM和基准标记的智能手机室内导航系统,通过推断地标与手机位姿构建精确3D地图,并引入超参数调优技术以适应新环境。
2023-10-16 cs.CV cs.RO
VI-IKD: High-Speed Accurate Off-Road Navigation using Learned Visual-Inertial Inverse Kinodynamics
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室)
在地面车辆上的高速越野导航的关键挑战之一是,车辆地形相互作用的Kinodynamics可以根据地形而显著不同。以前的方法来解决这一挑战已经考虑学习逆kinodynamics(IKD)模型,条件是惯性信息的车辆感测的kinodynamics的相互作用。在本文中,我们假设,使准确的高速越野导航使用一个学习的IKD模型,除了惯性信息从过去的,还必须预测的kinodynamic相互作用的车辆与地形在未来。为此,我们引入视觉惯性逆Kinodynamics(VI-IKD),一种新的基于学习的IKD模型,除了过去的惯性信息之外,它还基于机器人前方地形的视觉信息,使其能够预测未来的Kinodynamic交互。我们验证了VI-IKD在室内和室外环境中的1/5 UT-AlphaTruck越野自动驾驶汽车上进行精确高速越野导航的有效性,并表明与其他最先进的方法相比,VI-IKD能够在各种不同地形上以高达3.5 m/s的速度进行更准确和更强大的越野导航。
2022-08-01 cs.AI cs.CV cs.LG
Universal Online Temporal Calibration for Optimization-based Visual-Inertial Navigation Systems
PICO Technology Co., Ltd.(PICO科技有限公司);China University of Mining and Technology (Beijing)(中国矿业大学(北京))
本文提出一种通用在线时间标定策略,将时间偏移作为状态参数引入优化残差模型,使其与跟踪状态联合优化,在 EuRoC 和仿真实验中实现了更准确、更快速的时间偏移估计。
2025-01-03 cs.CV cs.RO
SchurVINS: Schur Complement-Based Lightweight Visual Inertial Navigation System
ByteDance(字节跳动)
提出SchurVINS,一种基于Schur补的轻量级VINS框架,通过完整残差模型保证高精度,利用Schur补分解降低计算复杂度,在EuRoC和TUM-VI数据集上超越SOTA方法。
2024-07-17 cs.CV cs.RO
Iterative Path Reconstruction for Large-Scale Inertial Navigation on Smartphones
Aalto University(阿尔托大学)
现代智能手机具有准确和强大的导航和跟踪所需的所有传感功能。在特定的环境中,一些数据流可能不存在,不太可靠,或者完全错误。特别是,GNSS信号可能在建筑物内或有高层建筑的街道上变得有缺陷或无声。在这篇应用论文中,我们的目标是在标准智能手机上使用惯性测量结合部分GNSS数据来推进当前最先进的运动估计。我们展示了迭代估计方法如何帮助在可涵盖固定间隔和固定滞后场景的回顾性用例中改进定位路径估计。我们比较全球迭代卡尔曼滤波方法提供的估计结果的视觉惯性跟踪计划(苹果ARKit)。从智能手机和平板电脑设备获取的经验数据的实际应用性证明了现实世界的用例。
2019-06-02 cs.CV
MIMC-VINS: A Versatile and Resilient Multi-IMU Multi-Camera Visual-Inertial Navigation System
University of Delaware(特拉华大学)
随着相机和惯性传感器在移动设备和机器人中变得无处不在,设计用于高效通用3D运动跟踪的视觉惯性导航系统(VINS)具有很大的潜力,其利用任何(多个)可用相机和惯性测量单元(IMU)并且对传感器故障或测量耗尽具有弹性。为此,而不是标准的VINS范例使用一个最小的传感套件的一个摄像头和IMU,在本文中,我们设计了一个实时一致的多IMU多摄像头(MIMC)-VINS估计器,能够无缝融合多模态信息从任意数量的未校准的摄像头和IMU。在一个有效的多状态约束卡尔曼滤波器(MSCKF)的框架内,建议MIMC-VINS算法最佳融合所有传感器的异步测量,同时提供平滑,不间断,准确的三维运动跟踪,即使一些传感器失败。所提出的MIMC-VINS的关键思想是执行高阶流形上状态插值,以有效地处理所有可用的视觉测量,而不增加由于估计额外的传感器的姿态在异步成像时间的计算负担。为了融合来自多个IMU的信息,我们传播一个由所有IMU状态组成的联合系统,同时在滤波器更新阶段强制执行IMU之间的刚体约束。最后,我们在线估计时空的外在和视觉的内在参数,使我们的系统在以前的传感器校准的错误鲁棒性。所提出的系统在蒙特卡洛模拟和真实世界的实验中得到了广泛的验证。
2020-06-28 cs.CV cs.RO
PIVO: Probabilistic Inertial-Visual Odometry for Occlusion-Robust Navigation
Aalto University(阿尔托大学);Tampere Univ. of Tech.(坦佩雷理工大学)
提出了一种新的视觉-惯性联合测距方法。该方法基于信息融合框架,采用标准智能手机中的低成本IMU传感器和单目摄像头。我们制定了一个顺序推理方案,其中IMU驱动的动力学模型和相机帧用于耦合拖尾序列的增强姿势。该模型的新颖之处在于考虑了更新中的所有交叉项,从而将相互关联的不确定性传播到整个模型中。惯性和视觉数据源之间的更强耦合导致对遮挡和功能差的环境的鲁棒性。我们展示了用iPhone收集的数据的结果,并与Tango设备和使用EuRoC数据集进行了比较。
2018-01-23 cs.CV
A Visual-inertial Navigation Method for High-Speed Unmanned Aerial Vehicles
Beijing University of Posts and Telecommunications(北京邮电大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
研究了高速高空无人机的单目摄像定位问题。提出了一种利用视觉和惯性器件互补的导航方法,以克服无人机水平飞行时的奇异性。通过分离线性部分和非线性部分,改进了定位问题的数学模型,用线性等式约束优化问题代替了非线性最小二乘问题。为了避免序列无约束极小化方法(罚方法)在最优点附近的病态性,基于微分代数动力系统构造了一种半隐式连续信赖域方法来求解线性等式约束优化问题.除了传统的常微分方程数值方法在有限积分区间上的收敛性分析外,还分析了半隐式连续方法在无穷积分区间上的全局收敛性。最后给出了数值结果。
2020-02-12 cs.CV cs.NA cs.SY
Visual-Thermal Landmarks and Inertial Fusion for Navigation in Degraded Visual Environments
University of Nevada, Reno(内华达大学雷诺分校)
随着航空机器人应用领域的不断扩大,包括许多关键任务,如灾难响应行动,搜索和救援任务以及在GPS拒绝环境中进行的基础设施检查,对航空机器人可靠自主操作的需求变得至关重要。在GPS无法覆盖的地区,空中机器人依靠大量的传感器来定位和导航。可见光谱相机是最常用的传感器,因为它们的成本低,重量轻。然而,在视觉退化的环境中,诸如在照明差、低纹理或存在包括雾、烟和灰尘的遮蔽物的条件下,可见光相机的可靠性显著恶化。然而,在这种条件下保持可靠的机器人导航是必不可少的。与可见光摄像机相比,热成像摄像机在红外光谱中提供可见度,并且可以与可见光谱摄像机以互补的方式用于机器人定位和导航任务,而无需支付通常与携带其他传感器相关的显著重量和功率损失。利用这一事实,在这项工作中,我们提出了一个多传感器融合算法,在GPS拒绝和退化的视觉环境中可靠的里程估计。所提出的方法利用来自可见光和热光谱的信息进行地标选择,并基于空间熵度量从信息图像区域优先进行特征提取。此外,惯性感测线索被集成以提高里程估计过程的鲁棒性。为了验证我们的解决方案,在a)昏暗的车间式工业环境以及b)存在重空气尘埃的黑暗地下矿井中进行了一系列具有挑战性的实验。
2019-03-05 cs.CV cs.RO
Dynamic Sensor Matching based on Geomagnetic Inertial Navigation
Leibniz Supercomputing Centre (LRZ)(莱布尼茨超级计算中心);Ludwig-Maximilians-Universität (LMU)(路德维希-马克西米利安-慕尼黑大学)
针对多传感器动态环境重建需共享坐标系的问题,提出以地球磁场为统一世界坐标系的地磁惯性导航匹配方法,经ZED 2相机评估验证可行,为光学多传感器动态实时环境检测应用奠定基础。
2024-01-30 cs.AI cs.CV cs.RO
Vision-Based Navigation I: A navigation filter for fusing DTM/correspondence updates
Transas group of companies(Transas集团公司)
提出了一种利用图像和数字地形图中的相应特征进行姿态和运动估计的算法。使用数字地形(或数字高程)地图(DTM/DEM)作为全局参考,可以恢复相机的绝对位置和方向。为了做到这一点,DTM被用来制定两个连续帧中的相应特征之间的约束。数据的利用被示出以提高惯性导航算法的鲁棒性和精度。采用扩展卡尔曼滤波器将惯性导航算法和所提出的基于视觉的导航算法的结果结合起来。通过数值仿真验证了该算法的可行性。
2012-07-10 cs.AI cs.CV
A Simple Observer for Gyro and Accelerometer Biases in Land Navigation Systems
Topcon Positioning Systems LLC(拓普康定位系统有限责任公司)
本文提出一种简单观测器,通过几何意义明确的量估计惯性传感器偏置,避免了复杂的矩阵运算,简化了观测器调优,并在农业车辆导航系统中成功测试。
2015-01-26 cs.SY eess.SY math.DS