Monocular Visual Odometry with a Rolling Shutter Camera
Gwanju Institue Science and Technology(光州科学技术院)
滚动快门(RS)相机由于低成本成像能力而变得普及。然而,当相机或对象移动或照明条件改变时,RS相机遭受不期望的伪影。因此,使用RS相机的单目视觉里程计(MVO)会产生不准确的自我运动估计。以前的作品解决了这个RS失真的问题,从图像和/或惯性传感器的运动预测。然而,MVO在处理相机运动突然改变时(例如,移动相机的振动瞬时引起极快的运动)的RS失真时仍然有麻烦。为了解决这个问题,我们提出了一种新的MVO算法,考虑到遥感相机的几何特性。该算法的核心思想是新的RS本质矩阵,它包含了在每帧的瞬时角速度和线速度。我们的算法产生准确和强大的自我运动估计在一个在线的方式,并适用于各种移动应用与RS相机。通过对合成数据集和真实数据集的定量和定性比较,验证了该算法的优越性。
2017-04-24 cs.CV
Beyond Photometric Consistency: Gradient-based Dissimilarity for Improving Visual Odometry and Stereo Matching
University of Bonn(波恩大学)
姿态估计和地图构建是自主机器人的核心组成部分,通常依赖于传感器数据的配准。在本文中,我们研究了一种新的度量注册的图像,建立在光度误差的想法。我们的方法结合了梯度方向为基础的度量与幅度相关的缩放项。我们集成到立体声估计以及视觉里程计系统,并显示出明显的优势,典型的差距和直接图像配准任务时,使用我们提出的度量。我们的实验评估表明,我们的度量导致更强大,更准确的估计场景深度以及相机轨迹。因此,该度量提高了相机姿态估计,进而提高了移动机器人的映射能力。我们相信,一系列现有的视觉里程计和视觉SLAM系统可以受益于本文报道的研究结果。
2020-04-08 cs.CV
Map as The Hidden Sensor: Fast Odometry-Based Global Localization
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
精确和鲁棒的全局定位对于机器人应用至关重要。我们提出了一种新的全球定位方法,采用地图遍历作为一个隐藏的观察。由此产生的地图校正的里程定位是能够提供一个准确的信念张量的机器人状态。我们的方法可用于黑暗或高反射区域的盲人机器人。与里程计长期漂移相反,我们的方法仅使用里程计和地图在长期收敛。我们的方法也可以与其他传感器集成,以提高定位性能。该算法没有任何初始状态假设,并跟踪所有可能的机器人状态在任何时候。因此,我们的方法是全局的,并且在模糊观测的情况下是鲁棒的。我们将算法的每个步骤并行化,以便可以使用GPU实时执行(高达~ 300 Hz)。我们验证了我们的算法在不同的公开可用的平面图,并表明,它是能够收敛到地面真相快速,同时具有强大的模糊性。
2019-09-20 cs.CV cs.RO
PRGFlow: Benchmarking SWAP-Aware Unified Deep Visual Inertial Odometry
University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所)
空中机器人上的里程计必须具有低延迟和高鲁棒性,同时还尊重机器人尺寸所要求的尺寸、重量、面积和功率(SWAP)约束。视觉传感器与惯性测量单元(IMU)的组合已被证明是在资源受限的空中机器人上获得鲁棒和低延迟里程计的最佳组合。最近,用于视觉惯性融合的深度学习方法由于其高精度和鲁棒性而获得了发展势头。然而,这些技术的显着优点是其固有的可扩展性(适应不同大小的空中机器人)和统一性(相同的方法适用于不同大小的空中机器人),通过利用压缩方法和硬件加速,这是以前的方法所缺乏的。为此,我们提出了一种用于视觉平移估计的深度学习方法,并将其与惯性传感器松散融合,以进行完整的6DoF里程估计。我们还提出了一个详细的基准比较不同的架构,损失函数和压缩方法,使可扩展性。我们在MSCOCO数据集上评估我们的网络,并在多个真实飞行轨迹上评估VI融合。
2020-06-11 cs.CV cs.RO
Robot Localization and Mapping Final Report -- Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry
本文提出一种自监督深度视觉里程计方法,通过结合光流与RNN建模时空相关性,并引入GAN损失函数改进深度和位姿估计,减少轨迹漂移和图像伪影。
2023-09-08 cs.CV
VILENS: Visual, Inertial, Lidar, and Leg Odometry for All-Terrain Legged Robots
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
针对足式机器人单传感器里程计估计易退化的问题,提出基于因子图的多模态紧融合里程计系统VILENS,扩展可观测线速度偏差项,实验验证其精度和鲁棒性均显著优于现有松耦合方法。
2024-10-07 cs.CV cs.RO
RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in Dynamic Environments
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);SenseTime Research(商汤科技研究院)
本文提出名为RD-VIO的视觉惯性里程计系统,通过IMU-PARSAC两阶段算法鲁棒检测匹配关键点,并利用特殊子帧和延迟三角化技术处理纯旋转问题,在动态环境中显著优于其他方法。
2024-02-16 cs.CV cs.RO
Unsupervised Learning of Depth Estimation and Visual Odometry for Sparse Light Field Cameras
School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney(悉尼大学航空航天、机械与机电工程学院);Sydney Institute for Robotics and Intelligent Systems(悉尼机器人与智能系统研究院)
虽然出现了令人兴奋的多种新型成像设备,可以大大提高机器人的感知能力,但校准和解释这些相机的挑战限制了它们在机器人领域的应用。在这项工作中,我们概括了技术,从无监督学习,让机器人自主解释新类型的相机。我们考虑新兴的稀疏光场(LF)相机,其捕获描述穿过平面的光线的集合的4D LF函数的子集。我们介绍了一个广义的稀疏LF编码,允许无监督学习的里程和深度。我们证明了所提出的方法优于单目和传统的技术处理4D图像,产生更准确的里程计和深度图,并提供这些与度量尺度。我们期望我们的技术推广到广泛的LF和稀疏LF相机,并使无人监督的重新校准,以应对在机器人的生命周期内相机行为的变化。这项工作代表了在机器人应用中简化新型成像设备集成的第一步。
2021-03-21 cs.CV cs.RO
Conceptual Evaluation of Deep Visual Stereo Odometry for the MARWIN Radiation Monitoring Robot in Accelerator Tunnels
Faculty of Computer Science and Digital Society(计算机科学与数字社会学院);HAW Hamburg(汉堡应用技术大学)
本文评估了深度视觉立体视觉里程计在加速器隧道中为MARWIN机器人提供自主导航的可能性,通过结合3D几何约束,旨在提高在未知环境中的鲁棒性和灵活性。
2025-11-25 cs.CV cs.RO
Joint Forward-Backward Visual Odometry for Stereo Cameras
CSIR-Central Scientific Instruments Organisation(CSIR中央科学仪器组织);Academy of Scientific & Innovative Research(科学与创新研究院)
视觉里程计是在机器人和自动化领域中广泛使用的技术,以仅使用视觉线索来跟踪机器人的位置。在本文中,我们提出了一个联合向前向后视觉里程计框架相结合,向前运动和向后运动估计立体相机。这里使用LIBVIOS 2的基本框架进行姿态估计,因为它可以在标准CPU上实时运行。视觉里程计的前向和后向模式中的误差的互补性质有助于在组合这些单独的估计时提供精细的运动估计。此外,两个可靠性措施,即前向后相对位姿误差和前向后绝对位姿误差已被提出来评估视觉里程计框架本身,而不需要任何地面实况数据。建议的计划进行评估的KITTI视觉里程计数据集。实验结果表明,在不增加系统负载的情况下,所提出的方案比传统的里程计管道提高了精度。
2019-12-21 cs.CV cs.RO
Spatiotemporal Registration for Event-based Visual Odometry
The University of Adelaide(阿德莱德大学)
事件感测的有用应用是视觉里程计,特别是在需要高时间分辨率的设置中。对比度最大化的最先进的方法通过最大化扭曲事件的图像的对比度来从一批事件中恢复运动。然而,图像分辨率和时间分辨率的成本比例可能受到需要大批量以在对比度图像中产生足够结构的限制。在这项工作中,我们提出时空注册作为一个引人注目的技术,基于事件的旋转运动估计。我们从理论上证明了这种方法,并建立其基本的和实际的优势,对比度最大化。特别地,时空配准还产生特征轨迹作为副产品,其直接支持具有用于运动平均的基于图形的优化的高效视觉里程计流水线。我们的视觉里程计流水线的简单性允许它处理超过1 M事件/秒。我们还贡献了一个新的事件数据集的视觉里程计,其中具有大的速度变化的运动序列,使用高精度的机器人手臂。
2021-03-19 cs.CV
LodoNet: A Deep Neural Network with 2D Keypoint Matchingfor 3D LiDAR Odometry Estimation
The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Worcester Polytechnic Institute(伍斯特理工学院)
基于深度学习的LiDAR测距(LO)估计在自动驾驶和机器人领域引起了越来越多的研究兴趣。现有的作品连续LiDAR帧作为点云和匹配对在学习的特征空间中的神经网络。相比之下,基于图像的特征提取器的成功的动机,我们建议将LiDAR帧转移到图像空间,并将问题重新表述为图像特征提取。在尺度不变特征变换(SIFT)的帮助下进行特征提取,我们能够生成匹配的关键点对(MKP),可以精确地返回到3D空间。设计了一个卷积神经网络流水线,用于提取MKP估计LiDAR里程。所提出的方案,即LodoNet,然后在KITTI里程估计基准进行评估,达到与最先进的,甚至更好的结果。
2020-09-01 cs.CV
Real-time Multi-Adaptive-Resolution-Surfel 6D LiDAR Odometry using Continuous-time Trajectory Optimization
University of Bonn(波恩大学)
同时定位与地图构建(SLAM)是自主机器人的基本能力,但由于三维激光雷达的高数据率,实时的【形】SLAM具有挑战性。提出了一种实时的【形】六维LiDAR测距方法。我们的方法结合了连续时间的B样条轨迹表示与高斯混合模型(GMM)制定共同对齐本地多分辨率冲浪地图。稀疏的体素网格和permutohedral晶格确保快速访问地图表面,自适应分辨率选择方案有效地加快了注册。一个彻底的实验评估显示了我们的方法在多个数据集和真实的机器人实验中的性能。
2021-09-29 cs.CV cs.RO
Exploring Event Camera-based Odometry for Planetary Robots
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室);University of Zurich(苏黎世大学)
由于它们对运动模糊的适应能力以及在低光和高动态范围条件下的高鲁棒性,事件相机有望成为未来火星直升机任务中基于视觉的探索传感器。然而,现有的基于事件的视觉惯性里程计(VIO)算法要么遭受高跟踪误差或脆弱,因为他们不能应付重大的深度不确定性所造成的不可预见的损失的跟踪或其他影响。在这项工作中,我们介绍了EKLT-VIO,它通过将最先进的基于事件的前端与基于过滤器的后端相结合来解决这两个限制。这使得它对不确定性既准确又鲁棒,在具有挑战性的基准测试中,它的性能比基于事件和帧的VIO算法高出32%。此外,我们展示了在悬停条件下的准确性能(优于现有的基于事件的方法),以及在新收集的火星样和高动态范围序列中的高鲁棒性,现有的基于帧的方法失败。在这样做的过程中,我们表明,基于事件的VIO是基于视觉的火星探测的前进方向。
2022-07-29 cs.CV cs.RO
Towards Robust Monocular Visual Odometry for Flying Robots on Planetary Missions
German Aerospace Center (DLR)(德国航空航天中心(DLR));Technical University of Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院)
在未来,地外探险不仅将由漫游者进行,而且还将由飞行机器人进行。刚刚降落在火星上的技术演示无人机“无畏号”将标志着一个不受地形可穿越性阻碍的探索新时代的开始。强大的自我定位是至关重要的。轻便、廉价、信息丰富的传感器摄像头已经被用于估计车辆的自我运动。然而,在人造环境中被证明有效的方法不能简单地部署在其他星球上。火星荒地中存在的高度重复的纹理对基于描述符匹配的方法构成了巨大的挑战。在本文中,我们提出了一种先进的鲁棒单目测距算法,使用有效的光流跟踪,以获得图像之间的特征对应关系和一个完善的关键帧选择标准。与大多数其他方法相比,我们的框架还可以处理仅旋转的运动,这对于单目测距系统来说特别具有挑战性。此外,我们提出了一种新的方法来估计当前的规模漂移的风险的基础上的相对翻译信息矩阵的主成分分析。这样我们就得到了一个隐含的不确定性度量。我们评估了我们的方法在火星环境中捕获的具有挑战性的真实世界数据集的所有序列上的有效性,并表明它优于最先进的方法。
2021-09-12 cs.CV cs.RO
Match and Locate: low-frequency monocular odometry based on deep feature matching
本文提出一种仅需单目相机、可在低频(约1帧/秒)下工作的里程计方法,利用深度特征匹配估计位姿,并用卷积神经网络调整尺度,在AISG-SLA挑战赛中取得第三名,误差约为3°和2米。
2023-11-16 cs.CV
PCA Event-Based Optical Flow for Visual Odometry
IBISC Univ. Evry(埃夫里大学IBISC研究所);Université Paris-Saclay(巴黎萨克雷大学)
随着神经形态视觉传感器(如基于事件的摄像机)的出现,大多数计算机视觉算法都需要进行范式转换。在这些算法中,考虑到光流估计与神经形态视觉方法有关,因此它是该过程的主要候选者。由于光流的丰富性和准确性,其在机器人应用中的使用是广泛的。提出了一种基于事件的光流估计问题的主成分分析方法。在这种方法中,我们研究了不同的正则化方法,有效地提高了估计的光流。我们表明,我们所提出的方法,致力于实时上下文的视觉里程计,是约两倍的速度相比,国家的最先进的实现,同时显着提高了光流的准确性。
2021-05-17 cs.CV
Evaluation of the visual odometry methods for semi-dense real-time
Wuhan University of Technology(武汉理工大学)
近几十年来,视觉里程计(VO)在计算机视觉领域的使用显着增加。它也被用于各种机器人应用,例如火星探测漫游者。本文首先讨论了两种流行的现有视觉里程计方法,即LSD-SLAM和ORB-SLAM 2,以提高视觉SLAM系统的性能指标,使用梅山方法。我们在三个不同的知名KITTI数据集、EuRoC MAV数据集和TUM RGB-D数据集上仔细评估了上述方法,以获得最佳结果,并将结果与不同视觉里程计方法的评估指标进行了图形比较。其次,我们提出了一种实时的【形】运行的方法与立体相机,它结合了现有的基于特征的(间接)方法和现有的无特征(直接)方法匹配精确的半密度直接图像对齐和重建一个准确的3D环境直接对像素图像梯度。虚拟对象;性能度量;梅山方法;基于特征的方法;无特征的方法;半密集实时的【形】。
2018-04-12 cs.CV
Event Camera-based Visual Odometry for Dynamic Motion Tracking of a Legged Robot Using Adaptive Time Surface
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出一种结合事件和RGB-D数据的直接稀疏视觉里程计方法,利用自适应时间表面(ATS)解决图像模糊问题,实现敏捷足式机器人在动态运动中的鲁棒位姿估计。
2023-05-15 cs.CV cs.RO
Minimalist Visual Inertial Odometry
Department of Information Engineering, University of Padua(帕多瓦大学信息工程系);Computer Science Department, Columbia University(哥伦比亚大学计算机科学系)
本文提出了一种极简的平面里程计方法,通过四个视觉测量和一个IMU实现差分驱动机器人的鲁棒运动估计,展示了极简传感在高效准确平面里程计中的应用。
2026-08-27 cs.CV cs.LG cs.RO
An indoor DSO-based ceiling-vision odometry system for indoor industrial environments
Université Paris-Saclay(巴黎-萨克雷大学);ENS Paris-Saclay(巴黎-萨克雷高等师范学校);CNRS(法国国家科学研究中心);ez-Wheel - IDEC Corp.(ez-Wheel - IDEC公司)
针对室内工业环境中传统视觉里程计受动态物体干扰的问题,提出基于直接稀疏里程计的Ceiling-DSO天花板视觉系统,创建自定义数据集评估,通过参数优化实现可靠定位。
2024-12-04 cs.CV cs.RO
Dense Prediction Transformer for Scale Estimation in Monocular Visual Odometry
Aeronautics Institute of Technology(航空技术研究所)
单目视觉里程计通过单个摄像机的图像来估计智能体的位置,并且它被应用于自动驾驶车辆、医疗机器人和增强现实。然而,单目系统由于在2D帧中缺乏深度信息而遭受尺度模糊问题。本文的贡献,显示应用密集预测Transformer模型的规模估计单目视觉里程计系统。实验结果表明,该模型通过对深度图的精确估计,可以有效降低单目系统的尺度漂移问题,在视觉里程计基准测试中具有较好的性能。
2022-10-04 cs.AI cs.CV
SM/VIO: Robust Underwater State Estimation Switching Between Model-based and Visual Inertial Odometry
University of South Carolina(南卡罗来纳大学);Epic Systems Corporation(Epic系统公司)
针对水下视觉惯性里程计易因环境因素失效的问题,提出SM/VIO框架,通过运动学模型与本体感知传感器在VIO失效时维持位姿估计并结合健康监测实现及时切换,经Aqua2实验验证了其鲁棒性。
2023-04-04 cs.CV cs.RO
DVIO: Depth aided visual inertial odometry for RGBD sensors
SOC R&D, Samsung Semiconductor, Inc.(三星半导体公司 SOC 研发部)
在过去的几年中,我们已经观察到RGBD传感器在移动设备中的使用有所增加。这些传感器提供了对相机帧的深度图的良好估计,其可以用于许多增强现实应用中。本文提出了一种新的视觉惯性里程计(VIO)系统,它使用从RGBD传感器和惯性测量单元(IMU)传感器的测量估计的移动终端的运动状态。由此产生的系统被称为深度辅助VIO(DVIO)系统。在这个系统中,我们添加了深度测量作为非线性优化过程的一部分。具体而言,我们提出了使用一维(1D)特征参数化以及三维(3D)特征参数化的深度测量方法。此外,我们建议利用深度测量来估计非同步IMU和RGBD传感器之间的时间偏移。最后,我们提出了一种新的基于块的边缘化方法,以加快边缘化过程,并保持整个系统的实时性能。实验结果验证了所提出的DVIO系统优于其他国家的最先进的VIO系统的轨迹精度以及处理时间。
2021-10-20 cs.CV cs.RO
Tightly-coupled Visual-DVL-Inertial Odometry for Robot-based Ice-water Boundary Exploration
University of Rhode Island(罗德岛大学);Michigan Technological University(密歇根理工大学)
本文提出一种紧耦合视觉-DVL-惯性多传感器融合里程计框架,结合关键帧状态克隆与DVL辅助特征增强,在冰下约200米路径上实现均方根误差小于2米的鲁棒定位。
2023-08-09 cs.CV cs.RO
The Empirical Impact of Forgetting and Transfer in Continual Visual Odometry
Politecnico di Milano(米兰理工大学)
本研究实证调查了具身环境下持续训练的视觉里程计神经网络中灾难性遗忘与知识迁移的影响,发现模型经历从高可迁移性到环境专门化的转变,常规正则化和增加容量无效,排练练习略有裨益但增加记忆成本,融入动作信息加速收敛却加剧专门化。
2024-06-03 cs.CV cs.RO
CodedVO: Coded Visual Odometry
University of Maryland(马里兰大学);University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所);SAAB, Inc.(萨博公司);Army Research Laboratory(陆军研究实验室)
本文提出CodedVO,一种利用定制光学器件将度量深度信息物理编码到图像中的新型单目视觉里程计方法,有效克服了尺度模糊问题,并在ICL-NUIM室内数据集上实现了0.08米的平均轨迹误差,达到最先进性能。
2024-07-25 cs.CV cs.RO
Online Refractive Camera Model Calibration in Visual Inertial Odometry
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
本文提出一种通用折射相机模型,在视觉惯性里程计中在线联合估计里程计与未知介质折射率,仅需空气标定即可在折射流体中实现与常规相当的定位性能。
2024-09-18 cs.CV cs.RO
Lightweight, Uncertainty-Aware Conformalized Visual Odometry
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
数据驱动的视觉里程计(VO)是自主边缘机器人的关键子程序,该领域的最新进展已经在复杂环境中产生了高度准确的点预测。然而,新兴的自主边缘机器人设备,如昆虫规模的无人机和手术机器人,缺乏一个计算效率高的框架来估计VO的预测不确定性。与此同时,随着边缘机器人技术继续扩散到关键任务应用领域,对模型预测不确定性的认识对于风险感知决策至关重要。本文解决了这一挑战,提出了一种新的,轻量级的,统计上强大的框架,利用共形推理(CI)提取VO的不确定性带。我们的方法表示使用灵活的,适应性强,可调的预测区间,平均而言,保证包括地面真理在所有自由度(DOF)的姿态估计的不确定性。我们讨论了生成深度神经网络的架构,用于估计多变量不确定性带以及点(均值)预测。我们还提出了技术,以提高不确定性估计的准确性,如利用蒙特卡洛辍学(MC-辍学)的数据增强。最后,我们提出了一种新的训练损失函数,它将区间评分和校准损失与传统的训练指标-均方误差和KL发散-结合起来,以提高不确定性感知学习。我们的仿真结果表明,所提出的框架一致地捕捉到了不同数据集,估计模型和应用的噪声类型的姿态估计的真实不确定性,表明其广泛的适用性。
2023-03-03 cs.AI cs.CV cs.LG
DynPL-SVO: A Robust Stereo Visual Odometry for Dynamic Scenes
School of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院)
本文提出DynPL-SVO,一种结合点线特征联合代价函数与动态网格算法的立体视觉里程计方法,通过Levenberg-Marquardt最小化重投影误差估计运动,在KITTI和EuRoC MAV数据集上准确率平均提升超20%。
2023-06-24 cs.CV cs.RO
DeepLO: Geometry-Aware Deep LiDAR Odometry
KAIST(韩国科学技术院)
最近,基于学习的自我运动估计方法引起了人们的强烈兴趣,主要集中在视觉感知的研究。这些突破性的工作集中在里程估计的无监督学习,但主要是视觉传感器。与图像相比,在一些研究中已经报道了使用光检测和测距(LiDAR)的基于学习的方法,其中最常见的是提出了监督学习框架。在本文中,我们提出了一种新的方法,可以通过监督和无监督框架进行几何感知的深度LiDAR测距训练。我们将迭代最近点(ICP)算法纳入深度学习框架,并展示了所提出的管道的可靠性。我们提供了两个损失函数,允许在监督和无监督学习之间切换,这取决于训练阶段的真实有效性。使用KITTI和Oxford RobotCar数据集的评估表明,所提出的方法在实现姿态精度时具有出色的性能和效率。
2019-02-27 cs.CV cs.RO
DMLO: Deep Matching LiDAR Odometry
University of Twente(特文特大学);Wright State University(莱特州立大学)
LiDAR测距是机器人、自动驾驶等各个领域的基本任务。这个问题是困难的,因为它要求系统在嘈杂的真实世界数据中运行时具有高度鲁棒性。现有的方法大多是局部迭代法。由于在不均匀和稀疏的LiDAR数据中提取精确的匹配对仍然具有挑战性,因此基于几何的全局配准方法不是首选。在本文中,我们提出了深度匹配LiDAR测距(DMLO),这是一种新的基于学习的框架,它使特征匹配方法适用于LiDAR测距任务。与许多最近的基于学习的方法不同,DMLO明确地在框架中强制执行几何约束。具体而言,DMLO将6-DoF姿态估计分解为两个部分,一个基于学习的匹配网络,它提供两次扫描之间的准确对应关系,另一个是刚性变换估计,通过奇异值分解(SVD)获得封闭形式的解决方案。在真实世界数据集KITTI和Argoverse上的综合实验结果表明,我们的DMLO大大优于现有的基于学习的方法,并与最先进的基于几何的方法相媲美。
2020-04-09 cs.CV cs.RO
Deep Sensor Fusion for Real-Time Odometry Estimation
相机和二维激光扫描仪相结合,能够提供低成本,重量轻和准确的解决方案,这使得它们的融合非常适合许多机器人导航任务。然而,正确的数据融合依赖于传感器之间的刚体变换的精确校准。在本文中,我们提出了第一个框架,利用卷积神经网络(CNN)的里程估计融合二维激光扫描仪和单相机。CNN的使用提供了工具,不仅可以从两个传感器中提取特征,还可以在不需要传感器之间校准的情况下融合和匹配它们。我们将里程估计转化为有序分类问题,以便找到连续帧之间的准确旋转和平移值。在实际道路数据集上的实验结果表明,该融合网络能够实时的【形】运行,并且能够通过学习如何融合两种不同类型的数据信息来改善单个传感器的里程估计。
2019-07-31 cs.CV cs.RO
The TUM VI Benchmark for Evaluating Visual-Inertial Odometry
Technical University of Munich(慕尼黑工业大学)
视觉里程计和SLAM方法在诸如增强现实或机器人技术的领域中具有各种各样的应用。视觉传感器与惯性测量的互补极大地提高了跟踪精度和鲁棒性,从而引起了人们对视觉惯性(VI)里程计方法发展的极大兴趣。在本文中,我们提出了TUM VI基准,一个新的数据集,在不同的场景中的一组不同的序列,用于评估VI里程计。它提供分辨率为1024x1024(20 Hz)、高动态范围和光度校准的相机图像。IMU以200 Hz的频率测量3个轴上的加速度和角速度,而摄像机和IMU传感器在硬件中是时间同步的。对于轨迹评估,我们还在序列的开始和结束时以高频率(120 Hz)提供来自运动捕捉系统的准确姿势地面实况,我们将其与相机和IMU测量结果准确对齐。包含原始数据和校准数据的完整数据集是公开的。我们还在我们的数据集上评估了最先进的VI里程计方法。
2020-03-09 cs.CV cs.RO
EMA-VIO: Deep Visual-Inertial Odometry with External Memory Attention
National University of Defense Technology(国防科技大学)
准确和鲁棒的定位是移动代理的基本需求。视觉惯性里程计(VIO)算法利用来自相机和惯性传感器的信息来估计位置和平移。最近基于深度学习的VIO模型吸引了人们的注意,因为它们以数据驱动的方式提供姿态信息,而不需要设计手工制作的算法。现有的基于学习的VIO模型依赖于递归模型来融合多模态数据和处理传感器信号,训练困难且效率不高。我们提出了一种新的基于学习的VIO框架与外部记忆的注意力,有效地和高效地结合了视觉和惯性特征的状态估计。我们提出的模型能够准确和鲁棒地估计姿态,即使在具有挑战性的场景中,例如,在阴天和积水的地面上,这是传统的VIO算法难以提取的视觉特征。实验结果表明,该算法在不同场景下的性能均优于传统的VIO基线和基于学习的VIO基线。
2022-09-18 cs.CV cs.RO
An Empirical Evaluation of Four Off-the-Shelf Proprietary Visual-Inertial Odometry Systems
Sookmyung Women’s University(淑明女子大学)
商业视觉惯性里程计(VIO)系统作为一种具有成本效益的现成六个自由度(6-DoF)自我运动跟踪方法而受到关注,该方法用于估计准确且一致的相机姿态数据,此外它们还能够在没有来自运动捕捉或全球定位系统的外部定位的情况下进行操作。然而,从现有的结果来看,还不清楚哪种商业VIO平台在室内和室外机器人应用的状态估计方面是最稳定、一致和准确的。我们通过一系列室内和室外实验评估了四种流行的专有VIO系统(Apple ARKit,Google ARCore,Intel RealSense T265和Stereolabs ZED 2),展示了它们的定位稳定性,一致性和准确性。我们提出我们的完整结果作为研究界的基准比较。
2022-07-14 cs.CV cs.RO
DROID-ANCHOR: Odometry-Anchored Recurrent Metric Depth Estimation
UC Berkeley(加州大学伯克利分校)
研究针对单目系统尺度问题,提出Metric-DROID架构,通过集成里程计,利用LSTM更新算子、不确定性感知度量后端及选择性残差微调策略,实现视觉SLAM与物理现实锚定,有效解决尺度模糊等问题。
2026-07-21 cs.CV cs.RO
Data-Efficient Collaborative Decentralized Thermal-Inertial Odometry
University of Zurich(苏黎世大学);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
我们提出了一个系统解决方案,以实现数据高效,分散的状态估计的飞行机器人使用热图像和惯性测量的团队。每个机器人都可以独立飞行,并在可能的情况下交换数据以改进其状态估计。我们的系统前端应用在线光度校准来细化热图像,以增强特征跟踪和位置识别。我们的系统后端使用协方差交叉融合策略,忽略代理之间的互相关,以降低内存使用和计算成本。通信管道使用局部聚集描述符向量(VLAD)来构造要求低带宽使用的请求-响应策略。我们在合成数据和真实数据上测试了我们的协作方法。我们的研究结果表明,所提出的方法提高了高达46%的轨迹估计相对于个人代理的方法,同时减少了高达89%的通信交换。数据集和代码向公众发布,扩展了已经公开的JPL xVIO库。
2022-09-14 cs.CV cs.RO
Modeling Varying Camera-IMU Time Offset in Optimization-Based Visual-Inertial Odometry
Tencent AI Lab(腾讯人工智能实验室)
结合相机和惯性测量单元(IMU)已被证明在运动跟踪中是有效的,因为这两种传感模式提供了适合融合的互补特性。虽然大多数作品都专注于全局快门相机和同步传感器测量,但消费级设备大多配备卷帘快门相机,并且存在传感器同步不完善的问题。在这项工作中,我们提出了一个非线性优化为基础的单目视觉惯性里程计(VIO)与变化的相机IMU的时间偏移建模为一个未知变量。我们的方法能够以统一的方式处理卷帘快门效应和不完美的传感器同步。此外,我们引入了一个有效的算法,动态规划和红黑树的基础上,以加快IMU集成在变长的时间间隔在优化过程中。一个不确定性感知的初始化也提出了启动VIO鲁棒。Euroc数据集和手机数据的最先进的方法的比较,以验证我们的方法的有效性。
2018-10-12 cs.CV cs.RO
DeepTIO: A Deep Thermal-Inertial Odometry with Visual Hallucination
University of Oxford(牛津大学)
视觉里程计在广泛的环境中表现出优异的性能。然而,在视觉上被拒绝的场景中(例如,浓烟或黑暗),姿态估计降级甚至失败。热像仪通常用于环境能见度低时的感知和检查。然而,它们在里程估计中的使用受到缺乏鲁棒视觉特征的阻碍。在某种程度上,这是由于传感器测量环境温度分布而不是场景外观和几何形状。为了克服这个问题,我们提出了一个深度神经网络模型,用于热惯性里程计(DeepTIO),通过结合视觉幻觉网络为热网络提供补充信息。幻觉网络被教导通过使用Huber损失来预测来自热图像的假视觉特征。我们还采用选择性融合,专注地融合来自三种不同模态的特征,即热特征、幻觉特征和惯性特征。广泛的实验中进行的手持和移动机器人的数据在良性和充满烟雾的环境中,所提出的模型的有效性。
2020-01-19 cs.CV cs.LG cs.RO
Approaches, Challenges, and Applications for Deep Visual Odometry: Toward to Complicated and Emerging Areas
Chongqing University(重庆大学);Chongqing Normal University(重庆师范大学);Changan Auto Company(长安汽车公司)
视觉里程计(VO)是一种较为流行的相对定位方法,其定位精度和精度都在不断提高,但在复杂环境下,其定位精度和精度往往会受到影响。与经典的基于几何的方法相比,基于深度学习的方法可以自动学习有效和鲁棒的表示,例如深度,光流,特征,自我运动等,不需要显式计算。然而,仍然缺乏对基于深度学习的VO(Deep VO)的最新进展的全面回顾。因此,本文旨在深入了解深度学习如何能够受益和优化VO系统。我们首先筛选出一些条件,包括准确性,效率,可扩展性,动态性,实用性和可扩展性,并采用它们作为标准。然后,以所提出的标准为统一度量,从深度估计、特征提取与匹配、姿态估计等方面详细评估和讨论了深度学习如何提高虚拟现实的性能。总结了Deep VO研究的复杂领域和新兴领域,如移动机器人、医疗机器人、增强现实和虚拟现实等。通过文献分解、分析和比较,提出了Deep VO研究中的若干开放性问题,并提出了该领域未来的研究方向。
2020-09-06 cs.AI cs.CV cs.RO
Transformer-Based Model for Monocular Visual Odometry: A Video Understanding Approach
Aeronautics Institute of Technology(航空技术学院)
本文提出TSformer-VO,一种基于时空自注意力的Transformer模型,将单目视觉里程计视为视频理解任务,端到端估计相机6自由度姿态,在KITTI数据集上取得最先进性能,优于DeepVO。
2025-01-20 cs.AI cs.CV cs.RO