Self-localization on a 3D map by fusing global and local features from a monocular camera
Meijo University（名古屋大学）
本研究提出结合CNN与视觉Transformer的方法，提升单目相机在动态障碍物环境下的3D地图自定位精度。
2025-12-18 cs.CV cs.RO
Robust Monocular Localization in Sparse HD Maps Leveraging Multi-Task Uncertainty Estimation
University of Freiburg（弗莱堡大学）
使用低成本传感器设置和稀疏高清地图在密集城市场景中进行鲁棒定位与当前自动驾驶的进步高度相关，但仍然是一个具有挑战性的研究课题。我们提出了一种新的单目定位方法的基础上的滑动窗口姿态图，利用预测的不确定性，提高精度和鲁棒性，对具有挑战性的情况下，每帧故障。为此，我们提出了一个有效的多任务不确定性感知模块，其中包括语义分割，以及限界框检测，使本地化的车辆在稀疏的地图，只包含车道边界和交通灯。此外，我们设计了直接从估计的不确定性产生的可微成本图。这开辟了以无关联和不确定性感知的方式最小化无定形地图元素的重投影损失的可能性。对Lyft 5数据集的广泛评估表明，尽管地图稀疏，但我们的方法可以在具有挑战性的城市场景中实现强大而准确的6D定位
2021-10-20 cs.AI cs.CV cs.LG
Monocular Localization with Semantics Map for Autonomous Vehicles
OPPO Research Institute（OPPO研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种轻量级视觉语义定位算法，用稳定语义特征替代易受环境变化影响的纹理特征，通过离线构建语义地图和在线数据关联实现高效准确的自动驾驶单目定位。
2024-06-06 cs.CV cs.RO
Robust Monocular Localization of Drones by Adapting Domain Maps to Depth Prediction Inaccuracies
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
通过联合训练基于深度学习的深度预测和基于贝叶斯滤波的姿态推理，我们提出了一种新的单目定位框架。所提出的跨模态框架在模型可扩展性和对环境变化的容忍度方面显著优于仅深度学习的预测。具体来说，即使使用轻量级深度预测器进行极差的深度估计，我们也几乎没有显示姿态准确性的下降。与标准深度学习相比，即使没有明确的领域自适应，我们的框架也能在极端光照变化中保持高姿态准确度。通过公开表示地图和中间特征地图（如深度估计），我们的框架还允许更快的更新和重用中间预测用于其他任务，如避障，从而提高资源效率。
2022-10-27 cs.AI cs.CV cs.LG
OASIS-DC: Generalizable Depth Completion via Output-level Alignment of Sparse-Integrated Monocular Pseudo Depth
Vehicle Intelligence Perception Lab (VIPLAB), Gachon University, Seongnam-si, Republic of Korea（高银大学）
OASIS-DC通过输出级对齐稀疏集成单目伪深度，实现无需大量标注样本的通用深度补全。
2026-02-01 cs.CV cs.RO
EnforceNet: Monocular Camera Localization in Large Scale Indoor Sparse LiDAR Point Cloud
Blacksesame Technologies（黑芝麻科技）
姿态估计是机器人应用（诸如自主车辆、UAV和大规模增强现实）的基本构建块。对于那些应用来说，大规模生产也是一个阻碍因素，因为最先进的厘米级姿态估计通常需要长的映射过程和昂贵的定位传感器，例如LiDAR和高精度GPS/IMU等。为了克服成本障碍，我们提出了一种基于神经网络的解决方案，以在具有可比厘米-水平精度。我们通过引入一种新的网络模块来实现它，我们称之为电阻模块，以加强网络更好地泛化，预测更准确，收敛更快。这些结果是基准的几个数据集，我们收集的大型室内停车场场景。我们计划开放数据和代码，让社区加入推动这一领域发展的努力。
2019-07-16 cs.CV cs.RO eess.IV
CMRNet++: Map and Camera Agnostic Monocular Visual Localization in LiDAR Maps
University of Freiburg（弗莱堡大学）；Università di Milano - Bicocca（米兰比可卡大学）
本地化是自主机器人的关键和关键推动因素。虽然深度学习在许多计算机视觉任务中取得了重大进展，但它仍然没有对改善度量视觉定位能力产生相当大的影响。主要障碍之一是现有的基于卷积神经网络（CNN）的姿势回归方法无法推广到以前看不见的地方。我们最近推出的CMRNet通过在LiDAR地图中实现地图独立的单目定位，有效地解决了这一限制。在本文中，我们现在通过引入CMRNet++更进一步，CMRNet++是一个更加强大的模型，不仅可以有效地推广到新的地方，而且与相机参数无关。我们通过将深度学习与几何技术相结合，并将度量推理移出学习过程来实现这种能力。通过这种方式，网络的权重不会与特定的相机绑定。CMRNet++在三个具有挑战性的自动驾驶数据集上进行了广泛的评估，KITTI、Argoverse和Lyft5的研究表明，CMRNet++的性能远远优于CMRNet和其他基线。更重要的是，我们首次展示了深度学习方法在全新环境中准确定位的能力，无需任何重新训练或微调，并且独立于相机参数。
2020-05-22 cs.CV cs.LG cs.RO
The Earth ain't Flat: Monocular Reconstruction of Vehicles on Steep and Graded Roads from a Moving Camera
Robotics Research Center, KCIS, IIIT Hyderabad（印度海得拉巴国际信息技术研究所 KCIS 机器人研究中心）；Montreal Institute of Learning Algorithms (MILA), Universite de Montreal（蒙特利尔大学蒙特利尔学习算法研究所）
对其他交通参与者的准确定位是自动驾驶系统中的一项重要任务。最先进的系统采用RGB相机和LiDAR等传感模式的组合来定位交通参与者，但大多数此类演示仅限于平坦的道路。我们证明，据我们所知，单目物体定位和形状估计的表面上，不共享同一平面与移动单目相机的第一个结果。我们近似路面的局部平面补丁，并使用语义线索从车辆在场景中初始化一个本地的战斗调整一样的过程，同时估计的姿态和形状的车辆，以及当地的地面上的车辆的立场以及方向。我们在KITTI和SYNTHIA-SF基准测试中针对各种道路平面配置评估了所提出的方法。所提出的方法显着提高了国家的最先进的任意形状的道路上的单目物体定位。
2018-03-06 cs.CV cs.LG cs.RO
Safety-quantifiable Line Feature-based Monocular Visual Localization with 3D Prior Map
精确且安全可量化的定位对于无人地面车辆（UGV）和无人飞行器（UAV）等安全关键的自主系统具有重要意义。基于视觉里程计的方法可以在短时间内提供准确的定位，但是会随着时间的推移而发生漂移。此外，定位解决方案的安全性的量化（误差由一定值限制）仍然是一个挑战。为了填补这一空白，本文提出了一种基于先验地图的安全可量化的线特征视觉定位方法。视觉惯性里程计提供了一个高频的本地姿态估计，作为视觉定位的初始猜测。通过获取视觉直线特征对关联，提出了基于足点的约束条件，构建了从实时图像中提取的二维直线与从高精度先验三维点云图中提取的三维直线之间的代价函数。此外，一个全球导航卫星系统（GNSS）接收机自主完整性监测（RAIM）启发的方法来量化的安全性，推导出的定位解决方案。其中，离群拒绝（也被称为故障检测和排除）策略是通过加权平方和残差卡方概率分布。一个保护水平（PL）计划，考虑多个离群值的推导和利用量化的位置和旋转域的定位解决方案的潜在误差界。利用无人机室内和UGV室外环境中收集的数据集验证了所提出的安全量化定位系统的有效性。
2022-11-28 cs.RO cs.SY eess.SY
Veila: Panoramic LiDAR Generation from a Monocular RGB Image
Veila提出条件扩散框架，通过置信度感知条件、几何跨模态对齐和全景特征一致性，从单目RGB生成全景LiDAR，提升生成保真度与跨模态一致性，并增强下游分割性能。
2025-08-05 cs.CV cs.RO
Ultra-low Power Deep Learning-based Monocular Relative Localization Onboard Nano-quadrotors
Dalle Molle Institute for Artificial Intelligence, USI and SUPSI（达勒·莫勒人工智能研究所（瑞士意大利语区大学与瑞士应用科学大学））；Integrated Systems Laboratory, ETH Zürich（苏黎世联邦理工学院集成系统实验室）
针对纳米无人机强约束平台的单目相对定位需求，提出含数据增强、量化的垂直整合DNN系统，实现低功耗高精度定位，性能优于现有技术。
2023-03-03 cs.AI cs.RO
Evaluating Global Geo-alignment for Precision Learned Autonomous Vehicle Localization using Aerial Data
Nuro Inc（努罗公司）
本文研究航空与车载传感器数据的训练配准对学习型定位的影响，基于因子图比较两种配准方法并开展消融，在1600公里数据集上实现低于0.3米和0.5度的定位误差。
2025-03-18 cs.CV cs.RO
Self-supervised Monocular Multi-robot Relative Localization with Efficient Deep Neural Networks
Delft University of Technology（代尔夫特理工大学）
相对定位是多机器人在GPS拒绝环境下完成协作任务的重要能力。针对多个微小飞行机器人的单目相对定位问题，提出了一种新的自主定位框架。这种方法不需要来自外部系统或手动标记的任何地面实况数据。相反，所提出的框架是能够标记真实世界的图像与机器人之间的3D相对位置的基础上，另一个板载的相对估计技术，使用超宽带（UWB）。在以这种自我监督的方式进行训练之后，所提出的深度神经网络（DNN）可以通过纯粹使用单目相机来预测对等机器人的相对位置。这种基于深度学习的视觉相对定位是可扩展的、分布式的和自主的。我们还通过使用Blender进行3D渲染构建了一个开源和轻量级的仿真管道，它允许生成其他机器人的合成图像，以及神经网络的一般化训练。通过在机载AIDeck（一个微型AI芯片和单目摄像头）上运行DNN，在两个真实世界的Crazyflie2四旋翼上测试了所提出的定位框架。实验结果验证了自监督多机器人定位方法的有效性。
2021-09-22 cs.RO
5-DoF Monocular Visual Localization Over Grid Based Floor
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
可靠的定位是微型飞行器系统的重要组成部分之一。在室内GPS拒绝环境中的定位是相对困难的问题。当前基于视觉的算法跟踪光学特征以计算里程。我们提出了一种新的定位方法，它可以应用在一个环境中具有正交的等距线集，形成一个网格。在单目相机的帮助下，并使用下面的网格线的属性，MAV被定位在网格的每个子单元内，从而在整个网格上进行相对定位。我们证明了我们的系统的有效性板载定制MAV平台。实验结果表明，我们的方法提供了准确的5自由度定位网格线，它可以实时执行。
2017-09-14 cs.RO
Enhanced Monocular Visual Odometry with AR Poses and Integrated INS-GPS for Robust Localization in Urban Environments
College of Engineering University of Washington Seattle, WA, USA
本文提出一种融合单目视觉里程计、AR位姿与INS-GPS数据的低成本定位系统，利用AR位姿解决尺度问题并通过扩展卡尔曼滤波提升精度，在1公里轨迹上达到1.529米RMSE，实现车道级定位。
2024-11-24 cs.RO
Metric Monocular Localization Using Signed Distance Fields
The Hong Kong University of Science and Technology（香港科技大学）
度量定位在基于视觉的导航中起着至关重要的作用。为了克服匹配光度学在外观变化下的退化，最近的研究诉诸于引入先验场景结构的几何约束。在本文中，我们提出了一种单目摄像机的度量定位方法，使用符号距离场（SDF）作为一个全球地图表示。利用来自SDF的体积距离信息，我们的目标是放松来自先前方法中的局部束平差（BA）的准确结构的假设。通过将距离因子与时间视觉约束紧密耦合，我们的系统校正了里程计漂移，并联合优化了全局相机姿态与局部结构。我们在室内和室外公共数据集上验证了所提出的方法。与最先进的方法相比，它以最小的传感器配置实现了相当的性能。
2020-03-31 cs.RO
Monocular Vision based Collaborative Localization for Micro Aerial Vehicle Swarms
Texas A&M University（德州农工大学）
在本文中，我们提出了一个基于视觉的协作定位框架的微型飞行器（MAV）的群体。假设每辆车都配备了一个面向前方的单目摄像头，并且能够相互通信。这种协作定位方法是建立在一个分布式算法，其中个人和相对姿态估计技术相结合的组对周围环境进行定位。MAV最初检测并匹配彼此之间的显着特征，以创建所观察环境的稀疏重建，其充当全局地图。一旦地图可用，每个MAV执行特征检测和跟踪与鲁棒的离群值拒绝过程，以估计自己的六个自由度的姿态。有时，微型飞行器还可以通过特征匹配和基于多视图几何的相对位姿计算将相对测量与单独测量融合。我们提出了实现该算法的微型飞行器和环境中模拟微软AirSim，并讨论的结果和协同定位的优势。
2018-04-07 cs.RO
Simultaneous Localization and 3D-Semi Dense Mapping for Micro Drones Using Monocular Camera and Inertial Sensors
The Hatter Department of Marine Technologies, University of Haifa, 3498838, Israel（海洋技术系，海法大学）；Computer Science, University of Haifa, 3498838, Israel（计算机科学，海法大学）
本文提出一种轻量单目SLAM系统，结合稀疏关键点估计与密集边缘重建，通过扩展卡尔曼滤波解决尺度模糊问题，实现低功耗实时制图与导航。
2025-11-23 cs.RO
CAROM -- Vehicle Localization and Traffic Scene Reconstruction from Monocular Cameras on Road Infrastructures
Arizona State University（亚利桑那州立大学）；Exponent（Exponent公司）
本文提出CAROM框架，利用道路基础设施单目摄像头实现车辆定位与交通场景重建，并通过包含GPS、路侧视频和无人机视频的基准数据集验证，在50米和120米范围内定位误差分别约为0.8米和1.7米。
2023-05-31 cs.RO
Monocular Urban Localization using Street View
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Institut VEDECOM（VEDECOM研究所）
本文提出了一种度量全球定位在城市环境中，只有一个单目摄像机和谷歌街景数据库。我们充分利用丰富的来源，从街景，并从其拓扑度量结构的好处，建立一个由粗到精的定位，即一个拓扑位置识别过程，然后通过局部束平差的度量姿态估计。我们的方法在3公里的城市环境中进行了测试，并证明了亚米精度和鲁棒性的观点变化，照明和遮挡。据我们所知，这是第一个简单地用单个摄像机和街景来研究全球城市定位的工作。
2016-06-16 cs.CV cs.RO
Monocular Simultaneous Localization and Mapping using Ground Textures
Naval Air Warfare Center, Aircraft Division (NAWCAD)（海军空战中心航空分部）；Stevens Institute of Technology（史蒂文斯理工学院）
最近的工作已经显示出令人印象深刻的定位性能，只使用地面纹理的图像，向下面对单目相机。这提供了一种可靠的导航方法，该方法对稀疏环境和具有挑战性的照明条件具有鲁棒性。然而，这些定位方法需要现有的地图进行比较。我们的工作旨在通过引入完整的同时定位与地图构建（SLAM）系统来放松对地图的需求。通过不需要现有的地图，设置时间被最小化，并且系统对变化的环境更鲁棒。该SLAM系统使用若干技术的组合来实现这一点。识别图像关键点并将其投影到地平面中。这些关键点，视觉袋的话，和几个阈值参数，然后用于识别重叠的图像和重访的地区。然后，该系统使用强大的M-估计器来估计机器人与重叠图像和重访区域之间的转换。这些优化的估计构成了用于导航的地图。我们表明，通过实验数据，该系统可靠地执行许多地面纹理，但不是所有。
2023-03-10 cs.RO
Fusion of Monocular Vision and Radio-based Ranging for Global Scale Estimation and Drift Mitigation
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）
基于单目视觉的同时定位与地图构建（SLAM）由于其在成本、简单设置以及在利用卫星导航无效的环境中的可用性方面的优势而被用于各种目的。然而，摄像机运动和地图点只能估计到一个全球比例因子与单眼视觉。此外，如果相机不能检测到用于闭合环路的先前观察到的地图点，则估计误差随着时间无限制地累积。我们提出了一种创新的方法来估计一个全球性的比例因子，并减少漂移单目视觉为基础的定位与一个额外的单一的测距链接。我们的方法可以很容易地与单目视觉SLAM方法的后端集成。我们证明了我们的算法与真实的数据集上收集的流动站，并显示评估结果。
2018-10-02 cs.RO
BridgeDepth: Bridging Monocular and Stereo Reasoning with Latent Alignment
The Chinese University of Hong Kong（香港中文大学）；University at Buffalo（布法罗大学）；Spatial AI & Robotics Lab（空间人工智能与机器人实验室）
提出统一框架BridgeDepth，通过交叉注意力机制对单目与立体深度估计的潜在表示进行迭代双向对齐，利用单目先验解决立体模糊性并用立体几何细化单目深度，在Middlebury和ETH3D上零样本泛化误差降低超40%。
2025-08-13 cs.CV cs.RO
VR-SLAM: A Visual-Range Simultaneous Localization and Mapping System using Monocular Camera and Ultra-wideband Sensors
Nanyang Technological University（南洋理工大学）
在这项工作中，我们提出了一个同时定位与地图构建（SLAM）系统使用单目摄像机和超宽带（UWB）传感器。我们的系统被称为VRSLAM，是一个多阶段的框架，它利用了每个传感器的优势并补偿了它们的弱点。首先，我们引入了一个UWB辅助的7自由度（比例因子，3D位置和3D方向）的全球对齐模块初始化的视觉里程计（VO）系统中定义的UWB锚的世界帧。该模块松散融合的规模VO和测距数据使用二次约束二次规划（QCQP）或非线性最小二乘（NLS）算法的基础上是否有一个良好的初始猜测。其次，我们提供了一个伴随的理论分析，包括推导和解释的费舍尔信息矩阵（FISHER）及其行列式。第三，我们提出了UWB辅助光束法平差（UBA）和UWB辅助姿态图优化（UPGO）模块，以提高短期里程精度，减少长期漂移以及纠正任何对齐和比例误差。大量的仿真和实验表明，我们的解决方案优于UWB/摄像头和以前的方法，可以快速恢复跟踪失败，而不依赖于视觉重新定位，并可以毫不费力地获得一个全球地图，即使没有循环关闭。
2023-03-20 cs.RO
Monocular Direct Sparse Localization in a Prior 3D Surfel Map
RAM-LAB（RAM实验室）；Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们介绍了一种方法来跟踪单目相机的姿态在先验surfel地图。通过绘制顶点和法线映射，从先前的冲浪地图，在图像帧中的稀疏跟踪点的全局平面信息。跟踪点的全局平面信息和非全局平面信息涉及框架对系统的全局和局部约束。我们的方法制定了所有的限制，在一个本地窗口的帧内的直接光度误差的形式。最后的优化利用这些约束，以提供全局6自由度相机位姿的绝对尺度的准确估计。大量的仿真和真实世界的实验表明，我们的单目方法可以提供准确的摄像机定位结果在各种条件下。
2020-02-23 cs.CV cs.RO
Tightly-Coupled, Speed-aided Monocular Visual-Inertial Localization in Topological Map
提出一种基于拓扑地图的紧耦合速度辅助单目视觉惯性定位算法，利用IESKF融合图像对应与车速，在隧道等场景中优于现有方法。
2024-11-08 cs.CV cs.RO
Monocular Vision-Based Swarm Robot Localization Using Equilateral Triangular Formations
School of Integrated Technology, Yonsei University（延世大学整合技术学院）；Korea Institute of Robotics and Technology Convergence（韩国机器人与技术融合研究院）；DOGU, Inc.（DOGU公司）
针对仅配备低成本单目视觉的群体机器人在无基础设施开阔空间的定位需求，提出基于等边三角形编队的定位方法，利用几何特性通过一维横向距离估算二维位置，实验证明其定位误差随行进时间增加显著小于传统航位推算系统。
2025-07-25 cs.RO cs.SY eess.SY
Multi-Stage CNN-Based Monocular 3D Vehicle Localization and Orientation Estimation
University of Detroit Mercy（底特律慈悲大学）
本文的目的是设计一个三维目标检测模型，从单目摄像机拍摄的二维图像相结合的估计鸟瞰图和对象的特征的深层表示。该模型有一个预训练的ResNet-50网络作为其后端网络，还有三个分支。该模型首先建立一个鸟瞰视图高程图，以估计场景中对象的深度，并通过使用该深度估计对象的3D边界框。我们已经在两个主要的数据集上训练和评估了它：语法数据集和KIITI数据集。
2020-11-24 cs.CV cs.LG cs.RO
Monocular Person Localization under Camera Ego-motion
Shenzhen Key Laboratory of Robotics and Computer Vision, Southern University of Science and Technology (SUSTech)（机器人与计算机视觉实验室，南方科技大学）；Department of Electronic and Electrical Engineering, SUSTech（电子与电气工程系，南方科技大学）
本研究提出了一种基于四点模型的单目相机自身运动下的人体定位方法，通过优化联合估计相机姿态和人体三维位置，提升了定位准确性并应用于机器人系统。
2025-11-24 cs.CV cs.RO
SLAM in the Field: An Evaluation of Monocular Mapping and Localization on Challenging Dynamic Agricultural Environment
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
本文展示了一个系统，能够结合稀疏，间接，单目视觉SLAM，离线和实时多视图立体视觉（MVS）重建算法。这种组合克服了在农业环境中使用的自动驾驶车辆或机器人遇到的许多障碍，例如过度重复的模式，需要非常详细的重建以及由不平坦的道路引起的突然移动。此外，单目SLAM的使用使得我们的系统更容易与现有设备集成，因为我们不依赖于LiDAR（其昂贵且耗电）或立体相机（其校准对外部扰动敏感，例如相机被移位）。据我们所知，本文提出了单目SLAM的第一个评估结果，我们的工作进一步探索了无监督深度估计在这个特定的应用场景，通过模拟RGB-D SLAM解决规模模糊，并显示我们的方法产生重建，有助于各种农业任务。此外，我们强调，我们的实验提供了有意义的见解，以改善农业环境下的单眼SLAM系统。
2020-11-06 cs.CV cs.RO
DVM-SLAM: Decentralized Visual Monocular Simultaneous Localization and Mapping for Multi-Agent Systems
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
本文提出首个开源去中心化单目协作SLAM系统DVM-SLAM，利用低成本单目视觉实现多智能体实时建图与定位，并在实体机器人上验证了其导航可行性和与集中式系统相当的精度。
2025-08-26 cs.CV cs.MA cs.RO
A Survey on Monocular Re-Localization: From the Perspective of Scene Map Representation
Tsinghua University（清华大学）
本文从场景地图表示形式出发，将单目重定位方法分为五类进行系统综述，并通过公开数据集比较其性能，为后续研究提供参考。
2024-01-12 cs.RO
Monocular Visual-Inertial Depth Estimation
Intel Labs（英特尔实验室）；Apple（苹果公司）
我们提出了一个视觉惯性深度估计管道，它集成了单目深度估计和视觉惯性里程计，以产生密集的深度估计与度量尺度。我们的方法对稀疏度量深度进行全局缩放和移位对齐，然后进行基于学习的密集对齐。我们在TartanAir和VOID数据集上进行了评估，观察到相对于仅执行全局对齐，使用密集尺度对齐的逆RMSE减少了30%。我们的方法在低密度下尤其具有竞争力;只有150个稀疏度量深度点，我们的密集到密集深度对齐方法比KBNet的稀疏到密集深度完成低50%以上，目前是VOID的最新技术。我们展示了成功的zero-shot传输从合成TartanAir到真实世界的VOID数据，并在NYUv 2和VCU-RVI上进行泛化测试。我们的方法是模块化的，并与各种单眼深度估计模型兼容。视频：https://youtu.be/IMwiKwSpshQ代码：https://github.com/isl-org/VI-Depth
2023-03-21 cs.CV cs.RO
UMS-VINS: United Monocular-Stereo Features for Visual-Inertial Tightly Coupled Odometry
Beijing Institute of Technology（北京理工大学）
本文将单目立体联合特征引入到视觉-惯性紧耦合里程计（UMS-VINS）中，用于鲁棒的位姿估计。UMS-VINS需要两个相机和一个低成本的惯性测量单元（IMU）。UMS-VINS是VINS-FUSION的演变，它从以下三个方面修改了VINS-FUSION。1)UMS-VINS从亚像素平面提取和跟踪特征，以实现特征的更好位置。2)UMS-VINS从左和/或右相机引入额外的二维特征。3)如果视觉初始化失败，则IMU传播直接用于位姿估计，并且如果视觉-IMU对准失败，则UMS-VINS通过视觉里程计估计位姿。公开数据集和新的真实世界的实验表明，所提出的UMS-VINS优于VINS-FUSION从定位精度，定位鲁棒性和环境适应性的角度来看。
2023-03-15 cs.RO
Unsupervised Simultaneous Learning for Camera Re-Localization and Depth Estimation from Video
Toyota Central R&D Labs., Inc.（丰田中央研发实验室株式会社）
我们提出了一个无监督的同时学习框架的任务，单目摄像机重新定位和深度估计从未标记的视频序列。单目摄像机重定位是指在已知环境中从实例图像估计摄像机绝对姿态的任务，这已经被深入研究用于GPS拒绝环境中的替代定位。在最近的工作中，摄像机重新定位方法通过监督学习从摄像机图像和摄像机姿态对进行训练。与以前的作品相比，我们提出了一个完全无监督学习框架，用于相机重新定位和深度估计，只需要单目视频序列进行训练。在我们的框架中，我们训练两个网络，它们使用方向和来自每个图像的深度图来估计场景坐标，然后将它们组合起来估计相机姿态。该网络可以通过基于我们的闭环视图合成的损失函数的最小化来训练。在7场景数据集的实验中，所提出的方法优于最先进的视觉SLAM，ORB-SLAM 3的重新定位。我们的方法在训练环境中的表现也优于最先进的单眼深度估计。
2022-03-24 cs.CV cs.RO
VGP-Nav: Metric-Aware Visual Geometric Perception for Robot Navigation
Southern University of Science and Technology（南方科技大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Shenzhen University（深圳大学）；SpatialTemporal AI（时空人工智能）
提出VGP-Nav，一种仅依赖单目RGB输入的框架，通过地面平面几何约束解决尺度模糊，实现度量定位与障碍物感知的统一。
2026-06-08 cs.RO
Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
本文提出了一种视觉SLAM系统，使用点和线的鲁棒相机定位，同时进行分段平面重建（PPR）的环境，以提供实时的结构图。单目摄像机并行跟踪和映射的最大挑战之一是在重建几何图元时保持尺度一致。这进一步在光束法平差（BA）步骤的图形优化中引入困难。我们解决这些问题，提出了几个运行时的优化重建线和平面。我们的系统能够运行深度和立体传感器，除了单目设置。我们提出的SLAM紧密结合了语义和几何特征，以提高前端姿态跟踪和后端地图优化。我们在各种数据集上详尽地评估了我们的系统，并表明我们在轨迹精度方面优于最先进的方法。PLP-SLAM的代码已经以开源的形式提供给研究社区（https：//github.com/PeterFWS/Structure-PLP-SLAM）。
2023-01-29 cs.CV cs.RO
Accurate Prior-centric Monocular Positioning with Offline LiDAR Fusion
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Baidu（百度）；The Hong Kong University of Science and Technology（香港科技大学）；University College London（伦敦大学学院）；Tongji University（同济大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
针对无人车依赖GPS与LiDAR组合定位成本高、难普及的问题，提出仅用单目相机在LiDAR增强的视觉先验地图上跟踪深度学习视觉特征的方法，实现带尺度的厘米级全球定位，便于低成本机器人部署。
2024-07-12 cs.RO
Unified Human Localization and Trajectory Prediction with Monocular Vision
EPFL（洛桑联邦理工学院）
提出基于单目摄像头的Transformer框架MonoTransmotion，联合解决人类BEV定位与轨迹预测任务，通过方向性损失提升序列平滑度，在含噪真实场景中展现出更强的鲁棒性与泛化能力。
2025-03-05 cs.CV cs.RO
GALoc: Gravity Aligned Wireframes for Depth-Free Monocular Floorplan Localization
GIST（光州科学技术院）；KAIST（韩国科学技术院）；Zurich University of Applied Sciences（苏黎世应用科技大学）
GALoc提出几何优先的无深度单目平面图定位框架，利用重力对齐线框和全局搜索优化，在可见墙体时超越深度基线，并能在结构盲场景弃权。
2026-09-09 cs.CV cs.RO
Lidar-Monocular Visual Odometry with Genetic Algorithm for Parameter Optimization
Advanced Robotics and Automation (ARA) Laboratory（先进机器人与自动化实验室）；Computer Vision Laboratory (CVL)（计算机视觉实验室）；Evolutionary Computing Systems Lab, University of Nevada, Reno（内华达大学里诺分校进化计算系统实验室）
激光雷达-单目视觉里程计（LIMO）是一种里程估计算法，它结合摄像机和光探测和测距传感器（LIDAR），通过跟踪摄像机特征以及LIDAR测量的特征来进行视觉定位，并使用基于鲁棒关键帧的束平差来估计运动。为了拒绝离群值，LIMO使用语义标记和植被地标的权重。LIMO以及许多其他里程估计算法的缺点是，它具有许多参数，这些参数需要根据环境中的动态变化来手动调整，以便减少平移误差。在本文中，我们提出并讨论了使用遗传算法优化参数的参考LIMO和最大限度地提高LIMO的定位和运动估计性能。我们评估我们的方法在著名的KITTI里程数据集，并表明，遗传算法有助于LIMO，以减少在不同的数据集的翻译错误。
2019-03-05 cs.RO
Tightly-coupled Monocular Visual-odometric SLAM using Wheels and a MEMS Gyroscope
本文提出了一种新的紧耦合概率单目视觉里程计同时定位与地图构建算法，该算法使用车轮和MEMS陀螺仪，可以为在平面上运动的地面机器人提供精确、鲁棒和长期的定位。首先，我们提出了一个里程表预积分理论，将车轮编码器测量和陀螺仪测量集成到一个局部框架。预积分理论恰当地处理了旋转群SO（3）的流形结构，并仔细处理了不确定性传播和偏差校正。然后，新的里程表误差项，制定使用里程表预积分模型，它是紧密集成到视觉优化框架。此外，我们引入了一个完整的跟踪框架，以提供不同的运动跟踪策略时（1）两个测量是可用的，（2）视觉测量是不可用的，（3）车轮编码器经历打滑，这使得系统是准确和强大的。最后，通过大量的实验对所提出的算法进行了评估，实验结果证明了所提出的系统的优越性。
2018-04-13 cs.RO
Accurate Monocular Visual-inertial SLAM using a Map-assisted EKF Approach
提出了一种新的紧耦合单目视觉-惯性同时定位与地图构建算法，该算法能够在标准CPU上实时的在全局一致的地图上进行精确、鲁棒的定位。这是通过首先执行视觉惯性扩展卡尔曼滤波器（EKF）以提供高速运动估计来实现的。然而，由于众所周知的线性化问题，滤波器变得不一致。因此，我们执行基于关键帧的视觉惯性光束法平差，以提高系统的一致性和精度。此外，还增加了环路闭合检测和校正模块，以消除重访区域时的累积漂移。最后，将优化后的运动估计和地图反馈给基于EKF的视觉-惯性测距模块，从而减小EKF估计器的不一致性和估计误差。以这种方式，系统可以连续地为长期操作提供可靠的运动估计。在公开数据集和真实实验上对算法的性能进行了验证，证明了算法的优越性。
2018-03-31 cs.RO
Monocular One-Shot Metric-Depth Alignment for RGB-Based Robot Grasping
Department of Computer Science, Rutgers University（计算机科学系，罗格斯大学）
提出MOMA框架，通过一次性自适应对齐从单张RGB图像恢复度量深度，无需额外训练，在透明物体和真实抓取任务中表现优异。
2025-06-20 cs.CV cs.RO
BirdSLAM: Monocular Multibody SLAM in Bird's-Eye View
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Innovation Labs（塔塔咨询服务公司创新实验室）
在本文中，我们提出了BirdSLAM，一种新颖的同时定位与地图构建（SLAM）系统，用于仅配备单目摄像头的自动驾驶平台的挑战性场景。BirdSLAM通过使用正交（鸟瞰）视图作为执行定位和映射的配置空间来解决其他单目SLAM系统所面临的挑战（例如单目重建中的尺度模糊性、动态对象定位和特征表示中的不确定性）。通过仅假设自我摄像头在地面上方的高度，BirdSLAM利用单视图计量线索来准确定位鸟瞰视图中的自我车辆和所有其他交通参与者。我们证明，我们的系统优于以前的工作，严格使用更多的信息，并通过消融分析突出每个设计决策的相关性。
2020-11-15 cs.AI cs.CV cs.LG
Real-time Monocular Visual Odometry for Turbid and Dynamic Underwater Environments
ONERA（法国航空航天实验室）；CNRS（法国国家科学研究中心）
在机器人水下作业的背景下，由介质属性引起的视觉退化使得难以专用于定位目的的相机。因此，大多数定位方法是基于与声学定位相关联的昂贵的导航传感器。另一方面，视觉里程计和视觉SLAM已经被详尽地研究用于空中或陆地应用，但是最先进的算法在水下失败。在本文中，我们解决的问题，使用一个简单的低成本的摄像机进行水下定位，并提出了一种新的单目视觉里程计方法专用于水下环境。我们评估不同的跟踪方法，并表明，光流为基础的跟踪更适合于水下图像比经典的方法的基础上描述符。我们还提出了一种基于关键帧的高度依赖于非线性优化的视觉里程计方法。该算法已在模拟和真实水下数据集上进行了评估，并在许多最具挑战性的条件下优于最先进的视觉SLAM方法。这项工作的主要应用是用于水下考古任务的遥控潜水器（ROV）的本地化，但开发的系统可以用于任何其他应用程序，只要视觉信息可用。
2020-02-27 cs.CV cs.RO
VISTA: Monocular Segmentation-Based Mapping for Appearance and View-Invariant Global Localization
Massachusetts Institute of Technology（麻省理工学院）；Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德拉珀实验室公司）；Saab Finland Oy（萨博芬兰公司）
提出单目全局定位框架VISTA，结合基于对象的分割跟踪与子图对应搜索，无需特定领域训练即可在视角和季节变化下实现一致定位，召回率提升69%且地图大小仅为基线的0.6%。
2025-07-15 cs.CV cs.RO
EC3R-SLAM: Efficient and Consistent Monocular Dense SLAM with Feed-Forward 3D Reconstruction
IBISC, Université Paris-Saclay（IBISC，巴黎萨克雷大学）；College of Engineering and Technology, American University of the Middle East（工程与技术学院，中东美国大学）
针对单目稠密SLAM延迟高、内存消耗大且依赖标定的问题，提出免标定的EC3R-SLAM框架，通过跟踪与带内参估计的前馈重建建图模块耦合、结合局部全局回环，在保证精度的同时提升效率，可在资源受限平台运行。
2025-10-02 cs.RO
PL-VIWO: A Lightweight and Robust Point-Line Monocular Visual Inertial Wheel Odometry
University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）
本文提出一种紧耦合基于滤波器的单目视觉-惯性-轮速里程计系统PL-VIWO，通过利用点线几何关系实现快速线匹配与三角化，并引入MCC滤除动态点，在复杂室外场景下实现了高精度、鲁棒且轻量化的地面机器人定位。
2025-03-01 cs.RO
Monocular Object and Plane SLAM in Structured Environments
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种利用高层次目标和平面地标的单目同时定位与地图构建（SLAM）算法。与基于特征点的SLAM相比，所构建的地图更密集，更紧凑，更有语义意义。首先，我们提出了一个高阶图形模型，以联合推断的3D对象和布局平面从单一的图像考虑闭塞和语义约束。在统一的SLAM框架中，利用相机姿态进一步优化提取的对象和平面。与点相比，对象和平面可以提供更多的语义约束，例如曼哈顿平面和对象支持关系。在包括ICL NUIM和TUM Mono在内的各种公共和收集的数据集上的实验表明，与最先进的SLAM相比，我们的算法可以提高相机定位精度，特别是在没有循环闭合的情况下，并且在许多结构化环境中也可以生成密集的地图。
2019-06-28 cs.CV cs.RO
Edge-based Monocular Thermal-Inertial Odometry in Visually Degraded Environments
Harbin Institute of Technology Shenzhen（哈尔滨工业大学深圳）；University of Science and Technology of China（中国科学技术大学）
由于视觉摄像机的视觉退化严重，基于传统视觉-惯性测距法的复杂光照环境下的状态估计是一项具有挑战性的任务。热红外摄像机能够全天工作，受光照变化的影响较小。然而，现有的视觉数据关联算法大多是不兼容的，因为热红外数据包含大噪声和低对比度。受热辐射在物体边缘变化最显著的现象的启发，该研究提出了ETIO，这是第一个基于边缘的单目热惯性里程计，用于在视觉退化环境中进行鲁棒定位。利用边缘提取得到的二值化图像代替原始图像进行姿态估计，克服了热红外图像质量差的问题。在此基础上，提出了一种基于有限边缘信息及其距离分布的自适应特征跟踪策略ADT-KLT。最后，姿态图优化通过将IMU预积分与所有边缘特征观测的重投影误差相结合来在最近状态的滑动窗口上执行实时估计。我们在公共数据集和真实世界的实验中评估了所提出的系统的性能，并将其与最先进的方法进行了比较。所提出的ETIO被验证具有全天时间实现准确和鲁棒定位的能力。
2022-10-22 cs.RO
Real-Time Monocular Object-Model Aware Sparse SLAM
Australian Center for Robotic Vision（澳大利亚机器人视觉中心）；University of Adelaide（阿德莱德大学）
同时定位与地图构建（SLAM）是移动机器人领域的一个基本问题。虽然基于稀疏点的SLAM方法提供准确的相机定位，但所生成的地图缺乏语义信息。另一方面，现有技术的目标检测方法从单个图像提供关于存在于场景中的实体的丰富信息。这项工作将实时的【形】深度学习的对象检测器结合到单目SLAM框架中，用于将通用对象表示为二次曲面，允许检测无缝集成，同时允许实时的【形】性能。通过CNN网络学习的对象的更精细的重建也被合并，并且为二次曲面提供形状先验，从而进一步细化。为了捕获场景的主要结构，通过基于CNN的平面检测器检测额外的平面地标，并将其建模为地图中的独立地标。大量的实验支持我们提出的包括语义对象和平面结构直接在SLAM -语义SLAM -，丰富了重建的地图语义调整，同时显着提高相机定位。我们的SLAM系统的性能在https://youtu.be/UMWXd4sHONw和https://youtu.be/QPQqVrvP0dE中展示。
2019-03-06 cs.CV cs.RO
ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras
Instituto de Investigación en Ingeniería de Aragón (I3A), Universidad de Zaragoza（萨拉戈萨大学阿拉贡工程研究所（I3A））；Oculus Research
我们提出了ORB-SLAM 2一个完整的SLAM系统的单眼，立体和RGB-D相机，包括地图重用，闭环和重新定位功能。该系统可在各种环境中在标准CPU上实时工作，从小型手持室内序列到工业环境中的无人机飞行和城市周围的汽车驾驶。我们的后端基于单目和立体观测的光束法平差，可以使用度量尺度进行精确的轨迹估计。我们的系统包括一个轻量级的定位模式，利用视觉里程计跟踪未映射的区域和匹配的地图点，允许零漂移定位。对29个流行的公共序列的评估表明，我们的方法达到了最先进的精度，在大多数情况下是最准确的SLAM解决方案。我们发布源代码，不仅是为了SLAM社区的利益，也是为了为其他领域的研究人员提供开箱即用的SLAM解决方案。
2017-06-19 cs.CV cs.RO
VIDAR: Visual-Inertial Dense Alignment and Reconstruction via a Geometric Foundation Model
IBISC Laboratory, Université d’Évry Paris-Saclay, Université Paris-Saclay（IBISC实验室，埃夫里-巴黎萨克雷大学，巴黎萨克雷大学）
研究针对单目基础模型缺乏稳定度量尺度的问题，提出VIDAR框架，结合SVO+IMU里程计与深度任意模型3，利用视觉惯性前端作度量锚点，经姿态注入等方法，在EuRoC和TUM RGB-D数据集上实现度量密集单目重建。
2026-07-21 cs.RO
