BirdSLAM: Monocular Multibody SLAM in Bird's-Eye View
IIIT Hyderabad(海得拉巴国际信息技术学院);TCS Innovation Labs(塔塔咨询服务公司创新实验室)
在本文中,我们提出了BirdSLAM,一种新颖的同时定位与地图构建(SLAM)系统,用于仅配备单目摄像头的自动驾驶平台的挑战性场景。BirdSLAM通过使用正交(鸟瞰)视图作为执行定位和映射的配置空间来解决其他单目SLAM系统所面临的挑战(例如单目重建中的尺度模糊性、动态对象定位和特征表示中的不确定性)。通过仅假设自我摄像头在地面上方的高度,BirdSLAM利用单视图计量线索来准确定位鸟瞰视图中的自我车辆和所有其他交通参与者。我们证明,我们的系统优于以前的工作,严格使用更多的信息,并通过消融分析突出每个设计决策的相关性。
2020-11-15 cs.AI cs.CV cs.LG
SLAM in the Field: An Evaluation of Monocular Mapping and Localization on Challenging Dynamic Agricultural Environment
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文展示了一个系统,能够结合稀疏,间接,单目视觉SLAM,离线和实时多视图立体视觉(MVS)重建算法。这种组合克服了在农业环境中使用的自动驾驶车辆或机器人遇到的许多障碍,例如过度重复的模式,需要非常详细的重建以及由不平坦的道路引起的突然移动。此外,单目SLAM的使用使得我们的系统更容易与现有设备集成,因为我们不依赖于LiDAR(其昂贵且耗电)或立体相机(其校准对外部扰动敏感,例如相机被移位)。据我们所知,本文提出了单目SLAM的第一个评估结果,我们的工作进一步探索了无监督深度估计在这个特定的应用场景,通过模拟RGB-D SLAM解决规模模糊,并显示我们的方法产生重建,有助于各种农业任务。此外,我们强调,我们的实验提供了有意义的见解,以改善农业环境下的单眼SLAM系统。
2020-11-06 cs.CV cs.RO
MoD-SLAM: Monocular Dense Mapping for Unbounded 3D Scene Reconstruction
Columbia University(哥伦比亚大学);Cloudspace Technology(云空间科技);The University of Tokyo(东京大学);Dianjing Ciyuan Culture(电境慈源文化);Dalian University of Technology(大连理工大学)
针对现有单目SLAM仅适用于有界场景的局限,提出基于高斯无界表示与前端深度监督的MoD-SLAM方法,实现无界场景实时稠密重建,在标准数据集上重建与定位精度最高提升30%和15%。
2024-03-08 cs.CV cs.RO
WildGS-SLAM: Monocular Gaussian Splatting SLAM in Dynamic Environments
Stanford University(斯坦福大学);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软公司)
WildGS-SLAM是一种单目RGB SLAM系统,通过深度和不确定性信息结合DINOv2特征预测的不确定性图指导动态物体移除,增强跟踪、映射与渲染,在动态环境中实现无伪影视图合成且优于现有方法。
2025-04-04 cs.CV cs.RO
Orbeez-SLAM: A Real-time Monocular Visual SLAM with ORB Features and NeRF-realized Mapping
National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Mobile Drive Technology(摩智科技)
能够通过视觉信号执行复杂任务并与人类合作的空间AI备受期待。为了实现这一目标,我们需要一个可视化的SLAM,它可以轻松适应新场景,而无需预先训练,并为下游任务实时的【形】生成密集的地图。由于其组件的固有限制,以前的基于学习和非基于学习的视觉SLAM都不能满足所有需求。在这项工作中,我们开发了一个名为Orbeez-SLAM的视觉SLAM,它成功地与隐式神经表示和视觉里程计合作,以实现我们的目标。此外,Orbeez-SLAM可以与单目相机一起工作,因为它只需要RGB输入,使其广泛适用于现实世界。结果表明,我们的SLAM比强基线快800倍,具有出色的渲染效果。代码链接:https://github.com/MarvinChung/Orbeez-SLAM.
2023-01-31 cs.CV cs.RO
LIFT-SLAM: a deep-learning feature-based monocular visual SLAM method
State University of Campinas(坎皮纳斯州立大学)
同时定位与地图构建(SLAM)问题解决了机器人在未知环境中定位自身并同时构建该环境的一致地图的可能性。最近,摄像机已经成功地用于获取环境的特征以执行SLAM,其被称为视觉SLAM(VSLAM)。然而,经典的VSLAM算法可以很容易地诱导失败时,无论是机器人的运动或环境是太具有挑战性。尽管基于深度神经网络(DNN)的新方法在VSLAM中取得了令人鼓舞的结果,但它们仍然无法优于传统方法。为了利用深度学习的鲁棒性来增强传统的VSLAM系统,我们提出将基于深度学习的特征描述符的潜力与传统的基于几何的VSLAM相结合,构建一个新的VSLAM系统,称为LIFT-SLAM。在KITTI和Euroc数据集上进行的实验表明,深度学习可用于提高传统VSLAM系统的性能,因为所提出的方法能够实现与最先进技术相当的结果,同时对感官噪声具有鲁棒性。我们通过使用自适应方法避免特定数据集的参数调整来增强所提出的VSLAM管道,同时评估迁移学习如何影响提取的特征的质量。
2021-06-01 cs.AI cs.CV cs.RO
Loosely-Coupled Semi-Direct Monocular SLAM
我们提出了一种新的半直接的单目同时定位与地图构建(SLAM)的方法,结合了直接和基于特征的方法的互补优势。所提出的流水线松散地耦合直接里程计和基于特征的SLAM以执行三个级别的并行优化:(1)光度束调整(BA),其联合优化局部结构和运动,(2)几何BA,其细化关键帧姿势和相关联的特征图点,以及(3)姿势图优化,以在存在环路闭合的情况下实现全局地图一致性。这通过将基于特征的操作限制于来自直接测距模块的边缘化关键帧来实时实现。对两个基准数据集的详尽评估表明,我们的系统在整体准确性和鲁棒性方面优于最先进的单目测距和SLAM系统。
2019-01-06 cs.CV cs.RO
Pop-up SLAM: Semantic Monocular Plane SLAM for Low-texture Environments
Carnegie Mellon University(卡内基梅隆大学)
现有的同时定位与地图构建(SLAM)算法在具有挑战性的低纹理环境中是不鲁棒的,因为只有很少的显著特征。所得到的稀疏或半密集图也传达了很少的用于运动规划的信息。虽然一些工作利用平面或场景布局进行密集地图正则化,但它们需要来自其他来源的体面的状态估计。在本文中,我们提出了实时单目平面SLAM证明,场景理解可以提高状态估计和密集映射,特别是在低纹理环境。平面测量来自应用于每个单个图像的弹出3D平面模型。我们还将平面与基于点的SLAM相结合,以提高鲁棒性。在一个公共的TUM数据集上,我们的算法生成了一个密集的语义3D模型,像素深度误差为6.2厘米,而现有的SLAM算法失败。在一个60米长的数据集与循环,我们的方法创建一个更好的三维模型与状态估计误差为0.67%。
2017-03-21 cs.CV cs.RO
Attention-SLAM: A Visual Monocular SLAM Learning from Human Gaze
Shanghai Jiao Tong University(上海交通大学)
提出了一种新的同时定位与地图构建(SLAM)方法--Attention-SLAM,该方法将视觉显著性模型(SalNavNet)与传统的单目视觉SLAM相结合,模拟人类的导航模式。大多数SLAM方法在优化过程中将从图像中提取的所有特征视为同等重要。然而,场景中的显著特征点在人类导航过程中具有更显著的影响。因此,我们首先提出了一个视觉显着性模型,称为SalVavNet,其中我们引入了一个相关模块,并提出了一个自适应指数移动平均(EMA)模块。这些模块减轻了中心偏差,使SalNavNet生成的显着图能够更多地关注同一个显着对象。此外,显着图模拟人类行为的SLAM结果的细化。从显著区域中提取的特征点在优化过程中具有更大的重要性。我们将语义显着性信息添加到Euroc数据集,以生成开源显着性SLAM数据集。综合测试结果证明,Attention-SLAM在大多数测试用例中的效率,准确性和鲁棒性方面优于直接稀疏测距法(DSO),ORB-SLAM和显着DSO等基准。
2020-09-15 cs.CV cs.RO
Constructing Category-Specific Models for Monocular Object-SLAM
IIIT Hyderabad(印度国际信息技术学院海得拉巴分校);Tata Consultancy Services(塔塔咨询服务公司)
我们提出了一个新的范例,实时面向对象的SLAM与单目摄像机。相反,以前的方法,依赖于对象级模型,我们构建类别级模型,从CAD集合,现在广泛使用。为了减轻对大量标记数据的需求,我们开发了一个渲染管道,可以从有限数量的手动标记数据中合成大型数据集。使用这样合成的数据,我们学习3D中对象变形的类别级模型,以及2D中有区别的对象特征。这些类别模型是独立于实例的,并且有助于设计可以被并入通用单目SLAM框架中的对象地标观测。在典型的对象SLAM方法通常仅解决对象和相机姿势的情况下,我们还可以动态估计对象形状,从而允许场景中存在类别中的各种对象。此外,由于我们的2D对象特征是有区别地学习的,因此所提出的对象-SLAM系统在基于稀疏特征的单目SLAM由于特征不足或视差而失败的几种情况下成功。此外,所提出的类别模型有助于对象实例检索,这对于增强现实(AR)应用是有用的。我们评估了多个具有挑战性的现实世界的场景,并显示-据我们所知-第一个独立于实例的单目对象SLAM系统的结果和它享有的好处基于特征的SLAM方法。
2018-02-26 cs.CV cs.RO
Estimation of Absolute Scale in Monocular SLAM Using Synthetic Data
IBM Research - Zurich(IBM苏黎世研究院)
针对单目SLAM中的尺度估计问题,通过估计连续图像帧的摄像机中心之间的绝对距离来实现。这些估计将提高经典(非深度)SLAM系统的整体性能,并允许从单个单目相机恢复度量特征位置。我们提出了几种网络架构,导致规模估计精度的提高,在国家的art.Also,我们利用一种可能性,训练神经网络只与来自计算机图形模拟器的合成数据。我们的关键见解是,仅使用合成训练输入,我们可以实现与从真实数据中获得的相似的规模估计精度。这一事实表明,完全注释的模拟数据是现有基于深度学习的SLAM系统的可行替代方案,该系统在真实(未标记)数据上进行训练。我们的无监督领域自适应的实验也表明,模拟和真实数据之间的视觉外观的差异不影响尺度估计结果。我们的方法使用低分辨率图像(0.03MP),这使得它适用于使用单目相机的实时SLAM应用。
2019-09-02 cs.CV cs.RO
Monocular Object and Plane SLAM in Structured Environments
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种利用高层次目标和平面地标的单目同时定位与地图构建(SLAM)算法。与基于特征点的SLAM相比,所构建的地图更密集,更紧凑,更有语义意义。首先,我们提出了一个高阶图形模型,以联合推断的3D对象和布局平面从单一的图像考虑闭塞和语义约束。在统一的SLAM框架中,利用相机姿态进一步优化提取的对象和平面。与点相比,对象和平面可以提供更多的语义约束,例如曼哈顿平面和对象支持关系。在包括ICL NUIM和TUM Mono在内的各种公共和收集的数据集上的实验表明,与最先进的SLAM相比,我们的算法可以提高相机定位精度,特别是在没有循环闭合的情况下,并且在许多结构化环境中也可以生成密集的地图。
2019-06-28 cs.CV cs.RO
Semi-Semantic Line-Cluster Assisted Monocular SLAM for Indoor Environments
Hong Kong University of Science and Technology(香港科技大学);Texas A&M University(德克萨斯农工大学)
针对室内单目同时定位与地图构建(SLAM)中尺度漂移问题,提出了一种新的尺度漂移抑制方法。我们利用现有知识,即在室内环境中,线段形成紧密的集群,例如,直走廊中的许多门框具有相同的形状、大小和取向,因此这些门框的相同边缘形成紧密的线段集群。我们在流行的ORB-SLAM 2中实现了我们的方法,这也是我们的基线。在前端,我们检测每帧中的线段,并在3D空间中逐步聚类它们。在后端,我们优化地图施加的约束,同一集群的线段应该是相同的。实验结果表明,我们提出的方法成功地减少了室内单目SLAM的尺度漂移。
2018-11-05 cs.CV cs.RO
DVM-SLAM: Decentralized Visual Monocular Simultaneous Localization and Mapping for Multi-Agent Systems
Department of Computer Science and Technology, University of Cambridge(计算机科学与技术系,剑桥大学)
本文提出首个开源去中心化单目协作SLAM系统DVM-SLAM,利用低成本单目视觉实现多智能体实时建图与定位,并在实体机器人上验证了其导航可行性和与集中式系统相当的精度。
2025-08-26 cs.CV cs.MA cs.RO
Visual Appearance Analysis of Forest Scenes for Monocular SLAM
University of Edinburgh(爱丁堡大学)
单目同步定位和制图(SLAM)是一种廉价且节能的方法,可使无人机(UAV)安全地导航管理的森林并收集对监测树木健康至关重要的数据。然而,SLAM研究大多是在结构化的人类环境中进行的,因此对非结构化森林的适应性很差。在本文中,我们比较了最先进的单目SLAM系统对森林数据的性能,并使用视觉外观统计来描述森林和其他环境之间的差异,包括逼真的模拟森林。我们发现,SLAM系统的斗争,但最简单的森林地形,并确定关键属性(照明变化和场景中的运动)区分森林场景从“经典”的城市数据集。这些差异让我们深入了解是什么使森林更难绘制地图,并为有针对性的改进开辟了道路。我们还证明,即使是看起来令人印象深刻的模拟人眼可能无法正确反映他们模拟的环境的困难属性,并提供更密切地模仿自然场景的建议。
2019-07-05 cs.CV cs.RO
GPO: Global Plane Optimization for Fast and Accurate Monocular SLAM Initialization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ByteDance AI Lab(字节跳动人工智能实验室)
单目同时定位与地图构建(SLAM)问题的关键是定位。提出了一种基于平面特征的单目SLAM初始化方法。该算法首先在滑动窗口中进行单应性估计。然后进行全局平面优化(global plane optimization,缩写为PEEP)以获得相机姿态和平面法线。可以使用平面约束恢复3D点,而无需三角剖分。该方法充分利用了多帧图像的平面信息,避免了单应性分解中的二义性。我们验证了我们的算法对基线实现收集的棋盘数据集,并提出了广泛的分析。实验结果表明,该方法在准确性和实时性方面均优于微调基线。
2020-05-24 cs.CV cs.RO
From Monocular SLAM to Autonomous Drone Exploration
Technische Universität München(慕尼黑工业大学);Oculus Research(奥库鲁斯研究院);RWTH Aachen University(亚琛工业大学)
微型飞行器(MAV)在其有效载荷和动力能力方面受到很大限制。为了实现自主导航,因此需要使用尽可能小、低重量和低功耗的传感设备的算法。在本文中,我们提出了一种方法,自主MAV导航和探索使用低成本的消费级四轴飞行器配备了单目摄像头。我们的基于视觉的导航系统建立在LSD-SLAM的基础上,LSD-SLAM可以实时估计MAV的轨迹和半密集的环境重建。由于LSD-SLAM仅确定高梯度像素处的深度,因此不直接观察到无纹理区域,使得不能直接应用假定密集地图信息的先前探索方法。我们提出了一个障碍物映射和探索的方法,考虑到我们的半密集单目SLAM系统的属性。在实验中,我们展示了我们的基于视觉的自主导航和探索系统与鹦鹉Bebop MAV。
2018-03-12 cs.CV cs.RO
HI-SLAM2: Geometry-Aware Gaussian SLAM for Fast Monocular Scene Reconstruction
Institute for Photogrammetry and Geoinformatics, University of Stuttgart(摄影测量与地理信息学研究所,斯图加特大学);Technical University of Munich(慕尼黑技术大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
HI-SLAM2通过结合单目先验与学习密集SLAM,利用3D高斯散射实现快速准确的单目场景重建,超越现有神经SLAM和RGB-D方法。
2026-02-02 cs.CV cs.RO
SING3R-SLAM: Submap-based Indoor Monocular Gaussian SLAM with 3D Reconstruction Priors
Technical University of Munich(慕尼黑工业大学);Google(谷歌);Munich Center for Machine Learning(慕尼黑机器学习中心);VisualAIs
本文提出SING3R-SLAM,通过全局一致的高斯地图和子地图级全局对齐,实现高效的室内单目SLAM与3D重建,实验显示其在姿态估计、3D重建和视图渲染方面性能优异。
2026-04-03 cs.CV cs.RO
Learning to Prevent Monocular SLAM Failure using Reinforcement Learning
单目SLAM是指使用单个相机来估计机器人自我运动,同时构建环境地图。虽然单目SLAM是一个研究得很好的问题,但通过将其与轨迹规划框架集成来自动化单目SLAM特别具有挑战性。提出了一种基于强化学习(RL)的新公式,该公式生成故障安全轨迹,其中SLAM生成的输出不会偏离其真实值很大。本质上,RL框架成功地学习了感知输入和运动动作之间的复杂关系,并使用这些知识来生成不会导致SLAM失败的轨迹。我们在模拟中系统地展示了使用RL计算轨迹时SLAM的质量如何显着提高。我们的方法有效地跨单目SLAM框架在模拟和现实世界的实验与移动机器人。
2020-01-07 cs.RO
Real-time Monocular Object SLAM
Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究所(I3A));Universidad de Zaragoza(萨拉戈萨大学)
我们提出了一个实时的【形】基于对象的SLAM系统,利用最大的对象数据库。我们的方法包括两个主要组成部分:1)单目SLAM算法,利用对象刚性约束来改进地图并找到其真实比例,以及2)一种基于二进制单词包的新型对象识别算法,该算法通过500个3D对象的数据库提供实时检测。这两个组件一起工作并相互受益:SLAM算法从对象的观察中积累信息,将对象特征锚定到特定的地图地标并设置优化约束。同时,部分或全部位于地图内的对象被用作先验来指导识别算法,实现更高的召回率。我们评估了我们的建议,在五个真实的环境中,显示出地图的准确性和效率的提高,相对于其他国家的最先进的技术。
2015-04-09 cs.CV cs.RO
Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文提出了一种视觉SLAM系统,使用点和线的鲁棒相机定位,同时进行分段平面重建(PPR)的环境,以提供实时的结构图。单目摄像机并行跟踪和映射的最大挑战之一是在重建几何图元时保持尺度一致。这进一步在光束法平差(BA)步骤的图形优化中引入困难。我们解决这些问题,提出了几个运行时的优化重建线和平面。我们的系统能够运行深度和立体传感器,除了单目设置。我们提出的SLAM紧密结合了语义和几何特征,以提高前端姿态跟踪和后端地图优化。我们在各种数据集上详尽地评估了我们的系统,并表明我们在轨迹精度方面优于最先进的方法。PLP-SLAM的代码已经以开源的形式提供给研究社区(https://github.com/PeterFWS/Structure-PLP-SLAM)。
2023-01-29 cs.CV cs.RO
A Front-End for Dense Monocular SLAM using a Learned Outlier Mask Prior
Massachusetts Institute of Technology(麻省理工学院)
最近在从单个RGB图像进行深度预测方面的成就为将卷积神经网络(CNN)与经典的同时定位与地图构建(SLAM)算法相结合的新研究领域提供了动力。在传统SLAM算法中,来自CNN的深度预测在优化过程中提供了合理的初始点,而SLAM算法进一步在线改进了CNN预测。然而,大多数当前的CNN-SLAM方法仅利用了深度预测,而没有利用来自CNN的其他产品。在这项工作中,我们探索使用离群掩码,从视频的深度的无监督学习的副产品,作为一个经典的概率模型的深度估计融合的先验,以加强SLAM前端的抗离群跟踪性能。另一方面,以前的一些CNN-SLAM工作建立在基于特征的稀疏SLAM方法上,浪费了来自CNN的每像素密集预测。与这些稀疏方法相比,我们设计了一个密集的CNN辅助SLAM前端,可以使用TensorFlow实现,并在室内和室外数据集上进行评估。
2021-04-01 cs.CV cs.RO
Real-Time Monocular Object-Model Aware Sparse SLAM
Australian Center for Robotic Vision(澳大利亚机器人视觉中心);University of Adelaide(阿德莱德大学)
同时定位与地图构建(SLAM)是移动机器人领域的一个基本问题。虽然基于稀疏点的SLAM方法提供准确的相机定位,但所生成的地图缺乏语义信息。另一方面,现有技术的目标检测方法从单个图像提供关于存在于场景中的实体的丰富信息。这项工作将实时的【形】深度学习的对象检测器结合到单目SLAM框架中,用于将通用对象表示为二次曲面,允许检测无缝集成,同时允许实时的【形】性能。通过CNN网络学习的对象的更精细的重建也被合并,并且为二次曲面提供形状先验,从而进一步细化。为了捕获场景的主要结构,通过基于CNN的平面检测器检测额外的平面地标,并将其建模为地图中的独立地标。大量的实验支持我们提出的包括语义对象和平面结构直接在SLAM -语义SLAM -,丰富了重建的地图语义调整,同时显着提高相机定位。我们的SLAM系统的性能在https://youtu.be/UMWXd4sHONw和https://youtu.be/QPQqVrvP0dE中展示。
2019-03-06 cs.CV cs.RO
Multi-Agent Monocular Dense SLAM With 3D Reconstruction Priors
Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);Southeast University(东南大学)
本文提出首个多智能体单目密集SLAM系统,通过学习3D重建先验提升效率和精度。
2025-11-26 cs.RO
Structure-SLAM: Low-Drift Monocular SLAM in Indoor Environments
Technical University of Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);Google(谷歌)
针对室内场景中单目SLAM由于缺乏纹理表面而经常失败的问题,提出了一种低漂移单目SLAM方法。我们的方法将跟踪过程的旋转和平移估计结合起来,以减少室内环境中的长期漂移。为了充分利用场景中的可用几何信息,表面法线由卷积神经网络从每个输入RGB图像实时预测。首先,利用弱曼哈顿世界假设,使用球面均值漂移聚类基于线和表面法线估计无漂移旋转。然后从点和线特征计算平移。最后,估计的姿态进行细化与地图到帧的优化策略。所提出的方法在诸如ICL-NUIM和TUM RGB-D的常见SLAM基准上优于现有技术。
2020-08-05 cs.RO
CubeSLAM: Monocular 3D Object SLAM
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出了一种在静态和动态环境下的单图像三维长方体目标检测和多视点目标SLAM方法,并证明了这两部分可以相互促进。首先针对单幅图像的目标检测,从二维包围盒和消失点采样生成高质量的长方体建议。基于与图像边缘的对准,进一步对提议进行评分和选择。其次,提出了多视角光束法平差与新的目标测量,共同优化相机,目标和点的位姿。物体可以提供长距离的几何和尺度约束,以改善相机姿态估计并减少单目漂移。而不是处理动态区域的离群值,我们利用对象表示和运动模型的约束,以提高相机的姿态估计。在SUN RGBD和KITTI上的三维检测实验表明,与现有方法相比,该方法具有更好的准确性和鲁棒性。在公开的TUM、KITTI里程计和我们自己收集的数据集上,我们的SLAM方法实现了最先进的单目相机姿态估计,同时提高了3D目标检测的准确性。
2019-04-05 cs.CV cs.RO
Learning to Prevent Monocular SLAM Failure using Reinforcement Learning
TCS Research & Innovation(塔塔咨询服务公司研究与创新部);Carnegie Mellon University(卡内基梅隆大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
单目SLAM是指使用单个相机来估计机器人自我运动,同时构建环境地图。虽然单目SLAM是一个研究得很好的问题,但通过将其与轨迹规划框架集成来自动化单目SLAM特别具有挑战性。提出了一种基于强化学习(RL)的新公式,该公式生成故障安全轨迹,其中SLAM生成的输出不会偏离其真实值很大。本质上,RL框架成功地学习了感知输入和运动动作之间的复杂关系,并使用这些知识来生成不会导致SLAM失败的轨迹。我们在模拟中系统地展示了使用RL计算轨迹时SLAM的质量如何显着提高。我们的方法有效地跨单目SLAM框架在模拟和现实世界的实验与移动机器人。
2020-01-08 cs.RO
Monocular SLAM Supported Object Recognition
Massachusetts Institute of Technology(麻省理工学院)
在这项工作中,我们开发了一个单目SLAM感知的对象识别系统,能够实现相当强的识别性能,相比经典的对象识别系统,功能上的逐帧的基础上。通过结合几个关键的想法,包括多视图对象的建议和有效的特征编码方法,我们提出的系统是能够检测和鲁棒地识别对象在其环境中使用一个单一的RGB相机在接近恒定的时间。通过实验,我们说明了使用这样的系统,有效地检测和识别对象的效用,将多个对象的观点检测到一个统一的预测假设。在UW RGB-D数据集上对所提出的识别系统的性能进行了评估,与当前最先进的识别系统相比,显示出强大的识别性能和可扩展的运行时性能。
2015-06-04 cs.CV cs.RO
VP-SLAM: A Monocular Real-time Visual SLAM with Points, Lines and Vanishing Points
School of ECE, NTUA(雅典国家技术大学电子与计算机工程学院)
传统的单目视觉同时定位与地图构建(vSLAM)系统可以分为三类:使用特征的系统、依赖图像本身的系统和混合模型。在基于特征的方法的情况下,新的研究已经发展到使用点之外的几何图元(如直线和平面)从其环境中融入更多信息。这是因为在许多环境中,这些环境是以曼哈顿世界为特征的人造环境,诸如线和平面的几何图元占据了环境中的大部分空间。这些方案的开发可以导致引入能够优化Visual SLAM系统的轨迹的算法,并且还有助于构建丰富的地图。因此,我们提出了一个实时的的单目视觉SLAM系统,它结合了实时的的直线和VP提取方法,以及利用消失点来估计机器人的平移和改善其旋转的两种策略。特别是,我们建立在ORB-SLAM 2上,这被认为是目前最先进的解决方案,在精度和效率方面,并将其公式扩展到处理直线和VP,以创建两个策略:第一个优化旋转,第二个从已知旋转中细化平移部分。首先,我们使用实时的方法提取VP,并将其用于全局旋转优化策略。其次,我们提出了一种平移估计方法,利用最后一级旋转优化建模的线性系统。最后,我们在TUM RGB-D基准测试上对我们的系统进行了评估,并证明了所提出的系统达到了最先进的结果,并且实时的运行,其性能仍然接近原始的ORB-SLAM 2系统
2022-10-28 cs.CV cs.RO
EAO-SLAM: Monocular Semi-Dense Object SLAM Based on Ensemble Data Association
Faculty of Robot Science and Engineering, Northeastern University(东北大学机器人科学与工程学院);College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);The Chinese University of Hong Kong(香港中文大学)
对象级数据关联和位姿估计是语义SLAM中的基础性问题,由于缺乏鲁棒、准确的算法,这些问题一直没有得到解决。在这项工作中,我们提出了一个集成的数据关联策略整合的参数和非参数统计检验。通过利用不同统计量的性质,我们的方法可以有效地聚合不同测量的信息,从而显着提高数据关联的鲁棒性和准确性。然后,我们提出了一个准确的对象姿态估计框架,在其中开发了一个离群鲁棒的质心和尺度估计算法和对象姿态初始化算法,以帮助提高姿态估计结果的最优性。此外,我们建立了一个SLAM系统,可以生成半密集或轻量级的面向对象的地图与单目相机。在三个公开的数据集和一个真实场景上进行了大量的实验。结果表明,我们的方法显着优于国家的最先进的技术在准确性和鲁棒性。源代码可在https://github.com/yanmin-wu/EAO-SLAM上获得。
2020-07-29 cs.CV cs.RO
WaterSplat-SLAM: Photorealistic Monocular SLAM in Underwater Environment
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Key Laboratory of Marine Robotics, Shenyang(沈阳海洋机器人重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(香港科技大学电子及计算机工程学系)
本文提出WaterSplat-SLAM,通过语义介质过滤和语义引导渲染实现水下高保真密集映射,提升水下单目SLAM的鲁棒性与可视化效果。
2026-04-06 cs.RO
Multi-object Monocular SLAM for Dynamic Environments
IIIT Hyderabad(印度海得拉巴国际信息技术学院);TCS Innovation Labs(塔塔咨询服务公司创新实验室);Mila(米拉研究所);Universite de Montreal(蒙特利尔大学)
在本文中,我们解决了从单目相机的多体SLAM的问题。术语多体,意味着我们跟踪相机的运动,以及场景中其他动态参与者的运动。动态场景中最典型的挑战是不可观测性:不可能从移动的单目相机中明确地三角测量移动物体。现有方法解决了问题的受限变体,但是解决方案遭受相对尺度模糊性(即,对于场景中的每一对运动存在一族无限多的解)。我们通过利用单视图计量、深度学习的进步和类别级形状估计来解决这个相当棘手的问题。我们提出了一个多姿态图优化配方,以解决相对和绝对的比例因子模糊。这种优化有助于我们减少真实世界数据集(如KITTI)上多个物体轨迹的平均误差。据我们所知,我们的方法是第一个实用的单目多体SLAM系统进行动态多目标和自我定位在一个统一的框架在度量尺度。
2020-05-11 cs.CV cs.RO
Evaluation of Monocular SLAM Systems on High-Altitude Nadir UAV Footage
该研究评估5种单目SLAM系统在高空天底视角无人机影像的性能,发现DROID-SLAM表现最优,MASt3R-SLAM水平误差最低,但所有系统垂直位置估计差、大面积轨迹失真,纯视觉单目SLAM不足以可靠应用于航空导航。
2026-08-25 cs.RO
BodySLAM: A Generalized Monocular Visual SLAM Framework for Surgical Applications
Università Campus Bio-Medico di Roma(罗马生物医学大学校园大学);Fondazione Policlinico Universitario Campus Bio-Medico(生物医学大学校园大学附属医院基金会)
BodySLAM提出一种基于深度学习的单目视觉SLAM框架,通过无监督位姿估计CycleVO、Zoe深度估计和3D重建模块,在多个内窥镜数据集上实现高效稳健的定位与建图。
2024-11-04 cs.AI cs.CV cs.RO
NRGS-SLAM: Monocular Non-Rigid SLAM for Endoscopy via Deformation-Aware 3D Gaussian Splatting
Department of Mechanical and Automation Engineering and T Stone Robotics Institute, The Chinese University of Hong Kong(机械与自动化工程系和T Stone机器人研究所,香港中文大学);School of Automation and Intelligent Sensing, the State Key Laboratory of Avionics Integration and Aviation System of-Systems Synthesis, and Shanghai Key Laboratory of Navigation and Location Based Services, Shanghai Jiao Tong University(自动化与智能感知学院、航空系统集成与航空系统综合国家重点实验室、上海导航与定位服务重点实验室,上海交通大学)
NRGS-SLAM通过变形感知的3D高斯点云实现内窥镜单目非刚性SLAM,有效解决刚性假设与变形耦合问题,提升定位精度与重建质量。
2026-02-19 cs.CV cs.RO
SQ-SLAM: Monocular Semantic SLAM Based on Superquadric Object Representation
University of Electronic Science and Technology of China(电子科技大学)
对象SLAM使用额外的语义信息来检测和映射场景中的对象,以提高系统的感知和地图表示能力。二次曲面和立方体常用于表示对象,但它们的单一形状限制了对象映射的准确性,从而影响了下游任务的应用。本文将带形状参数的超二次曲面(SQ)引入SLAM中表示物体,并提出了一种独立的参数估计方法,能够准确估计物体姿态并适应不同的形状。此外,我们提出了一个轻量级的数据关联策略,正确地关联多个视图中的对象地标的语义观察。我们实现了一个具有实时性能的单目语义SLAM系统,并在公共数据集上进行了全面的实验。实验结果表明,该方法能够建立精确的目标图,在目标表示方面具有优势。代码将在接受后发布。
2022-09-22 cs.RO
Avoiding Degeneracy for Monocular Visual SLAM with Point and Line Features
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出了一种基于点、线的视觉SLAM算法的退化避免方法。Visual SLAM主要使用点特征。然而,点特征在低纹理和光照变化的环境中缺乏鲁棒性。因此,线特征被用来弥补点特征的弱点。此外,点特征在表示肉眼可辨别的特征方面很差,这意味着映射的点特征不能被识别。为了克服上述局限性,线特征在以前的研究中被积极采用。然而,由于退化的过程中出现的使用线特征,本文试图解决这个问题。首先,提出了一种简单的识别退化直线的方法。此外,提出了一种新的结构约束,以避免退化问题。最后,实现了一个基于点和线的单目SLAM系统,该系统采用了一种鲁棒的基于光流的直线跟踪方法。使用EuRoC数据集的实验验证了结果,并与其他国家的最先进的算法进行了比较。实践证明,该方法不仅能获得更精确的定位结果,而且能获得更精确的映射结果。
2021-03-02 cs.CV cs.RO
Scale Estimation with Dual Quadrics for Monocular Object SLAM
Tongji University(同济大学)
单目SLAM在没有运动相机之间的度量基线的情况下,尺度模糊问题本质上是无法解决的。在本文中,我们提出了一种新的规模估计方法的基础上的对象级SLAM系统。为了获得重建地图的绝对比例尺,我们推导了一种非线性优化方法,使物体的比例尺尺寸符合其在物理世界中的大小分布,而不依赖于任何重力方向的先验信息。采用对偶二次曲面来表示物体,因为对偶二次曲面能够更好地拟合物体。在所提出的单目物体级SLAM系统中,基于二维检测和拟合定向限界框的约束快速初始化对偶二次曲面,并进一步优化以提供可靠的尺寸用于尺度估计。
2022-11-02 cs.RO
SE-SLAM: Semi-Dense Structured Edge-Based Monocular SLAM
Instituto Balseiro(巴尔塞iro学院);CNEA(国家原子能委员会);SLAMCore ltd.(SLAMCore有限公司)
基于视觉的同时定位与地图构建(VSLAM)是机器人领域中一个成熟的问题。大多数VSLAM系统是基于特征的方法,其是鲁棒的并且呈现高精度,但是产生稀疏地图,对于进一步的导航任务具有有限的应用。最近,已经引入了直接对图像强度进行操作的直接方法,能够以更高的处理能力为代价重建更丰富的图。在这项工作中,提出了一个基于边缘的单目SLAM系统(SE-SLAM)作为一个中间点:边缘呈现良好的定位作为点特征,同时使结构化的半密度地图重建。然而,边缘不容易随着时间的推移进行关联、跟踪和优化,因为它们缺乏描述符和双单义对应,不像点特征。为了解决这些问题,本文提出了一种方法,以一致的方式匹配帧之间的边缘;一个可行的策略来解决优化问题,因为它的大小迅速增加时,与边缘工作;和使用非线性优化技术。所得到的系统实现了与现有技术的基于特征的和密集/半密集系统相当的精度,同时固有地构建环境的结构半密集重建,为进一步的导航算法提供相关的结构数据。为了实现这样的精度,需要在每帧10000个边缘点的连续馈送上进行最先进的非线性优化,以优化完整的半密集输出。尽管其繁重的处理要求,该系统实现了接近实时操作,这要归功于定制的求解器和其关键阶段的并行化。为了鼓励基于边缘的SLAM系统的进一步开发,SE-SLAM源代码将作为开源发布。
2019-09-09 cs.CV cs.RO
DK-SLAM: Monocular Visual SLAM with Deep Keypoint Learning, Tracking and Loop-Closing
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学学院)
DK-SLAM提出一种结合MAML优化关键点网络、由粗到细跟踪及在线二进制特征回环检测的单目视觉SLAM,在公开数据集上超越ORB-SLAM3等系统,提升复杂环境下的定位精度与鲁棒性。
2024-06-25 cs.CV cs.RO
GigaSLAM: Large-Scale Monocular SLAM with Hierarchical Gaussian Splats
Nankai University(南开大学);Nanjing University Suzhou Campus(南京大学苏州校区)
本文提出GigaSLAM,一种结合分层稀疏体素高斯表示、度量深度跟踪与词袋回环的单目SLAM框架,实现千米级无边界室外场景的高精度定位与高保真渲染。
2025-06-10 cs.CV cs.RO
A comparative evaluation of learned feature descriptors on hybrid monocular visual SLAM methods
Institute of Computing, State University of Campinas - Unicamp(坎皮纳斯州立大学计算研究所)
经典的视觉同时定位与地图构建(VSLAM)算法在机器人运动或环境过于复杂的情况下容易失效。使用深度神经网络来增强VSLAM算法最近取得了令人鼓舞的结果,我们称之为混合方法。在本文中,我们比较了不同的学习特征描述符的混合单目VSLAM方法的性能。为此,我们提出了一组实验来评估不同的环境下,相机运动,相机传感器噪声的算法的鲁棒性。在KITTI和Euroc MAV数据集上进行的实验证实,学习的特征描述符可以创建更强大的VSLAM系统。
2021-03-31 cs.CV cs.RO
Bayesian Scale Estimation for Monocular SLAM Based on Generic Object Detection for Correcting Scale Drift
Centro de Investigación en Matemáticas(数学研究中心)
这项工作提出了一种新的在线算法,用于估计局部尺度校正,以应用于单目SLAM系统的输出,并获得尽可能忠实的3D地图和相机轨迹的度量重建。在贝叶斯框架内,它整合了基于深度学习的通用对象检测器的观察结果和尺度漂移演变的先验知识。对于每个观测类,使用类对象高度的预定义先验。这允许定义观察的可能性。由于单目SLAM系统固有的尺度漂移,我们集成了一个粗略的模型尺度漂移的动态。定量评估系统的KITTI数据集,并与不同的方法进行比较。结果表明,我们的建议在相对平移误差方面的优越性能相比,其他单目系统。
2017-11-07 cs.RO
DeepRelativeFusion: Dense Monocular SLAM using Single-Image Relative Depth Prediction
University of Alberta(阿尔伯塔大学);Universiti Putra Malaysia(马来西亚博特拉大学)
在本文中,我们提出了一个密集的单目SLAM系统,名为DeepRelativeFusion,能够恢复全局一致的3D结构。为此,我们使用视觉SLAM算法来可靠地恢复关键帧的相机姿态和半密集深度图,然后使用相对深度预测来使半密集深度图致密化并细化关键帧姿态图。为了改善半密集深度图,我们提出了一种自适应滤波方案,这是一个结构保持加权平均平滑滤波器,考虑到像素的强度和深度的相邻像素,产生大量的重建精度增益致密化。为了执行致密化,我们在DeepFusion提出的能量最小化框架上引入了两个增量改进:(1)改进的成本函数,以及(2)使用单图像相对深度预测。在致密化之后,我们使用两视图一致的优化的半密集和密集深度图来更新关键帧,以改进姿势图优化,提供反馈回路来细化关键帧姿势以进行准确的场景重建。我们的系统优于国家的最先进的密集SLAM系统定量密集重建精度的大幅度提高。
2021-07-09 cs.CV cs.RO
EC3R-SLAM: Efficient and Consistent Monocular Dense SLAM with Feed-Forward 3D Reconstruction
IBISC, Université Paris-Saclay(IBISC,巴黎萨克雷大学);College of Engineering and Technology, American University of the Middle East(工程与技术学院,中东美国大学)
针对单目稠密SLAM延迟高、内存消耗大且依赖标定的问题,提出免标定的EC3R-SLAM框架,通过跟踪与带内参估计的前馈重建建图模块耦合、结合局部全局回环,在保证精度的同时提升效率,可在资源受限平台运行。
2025-10-02 cs.RO
Monocular visual simultaneous localization and mapping: (r)evolution from geometry to deep learning-based pipelines
Aarhus University(奥胡斯大学);EIVA a/s(EIVA公司)
本文综述了基于几何和深度学习的单目视觉SLAM算法,提出了统一的流程分类并评估了不同环境挑战下的性能鲁棒性。
2025-03-04 cs.AI cs.RO
AIM-SLAM: Dense Monocular SLAM via Adaptive and Informative Multi-View Keyframe Prioritization with Foundation Model
KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院(KAIST));KAIST InnoCORE LLM, KAIST(韩国科学技术院 InnoCORE LLM)
AIM-SLAM通过自适应多视图关键帧优先级提升单目SLAM的密集重建性能,结合视觉几何基础模型实现更准确的位姿估计和一致的多视图对齐。
2026-03-28 cs.RO
PAPL-SLAM: Principal Axis-Anchored Monocular Point-Line SLAM
Fudan University(复旦大学)
本文提出PAPL-SLAM,通过将方向相似的线锚定到主轴并用n+2个参数联合优化n条线,同时解决线结构信息利用与线参数优化问题,并引入线-轴概率数据关联和基于Atlanta World假设的结构线检测策略,在室内外数据集上验证了系统的有效性。
2024-10-18 cs.CV cs.RO
MAGS-SLAM: Monocular Multi-Agent Gaussian Splatting SLAM for Geometrically and Photometrically Consistent Reconstruction
ETH Zurich(苏黎世联邦理工学院);Harbin Engineering University(哈尔滨工程大学);University of Liverpool(利物浦大学);University of Macau(澳门大学);University of Ottawa(多伦多大学);Wuhan University(武汉大学);Imperial College London(伦敦帝国学院)
MAGS-SLAM通过单目视觉实现多智能体高斯点云SLAM,无需RGB-D传感器即可完成几何和光度一致的场景重建,实验表明其跟踪精度和渲染质量可与现有RGB-D方法媲美。
2026-10-20 cs.RO
HI-SLAM: Monocular Real-time Dense Mapping with Hybrid Implicit Fields
University of Stuttgart(斯图加特大学);Huawei Munich Research Center(华为慕尼黑研究中心);Central Media Technology Institute, Huawei 2012 Laboratories(华为2012实验室中央媒体技术研究院);Technical University of Munich(慕尼黑工业大学)
针对现有神经建图框架依赖特殊输入或无法实时运行的问题,提出融合稠密SLAM与神经隐式场的HI-SLAM框架,通过多分辨率编码、Sim(3)位姿图优化及联合深度尺度调整模块,在保证实时性的同时提升建图精度与完整性。
2023-12-15 cs.CV cs.RO
NR-SLAM: Non-Rigid Monocular SLAM
Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究院(I3A));Universidad de Zaragoza(萨拉戈萨大学)
本文提出NR-SLAM,结合动态变形图与粘弹性模型,在变形环境中实现单目SLAM的稀疏点云建图与相机运动估计,并在医学数据集上取得毫米级重建精度。
2023-08-01 cs.RO
Failure or Drift? Evaluating Monocular SLAM under Synthetic and Real-World Corruptions
University of Mannheim(曼海姆大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所)
本研究评估单目SLAM在合成与真实世界干扰下的表现,区分跟踪失效与漂移,发现学习型跟踪器会产生持续漂移,且其排序随干扰物理保真度变化。
2026-09-01 cs.CV cs.RO
RP-SLAM: Real-time Photorealistic SLAM with Efficient 3D Gaussian Splatting
Tongji University(同济大学);Tohoku University(东北大学)
针对3DGS集成到SLAM中存在的基元冗余、遗忘问题及单目初始化难的问题,提出包含增量建图、动态窗口优化、单目关键帧初始化的RP-SLAM,在保证实时性和模型紧凑性的同时实现了SOTA的地图渲染精度。
2024-12-13 cs.CV cs.GR cs.RO