Pseudo RGB-D for Self-Improving Monocular SLAM and Depth Prediction
IIIT-Delhi(德里信息技术学院);NEC Laboratories America, Inc.(NEC美国实验室公司);University of California, San Diego(加利福尼亚大学圣迭戈分校)
经典的单目同时定位与地图构建(SLAM)和最近出现的用于单目深度预测的卷积神经网络(CNN)代表了构建周围环境的3D地图的两种很大程度上不相交的方法。在本文中,我们证明了这两个耦合,利用各自的优势减轻对方的缺点。具体来说,我们提出了一种基于窄基线和宽基线的联合自改进框架,其中一方面利用CNN预测的深度来执行基于伪RGB-D特征的SLAM,从而比单目RGB SLAM基线具有更好的准确性和鲁棒性。另一方面,来自更有原则的几何SLAM的经调整的3D场景结构和相机姿态通过为改进深度预测网络而提出的新颖宽基线损失被注入回深度网络,这然后继续有助于在下一迭代中进行更好的姿态和3D结构估计。我们强调,我们的框架在训练和推理阶段都只需要未标记的单眼视频,并且能够优于最先进的自监督单眼和立体深度预测网络(例如Monodepth 2)和基于特征的单眼SLAM系统(即ORB-SLAM)。在KITTI和TUM RGB-D数据集上进行的广泛实验验证了我们自我改进的几何CNN框架的优越性。
2020-08-07 cs.CV
NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室)
本文提出NIS-SLAM,一个高效的神经隐式语义RGB-D SLAM系统,通过结合多分辨率四面体特征与位置编码实现高保真重建,并利用跨视图语义融合策略和置信度采样实现一致的场景理解与鲁棒跟踪。
2024-07-30 cs.CV
VGGT-SLAM: Dense RGB SLAM Optimized on the SL(4) Manifold
Massachusetts Institute of Technology(麻省理工学院)
VGGT-SLAM提出在SL(4)流形上优化15自由度单应变换以对齐未标定单目相机的子地图,解决重建歧义,实现稠密RGB SLAM,在长视频序列上提升地图质量。
2025-05-23 cs.CV
VarSplat: Uncertainty-aware 3D Gaussian Splatting for Robust RGB-D SLAM
Department of Computer Science(计算机科学系)
VarSplat通过显式学习每个点划的外观方差,提升RGB-D SLAM的鲁棒性和稳定性,实现更可靠的跟踪与建图。
2026-03-10 cs.CV
GauS-SLAM: Dense RGB-D SLAM with Gaussian Surfels
Beihang University(北航大学);Northwestern Polytechnical University(西北工业大学)
本文提出 GauS-SLAM,通过 2D 高斯面元、表面感知深度渲染和动态局部地图隔离策略,解决了高斯场景表示在新视角下的几何失真问题,在多个数据集上实现了优于同类方法的稠密 RGB-D SLAM 跟踪精度与渲染保真度。
2025-05-03 cs.CV
DINO-SLAM: DINO-informed RGB-D SLAM for Neural Implicit and Explicit Representations
University of Bologna, Italy(博洛尼亚大学);Faculty of Dentistry, The University of Hong Kong, China(香港大学牙科学院);Rawmantic AI, China(Rawmantic AI);Fudan University, Shanghai, China(复旦大学)
研究提出DINO-SLAM,通过DINO增强SLAM系统隐式与显式表示。利用场景几何编码器将DINO特征变为几何感知特征,在此基础上为NeRF和GS SLAM系统提出两种范式,相比现有方法在多个数据集上性能更优。
2026-07-17 cs.CV
RGBD GS-ICP SLAM
Sungkyunkwan University(成均馆大学)
具有密集表示的同时定位与地图构建(SLAM)在机器人、虚拟现实(VR)和增强现实(AR)应用中起着关键作用。密集表示SLAM的最新进展突出了利用神经场景表示和3D高斯表示进行高保真空间表示的潜力。本文提出了一种融合广义迭代最近点(G-ICP)和三维高斯泼溅(3DGS)的稠密表示SLAM方法。与现有的方法相比,我们利用一个单一的高斯地图的跟踪和映射,从而实现互惠互利。通过尺度对齐技术的跟踪和映射过程之间的协方差的交换,我们最大限度地减少冗余计算,实现一个高效的系统。此外,我们通过关键帧选择方法提高跟踪精度和映射质量。实验结果表明,我们的方法的有效性,显示了令人难以置信的快速速度高达107 FPS(整个系统)和卓越的质量重建的地图。
2024-03-22 cs.CV
Robust Keyframe-based Dense SLAM with an RGB-D Camera
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
在本文中,我们提出了RKD-SLAM,一个强大的基于关键帧的密集SLAM方法的RGB-D相机,可以鲁棒地处理快速运动和密集的循环关闭,并运行在一个中等大小的场景没有时间限制。它不仅可以用于扫描高质量的3D模型,而且可以满足VR和AR应用的需求。首先,我们结合颜色和深度信息,在CPU上构建一个非常快速的基于关键帧的跟踪方法,该方法可以在具有挑战性的情况下(例如,快速相机运动和复杂循环)。为了减少累积误差,我们还介绍了一个非常有效的增量光束法平差(BA)算法,它可以大大节省不必要的计算,并执行本地和全球BA在一个统一的优化框架。提出了一种基于关键帧的深度表示与融合方法,通过BA算法,根据关键帧的精确相机姿态,生成并实时更新具有在线校正功能的稠密3D表面。在多种挑战性数据集和TUM RGB-D基准测试上的实验结果和比较证明了该系统的有效性。
2017-11-14 cs.CV
GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学);Rock Universe;KU Leuven(鲁汶大学);INSAIT;University of Amsterdam(阿姆斯特丹大学)
提出GlORIE-SLAM,一种仅RGB的稠密SLAM系统,采用点云神经表示和DSPO层优化位姿深度,结合回环检测与全局BA,在多个数据集上达到先进精度。
2024-05-27 cs.CV cs.RO
RGB-Only Gaussian Splatting SLAM for Unbounded Outdoor Scenes
The Hong Kong University of Science and Technology (GuangZhou)(香港科技大学(广州))
本研究提出了一种仅使用RGB的高斯点溅SLAM方法,用于无界户外场景,通过点图回归网络和端到端可微流程提升跟踪精度和新型视图合成效果。
2025-02-21 cs.CV
ViSTA-SLAM: Visual SLAM with Symmetric Two-view Association
TU Munich(慕尼黑工业大学);MCML;ETH Zurich(苏黎世联邦理工学院)
ViSTA-SLAM通过轻量级对称两视图关联模型实现了高效的实时单目视觉SLAM,提升了两视图约束质量和3D重建性能。
2026-01-06 cs.CV
CHOW-SLAM: Compact Hybrid Representation with Complementary Overlap Window Optimization for RGB-D SLAM
School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院)
本文提出CHOW-SLAM框架,通过紧凑P-H混合表示与互补重叠窗口策略构建空间、时间约束,结合ORB初始化与神经渲染优化,在多数据集上优于现有最优RGB-D SLAM方法。
2026-08-04 cs.CV
HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor
University of Bristol(布里斯托大学);University of Cambridge(剑桥大学)
我们描述了一种新的方法,用于比较帧外观的帧到模型的3-D映射和跟踪系统,使用低动态范围(LDR)RGB-D相机,这是鲁棒的自动曝光引起的亮度变化。它基于归一化的辐射测量,其对曝光变化是不变的,并且不仅在变化的照明条件下增强跟踪,而且还使得以下曝光补偿能够准确地执行,以允许在线构建高动态范围(HDR)地图。后者有助于帧到模型的跟踪,以最大限度地减少漂移,并更好地捕捉场景内的光线变化。实验结果与合成和真实数据表明,该方法提供了改进的跟踪和地图更大的动态范围的光度。
2016-04-04 cs.CV
Pseudo Depth Meets Gaussian: A Feed-forward RGB SLAM Baseline
Department of Automation, Tsinghua University(自动化系,清华大学);School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications(智能工程与自动化学院,北京邮电大学);Shenzhen International Graduate School, Tsinghua University(深圳国际研究生院,清华大学)
提出一种结合三维高斯建图与前馈循环预测的在线RGB SLAM方法,从光流直接推断位姿,替代缓慢的测试时优化,在Replica和TUM-RGBD上性能媲美SplaTAM,跟踪时间减少90%以上。
2025-08-06 cs.CV
Dense Piecewise Planar RGB-D SLAM for Indoor Environments
Department of Computer Science, George Mason University(乔治梅森大学计算机科学系)
本文利用弱曼哈顿约束,从RGB-D视频序列中在线解析室内环境的结构。我们扩展了以前的室内场景的单视图解析的视频序列的方法,并制定了一个最佳的标签问题,使用动态规划解决的环境恢复平面图的问题。在递归设置中强制执行时间连续性,其中来自先前帧的标记用作目标函数中的先验项。除了恢复扩展环境的分段平面弱曼哈顿结构外,还通过视觉里程计和姿态图优化来利用正交约束。这产生可靠的估计,在存在大的运动和缺乏独特的功能跟踪。我们在几个具有挑战性的室内序列上评估了我们的方法,展示了低纹理环境的准确SLAM和密集映射。在现有的TUM基准测试中,我们使用在我们的环境中失败的替代方法实现了具有竞争力的结果。
2017-08-01 cs.CV
MonoGS++: Fast and Accurate Monocular RGB Gaussian SLAM
Advanced Micro Devices, Inc.(超威半导体公司)
MonoGS++是一种仅依赖RGB输入的快速准确SLAM方法,利用在线视觉里程计生成稀疏点云,并通过动态高斯插入、清晰度增强致密化和平面正则化提升重建质量,在Replica和TUM-RGBD数据集上取得与SOTA相当的跟踪精度,且速度比MonoGS快5.57倍。
2025-04-03 cs.CV
iDF-SLAM: End-to-End RGB-D SLAM with Neural Implicit Mapping and Deep Feature Tracking
University of Bristol(布里斯托大学);Zhejiang University(浙江大学)
我们提出了一种新的端到端RGB-D SLAM,iDF-SLAM,它采用基于特征的深度神经跟踪器作为前端,NeRF风格的神经隐式映射器作为后端。神经隐式映射器是动态训练的,而神经跟踪器是在ScanNet数据集上预训练的,它也是随着神经隐式映射器的训练而微调的。在这样的设计下,我们的iDF-SLAM能够学习使用场景特定功能进行相机跟踪,从而实现SLAM系统的终身学习。跟踪器和映射器的训练都是自我监督的,而不引入地面真实姿势。我们测试了我们的iDF-SLAM的性能,并将结果与最近的两个基于NeRF的神经SLAM系统进行了比较。所提出的iDF-SLAM在场景重建和相机跟踪的竞争性能方面展示了最先进的结果。
2022-09-16 cs.CV cs.RO
Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras
The Hong Kong University of Science and Technology(香港科技大学);Sun Yat-sen University(中山大学)
本文提出 Photo-SLAM 框架,融合显式几何定位、隐式光度特征与 Gaussian-Pyramid 训练,实现单目、双目和 RGB-D 的实时照片级建图,并在嵌入式平台上高效运行。
2024-04-08 cs.CV
Dy3DGS-SLAM: Monocular 3D Gaussian Splatting SLAM for Dynamic Environments
School of Information and Communication Engineering, Dalian University of Technology(信息与通信工程学院,大连理工大学);School of Engineering Sciences, Saarland University of Applied Sciences(应用科学大学工程科学学院,萨尔兰应用科学大学);Fraunhofer Institute for Nondestructive Testing(非破坏性检测研究所,弗劳恩霍夫);College of Information Science and Technology, Beijing University of Chemical Technology(信息科学与技术学院,北京化工大学);Faculty of Science and Engineering, Laval University(科学与工程学院,拉瓦尔大学)
本文提出Dy3DGS-SLAM,首个面向动态场景的单目RGB 3D高斯泼溅SLAM方法,通过概率融合光流与深度掩码并设计运动损失,实现动态环境下最先进的跟踪与渲染性能。
2025-06-06 cs.CV
EvenNICER-SLAM: Event-based Neural Implicit Encoding SLAM
ETH Zurich(苏黎世联邦理工学院);INSAIT, Sofia University(保加利亚索菲亚大学INSAIT研究院)
针对低帧率或快速运动下神经隐式编码SLAM精度下降问题,提出EvenNICER-SLAM,通过在NICE-SLAM中加入事件损失反向传播流,利用事件相机提升RGB-D输入不足时的跟踪性能,增强系统鲁棒性。
2024-10-04 cs.CV
Dense RGB-D-Inertial SLAM with Map Deformations
Imperial College London(伦敦帝国学院);Dyson Technology Ltd.(戴森科技有限公司)
虽然密集视觉SLAM方法能够估计环境的密集重建,但它们在跟踪步骤中缺乏鲁棒性,特别是当优化初始化不佳时。稀疏视觉SLAM系统通过在紧耦合融合中包括惯性测量而获得了高水平的精度和鲁棒性。受此性能的启发,我们提出了第一个紧密耦合的密集RGB-D-惯性SLAM系统。我们的系统在GPU上运行时具有实时能力。它联合优化相机姿态、速度、IMU偏差和重力方向,同时建立全局一致的、完全密集的基于surfel的3D环境重建。通过对合成数据集和真实世界数据集的一系列实验,我们证明了我们的密集视觉惯性SLAM系统比相关的仅RGB-D SLAM系统对快速运动和低纹理和低几何变化的周期更鲁棒。
2022-07-22 cs.CV cs.RO
ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras
Instituto de Investigación en Ingeniería de Aragón (I3A), Universidad de Zaragoza(萨拉戈萨大学阿拉贡工程研究所(I3A));Oculus Research
我们提出了ORB-SLAM 2一个完整的SLAM系统的单眼,立体和RGB-D相机,包括地图重用,闭环和重新定位功能。该系统可在各种环境中在标准CPU上实时工作,从小型手持室内序列到工业环境中的无人机飞行和城市周围的汽车驾驶。我们的后端基于单目和立体观测的光束法平差,可以使用度量尺度进行精确的轨迹估计。我们的系统包括一个轻量级的定位模式,利用视觉里程计跟踪未映射的区域和匹配的地图点,允许零漂移定位。对29个流行的公共序列的评估表明,我们的方法达到了最先进的精度,在大多数情况下是最准确的SLAM解决方案。我们发布源代码,不仅是为了SLAM社区的利益,也是为了为其他领域的研究人员提供开箱即用的SLAM解决方案。
2017-06-19 cs.CV cs.RO
Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM
INSAIT;Sofia University(索非亚大学);University of Toronto(多伦多大学);ETH Zurich(苏黎世联邦理工学院)
本文针对仅依赖RGB输入的NeRF-SLAM问题,提出三元类型不透明度模型与结合光束法平差和变形定位的混合里程计方案,在合成与真实数据集上实现了速度与精度的最优性能。
2024-09-23 cs.CV
Dropping the D: RGB-D SLAM Without the Depth Sensor
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
DropD-SLAM通过预训练视觉模块替代深度传感器,实现RGB-D级精度的实时单目SLAM,在TUM RGB-D基准上达到7.4 cm和1.8 cm ATE,运行速度22 FPS。
2025-11-02 cs.CV cs.RO
A Keyframe-based Continuous Visual SLAM for RGB-D Cameras via Nonparametric Joint Geometric and Appearance Representation
University of Michigan(密歇根大学)
本文报告了一个强大的RGB-D SLAM系统,在几乎没有纹理和结构化的环境中表现良好。我们提出了一种新的基于关键帧的连续视觉里程计,建立在最近开发的连续传感器配准框架。联合几何和外观表示是将RGB-D图像转换为存在于再生核希尔伯特空间(RKHS)中的函数的结果。我们通过RKHS中的内积结构解决了注册和关键帧选择问题。我们还提出了基于关键帧的里程计方法扩展到SLAM系统使用间接ORB环闭合约束。使用公开的RGB-D基准的实验评估表明,开发的关键帧选择技术,使用连续视觉里程计优于其强大的密集(和直接)视觉里程计等效。此外,所开发的SLAM系统在不同的训练和验证序列中具有更好的泛化能力;它对场景中缺乏纹理和结构具有鲁棒性;并显示出与最先进的SLAM系统相当的性能。
2019-12-02 cs.CV cs.RO
Dense RGB SLAM with Neural Implicit Maps
Alibaba Group(阿里巴巴集团);Simon Fraser University(西蒙弗雷泽大学);Hong Kong University of Science and Technology(香港科技大学)
在同时定位与地图构建(SLAM)中,使用神经隐函数进行地图表示是一种新兴的趋势。一些先驱作品在RGB-D SLAM上取得了令人鼓舞的成果。本文提出了一种基于神经隐式映射表示的密集RGB SLAM方法。为了在没有深度输入的情况下实现这一具有挑战性的目标,我们引入了一个分层特征量来促进隐式映射解码器。这种设计有效地融合了不同尺度的形状线索,以促进地图重建。我们的方法同时解决了摄像机运动和神经隐式映射匹配渲染和输入视频帧。为了便于优化,我们进一步提出了一个光度扭曲损失的精神,多视图立体视觉,以更好地约束相机姿势和场景几何。我们评估我们的方法常用的基准,并将其与现代RGB和RGB-D SLAM系统进行比较。我们的方法比以前的方法取得了良好的效果,甚至超过了最近的一些RGB-D SLAM方法。poptree.github.io/DIM-SLAM/
2023-02-19 cs.CV cs.LG cs.RO
A Non-Rigid Map Fusion-Based RGB-Depth SLAM Method for Endoscopic Capsule Robots
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);University of Coimbra(科英布拉大学)
在胃肠道(GI)内窥镜领域,可摄取无线胶囊内窥镜被认为是一种微创的新型诊断技术,可以检查整个GI道并诊断各种疾病和病理。自该技术发展以来,医疗器械公司和许多团体已经取得了重大进展,将这种被动胶囊内窥镜转变为机器人主动胶囊内窥镜,以实现当前主动柔性内窥镜的几乎所有功能。然而,机器人胶囊式内窥镜的使用仍然存在一些挑战。一个这样的挑战是在3D世界中精确定位这样的有源设备,这对于内部器官的精确三维(3D)映射是必不可少的。一个可靠的三维地图的探索内部器官可以帮助医生作出更直观和正确的诊断。在本文中,我们提出了我们的知识,在文献中的第一次视觉同时定位与地图构建(SLAM)方法专门开发的内窥镜胶囊机器人。所提出的RGB-Depth SLAM方法能够捕获由内窥镜胶囊机器人实时的探索的内部器官的全面密集的全局一致的基于曲面的地图。这是通过使用密集的帧到模型的相机跟踪和窗口surfelbased融合,加上频繁的模型细化,通过非刚性表面变形。
2017-05-15 cs.CV
Pow3R-SLAM: Real-Time RGB-D SLAM with 3D Reconstruction Priors
Toronto Metropolitan University(多伦多都会大学);University of Windsor(温莎大学);University College London(伦敦大学学院)
本文提出Pow3R-SLAM,一种利用深度作为先验的实时RGB-D SLAM系统,通过双视图重建提升跟踪与建图精度,在多个基准上优于现有方法。
2026-09-30 cs.CV cs.RO
Deep-SLAM++: Object-level RGBD SLAM based on class-specific deep shape priors
ShanghaiTech University(上海科技大学)
为了提高SLAM系统的能力并产生对象级表示,社区越来越多地调查将更高级别的先验强加到估计过程中。一个这样的例子是通过采用对象检测器来加载和注册完整的CAD模型。我们的工作扩展了这一想法的环境中未知的对象,并采用现代类特定的神经网络,以产生完整的模型几何形状的建议施加对象先验。在真实的SLAM场景中使用这样的预测的困难在于预测性能取决于视点和测量质量,即使输入数据的小变化有时也会导致网络输出的大变化。我们提出了一个离散的选择策略,找到最好的多个建议,从不同的注册意见,通过重新执行协议与在线深度测量。其结果是一个有效的对象级RGBD SLAM系统,它可以生成紧凑、高保真和密集的带有语义注释的3D地图。它优于传统的融合策略在地图的完整性和弹性降低测量质量。
2019-12-09 cs.CV eess.IV
FMapping: Factorized Efficient Neural Field Mapping for Real-Time Dense RGB SLAM
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
提出 FMapping 分解式神经场框架,结合滑动窗口降低无深度 RGB SLAM 的建图不确定性,实现约 2 秒实时高保真彩色点云更新,并显著减少参数。
2023-06-01 cs.CV
FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow
the University of Tokyo(东京大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
动态环境对视觉SLAM具有挑战性,因为运动对象遮挡静态环境特征并导致错误的相机运动估计。在本文中,我们提出了一种新的密集RGB-D SLAM解决方案,同时完成动态/静态分割和摄像机自我运动估计以及静态背景重建。我们的新颖之处在于使用光流残差来突出RGB-D点云中的动态语义,并为相机跟踪和背景重建提供更准确和有效的动态/静态分割。在公共数据集和真实动态场景上的密集重建结果表明,与现有方法相比,该方法在动态和静态环境下都具有准确、高效的性能。
2020-03-11 cs.CV cs.RO
FlashSLAM: Accelerated RGB-D SLAM for Real-Time 3D Scene Reconstruction with Gaussian Splatting
Purdue University(普渡大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
针对现有基于3D高斯溅射的SLAM方法在稀疏视角和大相机运动时的不足,FlashSLAM结合快速视觉相机跟踪技术,实现80毫秒内精确位姿估计,跟踪时间减少90%、稀疏设置精度提升92%,增强非专用设备鲁棒性。
2024-12-01 cs.CV
Benchmarking Implicit Neural Representation and Geometric Rendering in Real-Time RGB-D SLAM
AI Thrust, HKUST(GZ)(香港科技大学(广州)AI部门);Dept. of CSE, HKUST(香港科技大学计算机科学与工程系)
本文构建了首个开源基准框架,系统评测实时RGB-D SLAM中多种隐式神经表示与几何渲染函数对建图和定位的影响,并提出混合编码策略以兼顾精度、完整性与计算效率。
2024-03-28 cs.CV
Accurate Object Association and Pose Updating for Semantic SLAM
Zhejiang University of Technology(浙江工业大学);Tianjin University of Technology(天津理工大学)
目前的疫情导致医疗系统在高负荷下运行。为了缓解这一问题,可以使用高度自主的机器人在医院中有效地执行无接触操作,减少医护人员和患者之间的交叉感染。虽然语义同时定位与地图构建(SLAM)技术可以提高机器人的自主性,但语义对象关联仍然是一个值得研究的问题。解决这一问题的关键是利用语义信息正确关联一个目标地标的多个目标测量值,并实时的细化目标地标的位姿。为此,我们提出了一个层次化的对象关联策略和姿态细化方法。前者包括两个层次,即,短期对象关联和全局对象关联。在第一层,我们采用多目标跟踪的短期对象关联,通过它可以避免不正确的关联对象之间的位置接近,外观相似。此外,短期对象关联可以为第二级中的全局对象关联提供更丰富的对象外观和更鲁棒的对象姿态估计。为了改进地图中的对象姿态,我们开发了一种方法来从与对象地标相关联的所有对象测量中选择最佳对象姿态。所提出的方法进行了全面评估7模拟医院sequences1,一个真正的医院环境和KITTI数据集。实验结果表明,该方法在语义SLAM中的对象关联和轨迹估计的鲁棒性和准确性方面都有明显的提高。
2021-12-20 cs.CV
ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of Signed Distance Fields
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);ams OSRAM(艾迈斯欧司朗);University of Geneva(日内瓦大学)
ESLAM是一种高效稠密视觉SLAM方法,通过融合NeRF技术,利用多尺度轴对齐特征平面和浅层解码器表示场景,在无需预训练的情况下,将3D重建和相机定位精度提升50%以上,速度最多快10倍。
2023-04-03 cs.CV
All-St3R SLAM: Real-time RGB Dynamic SLAM with Pixel-wise Motion Masking
Center for Artificial Intelligence Research, Korea Institute of Science and Technology(韩国科学技术院人工智能研究中心);Korea University(高丽大学);KIST School (UST)(韩国科学技术院学校(科学技术联合大学院))
本文提出All-St3R SLAM框架,结合DUSt3R与All-Tracker,以像素级运动掩码实现实时RGB动态SLAM,解决现有动态SLAM的过移除与高计算成本问题,性能优于现有方法。
2026-10-15 cs.CV cs.RO
SP-SLAM: Neural Real-Time Dense SLAM With Scene Priors
Tsinghua University(清华大学);Tencent Jarvis Lab(腾讯Jarvis实验室);School of Engineering and Mathematical Sciences, La Trobe University(拉筹伯大学工程与数学科学学院);Medical Artificial Intelligence Laboratory, Westlake University(西湖大学医学人工智能实验室)
针对现有神经稠密SLAM重建质量与实时性不足的问题,提出SP-SLAM系统,通过稀疏体素场景先验、三平面外观存储及高效位姿优化,在多基准上实现更优精度与更快实时性能。
2025-01-11 cs.CV
CG-SLAM: Efficient Dense RGB-D SLAM in a Consistent Uncertainty-aware 3D Gaussian Field
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);ZJU-UIUC Institute, International Campus, Zhejiang University(浙江大学国际校区ZJU-UIUC学院)
本文提出CG-SLAM,一种基于一致性不确定性感知3D高斯场的高效稠密RGB-D SLAM系统,通过深度不确定性模型优化Gaussian基元选择,实现高达15 Hz的追踪速度及卓越的追踪与建图性能。
2024-03-24 cs.CV cs.RO
TVG-SLAM: Robust Gaussian Splatting SLAM with Tri-view Geometric Constraints
National University of Defense Technology(国防科技大学)
提出TVG-SLAM,一种利用三视图几何范式结合混合几何约束与概率初始化策略的纯RGB 3DGS SLAM系统,有效解决了户外环境下的追踪鲁棒性问题,显著降低了轨迹误差并提升了渲染质量。
2025-06-29 cs.CV
ConfidentSplat: Confidence-Weighted Depth Fusion for Accurate 3D Gaussian Splatting SLAM
Control Science and Engineering(控制科学与工程);Xi'an Jiaotong University(西安交通大学);School of Automation Science and Engineering(自动化科学与工程学院)
ConfidentSplat提出置信度加权深度融合机制,结合多视图几何与单目先验生成高保真代理深度,指导可变形3DGS地图优化,在纯RGB稠密SLAM中显著提升重建精度与新视角合成质量。
2025-09-21 cs.CV
NeB-SLAM: Neural Blocks-based Salable RGB-D SLAM for Unknown Scenes
Tongji University(同济大学)
针对神经隐式 SLAM 需预先已知场景大小的问题,提出 NeB-SLAM,通过固定大小神经块子地图与自适应地图增长实现未知场景的可扩展 RGB-D 建图和跟踪。
2024-09-07 cs.CV cs.GR cs.RO
SD-DefSLAM: Semi-Direct Monocular SLAM for Deformable and Intracorporeal Scenes
Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究所(I3A));Universidad de Zaragoza(萨拉戈萨大学)
传统的SLAM技术严重依赖场景刚性来解决数据关联,忽略了场景的动态部分。在这项工作中,我们提出了半直接DefSLAM(SD-DefSLAM),一种新的单目可变形SLAM方法,能够映射高度变形的环境,建立在DefSLAM之上。为了在具有挑战性的变形场景中稳健地解决数据关联问题,SD-DefSLAM结合了直接和间接方法:用于数据关联的增强照明不变Lucas-Kanade跟踪器,用于姿态和可变形地图估计的几何束调整,以及基于特征描述符的词袋用于相机重新定位。使用针对特定应用领域训练的CNN来检测和分割动态对象。我们在两个公共数据集中彻底评估了我们的系统。mandala数据集是一个SLAM基准,具有越来越积极的变形。Hamlyn数据集包含的内部序列除了变形之外,还带来了严重的现实挑战,如弱纹理、镜面反射、手术工具和遮挡。我们的研究结果表明,由于所有数据关联步骤的改进,SD-DefSLAM在点跟踪,重建精度和尺度漂移方面优于DefSLAM,是第一个能够在人体内稳健执行SLAM的系统。
2020-10-19 cs.CV
V3D-SLAM: Robust RGB-D SLAM in Dynamic Environments with 3D Semantic Geometry Voting
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
提出V3D-SLAM,通过空间推理Hough投票和Chamfer距离检测的两阶段重评估机制移除动态物体,显著提升了动态环境下RGB-D SLAM的鲁棒性与精度。
2024-10-15 cs.AI cs.CV cs.RO
RGB-D Odometry and SLAM
I3A, Universidad de Zaragoza(萨拉戈萨大学I3A)
现代RGB-D传感器的出现对许多应用领域产生了重大影响,包括机器人、增强现实(AR)和3D扫描。它们是LiDAR等传统距离传感器的低成本、低功耗和小尺寸替代品。此外,与RGB相机不同,RGB-D传感器提供额外的深度信息,消除了3D场景重建中逐帧三角测量的需要。这些优点使它们在移动机器人和AR中非常受欢迎,其中估计自我运动和3D场景结构非常感兴趣。这种空间理解可以使机器人能够自主导航而不会发生碰撞,并允许用户插入与图像流一致的虚拟实体。在本章中,我们将回顾里程计和使用RGB-D流输入的同时定位与地图构建(以其首字母缩写SLAM而闻名)的常见公式。这两个主题是密切相关的,因为前者的目的是跟踪增量相机运动相对于局部地图的场景,和后者共同估计相机轨迹和全局地图的一致性。在这两种情况下,标准方法使用非线性优化技术来最小化成本函数。第一部分介绍了里程计和SLAM的基本概念,并介绍了RGB-D传感器的使用。我们还给出了与大多数里程计和SLAM算法相关的数学表达式。在第二部分中,我们详细介绍了SLAM系统的三个主要组成部分:相机姿态跟踪,场景映射和闭环。对于每个组件,我们描述了文献中提出的不同方法。在最后一部分中,我们提供了一个简短的讨论先进的研究课题与国家的最先进的参考。
2020-01-19 cs.CV cs.RO
Robust Data Association for Object-level Semantic SLAM
Qualcomm(高通)
在真实的室内环境中同时进行地图构建和定位(SLAM)仍然是一项具有挑战性的任务。传统的SLAM方法严重依赖于低层次的几何约束,如角或线,这可能会导致跟踪失败,在无纹理的环境或混乱的世界与动态对象。本文提出了一种紧凑的语义SLAM框架,该框架联合利用几何和对象级语义约束,可以获得更一致的映射结果,并获得更准确的位姿估计。本文的主要贡献有两个:a)提出了一个鲁棒高效的SLAM数据关联和优化框架,该框架同时对离散语义标记和连续姿态进行建模。b)提出了一种将二维激光雷达地图与目标检测相结合的紧凑地图表示。在公共室内数据集、TUM-RGBD、ICL-NUIM和我们自己收集的数据集上的实验证明,与其他流行的SLAM系统相比,SLAM系统的鲁棒性和准确性得到了提高,同时地图维护效率也得到了提高。
2019-09-30 cs.CV cs.RO
Gaussian-Plus-SDF SLAM: High-fidelity 3D Reconstruction at 150+ fps
GPS-SLAM通过高斯-SDF混合表示,在150+ fps实现高质量实时3D重建
2025-12-15 cs.CV
VIP-SLAM: An Efficient Tightly-Coupled RGB-D Visual Inertial Planar SLAM
Zhejiang University(浙江大学);SenseTime Research(商汤科技研究院)
在本文中,我们提出了一个紧密耦合的SLAM系统融合RGB,深度,IMU和结构化平面信息。传统的基于稀疏点的SLAM系统总是维护大量的地图点来对环境进行建模。大量的地图点给我们带来了很高的计算复杂性,使得它很难部署在移动设备上。另一方面,在人造环境中,尤其是在室内环境中,平面是常见的结构。我们通常可以使用少量的平面来表示一个大场景。因此,本文的主要目的是降低基于稀疏点的SLAM的高复杂度。我们建立了一个轻量级的后端地图,它由几个平面和地图点,以实现有效的光束法平差(BA)具有相同或更好的精度。我们使用单应性约束来消除优化中大量平面点的参数,降低BA的复杂度。通过分离单应性约束和点-面约束中的参数和测量值,并对测量值部分进行压缩,进一步有效地提高了BA的速度。我们还将平面信息集成到整个系统中,以实现鲁棒的平面特征提取、数据关联和全局一致的平面重建。最后,我们进行了烧蚀研究,并将我们的方法与模拟和真实环境数据中的类似方法进行了比较。该系统在准确性和效率上具有明显的优势。即使优化涉及平面参数,我们也通过使用平面结构有效地简化了后端映射。全局光束法平差比基于稀疏点的SLAM算法快近2倍。
2022-07-04 cs.CV cs.RO
Dynamic Dense RGB-D SLAM using Learning-based Visual Odometry
提出基于TartanVO的稠密动态RGB-D SLAM流水线,利用光流分割动静像素仅融合静态点,并重渲染去除动态像素后迭代回传以优化位姿估计。
2023-06-28 cs.CV cs.RO
Semantic SLAM with Autonomous Object-Level Data Association
Worcester Polytechnic Institute(伍斯特理工学院)
通常期望在同时定位与地图构建(SLAM)期间捕获和映射环境的语义信息。这样的语义信息可以使机器人能够更好地区分具有类似的低级几何和视觉特征的地方,并执行使用关于要操纵的对象和要导航的环境的语义信息的高级任务。虽然语义SLAM得到了越来越多的关注,但基于语义对象的语义级数据关联的研究很少,即,对象级数据关联。在本文中,我们提出了一种新的对象级的数据关联算法的基础上袋的词算法,制定为一个最大加权二分匹配问题。在解决了对象级数据关联的基础上,提出了一种基于二次规划的语义对象初始化方案,该方案采用对偶二次规划,并引入了附加约束以提高对象初始化的成功率。实验结果表明,该集成语义级SLAM系统可以实现高精度的对象级数据关联和实时语义映射。在线语义地图构建和语义级本地化能力促进了先验未知环境中的语义级映射和任务规划。
2020-11-20 cs.CV cs.RO
Object-Augmented RGB-D SLAM for Wide-Disparity Relocalisation
University of Bristol(布里斯托大学)
我们提出了一种新的对象增强的RGB-D SLAM系统,该系统能够构建一致的对象地图,并根据地图中对象的质心进行重新定位。该方法旨在克服使用点特征或图像的基于外观的重新定位方法的视图依赖性。在地图构建过程中,我们使用预先训练的神经网络来检测物体并从RGB-D数据中估计6D姿态。增量概率模型用于随时间聚合估计以创建对象映射。然后在重新定位中,我们使用相同的网络来提取“丢失”帧中的感兴趣对象。成对几何匹配发现地图和帧对象之间的对应关系,以及概率绝对定向,然后将迭代最近点应用于密集深度图和对象质心,从而提供重新定位。在桌面环境中的实验结果表明,即使是具有广泛不同的观点,从那些用来构建地图,显着优于两个外观为基础的方法帧非常高的成功率。
2021-08-05 cs.CV cs.RO
SLAM with Objects using a Nonparametric Pose Graph
Massachusetts Institute of Technology(麻省理工学院)
在未知环境中的映射和自定位是许多机器人应用中的基本能力。这些任务通常涉及将对象识别为独特特征或地标,这需要检测对象,然后为对象分配一个独特的标识符,当从不同的角度和在不同的图像中查看时,该标识符可以保持不变。\textit{data association}和\textit{simultaneous localization and mapping}(SLAM)问题在文献中分别得到了很好的研究。但这两个问题本质上是紧密相连的,而且还没有得到很好的解决。如果没有准确的SLAM,可能的数据关联是组合的,并且很容易变得难以处理。SLAM算法在没有精确数据关联的情况下,误差容易发散。本文提出了一种新的非参数姿态图模型数据关联和SLAM在一个单一的框架。进一步引入算法以在推断数据关联和执行SLAM之间交替。实验结果表明,我们的方法具有关联目标检测和定位对象在同一时间的新能力,导致显着更好的性能上的数据关联和SLAM问题比只考虑一个,忽略其他的缺陷。
2017-04-19 cs.CV cs.RO
Monocular Gaussian SLAM with Language Extended Loop Closure
Tsinghua University(清华大学)
本文提出MG-SLAM,一种单目高斯SLAM系统,通过3D高斯地图表示和基于CLIP特征的语言扩展回环闭合模块,实现漂移校正的跟踪与高保真重建,并在多个数据集上超越部分RGB-D方法。
2024-05-22 cs.CV
Fusion++: Volumetric Object-Level SLAM
Dyson Robotics Laboratory(戴森机器人实验室);Imperial College London(帝国理工学院)
我们提出了一个在线的对象级SLAM系统,建立一个持久的和准确的任意重建对象的3D图形地图。当RGB-D相机浏览杂乱的室内场景时,Mask-RCNN实例分割用于初始化具有对象大小相关分辨率和新颖的3D前景掩模的紧凑的每对象截断有符号距离函数(TSDF)重建。重建的对象存储在一个可优化的6DoF姿态图中,这是我们唯一的持久地图表示。对象通过深度融合逐步细化,并用于跟踪,重新定位和循环闭合检测。循环闭合导致对象实例的相对姿态估计的调整,但没有对象内扭曲。每个对象还携带语义信息,这些信息随着时间和存在概率的推移而细化,以说明虚假的实例预测。我们展示了我们的方法,从一个杂乱的办公室场景,大量和各种各样的对象实例的手持RGB-D序列,突出显示系统如何关闭循环,并充分利用现有的对象重复循环。我们定量地评估了我们的系统对RGB-D SLAM基准的基线方法的轨迹误差,并定性地比较了YCB视频数据集上发现的对象的重建质量。性能评估表明,我们的方法是高度的内存效率和运行在4- 8赫兹(不包括重新定位),尽管没有在软件层面上进行优化。
2018-08-28 cs.CV
Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文提出了一种视觉SLAM系统,使用点和线的鲁棒相机定位,同时进行分段平面重建(PPR)的环境,以提供实时的结构图。单目摄像机并行跟踪和映射的最大挑战之一是在重建几何图元时保持尺度一致。这进一步在光束法平差(BA)步骤的图形优化中引入困难。我们解决这些问题,提出了几个运行时的优化重建线和平面。我们的系统能够运行深度和立体传感器,除了单目设置。我们提出的SLAM紧密结合了语义和几何特征,以提高前端姿态跟踪和后端地图优化。我们在各种数据集上详尽地评估了我们的系统,并表明我们在轨迹精度方面优于最先进的方法。PLP-SLAM的代码已经以开源的形式提供给研究社区(https://github.com/PeterFWS/Structure-PLP-SLAM)。
2023-01-29 cs.CV cs.RO