Towards Real-Time Gaussian Splatting: Accelerating 3DGS through Photometric SLAM
Faculty of Systems Design Engineering, University of Waterloo(滑铁卢大学系统设计工程学院)
本文提出将3DGS与直接稀疏里程计(DSO)这一单目光度SLAM系统集成,利用DSO点云输出替代传统运动恢复结构方法,显著缩短高质量渲染所需的训练时间,从而推动3DGS集成SLAM系统在移动硬件上实现实时运行。
2024-08-07 cs.CV cs.RO
Visual SLAM: What are the Current Trends and What to Expect?
University of Luxembourg(卢森堡大学)
近年来,基于视觉的传感器在同时定位与地图构建(SLAM)系统中显示出显著的性能、精度和效率增益。在这方面,视觉同时定位与地图构建(VSLAM)方法是指采用相机进行姿态估计和地图生成的SLAM方法。我们可以看到许多研究工作表明,VSLAM可以优于传统方法,传统方法仅依赖于特定的传感器,例如激光雷达,即使成本较低。VSLAM方法利用不同的相机类型(例如,单眼、立体和RGB-D),已经在各种数据集上进行了测试(例如,KITTI、TUM RGB-D和EuRoC)和不同环境(例如,室内和室外),并采用多种算法和方法来更好地了解环境。所提到的变化使这个主题受到研究人员的欢迎,并导致了广泛的VSLAM方法。在这方面,本次调查的主要目的是介绍VSLAM系统的最新进展,并讨论现有的挑战和趋势。我们对VSLAM领域发表的45篇有影响力的论文进行了深入的文献调查。我们将这些手稿按不同的特征进行分类,包括新颖性领域,目标,采用的算法和语义水平。我们还讨论了当前的趋势和未来的方向,可能有助于研究人员调查他们。
2022-10-22 cs.CV cs.RO
Monocular Gaussian SLAM with Language Extended Loop Closure
Tsinghua University(清华大学)
本文提出MG-SLAM,一种单目高斯SLAM系统,通过3D高斯地图表示和基于CLIP特征的语言扩展回环闭合模块,实现漂移校正的跟踪与高保真重建,并在多个数据集上超越部分RGB-D方法。
2024-05-22 cs.CV
Attacking the Loop: Adversarial Attacks on Graph-based Loop Closure Detection
School of Computer Science, University of Auckland(奥克兰大学计算机科学学院);Institute for Medical Informatics, Statistics and Documentation, Medical University Graz(格拉茨医科大学医学信息学、统计学与文档学研究所);Callaghan Innovation(卡拉汉创新公司)
针对基于图的回环检测存在的安全漏洞,提出采用特征向量中心性扰动与SVM-RBF代理模型的黑盒对抗攻击框架Adversarial-LCD,实验证明其攻击性能与扰动选择效率均优于现有方法。
2023-12-12 cs.CV cs.RO
Monocular Rotational Odometry with Incremental Rotation Averaging and Loop Closure
School of Computer Science, University of Adelaide(阿德莱德大学计算机科学学院)
估计相机的绝对方位对于姿态估计任务是必不可少的。已建立的方法是首先执行视觉里程计(VO)或视觉SLAM(V-SLAM),并且从由VO或V-SLAM估计的相机姿态(6 DOF)检索相机取向(3 DOF)。除了在估计全6 DOF相机姿态中的冗余之外,该方法的一个缺点是由于对结构和运动的基本约束而对估计地图(3D场景点)连同6 DOF姿态的依赖性。为了简化绝对方向估计的任务,我们制定了单目旋转里程计问题,并设计了一个快速算法,以准确地估计相机的方向与2D-2D特征匹配单独。支撑我们的系统是一个新的增量旋转平均快速和恒定时间迭代更新方法。此外,我们的系统维护视图图,其1)允许求解环路闭合以移除相机定向漂移,以及2)可用于热启动V-SLAM系统。我们在真实世界的数据集上进行了大量的定量实验,以证明我们的增量相机方向求解器的准确性。最后,我们展示了我们的算法对V-SLAM的好处:1)解决已知的旋转问题来估计相机和周围地图的轨迹,以及2)使V-SLAM系统能够跟踪纯旋转运动。
2020-10-05 cs.CV
MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization
Northeastern University(东北大学);JangHo School of Architecture, Northeastern University(东北大学姜浩建筑学院);AstrumU(AstrumU公司)
该研究提出MGS-SLAM,通过联合优化稀疏视觉里程计与3D Gaussian Splatting,并结合MVS深度监督、深度平滑损失和SDAR,提升单目VSLAM的位姿估计、新视角合成与几何重建精度。
2024-09-10 cs.CV cs.RO
Accurate and Robust Scale Recovery for Monocular Visual Odometry Based on Plane Geometry
College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);Department of Electronic Engineering, The Chinese University of Hong Kong(香港中文大学电子工程系)
尺度模糊是单目视觉里程计中的一个基本问题。典型的解决方案包括闭环检测和环境信息挖掘。对于像自动驾驶汽车这样的应用,闭环并不总是可用的,因此从环境中挖掘先验知识成为一种更有前途的方法。在本文中,假设一个恒定的高度的相机在地面上,我们开发了一个轻量级的规模恢复框架,利用准确和强大的估计的地平面。该框架包括一个地面点提取算法,用于选择高质量的点在地平面上,和地面点聚合算法加入提取的地面点在一个局部滑动窗口。基于聚合的数据,最终通过使用基于RANSAC的优化器解决最小二乘问题来恢复规模。充足的数据和强大的优化器可实现高度准确的规模恢复。在KITTI数据集上的实验表明,该框架在平移误差方面可以达到最先进的精度,同时在旋转误差方面保持有竞争力的性能。由于轻量级设计,我们的框架还在数据集上展示了20Hz的高频。
2021-05-17 cs.CV
Pose Graph Optimization for Unsupervised Monocular Visual Odometry
The University of Tokyo(东京大学);RIKEN(理化学研究所)
基于无监督学习的单目视觉里程计(VO)因其无标签学习能力和对摄像机参数和环境变化的鲁棒性而受到广泛关注。然而,部分地由于缺乏漂移校正技术,这些方法仍然远不如用于大规模里程估计的几何方法准确。在本文中,我们提出利用图优化和环路闭合检测来克服基于无监督学习的单目视觉里程计的局限性。为此,我们提出了一个混合VO系统,它结合了一个无监督的单眼VO称为NeuralBundler与姿态图优化后端。NeuralBundler是一个神经网络架构,它使用时间和空间光度损失作为主要监督,并生成由多视图6DoF约束组成的窗口姿态图。我们提出了一种新的姿势周期一致性损失,以减轻紧张局势的窗口姿态图,从而提高性能和鲁棒性。在后端,全局姿态图是根据NeuralBundler估计的局部和循环6DoF约束构建的,并在SE(3)上进行优化。对KITTI里程计数据集的实证评估表明,1)NeuralBundler在无监督单目VO估计方面达到了最先进的性能,2)与已建立的单目SLAM系统相比,我们的整个方法可以实现有效的闭环,并显示出良好的整体平移精度。
2019-03-15 cs.CV
MinkLoc++: Lidar and Monocular Image Fusion for Place Recognition
Warsaw University of Technology(华沙理工大学);Tooploox
我们引入了一个歧视性的多模态描述符的基础上的一对传感器读数:从激光雷达的点云和RGB相机的图像。我们的描述符名为MinkLoc++,可用于机器人或自动驾驶汽车应用中的位置识别,重新定位和循环闭合目的。我们使用后期融合方法,其中每个模态被单独处理并在处理管道的最后部分融合。所提出的方法实现了国家的最先进的性能标准的地方识别基准。我们还确定了主导模态问题时,训练多模态描述符。当网络集中在对训练数据具有较大过拟合的模态时,问题就显现出来了。这在训练期间降低了损失,但导致评估集上的次优性能。在这项工作中,我们描述了如何使用深度度量学习方法来训练多模态神经网络时检测和减轻这种风险。我们的代码可在项目网站上公开获取:https://github.com/jac99/MinkLocMultimodal。
2021-04-14 cs.CV
LDSO: Direct Sparse Odometry with Loop Closure
Technical University of Munich(慕尼黑工业大学)
在本文中,我们提出了一个扩展的直接稀疏里程(DSO)的单目视觉SLAM系统与环闭合检测和姿态图优化(LDSO)。作为一种直接的技术,DSO可以利用任何具有足够强度梯度的图像像素,这使得它即使在无特征区域也具有鲁棒性。LDSO保留了这种鲁棒性,同时通过支持跟踪前端中的角特征来确保其中一些点的可重复性。这种可重复性允许用传统的基于特征的词袋(BoW)方法可靠地检测循环闭合候选。环闭合候选者被几何地验证,并且通过联合最小化2D和3D几何误差项来估计Sim(3)相对姿态约束。这些约束与从DSO的滑动窗口优化中提取的相对姿态的共视图融合。我们对公开数据集的评估表明,修改后的点选择策略保留了跟踪精度和鲁棒性,并且集成的姿态图优化显着减少了累积的旋转,平移和尺度漂移,从而使整体性能与最先进的基于特征的系统相当,即使没有全局光束平差。
2018-08-03 cs.CV
VINGS-Mono: Visual-Inertial Gaussian Splatting Monocular SLAM in Large Scenes
Academy for Engineering and Technology, Fudan University(复旦大学工程技术学院)
针对大场景单目SLAM需求,提出包含VIO前端、2D高斯地图等组件的VINGS-Mono框架,实现高精度定位与高质量建图渲染,支持公里级户外场景且可在移动端实时运行。
2025-01-14 cs.CV cs.RO
Monocular Object and Plane SLAM in Structured Environments
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种利用高层次目标和平面地标的单目同时定位与地图构建(SLAM)算法。与基于特征点的SLAM相比,所构建的地图更密集,更紧凑,更有语义意义。首先,我们提出了一个高阶图形模型,以联合推断的3D对象和布局平面从单一的图像考虑闭塞和语义约束。在统一的SLAM框架中,利用相机姿态进一步优化提取的对象和平面。与点相比,对象和平面可以提供更多的语义约束,例如曼哈顿平面和对象支持关系。在包括ICL NUIM和TUM Mono在内的各种公共和收集的数据集上的实验表明,与最先进的SLAM相比,我们的算法可以提高相机定位精度,特别是在没有循环闭合的情况下,并且在许多结构化环境中也可以生成密集的地图。
2019-06-28 cs.CV cs.RO
Virtual Testbed for Monocular Visual Navigation of Small Unmanned Aircraft Systems
Air Force Institute of Technology(空军理工学院)
单目视觉导航方法在过去十年中取得了重大进展,最近产生了几种实时解决方案,用于自主导航小型无人驾驶飞机系统,而无需依赖GPS。这对于可能涉及GPS信号降级或拒绝的环境的军事行动至关重要。然而,测试和比较视觉导航算法仍然是一个挑战,因为视觉数据是昂贵的收集。在进行户外测试之前,在虚拟环境中进行飞行测试是一个有吸引力的解决方案。这项工作提出了一个虚拟的测试平台进行模拟飞行测试,在现实世界的地形和分析的实时性能的视觉导航算法在31赫兹。创建该工具的目的是最终找到一种视觉里程计算法,该算法适用于在固定翼飞机上进一步进行GPS拒绝导航研究,尽管所有算法都是为其他模态设计的。该测试平台用于在固定翼平台上评估三种当前最先进的开源单眼视觉里程计算法:直接稀疏里程计、半直接视觉里程计和ORB-SLAM 2(禁用环路闭合)。
2020-07-01 cs.CV cs.RO
InfiniTAM v3: A Framework for Large-Scale 3D Reconstruction with Loop Closure
University of Oxford(牛津大学);Samsung Research America(三星美国研究院)
近年来,体模型已经成为3D场景的流行表示。导致其流行的一个突破是KinectFusion,它专注于使用RGB-D传感器进行3D重建。然而,单目SLAM也已经用非常类似的方法来解决。将重建体表示为TSDF导致了这些系统的GPU实现可以实现的大部分简单性和效率。然而,这种表示是内存密集型的,并限制了小规模重建的适用性。已经探索了几种途径来克服这一问题。为了总结它们并提供快速,灵活的3D重建管道,我们提出了一个新的,统一的框架,称为InfiniTAM。其想法是,相机跟踪、场景表示和新数据集成等步骤可以轻松替换并适应用户的需求。本报告描述了InfiniTAM v3(我们的InfiniTAM系统的第三个版本)的技术实施细节。我们添加了各种新功能,并对低级代码进行了大量增强,从而显着提高了我们的相机跟踪性能。我们期望最感兴趣的新功能是(i)一个强大的相机跟踪模块;(ii)Glocker等人的实现。的关键帧为基础的随机蕨类植物相机relocaliser;(iii)一种新的方法,以全球一致的TSDF为基础的重建,划分成刚性的子地图和优化它们之间的相对姿态的基础上,和(iv)凯勒等人的实施。的基于冲浪的重建方法。
2017-08-02 cs.CV
VGGT-Long: Chunk it, Loop it, Align it -- Pushing VGGT's Limits on Kilometer-scale Long RGB Sequences
本文提出VGGT-Long,通过分块处理、重叠对齐和轻量循环闭合优化,解决现有模型的可扩展性瓶颈,实现千米级户外环境的单目3D重建。
2026-03-16 cs.CV
GigaSLAM: Large-Scale Monocular SLAM with Hierarchical Gaussian Splats
Nankai University(南开大学);Nanjing University Suzhou Campus(南京大学苏州校区)
本文提出GigaSLAM,一种结合分层稀疏体素高斯表示、度量深度跟踪与词袋回环的单目SLAM框架,实现千米级无边界室外场景的高精度定位与高保真渲染。
2025-06-10 cs.CV cs.RO
Loop-box: Multi-Agent Direct SLAM Triggered by Single Loop Closure for Large-Scale Mapping
Hong Kong University of Science and Technology(香港科技大学);University of California, San Diego(加利福尼亚大学圣地亚哥分校);ATG Robotics(ATG机器人技术公司);University of Bristol(布里斯托大学);Bristol Robotics Laboratory(布里斯托机器人实验室)
在本文中,我们提出了一个多智能体框架的实时大规模三维重建应用。在SLAM中,研究人员通常在应用非线性姿态图优化技术后构建和更新3D地图。此外,许多多智能体系统使用来自附加传感器的里程计信息。这些方法通常涉及密集的计算机视觉算法,并且与各种传感器紧密耦合。我们开发了一个通用的方法,在多智能体三维映射的关键挑战性的情况下,基于不同的相机系统。所提出的框架执行积极的本地化每个代理之间的第一个循环关闭后。结果表明,该系统只使用单目摄像机产生实时多智能体大规模定位和3D全局映射。基于初始匹配,我们的系统可以计算多个3D地图之间的最佳比例差,然后估计一个精确的相对姿态变换,用于大规模的全球映射。
2020-09-29 cs.CV cs.RO
DK-SLAM: Monocular Visual SLAM with Deep Keypoint Learning, Tracking and Loop-Closing
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学学院)
DK-SLAM提出一种结合MAML优化关键点网络、由粗到细跟踪及在线二进制特征回环检测的单目视觉SLAM,在公开数据集上超越ORB-SLAM3等系统,提升复杂环境下的定位精度与鲁棒性。
2024-06-25 cs.CV cs.RO
Look Up and Look Back: Hidden Attention and Latent Orientation in a Frozen Foundation Model for Panoramic SLAM
该研究针对全景SLAM的相机倾斜、尺度漂移等问题,基于冻结全景几何基础模型的隐式线索提出HALO-SLAM,在五个基准的125个序列上实现100%序列成功率,ATE显著优于现有方法。
2026-08-04 cs.CV