MR-SLAM: Immersive Spatial Supervision for Multi-Robot Mapping via Mixed Reality
University of Bern, Bern, Switzerland(伯尔尼大学);AI4I -- The Italian Institute of Artificial Intelligence, Turin, Italy(意大利人工智能研究所)
本文提出MR-SLAM系统,利用混合现实技术实现多机器人SLAM的沉浸式空间监督,通过实时可视化和空间锚定面板提升多机器人定位与建图效率。
2026-05-14 cs.AI cs.HC cs.RO
Collaborative Augmented Reality on Smartphones via Life-long City-scale Maps
Blue Vision Labs;Lyft Level 5
在本文中,我们提出了第一个发布的端到端的生产计算机视觉系统,为城市规模的移动设备上的共享增强现实的经验。在这样做的过程中,我们提出了一个新的配方为基于经验的映射框架作为一个有效的解决方案,城市规模的SLAM的可扩展性,鲁棒性,地图更新和生产系统所需的全天候性能的关键问题。此外,我们提出了一种同步SLAM系统的有效方法,以同时提供多个边缘设备的无缝实时定位。所有这一切都存在网络延迟和带宽限制。由此产生的系统在旧金山进行了大规模部署和测试,在数百公里的地图区域内提供AR体验。为了促进这一领域的进一步发展,我们向公众提供了数据集,构成了迄今为止最大的此类数据集。
2020-11-10 cs.CV cs.RO
Keyframe-based monocular SLAM: design, survey, and future directions
American University of Beirut(贝鲁特美国大学);University of Waterloo(滑铁卢大学)
在过去的十五年中,在单目SLAM领域的广泛研究已经产生了可行的系统,这些系统在机器人和增强现实的各种应用中找到了自己的方式。虽然基于滤波器的单目SLAM系统在某个时候很常见,但更有效的基于关键帧的解决方案正在成为构建单目SLAM系统的事实上的方法。本文的目的是三方面的:首先,该文件作为一个指导方针,人们寻求设计自己的单目SLAM根据特定的环境限制。其次,它提出了一项调查,涵盖了各种基于关键帧的单目SLAM系统在文献中,详细介绍了其实施的组成部分,并严格评估在每个建议的解决方案的具体策略。第三,本文提供了洞察未来的研究方向在这一领域,解决单目SLAM仍然面临的主要限制,即,在光照变化,初始化,高度动态运动,纹理不良的场景,重复纹理,地图维护和故障恢复的问题。
2018-01-07 cs.CV cs.RO
Keeping Less is More: Point Sparsification for Visual SLAM
Mobiltech(美孚科技(注:Mobiltech暂无统一标准译名,此为常见音译/意译参考));Bobidi(博比迪(注:Bobidi暂无统一标准译名,此为音译参考))
在将同步地图构建与定位(SLAM)应用于自动驾驶汽车、无人机和增强现实设备等实际应用时,其内存占用和计算成本是限制性能和应用范围的两个主要因素。在基于稀疏特征的SLAM算法中,解决该问题的一种有效方法是通过选择可能对局部和全局光束法平差(BA)有用的点来限制地图点的大小。这项研究提出了一种有效的图形优化稀疏地图点SLAM系统。具体来说,我们制定了一个最大的姿态可见性和最大的空间多样性问题作为一个最小成本最大流图优化问题。所提出的方法作为现有SLAM系统中的附加步骤,因此它可以用于传统的或基于学习的SLAM系统。通过大量的实验评估,我们证明了所提出的方法实现了更准确的相机姿态与约1/3的地图点和1/2的计算。
2022-11-03 cs.CV cs.RO
Augmented Reality Interfaces for Human-Robot Collaboration: Development of a ROS 2-Based Sensor Streaming Framework and Validation via SLAM Algorithms
本文开发了连接Magic Leap 2与ROS 2的传感器流框架,经SLAM算法验证,实现稳定数据传输,支持人机协作中的实时交互与空间感知。
2026-09-28 cs.RO
CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene Representations
Dyson Technology Ltd.(戴森技术有限公司);Imperial College London(帝国理工学院)
我们提出了一种新的密集映射框架稀疏视觉SLAM系统,利用紧凑的场景表示。最先进的稀疏视觉SLAM系统提供对相机轨迹和地标位置的准确且可靠的估计。虽然这些稀疏地图对于定位是有用的,但它们不能用于其他任务,例如避障或场景理解。在本文中,我们提出了一个密集的映射框架,以补充稀疏的视觉SLAM系统,作为输入的相机姿势,关键帧和稀疏点产生的SLAM系统,并预测密集的深度图像的每个关键帧。我们建立在CodeSLAM上,并使用变分自编码器(VAE),其条件是来自稀疏SLAM的强度、稀疏深度和重投影误差图像,以预测不确定性感知的密集深度图。VAE的使用使我们能够通过多视图优化来细化密集的深度图像,这提高了重叠帧的一致性。我们的映射器运行在一个单独的线程并行的SLAM系统在一个松散耦合的方式。这种灵活的设计允许与任意度量的稀疏SLAM系统集成,而不会延迟主SLAM过程。我们的稠密映射器不仅可以用于局部映射,而且可以通过TSDF融合进行全局一致的稠密3D重建。我们展示了我们的系统与ORB-SLAM 3运行,并显示准确的密集深度估计,可以使应用程序,如机器人和增强现实。
2021-07-19 cs.CV cs.RO
SEER-VAR: Semantic Egocentric Environment Reasoner for Vehicle Augmented Reality
针对第一人称车载增强现实,提出SEER-VAR框架,通过语义分解、上下文感知SLAM分支及LLM推荐动态分离座舱与道路场景,引入EgoSLAM-Drive数据集,提升空间对齐与AR渲染效果,增强场景理解与驾驶体验。
2025-08-24 cs.CV cs.RO
Constructing Category-Specific Models for Monocular Object-SLAM
IIIT Hyderabad(印度国际信息技术学院海得拉巴分校);Tata Consultancy Services(塔塔咨询服务公司)
我们提出了一个新的范例,实时面向对象的SLAM与单目摄像机。相反,以前的方法,依赖于对象级模型,我们构建类别级模型,从CAD集合,现在广泛使用。为了减轻对大量标记数据的需求,我们开发了一个渲染管道,可以从有限数量的手动标记数据中合成大型数据集。使用这样合成的数据,我们学习3D中对象变形的类别级模型,以及2D中有区别的对象特征。这些类别模型是独立于实例的,并且有助于设计可以被并入通用单目SLAM框架中的对象地标观测。在典型的对象SLAM方法通常仅解决对象和相机姿势的情况下,我们还可以动态估计对象形状,从而允许场景中存在类别中的各种对象。此外,由于我们的2D对象特征是有区别地学习的,因此所提出的对象-SLAM系统在基于稀疏特征的单目SLAM由于特征不足或视差而失败的几种情况下成功。此外,所提出的类别模型有助于对象实例检索,这对于增强现实(AR)应用是有用的。我们评估了多个具有挑战性的现实世界的场景,并显示-据我们所知-第一个独立于实例的单目对象SLAM系统的结果和它享有的好处基于特征的SLAM方法。
2018-02-26 cs.CV cs.RO
DynaSLAM II: Tightly-Coupled Multi-Object Tracking and SLAM
Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究所(I3A));Universidad de Zaragoza(萨拉戈萨大学)
场景刚性假设是视觉SLAM算法中常见的假设。然而,它限制了它们在人口稠密的现实世界环境中的适用性。此外,包括自动驾驶、多机器人协作和增强/虚拟现实在内的大多数场景都需要周围环境的明确运动信息,以帮助决策和场景理解。我们在本文中提出的DynaSLAM II,立体和RGB-D配置,紧密集成了多目标跟踪能力的视觉SLAM系统。DynaSLAM II利用实例语义分割和ORB特征来跟踪动态对象。静态场景和动态对象的结构与摄像机和移动代理的轨迹一起优化,在一个新的束调整建议。对象的3D边界框也被估计并且在固定的时间窗口内被松散地优化。我们证明,跟踪动态对象不仅提供了丰富的线索,场景理解,但也有利于相机跟踪。项目代码将在验收后发布。
2020-10-15 cs.CV cs.RO
Dynamic Visual SLAM using a General 3D Prior
Center for Robotics, University of Bonn(博恩大学机器人中心);MAVLab, TU Delft(代尔夫特理工大学MAVLab);Lamarr Institute for Machine Learning and Artificial Intelligence(兰玛尔人工智能与机器学习研究所)
本文提出一种利用通用3D先验的单目视觉SLAM系统,通过结合前馈重建模型与集束调整,提升动态场景中相机姿态估计的鲁棒性。
2025-12-07 cs.CV cs.RO
EM-Fusion: Dynamic Object-Level SLAM with Probabilistic Data Association
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
大多数使用RGB-D相机获取密集3D环境地图的方法都假设静态环境或拒绝将移动对象作为异常值。然而,移动对象的表示和跟踪在机器人技术或增强现实中具有重要的应用潜力。在本文中,我们提出了一种新的方法,动态SLAM密集对象级表示。我们表示刚性物体在本地体积签署的距离函数(SDF)的地图,并制定多目标跟踪的RGB-D图像与SDF表示的直接对齐。我们的主要新颖性是一个概率公式,自然导致数据关联和遮挡处理的策略。我们在实验中分析了我们的方法,并证明了我们的方法与最先进的方法相比,在鲁棒性和准确性。
2020-11-24 cs.CV cs.RO
MAGiC-SLAM: Multi-Agent Gaussian Globally Consistent SLAM
University of Amsterdam(阿姆斯特丹大学)
针对现有SLAM系统单智能体局限及多智能体方法的不足,提出MAGiC-SLAM,采用刚性可变形3D高斯场景表示,结合新跟踪和地图合并机制,在合成与真实数据集上实现更精准、更快的多智能体全局一致SLAM。
2024-11-25 cs.AI cs.CV cs.RO
Inertial Guided Uncertainty Estimation of Feature Correspondence in Visual-Inertial Odometry/SLAM
Korea University(高丽大学)
针对视觉惯性里程计/SLAM中特征匹配易受图像退化影响的问题,提出惯性引导的特征匹配不确定性估计方法,通过构建引导分布拟合图像误差能量函数提升鲁棒性,并在公开数据集上验证了有效性。
2023-11-07 cs.CV cs.RO
Lost in Tracking Translation: A Comprehensive Analysis of Visual SLAM in Human-Centered XR and IoT Ecosystems
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Steg AI;University of Utah(犹他大学)
本文系统评估了视觉SLAM跟踪算法在自动驾驶、无人机和人类等IoT与XR应用中的跨场景泛化能力,揭示现有方法无法跨应用和场景通用,并提出基于输入特征化、中间信息利用和输出评估的改进思路。
2025-07-17 cs.CV cs.RO
CudaSIFT-SLAM: multiple-map visual SLAM for full procedure mapping in real human endoscopy
Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究所);Universidad de Zaragoza(萨拉戈萨大学)
针对人体结肠镜中视觉SLAM频繁跟踪丢失的问题,提出CudaSIFT-SLAM,采用SIFT特征和暴力匹配替代ORB和DBoW2,实现实时多地图建图与重定位,显著提升建图覆盖率。
2024-05-27 cs.CV cs.RO
PAS-SLAM: A Visual SLAM System for Planar Ambiguous Scenes
School of Electronic Information and Electrical Engineering, Dalian University of Technology(大连理工大学电子信息与电气工程学部);Department of Automation, Tsinghua University(清华大学自动化系);School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院)
提出PAS-SLAM系统,通过融合语义信息的平面处理、集成多源信息的数据关联及多约束因子图优化,有效解决了平面歧义场景下视觉SLAM定位与建图精度差的问题。
2024-02-09 cs.CV cs.RO
Object SLAM-Based Active Mapping and Robotic Grasping
Northeastern University(东北大学);The Chinese University of Hong Kong(香港中文大学);Ulster University(阿尔斯特大学)
本文提出了复杂的机器人操作和自主感知任务的第一个主动对象映射框架。该框架是建立在一个对象SLAM系统集成了一个同时的多目标姿态估计过程,优化机器人抓取。为了降低目标物体的观测不确定性,提高其位姿估计精度,设计了一种物体驱动的探测策略来指导物体映射过程,实现自主映射和高层次感知。结合映射模块和探索策略,可以生成与机器人抓取兼容的精确对象地图。此外,定量评估还表明,所提出的框架具有很高的映射精度。实验操作(包括对象抓取和放置)和增强现实显着证明了我们提出的框架的有效性和优势。
2021-10-16 cs.CV cs.RO
SLAMBench2: Multi-Objective Head-to-Head Benchmarking for Visual SLAM
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);University of Manchester(曼彻斯特大学);Stanford University(斯坦福大学)
SLAM正在成为机器人和增强现实(AR)系统的关键组件。虽然已经提出了大量的SLAM算法,但几乎没有努力统一这些算法的接口,或者对它们的能力进行整体比较。这是一个问题,因为不同的SLAM应用可能具有不同的功能和非功能要求。例如,基于手机的AR应用具有严格的能量预算,而UAV导航系统通常需要高精度。SLAMBench 2是一个基准测试框架,用于评估现有和未来的SLAM系统,包括开源和闭源,通过可扩展的数据集列表,同时使用可比较和明确指定的性能指标列表。支持各种现有的SLAM算法和数据集,例如ElasticFusion,InfiniTAM,ORB-SLAM 2,OKVIS,并且集成新的算法和数据集是直接的,并且由框架明确指定。SLAMBench 2是一个公开的软件框架,它代表了定量,可比和可验证的实验研究的起点,以调查跨SLAM系统的权衡。
2018-08-21 cs.RO
HERO-SLAM: Hybrid Enhanced Robust Optimization of Neural SLAM
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);Baidu Research(百度研究院)
本文提出HERO-SLAM,结合神经隐式场与特征度量优化,通过多分辨率隐式场优化提升神经SLAM在视角突变或数据稀疏环境中的鲁棒性。
2024-07-26 cs.RO
PointSLAM++: Robust Dense Neural Gaussian Point Cloud-based SLAM
PointSLAM++通过分层约束神经高斯表示和动态神经图实现高精度三维重建与逼真渲染,优于现有SLAM方法。
2026-01-10 cs.CV cs.GR cs.RO
RootSLAM: Square Root Bundle Adjustment for Visual-Inertial SLAM
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);National University of Rosario(罗萨里奥国立大学);CIFASIS (CONICET-UNR)(CIFASIS(CONICET-UNR))
本研究提出基于Basalt的RootSLAM视觉-惯性SLAM系统,通过适配平方根光束平差法实现,精度与顶尖水平相当且速度快达20倍,将开源相关组件以助力资源受限环境的感知系统部署。
2026-10-14 cs.CV cs.RO
SLAM Backends with Objects in Motion: A Unifying Framework and Tutorial
University of California, Berkeley(加州大学伯克利分校)
同时定位与地图构建(SLAM)算法经常被部署以支持广泛的机器人应用,诸如未知环境中的自主导航和虚拟现实中的场景映射。这些应用中的许多需要自主智能体在高度动态的场景中执行SLAM。为此,本教程将最近推出的基于优化的统一SLAM后端框架扩展到具有移动对象和功能的环境。使用这个框架,我们认为在动态SLAM的最新进展的和解。此外,我们提出了动态EKF SLAM:一种新的,基于过滤的动态SLAM算法从我们的框架中产生,并证明了它在数学上相当于一个直接扩展的经典EKF SLAM算法的动态环境设置。仿真实验结果表明,动态EKF SLAM算法具有较高的定位精度和运动目标姿态估计精度,以及较高的地图精度,且效率较高。
2023-02-28 cs.RO cs.SY eess.SY
Offline and Online calibration of Mobile Robot and SLAM Device for Navigation
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所);Microsoft(微软)
需要机器人导航技术来完成各种环境中的困难任务。在导航中,需要了解外界环境的信息以及机器人在环境中的状态。另一方面,已经对SLAM技术进行了各种研究,SLAM技术也用于导航,但也应用于混合现实等的设备。在本文中,我们提出了一种机器人设备校准方法,用于使用机器人上的SLAM技术的设备进行导航。通过使用机器人和设备给出的位置和方向信息来执行校准。在标定过程中,根据机器人运动的约束条件,明确了最有效的运动方式。此外,我们还展示了一种方法来动态校正的位置和方向的机器人,使外部环境的信息和机器人的形状信息保持一致性,以减少在导航过程中发生的动态误差。我们的方法可以很容易地用于各种类型的机器人和定位与足够的导航精度是可能的离线校准和在线位置校正。在实验中,我们确定了由两种类型的离线校准获得的参数,根据自由度的机器人的运动和在线校正方法的有效性,通过绘制局部位置误差在机器人的激烈运动。最后,我们展示了使用SLAM设备的导航演示。
2018-04-13 cs.CV cs.RO
SLAM assisted 3D tracking system for laparoscopic surgery
United Imaging Research Institute of Intelligent Imaging(联影智能影像研究院);University of Michigan(密歇根大学);United Imaging(联影医疗);United Imaging of Surgery(联影外科研究院)
针对微创手术中靶器官内部结构定位难的问题,本研究改进ORB-SLAM2框架,结合3D形状先验与伪分割策略,提出实时单目3D跟踪算法,经体内外实验验证可鲁棒应对多种手术场景挑战。
2024-09-18 cs.CV cs.RO
PanoSLAM: Panoptic 3D Scene Reconstruction via Gaussian SLAM
The University of Sydney(悉尼大学);The University of Hong Kong(香港大学);ShanghaiTech University(上海科技大学);The University of Melbourne(墨尔本大学);Texas A&M University(德克萨斯农工大学)
PanoSLAM首次在统一SLAM框架中融合几何重建、三维语义与实例分割,通过时空提升模块将二维全景预测优化为一致的三维高斯表示,实现开放世界环境的全景三维重建。
2024-12-31 cs.CV cs.RO
An Object SLAM Framework for Association, Mapping, and High-Level Tasks
Northeastern University(东北大学);The Chinese University of Hong Kong(香港中文大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院)
针对现有物体SLAM在数据关联、建图等方面的不足,提出含集成关联、抗外点物体建模、语义拓扑地图及主动探索的完整框架,经多场景验证性能高效。
2023-05-12 cs.CV cs.RO
RGB-D Odometry and SLAM
I3A, Universidad de Zaragoza(萨拉戈萨大学I3A)
现代RGB-D传感器的出现对许多应用领域产生了重大影响,包括机器人、增强现实(AR)和3D扫描。它们是LiDAR等传统距离传感器的低成本、低功耗和小尺寸替代品。此外,与RGB相机不同,RGB-D传感器提供额外的深度信息,消除了3D场景重建中逐帧三角测量的需要。这些优点使它们在移动机器人和AR中非常受欢迎,其中估计自我运动和3D场景结构非常感兴趣。这种空间理解可以使机器人能够自主导航而不会发生碰撞,并允许用户插入与图像流一致的虚拟实体。在本章中,我们将回顾里程计和使用RGB-D流输入的同时定位与地图构建(以其首字母缩写SLAM而闻名)的常见公式。这两个主题是密切相关的,因为前者的目的是跟踪增量相机运动相对于局部地图的场景,和后者共同估计相机轨迹和全局地图的一致性。在这两种情况下,标准方法使用非线性优化技术来最小化成本函数。第一部分介绍了里程计和SLAM的基本概念,并介绍了RGB-D传感器的使用。我们还给出了与大多数里程计和SLAM算法相关的数学表达式。在第二部分中,我们详细介绍了SLAM系统的三个主要组成部分:相机姿态跟踪,场景映射和闭环。对于每个组件,我们描述了文献中提出的不同方法。在最后一部分中,我们提供了一个简短的讨论先进的研究课题与国家的最先进的参考。
2020-01-19 cs.CV cs.RO
MASt3R-Fusion: Integrating Feed-Forward Visual Model with IMU, GNSS for High-Functionality SLAM
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院)
针对现有前馈点图回归SLAM未融合多传感器信息的不足,提出紧耦合IMU、GNSS的MASt3R-Fusion框架,通过分层因子图实现实时高精度全局一致建图,性能优于现有同类系统。
2025-11-16 cs.CV cs.RO
Distributed Client-Server Optimization for SLAM with Limited On-Device Resources
Facebook Reality Labs Research(Facebook Reality Labs 研究院);College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
同时定位与地图构建(SLAM)是探索机器人和虚拟/增强现实(VR/AR)设备的关键功能。然而,具有有限资源的此类装置中的一些无法负担运行完整SLAM算法的计算或存储器成本。我们提出了一个通用的客户-服务器的【形】SLAM优化框架,实现了准确的实时状态估计的设备上的低要求的板载资源。资源有限的设备(客户端)只处理地图的一小部分,地图的其余部分由服务器处理。通过向客户端发送地图的其余部分的汇总信息,设备上的状态估计更准确。在存在设备上的早期循环闭包的情况下,实现了准确性的进一步提高,这使得能够将有用的变量从服务器重新加载到客户端。实验结果表明,该优化框架能够在设备计算量和内存预算有限的情况下实现实时的精确估计。
2021-03-26 cs.RO
Augmenting Visual SLAM with Wi-Fi Sensing For Indoor Applications
University at Buffalo(布法罗大学);University of Southern California(南加利福尼亚大学)
最近的趋势加速了移动设备和机器人上的空间应用的发展。这些包括导航、增强现实、人机交互等。这种应用的关键技术是了解设备的位置和周围环境的地图。这个通用的问题,被称为同时定位与地图构建(SLAM),是机器人技术中广泛研究的主题。然而,视觉SLAM算法面临着一些挑战,包括感知混淆和高计算成本。这些挑战影响视觉SLAM算法的准确性、效率和可行性,特别是对于长期SLAM,以及它们在资源受限的移动设备中的使用。一个平行的趋势是,在大多数城市环境中,用于快速互联网接入的Wi-Fi路由器无处不在。大多数机器人和移动设备也配备了Wi-Fi无线电。我们提出了一种利用Wi-Fi接收信号强度来缓解视觉SLAM算法所面临的挑战的方法。为了证明这一想法的实用性,这项工作做出了以下贡献:(i)我们提出了一种将Wi-Fi传感集成到视觉SLAM算法中的通用方法,(ii)我们将这种传感集成到三种众所周知的SLAM算法中,(iii)使用四个不同的数据集,我们证明了这种增强的性能相比,原来的视觉算法和(iv)我们比较我们的工作Wi-Fi增强的FABMAP算法。总体而言,我们表明,我们的方法可以将视觉SLAM算法的准确性平均提高11%,并将计算时间平均减少15%至25%。
2019-03-15 cs.RO
GLidE-SLAM: GL-Accelerated Indirect-Direct Embedded SLAM
University of Konstanz(康斯坦茨大学)
针对嵌入式设备部署Visual SLAM的挑战,GLidE-SLAM提出单目混合间接-直接框架,通过架构分离,利用并行图像对齐操作及OpenGL ES 3.1计算着色器实现GPU加速直接跟踪,提升帧率,保持精度,改善在资源受限硬件上的部署。
2026-07-21 cs.RO
MaskFusion: Real-Time Recognition, Tracking and Reconstruction of Multiple Moving Objects
University College London(伦敦大学学院)
我们提出了MaskFusion,一个实时的【形】,对象感知,语义和动态的RGB-D SLAM系统,超越了传统的系统,输出一个静态场景的纯几何地图。MaskFusion识别、分割并为场景中的不同对象分配语义类标签,同时跟踪和重建它们,即使它们独立于相机移动。当RGB-D相机扫描混乱的场景时,基于图像的实例级语义分割会创建语义对象掩模,从而实现实时的【形】识别并创建世界地图的对象级表示。与以前基于运动的SLAM系统不同,MaskFusion不需要它可以识别的对象的已知模型,并且可以处理多个独立的运动。MaskFusion充分利用了使用实例级语义分割来使语义标签能够融合到对象感知地图中,这与执行体素级语义分割的最近启用语义的SLAM系统不同。我们展示了增强现实应用程序,展示了MaskFusion输出的地图的独特功能:实例感知,语义和动态。
2018-10-22 cs.CV cs.RO
SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM
CMU(卡内基梅隆大学);MIT(麻省理工学院)
本文提出 SplaTAM,用显式 3D 高斯体素表示及在线跟踪、建图系统,从无位姿 RGB-D 序列实现高保真稠密 SLAM,多项任务性能最高提升至 2 倍。
2024-04-16 cs.AI cs.CV cs.RO
A Neurosymbolic Approach to Adaptive Feature Extraction in SLAM
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Utah(犹他大学);Steg AI(斯特格人工智能公司)
提出神经符号特征提取方法nFEX,通过领域特定语言与符号推理自适应选择特征提取器并优化参数,使SLAM位姿误差最高降低90%,显著提升系统对新环境的适应能力。
2024-08-27 cs.CV cs.RO cs.SC
VOOM: Robust Visual Object Odometry and Mapping using Hierarchical Landmarks
School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械工程学院);Yangtze Delta Region Academy of Beijing Institute of Technology(北京理工大学长三角研究院);College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学学院)
本文提出VOOM框架,以从粗到细方式融合高层物体与低层特征点作为分层地标,改进对偶二次曲面观测模型与数据关联,并利用物体信息增强特征点关联和局部光束法平差,在定位精度上优于ORB-SLAM2等系统。
2024-02-26 cs.CV cs.RO
A Hybrid Learner for Simultaneous Localization and Mapping
同时定位与地图构建(SLAM)技术是根据运动平台的位置坐标和物理环境的精确映射来预测运动平台的动态运动路径。SLAM在增强现实(AR)、自动驾驶汽车(即自动驾驶汽车)、无人机、自主导航机器人(ANR)等领域具有巨大的潜力。这项工作介绍了一种混合学习模型,探索超越特征融合,并进行多模态权重缝合策略,以提高基线SLAM算法的性能。通过对不同深度网络的顶层进行变异,实现SLAM前端特征提取器的权值增强。同时,来自独立训练的模型的轨迹预测被合并以细化位置细节。因此,在混合学习框架下的前述早期和晚期融合技术的集成使SLAM模型的平移和旋转误差最小化。本研究利用一些著名的深度学习(DL)架构,包括ResNet18、ResNet34、ResNet50、ResNet101、VGG16、VGG19和AlexNet进行实验分析。大量的实验分析证明,混合学习器(HL)取得了显着更好的效果比单峰方法和多模态方法与早期或晚期融合策略。因此,人们发现,在这项工作中所采取的阿波罗景观数据集从来没有在文献中使用的SLAM融合技术,这使得这项工作的独特性和洞察力。
2021-01-04 cs.LG cs.RO
SHARE: Towards Head-Mounted AR with User-Centric SLAM in Shared Human-Robot Workspaces
Duke University(杜克大学)
研究针对共享人机工作空间中现有多智能体SLAM系统忽略异构智能体不同延迟要求的问题,设计实现SHARE系统。该系统以用户为中心,构建体验模型并调整传输优先级,利用视觉特征冗余降低延迟,实际部署效果良好,提升了用户感知。
2026-07-28 cs.HC cs.RO
DROID-ANCHOR: Odometry-Anchored Recurrent Metric Depth Estimation
UC Berkeley(加州大学伯克利分校)
研究针对单目系统尺度问题,提出Metric-DROID架构,通过集成里程计,利用LSTM更新算子、不确定性感知度量后端及选择性残差微调策略,实现视觉SLAM与物理现实锚定,有效解决尺度模糊等问题。
2026-07-21 cs.CV cs.RO
PlaneSegNet: Fast and Robust Plane Estimation Using a Single-stage Instance Segmentation CNN
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心)
室内场景中的平面区域的实例分割有益于视觉SLAM和诸如增强现实(AR)的其他应用,其中需要场景理解。建立在两阶段框架上的现有方法表现出令人满意的准确性,但受到低帧速率的限制。在这项工作中,我们提出了一种实时深度神经架构,可以从单个RGB图像中估计分段平面区域。我们的模型采用快速单级CNN架构的变体来分割平面实例。考虑到检测目标的特殊性,提出了快速特征非最大值抑制算法(FF-NMS),以减小平面包围盒重叠带来的抑制误差。我们还利用了特征金字塔网络(FPN)中的残差特征增强模块。我们的方法实现了显着更高的帧速率和可比的分割精度对两阶段的方法。我们自动将来自斯坦福2D-3D-Semantics数据集的70,000多张图像标记为地面实况。此外,我们将我们的方法与最先进的平面SLAM,并验证其好处。
2021-03-29 cs.CV cs.RO
Scale jump-aware pose graph relaxation for monocular SLAM with re-initializations
ShanghaiTech University(上海科技大学);Midea Robozone(美的机器人与自动化事业部)
针对单目SLAM重初始化时帧间相对尺度未知的问题,提出结合常规相似性约束与尺度盲约束的混合位姿图松弛方法,可在多次重初始化下恢复全局一致轨迹。
2023-07-23 cs.RO
A 3D Mixed Reality Interface for Human-Robot Teaming
ETH Zürich(苏黎世联邦理工学院);Microsoft Mixed Reality Lab(微软混合现实实验室)
本研究提出一种混合现实人机协作系统,含实时多智能体视觉SLAM建图与拖放式控制模块,可实现非视距机器人定位、3D地图叠加可视化及远程位姿控制,经用户研究和实部署验证,相关应用已开源。
2023-10-03 cs.RO
Integration of a Balanced Virtual Manikin in a Virtual Reality Platform aimed at Virtual Prototyping
这里提出的工作是旨在引入一个虚拟人控制器的虚拟原型框架。在简要介绍了本文所解决的问题后,我们描述了在并行工程的背景下,数字人的兴趣。这使我们能够绘制一个控制架构,以实时沉浸的方式驱动虚拟人,并通过动作捕捉与产品进行交互。不幸的是,我们发现这种控制方案可能会导致不可行的运动,因为缺乏平衡控制。引入这样的控制器是一个在实时环境中从未解决的问题。我们提出了一个平衡控制器的实现,我们插入到前面描述的控制方案。下一节专门展示我们获得的结果。最后,我们提出了一个虚拟现实平台,其中集成的数字字符控制器。
2007-07-24 cs.RO
Augmented Reality without Borders: Achieving Precise Localization Without Maps
Magic Leap, Switzerland(瑞士 Magic Leap)
本文提出MARLoc框架,利用序列内三角化生成3D-2D对应关系,无需预建地图即可实现AR精确定位,在动态户外环境中表现优越。
2025-01-18 cs.RO
Simulation Framework for Mobile Robots in Planetary-Like Environments
University of Padova(帕多瓦大学);DLR(德国航空航天中心)
在本文中,我们提出了一个仿真框架的机器人平台的导航和定位性能的评估。该模拟器基于ROS(机器人操作系统)Gazebo,目标是一个类似行星的研究车辆,可以测试特定环境条件下的各种感知和导航方法。模拟任意传感器设置的可能性,包括相机,LiDAR(光探测和测距)和IMU,使Gazebo成为快速原型制作的优秀资源。在这项工作中,我们评估了各种开源的视觉和激光雷达SLAM(同时定位与地图构建)算法在模拟火星环境。数据集是通过驾驶漫游车和记录传感器输出以及地面实况来捕获的,用于精确的性能评估。
2020-06-17 cs.RO
Navigating the Landscape for Real-time Localisation and Mapping for Robotics and Virtual and Augmented Reality
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);University of Manchester(曼彻斯特大学);Stanford University(斯坦福大学)
在低功耗下对3D环境进行实时的【形】视觉理解是一个巨大的计算挑战。它通常被称为SLAM(同步定位和地图),是家用和工业机器人、自动驾驶汽车、虚拟和增强现实等应用的核心。本文描述了一项重大研究工作的结果,该研究工作旨在通过支持应用专家选择和配置适当的算法和适当的硬件以及编译路径,来组装实现SLAM交付所需的算法、架构、工具和系统软件,以满足其性能、准确性和能耗目标。我们提出的主要贡献是(1)用于SLAM算法的系统定量评估的工具和方法,(2)关于多个目标的算法和实现设计空间的自动化,机器学习引导的探索,(3)端到端仿真工具,以实现针对各种SLAM算法方法的特定算法要求的异构加速架构的优化,以及(4)用于在受管的、JIT编译的、自适应的运行时上下文中在适当的情况下交付加速的、自适应的SLAM解决方案的工具。
2018-08-20 cs.CV cs.LG cs.RO
RO-MAP: Real-Time Multi-Object Mapping with Neural Radiance Fields
School of Automation Engineering, University of Electronic Science and Technology of China(电子科技大学自动化工程学院)
本文提出RO-MAP,一种基于单目输入且不依赖3D先验的多物体建图管线,通过神经辐射场表示物体并结合轻量级物体SLAM,实现了实时定位、稠密几何隐式学习及语义物体地图的形状重建。
2023-11-18 cs.RO
ARCAS: An Augmented Reality Collision Avoidance System with SLAM-Based Tracking for Enhancing VRU Safety
Department of Civil, Architectural, and Environmental Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校土木、建筑与环境工程系);School of Architecture, The University of Texas at Austin(德克萨斯大学奥斯汀分校建筑学院)
ARCAS通过融合激光雷达与SLAM跟踪,为行人提供实时AR避障,显著提升城市出行安全。
2026-01-30 cs.AR cs.CV cs.ET
The TUM VI Benchmark for Evaluating Visual-Inertial Odometry
Technical University of Munich(慕尼黑工业大学)
视觉里程计和SLAM方法在诸如增强现实或机器人技术的领域中具有各种各样的应用。视觉传感器与惯性测量的互补极大地提高了跟踪精度和鲁棒性,从而引起了人们对视觉惯性(VI)里程计方法发展的极大兴趣。在本文中,我们提出了TUM VI基准,一个新的数据集,在不同的场景中的一组不同的序列,用于评估VI里程计。它提供分辨率为1024x1024(20 Hz)、高动态范围和光度校准的相机图像。IMU以200 Hz的频率测量3个轴上的加速度和角速度,而摄像机和IMU传感器在硬件中是时间同步的。对于轨迹评估,我们还在序列的开始和结束时以高频率(120 Hz)提供来自运动捕捉系统的准确姿势地面实况,我们将其与相机和IMU测量结果准确对齐。包含原始数据和校准数据的完整数据集是公开的。我们还在我们的数据集上评估了最先进的VI里程计方法。
2020-03-09 cs.CV cs.RO
Enough is Enough: Towards Autonomous Uncertainty-driven Stopping Criteria
Instituto de Investigación en Ingeniería de Aragón(阿拉贡工程研究所);Universidad de Zaragoza(萨拉戈萨大学)
自主机器人探索长期以来一直吸引着机器人界的关注,是一个高度相关的话题。然而,在现实世界中部署这样的系统还远未成为现实。在某种程度上,这可以归因于这样一个事实,即大多数研究都是针对改善现有的算法和测试新的配方在模拟环境中,而不是解决实际问题的现实世界的场景。自主决定何时必须终止或改变勘探(停止标准)的基本问题就是这种情况,这个问题最近没有受到任何关注。在本文中,我们讨论了使用适当的停止准则的重要性,并分析了一种新的标准的基础上的最优性标准在活动图-SLAM的演变的行为。
2022-08-16 cs.RO
Inclusive STEAM Education: A Framework for Teaching Cod-2 ing and Robotics to Students with Visually Impairment Using 3 Advanced Computer Vision
Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林圣三一学院)
针对视障学生在编程与机器人学习中追踪运动、建立空间感知的难题,提出融合CLIP、SLAM与AVR的包容性STEAM教育框架,助力其掌握编程技能,也拓展了计算机视觉在特殊教育的应用潜力。
2025-03-06 cs.CV cs.HC cs.RO
CSAR: Containerized System Architecture for Robotics
Machine Perception and Intelligent Robotics group (MAPIR), Dept. of System Engineering and Automation, Málaga Institute for Mechatronics Engineering and Cyber-Physical Systems (IMECH.UMA), University of Málaga(机器感知与智能机器人组(MAPIR),系统工程与自动化系,马拉加机电一体化工程与信息物理系统研究所(IMECH.UMA),马拉加大学)
提出CSAR架构,结合LXC/LXD容器化、ROS 2/DDS通信和三层边缘基础设施,解决机器人团队在依赖隔离、兼容性、可复现性和异构部署中的挑战,并通过3D SLAM和GPU加速语义映射用例验证其有效性。
2026-07-22 cs.RO
Fast Damage Recovery in Robotics with the T-Resilience Algorithm
ISIR, Université Pierre et Marie Curie-Paris 6, CNRS UMR 7222(智能机器人与系统研究所,巴黎第六大学皮埃尔与玛丽·居里大学,法国国家科学研究中心 UMR 7222)
损伤恢复对于需要在没有辅助的情况下长时间运行的自主机器人至关重要。目前的大多数方法都是复杂和昂贵的,因为它们需要预测每一个潜在的损害,以便有一个应急计划准备。作为替代方案,我们引入了T-弹性算法,这是一种新的算法,允许机器人在意外情况下快速自主地发现补偿行为。该算法为机器人配备了一个自我模型,并通过学习来发现新的行为,以避免那些在自我模型和现实中表现不同的行为。因此,我们的算法不会识别损坏的部分,但它隐式地搜索不使用它们的有效行为。我们评估的T-弹性算法的六足机器人,需要适应腿切除,断腿和电机故障,我们比较随机局部搜索,策略梯度和Bongard等人提出的自建模算法。机器人的行为进行评估板上感谢RGB-D传感器和SLAM算法。在机器人上只进行了25次测试,总运行时间为20分钟,T-Resilience始终比其他方法产生更好的结果。
2013-02-02 cs.AI cs.LG cs.RO
Extended Preintegration for Relative State Estimation of Leader-Follower Platform
针对领从平台相对状态估计中的视场受限与误检测问题,提出融合双平台 IMU 预积分的扩展约束,并集成于图优化与完整平滑器,仿真和 VR 6DoF 控制器跟踪验证了性能。
2023-08-15 cs.MA cs.RO
INDOOR-LiDAR: Bridging Simulation and Reality for Robot-Centric 360 degree Indoor LiDAR Perception -- A Robot-Centric Hybrid Dataset
INDOOR-LIDAR通过融合仿真与真实数据,为机器人感知研究提供了一个可扩展、真实且可重复的混合数据集,用于提升复杂室内环境中的感知能力。
2025-12-13 cs.RO