LG-VLN: A Zero-Shot Vision-and-Language Navigation Framework with LangGraph State Orchestration
Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学)
提出LG-VLN,一个仅用单目RGB的零样本视觉语言导航框架,通过共享CleanDIFT特征和LangGraph状态编排,在R2R-CE上取得21.3%成功率,验证了共享视觉表示与显式状态管理的有效性。
2026-09-15 cs.CV cs.RO
DynaVIG: Monocular Vision/INS/GNSS Integrated Navigation and Object Tracking for AGV in Dynamic Scenes
Wuhan University(武汉大学);The Hong Kong Polytechnic University(香港理工大学)
视觉惯性里程计(VIO)在长时间运行中存在漂移问题,其测量精度易受动态物体的影响。我们提出了DynaVIG,导航和目标跟踪系统的基础上整合的单目视觉,惯性导航系统(INS)和全球导航卫星系统(GNSS)。我们的系统的目的是提供一个准确的全球估计的导航状态和物体姿态的自动地面车辆(AGV)在动态场景。针对目标的尺度模糊性,提出了一种先验高度模型来初始化目标姿态,并借助GNSS和INS对目标尺度进行连续估计。为了精确跟踪运动复杂的目标,根据目标的运动状态建立了精确的动力学模型。然后在统一的框架下对多传感器观测值进行优化。在KITTI数据集上的实验表明,与现有方法相比,多传感器融合可以有效地提高导航和目标跟踪的精度。此外,所提出的系统实现了良好的估计的对象,改变速度或方向。
2022-11-26 cs.RO
MDE-AgriVLN: Agricultural Vision-and-Language Navigation with Monocular Depth Estimation
China Agricultural University(中国农业大学)
MDE-AgriVLN通过单目深度估计提升农业机器人视觉与语言导航性能,提高成功率并降低导航误差。
2026-01-01 cs.RO
Development of an indoor localization and navigation system based on monocular SLAM for mobile robots
Bộ môn Kỹ thuật Robot, Khoa Điện tử - Viễn Thông Trường Đại học Công Nghệ - Đại học Quốc gia Hà Nội(河内国家大学科技大学电子与通信工程学院机器人技术系)
本文提出一种基于单目SLAM的差速驱动机器人室内定位与导航系统,利用ORB_SLAM3提取特征提供位姿,结合A*和DWA进行路径规划,并在Gazebo中验证了其有效性。
2024-11-08 cs.RO
Monocular Camera and Single-Beam Sonar-Based Underwater Collision-Free Navigation with Domain Randomization
University of Electronic Science and Technology of China(电子科技大学);Dartmouth College(达特茅斯学院)
水下导航提出了几个挑战,包括非结构化的未知环境,缺乏可靠的定位系统(例如,GPS),能见度差。此外,用于水下机器人的高质量障碍物检测传感器稀缺且昂贵;许多传感器(如RGB-D相机和LiDAR)只能在空中工作。尽管存在这些挑战,为了实现可靠的无地图水下导航,我们提出了一种低成本的端到端导航系统,基于单目摄像机和固定的单波束回声测深仪,有效地导航水下机器人的航点,同时避免附近的障碍物。我们所提出的方法是基于近端策略优化(PPO),它需要作为输入当前的相对目标信息,估计的深度图像,回声探测器读数,和以前执行的动作,并输出3D机器人动作在一个规范化的规模。端到端的训练是在模拟中完成的,我们采用域随机化(改变水下条件和能见度)来学习一个鲁棒的策略来对抗噪声和能见度条件的变化。仿真和现实世界的实验表明,我们提出的方法对于在未知水下环境中导航低成本水下机器人是成功的且有弹性的。该实现在https://github.com/dartmouthrobotics/deeprl-uw-robot-navigation上公开提供。
2022-12-08 cs.RO
MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming
Horizon Robotics
MonoDream通过轻量级VLA框架和潜在全景梦境任务,提升单目视觉-语言导航的性能,缩小与全景方法的差距。
2025-11-27 cs.CV cs.RO
UrbanFly: Uncertainty-Aware Planning for Navigation Amongst High-Rises with Monocular Visual-Inertial SLAM Maps
IIIT Hyderabad(国际信息技术研究所海得拉巴分校);University of Tartu(塔尔图大学)
我们提出了UrbanFly:一个不确定性感知的实时规划框架,用于城市高层环境中的四旋翼导航。UrbanFly的一个核心方面是它能够直接在单目视觉惯性SLAM(VINS)后端生成的稀疏点云上进行鲁棒规划。它通过使用稀疏点云来实现这一点,通过数据驱动的单目平面分割网络来构建环境的不确定性集成立方体表示。我们选择的世界模型提供了比更常见的体素网格表示更快的距离查询,UrbanFly以两种不同的方式利用这种能力,从而产生两个轨迹优化器。第一个优化器使用无梯度交叉熵方法来计算最小化碰撞概率和平滑成本的轨迹。我们的第二个优化器是第一个优化器的简化版本,并使用顺序凸规划优化器初始化的基础上随机绘制的轨迹的概率安全估计。我们的两个轨迹优化器都是通过将碰撞违规的分布嵌入再生核希尔伯特空间来实现的,并且在计算上易于处理,并且独立于潜在的不确定性的性质。在算法创新的推动下,UrbanFly在碰撞率、轨迹长度等指标上优于竞争对手,在一个高保真的AirSim模拟器上,用合成和真实世界的数据集场景进行增强。
2022-10-03 cs.RO
Visual Navigation Among Humans with Optimal Control as a Supervisor
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校);University of Southern California(南加州大学)
现实世界的视觉导航要求机器人在不熟悉的、人类占据的动态环境中操作。在人类周围导航尤其困难,因为它需要预测他们未来的运动,这可能是相当具有挑战性的。我们提出了一种方法,结合基于学习的感知与基于模型的最优控制,仅基于单目,第一人称RGB图像的人类之间的导航。我们的方法是通过我们的新的数据生成工具,HumANav,允许与人类在其中,然后用于训练的感知模块完全模拟的室内环境场景的逼真渲染。通过对移动机器人的模拟和实验,我们证明了学习的导航策略可以预测和反应人类,而无需明确预测未来的人类运动,推广到以前看不见的环境和人类行为,并直接从模拟转移到现实。描述我们的方法和实验的视频,以及HumANav的演示可在项目网站上获得。
2021-02-12 cs.AI cs.CV cs.LG
Virtual Testbed for Monocular Visual Navigation of Small Unmanned Aircraft Systems
Air Force Institute of Technology(空军理工学院)
单目视觉导航方法在过去十年中取得了重大进展,最近产生了几种实时解决方案,用于自主导航小型无人驾驶飞机系统,而无需依赖GPS。这对于可能涉及GPS信号降级或拒绝的环境的军事行动至关重要。然而,测试和比较视觉导航算法仍然是一个挑战,因为视觉数据是昂贵的收集。在进行户外测试之前,在虚拟环境中进行飞行测试是一个有吸引力的解决方案。这项工作提出了一个虚拟的测试平台进行模拟飞行测试,在现实世界的地形和分析的实时性能的视觉导航算法在31赫兹。创建该工具的目的是最终找到一种视觉里程计算法,该算法适用于在固定翼飞机上进一步进行GPS拒绝导航研究,尽管所有算法都是为其他模态设计的。该测试平台用于在固定翼平台上评估三种当前最先进的开源单眼视觉里程计算法:直接稀疏里程计、半直接视觉里程计和ORB-SLAM 2(禁用环路闭合)。
2020-07-01 cs.CV cs.RO
Autonomous, Monocular, Vision-Based Snake Robot Navigation and Traversal of Cluttered Environments using Rectilinear Gait Motion
Georgia Institute of Technology(佐治亚理工学院)
蛇形机器人运动的直线形式预计将在障碍物遍布的情况下具有优势,这些情况是城市灾害区,地下塌陷和其他自然环境的特征。与这些运动策略相关联的细长的、横向狭窄的足迹非常适合于穿越有限的空间和狭窄的路径。然而,在缺乏全球感知的情况下,导航和路径规划仍然是在实际部署这些机器人机制之前需要解决的关键挑战。需要解决与视觉处理和定位相关的几个挑战,以实现导航。作为这个方向的第一步,我们在机器蛇的头部安装了一个无线的单目彩色摄像机。ORB-SLAM的视觉里程计和映射允许在平面障碍物遍布的环境中进行自定位。地平面可通行性分割结合感知空间碰撞检测允许导航路径规划。先前提出的动态减少直线蛇运动的非完整运动车辆通知SLAM和规划。然后,应用简化的运动模型来跟踪通过障碍物配置的规划轨迹。这种导航框架使蛇形机器人平台能够自主导航并仅用单目视觉穿越未知场景。
2019-08-19 cs.CV cs.RO
Zero-Shot Metric Depth Estimation via Monocular Visual-Inertial Rescaling for Autonomous Aerial Navigation
Robotics Institute, School of Computer Science, Carnegie Mellon University(机器人研究所、计算机科学学院、卡内基梅隆大学)
本文提出利用视觉惯性导航系统生成的稀疏3D特征图,通过轻量级零样本重缩放策略(最佳为单调样条拟合)将单目相对深度转换为度量深度,在计算受限的四旋翼上实现15Hz机载估计并成功用于碰撞避免。
2025-09-09 cs.AI cs.RO
Initialization of Monocular Visual Navigation for Autonomous Agents Using Modified Structure from Small Motion
School of Aerospace Engineering, Georgia Institute of Technology(佐治亚理工学院航空航天工程学院)
本文提出一种基于因子图优化并扩展小运动结构方法的单目vSLAM初始化流程,用于解决空间机器人检查轨迹中的弱透视、平面退化和动态光照问题,并在模拟卫星检查序列上验证了其优于现有方法。
2024-10-07 cs.CV cs.RO
VGP-Nav: Metric-Aware Visual Geometric Perception for Robot Navigation
Southern University of Science and Technology(南方科技大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Shenzhen University(深圳大学);SpatialTemporal AI(时空人工智能)
提出VGP-Nav,一种仅依赖单目RGB输入的框架,通过地面平面几何约束解决尺度模糊,实现度量定位与障碍物感知的统一。
2026-06-08 cs.RO
From Monocular SLAM to Autonomous Drone Exploration
Technische Universität München(慕尼黑工业大学);Oculus Research(奥库鲁斯研究院);RWTH Aachen University(亚琛工业大学)
微型飞行器(MAV)在其有效载荷和动力能力方面受到很大限制。为了实现自主导航,因此需要使用尽可能小、低重量和低功耗的传感设备的算法。在本文中,我们提出了一种方法,自主MAV导航和探索使用低成本的消费级四轴飞行器配备了单目摄像头。我们的基于视觉的导航系统建立在LSD-SLAM的基础上,LSD-SLAM可以实时估计MAV的轨迹和半密集的环境重建。由于LSD-SLAM仅确定高梯度像素处的深度,因此不直接观察到无纹理区域,使得不能直接应用假定密集地图信息的先前探索方法。我们提出了一个障碍物映射和探索的方法,考虑到我们的半密集单目SLAM系统的属性。在实验中,我们展示了我们的基于视觉的自主导航和探索系统与鹦鹉Bebop MAV。
2018-03-12 cs.CV cs.RO
Robust Monocular Flight in Cluttered Outdoor Environments
Carnegie Mellon University(卡内基梅隆大学)
最近,在生物启发的轻型微型飞行器(MAV)的开发方面取得了许多进展。虽然自主导航对于大型无人机来说是相当直接的,因为可以使用昂贵的传感器和监控设备,但是对于在混乱的非结构化环境中在低空运行的MAV来说,用于避障的鲁棒方法仍然是一项具有挑战性的任务。由于有效载荷和功率的限制,这种系统必须具有自主导航和飞行能力,主要使用被动传感器,如相机。在本文中,我们描述了一个强大的系统,使自主导航的小型敏捷四旋翼在低空通过自然森林环境。我们提出了一种直接的深度估计方法,该方法能够实时的产生精确的、半密集的深度图。此外,一种新的抗风控制方案,使稳定的路点跟踪,即使在强风的存在。我们证明了我们的系统的性能,通过大量的实验,在一个杂乱的户外环境中的真实图像和现场测试。
2016-04-16 cs.RO
HALO: High-Altitude Language-Conditioned Monocular Aerial Exploration and Navigation
GRASP Laboratory, University of Pennsylvania(宾夕法尼亚大学GRASP实验室)
HALO通过单目相机与GPS/IMU实现高海拔环境的实时度量-语义映射与导航,支持多任务自主探索。
2025-11-21 cs.RO
Uncertainty Estimation of Dense Optical-Flow for Robust Visual Navigation
Australian National University(澳大利亚国立大学);University of Technology Sydney(悉尼科技大学)
提出了一种新的稠密光流算法来解决地面或空中机器人的单目同时定位与地图构建(SLAM)问题。密集的光流可以有效地提供车辆的自我运动,同时能够避免与潜在障碍物的碰撞。现有的工作没有充分利用光流的不确定性--至多是各向同性高斯密度模型。我们估计了光流的完全不确定度,并提出了一种新的八点算法的基础上的统计马氏距离。结合姿态图优化,所提出的方法证明了增强的鲁棒性和准确性的公共自动驾驶汽车数据集(KITTI)和航空单目数据集。
2021-09-30 cs.RO
Autonomous Ingress of a UAV through a window using Monocular Vision
IIT Kharagpur(印度理工学院卡拉格普尔分校);Navstik Autonomous Systems, Pune(Navstik 自主系统公司(浦那))
利用无人机进行监视和其他侦察任务变得越来越普遍和方便。这些任务要求能够成功地通过目标结构的矩形开口或窗口进入。本文提出了一种利用基本的图像处理技术和有效的距离测量来鲁棒地检测周围窗口的方法。此外,提出了一种基于该检测方法的导航方案,并在仿真环境GAZEBO中进行了仿真验证。
2016-07-24 cs.CV cs.RO
TANGO: Traversability-Aware Navigation with Local Metric Control for Topological Goals
Australian Institute for Machine Learning (AIML)(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出TANGO,一种仅RGB的对象级拓扑度量导航方法,结合全局拓扑规划与局部度量控制,利用基础模型实现零样本、长时程导航,无需3D地图或预训练控制器,在模拟和真实环境中优于现有方法。
2025-09-10 cs.AI cs.CV cs.LG
Monocular Robot Navigation with Self-Supervised Pretrained Vision Transformers
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
在这项工作中,我们考虑的问题,学习的感知模型,单目机器人导航,使用很少的注释图像。使用视觉Transformer(ViT)预训练的无标签的自我监督的方法,我们成功地训练一个粗略的图像分割模型的Duckietown环境使用70个训练图像。我们的模型在8x8补丁级别执行粗图像分割,并且可以调整推理分辨率以平衡预测粒度和实时感知约束。我们研究如何最好地适应我们的任务和环境的ViT,并发现一些轻量级的架构可以产生良好的单图像分割在可用的帧速率,甚至在CPU上。由此产生的感知模型被用作骨干的一个简单而强大的视觉伺服代理,我们部署在差分驱动移动机器人执行两项任务:车道跟踪和避障。
2022-05-01 cs.AI cs.CV cs.RO
Sim-to-Real Transfer via 3D Feature Fields for Vision-and-Language Navigation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Intelligent Computing Technology, CAS(中国科学院智能计算技术研究所);Peng Cheng Laboratory(鹏城实验室)
提出基于3D特征场的sim-to-real迁移方法,通过语义可通行地图和新视角预测赋予单目机器人全景感知能力,将高性能全景VLN模型迁移至单目机器人,显著提升真实世界导航性能。
2024-10-14 cs.CV cs.RO
Simultaneous Localization and 3D-Semi Dense Mapping for Micro Drones Using Monocular Camera and Inertial Sensors
The Hatter Department of Marine Technologies, University of Haifa, 3498838, Israel(海洋技术系,海法大学);Computer Science, University of Haifa, 3498838, Israel(计算机科学,海法大学)
本文提出一种轻量单目SLAM系统,结合稀疏关键点估计与密集边缘重建,通过扩展卡尔曼滤波解决尺度模糊问题,实现低功耗实时制图与导航。
2025-11-23 cs.RO
Visual-UWB Navigation System for Unknown Environments
Tsinghua University(清华大学);North Information Control Research Academy Group Co., Ltd(北方信息控制研究院集团有限公司)
依赖全球导航卫星系统的导航应用局限于室内环境和没有全球导航卫星系统的室外地形,如密集的城市或森林。在本文中,我们提出了一种新的准确的,鲁棒的和低成本的GNSS无关的导航系统,它是由一个单目相机和超宽带(UWB)收发器。视觉技术在计算传感器的增量运动时已经获得了很好的结果,并且由于UWB测距信号的高时间分辨率,UWB方法已经被证明可以提供有前途的定位精度。然而,单目视觉技术与规模模糊不适用于需要度量结果的应用,UWB方法假设UWB收发器锚的位置是预先校准和已知的,从而排除了它们在未知和具有挑战性的环境中的应用。为此,我们主张利用单目摄像头和UWB来创建视觉特征和UWB锚点的地图。提出了一种视觉-超宽带同时定位与地图构建(SLAM)算法,该算法将视觉和超宽带测量紧密结合,形成一个李流形上的联合非线性优化问题。通过最小化超宽带测距误差和地标重投影误差,估计车辆和地图的6个自由度(DoF)状态。我们的导航系统开始与探索性的任务,执行实时的视觉UWB SLAM获得的全球地图,然后通过重用这个全球地图的导航任务。这些任务可以由不同的车辆在不同的团队中根据装备的传感器和有效载荷能力来执行。我们在公共数据集上验证了我们的系统,达到了典型的厘米精度和0.1%的尺度误差。
2019-12-03 cs.RO
Navi-Agent: Unlocalized Monocular Navigation Agent
Shanghai Jiao Tong University(上海交通大学);Xinjiang University of Finance and Economics(新疆财经大学);Shenzhen University(深圳大学);Southern University of Science and Technology(南方科技大学)
Navi-Agent提出一种无坐标空间状态(导航拓扑)的零样本VLN-CE智能体,通过视觉观察与运动历史实现自定位、进度验证与恢复,在基准和真实机器人上达到几何约束方法最优性能。
2026-11-17 cs.CV cs.RO
RANGER: A Monocular Zero-Shot Semantic Navigation Framework through Visual Contextual Adaptation
Beihang University(北京航空航天大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院)
RANGER通过视觉上下文学习实现零样本语义导航,无需依赖深度和姿态信息,利用3D基础模型和视觉语言模型提升任务效率与环境适应性。
2026-04-01 cs.CV cs.RO
AgniNav: Configuration-Driven Cross-Embodiment Local Planning for Robot Navigation
Eastern Institute of Technology, Ningbo, China(东方理工(宁波));University of Nottingham, Nottingham, UK(诺丁汉大学);University of Science and Technology of China, Hefei, China(中国科学技术大学)
提出AgniNav框架,通过可配置的四参数安全包络实现单目视觉导航在轮式、四足和人形机器人间的零重训练迁移,联合调节感知与规划。
2026-06-09 cs.RO
Learning Vision-Based Omnidirectional Navigation: A Teacher-Student Approach Using Monocular Depth Estimation
Fraunhofer Institute for Material Flow and Logistics(弗劳恩霍夫材料流与物流研究所);The Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
本文提出一种教师-学生框架,通过单目深度估计实现无需LiDAR的机器人导航,实验证明在复杂3D障碍物导航中优于传统2D LiDAR。
2026-04-29 cs.CV cs.LG cs.RO
Skytopia: Monocular Drone Navigation with Action-Conditioned Latent World Models
Nanyang Technological University(南洋理工大学);Autel US(道通智能美国公司);XGRIDS(深圳显扬科技有限公司)
提出基于动作条件潜在世界模型的单目无人机导航策略Skytopia,通过前向与逆向目标训练并丢弃预测器,在仿真中超越基线并在真实无人机上成功部署。
2026-09-23 cs.AI cs.RO
SSAP: A Shape-Sensitive Adversarial Patch for Comprehensive Disruption of Monocular Depth Estimation in Autonomous Navigation Applications
New York University (NYU) Abu Dhabi(纽约大学阿布扎比分校);Queen’s University Belfast(贝尔法斯特女王大学);Technology Innovation Institute (TII)(技术创新研究院)
针对自主导航中单目深度估计易受攻击的问题,提出形状敏感对抗补丁 SSAP,可造成距离扭曲或目标消失,并在 CNN 与 Transformer 模型上实现高误差和大范围影响。
2024-08-05 cs.CV cs.RO
Fusion of Monocular Vision and Radio-based Ranging for Global Scale Estimation and Drift Mitigation
Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心)
基于单目视觉的同时定位与地图构建(SLAM)由于其在成本、简单设置以及在利用卫星导航无效的环境中的可用性方面的优势而被用于各种目的。然而,摄像机运动和地图点只能估计到一个全球比例因子与单眼视觉。此外,如果相机不能检测到用于闭合环路的先前观察到的地图点,则估计误差随着时间无限制地累积。我们提出了一种创新的方法来估计一个全球性的比例因子,并减少漂移单目视觉为基础的定位与一个额外的单一的测距链接。我们的方法可以很容易地与单目视觉SLAM方法的后端集成。我们证明了我们的算法与真实的数据集上收集的流动站,并显示评估结果。
2018-10-02 cs.RO
AstroSLAM: Autonomous Monocular Navigation in the Vicinity of a Celestial Small Body -- Theory and Experiments
Georgia Institute of Technology(佐治亚理工学院);NASA Goddard Space Flight Center(美国国家航空航天局戈达德太空飞行中心)
我们提出了AstroSLAM,一个独立的基于视觉的解决方案,用于围绕未知目标小天体进行自主在线导航。AstroSLAM的前提是制定的SLAM问题作为一个增量增长的因素图,通过使用GTSAM库和iSAM 2引擎促进。通过将传感器融合与轨道运动先验相结合,我们实现了比基线SLAM解决方案更好的性能。我们将轨道运动的限制因素图设计了一个新的相对动力学因子,该因子将航天器的相对姿态的问题,预测的轨迹源于运动的航天器在附近的小机构。我们使用NASA行星数据系统提供的真实遗留任务图像和轨迹数据,以及在3自由度航天器模拟器试验台上生成的真实实验室图像数据,展示了AstroSLAM的出色性能。
2022-12-01 cs.CV cs.RO cs.SY
Monocular Navigation Relative to Unknown Spacecraft Using a Transformer-Aided Kalman Filter
Stanford University(斯坦福大学)
提出一种结合Transformer网络与MSCKF的单目视觉管线,仅用单目相机即可估计未知航天器位姿,在SPE3R数据集上验证,姿态误差3.7°,距离误差2.2%。
2026-10-07 cs.CV cs.RO
An Attention-Based Deep Learning Architecture for Real-Time Monocular Visual Odometry: Applications to GPS-free Drone Navigation
Polytechnique Montreal(蒙特利尔理工学院)
本文提出一种结合CNN、LSTM与多头注意力模块的实时单目视觉里程计深度学习架构,用于无GPS无人机导航,相比传统RNN模型收敛更快且显著降低了轨迹误差。
2024-04-27 cs.CV cs.LG cs.RO
Monocular Simultaneous Localization and Mapping using Ground Textures
Naval Air Warfare Center, Aircraft Division (NAWCAD)(海军空战中心航空分部);Stevens Institute of Technology(史蒂文斯理工学院)
最近的工作已经显示出令人印象深刻的定位性能,只使用地面纹理的图像,向下面对单目相机。这提供了一种可靠的导航方法,该方法对稀疏环境和具有挑战性的照明条件具有鲁棒性。然而,这些定位方法需要现有的地图进行比较。我们的工作旨在通过引入完整的同时定位与地图构建(SLAM)系统来放松对地图的需求。通过不需要现有的地图,设置时间被最小化,并且系统对变化的环境更鲁棒。该SLAM系统使用若干技术的组合来实现这一点。识别图像关键点并将其投影到地平面中。这些关键点,视觉袋的话,和几个阈值参数,然后用于识别重叠的图像和重访的地区。然后,该系统使用强大的M-估计器来估计机器人与重叠图像和重访区域之间的转换。这些优化的估计构成了用于导航的地图。我们表明,通过实验数据,该系统可靠地执行许多地面纹理,但不是所有。
2023-03-10 cs.RO
Enabling Topological Planning with Monocular Vision
Massachusetts Institute of Technology(麻省理工学院)
用于导航的拓扑策略有意义地减少了机器人可用的可能动作的空间,允许使用启发式先验或学习来实现计算效率高的智能规划。在低纹理或高度杂乱的环境中用单目SLAM估计结构的挑战在过去已经排除了其用于拓扑规划。我们提出了一个强大的稀疏地图表示,可以建立单目视觉,克服了这些缺点。使用学习的传感器,我们通过检测稀疏顶点(例如,墙壁的边界)并推理它们之间的结构。我们还估计了地图中已知的自由空间,这是通过以前未知的环境进行规划的必要功能。我们表明,我们的映射技术可以用于真实的数据,是足够的规划和探索模拟多智能体搜索和学习的子目标规划应用程序。
2020-03-31 cs.RO
Metric Monocular Localization Using Signed Distance Fields
The Hong Kong University of Science and Technology(香港科技大学)
度量定位在基于视觉的导航中起着至关重要的作用。为了克服匹配光度学在外观变化下的退化,最近的研究诉诸于引入先验场景结构的几何约束。在本文中,我们提出了一种单目摄像机的度量定位方法,使用符号距离场(SDF)作为一个全球地图表示。利用来自SDF的体积距离信息,我们的目标是放松来自先前方法中的局部束平差(BA)的准确结构的假设。通过将距离因子与时间视觉约束紧密耦合,我们的系统校正了里程计漂移,并联合优化了全局相机姿态与局部结构。我们在室内和室外公共数据集上验证了所提出的方法。与最先进的方法相比,它以最小的传感器配置实现了相当的性能。
2020-03-31 cs.RO
MorphoNavi: Aerial-Ground Robot Navigation with Object Oriented Mapping in Digital Twin
Intelligent Space Robotics Laboratory, CDE, Skoltech(智能空间机器人实验室,Skoltech)
本文提出一种基于单目相机和面向对象建图的空地机器人导航方法,在数字孪生中实现无需微调的物体检测与定位,并通过搜救场景验证其有效性。
2025-04-23 cs.RO
On Deep Learning Techniques to Boost Monocular Depth Estimation for Autonomous Navigation
University of São Paulo(圣保罗大学);São Carlos School of Engineering(圣卡洛斯工程学院)
图像深度的推断是计算机视觉领域的一个基本逆问题,因为深度信息是通过二维图像获得的,而二维图像可以从观察到的真实场景的无限可能性中产生。得益于卷积神经网络(CNN)在探索结构特征和空间图像信息方面的进展,单图像深度估计(SIDE)因其低实现成本和对环境条件的鲁棒性等优点而成为科技创新领域的热点。在自动驾驶汽车的背景下,最先进的CNN通过生成高质量的深度图来优化SIDE任务,这在不同位置的自主导航过程中至关重要。然而,这样的网络通常由来自光探测和测距(LiDAR)激光扫描的稀疏和噪声深度数据监督,并且以高计算成本执行,需要高性能图形处理单元(GPU)。因此,我们提出了一种新的轻量级和快速的监督CNN架构结合新的特征提取模型,这是专为现实世界的自主导航。我们还引入了一个有效的表面法线模块,结合一个简单的几何2.5维损失函数,解决SIDE问题。我们还通过结合多种深度学习技术进行创新,例如使用致密化算法和额外的语义,表面法线和深度信息来训练我们的框架。本工作中介绍的方法侧重于室内和室外环境中的机器人应用,其结果在竞争性和公开可用的NYU Depth V2和KITTI Depth数据集上进行评估。
2020-12-29 cs.CV cs.LG cs.RO
APARATE: Adaptive Adversarial Patch for CNN-based Monocular Depth Estimation for Autonomous Navigation
New York University (NYU) Abu Dhabi(纽约大学阿布扎比分校);Queen’s University Belfast(贝尔法斯特女王大学)
本文提出自适应对抗补丁 APARATE,结合目标物体形状与尺度,对基于 CNN 和 Transformer 的单目深度估计分别造成大范围深度扭曲或物体消失攻击。
2024-08-05 cs.CV cs.RO
DualVision ArthroNav: Investigating Opportunities to Enhance Localization and Reconstruction in Image-based Arthroscopy Navigation via External Cameras
University of Arkansas(阿肯色大学);Arthrex Inc.(阿瑟克斯公司)
针对现有关节镜导航系统的工作空间约束、漂移等问题,提出集成外部相机的DualVision ArthroNav多相机系统,结合互补视图解决单目SLAM缺陷,实验显示其定位重建精度高,为临床全视觉引导铺路。
2025-11-12 cs.CV cs.RO eess.IV
From Optical Flow to Safety: Visual Safety Certification via Scale-Free Relative Motion
Indian Institute of Science(印度科学学院)
本文提出基于无尺度相对运动的视觉安全认证范式,结合并发学习观测器与RV-C³BF,通过仿真和真实实验验证单目视觉下TurtleBot3的避障效果,仿真误差覆盖率98.3%,真实实验无碰撞率93%。
2026-10-20 cs.RO cs.SY eess.SY
Visual Navigation Using Sparse Optical Flow and Time-to-Transit
Politecnico di Torino(都灵理工大学);Boston University(波士顿大学)
从生物学中汲取灵感,我们描述了视觉传感与单目摄像机可以提供一个可靠的信号,移动机器人导航的方式。这项工作的灵感来自Lee和Reddish的一篇经典论文(Nature,1981,https://doi.org/10.1038/293293a0),其中他们概述了潜水海鸟基于称为接触时间的视觉线索所追求的行为策略。一个密切相关的概念的时间过境,τ,定义,它表明,基于单目摄像头的感知τ的理想化的转向法律可以可靠地和鲁棒性地引导移动车辆在各种各样的空间中,被认为是躺在墙壁上的功能和环境中的其他对象提供足够的视觉线索。该文件的贡献是双重的。它提供了一个简单的理论,鲁棒的基于视觉的转向控制。它继续展示了该理论如何指导使用ROS-Gazebo模拟实现强大的视觉导航,以及使用配备摄像头的Jackal机器人进行部署和实验。据我们所知,下面描述的实验是第一次展示基于tau的视觉导航。
2021-11-18 cs.RO cs.SY eess.SY
Compact 3D Map-Based Monocular Localization Using Semantic Edge Alignment
Alibaba A.I. Labs(阿里巴巴人工智能实验室)
精确定位是导航、机器人、自动驾驶和增强现实(AR)等各种应用的基础。与增量定位不同,全局定位没有误差累积引起的漂移,这在许多应用场景中是期望的。除了在户外使用的GPS之外,3D地图也被广泛用作替代全球定位参考。在本文中,我们提出了一个紧凑的三维地图为基础的全球定位系统,使用低成本的单目相机和惯性测量单元(IMU)。该紧凑地图由两种类型的简化元素和多个语义标签组成,能够很好地适应城市环境等各种人造环境。此外,语义边缘特征用于关键的图像地图配准,这是强大的对环境中的遮挡和长期的外观变化。为了进一步提高定位性能,关键的语义边缘对齐制定为一个优化问题的基础上预测的初始姿态由一个独立的VIO(视觉惯性里程计)模块。定位系统采用模块化设计,实现了实时的。我们通过与地面实况的对比实验来评估定位精度,并展示了长期定位性能。
2021-03-27 cs.RO
AquaBEV-Nav: Learned BEV Occupancy for Underwater Navigation and Exploration
本文提出AquaBEV-Nav,一种基于直接鸟瞰图占用预测的水下探索框架,绕过单目深度估计,在模拟礁石环境中实现高IoU和零碰撞的闭环覆盖。
2026-09-29 cs.CV cs.RO
A Map-free Deep Learning-based Framework for Gate-to-Gate Monocular Visual Navigation aboard Miniaturized Aerial Vehicles
Dalle Molle Institute for Artificial Intelligence (IDSIA)(达勒·莫勒人工智能研究所);USI-SUPSI(瑞士意大利语区大学与瑞士应用科学大学联盟);Integrated Systems Laboratory (IIS)(集成系统实验室);ETHZ(苏黎世联邦理工学院)
本文提出一种无地图单目视觉纳米无人机方案,结合轻量深度学习门检测与视觉伺服控制,以极低算力实现30 Hz闭环飞行,并在实地测试中成功高速穿越多个门。
2025-03-07 cs.AI cs.RO
MinNav: Minimalist Navigation Using Optical Flow For Active Tiny Aerial Robots
Worcester Polytechnic Institute(伍斯特理工学院);Perception and Autonomous Robotics (PeAR) Group, Robotics Engineering Department, Worcester Polytechnic Institute(伍斯特理工学院机器人工程系感知与自主机器人(PeAR)实验室)
提出MinNav导航栈,利用光流及其不确定性,使微型飞行机器人在无先验知识下穿越静态/动态障碍和未知形状间隙,通过主动探索提高成功率,实验成功率70%,计算量远小于深度方法。
2026-06-05 cs.CV cs.RO
AeroMap3D: Anchoring Monocular UAV 6-DoF Localization to Visual-Geometric-Semantic Map Priors
AeroMap3D是用于无GNSS导航的单目无人机6自由度定位系统,针对地图参考空中定位挑战,引入轻量级适配器,利用地图注释去除不可靠匹配,结合延迟状态EKF融合测量与先验,实现高精度定位,多地轨迹定位误差小。
2026-07-16 cs.RO
Loop Closure from Two Views: Revisiting PGO for Scalable Trajectory Estimation through Monocular Priors
DSO National Laboratories(DSO国家实验室);ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
针对传统视觉SLAM难以兼顾效率与精度的问题,提出基于双视图回环、无需重建的2GO系统,借助图像匹配与单目深度先验实现无BA的高精度轨迹优化,可扩展且支持实时运行,拓展了大规模长期部署能力。
2025-10-30 cs.RO
CeRLP: A Cross-embodiment Robot Local Planning Framework for Visual Navigation
School of Computer Science, Shanghai Jiao Tong University, Shanghai, P. R. China(上海交通大学计算机科学学院,上海,中华人民共和国);College of Information Science and Technology, Eastern Institute of Technology, Ningbo, P. R. China(信息科学与技术学院,东部技术研究所,宁波,中华人民共和国)
本文提出CeRLP框架,通过统一几何表征和异构机器人适应,解决跨体素机器人视觉导航中的尺度模糊和异构问题,实验证明其在障碍物避障和导航任务中的有效性。
2026-03-20 cs.RO
DVM-SLAM: Decentralized Visual Monocular Simultaneous Localization and Mapping for Multi-Agent Systems
Department of Computer Science and Technology, University of Cambridge(计算机科学与技术系,剑桥大学)
本文提出首个开源去中心化单目协作SLAM系统DVM-SLAM,利用低成本单目视觉实现多智能体实时建图与定位,并在实体机器人上验证了其导航可行性和与集中式系统相当的精度。
2025-08-26 cs.CV cs.MA cs.RO
Learning Monocular Reactive UAV Control in Cluttered Natural Environments
Institute for Computer Graphics and Vision(计算机视觉研究所);Graz University of Technology(格拉茨技术大学)
本文使用单目相机和模仿学习训练控制器,使小型四旋翼飞行器能在自然森林环境中以1.5m/s速度自主避障导航。
2012-11-07 cs.CV cs.LG cs.RO
NeRF-VINS: A Real-time Neural Radiance Field Map-based Visual-Inertial Navigation System
University of Delaware(特拉华大学);Google(谷歌公司)
针对传统基于关键帧的视觉惯性定位受视角限制性能不佳的问题,提出NeRF-VINS系统,利用NeRF合成新视角,在滤波框架内紧耦合融合多源信息,实现资源受限平台上超10Hz的误差有界实时定位。
2024-03-07 cs.RO
GPS Denied IBVS-Based Navigation and Collision Avoidance of UAV Using a Low-Cost RGB Camera
Electrical and Computer Engineering Dept., National University of Singapore(新加坡国立大学电子与计算机工程系);National University of Singapore(新加坡国立大学)
本文提出一种仅依赖RGB相机和机载Jetson平台的IBVS框架,通过AI单目深度估计实现无路径规划的无人机导航与避障,并在GPS拒止环境下验证其有效性。
2025-09-22 cs.RO cs.SY eess.SY
Real-time Monocular Visual Odometry for Turbid and Dynamic Underwater Environments
ONERA(法国航空航天实验室);CNRS(法国国家科学研究中心)
在机器人水下作业的背景下,由介质属性引起的视觉退化使得难以专用于定位目的的相机。因此,大多数定位方法是基于与声学定位相关联的昂贵的导航传感器。另一方面,视觉里程计和视觉SLAM已经被详尽地研究用于空中或陆地应用,但是最先进的算法在水下失败。在本文中,我们解决的问题,使用一个简单的低成本的摄像机进行水下定位,并提出了一种新的单目视觉里程计方法专用于水下环境。我们评估不同的跟踪方法,并表明,光流为基础的跟踪更适合于水下图像比经典的方法的基础上描述符。我们还提出了一种基于关键帧的高度依赖于非线性优化的视觉里程计方法。该算法已在模拟和真实水下数据集上进行了评估,并在许多最具挑战性的条件下优于最先进的视觉SLAM方法。这项工作的主要应用是用于水下考古任务的遥控潜水器(ROV)的本地化,但开发的系统可以用于任何其他应用程序,只要视觉信息可用。
2020-02-27 cs.CV cs.RO