Omnidirectional CNN for Visual Place Recognition and Navigation
National Tsing Hua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院 (MIT)）
$ $视觉位置识别是一个挑战，特别是当只有几个地方的例子。为了缓解这一挑战，我们考虑使用全向相机的位置识别方法，并提出了一种新的全向卷积神经网络（O-CNN）来处理严重的相机姿态变化。给定视觉输入，O-CNN的任务不是检索匹配的位置样本，而是检索最近的位置样本并估计输入和最近位置之间的相对距离。通过估计相对距离的能力，提出了一种启发式策略来将机器人导航到检索到的最近位置。请注意，该网络旨在通过合并圆形填充和旋转不变性来利用全向视图。为了训练一个强大的O-CNN，我们建立了一个虚拟世界进行大规模的训练。我们还提出了一种连续提升的结构化特征嵌入损失，以有效地学习距离的概念。最后，我们的实验结果证实，我们的方法在虚拟世界和现实世界的数据集上都达到了最先进的精度和速度。
2018-03-12 cs.CV eess.IV
Learning High-Quality Navigation and Zooming on Omnidirectional Images in Virtual Reality
HKUST(GZ)（香港科技大学（广州））；HKUST ARC Lab（香港科技大学先进研究中心实验室）；Tencent PCG（腾讯平台与内容事业群）
本文提出 OmniVR 系统，通过将用户导航与缩放命令转换为 Mobius 变换参数，并利用基于学习的算法细化全向图像，以减少 VR 中的模糊、提升视觉清晰度和沉浸式体验。
2024-05-01 cs.AI cs.CV cs.HC
TOP-Nav: Legged Navigation Integrating Terrain, Obstacle and Proprioception Estimation
Tsinghua University（清华大学）；ShanghaiTech University（上海科技大学）
TOP-Nav提出一种融合地形感知、避障和闭环本体感知的腿式导航框架，通过视觉与本体感知协同及在线修正，实现超越先验知识分布的开放世界导航。
2024-09-27 cs.AI cs.CV cs.RO
Vision-Based Navigation I: A navigation filter for fusing DTM/correspondence updates
Transas group of companies（Transas集团公司）
提出了一种利用图像和数字地形图中的相应特征进行姿态和运动估计的算法。使用数字地形（或数字高程）地图（DTM/DEM）作为全局参考，可以恢复相机的绝对位置和方向。为了做到这一点，DTM被用来制定两个连续帧中的相应特征之间的约束。数据的利用被示出以提高惯性导航算法的鲁棒性和精度。采用扩展卡尔曼滤波器将惯性导航算法和所提出的基于视觉的导航算法的结果结合起来。通过数值仿真验证了该算法的可行性。
2012-07-10 cs.AI cs.CV
GANav: Efficient Terrain Segmentation for Robot Navigation in Unstructured Outdoor Environments
我们提出了GANav，一种新的组明智的注意力机制，以确定安全和可导航区域的越野地形和非结构化环境中的RGB图像。我们的方法分类地形的基础上，他们的导航水平使用粗粒度的语义分割。我们新的组注意力损失使任何骨干网络能够以低空间分辨率明确关注不同组的特征。与现有的SOTA方法相比，我们的设计在保持高水平准确性的同时实现了高效的推理。我们对RUGD和RELLIS-3D数据集的广泛评估表明，GANav在RUGD上比SOTA mIoU提高了2.25-39.05%，在RELLIS-3D上提高了5.17-19.06%。我们将GANav与基于深度强化学习的导航算法相结合，并强调了其在现实世界非结构化地形中导航方面的优势。我们将基于GANav的导航算法与ClearPath Jackal和Husky机器人集成，并观察到成功率提高了10%，选择具有最佳导航性的表面增加了2-47%，轨迹粗糙度降低了4.6-13.9%。此外，GANav将禁区的误报率降低了37.79%。代码、视频和完整的技术报告可在https://gamma.umd.edu/offroad/上获得。
2022-06-18 cs.CV cs.RO
VI-IKD: High-Speed Accurate Off-Road Navigation using Learned Visual-Inertial Inverse Kinodynamics
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Army Research Laboratory（陆军研究实验室）
在地面车辆上的高速越野导航的关键挑战之一是，车辆地形相互作用的Kinodynamics可以根据地形而显著不同。以前的方法来解决这一挑战已经考虑学习逆kinodynamics（IKD）模型，条件是惯性信息的车辆感测的kinodynamics的相互作用。在本文中，我们假设，使准确的高速越野导航使用一个学习的IKD模型，除了惯性信息从过去的，还必须预测的kinodynamic相互作用的车辆与地形在未来。为此，我们引入视觉惯性逆Kinodynamics（VI-IKD），一种新的基于学习的IKD模型，除了过去的惯性信息之外，它还基于机器人前方地形的视觉信息，使其能够预测未来的Kinodynamic交互。我们验证了VI-IKD在室内和室外环境中的1/5 UT-AlphaTruck越野自动驾驶汽车上进行精确高速越野导航的有效性，并表明与其他最先进的方法相比，VI-IKD能够在各种不同地形上以高达3.5 m/s的速度进行更准确和更强大的越野导航。
2022-08-01 cs.AI cs.CV cs.LG
Vision-Based Terrain Relative Navigation on High-Altitude Balloon and Sub-Orbital Rocket
Massachusetts Institute of Technology（麻省理工学院）；The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
我们通过将从卫星图像数据库映射的地标与相机图像相关联，并利用相机帧之间的惯性传感器，对使用基于相机的方法进行高空导航进行了实验分析。我们评估了侧向倾斜和面向下的相机从World View Enterprises高空气球收集的数据的性能，这些数据从33公里的高度开始，下降到近地面（4.5公里），飞行时间为1.5小时。我们证明了在超过150公里的轨迹上的平均位置误差小于290米。除了显示在一系列高度的性能，我们还展示了鲁棒性的地形相对导航（TRN）方法的气球的快速旋转，在某些情况下超过每秒20度，和摄像头的障碍所造成的云层覆盖和电线摇摆的气球下面。此外，我们评估了Blue Origin的New Shepard火箭胶囊内的两台相机在有效载荷飞行NS-23上收集的数据的性能，速度高达880公里/小时，并证明平均位置误差小于55米。
2023-02-16 cs.CV
Navigational Path-Planning For All-Terrain Autonomous Agricultural Robot
劳动力的短缺和维护成本的增加迫使许多农业企业家转向自动化和机械化方法。自主系统的关键组成部分是所使用的路径规划技术。覆盖路径规划（CPP）算法用于在农田上导航，以执行各种农业操作，如播种、犁耕或喷洒农药和肥料。本文报告比较了新的算法，自主导航的农田。为了减少导航的限制，考虑到特定的印度环境的高分辨率网格地图表示。通过将网格单元区分为覆盖的、未探索的、部分探索的和存在障碍物来覆盖自由空间。比较算法的性能进行评估，如时间效率，空间效率，准确性和鲁棒性的变化，在环境中的指标。采用机器人操作系统（ROS）、达索系统体验平台（3DS Experience）、MATLAB和Python对算法进行了仿真。实验结果证明了该算法在自主野外导航中的适用性和在机器人路径规划中的可行性。
2021-09-07 cs.CV cs.RO
Feeling Terrain Before Crossing: World Models for Off-Road Navigation
Seoul National University（首尔大学）
提出Feel-WM，首个以本体感觉为条件并预测机器人物理未来与视觉场景的越野导航世界模型，在真实与仿真中优于仅视觉模型，并成功部署于山间小径。
2026-09-18 cs.CV cs.RO
DesertFormer: Transformer-Based Semantic Segmentation for Off-Road Desert Terrain Classification in Autonomous Navigation Systems
Department of Computer Science \& Engineering (AI \& ML) Gayatri Vidya Parishad College of Engineering for Women Visakhapatnam, India
DesertFormer基于SegFormer B2与层次化Mix Transformer（MiT-B2）架构，针对沙漠地形的低对比度、强光照变化和稀疏植被挑战，实现10类生态意义地形分类，提升地面机器人与自动驾驶车辆的安全路径规划能力。
2026-03-17 cs.CV cs.LG
Learning Vision-Based Omnidirectional Navigation: A Teacher-Student Approach Using Monocular Depth Estimation
Fraunhofer Institute for Material Flow and Logistics（弗劳恩霍夫材料流与物流研究所）；The Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所）
本文提出一种教师-学生框架，通过单目深度估计实现无需LiDAR的机器人导航，实验证明在复杂3D障碍物导航中优于传统2D LiDAR。
2026-04-29 cs.CV cs.LG cs.RO
STERLING: Self-Supervised Terrain Representation Learning from Unconstrained Robot Experience
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）；Army Research Laboratory（陆军研究实验室）；Sony AI（索尼人工智能北美分部）
提出自监督地形表示学习方法STERLING，仅依赖无约束无标签机器人经验学习地形特征，在越野导航实验中性能媲美全监督方法并展现强鲁棒性。
2023-10-20 cs.AI cs.CV cs.LG
METAVerse: Meta-Learning Traversability Cost Map for Off-Road Navigation
Agency for Defense Development（国防发展局）；University of Michigan（密歇根大学）
针对越野环境可通行性估计不确定性高、模型泛化难的问题，提出元学习框架METAVerse，通过多环境数据训练全局模型并支持在线自适应，降低估计不确定性，实现非结构化未知地形的安全稳定导航。
2024-03-05 cs.CV cs.LG cs.RO
Lunar Terrain Relative Navigation Using a Convolutional Neural Network for Visual Crater Detection
Massachusetts Institute of Technology（麻省理工学院）；Draper（德雷珀实验室）
地形相对导航可以通过检测作为补充测量值的全球特征来校正惯性导航系统中的漂移，从而提高航天器位置估计的精度。本文提出了一种系统，使用卷积神经网络（CNN）和图像处理方法来跟踪模拟航天器的位置与扩展卡尔曼滤波器（EKF）。称为LunaNet的CNN在模拟相机帧中视觉检测陨石坑，并且这些检测与当前估计的航天器位置区域中的已知月球陨石坑相匹配。这些匹配的陨石坑被视为使用EKF跟踪的特征。由于LunaNet对图像亮度变化具有更强的鲁棒性，并且在整个轨迹中逐帧进行更具可重复性的陨石坑检测，因此可以在模拟轨迹上进行更可靠的位置跟踪。当使用标准亮度图像对轨迹进行测试时，与使用基于图像处理的陨石坑检测方法的EKF相比，LunaNet与EKF的结合使平均最终位置估计误差降低了60%，平均最终速度估计误差降低了25%。
2020-07-15 cs.CV cs.RO cs.SY
Mixed-domain Training Improves Multi-Mission Terrain Segmentation
North Carolina State University（北卡罗来纳州立大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Mississippi State University（密西西比州立大学）
行星漫游者任务必须利用基于机器学习的感知，在几乎没有人类存在的情况下继续进行地外探索。火星地形分割对于漫游者导航和避免危险以执行进一步的探索任务至关重要，例如土壤样本收集和寻找有机化合物。目前的火星地形分割模型需要大量的标记数据来实现可接受的性能，并且还需要重新训练以用于跨不同领域的部署，即不同的漫游任务，或不同的任务，即地质识别和导航。本研究提出了一种半监督学习方法，利用无监督的对比预训练的骨干多任务语义分割火星表面。该模型将通过利用确保特征多样性的混合域训练集，扩展当前的火星分割能力，能够部署在不同的火星探测器任务中进行地形导航。使用平均像素精度的评估结果表明，与单域训练和监督训练相比，半监督混合域方法提高了准确性，火星科学实验室的Cursley Rover和火星2020 Perseverance Rover的准确率分别达到97%和79.6%。此外，为损失函数提供不同的加权方法，与标准交叉熵损失相比，使用召回度量将模型对少数或罕见类别的正确预测提高了30%以上。这些结果可以通知未来的多任务和多任务语义分割漫游任务的数据高效的方式。
2022-09-27 cs.CV
Nano-U: Efficient Terrain Segmentation for Tiny Robot Navigation
Dept of Information Engineering, University of Padua（信息工程系，帕多瓦大学）
本文提出Nano-U框架，通过量化感知蒸馏实现低功耗微型机器人高效地形分割，适用于Botanic Garden和TinyAgri数据集。
2026-07-07 cs.CV cs.RO
Pixel to Elevation: Learning to Predict Elevation Maps at Long Range using Images for Autonomous Offroad Navigation
NASA Jet Propulsion Laboratory, California Institute of Technology（美国国家航空航天局喷气推进实验室、加州理工学院）；Field AI
针对长程越野导航中 LiDAR 测量稀疏的问题，提出一种基于 transformer 的方法，利用车载自中心图像实时预测长程地形高程地图，并通过大量实验验证了其优于基线模型的准确性与适用性。
2024-04-20 cs.CV cs.LG cs.RO
Construction of Digital Terrain Maps from Multi-view Satellite Imagery using Neural Volume Rendering
Massachusetts Institute of Technology（麻省理工学院）
本文提出神经地形图（NTM）方法，利用神经体积渲染直接从多视角卫星影像学习数字地形图，无需深度先验，在火星和地球数据上精度接近影像分辨率。
2025-08-02 cs.CV
UFO: Uncertainty-aware LiDAR-image Fusion for Off-road Semantic Terrain Map Estimation
Agency for Defense Development（国防发展局）
针对越野环境下语义地形图生成受不确定地形特征限制的问题，提出多尺度LiDAR-图像融合的UFO方法，结合不确定性感知伪标签无需3D标注即可提升BEV地形分类准确率，助力越野自主导航。
2024-03-05 cs.CV cs.RO
Visual SLAM with DEM Anchoring for Lunar Surface Navigation
Stanford University（斯坦福大学）
本文提出一种结合学习特征检测与DEM全局约束的视觉SLAM系统，用于月球表面长距离导航，通过引入高程和表面法线因素缓解长期漂移问题。
2026-03-18 cs.CV cs.RO
SCENIC: Scene-aware Semantic Navigation with Instruction-guided Control
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Meta Reality Labs Research（Meta现实实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对复杂环境人体运动合成中地形适应与文本语义控制难以兼顾的挑战，提出扩散模型SCENIC，通过分层场景推理、目标中心规范化与逐帧文本对齐，实现了在多变3D场景中生成物理合理且响应文本指令的任意长度人体运动，并具备跨真实数据集的泛化能力。
2024-12-20 cs.CV
Lightweight Uncertainty Quantification with Simplex Semantic Segmentation for Terrain Traversability
TNO（荷兰应用科学研究组织）；Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室）；University of Amsterdam（阿姆斯特丹大学）
本文提出一种轻量级不确定性量化模块，可适配任意预训练分割模型，通过原型向量最大分离类别，以到最近原型的距离估计不确定性，有效用于地形可通行性分析。
2024-07-18 cs.CV
CNN-based Omnidirectional Object Detection for HermesBot Autonomous Delivery Robot with Preliminary Frame Classification
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
移动自主机器人包括许多用于环境感知的传感器。摄像机是机器人进行定位、导航和避障的重要工具。为了处理来自传感器的大量数据流，有必要优化算法或利用大量的计算能力。在我们的工作中，我们提出了一种算法，优化神经网络的目标检测使用初步的二进制帧分类。一个自主的室外移动机器人与6滚动快门相机的周边提供了360度的视野被用作实验装置。所获得的实验结果表明，所提出的优化加速的神经网络的推理时间的情况下，多达5个6摄像机包含目标对象。
2021-10-22 cs.CV cs.RO
HorizonNet for visual terrain navigation
Linköping University（林雪平大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）
该研究针对沿海或群岛区域无人水面艇的位置估计问题，提出基于双CNN架构与MOSSE相关滤波器的视觉地形导航方法，在野外试验中实现了GPS级精度的位置估计。
2026-09-01 cs.CV cs.RO
MARs: Multi-view Attention Regularizations for Patch-based Feature Recognition of Space Terrain
University at Buffalo（布法罗大学）
针对空间地形特征识别中现有方法类间相似性适配差、多视图几何处理不足的问题，提出多视图注意力正则化MARs约束跨视图注意力，结合度量学习使识别性能提升超85%，并发布含月球陨石坑数据的Luna-1数据集。
2024-10-07 cs.AI cs.CV cs.LG
Stereovision Image Processing for Planetary Navigation Maps with Semi-Global Matching and Superpixel Segmentation
Cranfield University（克兰菲尔德大学）；University of Oxford（牛津大学）
本文提出结合半全局匹配与超像素细化的立体视觉方法，生成更精确一致的火星地形导航地图，减少块效应和空洞，提升自主导航安全性。
2025-09-06 astro-ph.EP astro-ph.IM cs.CV
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University（麦吉尔大学）
我们提出了一种奖励预测，基于模型的深度学习方法，具有强制约束的视觉注意力，用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置，这些位置遵循车辆控制动作引起的轨迹，以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化，允许自适应性，但鼓励正则化结构，以提高泛化能力和可靠性。重要的是，视觉注意力被应用在潜在的特征映射空间，而不是原始图像空间，以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流，无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现，与无注意和自注意替代方案相比，我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Panopticus: Omnidirectional 3D Object Detection on Resource-constrained Edge Devices
Yonsei University（延世大学）；Uppsala University（乌普萨拉大学）
针对边缘设备上基于全向相机的3D检测算力受限问题，提出Panopticus自适应多分支系统，按资源与空间特征动态调整模型，在33 ms延迟下精度平均提升62%，延迟平均降低2.1倍。
2024-10-02 cs.CV cs.SY eess.SY
