Deep Learning for Visual Navigation of Underwater Robots
Texas A&M University（德克萨斯A&M大学）
本文综述了深度学习在水下机器人视觉导航中的应用，涵盖视觉感知、水下数据集、模仿学习与强化学习方法，并按训练范式对相关工作进行了分类。
2023-10-30 cs.CV cs.LG cs.RO
SplitNet: Sim2Sim and Task2Task Transfer for Embodied Visual Navigation
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了SplitNet，一种解耦视觉感知和策略学习的方法。通过结合辅助任务和选择性学习模型的一部分，我们明确地分解视觉导航的学习目标，感知世界，并采取行动的看法。我们在模拟器之间传输的基线模型上显示出显着的改进，这是向Sim2Real迈出的令人鼓舞的一步。此外，SplitNet更好地从同一模拟器中推广到看不见的环境，并更快，更有效地转移到新的具身导航任务。此外，只要给定目标域中的一个小样本，SplitNet就可以与接收整个数据集的传统端到端管道的性能相匹配。代码可从https://github.com/facebookresearch/splitnet获得
2019-10-23 cs.CV
Augmented reality navigation system for visual prosthesis
Instituto de Investigación en Ingeniería de Aragón, (I3A). Universidad de Zaragoza（阿拉贡工程研究所（I3A），萨拉戈萨大学）
视觉假体的视野、分辨率和动态范围等视觉功能严重制约着人在未知环境中的导航能力。植入的患者仍然需要持续的辅助以从一个位置导航到另一个位置。因此，需要一种能够在他们的旅程中安全地帮助他们的系统。在这项工作中，我们提出了一个增强现实导航系统的视觉假体，它结合了一个软件的反应导航和路径规划，引导受试者通过方便，无障碍的路线。它包括四个步骤：在地图上定位受试者，规划受试者轨迹，将其显示给受试者并在没有障碍的情况下重新规划。我们还设计了一个模拟的假肢视觉环境，使我们能够系统地研究导航性能。12名受试者参加了实验。受试者在增强现实导航系统的引导下，他们的指令是在不同的环境中导航，直到他们达到两个目标，穿过门，找到一个物体（垃圾箱），尽可能快和准确。结果显示，与其他基线方法相比，我们的增强导航系统如何通过减少到达目标的时间和距离来帮助导航性能，甚至显着减少障碍物碰撞的数量。
2021-09-30 cs.CV
Object-oriented Targets for Visual Navigation using Rich Semantic Representations
Numediart（努梅迪亚特研究所）；University of Mons（蒙斯大学）
当搜索对象时，人类使用语义信息和空间关系在场景中导航。我们寻找一个对象使用我们的知识，其属性和与其他对象的关系，以推断可能的位置。在本文中，我们建议解决视觉导航问题，使用丰富的语义表示的观察场景和面向对象的目标训练代理。我们表明，这两种方法都允许代理在很短的训练时间内推广到新的目标和看不见的场景。
2018-12-17 cs.CV
Stereo4DWalker: Learning 4D-aware Embodied Urban Navigation from Internet Stereo Videos
University of Virginia（弗吉尼亚大学）
本文提出StereoWalker，通过引入立体视觉和中等层次视觉模块，提升动态城市导航性能，仅用1.5%数据即可达到先进水平。
2026-09-15 cs.CV
EgoCogNav: Cognition-aware Human Egocentric Navigation
Cornell University（康奈尔大学）；Georgia Institute of Technology（佐治亚理工学院）
提出EgoCogNav多模态自我中心导航框架，联合预测路径不确定性、轨迹和头部运动，并引入CEN数据集，实验表明其能学习与人类扫描、犹豫等行为相关的感知不确定性。
2026-07-01 cs.CV cs.LG
Unsupervised Reinforcement Learning of Transferable Meta-Skills for Embodied Navigation
Zhejiang University（浙江大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
视觉导航是通过智能地导航到目标对象（例如，电视）仅使用视觉观察。当前深度强化学习模型的一个关键挑战在于需要大量的训练数据。构建标注有目标对象信息的足够的3D合成环境是极其昂贵的。在本文中，我们专注于低资源环境中的视觉导航，在那里我们只有少数的训练环境中标注了对象信息。我们提出了一种新的无监督强化学习方法来学习可转移的元技能（例如，绕过障碍物，直行）从无注释的环境中，没有任何监督信号。然后，当提供视觉导航指定的奖励时，代理可以通过学习高级主策略来组合这些元技能来快速适应视觉导航。在AI 2-THOR环境中的评估表明，我们的方法显着优于基线的SPL相对53.34%，进一步的定性分析表明，我们的方法学习可转移的运动基元视觉导航。
2020-04-06 cs.CV
A Novel Deep Neural Network Architecture for Mars Visual Navigation
Beijing Institute of Technology（北京理工大学）
本文利用新兴的深度学习技术来处理火星视觉导航问题。具体而言，为实现精确着陆和自主导航，设计了一种新型的具有双分支和非递归结构的深度神经网络架构，该架构能够有效地表示火星环境图像的全局和局部深度特征。通过采用这种结构，火星探测器可以直接从原始火星环境图像确定最佳的导航策略到目标点。此外，与现有的最先进的算法相比，训练时间减少了45.8%。实验结果表明，本文提出的深度神经网络结构具有更好的性能和更快的收敛速度，并能很好地推广到未知环境。
2018-08-25 cs.CV
Utilizing High-level Visual Feature for Indoor Shopping Mall Navigation
University of Science and Technology of China（中国科学技术大学）；Hong Kong University of Science and Technology（香港科技大学）；Dajiang Innovations Co., Ltd.（大疆创新科技有限公司）
为了实现强大而方便的室内购物中心导航，我们提出了一种新的基于学习的方案，利用用户个人设备捕获的店面图像中的高级视觉信息。具体来说，我们分解的视觉导航问题定位和地图生成分别。给定一个店面输入图像，提出一种新的特征融合方案（FusionNet），融合基于DNN的外观特征和文本特征，用于商店品牌的鲁棒识别，从而实现准确定位。在地图生成方面，我们通过解析商店及其连通性，将用户捕获的购物中心指示地图转换为拓扑地图。在真实商场上进行的实验结果表明，该系统实现了鲁棒的定位和精确的地图生成，实现了准确的导航。
2017-02-18 cs.CV
Predicting Topological Maps for Visual Navigation in Unexplored Environments
InnoPeak Technology, Inc.（InnoPeak科技公司）；Monash University（莫纳什大学）；The University of Adelaide（阿德莱德大学）
我们提出了一个机器人学习系统的自主探索和导航在未开发的环境。我们的动机是这样一个想法，即使是一个看不见的环境可能是熟悉的，从以前的经验，在类似的环境。因此，我们的方法的核心是一个过程，用于构建，预测和使用概率布局图，以帮助基于目标的视觉导航。我们描述了一个导航系统，使用的布局预测，以满足高层次的目标我们提出的导航框架包括三个阶段：（1）感知和映射：构建多级3D场景图;（2）预测：预测未探索环境的概率3D场景图;（3）导航：用图表辅助导航。我们在Matterport 3D中测试了我们的框架，并在看不见的环境中展示了更多的成功和高效的导航。
2022-11-23 cs.CV cs.RO
SSCNav: Confidence-Aware Semantic Scene Completion for Visual Semantic Navigation
本文重点介绍视觉语义导航，主动代理导航到一个特定的目标对象类别在一个未知的环境中产生的行动的任务。为了完成这个任务，算法应该同时定位和导航到类别的实例。与传统的点目标导航相比，该任务要求智能体在室内环境之前具有更强的上下文。我们介绍SSCNav，一种算法，明确地使用一个信任感知语义场景完成模块来完成场景和指导代理的导航规划模型的场景先验。给定对环境的部分观察，SSCNav首先推断出一个完整的场景表示，其中包含未观察场景的语义标签以及与其自身预测相关联的置信度图。然后，策略网络从场景完成结果和置信度图推断动作。实验结果表明，该场景补全模块提高了下游导航策略的效率。视频、代码和数据：https://sscnav.cs.columbia.edu/
2021-03-22 cs.CV cs.RO
Virtual Testbed for Monocular Visual Navigation of Small Unmanned Aircraft Systems
Air Force Institute of Technology（空军理工学院）
单目视觉导航方法在过去十年中取得了重大进展，最近产生了几种实时解决方案，用于自主导航小型无人驾驶飞机系统，而无需依赖GPS。这对于可能涉及GPS信号降级或拒绝的环境的军事行动至关重要。然而，测试和比较视觉导航算法仍然是一个挑战，因为视觉数据是昂贵的收集。在进行户外测试之前，在虚拟环境中进行飞行测试是一个有吸引力的解决方案。这项工作提出了一个虚拟的测试平台进行模拟飞行测试，在现实世界的地形和分析的实时性能的视觉导航算法在31赫兹。创建该工具的目的是最终找到一种视觉里程计算法，该算法适用于在固定翼飞机上进一步进行GPS拒绝导航研究，尽管所有算法都是为其他模态设计的。该测试平台用于在固定翼平台上评估三种当前最先进的开源单眼视觉里程计算法：直接稀疏里程计、半直接视觉里程计和ORB-SLAM 2（禁用环路闭合）。
2020-07-01 cs.CV cs.RO
Touchdown: Natural Language Navigation and Spatial Reasoning in Visual Street Environments
ASAPP Inc.（ASAPP公司）；Cornell University（康奈尔大学）
我们通过一个导航和空间推理任务来研究语言和视觉的联合推理问题。我们引入了着陆任务和数据集，其中代理必须首先在现实生活中的视觉城市环境中遵循导航指令，然后识别用自然语言描述的位置，以在目标位置找到隐藏的对象。数据包含9，326个英语指令和空间描述的示例，并配有演示。实证分析表明，数据提出了一个开放的挑战，现有的方法，和定性语言分析表明，数据显示更丰富的空间推理的使用相比，相关的资源。
2020-05-16 cs.AI cs.CL cs.CV
Visual Based Navigation of Mobile Robots
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
我们已经开发出一种算法来生成一个完整的地图的个人助理机器人只使用单目视觉的可通行区域。利用一个简单的网络摄像头拍摄的多个图像，已经开发出了障碍物检测和回避算法。简单线性迭代聚类（SLIC）已被用于分割，以减少内存和计算成本。一个简单的映射技术，使用逆透视映射和占用网格，这是强大的，并支持非常快速的更新已被用来创建室内导航的地图。
2017-12-15 cs.CV
Learning Object Relation Graph and Tentative Policy for Visual Navigation
Australian National University（澳大利亚国立大学）；University of Technology Sydney（悉尼科技大学）
目标驱动的视觉导航的目的是导航智能体向一个给定的目标的基础上观察的代理。在这个任务中，学习信息丰富的视觉表示和强大的导航策略是至关重要的。针对这两个组成部分，本文提出了三个互补的技术，对象关系图（ORG），试验驱动的模仿学习（IL），和一个记忆增强的试探性策略网络（TPN）。ORG通过整合对象关系来改进视觉表示学习，包括类别接近度和空间相关性，例如，电视通常与遥控器在空间上共存。试验驱动的IL和TPN都是强大的导航策略的基础，指示代理从死锁状态（如循环或被卡住）中逃脱。具体而言，试验驱动的IL是一种用于策略网络训练的监督类型，而TPN则模仿了不可见环境中的IL监督，用于测试。在人工环境AI 2-Thor上的实验验证了每种技术的有效性。当结合使用时，这些技术在看不见的环境中的导航有效性和效率方面比基线方法有了显着的改进。我们报告成功率和成功加权路径长度（SPL）分别增加了22.8%和23.5%。该代码可在https://github.com/xiaobaishu0097/ECCV-VN.git上获得。
2020-07-21 cs.CV
EA-Nav: Learning Safe Visual Navigation Policies with Embodiment Awareness
Zhejiang University（浙江大学）；Wuhan University（武汉大学）；Hunan University（湖南大学）；D-Robotics（D机器人公司）
针对跨具身导航挑战，提出基于模仿学习的具身感知导航框架，通过模块化多阶段设计，预训练构建数据集并引入具身几何，微调设计多模态信息注入机制，有效提高不同具身设置下的导航性能。
2026-08-07 cs.CV cs.RO
VINet: Visual and Inertial-based Terrain Classification and Adaptive Navigation over Unknown Terrain
Baidu USA（百度美国）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一个视觉和惯性为基础的地形分类网络（VINet）的机器人导航在不同的可穿越的表面。我们使用一种新的基于导航的标记方案的地形分类和概括未知的表面。我们提出的感知方法和自适应调度控制框架可以根据地形导航特性进行预测，并在已知和未知表面上的地形分类和导航控制上都有更好的性能。我们的VINet在已知地形上的监督设置下的准确率可以达到98.37%，与以前的方法相比，在未知地形上的准确率提高了8.51%。我们部署VINet的移动跟踪机器人的轨迹跟踪和导航在不同的地形，我们证明了10.3%的改进相比，基线控制器的RMSE。
2023-03-01 cs.CV cs.RO
CANVAS: Consistency-Aware Navigation via Visual Adaptive Sampling for Long-Context Text-to-SVG Generation
University of Nottingham（诺丁汉大学）；Lancaster University（兰卡斯特大学）；Peking University（北京大学）
本文提出无训练的CANVAS框架，通过视觉自适应采样提升长上下文文本到SVG生成的全局一致性，无需额外训练即可在多基准上取得良好效果。
2026-09-01 cs.CV
LOViS: Learning Orientation and Visual Signals for Vision and Language Navigation
Michigan State University（密歇根州立大学）
对于遵循自然语言指令的导航代理来说，理解空间和视觉信息是必不可少的。目前基于Transformer的VLN代理纠缠的方向和视觉信息，这限制了从每个信息源的学习的增益。在本文中，我们设计了一个神经代理明确的方向和视觉模块。这些模块学习更有效地将空间信息和指示中提到的地标与视觉环境联系起来。为了加强智能体的空间推理和视觉感知，我们设计了特定的预训练任务，以在最终的导航模型中提供和更好地利用相应的模块。我们在Room2room（R2R）和Room4room（R4R）数据集上评估了我们的方法，并在这两个基准测试中获得了最先进的结果。
2022-09-26 cs.AI cs.CV
Ordinal Neural Collapse as a Representation Prior for Visual Navigation
Seoul National University（首尔大学）
针对视觉模仿学习中编码器学习到模糊、动作无关表征的问题，提出ORION方法，利用导航动作的序数结构显式组织表征空间，在仿真和真实环境中显著提升导航成功率。
2026-08-10 cs.CV cs.RO
Visual Navigation with Spatial Attention
Technion（以色列理工学院）
这项工作的重点是对象的目标视觉导航，旨在找到一个对象的位置从一个给定的类，在每一步中的代理提供了一个自我中心的RGB图像的场景。我们建议使用强化学习算法来学习代理的策略。我们的主要贡献是一个新的注意力概率模型的视觉导航任务。这种注意编码了关于观察对象的语义信息，以及关于它们的位置的空间信息。“什么”和“哪里”的这种组合允许代理有效地导航到所寻找的对象。注意力模型，以改善代理的政策，并实现国家的最先进的结果在常用的数据集。
2021-04-20 cs.CV cs.LG
Query, Align, and Distill: Navigation-Aware Cross-Modal Interaction for Efficient Vision-and-Language Navigation
针对大规模VLN模型部署成本高的问题，提出通过可学习查询槽提取导航证据并蒸馏至紧凑学生模型，参数量减少93.65%且性能几乎持平。
2026-09-29 cs.AI cs.CV cs.RO
Deep Learning for Embodied Vision Navigation: A Survey
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；RMIT University（皇家墨尔本理工大学）
“虚拟视觉导航”问题要求智能体主要依靠第一人称观察在三维环境中进行导航。近年来，由于其在自动驾驶、真空吸尘器和救援机器人中的广泛应用，该问题引起了越来越多的关注。导航Agent应该具有视觉感知、地图绘制、规划、探索和推理等多种智能技能，构建一个能够观察、思考和行动的Agent是实现真正智能的关键。深度学习方法的显著学习能力使智能体能够完成具体的视觉导航任务。尽管如此，体现视觉导航仍然处于起步阶段，因为需要很多先进的技能，包括感知部分观察到的视觉输入，探索看不见的区域，记忆和建模看到的场景，理解跨模态指令，适应新的环境等。最近，体现视觉导航已经引起了社会的关注，并提出了许多工作来学习这些技能。本文试图通过提供一个全面的文献调查，建立一个轮廓，目前的作品在该领域的体现视觉导航。我们总结了基准和指标，回顾了不同的方法，分析了挑战，并强调了最先进的方法。最后，我们讨论了尚未解决的挑战，体现视觉导航领域，并在追求未来的研究方向。
2021-10-11 cs.CV cs.RO
Multimodal Large Language Model for Visual Navigation
Apple（苹果公司）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
该研究针对现有视觉导航依赖复杂提示工程的问题，提出结合历史收集器模型、无需复杂提示的微调多模态大语言模型方法，在HM3D数据集上训练后效果优于现有最优行为克隆方法并降低碰撞率。
2023-11-06 cs.CV cs.RO
A Decentralized Cooperative Navigation Approach for Visual Homing Networks
Fordham University（福特汉姆大学）；Mepco Schlenk Engineering College（梅普科·施伦克工程学院）；University of South Florida（南佛罗里达大学）
针对视觉归巢需家位置在视野内才能启动的局限，提出基于区块链的异构机器人大范围视觉导航方法及轻量级PoW共识机制，适用于低算力平台且支持弹性自适应路径选择。
2023-10-02 cs.CV cs.GR cs.RO
Constraint-Aware Zero-Shot Vision-Language Navigation in Continuous Environments
New Laboratory of Pattern Recognition (NLPR)（模式识别新实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Robotics X, Tencent（腾讯Robotics X实验室）
针对零样本连续环境视觉语言导航（VLN-CE）的挑战，提出约束感知导航器（CA-Nav），将任务重构为子指令完成过程，通过两个核心模块优化导航，在基准测试中成功率显著提升且真实机器人部署有效。
2025-04-15 cs.CV cs.RO
SocialNav: Training Human-Inspired Foundation Model for Socially-Aware Embodied Navigation
Amap, Alibaba Group, China（阿里集团阿地图，中国）；Zhejiang University, China（浙江大学，中国）
SocialNav通过分层架构和多阶段训练，实现了社交感知导航，显著提升了导航性能和社会合规率。
2026-02-27 cs.AI cs.CV cs.RO
Zero-Shot Object Goal Visual Navigation With Class-Independent Relationship Network
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）；Faculty of Computer Technology（计算机技术学院）；Chinese People’s Liberation Army Unit 32620（中国人民解放军32620部队）
本文提出类无关关系网络（CIRN），通过相似度排序解耦导航能力与目标特征，利用图卷积网络学习对象关系，实现零样本目标视觉导航，在AI2-THOR中超越现有方法。
2024-03-14 cs.CV cs.RO
Multi-goal Audio-visual Navigation using Sound Direction Map
Tokyo Institute of Technology（东京工业大学）
本文针对多声源作为目标的通用导航问题，提出多目标视听导航框架及声音方向图（SDM）方法，通过动态定位多声源缓解声源分离难度，显著提升多种基线方法性能。
2023-08-01 cs.CV cs.SD eess.AS
The Surprising Effectiveness of Visual Odometry Techniques for Embodied PointGoal Navigation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）；Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook AI研究院）
对于个人机器人来说，可靠地导航到指定的目标是至关重要的。为了研究这个任务，PointGoal导航已经被引入到模拟的人工智能环境中。最新的进展解决了这个PointGoal导航任务，在照片逼真的模拟环境中具有近乎完美的准确性（99.6%的成功率），假设无噪声的自我中心视觉，无噪声的驱动，最重要的是，完美的定位。然而，在视觉传感器和驱动的现实噪声模型下，并且在没有访问“GPS和指南针传感器”的情况下，PointGoal导航的99.6%成功代理仅成功0.3%。在这项工作中，我们证明了令人惊讶的有效性视觉里程计的任务PointGoal导航在这个现实的设置，即，使用真实的噪声模型进行感知和驱动，无需使用GPS和Compass传感器。我们发现，将视觉里程计技术集成到导航策略中，大大提高了流行的Habitat PointNav基准的最新水平，将成功率从64.5%提高到71.7%，同时执行速度提高了6.4倍。
2021-08-26 cs.AI cs.CV cs.LG
Graph Attention Memory for Visual Navigation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
复杂环境下的视觉导航，传统的反应式策略或通用的递归策略是低效的。针对长期记忆问题，提出了一种由记忆构建模块、图注意模块和控制模块组成的图注意记忆结构。存储器构建模块以探索优先为原则，构建基于监督学习的拓扑图。然后，引导注意力特征提取与图形注意力模块。最后，基于深度强化学习的控制模块基于视觉观察和引导注意力特征做出决策。本文详细分析了GAM算法的收敛性。我们评估了基于GAM的导航系统在两个复杂的三维环境。实验结果表明，基于GAM的导航系统显著提高了学习效率，平均成功率优于所有基线。
2019-06-04 cs.AI cs.CV
Zero-shot object goal visual navigation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tongji University（同济大学）
目标视觉导航是一项具有挑战性的任务，其目的是引导机器人根据其视觉观察找到目标物体，并且目标仅限于训练阶段预先定义的类别。然而，在现实家庭中，可能存在许多机器人需要处理的目标类别，并且很难在训练阶段包含所有这些类别。为了解决这一挑战，我们研究了zero-shot目标视觉导航任务，其目的是引导机器人找到属于新类别的目标，而无需任何训练样本。为此，我们还提出了一种新的zero-shot对象导航框架，称为语义相似性网络（SSNet）。我们的框架使用检测结果和语义词嵌入之间的余弦相似度作为输入。这种类型的输入数据与类的相关性很弱，因此我们的框架能够将策略推广到新的类。在AI 2-THOR平台上的大量实验表明，该模型在zero-shot目标导航任务中的性能优于基准模型，证明了该模型的泛化能力。我们的代码可在https://github.com/pioneer-innovation/Zero-Shot-Object-Navigation上获取。
2023-02-20 cs.AI cs.CV
Deep Learning-Powered Visual SLAM Aimed at Assisting Visually Impaired Navigation
Institute of Computer Science, ZHAW School of Engineering（苏黎世应用科技大学工程学院计算机科学研究所）；Department of Informatics, University of Zurich（苏黎世大学信息学系）
本文提出SELM-SLAM3框架，结合SuperPoint和LightGlue提升特征提取与匹配鲁棒性，在低纹理、运动模糊等挑战性条件下实现更精确的定位与跟踪，提升视障导航可靠性。
2026-04-09 cs.CV cs.RO
Visual SLAM-based Localization and Navigation for Service Robots: The Pepper Case
Universidad de Chile（智利大学）；Advanced Mining Technology Center（先进采矿技术中心）；Delft University of Technology（代尔夫特理工大学）
提出了一种基于Visual-SLAM的服务机器人定位导航系统。我们的系统是建立在ORB-SLAM单目系统的顶部，但通过在估计过程中加入车轮里程计来扩展。作为一个案例研究，所提出的系统进行了验证，使用胡椒机器人，其短程激光雷达和RGB-D相机不允许机器人在大环境中进行自定位。定位系统在两种不同的环境中使用Pepper进行导航任务测试：中型实验室和大型大厅。
2018-11-20 cs.CV cs.RO
Recursive Visual Imagination and Adaptive Linguistic Grounding for Vision Language Navigation
针对视觉语言导航中场景表示过细、视觉-语言对齐模糊的问题，提出结合递归视觉想象与自适应语言接地的导航策略，在VLN-CE和ObjectNav任务上性能超越现有最优方法。
2025-07-29 cs.CV cs.RO
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Efficient and Robust Pedestrian Detection using Deep Learning for Human-Aware Navigation
Instituto de Sistemas e Robótica (LARSyS)（系统与机器人研究所（LARSyS））；Instituto Superior Técnico（高等理工学院）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文研究了基于视觉的人体感知导航（HAN）问题，利用多摄像机传感器实现了一个基于视觉的人体跟踪系统。本文的主要贡献如下：一种新颖而高效的深度学习人检测和人类感知约束的标准化。在该方法的第一阶段，我们建议将聚合通道特征（ACF）检测器与深度卷积神经网络（CNN）级联，以实现快速准确的行人检测（PD）。关于人类意识（可以定义为与机器人运动相关的约束），我们使用非对称高斯函数的混合来定义与每个约束相关的成本函数。本文提出的两种方法都单独评估，以衡量每个组件的影响。最终的解决方案（包括拟议的行人检测和人类意识的限制）进行了测试，在一个典型的国内室内场景，在四个不同的实验。结果表明，机器人是能够应付人类意识到的限制，定义后，共同的数学和社会规则。
2018-12-13 cs.CV cs.RO
Learning View and Target Invariant Visual Servoing for Navigation
George Mason University（乔治梅森大学）
深度强化学习的进步最近重新唤起了人们对基于数据驱动学习的导航方法的兴趣。在本文中，我们提出了本地移动机器人导航学习视点不变和目标不变视觉伺服;给定初始视图和目标视图或目标图像，我们训练深度卷积网络控制器以达到预期目标。我们提出了一个新的架构，这个任务依赖于建立初始和目标视图之间的对应关系和新的奖励结构的传统的反馈控制错误的动机的能力。该模型的优点是不需要标定和深度信息，在各种环境和目标下实现鲁棒的视觉伺服，无需任何参数微调。我们提出了全面的评估方法，并与其他深度学习架构以及视觉逼真的仿真环境中的经典视觉伺服方法进行了比较。该模型克服了传统视觉伺服方法的脆弱性，并取得了显着更高的泛化能力相比，以前的学习方法。
2020-03-04 cs.CV cs.RO
Deep Visual Navigation under Partial Observability
机器人如何在丰富多样的环境中成功导航，室内或室外，沿着办公室走廊或草地上的小径，在平地或楼梯上？为此，这项工作的目的是解决三个挑战：（i）复杂的视觉观察，（ii）局部视觉传感的部分可观察性，以及（iii）多模态机器人行为的本地环境和全球导航目标的条件。我们提出了训练一个神经网络（NN）控制器的本地导航通过模仿学习。为了解决复杂的视觉观察，我们通过CNN提取多尺度空间表示。为了解决部分可观测性，我们随着时间的推移聚合多尺度空间信息，并将其编码在LSTM中。为了学习多模态行为，我们为每个行为模式使用单独的记忆模块。重要的是，我们将多个神经网络模块集成到一个统一的控制器中，该控制器可以在复杂的部分可观察环境中实现强大的视觉导航性能。我们实现了控制器的四足机器人现场和三个具有挑战性的任务进行评估：对抗性的行人回避，盲点避障，电梯乘坐。实验结果表明，该神经网络结构显著提高了导航性能。
2022-05-30 cs.CV cs.LG cs.RO
Instance-aware Exploration-Verification-Exploitation for Instance ImageGoal Navigation
Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对实例图像目标导航中易受干扰物影响的问题，提出模仿人类“靠近确认”行为的IEVE模块化导航框架，通过主动切换探索、验证和利用动作提升决策能力，在HM3D-SEM数据集上成功率显著超越现有最先进方法。
2024-03-22 cs.CV cs.RO
Optimizing Gaze Direction in a Visual Navigation Task
Tampere University of Technology（坦佩雷理工大学）
在未知环境中的导航由多个可分离的子任务组成，例如收集有关周围环境的信息并导航到当前目标。在纯视觉导航的情况下，所有这些子任务都需要利用相同的视觉系统，因此需要一种最佳控制焦点方向的方法。我们提出了一个案例研究，在那里我们建模的主动传感问题，指导移动机器人的目光与三个机器视觉摄像头作为一个部分可观察的马尔可夫决策过程（POMDP）使用的互信息（MI）为基础的奖励函数。该解决方案的关键方面是摄像机可以动态地用于单目或立体配置。使用所提出的主动传感实现的好处与模拟和实验上一个真正的机器人证明。
2016-02-16 cs.CV cs.RO
CARE: Enhancing Safety of Visual Navigation through Collision Avoidance via Repulsive Estimation
Department of Electronic Engineering, Sogang University（电子工程系，首尔大学）；Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学）
提出CARE模块，通过RGB估计深度并计算斥力向量调整轨迹，无需微调或额外传感器，显著降低视觉导航碰撞率并提升探索距离。
2025-08-08 cs.CV cs.RO
PROBE: Predictive Robust Estimation for Visual-Inertial Navigation
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）
在未知、混乱的环境中导航仍然是机器人社区面临的一个重大挑战。光照变化、自相似纹理、运动模糊和移动物体都是最先进的基于视觉的导航算法的绊脚石。在本文中，我们提出了一种新的技术，提高定位精度的视觉惯性导航系统（VINS）。我们利用训练数据来学习在给定环境中相对于定位误差的视觉特征的质量的模型。该模型将来自视觉惯性预测器的预定义预测空间的每个视觉观测映射到标量权重上，然后使用该标量权重来缩放观测协方差矩阵。通过这种方式，我们的模型可以根据其质量调整每个观察的影响。我们讨论了我们选择的预测和报告的定位误差大幅减少4公里的数据从KITTI数据集，以及实验数据集组成的700米的室内和室外驾驶的小型地面漫游车配备了Skybotix VI传感器。
2019-08-05 cs.CV cs.RO
Knowledge-driven Scene Priors for Semantic Audio-Visual Embodied Navigation
Tufts University（塔夫茨大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）
对于具身导航代理来说，对看不见的上下文的概括仍然是一个挑战。在语义视听导航（SAVi）任务的背景下，概括的概念应该包括概括到看不见的室内视觉场景以及概括到听不见的声音对象。然而，以前的SAVi任务定义不包括真正新颖的发声对象的评价条件，而不是诉诸于评价代理人对未知的声音剪辑的已知对象，同时，以前的SAVi方法不包括明确的机制，将领域知识的对象和区域语义。这些弱点限制了发展和评估模型的能力，以概括他们的经验教训。在这项工作中，我们介绍了使用知识驱动的场景先验的语义视听具身导航任务：我们结合语义信息从我们的新的知识图谱，编码对象区域关系，空间知识从双图编码器网络，和背景知识从一系列的预训练任务-所有在一个强化学习框架内的视听导航。我们还定义了一个新的视听导航子任务，代理评估新的发声对象，而不是闻所未闻的剪辑已知的对象。我们在SoundSpaces任务下，在Monclerat-Matterport 3D模拟环境中，在对看不见的区域和新颖的探测对象的概括中显示了强基线的改进。
2022-12-21 cs.AI cs.CV cs.RO
STRNet: Visual Navigation with Spatio-Temporal Representation through Dynamic Graph Aggregation
Sun Yat-sen University（中山大学）；Insta360 Research（Insta360 研究院）；Wuhan University（武汉大学）
本文提出一种统一的时空表示框架，通过融合图像序列和目标观测，提升机器人导航的视觉编码能力，改进导航性能并提供通用的视觉骨干网络。
2026-04-03 cs.CV cs.RO
Exploiting Proximity-Aware Tasks for Embodied Social Navigation
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））；Simon Fraser University（西蒙弗雷泽大学）
学习如何在封闭和空间受限的室内环境中在人类之间导航，是体现智能体融入我们社会所需的关键能力。在本文中，我们提出了一个端到端的架构，利用邻近感知任务（称为风险和邻近罗盘）注入到强化学习导航策略的能力，推断常识的社会行为。为此，我们的任务利用了当前和未来碰撞危险的概念。此外，我们提出了一个评估协议，专门设计的社会导航任务在模拟环境中。这样做是为了通过分析人机空间交互的最小单元（称为相遇）来捕获策略的细粒度特征和特性。我们在Gibson4+和Matterport3D数据集上验证了我们的方法。
2023-03-10 cs.AI cs.CV cs.LG
Semantic Audio-Visual Navigation
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
最近的视听导航工作假设一个不断发声的目标，并限制了音频的作用，以信号的目标的位置。我们引入语义视听导航，其中环境中的对象使声音与其语义含义一致（例如，马桶冲水、门吱吱作响）和声学事件是零星的或持续时间短的。我们提出了一个基于transformer的模型来解决这个新的语义AudioGoal任务，将一个推断的目标描述符，捕获目标的空间和语义属性。我们的模型的持久的多模态记忆使它能够达到目标，即使很长一段时间后，声学事件停止。为了支持新任务，我们还扩展了SoundSpaces音频模拟，为Matterport3D中的一系列对象提供语义上的声音。我们的方法通过学习将语义、声学和视觉线索相关联，大大优于现有的视听导航方法。
2021-04-07 cs.CV cs.LG cs.RO
GoViG: Goal-Conditioned Visual Navigation Instruction Generation via Multimodal Reasoning
University of Washington（华盛顿大学）；The Hong Kong Polytechnic University（香港理工大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出GoViG任务，通过多模态推理生成基于初始和目标状态的视觉导航指令，采用自回归多模态大语言模型提升空间准确性和语言清晰度，提出两种多模态推理策略并构建R2R-Goal数据集验证方法有效性。
2026-04-29 cs.AI cs.CV
A Pose-only Solution to Visual Reconstruction and Navigation
视觉导航和三维（3D）场景重建是机器人与周围环境交互的关键。大规模的场景和关键的相机运动是研究界面临的巨大挑战，以实现这一目标。我们提出了一个姿态成像几何框架和算法，可以帮助解决这些挑战。该表示是摄像机全局平移的线性函数，这允许高效且鲁棒的摄像机运动估计。因此，空间特征坐标可以解析地重建，并且不需要非线性优化。实验表明，恢复场景和相关的相机姿态的计算效率显着提高了2-4个数量级。该解决方案可能有望在许多前沿应用中解锁实时3D视觉计算。
2021-09-20 cs.CV cs.RO
Learning to Set Waypoints for Audio-Visual Navigation
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
在视听导航中，智能体使用视觉和声音智能地穿过复杂的、未映射的3D环境以找到声源（例如，另一个房间的电话响了）。现有的模型学习以固定的代理运动粒度进行操作，并依赖于音频观察的简单循环聚合。我们引入了一种强化学习方法，视听导航与两个关键的新元素：1）航点，动态设置和学习端到端的导航策略，和2）一个声学记忆，提供了一个结构化的，空间接地记录代理人听到了什么，因为它移动。这两个新的想法都利用了音频和视频数据的协同作用来揭示未映射空间的几何形状。我们在两个具有挑战性的真实世界3D场景数据集上展示了我们的方法，这两个数据集分别是CNET和Matterport3D。我们的模型大幅提高了最先进的技术水平，我们的实验表明，学习视觉，声音和空间之间的联系对于视听导航至关重要。项目：http://vision.cs.utexas.edu/projects/audio_visual_waypoints。
2021-02-11 cs.AI cs.CV cs.LG
Pushing it out of the Way: Interactive Visual Navigation
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们已经观察到显着的进展，在视觉导航体现代理。研究视觉导航的一个常见假设是环境是静态的;这是一个限制性假设。智能导航可能涉及与环境交互，而不仅仅是向前/向后移动和向左/向右转弯。有时候，最好的导航方式就是把一些东西推开。在本文中，我们研究了交互式导航的问题，其中代理人学会改变环境，更有效地导航到他们的目标。为此，我们引入神经交互引擎（NIE）来明确预测代理的行为所引起的环境变化。通过建模的变化，而规划，我们发现，代理表现出显着的改善，他们的导航能力。更具体地说，我们考虑了两个下游任务中的物理功能，视觉丰富，AI 2-THOR环境：（1）到达目标，而目标的路径被封锁（2）移动一个对象到目标位置通过推动它。对于这两个任务，代理配备了NIE显着优于代理没有理解的行动的效果，表明我们的方法的好处。
2021-05-02 cs.AI cs.CV cs.RO
Learning Pose Estimation for UAV Autonomous Navigation andLanding Using Visual-Inertial Sensor Data
California Institute of Technology（加州理工学院）
在这项工作中，我们提出了一种新的学习方法的自主导航和着陆的无人机（UAV）。我们开发了一种用于视觉-惯性里程计的深度神经架构的多模态融合。我们以端到端的方式训练模型，以从视觉和惯性测量流中估计当前车辆姿态。我们首先评估我们的估计的准确性，通过比较模型的预测，传统的算法在公开的EuRoC MAV数据集。结果表明，$25 \%$在估计精度上优于基线。最后，我们将该架构集成到Airsim的闭环飞行控制系统中-虚幻引擎的插件模拟器-并提供自主导航和着陆的仿真结果。
2020-04-09 cs.CV cs.LG cs.RO
From Seeing to Moving: A Survey on Learning for Visual Indoor Navigation (VIN)
Arizona State University（亚利桑那州立大学）
视觉室内导航（VIN）任务已经引起了数据驱动的机器学习社区越来越多的关注，特别是最近报道的基于学习的方法的成功。由于这项任务的内在复杂性，研究人员试图从各种不同的角度来解决这个问题，其全部范围尚未在一份总体报告中得到体现。本调查首先总结了VIN任务的基于学习的方法的代表性工作，然后确定和讨论阻碍VIN性能的挥之不去的问题，以及激励未来的研究在这些关键领域值得探索的社会。
2022-07-02 cs.AI cs.CV cs.RO
Learning to Learn How to Learn: Self-Adaptive Visual Navigation Using Meta-Learning
University of Washington（华盛顿大学）
学习是一种内在的连续现象。当人类学习一项新任务时，训练和推理之间没有明确的区别。当我们学习一项任务时，我们在执行任务的同时不断学习它。在不同的学习阶段，我们学习的内容和方式是不同的。学习如何学习和适应是一个关键属性，使我们能够毫不费力地推广到新的设置。这与机器学习中的常规设置形成对比，在常规设置中，训练的模型在推理期间被冻结。在本文中，我们研究的问题，学习学习在培训和测试时间的视觉导航的背景下。导航中的一个基本挑战是对不可见场景的泛化。在本文中，我们提出了一种自适应视觉导航方法（SAVN），学习适应新的环境，没有任何明确的监督。我们的解决方案是一种Meta强化学习方法，其中代理学习鼓励有效导航的自我监督交互损失。我们的实验，在AI 2-THOR框架中进行，显示在成功率和SPL的视觉导航在新的场景中的重大改进。我们的代码和数据可在https://github.com/allenai/savn上获得。
2019-03-26 cs.AI cs.CV cs.LG
