A Robust and Rapidly Deployable Waypoint Navigation Architecture for Long-Duration Operations in GPS-Denied Environments
Stevens Institute of Technology（史蒂文斯理工学院）
针对GPS拒止环境下多批次作业的定位误差累积问题，提出结合公开软件包的多批次航点导航架构，实现数小时内从建图到自主导航的快速部署。
2023-08-10 cs.RO
Generating Robust Supervision for Learning-Based Visual Navigation Using Hamilton-Jacobi Reachability
Simon Fraser University（西蒙弗雷泽大学）；University of California, Berkeley（加州大学伯克利分校）
在Bansal等人（2019）中，提出了一种结合基于学习和基于模型的方法的新型视觉导航框架。具体地，卷积神经网络（CNN）预测由动力学模型用于规划和跟踪到航路点的轨迹的航路点。然而，CNN不可避免地会产生预测错误，这通常会导致在混乱和紧凑的空间中发生碰撞。在本文中，我们提出了一种新的汉密尔顿-雅可比（HJ）的可达性为基础的方法来产生监督的CNN的航路点预测在一个看不见的环境。通过将CNN预测误差建模为机器人动力学中的“干扰”，我们生成的路点对这些干扰具有鲁棒性，因此对预测误差具有鲁棒性。此外，使用全局最优HJ可达性分析导致预测时间有效的路点，避免贪婪行为。通过仿真和硬件实验，我们证明了所提出的方法的优势，通过杂乱，狭窄的室内环境导航。
2020-05-15 cs.CV cs.LG cs.RO
Language-Aligned Waypoint (LAW) Supervision for Vision-and-Language Navigation in Continuous Environments
Simon Fraser University（西蒙弗雷泽大学）；IIT Kanpur（印度理工学院坎普尔分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在视觉和语言导航（VLN）任务中，一个具体的代理导航3D环境，以下自然语言的指令。在这个任务中的一个挑战是如何处理“偏离路径”的情况下，代理转向从参考path.Prior工作监督代理与行动的基础上最短的路径从代理的位置到目标，但这种目标导向的监督往往是不符合指令。此外，以前的工作所采用的评估指标并不衡量代理能够遵循多少语言指令。在这项工作中，我们提出了一个简单有效的与语言对齐的监督方案，以及一个衡量代理在导航期间完成的子指令数量的新指标。
2021-09-30 cs.CL cs.CV cs.RO
Bridging the Gap Between Learning in Discrete and Continuous Environments for Vision-and-Language Navigation
University of Adelaide（阿德莱德大学）；The Australian National University（澳大利亚国立大学）
大多数现有的视觉和语言导航（VLN）的工作集中在离散或连续的环境，训练代理，不能概括在这两个。这两种设置之间的根本区别在于，离散导航假设环境的连通性图的先验知识，因此智能体可以通过接地到可导航方向的图像来有效地将具有低级控制的导航问题转移到具有高级动作的节点之间的跳跃。为了弥合离散到连续的差距，我们提出了一个预测器，在导航过程中生成一组候选航点，使代理设计的高层次的行动可以转移到连续的环境中，并在连续的环境中进行训练。我们细化Matterport 3D的连接图，以适应连续的Matterport 3D，并训练的路径点预测器与细化的图形，以产生可访问的路径点在每个时间步。此外，我们证明了预测的路点可以在训练过程中增加多样化的意见和路径，从而提高代理的泛化能力。通过大量的实验，我们表明，在连续环境中导航的预测航路点的代理执行显着优于代理使用低级别的行动，这减少了11.76%的成功加权路径长度（SPL）的跨模态匹配代理和18.24%SPL的递归VLN-BERT的绝对离散到连续的差距。我们的智能体通过简单的模仿学习目标进行训练，大大优于以前的方法，在R2 R-CE和RxR-CE数据集的测试环境中获得了最先进的结果。
2022-03-05 cs.CL cs.CV cs.RO
SKGE-SWIN: End-To-End Autonomous Vehicle Waypoint Prediction and Navigation Using Skip Stage Swin Transformer
Department of Computer Science, Indonesia University of Education（印度尼西亚教育大学计算机科学系）；Research Center for Smart Mechatronics, National Research and Innovation Agency（国家研究与创新局智能机电研究中心）；Department of Computer Science and Electronics, Gadjah Mada University（加查玛达大学计算机科学与电子系）
本文提出 SKGE-Swin 端到端自动驾驶架构，通过跳跃阶段机制与 SW-MSA 增强多层级全局特征提取，并在 CARLA 对抗场景中取得优于以往方法的驾驶分数。
2025-08-28 cs.AI cs.CV cs.LG
Computer-Vision Based Real Time Waypoint Generation for Autonomous Vineyard Navigation with Quadruped Robots
Istituto Italiano di Tecnologia（意大利技术研究院）
本研究针对葡萄园劳动力短缺问题，提出基于计算机视觉的四足机器人导航架构，通过状态机控制实现精准航点生成与葡萄藤修剪作业，实验验证了高可靠性，为果园自动化提供新方案。
2023-05-02 cs.RO
MetricNet: Recovering Metric Scale in Generative Navigation Policies
Artificial Intelligence and Robotics Lab, Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg（技术大学纽伦堡计算机科学与人工智能系人工智能与机器人实验室）；Inria, Ecole Normale Supérieure, CNRS, PSL Research University（法国国家信息与自动化技术研究院、巴黎高等师范学校、国家科学研究中心、巴黎-萨克勒研究大学）
MetricNet通过预测航点之间的度量距离，解决生成导航策略中轨迹抽象和控制策略短视的问题，提升导航与探索性能。
2026-03-09 cs.CV cs.RO
Memory Proxy Maps for Visual Navigation
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；Georgia State University（佐治亚州立大学）
该研究提出一种基于封建学习的三层视觉导航架构，核心是自监督学习的记忆代理地图作为简化记忆，搭配航点网络与动作分类器，实现无强化学习、无图、无里程计、无度量地图的导航，并在图像目标导航任务上达当前最优水平。
2024-12-12 cs.CV
Feudal Networks for Visual Navigation
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；Georgia State University（佐治亚州立大学）
本研究提出基于封建学习的层级视觉导航框架，通过自监督记忆代理图和模仿人类航点选择的航点网络，实现无需强化学习、拓扑图、里程计与度量地图的导航，性能接近当前最优水平。
2024-12-12 cs.CV cs.LG cs.RO
1st Place Solutions for RxR-Habitat Vision-and-Language Navigation Competition (CVPR 2022)
Institute of Automation, CAS（中国科学院自动化研究所）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime（商汤科技）；The Australian National University（澳大利亚国立大学）
本报告介绍了CVPR 2022中RxR-Habitat竞赛的获奖方法。该竞赛解决了连续环境中的视觉和语言导航（VLN-CE）问题，该问题要求智能体遵循逐步的自然语言指令到达目标。我们提出了一个模块化的计划和控制方法的任务。我们的模型包括三个模块：候选航路点预测器（CWP），历史增强规划器和试用控制器。在每个决策循环中，CWP首先基于来自多个视图的深度观察来预测一组候选航点。它可以降低行动空间的复杂性，便于规划。然后，采用历史增强规划器选择一个候选航路点作为子目标。规划器还对历史记忆进行编码以跟踪导航进度，这对于长视野导航特别有效。最后，我们提出了一个非参数启发式控制器名为试用执行低级别的行动，以达到计划的子目标。它是基于试错机制，可以帮助代理，以避免障碍，摆脱陷入困境。所有三个模块都按层次结构工作，直到代理停止。我们进一步采取视觉和语言导航（VLN）的一些最新进展，如基于大规模合成域内数据集的预训练，环境级数据增强和快照模型集成，以提高性能。我们的模型赢得了RxR-Habitat Competition 2022，在NDTW和SR指标上分别比现有方法有48%和90%的相对改进。
2022-06-26 cs.AI cs.CV cs.RO
PathLift: Depth-Conditioned Metric Lifting for Visual-Navigation Priors
Seoul National University（首尔大学）
PathLift是一种深度条件适配器，可提升预训练视觉导航策略，在仿真与真实机器人上均能改善闭环导航性能，无需测试时优化即可提升现实世界导航成功率。
2026-10-14 cs.RO
ProFocus: Proactive Perception and Focused Reasoning in Vision-and-Language Navigation
ProFocus通过大语言模型与视觉-语言模型的协作，实现前瞻性感知和聚焦推理，提升视觉-语言导航任务的效率与准确性。
2026-03-15 cs.CV cs.RO
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Semantic Audio-Visual Navigation
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
最近的视听导航工作假设一个不断发声的目标，并限制了音频的作用，以信号的目标的位置。我们引入语义视听导航，其中环境中的对象使声音与其语义含义一致（例如，马桶冲水、门吱吱作响）和声学事件是零星的或持续时间短的。我们提出了一个基于transformer的模型来解决这个新的语义AudioGoal任务，将一个推断的目标描述符，捕获目标的空间和语义属性。我们的模型的持久的多模态记忆使它能够达到目标，即使很长一段时间后，声学事件停止。为了支持新任务，我们还扩展了SoundSpaces音频模拟，为Matterport3D中的一系列对象提供语义上的声音。我们的方法通过学习将语义、声学和视觉线索相关联，大大优于现有的视听导航方法。
2021-04-07 cs.CV cs.LG cs.RO
Towards Generalisable Audio Representations for Audio-Visual Navigation
University of Sydney（悉尼大学）
在视听导航（AVN）中，智能体需要根据其听觉和视觉感知在复杂的3D环境中导航到不断发声的对象。虽然现有的方法试图提高导航性能与精确设计的路径规划或复杂的任务设置，没有改善的模型概括听不到的声音与任务设置不变。因此，我们提出了一个基于对比学习的方法来解决这个挑战，通过正规化的音频编码器，声音不可知的目标驱动的潜在表示可以从不同类别的各种音频信号学习。此外，我们考虑了两个数据增强策略来丰富训练声音。我们证明，我们的设计可以很容易地装备到现有的AVN框架，以获得立即的性能增益（13.4% $\uparrow$在SPL上的MP3D和12.2% $\uparrow$在SPL上的MP3D）。我们的项目可以在https://AV-GeN.github.io/上找到。
2022-06-01 cs.CV cs.LG cs.RO
P2DNav: Panorama-to-Downview Reasoning for Zero-shot Vision-and-Language Navigation
Department of Control Science and Engineering, Tongji University（控制科学与工程系，同济大学）
本文提出P2DNav框架，通过全景到俯视视角的分解、滑动窗口对话记忆和反思重新定位机制，解决零样本视觉-语言导航中的方向推理与局部定位问题，实验表明其在R2R-CE基准上性能优异。
2026-05-19 cs.AI cs.CV
Narrowing the Gap between Vision and Action in Navigation
Michigan State University（密歇根州立大学）
本研究提出联合训练低级动作解码器与增强航点预测器，解决VLN-CE中视觉与行动差距，提升导航性能。
2024-08-19 cs.CL cs.CV
Multi-Object Navigation in real environments using hybrid policies
Naver Labs Europe（Naver欧洲实验室）；Université de Lyon, INSA-Lyon, LIRIS（里昂大学，INSA-里昂，LIRIS）
针对 Multi-ON 任务的 sim2real 迁移难题，提出结合经典 SLAM、符号规划与深度神经网络的混合导航策略，并在仿真和真实环境中超越端到端 SOTA。
2024-01-24 cs.AI cs.RO
Sim2Dust: Mastering Dynamic Waypoint Tracking on Granular Media
本文提出Sim2Dust仿真到现实框架，通过大规模并行、程序化随机环境训练强化学习航点跟踪策略，并在月球模拟设施的轮式漫游车上零样本验证，证明程序化多样性优于静态场景训练。
2025-10-20 cs.AI cs.LG cs.RO
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Affordances-Oriented Planning using Foundation Models for Continuous Vision-Language Navigation
The University of Hong Kong（香港大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Meituan（美团）
针对连续视觉语言导航中低层控制缺失的问题，提出AO-Planner，集成基础模型实现可用性导向的零样本运动规划与决策，在R2R-CE和RxR-CE上取得最优性能，并可作为数据标注器提升航点预测能力。
2024-08-20 cs.CL cs.RO
AVLEN: Audio-Visual-Language Embodied Navigation in 3D Environments
University of California, Riverside（加州大学河滨分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
近年来，嵌入式视觉导航在两个不同的方向上取得了进展：（i）装备人工智能智能体以遵循自然语言指令，以及（ii）使可导航的世界多模态，例如，视听导航然而，现实世界不仅是多模态的，而且往往是复杂的，因此，尽管有这些进步，代理人仍然需要了解他们的行动中的不确定性，并寻求指导导航。为此，我们提出了AVLEN~ --一个交互式的视听语言具身导航代理。与视听导航任务类似，我们的具体代理的目标是通过导航3D视觉世界来本地化音频事件;然而，代理也可以寻求人类（Oracle）的帮助，其中以自由形式的自然语言提供帮助。为了实现这些能力，AVLEN使用多模态分层强化学习主干，该主干学习：（a）选择用于导航的音频线索或查询oracle的高级策略，以及（b）基于其视听和语言输入选择导航动作的低级策略。通过对导航任务的成功进行奖励来训练策略，同时最大限度地减少对oracle的查询次数。为了实证评估AVLEN，我们提出了语义视听导航任务的SoundSpaces框架上的实验。我们的研究结果表明，装备代理请求帮助导致性能的明显改善，特别是在具有挑战性的情况下，例如，当在训练期间或在干扰物声音存在的情况下听不到声音时。
2022-10-14 cs.AI cs.CL cs.CV
Audio Visual Language Maps for Robot Navigation
University of Freiburg（弗赖堡大学）；Google Research（谷歌研究院）；University of Technology Nuremberg（纽伦堡工业大学）
虽然在世界中进行交互是一种多感官体验，但许多机器人仍然主要依赖视觉感知来在其环境中进行映射和导航。在这项工作中，我们提出了视听语言地图（AVLMaps），一个统一的三维空间地图表示存储跨模态的信息，从音频，视觉和语言线索。AVLMaps通过将多模态基础模型的特征融合到一个集中的3D体素网格中，集成了在互联网规模数据上预训练的多模态基础模型的开放词汇功能。在导航的上下文中，我们表明AVLMaps使机器人系统能够基于多模态查询在地图中索引目标，例如，地标的文本描述、图像或音频片段。特别是，音频信息的添加使机器人能够更可靠地消除目标位置的歧义。大量的模拟实验表明，AVLMaps使zero-shot多模态目标导航从多模态提示，并提供50%以上的召回在模糊的情况下。这些功能扩展到现实世界中的移动机器人-导航到涉及视觉，音频和空间概念的地标。视频和代码可在https://avlmaps.github.io上获得。
2023-03-27 cs.AI cs.CL cs.CV
Knowledge-driven Scene Priors for Semantic Audio-Visual Embodied Navigation
Tufts University（塔夫茨大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）
对于具身导航代理来说，对看不见的上下文的概括仍然是一个挑战。在语义视听导航（SAVi）任务的背景下，概括的概念应该包括概括到看不见的室内视觉场景以及概括到听不见的声音对象。然而，以前的SAVi任务定义不包括真正新颖的发声对象的评价条件，而不是诉诸于评价代理人对未知的声音剪辑的已知对象，同时，以前的SAVi方法不包括明确的机制，将领域知识的对象和区域语义。这些弱点限制了发展和评估模型的能力，以概括他们的经验教训。在这项工作中，我们介绍了使用知识驱动的场景先验的语义视听具身导航任务：我们结合语义信息从我们的新的知识图谱，编码对象区域关系，空间知识从双图编码器网络，和背景知识从一系列的预训练任务-所有在一个强化学习框架内的视听导航。我们还定义了一个新的视听导航子任务，代理评估新的发声对象，而不是闻所未闻的剪辑已知的对象。我们在SoundSpaces任务下，在Monclerat-Matterport 3D模拟环境中，在对看不见的区域和新颖的探测对象的概括中显示了强基线的改进。
2022-12-21 cs.AI cs.CV cs.RO
Look, Listen, and Act: Towards Audio-Visual Embodied Navigation
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Google（谷歌）
移动智能体的一个关键能力是整合来自环境中多个感官输入的证据，并采取一系列行动来达到其目标。在本文中，我们试图接近的问题，视听具身导航，规划的最短路径的任务，从一个随机的起始位置在一个场景中的声源在室内环境中，只有原始的自我中心的视觉和听觉感官数据。为了完成这一任务，智能体需要从各种模态中学习，即将音频信号与视觉环境相关联。在这里，我们描述了一种方法，视听具身导航，同时利用视觉和音频的证据。我们的解决方案是基于三个关键的想法：一个视觉感知映射器模块，构建其空间记忆的环境，一个声音感知模块，推断的相对位置的声源从代理，和一个动态的路径规划，计划一系列的行动的基础上的视听观察和空间记忆的环境，以导航到目标。使用模拟多模态环境在新收集的视听室数据集上的实验结果证明了我们的方法在几个竞争基线上的有效性。
2020-03-08 cs.CV cs.LG cs.RO
Sim2Real Transfer for Audio-Visual Navigation with Frequency-Adaptive Acoustic Field Prediction
University of Texas at Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta AI（Meta AI FAIR）
该研究针对视听导航的Sim2Real迁移问题，提出将任务拆解为声场预测与航点导航的框架，结合频率自适应策略选择最优预测频段，在仿真基准和真实机器人平台上均验证了有效性。
2024-09-10 cs.AI cs.LG cs.RO
Audio Spatially-Guided Fusion for Audio-Visual Navigation
Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学联合研究实验室，具身智能）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算国际联合研究实验室）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
本文提出一种音频空间引导融合方法，通过自适应提取空间状态信息，实现多模态特征动态对齐与融合，提升在未知声源分布下的导航泛化能力。
2026-04-02 cs.AI cs.SD eess.AS
Fast-SmartWay: Panoramic-Free End-to-End Zero-Shot Vision-and-Language Navigation
Australian Institute for Machine Learning, the University of Adelaide（澳大利亚机器学习研究所、阿德莱德大学）；CREATE Lab, Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院CREATE实验室）
本文提出Fast-SmartWay，一个免全景和航点预测器的端到端零样本VLN-CE框架，仅用三张正面RGB-D图像结合不确定性感知推理模块直接预测动作，显著降低延迟并取得优越性能。
2025-11-02 cs.CV cs.RO
Enabling Autonomous Navigation in a Snake Robot through Visual-Inertial Odometry and Closed-Loop Trajectory Tracking Control
Electrical and Computer Engineering（电气与计算机工程系）
本研究通过视觉-惯性里程计和闭环轨迹跟踪控制，实现蛇形机器人在无外部跟踪设施环境下的自主导航，验证了多路径点跟踪的准确性。
2025-12-09 cs.RO
NaviFormer: A Deep Reinforcement Learning Transformer-like Model to Holistically Solve the Navigation Problem
Grupo de Tratamiento de Imágenes, Information Processing and Telecommunications Center, ETSI Telecomunicación, Universidad Politécnica de Madrid（图像处理与电信中心，信息处理与电信中心，电信工程学院，马德里理工大学）；Idiap Research Institute（Idiap研究机构）
NaviFormer通过预测高层路线和底层轨迹，整体解决导航问题，实验表明其在准确性和计算速度上表现优异，适用于实时任务。
2026-04-18 cs.AI cs.RO
CAVEN: An Embodied Conversational Agent for Efficient Audio-Visual Navigation in Noisy Environments
MERL（三菱电机研究实验室）；UC Riverside（加州大学河滨分校）
本文提出CAVEN框架，通过对话式交互和预算感知决策，在嘈杂环境中实现高效视听导航，显著提升成功率。
2023-12-27 cs.AI cs.CL cs.CV
GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model
CSIRO Technology（联邦科学与工业研究组织）
研究探索基于大型预训练模型的视觉机器人导航策略新方法，提出GemNav，仅对语言塔用LoRA适配冻结的多模态大语言模型用于中短程航点导航，无辅助视觉编码器等，在小语料库上零样本转移到未见环境，提供了数据高效、可部署的导航替代方案。
2026-10-20 cs.AI cs.RO
Pay Self-Attention to Audio-Visual Navigation
Tsinghua University（清华大学）；EQT（殷拓集团）；Xinjiang University（新疆大学）
视听具身导航作为一个热门的研究课题，旨在训练机器人到达音频目标使用自我中心的视觉（来自安装在机器人上的传感器）和音频（从目标发出）输入。视听信息融合策略对导航性能有着重要的影响，但现有的方法仍然只是简单地将视觉和音频信息融合在一起，而忽略了上下文信息的直接影响。此外，现有的方法需要逐阶段训练或额外的辅助（例如拓扑图和声音语义）。到目前为止，处理具有移动目标的更具挑战性的设置的工作仍然很少。因此，我们提出了一个端到端的框架FSAAVN（功能自我注意视听导航）学习追逐移动的音频目标，使用上下文感知的视听融合策略实现的自我注意模块。我们的全面实验验证了FSAAVN与最先进技术相比的卓越性能（定量和定性），并且还提供了关于视觉模态，视觉/音频编码器骨干和融合模式选择的独特见解。
2022-10-05 cs.AI cs.SD eess.AS
Audio-Guided Visual Perception for Audio-Visual Navigation
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing（丝绸之路多语种认知计算国际联合实验室）；Tsinghua University（清华大学）；Tianjin University of Technology（天津工业大学）
针对视听导航跨声源泛化差的问题，提出AGVP框架，通过音频自注意力提取全局上下文引导视觉特征注意力，实现可解释的跨模态对齐，提升导航效率与鲁棒性。
2025-10-13 cs.AI cs.CV cs.MM
Combining Optimal Control and Learning for Visual Navigation in Novel Environments
University of California, Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究）
本文提出了一种结合模型控制与学习感知的方法，用于在新环境中实现可靠的视觉导航，通过生成无碰撞路径的 waypoints，使机器人能够高效地到达目标位置，同时在低帧率和仿真到现实的迁移中表现良好。
2019-07-17 cs.AI cs.CV cs.LG
Dynamic Multi-Target Fusion for Efficient Audio-Visual Navigation
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；No. 59 Middle School of Urumqi（乌鲁木齐市第五十九中学）
提出DMTF-AVN，通过多目标架构和Transformer机制融合视听信息，在Replica和Matterport3D上取得最优导航性能。
2025-09-23 cs.AI cs.CV
VLM-Empowered Multi-Mode System for Efficient and Safe Planetary Navigation
State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）
针对行星探测复杂环境下的导航需求，提出VLM赋能的多模态行星漫游车导航系统，可根据地形复杂度切换导航模式，在保障安全的同时将长距离穿越效率提升79.5%。
2025-06-20 cs.RO
Sound Adversarial Audio-Visual Navigation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Xinjiang University（新疆大学）；JD Explore Academy, JD.com（京东探索研究院）
视听导航任务要求智能体通过自我中心的视听观察在现实的、未映射的3D环境中找到声源。现有的视听导航作品假设一个干净的环境，只包含目标声音，然而，这将是不适合在大多数现实世界中的应用，由于意外的声音噪声或故意干扰。在这项工作中，我们设计了一个声学复杂的环境中，除了目标声音，存在一个声音攻击者玩零和游戏的代理。更具体地说，攻击者可以移动和改变声音的音量和类别，使智能体在试图躲避攻击并在干预下导航到目标的同时难以找到发声对象。在对攻击者进行一定约束的情况下，可以提高智能体对视听导航中意外声音攻击的鲁棒性。为了更好的收敛，我们开发了一个联合训练机制，采用的财产集中的批评与分散的演员。在两个真实的3D扫描数据集上进行的实验验证了在我们设计的环境下训练的Agent在转移到干净环境或包含随机策略的声音攻击者的环境中的有效性和鲁棒性。项目：\url{https://yyf17.github.io/SAAVN}。
2022-02-22 cs.CV cs.RO cs.SD
Sensor-Based Navigation Using Hierarchical Reinforcement Learning
University of Bonn（波恩大学）
机器人系统现在能够解决复杂的导航任务。然而，他们的能力是有限的设计师的知识，因此缺乏普遍性，最初未考虑的情况。这使得深度强化学习（DRL）特别有趣，因为这些算法承诺只依赖于来自环境的反馈的自学习系统。在本文中，我们考虑的问题，基于激光雷达的机器人导航在连续的行动空间中使用DRL不提供任何面向目标的或全局的信息。通过仅仅依靠本地传感器数据来解决导航任务，我们设计了一个代理，它根据内在动机分配自己的路点。我们的智能体能够学习目标导向的导航行为，即使只面对稀疏的反馈，即，在达到目标时延迟奖励。为了解决这一挑战和连续动作空间的复杂性，我们部署了一个分层的代理结构，其中的探索分布在多个层。在层次结构中，我们的代理自我分配内部目标，并学习提取合理的路点，以达到所需的目标位置，仅基于本地传感器数据。在我们的实验中，我们证明了我们的代理在两个环境中的导航能力，并表明层次结构严重提高了性能的成功率和成功加权路径长度相比，一个平面结构。此外，我们提供了一个真实的机器人实验来说明，经过训练的代理可以很容易地转移到现实世界的情况。
2022-05-21 cs.RO
GC-VLN: Instruction as Graph Constraints for Training-free Vision-and-Language Navigation
Department of Automation, Tsinghua University（自动化系，清华大学）
本文提出一种无需训练的视觉语言导航框架GC-VLN，通过将指令分解为空间约束并构建图约束优化，结合导航树和回溯机制，在连续环境中实现了对未见环境的零样本适应，显著提升了导航成功率与效率。
2025-09-12 cs.CV cs.RO
Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments
Institute of Automation, Chinese Academy of Science (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；The University of Hong Kong（香港大学）
针对连续环境视觉语言导航的多模态理解与决策挑战，提出基于大语言模型的生成式智能体Cog-GA，通过构建认知地图、航点预测、双通道场景描述与反思机制实现类人导航，达到SOTA性能并提升可解释性。
2024-09-23 cs.AI cs.RO
Semantic Audio-Visual Navigation in Continuous Environments
Wuhan University（武汉大学）；Zhongguancun Academy（中关村学院）；Shandong Jianzhu University（山东建筑大学）；Nankai University（南开大学）；Tsinghua University（清华大学）；CASIA（中国科学院自动化研究所）；UCAS（中国科学院大学）
本文提出MAGNet模型，通过多模态Transformer实现语义目标推理，提升在连续空间中导航的鲁棒性与成功率。
2026-03-20 cs.CV cs.SD
A Deep Reinforcement Learning Approach for Audio-based Navigation and Audio Source Localization in Multi-speaker Environments
National and Kapodistrian University of Athens（雅典国家与卡波季斯特里安大学）
在这项工作中，我们将深度强化学习应用于导航三维环境和推断人类扬声器音频源的位置的问题，在唯一可用信息是来自环境的原始声音的情况下，因为放置在环境中的模拟人类听众会听到它。为此，我们使用Unity游戏引擎创建了两个虚拟环境，一个提出基于音频的导航问题，一个提出音频源定位问题。我们还创建了一个自主智能体的基础上PPO在线强化学习算法，并试图训练它来解决这些环境。我们的实验表明，我们的代理实现足够的性能和泛化能力，在这两种环境中，通过定量指标测量，即使当有限的训练数据或环境参数的变化，在训练过程中没有遇到的方式。我们还表明，一定程度的代理知识转移是可能的环境之间。
2021-11-27 cs.LG cs.SD eess.AS
UniTrackPLA: Unified Panorama-Language-Action Model for Instruction-Guided Navigation and Dynamic Person Tracking
College of Integrated Circuits, Hunan University（湖南大学集成电路学院）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（湖南大学机器人视觉感知与控制技术国家工程研究中心）；School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学智能工程学院）；Suzhou VSDeep Intelligent Technology Co., Ltd.（苏州维深智能科技有限公司）
提出UniTrackPLA统一全景-语言-动作模型，通过全景感知编码和世界-动作一致性实现指令导航与动态人员跟踪，显著提升成功率并引入OmniTrackNav-Bench基准。
2026-10-02 cs.CV cs.RO eess.IV
Boosting Zero-Shot VLN via Abstract Obstacle Map-Based Waypoint Prediction with TopoGraph-and-VisitInfo-Aware Prompting
提出一种零样本VLN框架，结合基于抽象障碍物地图的航点预测器与多模态大语言模型，通过拓扑图和访问信息提示增强探索与纠错，在R2R-CE和RxR-CE上取得41%和36%的成功率，达到最先进水平。
2025-09-24 cs.AI cs.RO
Audio-Guided Dynamic Modality Fusion with Stereo-Aware Attention for Audio-Visual Navigation
Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center（新疆多模态智能处理与信息安全工程技术创新中心）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Electrical Engineering and Automation, Tianjin University of Technology（天津理工大学电气工程与自动化学院）
本文针对音视频导航中静态融合和立体声空间信息利用不足的问题，提出结合立体感知注意力模块SAM与音频引导动态融合模块AGDF的强化学习框架，在Replica和Matterport3D上显著提升导航成功率和路径效率。
2025-09-21 cs.AI cs.SD
ANAVI: Audio Noise Awareness using Visuals of Indoor environments for NAVIgation
Carnegie Mellon University（卡内基梅隆大学）
该研究提出 ANAVI，通过室内视觉预测动作在听者位置的噪声，并结合动作声学剖面，让轮式和足式机器人规划满足噪声约束的安静导航路径。
2024-10-24 cs.AI cs.CV cs.RO
One-Shot Informed Robotic Visual Search in the Wild
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；McGill University（麦吉尔大学）
我们认为水下机器人导航的任务，收集科学相关的视频数据的环境监测的目的。目前在非结构化自然环境中执行监测任务的大多数现场机器人通过路径跟踪预先指定的路径点序列进行导航。虽然这种导航方法通常是必要的，但它是有限的，因为机器人没有科学家认为相关的视觉观察的模型。因此，机器人既不能在视觉上搜索特定类型的对象，也不能将其注意力集中在场景中可能比预先指定的路点和视点更相关的部分上。在本文中，我们提出了一种方法，使知情的视觉导航通过学习视觉相似性算子，引导机器人的视觉搜索对部分场景，看起来像一个范例图像，这是由用户作为一个高层次的规格数据汇集。我们提出并评估了一种弱监督视频表示学习方法，该方法在水下领域的相似性任务中优于ImageNet嵌入。我们还展示了部署在知情的视觉导航协作环境监测方案中，在大规模的现场试验，机器人和人类科学家合作搜索相关的视觉内容，这种相似性操作。
2020-09-03 cs.CV cs.LG cs.RO
Reliability-Aware Geometric Fusion for Robust Audio-Visual Navigation
Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学联合具身智能研究实验室）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语种认知计算联合国际研究实验室）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
本文提出RAVN框架，通过音频衍生的可靠性线索条件跨模态融合，动态校准音频和视觉输入的整合，引入Acoustic Geometry Reasoner和Reliability-Aware Geometric Modulation，提升复杂环境下的导航性能。
2026-04-02 cs.AI cs.SD eess.AS
SoundSpaces: Audio-Visual Navigation in 3D Environments
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Facebook Reality Labs（Facebook 现实实验室）；Facebook AI Research（Facebook 人工智能研究院）
在世界上四处移动自然是一种多感官体验，但今天的实体代理是聋子-仅限于他们对环境的视觉感知。我们为复杂的、声学上和视觉上逼真的3D环境引入了视听导航。通过视觉和听觉，智能体必须学会导航到发声物体。我们提出了一种多模态深度强化学习方法，用于从以自我为中心的视听观察流中端到端地训练导航策略，允许代理（1）发现由混响音频指示的物理空间的几何元素，以及（2）检测和跟踪发声目标。我们进一步介绍SoundSpaces：这是首个基于两组公开可用的3D环境（Matterport 3D和Matterport）的几何声学模拟的音频渲染数据集，我们为Habitat提供仪器以支持新的传感器，从而可以在真实世界的扫描环境阵列中插入任意声源。我们的研究结果表明，音频极大地有利于3D空间中的嵌入式视觉导航，我们的工作为具有视听感知的嵌入式AI的新研究奠定了基础。
2020-08-21 cs.CV cs.HC cs.SD
Bipedal Safe Navigation over Uncertain Rough Terrain: Unifying Terrain Mapping and Locomotion Stability
Georgia Institute of Technology（佐治亚理工学院）；Kuwait University（科威特大学）
针对不确定崎岖地形下双足机器人导航中地形建图与运动稳定性耦合的问题，提出分层感知运动动力学的采样导航规划器，结合GP地形学习与新轨迹评估指标，在Digit仿真中验证了有效性。
2024-04-15 cs.RO
MG-Nav: Dual-Scale Visual Navigation via Sparse Spatial Memory
The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）
MG-Nav通过稀疏空间记忆图和VGGT-adapter模块实现双尺度视觉导航，结合全局规划与局部控制，实现零样本导航的高鲁棒性与高性能。
2025-11-27 cs.CV cs.RO
Multi-goal Audio-visual Navigation using Sound Direction Map
Tokyo Institute of Technology（东京工业大学）
本文针对多声源作为目标的通用导航问题，提出多目标视听导航框架及声音方向图（SDM）方法，通过动态定位多声源缓解声源分离难度，显著提升多种基线方法性能。
2023-08-01 cs.CV cs.SD eess.AS
Sim-to-Real Transfer via 3D Feature Fields for Vision-and-Language Navigation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Intelligent Computing Technology, CAS（中国科学院智能计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
提出基于3D特征场的sim-to-real迁移方法，通过语义可通行地图和新视角预测赋予单目机器人全景感知能力，将高性能全景VLN模型迁移至单目机器人，显著提升真实世界导航性能。
2024-10-14 cs.CV cs.RO
