MVP: Unified Motion and Visual Self-Supervised Learning for Large-Scale Robotic Navigation
Queensland University of Technology（昆士兰科技大学）；Universidad Nacional de Ingeniería（国立工程大学）
自主导航出现在现实世界环境中的运动和局部视觉感知。然而，大多数成功的机器人运动估计方法（例如，VO、SLAM、SfM）和视觉系统（例如，CNN、视觉位置识别-VPR）通常分别用于映射和定位任务。相反，最近的基于强化学习（RL）的视觉导航方法依赖于GPS数据接收的质量，当直接将其用作大型环境中多个月间隔的遍历的地面实况时，这可能不可靠。在本文中，我们提出了一种新的运动和视觉感知的方法，称为MVP，统一这两个传感器的大规模，目标驱动的导航任务的方式。我们的基于MVP的方法可以更快地学习，并且比相应的仅视觉导航方法更准确和鲁棒性更强，可以应对极端环境变化和不良GPS数据。MVP在时间上将使用VPR获得的紧凑图像表示与优化的运动估计数据（包括但不限于来自VO或优化的雷达测距（RO）的那些）结合，以经由RL有效地学习自监督导航策略。我们评估我们的方法在两个大型的现实世界的数据集，牛津Robotcar和Nordland铁路，在一系列的天气（如阴天，夜晚，雪，太阳，雨，云）和季节性（如冬季，春季，秋季，夏季）的条件下使用新的CityLearn框架;一个交互式的环境，有效地训练导航代理。我们的实验结果，在没有GPS数据的牛津RobotCar数据集的遍历上，显示MVP可以分别使用VO和RO实现53%和93%的导航成功率，而仅视觉方法的导航成功率为7%。我们还报告了RL成功率和运动估计精度之间的权衡。
2020-03-02 cs.CV cs.LG cs.RO
AdaCropFollow: Self-Supervised Online Adaptation for Visual Under-Canopy Navigation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Bonn（波恩大学）；University of Oxford（牛津大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文提出一种自监督在线自适应方法，利用视觉基础模型、几何先验和伪标签适应语义关键点表示，使林冠下机器人在无需人工干预下实现跨田地和作物的完全自主沿行导航。
2024-10-16 cs.CV cs.RO
Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
视觉语言导航（VLN）是智能体学习遵循自然语言指令进行导航的任务。这个任务的关键是顺序地感知视觉场景和自然语言。传统的方法利用跨模态接地的视觉和语言特征。然而，VLN任务仍然具有挑战性，因为以前的工作忽略了环境中包含的丰富语义信息（如隐式导航图或子轨迹语义）。在本文中，我们介绍了辅助推理导航（Auxiliary Reasoning Navigation，简称ARRN），这是一个具有四个自监督辅助推理任务的框架，可以利用从语义信息中获得的额外训练信号。辅助任务有四个推理目标：解释先前的动作，估计导航进度，预测下一个方向，评估轨迹的一致性。因此，这些额外的训练信号帮助智能体获得语义表示的知识，以便对其活动进行推理并建立对环境的全面感知。我们的实验表明，辅助推理任务提高了主任务的性能和模型的泛化能力。从经验上讲，我们证明了用自我监督辅助推理任务训练的代理大大优于以前的最先进的方法，是标准基准上现有的最佳方法。
2020-04-01 cs.CV
Polyline Generative Navigable Space Segmentation for Autonomous Visual Navigation
Indiana University（印第安纳大学）；Tulane University（杜兰大学）
可导航空间检测是移动机器人在未知或无地图环境中导航的基本能力。在这项工作中，我们把视觉导航空间分割作为一个场景分解问题，并提出折线分割变分自编码器网络（PSV-Net），一个表示学习为基础的框架，学习导航空间分割的自我监督的方式。目前的分割技术严重依赖于全监督学习策略，这需要大量的像素级注释图像。在这项工作中，我们提出了一个利用变分自编码器（VAE）和自编码器（AE）来学习折线表示的框架，该表示紧凑地勾勒出所需的可导航空间边界。通过大量的实验，我们验证了所提出的PSV网络可以在没有或很少标签的情况下学习视觉导航空间，从而产生与使用所有可用标签的完全监督的最先进方法相当的准确性。此外，我们表明，整合建议的可导航空间分割模型与视觉规划，可以实现高效的无地图导航在现实环境中。
2023-03-05 cs.CV cs.RO
Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language Navigation
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；Shenzhen University（深圳大学）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术研发创新中心）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；UMass Amherst（马萨诸塞大学阿默斯特分校）
我们解决了一个实际的，但具有挑战性的问题，训练机器人代理导航的环境中的一些语言指令所描述的路径。指令通常包含对环境中对象的描述。为了实现准确和高效的导航，关键是要建立一个地图，准确地表示空间位置和语义信息的环境对象。然而，使机器人能够构建一个很好地表示环境的地图是非常具有挑战性的，因为环境通常涉及具有各种属性的不同对象。在本文中，我们提出了一种多粒度映射，它包含对象细粒度细节（例如，颜色、纹理）和语义类，以更全面地表示对象。此外，我们提出了一个弱监督的辅助任务，这需要代理本地化地图上的预防相关的对象。通过这项任务，智能体不仅学会了定位导航相关的对象，而且还被鼓励学习更好的地图表示，揭示对象信息。然后，我们将学习到的地图和指令提供给航点预测器，以确定下一个导航目标。实验结果表明，我们的方法优于国家的最先进的4.0%和4.6%的w.r.t.在可见和不可见环境中的成功率，分别在VLN-CE数据集上。代码可在https://github.com/PeihaoChen/WS-MGMap上获得。
2022-10-14 cs.CV
TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation
East China Normal University（华东师范大学）；Hangzhou Dianzi University（杭州电子科技大学）
针对零样本视觉语言导航中LLM环境感知不足的问题，提出TINA框架，通过问答模块增强感知并提升可解释性，在Room-to-Room数据集上超越监督学习方法。
2024-03-13 cs.AI cs.CV
Self-paced Learning for Weakly Supervised Evidence Discovery in Multimedia Event Search
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS)（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
多媒体事件检测近年来受到越来越多的关注。除了识别事件之外，证据的发现（称为“叙述”）也是用户更好地理解搜索结果的关键。由于证据标注的困难，只有有限的监督事件标签可用于训练重新叙述模型。针对这一问题，提出了一种基于自学习框架的弱监督证据发现方法，该方法遵循从简单“证据”到逐渐复杂“证据”的学习过程，同时从大量弱注释视频片段中挖掘越来越多的正证据样本。此外，为了定量地评估我们的方法，我们还提出了两个度量，\textit{PctOverlap}和\textit{F1-score}，专门用于测量证据定位的性能。在TRECVID MED数据集的一个子集上进行了实验，并证明了我们的方法所获得的有希望的结果。
2017-10-23 cs.CV
EvolveNav: Empowering LLM-Based Vision-Language Navigation via Self-Improving Embodied Reasoning
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学）；Yinwang Intelligent Technology Co.（亿维智能技术有限公司）
EvolveNav提出两阶段自我改进训练范式，通过形式化CoT微调和自我反思后训练增强LLM在视觉语言导航中的推理能力，在多个基准上超越现有方法。
2025-10-14 cs.AI cs.CL cs.CV
Mapping Navigation Instructions to Continuous Control Actions with Position-Visitation Prediction
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）
我们提出了一种映射自然语言指令和原始观测的四轴无人机的连续控制的方法。我们的模型预测可解释的位置访问分布，指示代理在执行过程中应该去哪里，它应该停止，并使用预测的分布来选择要执行的动作。这种两步模型分解允许使用监督学习和模仿学习的组合进行简单而有效的训练。我们用一个逼真的无人机模拟器来评估我们的方法，并证明了两种最先进的自动跟踪方法的绝对任务完成精度提高了16.85%。
2018-12-10 cs.AI cs.CL cs.CV
Human-Aware Vision-and-Language Navigation: Bridging Simulation to Reality with Dynamic Human Interactions
Columbia University（哥伦比亚大学）；University of Mannheim（曼海姆大学）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对现有视觉语言导航依赖静态环境、适用性受限的问题，提出人类感知视觉语言导航框架，构建对应模拟器与数据集，提出两类智能体并完成评估，为具身AI及模拟到现实迁移研究提供基准。
2024-11-02 cs.AI cs.CV cs.RO
VINet: Visual and Inertial-based Terrain Classification and Adaptive Navigation over Unknown Terrain
Baidu USA（百度美国）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一个视觉和惯性为基础的地形分类网络（VINet）的机器人导航在不同的可穿越的表面。我们使用一种新的基于导航的标记方案的地形分类和概括未知的表面。我们提出的感知方法和自适应调度控制框架可以根据地形导航特性进行预测，并在已知和未知表面上的地形分类和导航控制上都有更好的性能。我们的VINet在已知地形上的监督设置下的准确率可以达到98.37%，与以前的方法相比，在未知地形上的准确率提高了8.51%。我们部署VINet的移动跟踪机器人的轨迹跟踪和导航在不同的地形，我们证明了10.3%的改进相比，基线控制器的RMSE。
2023-03-01 cs.CV cs.RO
MapDream: Task-Driven Map Learning for Vision-Language Navigation
University of Science and Technology of China（中国科学技术大学）
提出MapDream框架，通过自回归鸟瞰图生成联合学习地图与动作预测，在R2R-CE和RxR-CE上达到单目最优性能。
2026-06-16 cs.AI cs.CV cs.RO
Neural Topological SLAM for Visual Navigation
Facebook AI Research（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文研究了图像-目标导航问题，即在一个新的未知环境中导航到目标图像所指示的位置。为了解决这个问题，我们设计的空间拓扑表示，有效地利用语义和近似几何推理。我们的表示的核心是具有相关语义特征的节点，这些节点使用粗略的几何信息相互连接。我们描述了监督学习为基础的算法，可以建立，维护和使用这种表示下嘈杂的驱动。在视觉和物理逼真的模拟实验研究表明，我们的方法建立有效的表示，捕捉结构的错误，并有效地解决长期的导航问题。我们观察到超过50%的现有方法，研究这项任务的相对改善。
2020-05-28 cs.AI cs.CV cs.LG
Memory-Augmented Reinforcement Learning for Image-Goal Navigation
Meta AI；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了一个记忆增强的方法，图像目标导航。早期的尝试，包括基于RL和基于SLAM的方法，要么表现出较差的泛化性能，要么严重依赖于姿态/深度传感器。我们的方法是基于一个基于注意力的端到端模型，利用情景记忆来学习导航。首先，我们训练一个状态嵌入网络的自我监督的方式，然后用它来嵌入以前访问过的状态到代理的内存。我们的导航策略通过注意力机制利用这些信息。我们通过广泛的评估验证了我们的方法，并表明我们的模型在具有挑战性的Gibson数据集上建立了一个新的最先进的模型。此外，我们仅通过RGB输入就实现了令人印象深刻的性能，而无需访问位置或深度等其他信息，这与相关工作形成了鲜明对比。
2022-09-12 cs.AI cs.CV cs.RO
Fast Traversability Estimation for Wild Visual Navigation
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Oxford（牛津大学）
提出仅依赖视觉的在线自监督系统WVN，通过实时监督生成和视觉Transformer特征，在5分钟内实现地形分割，解决野外复杂环境机器人导航问题。
2023-05-16 cs.CV cs.LG cs.RO
Learning to Learn How to Learn: Self-Adaptive Visual Navigation Using Meta-Learning
University of Washington（华盛顿大学）
学习是一种内在的连续现象。当人类学习一项新任务时，训练和推理之间没有明确的区别。当我们学习一项任务时，我们在执行任务的同时不断学习它。在不同的学习阶段，我们学习的内容和方式是不同的。学习如何学习和适应是一个关键属性，使我们能够毫不费力地推广到新的设置。这与机器学习中的常规设置形成对比，在常规设置中，训练的模型在推理期间被冻结。在本文中，我们研究的问题，学习学习在培训和测试时间的视觉导航的背景下。导航中的一个基本挑战是对不可见场景的泛化。在本文中，我们提出了一种自适应视觉导航方法（SAVN），学习适应新的环境，没有任何明确的监督。我们的解决方案是一种Meta强化学习方法，其中代理学习鼓励有效导航的自我监督交互损失。我们的实验，在AI 2-THOR框架中进行，显示在成功率和SPL的视觉导航在新的场景中的重大改进。我们的代码和数据可在https://github.com/allenai/savn上获得。
2019-03-26 cs.AI cs.CV cs.LG
Graph Attention Memory for Visual Navigation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
复杂环境下的视觉导航，传统的反应式策略或通用的递归策略是低效的。针对长期记忆问题，提出了一种由记忆构建模块、图注意模块和控制模块组成的图注意记忆结构。存储器构建模块以探索优先为原则，构建基于监督学习的拓扑图。然后，引导注意力特征提取与图形注意力模块。最后，基于深度强化学习的控制模块基于视觉观察和引导注意力特征做出决策。本文详细分析了GAM算法的收敛性。我们评估了基于GAM的导航系统在两个复杂的三维环境。实验结果表明，基于GAM的导航系统显著提高了学习效率，平均成功率优于所有基线。
2019-06-04 cs.AI cs.CV
Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation
Sun Yat-sen University（中山大学）；University of Chinese Academy of Sciences（中国科学院大学）
语言教学在基于自然语言的导航任务中起着至关重要的作用。然而，有限的人工注释指令训练的导航器可能难以在不同的时间步长从复杂的指令中准确捕获关键信息，导致导航性能差。在本文中，我们利用训练一个更强大的导航仪，能够动态地提取关键因素的长指令，通过使用对抗性攻击范例。具体来说，我们提出了一个动态增强指令攻击（DR-攻击），它学会误导导航移动到错误的目标，通过破坏指令中的最有指导意义的信息在不同的时间步。通过将扰动生成公式化为马尔可夫决策过程，通过强化学习算法优化DR攻击器，以根据可学习的攻击分数在导航期间顺序地生成扰动指令。然后，扰动的指令，作为硬样本，用于提高导航仪的鲁棒性与有效的对抗训练策略和辅助自监督推理任务。视觉和语言导航（VLN）和导航对话历史（NDH）任务的实验结果表明，我们提出的方法比国家的最先进的方法的优越性。此外，可视化分析表明，所提出的DR攻击的有效性，它可以成功地攻击在不同的时间步长的指令中的关键信息。代码可在https://github.com/expectorlin/DR-Attacker上获得。
2021-07-23 cs.AI cs.CL cs.CV
RobustNav: Towards Benchmarking Robustness in Embodied Navigation
Georgia Tech（佐治亚理工学院）；Allen Institute of AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
作为一种尝试对评估的鲁棒性的具身导航代理，我们提出RobustNav，一个框架，量化的性能时，暴露于各种各样的视觉影响RGB输入-和动态-影响过渡动态-腐败的具身导航代理。视觉导航的最新努力通常集中在推广到具有相似外观和动态特性的新目标环境。与RobustNav，我们发现，一些标准的具身导航代理显着表现不佳（或失败）的视觉或动态腐败的存在。我们系统地分析了这种代理人在腐败情况下的行为所表现出的特质。最后，对于RobustNav中的视觉损坏，我们表明，虽然提高鲁棒性的标准技术（如数据增强和自监督自适应）提供了一些zero-shot阻力和导航性能的改善，但相对于干净的“非损坏”设置，在恢复丢失的性能方面还有很长的路要走，需要在这个方向上进行更多的研究。我们的代码可在https://github.com/allenai/robustnav上获得
2021-06-08 cs.CV cs.RO
A Landmark-Aware Visual Navigation Dataset
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；Georgia State University（佐治亚州立大学）
提出LAVN数据集，包含RGBD观测和人类点-点击对，用于有监督学习以人为中心的探索策略和地图构建，覆盖室内外场景。
2025-02-22 cs.CV
A General Purpose Supervisory Signal for Embodied Agents
Allen Institute for AI（艾伦人工智能研究所）
训练有效的嵌入式人工智能智能体通常涉及人工奖励工程、专家模仿、地图等专业组件，或利用额外的传感器进行深度和定位。另一种方法是使用神经架构和自我监督目标，这鼓励更好的表示学习。在实践中，很少有保证，这些自我监督的目标编码任务相关的信息。我们提出了场景图对比（SGC）损失，它使用场景图作为通用的，仅用于训练的监督信号。SGC损失消除了显式的图形解码，而是使用对比学习来将代理的表示与其环境的丰富图形编码对齐。SGC损失是普遍适用的，易于实现，并鼓励编码对象的语义，关系和历史的表示。使用SGC损失，我们在三个具体任务上获得了显着的收益：对象导航，多对象导航和手臂点导航。最后，我们提出的研究和分析表明，我们的训练表示编码的语义线索的环境的能力。
2022-12-01 cs.AI cs.CV
Wild Visual Navigation: Fast Traversability Learning via Pre-Trained Models and Online Self-Supervision
University of Oxford（牛津大学）；ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对自然环境中机器人导航易出现障碍物感知误差的问题，提出WVN在线自监督视觉可通行性学习系统，利用预训练模型高维特征与在线监督生成方案，仅需短时间野外训练即可实现复杂陌生户外地形导航。
2024-04-10 cs.CV cs.LG cs.RO
DeepSocNav: Social Navigation by Imitating Human Behaviors
当前用于训练社会行为的数据集通常是从监控应用程序中借用的，这些应用程序从鸟瞰角度捕获视觉数据。这就把通过第一人称视角捕捉到的珍贵关系和视觉线索抛在了一边。在这项工作中，我们提出了一种策略，利用当前的游戏引擎，如Unity的力量，将预先存在的鸟瞰视图数据集转换为第一人称视图，特别是深度视图。使用这种策略，我们能够生成大量的合成数据，这些数据可用于预训练社交导航模型。为了测试我们的想法，我们提出了DeepSocNav，这是一个基于深度学习的模型，它利用所提出的方法来生成合成数据。此外，DeepSocNav包括一个自我监督策略，作为辅助任务。这包括预测智能体将面对的下一个深度帧。我们的实验显示了所提出的模型的好处，它能够在社交导航得分方面优于相关基线。
2021-07-19 cs.AI cs.CV cs.LG
Visual Pre-training for Navigation: What Can We Learn from Noise?
MIT（麻省理工学院）
提出基于合成噪声图像自监督预测随机裁剪的视觉预训练方法，学习可迁移至自然图像的表示，以高效引导导航策略学习，解决端到端导航数据效率低的问题。
2023-07-26 cs.AI cs.CV cs.LG
PONI: Potential Functions for ObjectGoal Navigation with Interaction-free Learning
Meta AI；UT Austin（德克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）
ObjectGoal导航的最新方法依赖于强化学习，通常需要大量的计算资源和学习时间。我们提出了潜在的功能ObjectGoal导航与互动自由学习（PONI），一个模块化的方法，解开的技能，在哪里看？'和'如何导航到（x，y）？'.我们的关键见解是“从哪里看？“可以被视为纯粹的感知问题，在没有环境交互作用的情况下学习。为了解决这个问题，我们提出了一个网络，预测两个互补的潜在功能的条件下的语义地图，并使用它们来决定在哪里寻找一个看不见的对象。我们使用监督学习在自上而下的语义映射的被动数据集上训练潜在函数网络，并将其集成到一个模块化框架中以执行ObjectGoal导航。在Gibson和Matterport 3D上的实验表明，我们的方法实现了ObjectGoal导航的最新水平，同时减少了1,600倍的训练计算成本。代码和预训练模型可在以下网址获得：https://vision.cs.utexas.edu/projects/poni/
2022-06-17 cs.AI cs.CV
VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions
National Taiwan University（国立台湾大学）；National Tsing Hua University（国立清华大学）；DRIC
本文提出VLN-NF基准，通过引入假前提指令，要求智能体在目标不存在时进行探索并明确输出NOT-FOUND，采用ROAM方法在房间级导航与室内探索中取得最佳性能。
2026-04-19 cs.CL cs.CV cs.RO
WayFAST: Navigation with Predictive Traversability in the Field
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；EarthSense Inc.（EarthSense公司）；DEVCOM Army Research Lab（DEVCOM陆军研究实验室）
我们提出了一个自我监督的方法来学习预测轮式移动机器人，需要良好的牵引力导航的可通行路径。我们的算法，称为WayFAST（无航点自主系统的可通行性），使用RGB和深度数据，以及导航经验，在户外非结构化环境中自主生成可通行的路径。我们的主要灵感是，牵引力可以估计滚动机器人使用kinodynamic模型。使用在线滚动时域估计器提供的牵引估计，我们能够以自监督的方式训练可通过性预测神经网络，而不需要以前的方法所使用的算法。我们通过在不同环境中进行广泛的现场测试来证明WayFAST的有效性，从干燥的沙滩到森林树冠和积雪覆盖的草地。我们的研究结果清楚地表明，WayFAST可以学习避开几何障碍物以及不可穿越的地形，如积雪，这对于仅提供几何数据的传感器（如LiDAR）来说是很难避免的。此外，我们表明，我们基于在线牵引力估计的训练管道比其他基于统计学的方法更有效。
2022-08-01 cs.AI cs.CV cs.LG
Learning Navigation Subroutines from Egocentric Videos
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在更高的抽象级别而不是低级别的扭矩下进行规划，提高了强化学习中的样本效率和经典规划中的计算效率。我们提出了一种方法来学习这样的分层抽象，或从以自我为中心的专家执行任务的视频数据的子程序。我们在少量随机交互数据上学习了一个自监督逆模型，用代理动作来伪标记专家自我中心视频。通过学习潜在意图条件策略，从这些伪标记的视频中获取可视化子例程，该策略从相应的图像观察中预测推断出的伪动作。我们展示了我们提出的方法在导航的背景下，并表明，我们可以成功地学习一致的和不同的视觉子程序从被动的自我中心的视频。我们证明了我们获得的可视化子例程的效用，通过使用它们作为探索，并作为子策略在一个层次化的RL框架，以达到点目标和语义目标。我们还展示了我们的子程序在现实世界中的行为，通过部署在一个真正的机器人平台上。项目网址：https://ashishkumar1993.github.io/subroutines/。
2019-10-15 cs.AI cs.CV cs.LG
Navigation-Guided Sparse Scene Representation for End-to-End Autonomous Driving
Zhijia Technology（智加科技）
提出仅用16个导航引导token作为稀疏场景表示的SSR框架，免除监督子任务并引入时间增强模块，在nuScenes和CARLA基准上显著优于UniAD和VAD-Base且大幅提升速度。
2025-03-01 cs.CV
WNM-3D: A World Navigation Model with 3D Scene Conditioning for Closed-Loop VLN
Institute of Artificial Intelligence, China Telecom（中国电信人工智能研究院）；Zhejiang University（浙江大学）；Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）
该研究提出带3D场景条件的WNM-3D模型，通过几何编码器与适配器整合场景上下文，经多阶段训练后在GN-Bench等数据集上的闭环导航性能优于同类模型。
2026-10-30 cs.AI cs.CV cs.RO
VLD: Visual Language Goal Distance for Reinforcement Learning Navigation
ETH Zurich（苏黎世联邦理工学院）；EPFL（瑞士联邦理工学院）；Stanford University（斯坦福大学）；UC Berkeley（伯克利大学）
本文提出VLD学习框架，通过解耦感知学习与策略学习，利用大规模视频数据训练距离预测器，提升机器人导航性能与现实迁移能力。
2026-03-14 cs.CV cs.RO
Towards Learning a Generic Agent for Vision-and-Language Navigation via Pre-training
Microsoft Research（微软研究院）；Duke University（杜克大学）
学习在视觉环境中遵循自然语言指令进行导航是一项具有挑战性的任务，因为智能体的多模态输入是高度可变的，并且新任务的训练数据通常是有限的。在本文中，我们提出了视觉和语言导航（VLN）任务的第一个预训练和微调范例。通过以自监督学习方式对大量图像-文本-动作三元组进行训练，预训练模型提供视觉环境和语言指令的通用表示。它可以很容易地用作现有VLN框架的插入，从而产生了称为Prevalent的拟议代理。它在新任务中学习得更有效，在以前看不见的环境中更好地概括。三个VLN任务的性能进行了验证。在房间到房间的基准测试中，我们的模型将按路径长度加权的成功率从47%提高到51%。此外，学习的表示可转移到其他VLN任务。最近的两个任务，视觉和对话导航和“帮助，安娜！“建议的普遍导致显着改善现有的方法，实现了一个新的国家的艺术。
2020-04-05 cs.CL cs.CV cs.LG
FreeFly-Thinking : Aligning Chain-of-Thought Reasoning with Continuous UAV Navigation
SJTU Paris Elite Institute of Technology（上海交通大学巴黎精英理工学院）；Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
FreeFly-thinking是一种端到端的无人机视觉-语言导航框架，通过链式推理提升导航性能，实现了在复杂户外环境中的高效导航。
2026-03-11 cs.CV
DiffusionAnything: End-to-End In-context Diffusion Learning for Unified Navigation and Pre-Grasp Motion
Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院数字工程中心智能空间机器人实验室）
本文提出一种端到端的上下文扩散学习方法，通过多尺度特征调制实现统一的导航与精细操控，仅需5分钟自监督数据即可实现零样本泛化。
2026-03-27 cs.RO
Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning
Stanford（斯坦福大学）；UC Berkeley（加州大学伯克利分校）；NVIDIA（英伟达）
本文提出R&B-EnCoRe方法，通过自监督细化使模型从互联网知识中自推导具身推理策略，提升动作执行和导航性能，减少碰撞率。
2026-05-16 cs.AI cs.CV cs.LG
Anticipating the Unseen Discrepancy for Vision and Language Navigation
UC Santa Barbara（加州大学圣巴巴拉分校）；McGill University（麦吉尔大学）；Peking University（北京大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
视觉语言导航要求智能体遵循自然语言指令到达特定目标。可见和不可见环境之间的巨大差异使得智能体很难很好地概括。先前的研究提出了数据增强方法来显式或隐式地减轻数据偏差，并提供泛化的改进。然而，他们试图记住增强的轨迹，并忽略了分布偏移下看不见的环境下，在测试时。在本文中，我们提出了一个看不见的离散预期视觉和语言导航（DAVIS），学习推广到看不见的环境，通过鼓励测试时的视觉一致性。具体来说，我们设计：1）半监督框架DAVIS，它利用相似语义观察的视觉一致性信号。2)一个两阶段的学习过程，鼓励适应测试时间分布。该框架增强了模仿和强化学习与动量对比的基本混合，以鼓励在联合训练阶段和测试时自适应阶段下对类似观察做出稳定的决策。大量的实验表明，DAVIS在R2R和RxR基准测试中实现了与模型无关的改进。我们的源代码和数据在补充材料中。
2022-09-10 cs.CL cs.CV
Safe Navigation in Unstructured Environments by Minimizing Uncertainty in Control and Perception
Agency for Defense Development（国防发展局）
本文提出一个最小化控制与感知不确定性的导航框架，结合认知不确定性量化的车辆动力学模型与元学习可通行性预测模型，优化轨迹避开不确定区域，提升了非结构化环境中的导航安全性与稳定性。
2023-06-26 cs.CV cs.LG cs.RO
SG-Nav: Online 3D Scene Graph Prompting for LLM-based Zero-shot Object Navigation
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出SG-Nav零样本目标导航框架，利用3D场景图结合层次化思维链提示LLM进行深度推理，并设计重感知机制纠正错误，在多个基准上超越现有方法。
2024-10-10 cs.CV cs.RO
Efficient and Generalizable Environmental Understanding for Visual Navigation
University of New South Wales（新南威尔士大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61）
针对视觉导航中现有方法忽视历史观测内在关联的问题，提出因果感知导航（CAN），通过因果理解模块增强环境理解，在多种任务和仿真环境中优于基线，且无额外计算开销。
2025-06-18 cs.AI
Aligning Robot Navigation Behaviors with Human Intentions and Preferences
本论文研究如何利用机器学习使移动机器人导航行为与人类意图和偏好对齐，提出基于模仿学习的视觉导航方法、自监督地形感知越野导航算法以及社会规范导航数据集与算法，有效缓解自主导航中的价值错位问题。
2024-09-16 cs.AI cs.LG cs.RO
IN-Sight: Interactive Navigation through Sight
Robotic Systems Lab, ETH（苏黎世联邦理工学院机器人系统实验室）；Smart Robotics Lab, TUM（慕尼黑工业大学智能机器人实验室）；Intel Germany（英特尔德国）
针对现有视觉导航系统难以适配动态障碍、遇不可绕行障碍易失败的问题，提出自监督交互式导航方法IN-Sight，结合RGB-D观测与可微代价地图训练实现复杂环境规划，经仿真验证有效且可零样本迁移到足式机器人ANYmal。
2024-08-12 cs.CV cs.LG cs.RO
Auxiliary Tasks Speed Up Learning PointGoal Navigation
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
PointGoal导航是一个具体的任务，需要代理导航到一个看不见的环境中的指定点。Wijmans等人表明，这个任务是可以解决的，但他们的方法在计算上是禁止的，需要25亿帧和180 GPU天。在这项工作中，我们开发了一种方法来显着提高样本和时间效率，在学习PointNav使用自我监督的辅助任务（例如，预测两个自我中心的观察之间采取的行动，预测两个观察之间的距离从轨迹等）。我们发现，天真地结合多个辅助任务提高了样本效率，但只提供超过一个点的边际收益。为了克服这一点，我们使用注意力来结合从各个辅助任务中学习到的表征。我们最好的代理速度是之前最先进的DD-PPO的5.5倍，达到40 M帧的性能，并将DD-PPO在40 M帧的性能提高了0.16 SPL。我们的代码可在https://github.com/joel99/habitat-pointnav-aux上公开获取。
2020-11-04 cs.CV cs.LG cs.RO
FlexVLN: Flexible Adaptation for Diverse Vision-and-Language Navigation Tasks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出分层框架 FlexVLN，融合监督式 Instruction Follower 与 LLM Planner，并通过验证和多模型集成机制，在多个域外 VLN 数据集上显著提升跨任务泛化能力。
2025-03-18 cs.CV cs.RO
Open-Nav: Exploring Zero-Shot Vision-and-Language Navigation in Continuous Environment with Open-Source LLMs
Australian Institute for Machine Learning at the University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；School of Software Engineering, South China University of Technology（华南理工大学软件工程学院）
针对视觉-语言导航任务中闭源LLMs存在的成本与数据安全问题，本研究提出Open-Nav框架，基于开源LLMs结合时空思维链推理与细粒度场景感知，在连续环境零样本VLN任务中取得与闭源LLMs相当的竞争力。
2025-02-11 cs.CV cs.RO
Scanning While Imagining: A Scene-Graph World Model for Robotic Ultrasound Navigation
Munich Center for Machine Learning（慕尼黑机器学习中心）
提出SonoGraph-WM场景图世界模型，通过预测解剖变化和规划最短路径，实现机器人超声探头导航，在CT和体模实验中取得高成功率。
2026-09-29 cs.AI cs.RO
Learning to Terminate in Object Navigation
University of Liverpool（利物浦大学）；National Tsing Hua University（国立清华大学）
针对DRL物体导航缺乏深度导致终止判断困难的问题，提出DITA，用Judge Model隐式推断物体深度并联合RL决定终止，显著提升成功率与长回合表现。
2023-09-28 cs.CV cs.RO
Causality-Aware Transformer Networks for Robotic Navigation
University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）；Commonwealth Scientific and Industrial Research Organisation（英联邦科学与工业研究组织）
针对现有视觉导航方法忽略具身智能特性、泛化性不足的问题，提出带因果理解模块的因果感知Transformer网络，无任务特定归纳偏置、可端到端训练，在多环境多任务中性能优于基准。
2024-10-05 cs.AI cs.LG cs.RO
DELAN: Dual-Level Alignment for Vision-and-Language Navigation by Cross-Modal Contrastive Learning
School of Data Science, Fudan University（复旦大学数据科学学院）；Alibaba Group（阿里巴巴集团）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
DELAN框架通过跨模态对比学习在融合前对指令-历史与地标-观察进行双层对齐，增强跨模态交互与决策，并可无缝集成到现有模型中，在多个VLN基准上提升导航性能。
2024-04-02 cs.CL cs.CV cs.LG
SmartWay: Enhanced Waypoint Prediction and Backtracking for Zero-Shot Vision-and-Language Navigation
Australian Institute for Machine Learning at the University of Adelaide（澳大利亚机器学习研究所（阿德莱德大学））
针对现有连续环境视觉语言导航框架的不足，提出融合增强航点预测器与MLLM导航器的零样本框架，在基准测试和真实场景中均表现优异。
2025-06-17 cs.CV cs.RO
Vision-Language Navigation with Energy-Based Policy
Zhejiang University（浙江大学）
本文提出基于能量的导航策略ENP，通过能量模型建模联合状态-动作分布以全局对齐专家策略，在多个VLN基准上显著提升现有模型性能。
2024-10-18 cs.CV
Vision-and-Language Navigation via Causal Learning
School of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
针对 VLN 中的数据集偏差与虚假相关问题，提出基于因果推断的 GOAT，通过 BACL/FACL 和对比学习监督的 CFP 提升无偏泛化能力，并在四个基准上超越已有方法。
2024-04-16 cs.AI cs.CV
Feudal Networks for Visual Navigation
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；Georgia State University（佐治亚州立大学）
本研究提出基于封建学习的层级视觉导航框架，通过自监督记忆代理图和模仿人类航点选择的航点网络，实现无需强化学习、拓扑图、里程计与度量地图的导航，性能接近当前最优水平。
2024-12-12 cs.CV cs.LG cs.RO
Soft Expert Reward Learning for Vision-and-Language Navigation
The University of Adelaide（阿德莱德大学）
视觉和语言导航（VLN）要求智能体通过遵循自然语言指令在不可见的环境中找到指定的位置。基于监督学习的主要方法克隆专家的行为，从而在可见的环境中表现得更好，而在不可见的环境中表现出有限的性能。基于强化学习（RL）的模型具有更好的泛化能力，但也存在问题，需要大量的人工奖励工程就是其中之一。本文引入了软专家奖励学习（SERL）模型来克服VLN任务的奖励工程设计和概括问题。我们提出的方法由两个互补的组件组成：软专家蒸馏（SED）模块鼓励代理尽可能像专家一样行事，但在软时尚;自我感知（SP）模块的目标是推动代理尽可能快地到达最终目的地。从经验上讲，我们评估我们的模型上的VLN看到的，看不见的和测试分裂和模型优于国家的最先进的方法上的大多数评估指标。
2020-07-21 cs.CV
Memory Proxy Maps for Visual Navigation
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；Georgia State University（佐治亚州立大学）
该研究提出一种基于封建学习的三层视觉导航架构，核心是自监督学习的记忆代理地图作为简化记忆，搭配航点网络与动作分类器，实现无强化学习、无图、无里程计、无度量地图的导航，并在图像目标导航任务上达当前最优水平。
2024-12-12 cs.CV
