Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
视觉语言导航（VLN）是智能体学习遵循自然语言指令进行导航的任务。这个任务的关键是顺序地感知视觉场景和自然语言。传统的方法利用跨模态接地的视觉和语言特征。然而，VLN任务仍然具有挑战性，因为以前的工作忽略了环境中包含的丰富语义信息（如隐式导航图或子轨迹语义）。在本文中，我们介绍了辅助推理导航（Auxiliary Reasoning Navigation，简称ARRN），这是一个具有四个自监督辅助推理任务的框架，可以利用从语义信息中获得的额外训练信号。辅助任务有四个推理目标：解释先前的动作，估计导航进度，预测下一个方向，评估轨迹的一致性。因此，这些额外的训练信号帮助智能体获得语义表示的知识，以便对其活动进行推理并建立对环境的全面感知。我们的实验表明，辅助推理任务提高了主任务的性能和模型的泛化能力。从经验上讲，我们证明了用自我监督辅助推理任务训练的代理大大优于以前的最先进的方法，是标准基准上现有的最佳方法。
2020-04-01 cs.CV
Hierarchical Spatial Proximity Reasoning for Vision-and-Language Navigation
本文提出层次化空间邻近性推理方法HSPR，通过场景理解辅助任务构建空间邻近知识库，并结合多步推理导航与残差融合，在多个VLN数据集上提升了导航决策准确性和探索效率。
2024-10-06 cs.CV
Trajectory-Diversity-Driven Robust Vision-and-Language Navigation
Xi’an Jiaotong University（西安交通大学）；Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳先进技术大学微电子学院）
本文提出NavGRPO框架，通过群体相对策略优化实现目标导向的导航策略学习，在未见环境中提升鲁棒性，实验显示在R2R和REVERIE基准上SPL提升达3.0%和1.71%。
2026-03-16 cs.CV
WebVLN: Vision-and-Language Navigation on Websites
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）
本文提出WebVLN任务，利用基于问题的指令训练代理在网站上导航，并引入WebVLN-Net方法结合HTML信息，数据集WebVLN-v1验证其优于现有方法。
2023-12-25 cs.CV
UNav: An Infrastructure-Independent Vision-Based Navigation System for People with Blindness and Low vision
NYU Tandon School of Engineering（纽约大学坦登工程学院）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；Ratchasuda College Mahidol University（玛希敦大学拉差苏达学院）；Mahidol University（玛希敦大学）
基于视觉的本地化方法现在支持新兴的导航管道，用于从机器人到辅助技术的无数用例。与基于传感器的解决方案相比，基于视觉的定位不需要预先安装的传感器基础设施，这是昂贵的，耗时的，和/或在规模上通常是不可行的。在这里，我们提出了一种新的基于视觉的定位管道，用于特定的用例：为失明和低视力的最终用户提供导航支持。给定终端用户在移动应用上拍摄的查询图像，流水线利用视觉位置识别（VPR）算法在目标空间的参考图像数据库中找到相似的图像。这些相似图像的地理位置被用于下游任务，这些下游任务采用加权平均方法来估计最终用户的位置，并采用透视n点（Pestrian）算法来估计最终用户的方向。此外，该系统实现了Dijkstra算法，以基于包括行程起点和目的地的可导航地图来计算最短路径。使用定制的图形用户界面来构建用于定位和导航的拓扑图，该用户界面将从图像序列构建的3D重构稀疏图投影到对应的先验2D平面图。用于地图构建的序列图像可以在预映射步骤中收集或通过公共数据库/公民科学进行清理。端到端系统可以安装在任何具有摄像头的互联网访问设备上，该摄像头托管自定义移动应用程序。出于评价目的，在复杂的医院环境中对标测和定位进行了测试。评估结果表明，我们的系统可以实现定位的平均误差小于1米，而不知道相机的内部参数，如焦距。
2022-09-22 cs.CV
Detect and Approach: Close-Range Navigation Support for People with Blindness and Low Vision
New York University（纽约大学）；NYU Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）；NYU Langone Health（纽约大学朗格尼医学中心）
失明和低视力（pBLV）患者在不熟悉的环境中定位最终目的地或瞄准特定物体时会遇到重大挑战。此外，除了最初将自己定位和定向到目标对象之外，从自己的当前位置接近最终目标通常是令人沮丧和具有挑战性的，特别是当一个人偏离初始规划的路径以避开障碍物时。在本文中，我们开发了一种新的可穿戴导航解决方案，为用户提供实时指导，以便在不熟悉的环境中有效地接近感兴趣的目标对象。我们的系统包含两个关键的视觉计算功能：初始目标对象定位在3D和用户的轨迹的连续估计，这两个基础上的2D视频捕获的低成本的单目摄像头安装在前面的胸部的用户。这些功能使系统能够建议一个初始的导航路径，随着用户的移动不断更新的路径，并提供有关用户的路径的校正及时recommendation.Our实验表明，我们的系统是能够操作的误差小于0.5米的室外和室内。该系统完全基于视觉，不需要其他传感器进行导航，计算可以通过可穿戴系统中的Jetson处理器运行，以促进实时导航辅助。
2022-08-17 cs.CV
Identifying Crucial Objects in Blind and Low-Vision Individuals' Navigation
Pennsylvania State University（宾夕法尼亚州立大学）；Drake University（德雷克大学）
本文提出了一个包含90个对盲人和低视力个体导航至关重要的物体列表，涵盖道路、人行道和室内环境。研究通过分析21个视频并经焦点小组反馈完善该列表，发现现有计算机视觉数据集仅涵盖其中少部分物体，并为31个视频片段提供详细标注，公开相关资源以促进开发更包容有效的导航辅助工具。
2024-08-23 cs.CV
Temporal-Spatial Object Relations Modeling for Vision-and-Language Navigation
School of Computer Science and Technology, Institute of Intelligent Computing, Shandong University（山东大学计算机科学与技术学院智能计算研究所）；City University of Hong Kong（香港城市大学）
针对视觉语言导航中传统GCN建模能力有限、外部数据集有偏差、智能体易重复访问的问题，提出时间对象关系、空间对象关系建模方法及回头惩罚损失函数，在多个数据集上验证了有效性。
2024-05-16 cs.CV
Disentangling Foreground and Background for vision-Language Navigation via Online Augmentation
Hefei University of Technology（合肥工业大学）
针对视觉语言导航中视觉观测前景与背景作用未被充分挖掘的问题，提出共识驱动的在线特征增强策略COFA，通过解耦前后景特征并结合两阶段投票整合偏好，在REVERIE和R2R数据集上实现了当前最优性能，提升了模型泛化能力。
2025-10-01 cs.CV
Learning to Stop: A Simple yet Effective Approach to Urban Vision-Language Navigation
University of Science and Technology of China（中国科学技术大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
视觉和语言导航（VLN）是一个自然语言的基础任务，其中智能体学习遵循语言指令并在现实世界环境中导航到指定的目的地。一个关键的挑战是识别并停在正确的位置，特别是在复杂的户外环境中。现有的策略将STOP动作与其他动作同等对待，导致Agent在目标位置上的错误行为，因此，我们提出了学习停止（Learning to Stop，L2Stop）策略模块，该策略模块将STOP动作与其他动作区分开来。我们的方法在一个具有挑战性的城市VLN数据集上实现了最新的技术水平，在编辑距离加权的成功（SED）上超过基线6.89%（绝对改进）。
2020-10-18 cs.CV
Vision-Language Navigation with Energy-Based Policy
Zhejiang University（浙江大学）
本文提出基于能量的导航策略ENP，通过能量模型建模联合状态-动作分布以全局对齐专家策略，在多个VLN基准上显著提升现有模型性能。
2024-10-18 cs.CV
Aerial Vision-and-Language Navigation with Grid-based View Selection and Map Construction
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
针对空中VLN中三维动作耦合与长历史导航难题，提出网格视图选择框架、鸟瞰地图及跨模态transformer，实现高度调整、历史融合与指令对齐，并通过实验验证优越性。
2025-03-14 cs.CV
VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning
The University of Hong Kong（香港大学）；Shanghai AI Lab（上海人工智能实验室）
针对当前视觉语言导航受限于离散拓扑图的问题，提出VLN-R1框架，利用大型视觉语言模型将视频流转化为连续动作，结合GRPO与两阶段训练，在VLN-CE基准上取得优异性能。
2025-06-25 cs.CV
Vision-Based Navigation I: A navigation filter for fusing DTM/correspondence updates
Transas group of companies（Transas集团公司）
提出了一种利用图像和数字地形图中的相应特征进行姿态和运动估计的算法。使用数字地形（或数字高程）地图（DTM/DEM）作为全局参考，可以恢复相机的绝对位置和方向。为了做到这一点，DTM被用来制定两个连续帧中的相应特征之间的约束。数据的利用被示出以提高惯性导航算法的鲁棒性和精度。采用扩展卡尔曼滤波器将惯性导航算法和所提出的基于视觉的导航算法的结果结合起来。通过数值仿真验证了该算法的可行性。
2012-07-10 cs.AI cs.CV
A Dataset for Crucial Object Recognition in Blind and Low-Vision Individuals' Navigation
Pennsylvania State University（宾夕法尼亚州立大学）；Drake University（德拉克大学）
本文提出一个专为盲人和低视力者导航设计的数据集，包含90个关键物体的标注，旨在提升计算机视觉模型在实时物体识别中的准确性。
2026-03-01 cs.CV cs.HC
LOViS: Learning Orientation and Visual Signals for Vision and Language Navigation
Michigan State University（密歇根州立大学）
对于遵循自然语言指令的导航代理来说，理解空间和视觉信息是必不可少的。目前基于Transformer的VLN代理纠缠的方向和视觉信息，这限制了从每个信息源的学习的增益。在本文中，我们设计了一个神经代理明确的方向和视觉模块。这些模块学习更有效地将空间信息和指示中提到的地标与视觉环境联系起来。为了加强智能体的空间推理和视觉感知，我们设计了特定的预训练任务，以在最终的导航模型中提供和更好地利用相应的模块。我们在Room2room（R2R）和Room4room（R4R）数据集上评估了我们的方法，并在这两个基准测试中获得了最先进的结果。
2022-09-26 cs.AI cs.CV
Cross-modal Map Learning for Vision and Language Navigation
University of Pennsylvania（宾夕法尼亚大学）
我们考虑的问题的视觉和语言导航（VLN）。目前大多数VLN方法都是使用非结构化内存（如LSTM）进行端到端训练，或者使用跨模态注意力对代理的自我中心观察进行训练。与其他作品相比，我们的关键见解是，语言和视觉之间的关联更强，当它发生在明确的空间表示。在这项工作中，我们提出了一个跨模态地图学习模型的视觉和语言导航，首先学习预测自上而下的语义在一个自我中心的地图上观察到的和未观察到的区域，然后预测一个路径作为一组路点的目标。在这两种情况下，预测是由语言通过跨模态注意力机制通知。我们实验测试的基本假设，语言驱动的导航可以解决给定的地图，然后显示竞争力的结果，在完整的VLN-CE基准。
2022-03-21 cs.CV cs.RO
Vision-Dialog Navigation by Exploring Cross-modal Memory
University of Chinese Academy of Sciences（中国科学院大学）；Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
视觉对话导航是视觉语言学科的一个新的圣杯任务，其目标是学习一个具有与自然语言不断对话以寻求帮助并根据人类反应进行导航的能力的智能体。除了视觉语言导航所面临的共同挑战外，视觉对话导航还需要处理好对话历史中一系列关于时间语境的问题的语言意图，以及对话和视觉场景的共同推理。在本文中，我们提出了跨模态记忆网络（CMN）的记忆和理解丰富的信息相关的历史导航行动。我们的CMN由两个记忆模块组成，语言记忆模块（L-RNN）和视觉记忆模块（V-RNN）。具体而言，L-SVM通过采用多头注意力机制来学习当前语言交互与对话历史之间的潜在关系。V-mem学会将当前视觉视图与有关之前导航操作的跨模态记忆相关联。跨通道记忆通过视觉-语言注意和语言-视觉注意产生。受益于L-RNN和V-RNN的协作学习，我们的CMN能够探索关于当前步骤的历史导航动作的决策的记忆。在CVDN数据集上的实验表明，我们的CMN在可见和不可见环境中的性能都明显优于以前的最先进模型。
2020-03-15 cs.CL cs.CV
A Vision-Based Navigation System for Arable Fields
Lincoln Agri-Robotics Centre（林肯农业机器人中心）；Lincoln Institute for Agri-Food Technology（林肯农业食品技术研究所）；University of Lincoln（林肯大学）
针对农田视觉导航的挑战，提出一套基于深度学习的感知算法和综合数据集，实现作物行检测与跟随，并在商业农田中验证，平均航向误差1.24°、横向误差3.32厘米。
2024-05-28 cs.CV cs.RO
Self-supervised 3D Semantic Representation Learning for Vision-and-Language Navigation
Tsinghua University（清华大学）
在视觉和语言导航任务中，具体代理遵循语言指令并导航到特定目标。它在许多实际场景中都很重要，并引起了计算机视觉和机器人社区的广泛关注。然而，现有的大多数作品只使用RGB图像，而忽略了场景的三维语义信息。为此，我们开发了一种新的自监督训练框架，将体素级3D语义重建编码为3D语义表示。具体而言，区域查询任务被设计为借口任务，其预测特定类别的对象在特定3D区域中的存在或不存在。然后，我们构建了一个基于LSTM的导航模型和训练它与建议的三维语义表示和BERT语言功能的视觉语言对。实验表明，该方法在R2R数据集的验证和测试中分别实现了68%和66%的成功率，优于大多数基于RGB的方法，利用视觉语言Transformers。
2022-01-26 cs.CV cs.RO
Leaving the Lines Behind: Vision-Based Crop Row Exit for Agricultural Robot Navigation
Lincoln Agri-Robotics Centre（林肯农业机器人中心）；Lincoln Institute for Agri-Food Technology（林肯农业食品技术研究所）；University of Lincoln（林肯大学）
针对现有视觉作物垄导航框架中纯视觉垄切换方案研究不足的问题，提出仅用RGB图像局部特征匹配反馈实现垄退出、垄端用深度图像估算田埂导航距离的方法，在多样田埂测试中实现50厘米误差的完整垄脱离。
2023-06-09 cs.CV cs.RO
Does Peer Observation Help? Vision-Sharing Collaboration for Vision-Language Navigation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Adelaide University（阿德莱德大学）；Responsible AI Research Centre（负责任人工智能研究中心）
本文提出Co-VLN框架，研究同伴观察对视觉语言导航的影响，通过共享感知记忆扩展接收场，验证了在R2R基准下两种方法中性能的显著提升。
2026-10-16 cs.CV cs.RO
Topological Planning with Transformers for Vision-and-Language Navigation
Stanford University（斯坦福大学）；Yale University（耶鲁大学）
传统的视觉和语言导航（VLN）方法是端到端训练的，但很难在可自由穿越的环境中表现良好。受机器人社区的启发，我们提出了一个模块化的方法，VLN使用拓扑地图。给定自然语言指令和拓扑地图，我们的方法利用注意力机制来预测地图中的导航计划。然后，使用鲁棒控制器以低级动作（例如，向前、旋转）执行该计划。实验表明，我们的方法优于以前的端到端的方法，生成可解释的导航计划，并表现出智能行为，如回溯。
2020-12-09 cs.AI cs.CL cs.CV
VANP: Learning Where to See for Navigation with Self-Supervised Vision-Action Pre-Training
George Mason University（乔治梅森大学）
本文提出自监督视觉-动作预训练模型 VANP，利用视觉历史、未来动作和目标图像通过互信息最大化学习导航相关视觉区域，以极少数据和一半训练时间达到与全监督模型相当的性能。
2024-09-04 cs.CV cs.RO
Diagnosing Vision-and-Language Navigation: What Really Matters
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Adelaide（阿德莱德大学）；Google（谷歌）；UC Santa Cruz（加州大学圣克鲁兹分校）
视觉和语言导航（VLN）是一种多模态任务，其中智能体遵循自然语言指令并在视觉环境中导航。已经提出了多种设置，研究人员应用新的模型架构或训练技术来提高导航性能。然而，机器的性能和人类基准之间仍然存在不可忽视的差距。此外，智能体的内部导航决策机制仍然不清楚。据我们所知，代理人如何感知多模态输入是研究不足，需要调查。在这项工作中，我们进行了一系列的诊断实验，以揭示代理的重点在导航。结果表明，室内导航代理参考对象和方向令牌时，作出决定。相比之下，户外导航代理严重依赖于方向令牌和理解对象令牌差。基于transformer的代理获得了更好的跨模态的理解对象，并显示出强大的数值推理能力比非transformer的代理。当涉及到视觉和语言对齐时，许多模型声称它们可以将对象标记与特定的视觉目标对齐。我们发现不平衡的视觉和文本输入的注意力和怀疑这种跨通道对齐的可靠性。
2022-05-04 cs.AI cs.CL cs.CV
Bench2FreeAD: A Benchmark for Vision-based End-to-end Navigation in Unstructured Robotic Environments
针对非结构化场景下机器人导航研究不足的问题，本文构建FreeWorld Dataset数据集，微调VAD模型验证其性能，提出首个相关基准，以推动物流和服务机器人E2E导航技术发展。
2025-11-17 cs.CV cs.RO
ULN: Towards Underspecified Vision-and-Language Navigation
UC Santa Barbara（加州大学圣巴巴拉分校）
视觉和语言导航（VLN）是一个任务，引导一个具体的代理移动到一个目标位置使用语言指令。尽管有显着的性能改善，细粒度指令的广泛使用未能表征更实际的语言变化在现实中。为了填补这一空白，我们引入了一个新的设置，即欠指定的视觉和语言导航（ULN），以及相关的评估数据集。ULN使用多级未指定指令来评估代理，而不是纯粹的细粒度或粗粒度，这是一种更现实和通用的设置。作为实现ULN的主要步骤，我们提出了一个VLN框架，该框架包括一个分类模块，一个导航代理，和一个开发到探索（E2E）模块。具体来说，我们建议学习粒度特定的子网络（GSS）的代理地面多级指令与最小的附加参数。然后，我们的E2E模块估计接地不确定性，并进行多步前瞻探索，以进一步提高成功率。实验结果表明，现有的VLN模型仍然是脆弱的多级语言欠规格说明。我们的框架更加稳健，在所有水平上的相对成功率均超过ULN基线约10%。
2022-10-18 cs.CL cs.CV
MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming
Horizon Robotics
MonoDream通过轻量级VLA框架和潜在全景梦境任务，提升单目视觉-语言导航的性能，缩小与全景方法的差距。
2025-11-27 cs.CV cs.RO
An Autonomous Vision-Based Algorithm for Interplanetary Navigation
Politecnico di Milano（米兰理工大学）
本文提出融合图像处理与无量纲扩展卡尔曼滤波的自主视觉星际导航算法，通过最优行星对选择和解析光行差/光行时模型提升精度，并在地球—火星转移仿真中验证了适用性。
2024-06-17 astro-ph.IM cs.CV
On the Evaluation of Vision-and-Language Navigation Instructions
Google Research（谷歌研究院）
视觉和语言导航寻路代理可以通过利用自动生成的导航指令来增强。然而，现有的指令生成器还没有得到全面的评估，并用于开发它们的自动评估指标还没有得到验证。使用人类的寻路者，我们表明，这些发电机的性能与基于模板的发电机相当或仅略好于基于模板的发电机，远不如人类教师。此外，我们发现BLEU，ROUGE，METEOR和CIDER是无效的评估接地导航指令。为了提高指令评估，我们提出了一个执行轨迹兼容性模型，没有参考指令。我们的模型显示，在对单个指令进行评分时，与人类寻路结果的相关性最高。对于排序指令生成系统，如果有参考指令，我们建议使用SPICE。
2021-01-26 cs.AI cs.CL cs.CV
TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation
East China Normal University（华东师范大学）；Hangzhou Dianzi University（杭州电子科技大学）
针对零样本视觉语言导航中LLM环境感知不足的问题，提出TINA框架，通过问答模块增强感知并提升可解释性，在Room-to-Room数据集上超越监督学习方法。
2024-03-13 cs.AI cs.CV
Intelligent Indoor Mobile Robot Navigation Using Stereo Vision
Amrita Vishwa Vidyapeetham（阿姆里塔 Vishwa Vidyapeetham 大学）
大多数现有的机器人导航系统，便于使用激光测距仪，声纳传感器或人工地标，有能力在未知的环境中定位自己，然后建立相应的环境地图。立体视觉，虽然仍然是一个快速发展的技术在自主移动机器人领域，目前不太可取的，由于其高的实施成本。本文旨在描述一种实验方法的立体视觉系统的建设，帮助机器人，以避免障碍物和导航通过室内环境，并在同一时间保持非常高的成本效益。本文讨论了立体视觉和超声波传感器的融合技术，有助于成功地通过不同类型的复杂环境的导航。来自传感器的数据使机器人能够创建未知环境的二维的拓扑图，立体视觉系统能够对同一环境的三维模型进行建模。
2014-09-10 cs.AI cs.CV cs.RO
Recursive Visual Imagination and Adaptive Linguistic Grounding for Vision Language Navigation
针对视觉语言导航中场景表示过细、视觉-语言对齐模糊的问题，提出结合递归视觉想象与自适应语言接地的导航策略，在VLN-CE和ObjectNav任务上性能超越现有最优方法。
2025-07-29 cs.CV cs.RO
All-day Multi-scenes Lifelong Vision-and-Language Navigation with Tucker Adaptation
本文提出Tucker适应方法，解决视觉-语言导航在多场景下的持续学习问题，通过高阶张量分解实现知识解耦，提升长期部署灵活性。
2026-03-15 cs.AI cs.CV
Structure-Encoding Auxiliary Tasks for Improved Visual Representation in Vision-and-Language Navigation
Georgia Tech（佐治亚理工学院）
在视觉和语言导航（VLN）中，研究人员通常采用在ImageNet上预训练的图像编码器，而不对智能体将在其上进行训练或测试的环境进行微调。然而，ImageNet的训练图像与导航环境中的视图之间的分布偏移可能会使ImageNet预训练的图像编码器变得次优。因此，在本文中，我们设计了一组结构编码辅助任务（SEA），利用导航环境中的数据来预训练和改进图像编码器。具体来说，我们设计和定制（1）3D拼图，（2）可遍历性预测和（3）实例分类来预训练图像编码器。通过严格的消融，我们的SEA预训练特征被证明可以更好地编码场景的结构信息，ImageNet预训练特征无法正确编码，但对于目标导航任务至关重要。SEA预训练的功能可以很容易地插入到现有的VLN代理中，而无需任何调整。例如，在Test-Unseen环境中，VLN代理与我们的SEA预训练功能相结合，Speaker-Follower的绝对成功率提高了12%，Env-Dropout提高了5%，而WARRN提高了4%。
2022-11-20 cs.AI cs.CV
Evolving Graphical Planner: Contextual Global Planning for Vision-and-Language Navigation
Princeton University（普林斯顿大学）
执行有效规划的能力对于构建预防跟踪代理至关重要。当在一个新的环境中导航时，智能体面临的挑战是：（1）将自然语言指令与其逐渐增长的世界知识联系起来;（2）以有效探索和纠错的形式执行长期规划和决策。尽管作出了广泛的努力，但目前的方法在这两个方面仍然有限。在本文中，我们介绍了不断发展的图形规划（EGP），一个模型，进行全球规划的基础上原始的感官输入导航。该模型动态地构造一个图形表示，概括的行动空间，以允许更灵活的决策，并执行有效的规划代理图表示。我们使用真实感图像在具有挑战性的视觉和语言导航（VLN）任务中评估了我们的模型，并实现了与之前的导航架构相比更优越的性能。例如，我们通过纯粹的模仿学习在房间到房间导航任务的测试分割上实现了53%的成功率，比之前的导航架构高出5%。
2020-07-11 cs.AI cs.CV cs.RO
Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
Uni-NaVid是首个基于视频的视觉-语言-动作模型，通过统一多种具身导航任务的输入输出配置，利用360万样本训练，在未见环境中实现混合长时程导航并达到最先进性能。
2025-02-06 cs.CV cs.RO
Multi-modal Discriminative Model for Vision-and-Language Navigation
Google AI Language（谷歌人工智能语言团队）
视觉和语言导航（VLN）是一种基于自然语言的任务，智能体必须在动态环境中的视觉场景中解释自然语言指令，以实现预定的导航目标。成功的智能体必须有能力解析不同语言风格的自然语言，将它们置于可能不熟悉的场景中，计划并对模糊的环境反馈做出反应。泛化能力受到人类注释数据量的限制。特别是，\emph{paired}视觉语言序列数据是昂贵的collection.We开发了一个评价如何以及指令解释一个给定的路径在VLN任务使用多模态对齐。我们的研究表明，只有一小部分来自\citet{Fried:2018:Speaker}的高质量增强数据（由我们的研究人员评分）对于训练VLN代理在以前看不见的环境中具有相似的性能是有用的。我们还表明，一个VLN代理热启动与预先训练的组件，从EQUIPMENT优于基准的成功率35.5的10%的相对措施，以前看不见的环境。
2019-05-31 cs.CL cs.CV
NAVCON: A Cognitively Inspired and Linguistically Grounded Corpus for Vision and Language Navigation
University of Pennsylvania（宾夕法尼亚大学）
本文提出了NAVCON，一个基于R2R和RxR的大规模视觉语言导航标注语料库，引入了四个核心导航概念及银标注生成算法，并通过人工评估和模型训练验证了其质量与实用性。
2024-12-18 cs.CL cs.CV
Query, Align, and Distill: Navigation-Aware Cross-Modal Interaction for Efficient Vision-and-Language Navigation
针对大规模VLN模型部署成本高的问题，提出通过可学习查询槽提取导航证据并蒸馏至紧凑学生模型，参数量减少93.65%且性能几乎持平。
2026-09-29 cs.AI cs.CV cs.RO
History-Enhanced Two-Stage Transformer for Aerial Vision-and-Language Navigation
本文提出HETT框架，通过粗到细的导航流程整合全局环境推理与局部场景理解，提升无人机在大规模城市环境中基于语言指令的导航性能。
2025-12-17 cs.CV cs.RO
Vision-based Vineyard Navigation Solution with Automatic Annotation
Cornell AgriTech（康奈尔农业科技中心）；Cornell University（康奈尔大学）；USDA ARS Grape Genetics Research Unit（美国农业部农业研究局葡萄遗传学研究组）
自主导航是实现农业研究和生产管理全自动化的关键（例如，疾病管理和产量预测）。在本文中，我们介绍了一个基于视觉的自主导航框架的农业机器人在格架种植系统，如葡萄园。为了实现这一点，我们提出了一种新的基于学习的方法，直接从RGB-D图像估计路径可扩展性热图，然后将热图转换为首选遍历路径。开发了一种自动注释管道，通过将葡萄园第一次设置期间收集的RTK GPS路径投影到相应的RGB-D图像中作为地面实况路径注释，允许快速模型训练和微调，而无需昂贵的人工注释。经过训练的路径检测模型用于开发一个完整的导航框架，包括行跟踪和行切换模块，使机器人能够在作物行内遍历并在作物行之间过渡，以自主覆盖整个葡萄园。在三个不同的葡萄园中进行了广泛的实地试验，以证明所开发的路径检测模型和导航框架在葡萄园中提供了一种具有成本效益的，准确的和强大的自主导航解决方案，并且可以推广到看不见的葡萄园，具有稳定的性能。
2023-03-25 cs.CV cs.RO
Relatively Lazy: Indoor-Outdoor Navigation Using Vision and GNSS
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
视觉示教和重复已经表明相对导航是在困难环境中基于视觉的自主路径跟踪的鲁棒且有效的解决方案。添加额外的绝对传感器，如全球导航卫星系统（GNSS），有可能将视觉示教和重复的领域扩展到无法保证视觉定位能力的环境中。我们的方法懒惰映射和延迟估计，直到路径跟踪误差是必要的，避免了需要估计绝对状态。因此，不需要地图优化，并且可以在示教后立即驱动路径。我们验证了我们的方法在一个真正的机器人通过实验在一个联合室内-室外环境，包括3.5公里的自主路线重复在各种照明条件。我们在整个运行过程中实现了平滑的误差信号，尽管每个传感器都有很大一部分丢失。
2021-07-17 cs.CV cs.RO
Autonomous, Monocular, Vision-Based Snake Robot Navigation and Traversal of Cluttered Environments using Rectilinear Gait Motion
Georgia Institute of Technology（佐治亚理工学院）
蛇形机器人运动的直线形式预计将在障碍物遍布的情况下具有优势，这些情况是城市灾害区，地下塌陷和其他自然环境的特征。与这些运动策略相关联的细长的、横向狭窄的足迹非常适合于穿越有限的空间和狭窄的路径。然而，在缺乏全球感知的情况下，导航和路径规划仍然是在实际部署这些机器人机制之前需要解决的关键挑战。需要解决与视觉处理和定位相关的几个挑战，以实现导航。作为这个方向的第一步，我们在机器蛇的头部安装了一个无线的单目彩色摄像机。ORB-SLAM的视觉里程计和映射允许在平面障碍物遍布的环境中进行自定位。地平面可通行性分割结合感知空间碰撞检测允许导航路径规划。先前提出的动态减少直线蛇运动的非完整运动车辆通知SLAM和规划。然后，应用简化的运动模型来跟踪通过障碍物配置的规划轨迹。这种导航框架使蛇形机器人平台能够自主导航并仅用单目视觉穿越未知场景。
2019-08-19 cs.CV cs.RO
HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System
本文提出HiMemVLN，通过分层记忆系统提升开源零样本视觉-语言导航的可靠性，解决导航遗忘问题，实现实验环境下的性能提升。
2026-07-28 cs.CV cs.RO
VerNav: Verifier-First Low-Latency Vision-and-Language Navigation
University of Electronic Science and Technology of China（电子科技大学）
针对VLN自回归生成延迟高的问题，提出VerNav优先验证器框架，通过批量动作验证与自适应生成器减少延迟，结合两阶段对齐方案提升性能，在R2R基准上每步LLM延迟降超10倍且性能具竞争力。
2026-09-02 cs.CV cs.RO
Vision-and-Language Navigation with Analogical Textual Descriptions in LLMs
Michigan State University（密歇根州立大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of Adelaide（阿德莱德大学）
针对零样本VLN智能体在视觉细节与抽象语义间的两难，本文引入多视角文本描述以支持跨图像类比推理，增强场景与空间理解，并在R2R上显著提升导航性能。
2025-09-29 cs.AI cs.CV cs.MM
A modular vision language navigation and manipulation framework for long horizon compositional tasks in indoor environment
Iowa State University（爱荷华州立大学）
在本文中，我们提出了一个新的框架- MoViLan（模块化的视觉和语言）的执行视觉接地自然语言指令的日常室内家居任务。虽然已经提出了几个数据驱动的端到端学习框架，用于基于视觉和语言模式的目标导航任务，但最近的基准数据集的性能显示，在开发具有不同对象类别的长期组合任务（涉及操纵和导航）的综合技术方面存在差距，现实的指令和具有不可逆状态变化的视觉场景。我们提出了一种模块化方法来处理组合导航和对象交互问题，而不需要严格对齐的视觉和语言训练数据（例如，以专家演示轨迹的形式）。这种方法与该领域传统的端到端技术有很大不同，并且允许使用单独的视觉和语言数据集进行更易于处理的训练过程。具体来说，我们提出了一种新的几何感知映射技术，为杂乱的室内环境，和一个语言理解模型推广到家庭指令遵循。我们证明了一个显着增加的成功率为长期的地平线上，组成任务的基线上最近发布的基准数据集ALFRED。
2021-01-19 cs.CV cs.HC cs.RO
Beyond the Nav-Graph: Vision-and-Language Navigation in Continuous Environments
Oregon State University（俄勒冈州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们开发了一个语言引导的导航任务设置在一个连续的3D环境中，代理必须执行低级别的行动，按照自然语言导航方向。通过位于连续的环境中，这种设置提升了先前工作中隐含的一些假设，这些假设将环境表示为具有对应于可导航性的边缘的稀疏图。具体来说，我们的设置放弃了已知环境拓扑结构，短程Oracle导航和完美代理本地化的假设。为了将这一新任务置于情境中，我们开发了一些模型，这些模型反映了在先前设置以及单模态基线中所取得的许多进展。虽然其中一些技术转移，我们发现显着较低的绝对性能在连续设置-这表明在以前的“导航图”设置的性能可能会被夸大的强隐式假设。
2020-05-01 cs.CL cs.CV cs.RO
Design of Convolutional Extreme Learning Machines for Vision-Based Navigation Around Small Bodies
Politecnico di Milano（米兰理工大学）
诸如卷积神经网络之类的深度学习架构是计算机视觉中用于图像处理任务的标准。然而，它们的准确性往往是以长时间和计算昂贵的训练为代价的，需要大型注释数据集和广泛的超参数搜索。另一方面，一种被称为卷积极端学习机的不同方法已经显示出在训练时间大幅减少的情况下表现相同的潜力。空间图像，特别是关于小天体的空间图像，可能非常适合这种方法。在这项工作中，设计了卷积极端学习机器架构，并针对其深度学习同行进行了测试。由于前者的训练时间相对较快，卷积极端学习机器架构能够有效探索架构设计空间，这对于后者来说是不切实际的，从而为计算机视觉任务的神经网络架构的有效设计引入了一种方法。此外，图像处理方法和标记策略之间的耦合进行了研究，并证明在考虑基于视觉的导航小机构周围时发挥了重要作用。
2022-10-28 cs.AI cs.CV
HOP: History-and-Order Aware Pre-training for Vision-and-Language Navigation
The University of Adelaide（阿德莱德大学）；The Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
在视觉和语言导航（VLN）的一些最新研究中，已经采用了预训练。然而，以前的VLN预训练方法要么缺乏预测未来动作的能力，要么忽略了轨迹上下文，这对于贪婪的导航过程是必不可少的。在这项工作中，为了促进时空视觉-文本对应的学习以及智能体的决策能力，我们提出了一种新的历史和顺序感知的预训练范式（HOP），其具有VLN特定的目标，利用过去的观察结果并支持未来的动作预测。具体来说，除了常用的掩蔽语言建模（MLM）和轨迹指令匹配（TIM），我们设计了两个代理任务来建模时序信息：轨迹顺序建模（TOM）和组顺序建模（GOM）。此外，我们的导航动作预测也通过引入历史动作预测（APH）的任务，它考虑到历史视觉感知增强。四个下游VLN任务（R2 R，REVERIE，NDH，RXR）的广泛的实验结果表明，我们提出的方法相比，对几个国家的最先进的代理的有效性。
2022-03-22 cs.CL cs.CV
On the Advantages of Multiple Stereo Vision Camera Designs for Autonomous Drone Navigation
Aarhus University（奥胡斯大学）
在这项工作中，我们展示了多摄像头无人机的性能的设计和评估，再加上国家的最先进的规划和自主导航映射算法。该系统利用了最先进的滚动地平线探索技术，用于具有3D和语义信息的下一个最佳视图（NBV）规划，由可重新配置的多立体摄像机系统提供。我们采用我们的方法在一个自主的无人机为基础的检查任务，并评估他们在一个自主的探索和绘图方案。我们讨论了使用多立体相机飞行系统的优点和局限性，以及相机数量和映射性能之间的权衡。
2021-05-26 cs.CV cs.RO
Analyzing Generalization of Vision and Language Navigation to Unseen Outdoor Areas
Heidelberg University（海德堡大学）
视觉和语言导航（VLN）是一个具有挑战性的视觉基础的语言理解任务。给定一个自然语言导航指令，一个可视化代理与一个基于图形的环境进行交互，该环境配备有全景图像，并试图遵循所描述的路线。大多数先前的工作都是在室内场景中进行的，在室内场景中，在与训练路线类似的路线上导航获得了最佳结果，在看不见的环境中测试时性能急剧下降。我们专注于室外场景中的VLN，并发现与室内VLN相比，室外VLN对看不见的数据的大部分增益是由于特定于相应环境图的连接类型嵌入或标题三角洲等功能，而图像信息在将VLN推广到看不见的室外区域中起着非常小的作用。这些研究结果表明，城市环境的图形表示的具体偏见，要求VLN任务的规模和地理环境的多样性增长。
2022-03-25 cs.AI cs.CL cs.CV
Fine-Grained Alignment in Vision-and-Language Navigation through Bayesian Optimization
University of Liverpool（利物浦大学）；South China University of Technology（华南理工大学）；National Tsing Hua University（国立清华大学）
针对视觉-语言导航（VLN）任务中现有方法处理细粒度视觉负样本的不足，本文提出基于贝叶斯优化的对抗优化框架生成细粒度对比视觉样本，提升跨模态嵌入效果，在R2R和REVERIE基准上验证了其导航性能提升。
2024-11-30 cs.CL cs.CV cs.LG
