Vision-Based Navigation I: A navigation filter for fusing DTM/correspondence updates
Transas group of companies（Transas集团公司）
提出了一种利用图像和数字地形图中的相应特征进行姿态和运动估计的算法。使用数字地形（或数字高程）地图（DTM/DEM）作为全局参考，可以恢复相机的绝对位置和方向。为了做到这一点，DTM被用来制定两个连续帧中的相应特征之间的约束。数据的利用被示出以提高惯性导航算法的鲁棒性和精度。采用扩展卡尔曼滤波器将惯性导航算法和所提出的基于视觉的导航算法的结果结合起来。通过数值仿真验证了该算法的可行性。
2012-07-10 cs.AI cs.CV
Learning Goal-Oriented Vision-and-Language Navigation with Self-Improving Demonstrations at Scale
Shanghai AI Laboratory（上海人工智能实验室）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Fudan University（复旦大学）；The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）；Shanghai Jiaotong University（上海交通大学）
本文提出SID方法，通过自改进演示提升导航能力，实现高效探索和泛化，显著提升导航性能，达到新状态的SOTA水平。
2026-03-18 cs.CV
Explore the Potential Performance of Vision-and-Language Navigation Model: a Snapshot Ensemble Method
Boston University（波士顿大学）；Honda Research Institute USA, Inc.（本田美国研究院）
视觉与语言导航是人工智能领域的一个具有挑战性的课题。尽管由于深度视觉和语言模型的突破，在过去几年中这项任务取得了巨大进展，但仍然很难构建可以像人类一样泛化的VLN模型。在本文中，我们提供了一个新的角度来改进VLN模型。基于我们的发现，相同的VLN模型的快照的行为显着不同，即使他们的成功率是相对相同的，我们提出了一个基于快照的集成解决方案，利用多个快照之间的预测。构建在现有的最先进的（SOTA）模型$\circlearrowright$ BERT的快照和我们的过去的行动意识的修改，我们提出的合奏实现了新的SOTA性能在R2R数据集的挑战，导航误差（NE）和成功加权的路径长度（SPL）。
2021-11-28 cs.AI cs.CV cs.LG
Multimodal Aggregation Approach for Memory Vision-Voice Indoor Navigation with Meta-Learning
Fudan University（复旦大学）；Westlake University（西湖大学）；Purdue University（普渡大学）
视觉和声音是智能体交互和学习的两个关键。在本文中，我们提出了一种新的室内导航模型称为记忆视觉-语音室内导航（MVV-IN），它接收语音命令，并分析视觉观察的多模态信息，以提高机器人的环境理解。我们利用第一视角单目相机拍摄的单个RGB图像。我们还应用了自我注意力机制来保持智能体专注于关键区域。记忆对于代理避免不必要地重复某些任务并使其充分适应新场景非常重要，因此，我们使用元学习。我们已经实验了从视觉观察中提取的各种功能特征。对比实验证明，我们的方法优于国家的最先进的基线。
2020-09-01 cs.CV
LOViS: Learning Orientation and Visual Signals for Vision and Language Navigation
Michigan State University（密歇根州立大学）
对于遵循自然语言指令的导航代理来说，理解空间和视觉信息是必不可少的。目前基于Transformer的VLN代理纠缠的方向和视觉信息，这限制了从每个信息源的学习的增益。在本文中，我们设计了一个神经代理明确的方向和视觉模块。这些模块学习更有效地将空间信息和指示中提到的地标与视觉环境联系起来。为了加强智能体的空间推理和视觉感知，我们设计了特定的预训练任务，以在最终的导航模型中提供和更好地利用相应的模块。我们在Room2room（R2R）和Room4room（R4R）数据集上评估了我们的方法，并在这两个基准测试中获得了最先进的结果。
2022-09-26 cs.AI cs.CV
Cross-modal Map Learning for Vision and Language Navigation
University of Pennsylvania（宾夕法尼亚大学）
我们考虑的问题的视觉和语言导航（VLN）。目前大多数VLN方法都是使用非结构化内存（如LSTM）进行端到端训练，或者使用跨模态注意力对代理的自我中心观察进行训练。与其他作品相比，我们的关键见解是，语言和视觉之间的关联更强，当它发生在明确的空间表示。在这项工作中，我们提出了一个跨模态地图学习模型的视觉和语言导航，首先学习预测自上而下的语义在一个自我中心的地图上观察到的和未观察到的区域，然后预测一个路径作为一组路点的目标。在这两种情况下，预测是由语言通过跨模态注意力机制通知。我们实验测试的基本假设，语言驱动的导航可以解决给定的地图，然后显示竞争力的结果，在完整的VLN-CE基准。
2022-03-21 cs.CV cs.RO
Reinforced Structured State-Evolution for Vision-Language Navigation
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
视觉和语言导航（VLN）任务需要一个具体的代理导航到一个远程位置以下的自然语言指令。先前的方法通常采用序列模型（例如，Transformer和LSTM）作为导航器。在这样的范例中，序列模型通过维护的导航状态来预测每一步的动作，该导航状态通常表示为一维向量。然而，关键的导航线索（即，对象级环境布局）被丢弃，因为所维护的向量基本上是非结构化的。在本文中，我们提出了一种新的结构化状态演化（SEvol）模型，以有效地保持环境布局的线索VLN。具体来说，我们利用基于图形的功能来表示导航状态，而不是基于矢量的状态。因此，我们设计了一个强化布局线索矿工（RLM）挖掘和检测最关键的布局图，通过定制的强化学习策略的长期导航。此外，结构化的进化模块（SEM）提出了在导航过程中保持结构化的基于图的状态，其中状态逐渐进化，学习对象级的时空关系。在R2R和R4R数据集上的实验表明，所提出的SEvol模型大大提高了VLN模型的性能，例如，在R2R测试集上，NvEM的绝对SPL准确度为+3%，EnvDrop的绝对SPL准确度为+8%。
2022-05-26 cs.CV
Vision-Dialog Navigation by Exploring Cross-modal Memory
University of Chinese Academy of Sciences（中国科学院大学）；Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
视觉对话导航是视觉语言学科的一个新的圣杯任务，其目标是学习一个具有与自然语言不断对话以寻求帮助并根据人类反应进行导航的能力的智能体。除了视觉语言导航所面临的共同挑战外，视觉对话导航还需要处理好对话历史中一系列关于时间语境的问题的语言意图，以及对话和视觉场景的共同推理。在本文中，我们提出了跨模态记忆网络（CMN）的记忆和理解丰富的信息相关的历史导航行动。我们的CMN由两个记忆模块组成，语言记忆模块（L-RNN）和视觉记忆模块（V-RNN）。具体而言，L-SVM通过采用多头注意力机制来学习当前语言交互与对话历史之间的潜在关系。V-mem学会将当前视觉视图与有关之前导航操作的跨模态记忆相关联。跨通道记忆通过视觉-语言注意和语言-视觉注意产生。受益于L-RNN和V-RNN的协作学习，我们的CMN能够探索关于当前步骤的历史导航动作的决策的记忆。在CVDN数据集上的实验表明，我们的CMN在可见和不可见环境中的性能都明显优于以前的最先进模型。
2020-03-15 cs.CL cs.CV
Topological Planning with Transformers for Vision-and-Language Navigation
Stanford University（斯坦福大学）；Yale University（耶鲁大学）
传统的视觉和语言导航（VLN）方法是端到端训练的，但很难在可自由穿越的环境中表现良好。受机器人社区的启发，我们提出了一个模块化的方法，VLN使用拓扑地图。给定自然语言指令和拓扑地图，我们的方法利用注意力机制来预测地图中的导航计划。然后，使用鲁棒控制器以低级动作（例如，向前、旋转）执行该计划。实验表明，我们的方法优于以前的端到端的方法，生成可解释的导航计划，并表现出智能行为，如回溯。
2020-12-09 cs.AI cs.CL cs.CV
Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
视觉语言导航（VLN）是智能体学习遵循自然语言指令进行导航的任务。这个任务的关键是顺序地感知视觉场景和自然语言。传统的方法利用跨模态接地的视觉和语言特征。然而，VLN任务仍然具有挑战性，因为以前的工作忽略了环境中包含的丰富语义信息（如隐式导航图或子轨迹语义）。在本文中，我们介绍了辅助推理导航（Auxiliary Reasoning Navigation，简称ARRN），这是一个具有四个自监督辅助推理任务的框架，可以利用从语义信息中获得的额外训练信号。辅助任务有四个推理目标：解释先前的动作，估计导航进度，预测下一个方向，评估轨迹的一致性。因此，这些额外的训练信号帮助智能体获得语义表示的知识，以便对其活动进行推理并建立对环境的全面感知。我们的实验表明，辅助推理任务提高了主任务的性能和模型的泛化能力。从经验上讲，我们证明了用自我监督辅助推理任务训练的代理大大优于以前的最先进的方法，是标准基准上现有的最佳方法。
2020-04-01 cs.CV
Hierarchical Spatial Proximity Reasoning for Vision-and-Language Navigation
本文提出层次化空间邻近性推理方法HSPR，通过场景理解辅助任务构建空间邻近知识库，并结合多步推理导航与残差融合，在多个VLN数据集上提升了导航决策准确性和探索效率。
2024-10-06 cs.CV
A Vision-Based Navigation System for Arable Fields
Lincoln Agri-Robotics Centre（林肯农业机器人中心）；Lincoln Institute for Agri-Food Technology（林肯农业食品技术研究所）；University of Lincoln（林肯大学）
针对农田视觉导航的挑战，提出一套基于深度学习的感知算法和综合数据集，实现作物行检测与跟随，并在商业农田中验证，平均航向误差1.24°、横向误差3.32厘米。
2024-05-28 cs.CV cs.RO
Trajectory-Diversity-Driven Robust Vision-and-Language Navigation
Xi’an Jiaotong University（西安交通大学）；Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳先进技术大学微电子学院）
本文提出NavGRPO框架，通过群体相对策略优化实现目标导向的导航策略学习，在未见环境中提升鲁棒性，实验显示在R2R和REVERIE基准上SPL提升达3.0%和1.71%。
2026-03-16 cs.CV
Diagnosing Vision-and-Language Navigation: What Really Matters
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Adelaide（阿德莱德大学）；Google（谷歌）；UC Santa Cruz（加州大学圣克鲁兹分校）
视觉和语言导航（VLN）是一种多模态任务，其中智能体遵循自然语言指令并在视觉环境中导航。已经提出了多种设置，研究人员应用新的模型架构或训练技术来提高导航性能。然而，机器的性能和人类基准之间仍然存在不可忽视的差距。此外，智能体的内部导航决策机制仍然不清楚。据我们所知，代理人如何感知多模态输入是研究不足，需要调查。在这项工作中，我们进行了一系列的诊断实验，以揭示代理的重点在导航。结果表明，室内导航代理参考对象和方向令牌时，作出决定。相比之下，户外导航代理严重依赖于方向令牌和理解对象令牌差。基于transformer的代理获得了更好的跨模态的理解对象，并显示出强大的数值推理能力比非transformer的代理。当涉及到视觉和语言对齐时，许多模型声称它们可以将对象标记与特定的视觉目标对齐。我们发现不平衡的视觉和文本输入的注意力和怀疑这种跨通道对齐的可靠性。
2022-05-04 cs.AI cs.CL cs.CV
Self-supervised 3D Semantic Representation Learning for Vision-and-Language Navigation
Tsinghua University（清华大学）
在视觉和语言导航任务中，具体代理遵循语言指令并导航到特定目标。它在许多实际场景中都很重要，并引起了计算机视觉和机器人社区的广泛关注。然而，现有的大多数作品只使用RGB图像，而忽略了场景的三维语义信息。为此，我们开发了一种新的自监督训练框架，将体素级3D语义重建编码为3D语义表示。具体而言，区域查询任务被设计为借口任务，其预测特定类别的对象在特定3D区域中的存在或不存在。然后，我们构建了一个基于LSTM的导航模型和训练它与建议的三维语义表示和BERT语言功能的视觉语言对。实验表明，该方法在R2R数据集的验证和测试中分别实现了68%和66%的成功率，优于大多数基于RGB的方法，利用视觉语言Transformers。
2022-01-26 cs.CV cs.RO
Leaving the Lines Behind: Vision-Based Crop Row Exit for Agricultural Robot Navigation
Lincoln Agri-Robotics Centre（林肯农业机器人中心）；Lincoln Institute for Agri-Food Technology（林肯农业食品技术研究所）；University of Lincoln（林肯大学）
针对现有视觉作物垄导航框架中纯视觉垄切换方案研究不足的问题，提出仅用RGB图像局部特征匹配反馈实现垄退出、垄端用深度图像估算田埂导航距离的方法，在多样田埂测试中实现50厘米误差的完整垄脱离。
2023-06-09 cs.CV cs.RO
WebVLN: Vision-and-Language Navigation on Websites
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）
本文提出WebVLN任务，利用基于问题的指令训练代理在网站上导航，并引入WebVLN-Net方法结合HTML信息，数据集WebVLN-v1验证其优于现有方法。
2023-12-25 cs.CV
On the Evaluation of Vision-and-Language Navigation Instructions
Google Research（谷歌研究院）
视觉和语言导航寻路代理可以通过利用自动生成的导航指令来增强。然而，现有的指令生成器还没有得到全面的评估，并用于开发它们的自动评估指标还没有得到验证。使用人类的寻路者，我们表明，这些发电机的性能与基于模板的发电机相当或仅略好于基于模板的发电机，远不如人类教师。此外，我们发现BLEU，ROUGE，METEOR和CIDER是无效的评估接地导航指令。为了提高指令评估，我们提出了一个执行轨迹兼容性模型，没有参考指令。我们的模型显示，在对单个指令进行评分时，与人类寻路结果的相关性最高。对于排序指令生成系统，如果有参考指令，我们建议使用SPICE。
2021-01-26 cs.AI cs.CL cs.CV
Does Peer Observation Help? Vision-Sharing Collaboration for Vision-Language Navigation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Adelaide University（阿德莱德大学）；Responsible AI Research Centre（负责任人工智能研究中心）
本文提出Co-VLN框架，研究同伴观察对视觉语言导航的影响，通过共享感知记忆扩展接收场，验证了在R2R基准下两种方法中性能的显著提升。
2026-10-16 cs.CV cs.RO
UNav: An Infrastructure-Independent Vision-Based Navigation System for People with Blindness and Low vision
NYU Tandon School of Engineering（纽约大学坦登工程学院）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；Ratchasuda College Mahidol University（玛希敦大学拉差苏达学院）；Mahidol University（玛希敦大学）
基于视觉的本地化方法现在支持新兴的导航管道，用于从机器人到辅助技术的无数用例。与基于传感器的解决方案相比，基于视觉的定位不需要预先安装的传感器基础设施，这是昂贵的，耗时的，和/或在规模上通常是不可行的。在这里，我们提出了一种新的基于视觉的定位管道，用于特定的用例：为失明和低视力的最终用户提供导航支持。给定终端用户在移动应用上拍摄的查询图像，流水线利用视觉位置识别（VPR）算法在目标空间的参考图像数据库中找到相似的图像。这些相似图像的地理位置被用于下游任务，这些下游任务采用加权平均方法来估计最终用户的位置，并采用透视n点（Pestrian）算法来估计最终用户的方向。此外，该系统实现了Dijkstra算法，以基于包括行程起点和目的地的可导航地图来计算最短路径。使用定制的图形用户界面来构建用于定位和导航的拓扑图，该用户界面将从图像序列构建的3D重构稀疏图投影到对应的先验2D平面图。用于地图构建的序列图像可以在预映射步骤中收集或通过公共数据库/公民科学进行清理。端到端系统可以安装在任何具有摄像头的互联网访问设备上，该摄像头托管自定义移动应用程序。出于评价目的，在复杂的医院环境中对标测和定位进行了测试。评估结果表明，我们的系统可以实现定位的平均误差小于1米，而不知道相机的内部参数，如焦距。
2022-09-22 cs.CV
Detect and Approach: Close-Range Navigation Support for People with Blindness and Low Vision
New York University（纽约大学）；NYU Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）；NYU Langone Health（纽约大学朗格尼医学中心）
失明和低视力（pBLV）患者在不熟悉的环境中定位最终目的地或瞄准特定物体时会遇到重大挑战。此外，除了最初将自己定位和定向到目标对象之外，从自己的当前位置接近最终目标通常是令人沮丧和具有挑战性的，特别是当一个人偏离初始规划的路径以避开障碍物时。在本文中，我们开发了一种新的可穿戴导航解决方案，为用户提供实时指导，以便在不熟悉的环境中有效地接近感兴趣的目标对象。我们的系统包含两个关键的视觉计算功能：初始目标对象定位在3D和用户的轨迹的连续估计，这两个基础上的2D视频捕获的低成本的单目摄像头安装在前面的胸部的用户。这些功能使系统能够建议一个初始的导航路径，随着用户的移动不断更新的路径，并提供有关用户的路径的校正及时recommendation.Our实验表明，我们的系统是能够操作的误差小于0.5米的室外和室内。该系统完全基于视觉，不需要其他传感器进行导航，计算可以通过可穿戴系统中的Jetson处理器运行，以促进实时导航辅助。
2022-08-17 cs.CV
Intelligent Indoor Mobile Robot Navigation Using Stereo Vision
Amrita Vishwa Vidyapeetham（阿姆里塔 Vishwa Vidyapeetham 大学）
大多数现有的机器人导航系统，便于使用激光测距仪，声纳传感器或人工地标，有能力在未知的环境中定位自己，然后建立相应的环境地图。立体视觉，虽然仍然是一个快速发展的技术在自主移动机器人领域，目前不太可取的，由于其高的实施成本。本文旨在描述一种实验方法的立体视觉系统的建设，帮助机器人，以避免障碍物和导航通过室内环境，并在同一时间保持非常高的成本效益。本文讨论了立体视觉和超声波传感器的融合技术，有助于成功地通过不同类型的复杂环境的导航。来自传感器的数据使机器人能够创建未知环境的二维的拓扑图，立体视觉系统能够对同一环境的三维模型进行建模。
2014-09-10 cs.AI cs.CV cs.RO
Identifying Crucial Objects in Blind and Low-Vision Individuals' Navigation
Pennsylvania State University（宾夕法尼亚州立大学）；Drake University（德雷克大学）
本文提出了一个包含90个对盲人和低视力个体导航至关重要的物体列表，涵盖道路、人行道和室内环境。研究通过分析21个视频并经焦点小组反馈完善该列表，发现现有计算机视觉数据集仅涵盖其中少部分物体，并为31个视频片段提供详细标注，公开相关资源以促进开发更包容有效的导航辅助工具。
2024-08-23 cs.CV
Temporal-Spatial Object Relations Modeling for Vision-and-Language Navigation
School of Computer Science and Technology, Institute of Intelligent Computing, Shandong University（山东大学计算机科学与技术学院智能计算研究所）；City University of Hong Kong（香港城市大学）
针对视觉语言导航中传统GCN建模能力有限、外部数据集有偏差、智能体易重复访问的问题，提出时间对象关系、空间对象关系建模方法及回头惩罚损失函数，在多个数据集上验证了有效性。
2024-05-16 cs.CV
Disentangling Foreground and Background for vision-Language Navigation via Online Augmentation
Hefei University of Technology（合肥工业大学）
针对视觉语言导航中视觉观测前景与背景作用未被充分挖掘的问题，提出共识驱动的在线特征增强策略COFA，通过解耦前后景特征并结合两阶段投票整合偏好，在REVERIE和R2R数据集上实现了当前最优性能，提升了模型泛化能力。
2025-10-01 cs.CV
Learning to Stop: A Simple yet Effective Approach to Urban Vision-Language Navigation
University of Science and Technology of China（中国科学技术大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
视觉和语言导航（VLN）是一个自然语言的基础任务，其中智能体学习遵循语言指令并在现实世界环境中导航到指定的目的地。一个关键的挑战是识别并停在正确的位置，特别是在复杂的户外环境中。现有的策略将STOP动作与其他动作同等对待，导致Agent在目标位置上的错误行为，因此，我们提出了学习停止（Learning to Stop，L2Stop）策略模块，该策略模块将STOP动作与其他动作区分开来。我们的方法在一个具有挑战性的城市VLN数据集上实现了最新的技术水平，在编辑距离加权的成功（SED）上超过基线6.89%（绝对改进）。
2020-10-18 cs.CV
Vision-Language Navigation with Energy-Based Policy
Zhejiang University（浙江大学）
本文提出基于能量的导航策略ENP，通过能量模型建模联合状态-动作分布以全局对齐专家策略，在多个VLN基准上显著提升现有模型性能。
2024-10-18 cs.CV
VANP: Learning Where to See for Navigation with Self-Supervised Vision-Action Pre-Training
George Mason University（乔治梅森大学）
本文提出自监督视觉-动作预训练模型 VANP，利用视觉历史、未来动作和目标图像通过互信息最大化学习导航相关视觉区域，以极少数据和一半训练时间达到与全监督模型相当的性能。
2024-09-04 cs.CV cs.RO
Evolving Graphical Planner: Contextual Global Planning for Vision-and-Language Navigation
Princeton University（普林斯顿大学）
执行有效规划的能力对于构建预防跟踪代理至关重要。当在一个新的环境中导航时，智能体面临的挑战是：（1）将自然语言指令与其逐渐增长的世界知识联系起来;（2）以有效探索和纠错的形式执行长期规划和决策。尽管作出了广泛的努力，但目前的方法在这两个方面仍然有限。在本文中，我们介绍了不断发展的图形规划（EGP），一个模型，进行全球规划的基础上原始的感官输入导航。该模型动态地构造一个图形表示，概括的行动空间，以允许更灵活的决策，并执行有效的规划代理图表示。我们使用真实感图像在具有挑战性的视觉和语言导航（VLN）任务中评估了我们的模型，并实现了与之前的导航架构相比更优越的性能。例如，我们通过纯粹的模仿学习在房间到房间导航任务的测试分割上实现了53%的成功率，比之前的导航架构高出5%。
2020-07-11 cs.AI cs.CV cs.RO
Query, Align, and Distill: Navigation-Aware Cross-Modal Interaction for Efficient Vision-and-Language Navigation
针对大规模VLN模型部署成本高的问题，提出通过可学习查询槽提取导航证据并蒸馏至紧凑学生模型，参数量减少93.65%且性能几乎持平。
2026-09-29 cs.AI cs.CV cs.RO
Bench2FreeAD: A Benchmark for Vision-based End-to-end Navigation in Unstructured Robotic Environments
针对非结构化场景下机器人导航研究不足的问题，本文构建FreeWorld Dataset数据集，微调VAD模型验证其性能，提出首个相关基准，以推动物流和服务机器人E2E导航技术发展。
2025-11-17 cs.CV cs.RO
ULN: Towards Underspecified Vision-and-Language Navigation
UC Santa Barbara（加州大学圣巴巴拉分校）
视觉和语言导航（VLN）是一个任务，引导一个具体的代理移动到一个目标位置使用语言指令。尽管有显着的性能改善，细粒度指令的广泛使用未能表征更实际的语言变化在现实中。为了填补这一空白，我们引入了一个新的设置，即欠指定的视觉和语言导航（ULN），以及相关的评估数据集。ULN使用多级未指定指令来评估代理，而不是纯粹的细粒度或粗粒度，这是一种更现实和通用的设置。作为实现ULN的主要步骤，我们提出了一个VLN框架，该框架包括一个分类模块，一个导航代理，和一个开发到探索（E2E）模块。具体来说，我们建议学习粒度特定的子网络（GSS）的代理地面多级指令与最小的附加参数。然后，我们的E2E模块估计接地不确定性，并进行多步前瞻探索，以进一步提高成功率。实验结果表明，现有的VLN模型仍然是脆弱的多级语言欠规格说明。我们的框架更加稳健，在所有水平上的相对成功率均超过ULN基线约10%。
2022-10-18 cs.CL cs.CV
MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming
Horizon Robotics
MonoDream通过轻量级VLA框架和潜在全景梦境任务，提升单目视觉-语言导航的性能，缩小与全景方法的差距。
2025-11-27 cs.CV cs.RO
An Autonomous Vision-Based Algorithm for Interplanetary Navigation
Politecnico di Milano（米兰理工大学）
本文提出融合图像处理与无量纲扩展卡尔曼滤波的自主视觉星际导航算法，通过最优行星对选择和解析光行差/光行时模型提升精度，并在地球—火星转移仿真中验证了适用性。
2024-06-17 astro-ph.IM cs.CV
TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation
East China Normal University（华东师范大学）；Hangzhou Dianzi University（杭州电子科技大学）
针对零样本视觉语言导航中LLM环境感知不足的问题，提出TINA框架，通过问答模块增强感知并提升可解释性，在Room-to-Room数据集上超越监督学习方法。
2024-03-13 cs.AI cs.CV
A modular vision language navigation and manipulation framework for long horizon compositional tasks in indoor environment
Iowa State University（爱荷华州立大学）
在本文中，我们提出了一个新的框架- MoViLan（模块化的视觉和语言）的执行视觉接地自然语言指令的日常室内家居任务。虽然已经提出了几个数据驱动的端到端学习框架，用于基于视觉和语言模式的目标导航任务，但最近的基准数据集的性能显示，在开发具有不同对象类别的长期组合任务（涉及操纵和导航）的综合技术方面存在差距，现实的指令和具有不可逆状态变化的视觉场景。我们提出了一种模块化方法来处理组合导航和对象交互问题，而不需要严格对齐的视觉和语言训练数据（例如，以专家演示轨迹的形式）。这种方法与该领域传统的端到端技术有很大不同，并且允许使用单独的视觉和语言数据集进行更易于处理的训练过程。具体来说，我们提出了一种新的几何感知映射技术，为杂乱的室内环境，和一个语言理解模型推广到家庭指令遵循。我们证明了一个显着增加的成功率为长期的地平线上，组成任务的基线上最近发布的基准数据集ALFRED。
2021-01-19 cs.CV cs.HC cs.RO
Recursive Visual Imagination and Adaptive Linguistic Grounding for Vision Language Navigation
针对视觉语言导航中场景表示过细、视觉-语言对齐模糊的问题，提出结合递归视觉想象与自适应语言接地的导航策略，在VLN-CE和ObjectNav任务上性能超越现有最优方法。
2025-07-29 cs.CV cs.RO
Beyond the Nav-Graph: Vision-and-Language Navigation in Continuous Environments
Oregon State University（俄勒冈州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们开发了一个语言引导的导航任务设置在一个连续的3D环境中，代理必须执行低级别的行动，按照自然语言导航方向。通过位于连续的环境中，这种设置提升了先前工作中隐含的一些假设，这些假设将环境表示为具有对应于可导航性的边缘的稀疏图。具体来说，我们的设置放弃了已知环境拓扑结构，短程Oracle导航和完美代理本地化的假设。为了将这一新任务置于情境中，我们开发了一些模型，这些模型反映了在先前设置以及单模态基线中所取得的许多进展。虽然其中一些技术转移，我们发现显着较低的绝对性能在连续设置-这表明在以前的“导航图”设置的性能可能会被夸大的强隐式假设。
2020-05-01 cs.CL cs.CV cs.RO
All-day Multi-scenes Lifelong Vision-and-Language Navigation with Tucker Adaptation
本文提出Tucker适应方法，解决视觉-语言导航在多场景下的持续学习问题，通过高阶张量分解实现知识解耦，提升长期部署灵活性。
2026-03-15 cs.AI cs.CV
Curriculum Learning for Vision-and-Language Navigation
Fudan University（复旦大学）；Princeton University（普林斯顿大学）
视觉和语言导航（VLN）是一项任务，其中智能体在人类指令下在具体的室内环境中导航。以前的作品忽略了样本难度的分布，我们认为，这可能会降低他们的代理性能。为了解决这个问题，我们提出了一种新的基于知识的VLN任务的训练范式，可以平衡人类的先验知识和智能体对训练样本的学习进度。我们制定了课程设计的原则，并重新安排基准房间到房间（R2R）数据集，使其适合课程培训。实验表明，我们的方法是模型无关的，可以显着提高性能，泛化能力，和当前国家的最先进的导航代理的训练效率，而不增加模型的复杂性。
2021-11-14 cs.AI cs.CL cs.CV
Structure-Encoding Auxiliary Tasks for Improved Visual Representation in Vision-and-Language Navigation
Georgia Tech（佐治亚理工学院）
在视觉和语言导航（VLN）中，研究人员通常采用在ImageNet上预训练的图像编码器，而不对智能体将在其上进行训练或测试的环境进行微调。然而，ImageNet的训练图像与导航环境中的视图之间的分布偏移可能会使ImageNet预训练的图像编码器变得次优。因此，在本文中，我们设计了一组结构编码辅助任务（SEA），利用导航环境中的数据来预训练和改进图像编码器。具体来说，我们设计和定制（1）3D拼图，（2）可遍历性预测和（3）实例分类来预训练图像编码器。通过严格的消融，我们的SEA预训练特征被证明可以更好地编码场景的结构信息，ImageNet预训练特征无法正确编码，但对于目标导航任务至关重要。SEA预训练的功能可以很容易地插入到现有的VLN代理中，而无需任何调整。例如，在Test-Unseen环境中，VLN代理与我们的SEA预训练功能相结合，Speaker-Follower的绝对成功率提高了12%，Env-Dropout提高了5%，而WARRN提高了4%。
2022-11-20 cs.AI cs.CV
Analyzing Generalization of Vision and Language Navigation to Unseen Outdoor Areas
Heidelberg University（海德堡大学）
视觉和语言导航（VLN）是一个具有挑战性的视觉基础的语言理解任务。给定一个自然语言导航指令，一个可视化代理与一个基于图形的环境进行交互，该环境配备有全景图像，并试图遵循所描述的路线。大多数先前的工作都是在室内场景中进行的，在室内场景中，在与训练路线类似的路线上导航获得了最佳结果，在看不见的环境中测试时性能急剧下降。我们专注于室外场景中的VLN，并发现与室内VLN相比，室外VLN对看不见的数据的大部分增益是由于特定于相应环境图的连接类型嵌入或标题三角洲等功能，而图像信息在将VLN推广到看不见的室外区域中起着非常小的作用。这些研究结果表明，城市环境的图形表示的具体偏见，要求VLN任务的规模和地理环境的多样性增长。
2022-03-25 cs.AI cs.CL cs.CV
Fine-Grained Alignment in Vision-and-Language Navigation through Bayesian Optimization
University of Liverpool（利物浦大学）；South China University of Technology（华南理工大学）；National Tsing Hua University（国立清华大学）
针对视觉-语言导航（VLN）任务中现有方法处理细粒度视觉负样本的不足，本文提出基于贝叶斯优化的对抗优化框架生成细粒度对比视觉样本，提升跨模态嵌入效果，在R2R和REVERIE基准上验证了其导航性能提升。
2024-11-30 cs.CL cs.CV cs.LG
Language-Aligned Waypoint (LAW) Supervision for Vision-and-Language Navigation in Continuous Environments
Simon Fraser University（西蒙弗雷泽大学）；IIT Kanpur（印度理工学院坎普尔分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在视觉和语言导航（VLN）任务中，一个具体的代理导航3D环境，以下自然语言的指令。在这个任务中的一个挑战是如何处理“偏离路径”的情况下，代理转向从参考path.Prior工作监督代理与行动的基础上最短的路径从代理的位置到目标，但这种目标导向的监督往往是不符合指令。此外，以前的工作所采用的评估指标并不衡量代理能够遵循多少语言指令。在这项工作中，我们提出了一个简单有效的与语言对齐的监督方案，以及一个衡量代理在导航期间完成的子指令数量的新指标。
2021-09-30 cs.CL cs.CV cs.RO
Transferable Representation Learning in Vision-and-Language Navigation
Google Research（谷歌研究院）
视觉和语言导航（VLN）任务，如房间到房间（R2R），需要机器代理解释自然语言指令，并学习在视觉上逼真的环境中行动，以实现导航目标。整体任务需要在几个感知问题的能力：成功的代理结合时空，视觉和语言理解，以产生适当的动作序列。我们的方法将预先训练的视觉和语言表示适应相关的域内任务，使它们对VLN更有效。具体地，所述表示适于解决跨模态序列比对和序列一致性任务。在序列对齐任务中，模型确定指令是否对应于视觉帧序列。在序列一致性任务中，模型确定感知序列在以预防为条件的潜在空间中是否具有预测性。通过转移域适应的表示，我们提高竞争力的代理在R2R衡量的成功率加权路径长度（SPL）度量。
2019-08-12 cs.CL cs.CV cs.LG
Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
Uni-NaVid是首个基于视频的视觉-语言-动作模型，通过统一多种具身导航任务的输入输出配置，利用360万样本训练，在未见环境中实现混合长时程导航并达到最先进性能。
2025-02-06 cs.CV cs.RO
Multi-modal Discriminative Model for Vision-and-Language Navigation
Google AI Language（谷歌人工智能语言团队）
视觉和语言导航（VLN）是一种基于自然语言的任务，智能体必须在动态环境中的视觉场景中解释自然语言指令，以实现预定的导航目标。成功的智能体必须有能力解析不同语言风格的自然语言，将它们置于可能不熟悉的场景中，计划并对模糊的环境反馈做出反应。泛化能力受到人类注释数据量的限制。特别是，\emph{paired}视觉语言序列数据是昂贵的collection.We开发了一个评价如何以及指令解释一个给定的路径在VLN任务使用多模态对齐。我们的研究表明，只有一小部分来自\citet{Fried:2018:Speaker}的高质量增强数据（由我们的研究人员评分）对于训练VLN代理在以前看不见的环境中具有相似的性能是有用的。我们还表明，一个VLN代理热启动与预先训练的组件，从EQUIPMENT优于基准的成功率35.5的10%的相对措施，以前看不见的环境。
2019-05-31 cs.CL cs.CV
MC-GPT: Empowering Vision-and-Language Navigation with Memory Map and Reasoning Chains
School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区智能系统工程学院）；School of Computer Science and Engineering（计算机科学与工程学院）
针对基于LLM的VLN方法记忆构建不足、策略单一的问题，本文提出MC-GPT，通过拓扑记忆地图、Navigation Chain of Thoughts及集成流水线增强导航与推理可解释性。
2024-08-12 cs.AI cs.CL cs.CV
NAVCON: A Cognitively Inspired and Linguistically Grounded Corpus for Vision and Language Navigation
University of Pennsylvania（宾夕法尼亚大学）
本文提出了NAVCON，一个基于R2R和RxR的大规模视觉语言导航标注语料库，引入了四个核心导航概念及银标注生成算法，并通过人工评估和模型训练验证了其质量与实用性。
2024-12-18 cs.CL cs.CV
History-Enhanced Two-Stage Transformer for Aerial Vision-and-Language Navigation
本文提出HETT框架，通过粗到细的导航流程整合全局环境推理与局部场景理解，提升无人机在大规模城市环境中基于语言指令的导航性能。
2025-12-17 cs.CV cs.RO
Planning from Imagination: Episodic Simulation and Episodic Memory for Vision-and-Language Navigation
Shanghai Jiao Tong University（上海交通大学）
本文提出一种融合情景模拟与情景记忆的现实-想象混合记忆系统，通过预训练赋予视觉-语言导航智能体想象未来场景高保真RGB图像的能力，从而在SPL指标上达到最先进水平。
2024-12-25 cs.CV cs.LG cs.RO
Vision-based Vineyard Navigation Solution with Automatic Annotation
Cornell AgriTech（康奈尔农业科技中心）；Cornell University（康奈尔大学）；USDA ARS Grape Genetics Research Unit（美国农业部农业研究局葡萄遗传学研究组）
自主导航是实现农业研究和生产管理全自动化的关键（例如，疾病管理和产量预测）。在本文中，我们介绍了一个基于视觉的自主导航框架的农业机器人在格架种植系统，如葡萄园。为了实现这一点，我们提出了一种新的基于学习的方法，直接从RGB-D图像估计路径可扩展性热图，然后将热图转换为首选遍历路径。开发了一种自动注释管道，通过将葡萄园第一次设置期间收集的RTK GPS路径投影到相应的RGB-D图像中作为地面实况路径注释，允许快速模型训练和微调，而无需昂贵的人工注释。经过训练的路径检测模型用于开发一个完整的导航框架，包括行跟踪和行切换模块，使机器人能够在作物行内遍历并在作物行之间过渡，以自主覆盖整个葡萄园。在三个不同的葡萄园中进行了广泛的实地试验，以证明所开发的路径检测模型和导航框架在葡萄园中提供了一种具有成本效益的，准确的和强大的自主导航解决方案，并且可以推广到看不见的葡萄园，具有稳定的性能。
2023-03-25 cs.CV cs.RO
Relatively Lazy: Indoor-Outdoor Navigation Using Vision and GNSS
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
视觉示教和重复已经表明相对导航是在困难环境中基于视觉的自主路径跟踪的鲁棒且有效的解决方案。添加额外的绝对传感器，如全球导航卫星系统（GNSS），有可能将视觉示教和重复的领域扩展到无法保证视觉定位能力的环境中。我们的方法懒惰映射和延迟估计，直到路径跟踪误差是必要的，避免了需要估计绝对状态。因此，不需要地图优化，并且可以在示教后立即驱动路径。我们验证了我们的方法在一个真正的机器人通过实验在一个联合室内-室外环境，包括3.5公里的自主路线重复在各种照明条件。我们在整个运行过程中实现了平滑的误差信号，尽管每个传感器都有很大一部分丢失。
2021-07-17 cs.CV cs.RO
Autonomous, Monocular, Vision-Based Snake Robot Navigation and Traversal of Cluttered Environments using Rectilinear Gait Motion
Georgia Institute of Technology（佐治亚理工学院）
蛇形机器人运动的直线形式预计将在障碍物遍布的情况下具有优势，这些情况是城市灾害区，地下塌陷和其他自然环境的特征。与这些运动策略相关联的细长的、横向狭窄的足迹非常适合于穿越有限的空间和狭窄的路径。然而，在缺乏全球感知的情况下，导航和路径规划仍然是在实际部署这些机器人机制之前需要解决的关键挑战。需要解决与视觉处理和定位相关的几个挑战，以实现导航。作为这个方向的第一步，我们在机器蛇的头部安装了一个无线的单目彩色摄像机。ORB-SLAM的视觉里程计和映射允许在平面障碍物遍布的环境中进行自定位。地平面可通行性分割结合感知空间碰撞检测允许导航路径规划。先前提出的动态减少直线蛇运动的非完整运动车辆通知SLAM和规划。然后，应用简化的运动模型来跟踪通过障碍物配置的规划轨迹。这种导航框架使蛇形机器人平台能够自主导航并仅用单目视觉穿越未知场景。
2019-08-19 cs.CV cs.RO
