Path-level Hindsight Instructions for Semantic Exploration in Vision-Language Navigation
Korea University(高丽大学);University of Michigan(密歇根大学)
提出Phi-Nav框架,通过事后推理将指令与智能体实际探索轨迹对齐,利用三阶段双监督循环将语义未标记的运动转化为密集训练信号,在R2R-CE和RxR-CE基准上以少量专家演示取得竞争性能。
2026-07-03 cs.AI
Plan-MCTS: Plan Exploration for Action Exploitation in Web Navigation
Shanghai Jiao Tong University(上海交通大学);OPPO Research Institute(OPPO研究院)
Plan-MCTS通过将网页导航探索转移到语义计划空间,提升动作利用效率,实现更高效的导航任务执行。
2026-02-15 cs.AI
Natural Language-Driven Viewpoint Navigation for Volume Exploration via Semantic Block Representation
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Sun Yat-sen University(中山大学);Guangdong Province Key Laboratory of Computational Science(广东省计算科学重点实验室);National Supercomputer Center in Guangzhou(广州国家超级计算机中心)
针对无专业背景用户探索体数据时选择最佳视角困难的问题,提出利用自然语言交互的体数据探索框架,通过编码体块、引入CLIP Score机制并结合强化学习自动搜索符合用户意图的视角,提升了导航效率与科学现象的可解释性。
2025-08-09 cs.AI
Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation
Sun Yat-sen University(中山大学);University of Chinese Academy of Sciences(中国科学院大学)
语言教学在基于自然语言的导航任务中起着至关重要的作用。然而,有限的人工注释指令训练的导航器可能难以在不同的时间步长从复杂的指令中准确捕获关键信息,导致导航性能差。在本文中,我们利用训练一个更强大的导航仪,能够动态地提取关键因素的长指令,通过使用对抗性攻击范例。具体来说,我们提出了一个动态增强指令攻击(DR-攻击),它学会误导导航移动到错误的目标,通过破坏指令中的最有指导意义的信息在不同的时间步。通过将扰动生成公式化为马尔可夫决策过程,通过强化学习算法优化DR攻击器,以根据可学习的攻击分数在导航期间顺序地生成扰动指令。然后,扰动的指令,作为硬样本,用于提高导航仪的鲁棒性与有效的对抗训练策略和辅助自监督推理任务。视觉和语言导航(VLN)和导航对话历史(NDH)任务的实验结果表明,我们提出的方法比国家的最先进的方法的优越性。此外,可视化分析表明,所提出的DR攻击的有效性,它可以成功地攻击在不同的时间步长的指令中的关键信息。代码可在https://github.com/expectorlin/DR-Attacker上获得。
2021-07-23 cs.AI cs.CL cs.CV
Fine-Grained Instruction-Guided Graph Reasoning for Vision-and-Language Navigation
Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院);Department of Computer Science, Emory University(埃默里大学计算机科学系);Department of Computer Science, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系);Tsinghua University(清华大学);Innovation and Research and Development Department, BoardWare Information System Company(BoardWare信息系统公司创新与研发部);School of Mathematics, Peking University(北京大学数学学院)
本文提出细粒度指令引导的图推理框架OIKG,通过解耦角度与视觉提示并增强空间表示,提升视觉-语言导航中指令理解和跨模态对齐能力。
2026-09-09 cs.AI cs.CV
NavComposer: Composing Language Instructions for Navigation Trajectories through Action-Scene-Object Modularization
Department of Control Science and Engineering, Tongji University(控制科学与工程系,同济大学)
针对语言导航指令数据不足且质量欠佳的问题,提出NavComposer框架,通过模块化分解与重组动作、场景和对象等语义实体自动生成高质量指令,并引入免标注评估系统NavInstrCritic,实现可扩展且通用的指令生成与评估。
2025-07-15 cs.AI cs.CL cs.CV
NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions
CFCS, School of Computer Science, Peking University(计算机学院,北京大学)
NavSpace基准测试通过评估导航代理的空间感知与推理能力,提出SNav模型在指令遵循任务中表现优异,为具身智能研究提供新基准。
2026-03-10 cs.AI cs.CL cs.CV
Semantic Map-based Generation of Navigation Instructions
Toshiba Europe Limited(东芝欧洲有限公司)
本文将导航指令生成重构为基于语义地图的图像描述任务,提出基准数据集和初始模型,初步验证了用语义地图替代全景图像序列的可行性。
2024-03-28 cs.AI cs.CL cs.CV
NavRAG: Generating User Demand Instructions for Embodied Navigation through Retrieval-Augmented LLM
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院)
NavRAG提出检索增强生成框架,通过构建分层场景描述树并模拟多样用户角色,为视觉-语言导航自动生成超过200万条用户需求指令,以降低数据标注成本并提升导航模型性能。
2025-03-07 cs.AI cs.CL cs.CV
Controllable Navigation Instruction Generation with Chain of Thought Prompting
School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
针对现有导航指令生成模型风格内容不可控、忽视环境空间建模的问题,提出融合带地标的思维链机制、空间拓扑建模任务和风格混合训练策略的C-Instructor方法,实现可控指令生成且性能更优。
2024-07-16 cs.AI cs.CV
GoViG: Goal-Conditioned Visual Navigation Instruction Generation via Multimodal Reasoning
University of Washington(华盛顿大学);The Hong Kong Polytechnic University(香港理工大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出GoViG任务,通过多模态推理生成基于初始和目标状态的视觉导航指令,采用自回归多模态大语言模型提升空间准确性和语言清晰度,提出两种多模态推理策略并构建R2R-Goal数据集验证方法有效性。
2026-04-29 cs.AI cs.CV
VCN-Bench: A Video-Contextualized Navigation Benchmark for Spatial Reasoning over Prior Visual Experience
Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Zhejiang University(浙江大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
VCN-Bench是一个视频情境化导航基准,用于评估多模态大语言模型基于先验视频进行闭环空间推理的能力,实验发现导航性能有限且存在目的地解析与导航间的显著差距。
2026-09-29 cs.AI
Safe Navigation with Human Instructions in Complex Scenes
City University of Hong Kong(香港城市大学);Baidu Research(百度研究院);University of Maryland, College Park(马里兰大学帕克分校)
在本文中,我们提出了一个机器人导航算法与自然语言接口,使机器人安全地走查通过不断变化的环境与移动的人通过以下人类的指令,如"去餐厅,远离人"。我们首先将人类指令分为三种类型:目标,约束和无信息短语。接下来,我们以动态的方式为所提取的目标和约束项提供基础,以处理距离传感器观测太远的目标对象以及像人类这样的移动障碍物。具体地,对于目标短语(例如,"去餐馆"),我们将其接地到预定义语义地图中的位置,并将其视为全局运动规划器的目标,全局运动规划器在工作空间中规划机器人遵循的无碰撞路径。对于约束短语(例如,"远离人群"),我们通过根据由目标检测模块返回的结果调整局部代价图的值来动态地将相应的约束添加到局部规划器中。更新后的costmap,然后用于计算本地避碰控制的机器人的安全导航。通过结合自然语言处理,运动规划和计算机视觉,我们开发的系统被证明能够成功地遵循自然语言导航指令,以实现在模拟和现实世界的情况下的导航任务。视频可在www.example.com上获得
2018-09-12 cs.AI cs.RO
Stay on the Path: Instruction Fidelity in Vision-and-Language Navigation
Google Research(谷歌研究院)
学习和表征方面的进步为将语言与其他模式联系起来的工作注入了新的活力。一个特别令人兴奋的方向是视觉和语言导航(VLN),其中智能体解释自然语言指令和视觉场景,以在环境中移动并达到目标。尽管最近取得了进展,目前的研究还不清楚语言理解在这项任务中发挥了多大的作用,特别是因为主要的评估指标集中在目标完成,而不是相应的指令的行动顺序。在这里,我们强调了Room-to-Room数据集的当前指标的缺点(Anderson等人,2018 b),并提出了一个新的度量,覆盖加权长度得分(CLS)。我们还表明,在数据集中的现有路径是不理想的评估指令遵循,因为他们是直接到目标的最短路径。我们加入现有的短路径,形成更具挑战性的扩展路径,以创建一个新的数据集,房间对房间(R4 R)。使用R4 R和CLS,我们表明,代理人收到奖励的指令保真度优于代理人,专注于目标完成。
2019-06-21 cs.AI cs.CL
SeqWalker: Sequential-Horizon Vision-and-Language Navigation with Hierarchical Planning
SeqWalker通过分层规划框架解决多任务视觉-语言导航中的信息过载问题,通过高层规划减少认知负荷,低层规划利用指令逻辑结构校正轨迹误差。
2026-01-08 cs.AI cs.RO
doScenes: An Autonomous Driving Dataset with Natural Language Instruction for Human Interaction and Vision-Language Navigation
University of California, Merced(加州大学默塞德分校)
本研究提出新型自动驾驶数据集doScenes,通过标注多模态传感器数据的自然语言指令与指代标签,支持真实场景下绑定场景对象的可执行指令交互研究,推动视觉语言导航的人车协作。
2024-12-08 cs.AI cs.CV
Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments
Australian National University(澳大利亚国立大学);University of Adelaide(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);Macquarie University(麦考瑞大学)
在《杰森一家》(Jetsons)系列卡通片想象由一群细心的机器人助手充当媒介的休闲生活之前,一个能够进行自然语言教学的机器人一直是一个梦想。这是一个仍然顽固遥远的梦想。然而,视觉和语言方法的最新进展在密切相关的领域取得了令人难以置信的进展。这一点很重要,因为机器人根据它所看到的内容解释自然语言导航指令是在执行类似于视觉问答的视觉和语言过程。这两个任务都可以被解释为基于视觉的序列到序列翻译问题,并且许多相同的方法都适用。为了实现和鼓励视觉和语言方法的应用,以解释视觉接地导航指令的问题,我们提出了Matterport 3D模拟器-一个大规模的强化学习环境的基础上真正的图像。使用这个模拟器,它可以在未来支持一系列具体的视觉和语言任务,我们提供了第一个基准数据集的视觉接地自然语言导航在真实的建筑物-房间到房间(R2 R)数据集。
2018-04-05 cs.AI cs.CL cs.CV
Episodic Transformer for Vision-and-Language Navigation
Inria(法国国家信息与自动化研究所);Google Research(谷歌研究院);Brown University(布朗大学)
动态环境中由自然语言指令定义的交互和导航对神经代理提出了重大挑战。本文重点讨论了两个挑战:处理长序列的子任务,并理解复杂的人类指令。我们提出了情节式Transformer(E.T.),一个多模态的Transformer,它对语言输入和视觉观察和动作的完整情节历史进行编码。为了改进训练,我们利用合成指令作为中间表示,从自然语言指令的变化中理解环境的视觉外观。我们证明,编码的历史与Transformer是至关重要的解决组合任务,和预训练和联合训练与合成指令进一步提高性能。我们的方法在具有挑战性的ALFRED基准测试中开创了一个新的艺术状态,在可见和不可见的测试分割中实现了38.4%和8.5%的任务成功率。
2021-08-25 cs.AI cs.CV
Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs
Google DeepMind(谷歌DeepMind)
针对带演示巡游的多模态指令导航任务,提出结合长上下文VLM高层推理与拓扑图低层控制的Mobility VLA分层策略,在真实环境中实现了高导航成功率。
2024-07-12 cs.AI cs.RO
STRIDER: Navigation via Instruction-Aligned Structural Decision Space Optimization
Northwestern Polytechnical University(西北工业大学);Nanyang Technological University(南洋理工大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
提出STRIDER框架,通过整合空间布局先验和动态任务反馈优化决策空间,引入结构化航点生成器和任务对齐调节器,在零样本VLN-CE任务中显著提升导航性能。
2025-10-27 cs.AI cs.RO
ArraMon: A Joint Navigation-Assembly Instruction Interpretation Task in Dynamic Environments
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
对于具体代理,导航是一个重要的能力,但不是一个孤立的目标。智能体在到达目标位置后还需要执行特定的任务,例如拾取物体并将其组装成特定的排列。我们结合视觉和语言导航,收集对象的组装,对象引用表达式理解,创建一个新的联合导航和组装任务,命名为ArraMon。在这个任务中,智能体(类似于PokeMON GO玩家)被要求在一个复杂的、现实的户外环境中,通过基于自然语言指令的导航,一个接一个地寻找和收集不同的目标对象,然后在一个以自我为中心的网格布局环境中,一部分接一部分地排列收集到的对象。为了支持这项任务,我们实现了一个3D动态环境模拟器,并收集了一个数据集(英语;也扩展到印地语)与人类编写的导航和组装指令,以及相应的地面真实轨迹。我们还通过验证阶段过滤收集到的指令,总共得到7.7K个任务实例(30.8K个指令和路径)。我们提出了几个基线模型(集成和偏见)和指标(nDTW,CTC,rPOD和PTC)的结果,以及大的模型-人的性能差距表明,我们的任务是具有挑战性的,并提出了一个广泛的范围为未来的工作。我们的数据集、模拟器和代码可在https://arramonunc.github.io上公开获取
2020-11-15 cs.AI cs.CL cs.CV
Self-Monitoring Navigation Agent via Auxiliary Progress Estimation
Georgia Institute of Technology(佐治亚理工学院);Salesforce Research(Salesforce 研究院);University of Maryland, College Park(马里兰大学帕克分校)
视觉和语言导航(VLN)任务需要一个代理在照片逼真的未知环境中遵循导航指令。这个具有挑战性的任务要求智能体知道哪个指令已经完成,接下来需要哪个指令,走哪条路,以及它朝着目标的导航进度。在本文中,我们介绍了一个自我监控代理有两个互补的组件:(1)视觉-文本共接地模块定位在过去完成的指令,下一个动作所需的指令,并从周围的图像和(2)进度监视器,以确保接地指令正确地反映导航进度的下一个移动方向。我们测试我们的自我监控代理的标准基准,并分析我们提出的方法,通过一系列的消融研究,阐明的主要组成部分的贡献。使用我们提出的方法,我们设置了一个显着的保证金(在看不见的测试集上成功率绝对增加8%)的新的最先进的。代码可在https://github.com/chihyaoma/selfmonitoring-agent上获得。
2019-01-10 cs.AI cs.CL cs.CV
Spatial Concept-Based Navigation with Human Speech Instructions via Probabilistic Inference on Bayesian Generative Model
College of Information Science and Engineering, Ritsumeikan University(立命馆大学信息科学与工程学院);National Institute of Informatics(国立情报学研究所);The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
机器人不仅需要自主学习空间概念,还需要利用这些知识在家庭环境中完成各种任务。空间概念代表了一个多模态的地方类别获得的机器人的空间经验,包括视觉,语音语言和自我位置。本研究的目的是使移动机器人执行导航任务与人类的语音指令,如“去厨房”,通过概率推理贝叶斯生成模型,使用空间概念。具体而言,路径规划形式化为最大化的概率分布的路径轨迹下的语音指令,基于控制推理框架。此外,我们描述了基于贝叶斯生成模型的概率推理与包括强化学习在内的控制问题之间的关系。我们展示了基于人类指令的路径规划,使用获得的空间概念来验证所提出的方法在模拟器和真实环境中的有用性。在实验中,由用户的语音命令指示的地点显示出高概率值,并且正确地估计了朝向目标地点的轨迹。我们的方法,基于概率推理有关的决策,可以导致进一步提高机器人的自主性。
2020-08-26 cs.AI cs.RO
Improving Cross-Modal Alignment in Vision Language Navigation via Syntactic Information
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
视觉语言导航是一项需要智能体根据自然语言指令在3D环境中导航的任务。这项任务的一个关键挑战是将指令与智能体感知到的当前视觉信息结合起来。大多数现有的工作采用软注意个别字,以找到下一个动作所需的指令。然而,不同的词在句子中具有不同的功能(例如,修饰语传达属性,动词传达动作)。依赖关系和短语结构等信息可以帮助代理定位指令的重要部分。因此,在本文中,我们提出了一个导航代理,它利用来自依赖树的语法信息,以提高指令和当前的视觉场景之间的对齐。从经验上讲,我们的代理优于不使用Room-to-Room数据集上的语法信息的基线模型,特别是在看不见的环境中。此外,我们的代理在Room-Across-Room数据集上实现了新的最先进的技术,该数据集包含3种语言(英语,印地语和泰卢固语)的指令。我们还表明,我们的代理更好地通过定性可视化调整指令与当前的视觉信息。代码和型号:https://github.com/jialuli-luka/SyntaxVLN
2021-04-19 cs.AI cs.CL cs.CV
RoomTour3D: Geometry-Aware Video-Instruction Tuning for Embodied Navigation
MBZUAI(默罕默德·本·扎耶德人工智能大学);Shenzhen Campus of Sun Yat-Sen University(中山大学深圳校区);AAII, UTS(悉尼科技大学人工智能与创新研究所);University of Science and Technology of China(中国科学技术大学)
针对视觉语言导航训练数据规模与多样性不足的问题,提出基于网络房间漫游视频构建的RoomTour3D数据集,通过三维重建补充几何信息,可显著提升多类VLN任务性能并助力零样本导航智能体开发。
2025-03-19 cs.AI cs.CV cs.RO
To Ask or Not to Ask? Detecting Absence of Information in Vision and Language Navigation
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
本文针对视觉语言导航中指令模糊问题,提出基于注意力的指令模糊性估计模块,通过学习指令与轨迹关联并利用指令到路径对齐信息,使模糊性估计的精确率-召回率平衡提升约52%,有效帮助智能体识别信息缺失时机。
2024-11-06 cs.AI cs.CV
From Route Instructions to Landmark Graphs
HERE Technologies(HERE科技公司)
地标是人们如何导航的核心,但大多数导航技术并没有将它们纳入其表示中。我们提出了地标图生成任务(从自然语言创建基于地标的空间表示),并引入了一种完全端到端的神经方法来生成这些图。我们在SAIL路线指令数据集以及我们收集的一小部分真实交付指令上评估了我们的模型,并表明我们的方法在我们的任务和相关的机器人导航任务上都产生了高质量的结果。
2020-02-05 cs.AI cs.LG
VTInstructor: Visual Trajectory Prompting for Navigation Instruction Generation in Continuous Environments
Peking University(北京大学);PrimeBot
本研究提出首个面向连续环境的VLN指令生成框架VTInstructor,通过视觉轨迹提示技术生成导航指令,在基准测试中刷新最优性能,提升跟随器成功率并为下游任务带来数据增强增益。
2026-08-18 cs.AI cs.CL cs.CV
Which way is `right'?: Uncovering limitations of Vision-and-Language Navigation model
Google(谷歌);Georgia Institute of Technology(佐治亚理工学院)
本文通过掩码实验揭示视觉-语言导航模型过度依赖名词而忽视空间方向线索的局限性,并提出两种训练方法加以缓解。
2023-11-30 cs.AI cs.CV
General Evaluation for Instruction Conditioned Navigation using Dynamic Time Warping
University of Washington(华盛顿大学);Google Research(谷歌研究院)
在指令条件导航中,智能体解释自然语言及其周围环境以在环境中导航。用于研究该任务的数据集通常包含这些指令和参考轨迹的对。然而,迄今为止使用的大多数评价指标未能正确考虑后者,而是依赖于不充分的相似性比较。我们解决以前使用的指标的根本缺陷,并显示如何动态时间弯曲(DTW),一个长期已知的方法测量两个时间序列之间的相似性,可用于评估的导航代理。为此,我们定义了规范化的动态时间规整(nDTW)度量,该度量对与参考路径的偏差进行软惩罚,对构成每条路径的节点的顺序自然敏感,适用于连续和基于图的评估,并且可以有效地计算。此外,我们定义SDTW,它约束nDTW只有成功的路径。我们收集模拟路径的人类相似性判断,发现nDTW与人类排名的相关性比所有其他指标更好。我们还证明了使用nDTW作为强化学习导航代理的奖励信号可以提高它们在房间到房间(R2R)和房间到房间(R4R)数据集上的性能。R4R的结果特别突出了SDTW优于以前的成功约束指标。
2019-11-28 cs.AI cs.CL cs.RO
VLN-Video: Utilizing Driving Videos for Outdoor Vision-and-Language Navigation
Amazon(亚马逊)
提出VLN-Video,利用驾驶视频生成增强数据,结合模板填充和图像旋转相似度预测器预训练模型,在Touchdown数据集上以2.1%的提升达到新最先进水平。
2024-02-07 cs.AI cs.CL cs.CV
Mapping Navigation Instructions to Continuous Control Actions with Position-Visitation Prediction
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院)
我们提出了一种映射自然语言指令和原始观测的四轴无人机的连续控制的方法。我们的模型预测可解释的位置访问分布,指示代理在执行过程中应该去哪里,它应该停止,并使用预测的分布来选择要执行的动作。这种两步模型分解允许使用监督学习和模仿学习的组合进行简单而有效的训练。我们用一个逼真的无人机模拟器来评估我们的方法,并证明了两种最先进的自动跟踪方法的绝对任务完成精度提高了16.85%。
2018-12-10 cs.AI cs.CL cs.CV
Chasing Ghosts: Instruction Following as Bayesian State Tracking
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(脸书人工智能研究院);Oregon State University(俄勒冈州立大学)
视觉上接地的导航指令可以被解释为遵循正确轨迹的智能体将遇到并执行的一系列预期观察和动作。基于这种直觉,我们制定的贝叶斯状态跟踪学习观察和运动模型的框架内的视觉和语言导航(VLN)的目标位置找到这些预期事件的问题。连同在导航过程中构建语义空间地图的映射器,我们制定了一个端到端的可微分贝叶斯滤波器,并训练它通过预测最有可能的轨迹来识别目标。由此产生的导航策略构成了一种新的方法,明确建模的概率分布状态的指令遵循,编码强大的几何和算法先验,同时使更大的可解释性。我们的实验表明,我们的方法在预测地图上的目标位置时优于强大的LingUNet基线。在完整的VLN任务,即导航到目标位置,我们的方法实现了有希望的结果,较少依赖于导航约束。
2019-11-26 cs.AI cs.CL cs.CV
Intrinsic-Motivation Multi-Robot Social Formation Navigation with Coordinated Exploration
School of Computer Science and Technology(计算机科学与技术学院);Wuhan University of Science and Technology(武汉科技大学);Hubei Province Key Laboratory of Intelligent Information Processing(湖北省智能信息处理重点实验室)
本文提出了一种基于内在动机的多机器人协调探索RL算法,通过双采样模式和双时间尺度更新规则提升导航策略与奖励表示,实现更高效的社交编队导航性能。
2025-12-16 cs.AI cs.RO
Following High-level Navigation Instructions on a Simulated Quadcopter with Imitation Learning
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院);Tel Aviv University(特拉维夫大学)
我们介绍了一种方法,通过直接从图像,指令和姿态估计映射到连续的低级别的速度命令进行实时控制的高级别的导航指令。接地语义映射网络(GSMN)是一个完全可区分的神经网络架构,通过在网络中加入针孔摄像机投影模型,在世界参考系中构建显式语义映射。存储在地图中的信息是从经验中学习的,而本地到世界的转换是显式计算的。我们使用DaggerFM来训练模型,DaggerFM是Dagger的一个修改版本,它通过表格收敛保证来提高训练速度和内存使用。我们在虚拟环境中测试GSMN在现实的四轴飞行器模拟器,并表明,结合显式映射和接地模块,使GSMN能够超越强大的神经基线,几乎达到专家的政策性能。最后,我们分析了学习的地图表示,并表明,使用显式地图导致一个可解释的解释遵循模型。
2018-05-31 cs.AI cs.CL cs.CV
General Scene Adaptation for Vision-and-Language Navigation
The University of Queensland(昆士兰大学);CSIRO Data61(联邦科学与工业研究组织Data61);The University of Adelaide(阿德莱德大学)
针对VLN任务设置与现实环境差异,提出GSA-VLN任务和GSA-R2R数据集,设计三阶段指令编排流水线,并开发GR-DUET方法结合记忆导航图与环境特定训练策略,在所有数据划分上取得SOTA结果。
2025-01-29 cs.AI cs.CL cs.CV
CoFL: Continuous Flow Fields for Language-Conditioned Navigation
Matterport3D;ScanNet
CoFL通过端到端策略将鸟瞰图观测与语言指令映射为连续流场,实现工作空间条件下的场学习,提升导航精度与安全性,支持实时推理和闭环控制。
2026-04-29 cs.AI cs.RO
Deep Active Inference with Diffusion Policy and Multiple Timescale World Model for Real-World Exploration and Navigation
School of Integrated Design Engineering, Keio University(整合设计工程学院,庆应大学)
提出一种融合扩散策略与多时间尺度世界模型的深度主动推断框架,通过最小化期望自由能统一探索与导航,在真实世界实验中取得更高成功率和更少碰撞。
2026-09-09 cs.AI cs.LG cs.RO
Learning to Retrieve Navigable Candidates for Efficient Vision-and-Language Navigation
University of New South Wales, Sydney, Australia(新南威尔士大学);Macquarie University, Sydney, Australia(麦考瑞大学);Data61, CSIRO, Sydney, Australia(Data61, CSIRO);The School of Computer Science(计算机科学学院)
本文提出检索增强框架,通过指令级示例检索和候选剪枝提升LLM在视觉-语言导航中的效率和稳定性。
2026-02-17 cs.AI cs.CV
Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning
Albert Ludwig University of Freiburg(阿尔伯特-路德维希-弗莱堡大学);The Hong Kong University of Science and Technology(香港科技大学)
本文研究了深度强化学习(DRL)方法学习移动机器人导航策略的探索策略。特别是,我们用好奇心测量的内在奖励信号来增强训练DRL算法的正常外部奖励。我们在无地图导航设置中测试我们的方法,其中要求自主智能体在没有环境的占用地图的情况下导航到其相对位置可以通过低成本解决方案容易地获取的目标(例如,可见光定位、Wi-Fi信号定位)。我们验证了内在动机是至关重要的,以提高DRL性能的任务具有挑战性的探索要求。我们的实验结果表明,我们提出的方法能够更有效地学习导航策略,并在以前看不见的环境中具有更好的泛化能力。我们的实验结果的视频可以在https://goo.gl/pWbpcF上找到。
2018-05-14 cs.AI cs.LG cs.RO
Learning Exploration Policies for Navigation
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究)
许多过去的作品已经解决了任务驱动导航的问题。但是,如何有效地探索一个新的环境,使各种下游任务得到了很少的关注。在这项工作中,我们研究了代理如何在没有任务奖励的情况下自主探索现实而复杂的3D环境。我们提出了一种基于学习的方法,并研究了不同的政策架构,奖励功能和培训模式。我们发现,使用具有空间记忆的策略,这些策略通过模仿学习引导,最后通过纯粹来自机载传感器的覆盖奖励进行微调,可以有效地探索新的环境。我们表明,我们的学习探索政策可以探索比经典的方法,仅基于几何和通用的基于学习的探索技术。最后,我们还展示了如何将这种任务不可知的探索用于下游任务。代码和视频可在:https://sites.google.com/view/exploration-for-nav.
2019-03-05 cs.AI cs.LG cs.RO
I2EDL: Interactive Instruction Error Detection and Localization
University of Verona(威尼斯大学);Istituto Italiano di Tecnologia(意大利技术研究院);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Polytechnic of Turin(都灵理工学院)
本文提出IVLN-CE任务及I2EDL方法,通过预训练模块检测并定位导航指令错误,触发用户交互以获取精确纠正,在最小化交互的同时提升导航成功率。
2024-06-23 cs.AI cs.CL cs.RO
LOViS: Learning Orientation and Visual Signals for Vision and Language Navigation
Michigan State University(密歇根州立大学)
对于遵循自然语言指令的导航代理来说,理解空间和视觉信息是必不可少的。目前基于Transformer的VLN代理纠缠的方向和视觉信息,这限制了从每个信息源的学习的增益。在本文中,我们设计了一个神经代理明确的方向和视觉模块。这些模块学习更有效地将空间信息和指示中提到的地标与视觉环境联系起来。为了加强智能体的空间推理和视觉感知,我们设计了特定的预训练任务,以在最终的导航模型中提供和更好地利用相应的模块。我们在Room2room(R2R)和Room4room(R4R)数据集上评估了我们的方法,并在这两个基准测试中获得了最先进的结果。
2022-09-26 cs.AI cs.CV
Multimodal Text Style Transfer for Outdoor Vision-and-Language Navigation
UC Santa Barbara(加州大学圣巴巴拉分校);UC Santa Cruz(加州大学圣克鲁兹分校);UC San Diego(加州大学圣地亚哥分校);Google(谷歌)
基于视觉的语言理解和推理是自然语言处理(NLP)中最具挑战性的课题之一。户外视觉和语言导航(VLN)是这样一个任务,其中智能体遵循自然语言指令并在现实生活中的城市环境中导航。由于缺乏人类注释的说明,说明复杂的城市场景,户外VLN仍然是一个具有挑战性的任务来解决。本文介绍了一种多模态文本风格转换(MTST)学习方法,并利用外部多模态资源来缓解户外导航任务中的数据稀缺性。我们首先通过传输Google Maps API生成的指令样式来丰富导航数据,然后使用增强的外部户外导航数据集对导航器进行预训练。实验结果表明,我们的MTST学习方法是模型不可知的,我们的MTST方法显着优于基线模型在室外VLN任务,提高任务完成率8.7%,相对于测试集。
2021-02-04 cs.AI cs.CL cs.CV
When Engineering Outruns Intelligence: Rethinking Instruction-Guided Navigation
本文通过检测器受控实验对比 InstructNav 与两种免训练前沿导航变体,揭示 ObjectNav 的零样本提升主要来自几何工程,LLM 更适合作为轻量语义启发。
2025-09-27 cs.AI cs.LG cs.RO
Do Visual Imaginations Improve Vision-and-Language Navigation Agents?
Oregon State University(俄勒冈州立大学)
本研究探讨视觉想象对视觉-语言导航智能体的作用,通过文本生成图像扩散模型生成指令隐含子目标的视觉表征作为地标线索,结合辅助损失提升关联能力,最终实现导航成功率等指标的提升。
2025-03-20 cs.AI cs.CL cs.CV
OpenNav: Open-World Navigation with Multimodal Large Language Models
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究 institute);University of Toronto Robotics Institute(多伦多大学机器人研究所)
OpenNav利用多模态大语言模型实现开放世界导航,通过生成价值图增强机器人空间理解,并在真实场景中验证其鲁棒性。
2025-07-24 cs.AI cs.RO
Learning from Unlabeled 3D Environments for Vision-and-Language Navigation
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
在视觉和语言导航(VLN)中,需要一个具体的代理在现实的3D环境中导航以下自然语言的指令。现有VLN方法的一个主要瓶颈是缺乏足够的训练数据,导致对未知环境的泛化效果不理想。虽然VLN数据通常是手动收集的,但这种方法成本很高,并且无法扩展。在这项工作中,我们通过建议从HM 3D的900个未标记的3D建筑物自动创建大规模VLN数据集来解决数据稀缺问题。我们为每个建筑物生成一个导航图,并通过跨视图一致性将对象预测从2D转移到生成伪3D对象标签。然后,我们使用伪对象标签作为提示来微调预训练的语言模型,以减轻指令生成中的跨模态差距。我们得到的HM 3D-AutoVLN数据集在导航环境和指令方面比现有的VLN数据集大一个数量级。我们的实验表明,HM 3D-AutoVLN显着提高了所产生的VLN模型的泛化能力。在SPL指标上,我们的方法在REVERIE和SOON数据集的不可见验证分割上分别比最先进的方法提高了7.1%和8.1%。
2022-08-24 cs.AI cs.CV
Sim-to-Real Transfer of Vision-Language Navigation in Continuous Environments Using an Ackermann-Steered Mobile Robot
University of Moratuwa(莫拉图瓦大学)
本研究针对传统VLN模型依赖导航图等限制,提出一种无需这些假设的连续环境VLN方法,通过跨模态注意力架构在仿真训练后利用真实数据微调,成功实现阿克曼转向机器人的仿真到现实迁移导航。
2026-10-07 cs.AI cs.RO
Grid2Guide: A* Enabled Small Language Model for Indoor Navigation
The University of Alabama(阿拉巴马大学)
针对无外部信号与基础设施的复杂室内导航难题,提出融合A*算法与小语言模型的Grid2Guide框架,可生成准确易读的导航指令,是轻量的实时室内导航解决方案。
2025-08-29 cs.AI cs.LG
FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning
Google(谷歌)
理解和遵循人类提供的方向可以使机器人在未知的情况下有效地导航。我们提出了FollowNet,这是一种用于学习多模态导航策略的端到端可微分神经架构。FollowNet将自然语言指令以及视觉和深度输入映射到运动原语。FollowNet使用注意力机制处理指令,该机制以视觉和深度输入为条件,在执行导航任务时专注于命令的相关部分。深度强化学习(RL)是一种稀疏奖励,它同时学习状态表示、注意力函数和控制策略。我们评估我们的代理上的数据集的复杂的自然语言的方向,引导代理通过一个丰富的和现实的数据集的模拟家园。我们表明,FollowNet代理学习执行以前看不见的指令描述了类似的词汇,并成功地沿着训练过程中没有遇到的路径导航。该代理显示出比没有注意力机制的基线模型提高了30%,在新指令下的成功率为52%。
2018-05-16 cs.AI cs.CL cs.LG
Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding
Google Research(谷歌研究院);Brown University(布朗大学)
我们介绍了一个新的视觉和语言导航(VLN)数据集--房间跨房间(RXR)。RxR是多语言(英语,印地语和泰卢固语),并且比其他VLN数据集更大(更多路径和指令)。它强调了语言在VLN中的作用,通过解决路径中的已知偏差并引出更多对可见实体的引用。此外,指令中的每个字与指令创建者和验证者的虚拟姿势时间对齐。我们建立基线分数单语和多语言设置和多任务学习时,包括房间到房间的注释。我们还提供了一个模型的结果,该模型通过只关注在人类演示中参加的全景部分来从同步姿势轨迹中学习。RxR的大小、范围和细节极大地扩展了在模拟的、照片般逼真的环境中对具身语言代理的研究前沿。
2020-10-15 cs.AI cs.CL cs.CV
BabyWalk: Going Farther in Vision-and-Language Navigation by Taking Baby Steps
Simon Fraser University(西蒙弗雷泽大学);University of Southern California(南加州大学);Princeton University(普林斯顿大学);Google Research(谷歌研究院)
学习遵循指令对于自主智能体进行视觉和语言导航(VLN)具有根本的重要性。在本文中,我们研究了智能体如何在从由较短路径组成的语料库中学习时导航长路径。我们发现,现有的国家的最先进的代理商不泛化。为此,我们提出了BabyWalk,一种新的VLN代理,它通过将长指令分解为较短的指令(BabySteps)并按顺序完成来学习导航。一个特殊设计的内存缓冲区是由代理将其过去的经验变成未来步骤的上下文。学习过程由两个阶段组成。在第一阶段,智能体使用从示范的模仿学习来完成BabySteps。在第二阶段,智能体使用基于知识的强化学习来最大化具有越来越长的指令的导航任务的奖励。我们创建了两个新的基准数据集(长导航任务),并将它们与现有数据集结合使用,以检查BabyWalk的泛化能力。实证结果表明,BabyWalk在几个指标上都达到了最先进的结果,特别是能够更好地遵循长指令。代码和数据集发布在我们的项目页面https://github.com/Sha-Lab/babywalk上。
2020-06-14 cs.AI cs.CL cs.CV
AgriVLN: Vision-and-Language Navigation for Agricultural Robots
针对农业机器人导航缺乏专用基准的问题,提出A2A基准和基于视觉语言模型的AgriVLN基线,并设计子任务列表指令分解模块,将成功率从0.33提升至0.47,实现农业领域最先进的视觉与语言导航性能。
2026-10-22 cs.AI cs.CV cs.RO