ETPNav: Evolving Topological Planning for Vision-Language Navigation in Continuous Environments
Center for Research on Intelligent Perception and Computing (CRIPAC), National Laboratory of Pattern Recognition (NLPR)（中国科学院大学未来技术学院、人工智能学院；模式识别国家重点实验室智能感知与计算研究中心）；School of Future Technology and School of Artificial Intelligence, University of Chinese Academy of Sciences（北京理工大学）；Beijing Institute of Technology（浙江大学）；Zhejiang University（澳大利亚国立大学）；Australian National University
本文提出ETPNav框架，通过在线拓扑建图、Transformer跨模态规划与试错避障控制，解决连续环境视觉-语言导航问题，在R2R-CE和RxR-CE上显著超越先前最优方法。
2024-01-22 cs.CL cs.CV cs.RO
Cross-modal Map Learning for Vision and Language Navigation
University of Pennsylvania（宾夕法尼亚大学）
我们考虑的问题的视觉和语言导航（VLN）。目前大多数VLN方法都是使用非结构化内存（如LSTM）进行端到端训练，或者使用跨模态注意力对代理的自我中心观察进行训练。与其他作品相比，我们的关键见解是，语言和视觉之间的关联更强，当它发生在明确的空间表示。在这项工作中，我们提出了一个跨模态地图学习模型的视觉和语言导航，首先学习预测自上而下的语义在一个自我中心的地图上观察到的和未观察到的区域，然后预测一个路径作为一组路点的目标。在这两种情况下，预测是由语言通过跨模态注意力机制通知。我们实验测试的基本假设，语言驱动的导航可以解决给定的地图，然后显示竞争力的结果，在完整的VLN-CE基准。
2022-03-21 cs.CV cs.RO
Transferable Representation Learning in Vision-and-Language Navigation
Google Research（谷歌研究院）
视觉和语言导航（VLN）任务，如房间到房间（R2R），需要机器代理解释自然语言指令，并学习在视觉上逼真的环境中行动，以实现导航目标。整体任务需要在几个感知问题的能力：成功的代理结合时空，视觉和语言理解，以产生适当的动作序列。我们的方法将预先训练的视觉和语言表示适应相关的域内任务，使它们对VLN更有效。具体地，所述表示适于解决跨模态序列比对和序列一致性任务。在序列对齐任务中，模型确定指令是否对应于视觉帧序列。在序列一致性任务中，模型确定感知序列在以预防为条件的潜在空间中是否具有预测性。通过转移域适应的表示，我们提高竞争力的代理在R2R衡量的成功率加权路径长度（SPL）度量。
2019-08-12 cs.CL cs.CV cs.LG
Vision-Dialog Navigation by Exploring Cross-modal Memory
University of Chinese Academy of Sciences（中国科学院大学）；Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
视觉对话导航是视觉语言学科的一个新的圣杯任务，其目标是学习一个具有与自然语言不断对话以寻求帮助并根据人类反应进行导航的能力的智能体。除了视觉语言导航所面临的共同挑战外，视觉对话导航还需要处理好对话历史中一系列关于时间语境的问题的语言意图，以及对话和视觉场景的共同推理。在本文中，我们提出了跨模态记忆网络（CMN）的记忆和理解丰富的信息相关的历史导航行动。我们的CMN由两个记忆模块组成，语言记忆模块（L-RNN）和视觉记忆模块（V-RNN）。具体而言，L-SVM通过采用多头注意力机制来学习当前语言交互与对话历史之间的潜在关系。V-mem学会将当前视觉视图与有关之前导航操作的跨模态记忆相关联。跨通道记忆通过视觉-语言注意和语言-视觉注意产生。受益于L-RNN和V-RNN的协作学习，我们的CMN能够探索关于当前步骤的历史导航动作的决策的记忆。在CVDN数据集上的实验表明，我们的CMN在可见和不可见环境中的性能都明显优于以前的最先进模型。
2020-03-15 cs.CL cs.CV
Real-time Vision-based Navigation for a Robot in an Indoor Environment
Stanford University（斯坦福大学）
本文提出一种利用基于视觉的技术和先进路径规划算法的室内自主避障导航系统，并通过定性和定量指标评估其性能，展示了基于视觉的技术在实时自主导航中的潜力。
2023-07-02 cs.CV
A Vision-Based Navigation System for Arable Fields
Lincoln Agri-Robotics Centre（林肯农业机器人中心）；Lincoln Institute for Agri-Food Technology（林肯农业食品技术研究所）；University of Lincoln（林肯大学）
针对农田视觉导航的挑战，提出一套基于深度学习的感知算法和综合数据集，实现作物行检测与跟随，并在商业农田中验证，平均航向误差1.24°、横向误差3.32厘米。
2024-05-28 cs.CV cs.RO
Self-supervised 3D Semantic Representation Learning for Vision-and-Language Navigation
Tsinghua University（清华大学）
在视觉和语言导航任务中，具体代理遵循语言指令并导航到特定目标。它在许多实际场景中都很重要，并引起了计算机视觉和机器人社区的广泛关注。然而，现有的大多数作品只使用RGB图像，而忽略了场景的三维语义信息。为此，我们开发了一种新的自监督训练框架，将体素级3D语义重建编码为3D语义表示。具体而言，区域查询任务被设计为借口任务，其预测特定类别的对象在特定3D区域中的存在或不存在。然后，我们构建了一个基于LSTM的导航模型和训练它与建议的三维语义表示和BERT语言功能的视觉语言对。实验表明，该方法在R2R数据集的验证和测试中分别实现了68%和66%的成功率，优于大多数基于RGB的方法，利用视觉语言Transformers。
2022-01-26 cs.CV cs.RO
Vision-and-Dialog Navigation
Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
在人类环境中导航的机器人应该使用语言来寻求帮助，并能够理解人类的反应。为了研究这一挑战，我们介绍了合作的视觉和对话导航，一个数据集超过2k体现，人与人的对话，位于模拟，逼真的家庭环境。导航员向他们的合作伙伴Oracle提出问题，Oracle有权访问导航员根据最短路径规划器应采取的最佳后续步骤。为了训练在环境中搜索目标位置的代理，我们定义了从对话历史导航任务。一个代理，给定一个目标对象和人类之间的对话历史合作，以找到该对象，必须推断导航行动的目标，在未经探索的环境。我们建立了一个初始的，多模式的序列到序列模型，并证明了在对话历史中看得更远可以提高性能。源代码和实时界面演示可以在https://cvdn.dev/上找到
2019-10-13 cs.AI cs.CL cs.CV
Leaving the Lines Behind: Vision-Based Crop Row Exit for Agricultural Robot Navigation
Lincoln Agri-Robotics Centre（林肯农业机器人中心）；Lincoln Institute for Agri-Food Technology（林肯农业食品技术研究所）；University of Lincoln（林肯大学）
针对现有视觉作物垄导航框架中纯视觉垄切换方案研究不足的问题，提出仅用RGB图像局部特征匹配反馈实现垄退出、垄端用深度图像估算田埂导航距离的方法，在多样田埂测试中实现50厘米误差的完整垄脱离。
2023-06-09 cs.CV cs.RO
Vision-and-Language Navigation Generative Pretrained Transformer
School of Artificial Intelligence and Automation（人工智能与自动化学院）；Huazhong University of Science and Technology（华中科技大学）
提出VLN-GPT，采用GPT2解码器建模轨迹序列以替代历史编码模块，结合模仿学习预训练和强化学习微调，在VLN数据集上超越现有编码器模型。
2024-05-27 cs.AI cs.CL cs.CV
Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning for Planned-Ahead Vision-and-Language Navigation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
现有的机器人导航的视觉和语言基础研究集中在改进合成环境中的无模型深度强化学习（DRL）模型。然而，无模型DRL模型没有考虑真实世界环境中的动态，并且它们通常不能推广到新的场景。在本文中，我们采取了一种激进的方法来弥合综合研究和现实世界的实践之间的差距-我们提出了一种新颖的，提前计划的混合强化学习模型，该模型结合了无模型和基于模型的强化学习来解决现实世界的视觉语言导航任务。我们的前瞻模块将前瞻策略模型与预测下一个状态和奖励的环境模型紧密集成。实验结果表明，我们提出的方法显着优于基线，并在真实世界的Room-to-Room数据集上达到最佳效果。此外，我们的可扩展方法在转移到看不见的环境时更具有普遍性。
2018-07-26 cs.AI cs.CL cs.CV
Does Peer Observation Help? Vision-Sharing Collaboration for Vision-Language Navigation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Adelaide University（阿德莱德大学）；Responsible AI Research Centre（负责任人工智能研究中心）
本文提出Co-VLN框架，研究同伴观察对视觉语言导航的影响，通过共享感知记忆扩展接收场，验证了在R2R基准下两种方法中性能的显著提升。
2026-10-16 cs.CV cs.RO
VANP: Learning Where to See for Navigation with Self-Supervised Vision-Action Pre-Training
George Mason University（乔治梅森大学）
本文提出自监督视觉-动作预训练模型 VANP，利用视觉历史、未来动作和目标图像通过互信息最大化学习导航相关视觉区域，以极少数据和一半训练时间达到与全监督模型相当的性能。
2024-09-04 cs.CV cs.RO
Diagnosing Vision-and-Language Navigation: What Really Matters
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Adelaide（阿德莱德大学）；Google（谷歌）；UC Santa Cruz（加州大学圣克鲁兹分校）
视觉和语言导航（VLN）是一种多模态任务，其中智能体遵循自然语言指令并在视觉环境中导航。已经提出了多种设置，研究人员应用新的模型架构或训练技术来提高导航性能。然而，机器的性能和人类基准之间仍然存在不可忽视的差距。此外，智能体的内部导航决策机制仍然不清楚。据我们所知，代理人如何感知多模态输入是研究不足，需要调查。在这项工作中，我们进行了一系列的诊断实验，以揭示代理的重点在导航。结果表明，室内导航代理参考对象和方向令牌时，作出决定。相比之下，户外导航代理严重依赖于方向令牌和理解对象令牌差。基于transformer的代理获得了更好的跨模态的理解对象，并显示出强大的数值推理能力比非transformer的代理。当涉及到视觉和语言对齐时，许多模型声称它们可以将对象标记与特定的视觉目标对齐。我们发现不平衡的视觉和文本输入的注意力和怀疑这种跨通道对齐的可靠性。
2022-05-04 cs.AI cs.CL cs.CV
Bench2FreeAD: A Benchmark for Vision-based End-to-end Navigation in Unstructured Robotic Environments
针对非结构化场景下机器人导航研究不足的问题，本文构建FreeWorld Dataset数据集，微调VAD模型验证其性能，提出首个相关基准，以推动物流和服务机器人E2E导航技术发展。
2025-11-17 cs.CV cs.RO
ULN: Towards Underspecified Vision-and-Language Navigation
UC Santa Barbara（加州大学圣巴巴拉分校）
视觉和语言导航（VLN）是一个任务，引导一个具体的代理移动到一个目标位置使用语言指令。尽管有显着的性能改善，细粒度指令的广泛使用未能表征更实际的语言变化在现实中。为了填补这一空白，我们引入了一个新的设置，即欠指定的视觉和语言导航（ULN），以及相关的评估数据集。ULN使用多级未指定指令来评估代理，而不是纯粹的细粒度或粗粒度，这是一种更现实和通用的设置。作为实现ULN的主要步骤，我们提出了一个VLN框架，该框架包括一个分类模块，一个导航代理，和一个开发到探索（E2E）模块。具体来说，我们建议学习粒度特定的子网络（GSS）的代理地面多级指令与最小的附加参数。然后，我们的E2E模块估计接地不确定性，并进行多步前瞻探索，以进一步提高成功率。实验结果表明，现有的VLN模型仍然是脆弱的多级语言欠规格说明。我们的框架更加稳健，在所有水平上的相对成功率均超过ULN基线约10%。
2022-10-18 cs.CL cs.CV
MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming
Horizon Robotics
MonoDream通过轻量级VLA框架和潜在全景梦境任务，提升单目视觉-语言导航的性能，缩小与全景方法的差距。
2025-11-27 cs.CV cs.RO
NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models
The University of Adelaide（阿德莱德大学）；The Australian National University（澳大利亚国立大学）
本文提出NavGPT，一种基于LLM的零样本视觉与语言导航智能体，通过显式推理进行高级规划、动作预测与指令生成，揭示了LLM在具身导航中的潜力及多模态输入的改进方向。
2023-10-19 cs.AI cs.CL cs.CV
On the Evaluation of Vision-and-Language Navigation Instructions
Google Research（谷歌研究院）
视觉和语言导航寻路代理可以通过利用自动生成的导航指令来增强。然而，现有的指令生成器还没有得到全面的评估，并用于开发它们的自动评估指标还没有得到验证。使用人类的寻路者，我们表明，这些发电机的性能与基于模板的发电机相当或仅略好于基于模板的发电机，远不如人类教师。此外，我们发现BLEU，ROUGE，METEOR和CIDER是无效的评估接地导航指令。为了提高指令评估，我们提出了一个执行轨迹兼容性模型，没有参考指令。我们的模型显示，在对单个指令进行评分时，与人类寻路结果的相关性最高。对于排序指令生成系统，如果有参考指令，我们建议使用SPICE。
2021-01-26 cs.AI cs.CL cs.CV
Intelligent Indoor Mobile Robot Navigation Using Stereo Vision
Amrita Vishwa Vidyapeetham（阿姆里塔 Vishwa Vidyapeetham 大学）
大多数现有的机器人导航系统，便于使用激光测距仪，声纳传感器或人工地标，有能力在未知的环境中定位自己，然后建立相应的环境地图。立体视觉，虽然仍然是一个快速发展的技术在自主移动机器人领域，目前不太可取的，由于其高的实施成本。本文旨在描述一种实验方法的立体视觉系统的建设，帮助机器人，以避免障碍物和导航通过室内环境，并在同一时间保持非常高的成本效益。本文讨论了立体视觉和超声波传感器的融合技术，有助于成功地通过不同类型的复杂环境的导航。来自传感器的数据使机器人能够创建未知环境的二维的拓扑图，立体视觉系统能够对同一环境的三维模型进行建模。
2014-09-10 cs.AI cs.CV cs.RO
Robust positioning of drones for land use monitoring in strong terrain relief using vision-based navigation
Ariel University（阿里埃勒大学）；TRANSIST VIDEO LLC（TRANSIST VIDEO有限责任公司）
在土地利用监测方面，主要问题是仅使用全球定位系统在城市峡谷和地形起伏较大的地区进行可靠的定位。事实上，卫星信号在城市峡谷和强烈地形起伏中的反射和屏蔽导致了正确定位的问题。使用GNSS-RTK并不能完全解决这个问题，因为在一些复杂的情况下，整个卫星系统的工作不正常。我们将弱点（城市峡谷和强烈的地形起伏）转化为优势。它是一种基于视觉的导航，使用地形起伏的地图。我们调查并证明了这项技术在中国萧山地区的有效性。基于视觉的导航系统的精度对应于这些条件的预期。.结果表明，基于视觉导航的最大位置误差为20 m，基于视觉导航的最大欧拉角误差为0.83 °。在摄像机移动的情况下，基于视觉导航的最大位置误差为30 m，基于视觉导航的最大欧拉角误差为2.2度。
2018-02-20 cs.CV
Recursive Visual Imagination and Adaptive Linguistic Grounding for Vision Language Navigation
针对视觉语言导航中场景表示过细、视觉-语言对齐模糊的问题，提出结合递归视觉想象与自适应语言接地的导航策略，在VLN-CE和ObjectNav任务上性能超越现有最优方法。
2025-07-29 cs.CV cs.RO
Evolving Graphical Planner: Contextual Global Planning for Vision-and-Language Navigation
Princeton University（普林斯顿大学）
执行有效规划的能力对于构建预防跟踪代理至关重要。当在一个新的环境中导航时，智能体面临的挑战是：（1）将自然语言指令与其逐渐增长的世界知识联系起来;（2）以有效探索和纠错的形式执行长期规划和决策。尽管作出了广泛的努力，但目前的方法在这两个方面仍然有限。在本文中，我们介绍了不断发展的图形规划（EGP），一个模型，进行全球规划的基础上原始的感官输入导航。该模型动态地构造一个图形表示，概括的行动空间，以允许更灵活的决策，并执行有效的规划代理图表示。我们使用真实感图像在具有挑战性的视觉和语言导航（VLN）任务中评估了我们的模型，并实现了与之前的导航架构相比更优越的性能。例如，我们通过纯粹的模仿学习在房间到房间导航任务的测试分割上实现了53%的成功率，比之前的导航架构高出5%。
2020-07-11 cs.AI cs.CV cs.RO
Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
Uni-NaVid是首个基于视频的视觉-语言-动作模型，通过统一多种具身导航任务的输入输出配置，利用360万样本训练，在未见环境中实现混合长时程导航并达到最先进性能。
2025-02-06 cs.CV cs.RO
Multi-modal Discriminative Model for Vision-and-Language Navigation
Google AI Language（谷歌人工智能语言团队）
视觉和语言导航（VLN）是一种基于自然语言的任务，智能体必须在动态环境中的视觉场景中解释自然语言指令，以实现预定的导航目标。成功的智能体必须有能力解析不同语言风格的自然语言，将它们置于可能不熟悉的场景中，计划并对模糊的环境反馈做出反应。泛化能力受到人类注释数据量的限制。特别是，\emph{paired}视觉语言序列数据是昂贵的collection.We开发了一个评价如何以及指令解释一个给定的路径在VLN任务使用多模态对齐。我们的研究表明，只有一小部分来自\citet{Fried:2018:Speaker}的高质量增强数据（由我们的研究人员评分）对于训练VLN代理在以前看不见的环境中具有相似的性能是有用的。我们还表明，一个VLN代理热启动与预先训练的组件，从EQUIPMENT优于基准的成功率35.5的10%的相对措施，以前看不见的环境。
2019-05-31 cs.CL cs.CV
NAVCON: A Cognitively Inspired and Linguistically Grounded Corpus for Vision and Language Navigation
University of Pennsylvania（宾夕法尼亚大学）
本文提出了NAVCON，一个基于R2R和RxR的大规模视觉语言导航标注语料库，引入了四个核心导航概念及银标注生成算法，并通过人工评估和模型训练验证了其质量与实用性。
2024-12-18 cs.CL cs.CV
Query, Align, and Distill: Navigation-Aware Cross-Modal Interaction for Efficient Vision-and-Language Navigation
针对大规模VLN模型部署成本高的问题，提出通过可学习查询槽提取导航证据并蒸馏至紧凑学生模型，参数量减少93.65%且性能几乎持平。
2026-09-29 cs.AI cs.CV cs.RO
History-Enhanced Two-Stage Transformer for Aerial Vision-and-Language Navigation
本文提出HETT框架，通过粗到细的导航流程整合全局环境推理与局部场景理解，提升无人机在大规模城市环境中基于语言指令的导航性能。
2025-12-17 cs.CV cs.RO
Vision-based Vineyard Navigation Solution with Automatic Annotation
Cornell AgriTech（康奈尔农业科技中心）；Cornell University（康奈尔大学）；USDA ARS Grape Genetics Research Unit（美国农业部农业研究局葡萄遗传学研究组）
自主导航是实现农业研究和生产管理全自动化的关键（例如，疾病管理和产量预测）。在本文中，我们介绍了一个基于视觉的自主导航框架的农业机器人在格架种植系统，如葡萄园。为了实现这一点，我们提出了一种新的基于学习的方法，直接从RGB-D图像估计路径可扩展性热图，然后将热图转换为首选遍历路径。开发了一种自动注释管道，通过将葡萄园第一次设置期间收集的RTK GPS路径投影到相应的RGB-D图像中作为地面实况路径注释，允许快速模型训练和微调，而无需昂贵的人工注释。经过训练的路径检测模型用于开发一个完整的导航框架，包括行跟踪和行切换模块，使机器人能够在作物行内遍历并在作物行之间过渡，以自主覆盖整个葡萄园。在三个不同的葡萄园中进行了广泛的实地试验，以证明所开发的路径检测模型和导航框架在葡萄园中提供了一种具有成本效益的，准确的和强大的自主导航解决方案，并且可以推广到看不见的葡萄园，具有稳定的性能。
2023-03-25 cs.CV cs.RO
Relatively Lazy: Indoor-Outdoor Navigation Using Vision and GNSS
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
视觉示教和重复已经表明相对导航是在困难环境中基于视觉的自主路径跟踪的鲁棒且有效的解决方案。添加额外的绝对传感器，如全球导航卫星系统（GNSS），有可能将视觉示教和重复的领域扩展到无法保证视觉定位能力的环境中。我们的方法懒惰映射和延迟估计，直到路径跟踪误差是必要的，避免了需要估计绝对状态。因此，不需要地图优化，并且可以在示教后立即驱动路径。我们验证了我们的方法在一个真正的机器人通过实验在一个联合室内-室外环境，包括3.5公里的自主路线重复在各种照明条件。我们在整个运行过程中实现了平滑的误差信号，尽管每个传感器都有很大一部分丢失。
2021-07-17 cs.CV cs.RO
Autonomous, Monocular, Vision-Based Snake Robot Navigation and Traversal of Cluttered Environments using Rectilinear Gait Motion
Georgia Institute of Technology（佐治亚理工学院）
蛇形机器人运动的直线形式预计将在障碍物遍布的情况下具有优势，这些情况是城市灾害区，地下塌陷和其他自然环境的特征。与这些运动策略相关联的细长的、横向狭窄的足迹非常适合于穿越有限的空间和狭窄的路径。然而，在缺乏全球感知的情况下，导航和路径规划仍然是在实际部署这些机器人机制之前需要解决的关键挑战。需要解决与视觉处理和定位相关的几个挑战，以实现导航。作为这个方向的第一步，我们在机器蛇的头部安装了一个无线的单目彩色摄像机。ORB-SLAM的视觉里程计和映射允许在平面障碍物遍布的环境中进行自定位。地平面可通行性分割结合感知空间碰撞检测允许导航路径规划。先前提出的动态减少直线蛇运动的非完整运动车辆通知SLAM和规划。然后，应用简化的运动模型来跟踪通过障碍物配置的规划轨迹。这种导航框架使蛇形机器人平台能够自主导航并仅用单目视觉穿越未知场景。
2019-08-19 cs.CV cs.RO
HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System
本文提出HiMemVLN，通过分层记忆系统提升开源零样本视觉-语言导航的可靠性，解决导航遗忘问题，实现实验环境下的性能提升。
2026-07-28 cs.CV cs.RO
VerNav: Verifier-First Low-Latency Vision-and-Language Navigation
University of Electronic Science and Technology of China（电子科技大学）
针对VLN自回归生成延迟高的问题，提出VerNav优先验证器框架，通过批量动作验证与自适应生成器减少延迟，结合两阶段对齐方案提升性能，在R2R基准上每步LLM延迟降超10倍且性能具竞争力。
2026-09-02 cs.CV cs.RO
A modular vision language navigation and manipulation framework for long horizon compositional tasks in indoor environment
Iowa State University（爱荷华州立大学）
在本文中，我们提出了一个新的框架- MoViLan（模块化的视觉和语言）的执行视觉接地自然语言指令的日常室内家居任务。虽然已经提出了几个数据驱动的端到端学习框架，用于基于视觉和语言模式的目标导航任务，但最近的基准数据集的性能显示，在开发具有不同对象类别的长期组合任务（涉及操纵和导航）的综合技术方面存在差距，现实的指令和具有不可逆状态变化的视觉场景。我们提出了一种模块化方法来处理组合导航和对象交互问题，而不需要严格对齐的视觉和语言训练数据（例如，以专家演示轨迹的形式）。这种方法与该领域传统的端到端技术有很大不同，并且允许使用单独的视觉和语言数据集进行更易于处理的训练过程。具体来说，我们提出了一种新的几何感知映射技术，为杂乱的室内环境，和一个语言理解模型推广到家庭指令遵循。我们证明了一个显着增加的成功率为长期的地平线上，组成任务的基线上最近发布的基准数据集ALFRED。
2021-01-19 cs.CV cs.HC cs.RO
HOP: History-and-Order Aware Pre-training for Vision-and-Language Navigation
The University of Adelaide（阿德莱德大学）；The Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
在视觉和语言导航（VLN）的一些最新研究中，已经采用了预训练。然而，以前的VLN预训练方法要么缺乏预测未来动作的能力，要么忽略了轨迹上下文，这对于贪婪的导航过程是必不可少的。在这项工作中，为了促进时空视觉-文本对应的学习以及智能体的决策能力，我们提出了一种新的历史和顺序感知的预训练范式（HOP），其具有VLN特定的目标，利用过去的观察结果并支持未来的动作预测。具体来说，除了常用的掩蔽语言建模（MLM）和轨迹指令匹配（TIM），我们设计了两个代理任务来建模时序信息：轨迹顺序建模（TOM）和组顺序建模（GOM）。此外，我们的导航动作预测也通过引入历史动作预测（APH）的任务，它考虑到历史视觉感知增强。四个下游VLN任务（R2 R，REVERIE，NDH，RXR）的广泛的实验结果表明，我们提出的方法相比，对几个国家的最先进的代理的有效性。
2022-03-22 cs.CL cs.CV
NavHint: Vision and Language Navigation Agent with a Hint Generator
Michigan State University（密歇根州立大学）；Sichuan University（四川大学）
本文提出NavHint，通过提示生成器为视觉语言导航智能体提供间接监督，增强其对视觉环境的全局理解，在R2R和R4R数据集上达到多项最先进指标，并提升行为可解释性。
2024-02-04 cs.CL
On the Advantages of Multiple Stereo Vision Camera Designs for Autonomous Drone Navigation
Aarhus University（奥胡斯大学）
在这项工作中，我们展示了多摄像头无人机的性能的设计和评估，再加上国家的最先进的规划和自主导航映射算法。该系统利用了最先进的滚动地平线探索技术，用于具有3D和语义信息的下一个最佳视图（NBV）规划，由可重新配置的多立体摄像机系统提供。我们采用我们的方法在一个自主的无人机为基础的检查任务，并评估他们在一个自主的探索和绘图方案。我们讨论了使用多立体相机飞行系统的优点和局限性，以及相机数量和映射性能之间的权衡。
2021-05-26 cs.CV cs.RO
Analyzing Generalization of Vision and Language Navigation to Unseen Outdoor Areas
Heidelberg University（海德堡大学）
视觉和语言导航（VLN）是一个具有挑战性的视觉基础的语言理解任务。给定一个自然语言导航指令，一个可视化代理与一个基于图形的环境进行交互，该环境配备有全景图像，并试图遵循所描述的路线。大多数先前的工作都是在室内场景中进行的，在室内场景中，在与训练路线类似的路线上导航获得了最佳结果，在看不见的环境中测试时性能急剧下降。我们专注于室外场景中的VLN，并发现与室内VLN相比，室外VLN对看不见的数据的大部分增益是由于特定于相应环境图的连接类型嵌入或标题三角洲等功能，而图像信息在将VLN推广到看不见的室外区域中起着非常小的作用。这些研究结果表明，城市环境的图形表示的具体偏见，要求VLN任务的规模和地理环境的多样性增长。
2022-03-25 cs.AI cs.CL cs.CV
Vision-Based Navigation I: A navigation filter for fusing DTM/correspondence updates
Transas group of companies（Transas集团公司）
提出了一种利用图像和数字地形图中的相应特征进行姿态和运动估计的算法。使用数字地形（或数字高程）地图（DTM/DEM）作为全局参考，可以恢复相机的绝对位置和方向。为了做到这一点，DTM被用来制定两个连续帧中的相应特征之间的约束。数据的利用被示出以提高惯性导航算法的鲁棒性和精度。采用扩展卡尔曼滤波器将惯性导航算法和所提出的基于视觉的导航算法的结果结合起来。通过数值仿真验证了该算法的可行性。
2012-07-10 cs.AI cs.CV
Fine-Grained Alignment in Vision-and-Language Navigation through Bayesian Optimization
University of Liverpool（利物浦大学）；South China University of Technology（华南理工大学）；National Tsing Hua University（国立清华大学）
针对视觉-语言导航（VLN）任务中现有方法处理细粒度视觉负样本的不足，本文提出基于贝叶斯优化的对抗优化框架生成细粒度对比视觉样本，提升跨模态嵌入效果，在R2R和REVERIE基准上验证了其导航性能提升。
2024-11-30 cs.CL cs.CV cs.LG
MC-GPT: Empowering Vision-and-Language Navigation with Memory Map and Reasoning Chains
School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区智能系统工程学院）；School of Computer Science and Engineering（计算机科学与工程学院）
针对基于LLM的VLN方法记忆构建不足、策略单一的问题，本文提出MC-GPT，通过拓扑记忆地图、Navigation Chain of Thoughts及集成流水线增强导航与推理可解释性。
2024-08-12 cs.AI cs.CL cs.CV
Planning from Imagination: Episodic Simulation and Episodic Memory for Vision-and-Language Navigation
Shanghai Jiao Tong University（上海交通大学）
本文提出一种融合情景模拟与情景记忆的现实-想象混合记忆系统，通过预训练赋予视觉-语言导航智能体想象未来场景高保真RGB图像的能力，从而在SPL指标上达到最先进水平。
2024-12-25 cs.CV cs.LG cs.RO
Deep Learning for Embodied Vision Navigation: A Survey
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；RMIT University（皇家墨尔本理工大学）
“虚拟视觉导航”问题要求智能体主要依靠第一人称观察在三维环境中进行导航。近年来，由于其在自动驾驶、真空吸尘器和救援机器人中的广泛应用，该问题引起了越来越多的关注。导航Agent应该具有视觉感知、地图绘制、规划、探索和推理等多种智能技能，构建一个能够观察、思考和行动的Agent是实现真正智能的关键。深度学习方法的显著学习能力使智能体能够完成具体的视觉导航任务。尽管如此，体现视觉导航仍然处于起步阶段，因为需要很多先进的技能，包括感知部分观察到的视觉输入，探索看不见的区域，记忆和建模看到的场景，理解跨模态指令，适应新的环境等。最近，体现视觉导航已经引起了社会的关注，并提出了许多工作来学习这些技能。本文试图通过提供一个全面的文献调查，建立一个轮廓，目前的作品在该领域的体现视觉导航。我们总结了基准和指标，回顾了不同的方法，分析了挑战，并强调了最先进的方法。最后，我们讨论了尚未解决的挑战，体现视觉导航领域，并在追求未来的研究方向。
2021-10-11 cs.CV cs.RO
Anticipating the Unseen Discrepancy for Vision and Language Navigation
UC Santa Barbara（加州大学圣巴巴拉分校）；McGill University（麦吉尔大学）；Peking University（北京大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
视觉语言导航要求智能体遵循自然语言指令到达特定目标。可见和不可见环境之间的巨大差异使得智能体很难很好地概括。先前的研究提出了数据增强方法来显式或隐式地减轻数据偏差，并提供泛化的改进。然而，他们试图记住增强的轨迹，并忽略了分布偏移下看不见的环境下，在测试时。在本文中，我们提出了一个看不见的离散预期视觉和语言导航（DAVIS），学习推广到看不见的环境，通过鼓励测试时的视觉一致性。具体来说，我们设计：1）半监督框架DAVIS，它利用相似语义观察的视觉一致性信号。2)一个两阶段的学习过程，鼓励适应测试时间分布。该框架增强了模仿和强化学习与动量对比的基本混合，以鼓励在联合训练阶段和测试时自适应阶段下对类似观察做出稳定的决策。大量的实验表明，DAVIS在R2R和RxR基准测试中实现了与模型无关的改进。我们的源代码和数据在补充材料中。
2022-09-10 cs.CL cs.CV
Curriculum Learning for Vision-and-Language Navigation
Fudan University（复旦大学）；Princeton University（普林斯顿大学）
视觉和语言导航（VLN）是一项任务，其中智能体在人类指令下在具体的室内环境中导航。以前的作品忽略了样本难度的分布，我们认为，这可能会降低他们的代理性能。为了解决这个问题，我们提出了一种新的基于知识的VLN任务的训练范式，可以平衡人类的先验知识和智能体对训练样本的学习进度。我们制定了课程设计的原则，并重新安排基准房间到房间（R2R）数据集，使其适合课程培训。实验表明，我们的方法是模型无关的，可以显着提高性能，泛化能力，和当前国家的最先进的导航代理的训练效率，而不增加模型的复杂性。
2021-11-14 cs.AI cs.CL cs.CV
VLN-Trans: Translator for the Vision and Language Navigation Agent
Michigan State University（密歇根州立大学）
语言理解对于导航代理遵循指令是必不可少的。我们观察到两种问题的指令，可以使导航任务具有挑战性：1。由于教练和建模代理的不同视觉能力，所提到的地标是不可识别的导航代理。2.所提到的地标适用于多个目标，因此对于在候选视点中选择目标而言没有区别。为了处理这些问题，我们设计了一个翻译模块的导航代理转换成易于遵循的子指令表示在每一步的原始指令。翻译者需要根据智能体的视觉能力和所观察到的视觉环境来关注可识别的和独特的地标。为了实现这一目标，我们创建了一个新的合成子指令数据集和设计特定的任务，训练翻译和导航代理。我们在Room 2 Room ~（R2 R）、Room 4 room ~（R4 R）和Room 2 Room Last（R2 R-Last）数据集上评估了我们的方法，并在多个基准测试中获得了最先进的结果。
2023-02-18 cs.CL
Active Visual Information Gathering for Vision-Language Navigation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；ETH Zurich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
视觉语言导航（VLN）是一项任务，要求智能体在逼真的环境中执行导航指令。VLN的关键挑战之一是如何进行鲁棒的导航，通过减轻不明确的指令和对环境的观察不足所造成的不确定性。通过当前方法训练的代理通常会受到这种影响，因此在每一步都要努力避免随机和低效的行动。相比之下，当人类面临这样的挑战时，他们仍然可以通过积极探索周围环境来收集更多信息，从而做出更自信的导航决策，从而保持稳健的导航。这项工作的灵感来自人类的导航行为，并赋予一个智能体与一个更智能的视觉语言导航政策的主动信息收集能力。为了实现这一目标，我们提出了一个端到端的框架，用于学习探索策略，该策略决定i）何时何地进行探索，ii）在探索过程中值得收集哪些信息，iii）探索后如何调整导航决策。实验结果表明，有前途的探索策略出现在训练，这导致显着提高导航性能。在R2R挑战排行榜上，我们的代理在所有三个VLN设置中都获得了令人满意的结果，即，单次运行、预探测和束搜索。
2020-08-19 cs.CV
SpaceVLN: A Zero-Shot Vision-and-Language Navigation Agent with Online Spatial Cognitive Memory and Reasoning
Shanghai Jiao Tong University（上海交通大学）；China Telecom（中国电信）；Central South University（中南大学）；Jiangsu University（江苏大学）
提出SpaceVLN，通过空间认知记忆和任务引导的空间推理，在零样本设置下实现连续环境中的视觉与语言导航，在多个基准上达到最优性能。
2026-06-08 cs.AI cs.CV cs.RO
A Dataset for Crucial Object Recognition in Blind and Low-Vision Individuals' Navigation
Pennsylvania State University（宾夕法尼亚州立大学）；Drake University（德拉克大学）
本文提出一个专为盲人和低视力者导航设计的数据集，包含90个关键物体的标注，旨在提升计算机视觉模型在实时物体识别中的准确性。
2026-03-01 cs.CV cs.HC
Aerial Vision-and-Dialog Navigation
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出空中视觉与对话导航任务及AVDN数据集，并设计HAA-Transformer模型，通过对话历史和人类注意力预测无人机导航航点。
2023-06-01 cs.AI cs.CL cs.CV
MapDream: Task-Driven Map Learning for Vision-Language Navigation
University of Science and Technology of China（中国科学技术大学）
提出MapDream框架，通过自回归鸟瞰图生成联合学习地图与动作预测，在R2R-CE和RxR-CE上达到单目最优性能。
2026-06-16 cs.AI cs.CV cs.RO
LOViS: Learning Orientation and Visual Signals for Vision and Language Navigation
Michigan State University（密歇根州立大学）
对于遵循自然语言指令的导航代理来说，理解空间和视觉信息是必不可少的。目前基于Transformer的VLN代理纠缠的方向和视觉信息，这限制了从每个信息源的学习的增益。在本文中，我们设计了一个神经代理明确的方向和视觉模块。这些模块学习更有效地将空间信息和指示中提到的地标与视觉环境联系起来。为了加强智能体的空间推理和视觉感知，我们设计了特定的预训练任务，以在最终的导航模型中提供和更好地利用相应的模块。我们在Room2room（R2R）和Room4room（R4R）数据集上评估了我们的方法，并在这两个基准测试中获得了最先进的结果。
2022-09-26 cs.AI cs.CV
MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline
Buzzni AI Lab（Buzzni人工智能实验室）；KAIST（韩国科学技术院）；Mathpresso Inc.（Mathpresso公司）；UC Berkeley（加州大学伯克利分校）；Fainders AI（Fainders人工智能公司）；Seoul National University（首尔大学）
提出无需训练的MERLIN流水线，利用LLM进行迭代反馈学习以从用户视角精炼查询嵌入，显著提升文本-视频检索的Recall@1。
2024-10-16 cs.AI cs.CL cs.CV
Iterative Path Reconstruction for Large-Scale Inertial Navigation on Smartphones
Aalto University（阿尔托大学）
现代智能手机具有准确和强大的导航和跟踪所需的所有传感功能。在特定的环境中，一些数据流可能不存在，不太可靠，或者完全错误。特别是，GNSS信号可能在建筑物内或有高层建筑的街道上变得有缺陷或无声。在这篇应用论文中，我们的目标是在标准智能手机上使用惯性测量结合部分GNSS数据来推进当前最先进的运动估计。我们展示了迭代估计方法如何帮助在可涵盖固定间隔和固定滞后场景的回顾性用例中改进定位路径估计。我们比较全球迭代卡尔曼滤波方法提供的估计结果的视觉惯性跟踪计划（苹果ARKit）。从智能手机和平板电脑设备获取的经验数据的实际应用性证明了现实世界的用例。
2019-06-02 cs.CV
