Bench2FreeAD: A Benchmark for Vision-based End-to-end Navigation in Unstructured Robotic Environments
针对非结构化场景下机器人导航研究不足的问题，本文构建FreeWorld Dataset数据集，微调VAD模型验证其性能，提出首个相关基准，以推动物流和服务机器人E2E导航技术发展。
2025-11-17 cs.CV cs.RO
MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming
Horizon Robotics
MonoDream通过轻量级VLA框架和潜在全景梦境任务，提升单目视觉-语言导航的性能，缩小与全景方法的差距。
2025-11-27 cs.CV cs.RO
Recursive Visual Imagination and Adaptive Linguistic Grounding for Vision Language Navigation
针对视觉语言导航中场景表示过细、视觉-语言对齐模糊的问题，提出结合递归视觉想象与自适应语言接地的导航策略，在VLN-CE和ObjectNav任务上性能超越现有最优方法。
2025-07-29 cs.CV cs.RO
Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
Uni-NaVid是首个基于视频的视觉-语言-动作模型，通过统一多种具身导航任务的输入输出配置，利用360万样本训练，在未见环境中实现混合长时程导航并达到最先进性能。
2025-02-06 cs.CV cs.RO
Real-time Vision-based Navigation for a Robot in an Indoor Environment
Stanford University（斯坦福大学）
本文提出一种利用基于视觉的技术和先进路径规划算法的室内自主避障导航系统，并通过定性和定量指标评估其性能，展示了基于视觉的技术在实时自主导航中的潜力。
2023-07-02 cs.CV
History-Enhanced Two-Stage Transformer for Aerial Vision-and-Language Navigation
本文提出HETT框架，通过粗到细的导航流程整合全局环境推理与局部场景理解，提升无人机在大规模城市环境中基于语言指令的导航性能。
2025-12-17 cs.CV cs.RO
Vision-based Vineyard Navigation Solution with Automatic Annotation
Cornell AgriTech（康奈尔农业科技中心）；Cornell University（康奈尔大学）；USDA ARS Grape Genetics Research Unit（美国农业部农业研究局葡萄遗传学研究组）
自主导航是实现农业研究和生产管理全自动化的关键（例如，疾病管理和产量预测）。在本文中，我们介绍了一个基于视觉的自主导航框架的农业机器人在格架种植系统，如葡萄园。为了实现这一点，我们提出了一种新的基于学习的方法，直接从RGB-D图像估计路径可扩展性热图，然后将热图转换为首选遍历路径。开发了一种自动注释管道，通过将葡萄园第一次设置期间收集的RTK GPS路径投影到相应的RGB-D图像中作为地面实况路径注释，允许快速模型训练和微调，而无需昂贵的人工注释。经过训练的路径检测模型用于开发一个完整的导航框架，包括行跟踪和行切换模块，使机器人能够在作物行内遍历并在作物行之间过渡，以自主覆盖整个葡萄园。在三个不同的葡萄园中进行了广泛的实地试验，以证明所开发的路径检测模型和导航框架在葡萄园中提供了一种具有成本效益的，准确的和强大的自主导航解决方案，并且可以推广到看不见的葡萄园，具有稳定的性能。
2023-03-25 cs.CV cs.RO
Relatively Lazy: Indoor-Outdoor Navigation Using Vision and GNSS
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
视觉示教和重复已经表明相对导航是在困难环境中基于视觉的自主路径跟踪的鲁棒且有效的解决方案。添加额外的绝对传感器，如全球导航卫星系统（GNSS），有可能将视觉示教和重复的领域扩展到无法保证视觉定位能力的环境中。我们的方法懒惰映射和延迟估计，直到路径跟踪误差是必要的，避免了需要估计绝对状态。因此，不需要地图优化，并且可以在示教后立即驱动路径。我们验证了我们的方法在一个真正的机器人通过实验在一个联合室内-室外环境，包括3.5公里的自主路线重复在各种照明条件。我们在整个运行过程中实现了平滑的误差信号，尽管每个传感器都有很大一部分丢失。
2021-07-17 cs.CV cs.RO
Autonomous, Monocular, Vision-Based Snake Robot Navigation and Traversal of Cluttered Environments using Rectilinear Gait Motion
Georgia Institute of Technology（佐治亚理工学院）
蛇形机器人运动的直线形式预计将在障碍物遍布的情况下具有优势，这些情况是城市灾害区，地下塌陷和其他自然环境的特征。与这些运动策略相关联的细长的、横向狭窄的足迹非常适合于穿越有限的空间和狭窄的路径。然而，在缺乏全球感知的情况下，导航和路径规划仍然是在实际部署这些机器人机制之前需要解决的关键挑战。需要解决与视觉处理和定位相关的几个挑战，以实现导航。作为这个方向的第一步，我们在机器蛇的头部安装了一个无线的单目彩色摄像机。ORB-SLAM的视觉里程计和映射允许在平面障碍物遍布的环境中进行自定位。地平面可通行性分割结合感知空间碰撞检测允许导航路径规划。先前提出的动态减少直线蛇运动的非完整运动车辆通知SLAM和规划。然后，应用简化的运动模型来跟踪通过障碍物配置的规划轨迹。这种导航框架使蛇形机器人平台能够自主导航并仅用单目视觉穿越未知场景。
2019-08-19 cs.CV cs.RO
HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System
本文提出HiMemVLN，通过分层记忆系统提升开源零样本视觉-语言导航的可靠性，解决导航遗忘问题，实现实验环境下的性能提升。
2026-07-28 cs.CV cs.RO
VerNav: Verifier-First Low-Latency Vision-and-Language Navigation
University of Electronic Science and Technology of China（电子科技大学）
针对VLN自回归生成延迟高的问题，提出VerNav优先验证器框架，通过批量动作验证与自适应生成器减少延迟，结合两阶段对齐方案提升性能，在R2R基准上每步LLM延迟降超10倍且性能具竞争力。
2026-09-02 cs.CV cs.RO
On the Advantages of Multiple Stereo Vision Camera Designs for Autonomous Drone Navigation
Aarhus University（奥胡斯大学）
在这项工作中，我们展示了多摄像头无人机的性能的设计和评估，再加上国家的最先进的规划和自主导航映射算法。该系统利用了最先进的滚动地平线探索技术，用于具有3D和语义信息的下一个最佳视图（NBV）规划，由可重新配置的多立体摄像机系统提供。我们采用我们的方法在一个自主的无人机为基础的检查任务，并评估他们在一个自主的探索和绘图方案。我们讨论了使用多立体相机飞行系统的优点和局限性，以及相机数量和映射性能之间的权衡。
2021-05-26 cs.CV cs.RO
Deep Learning for Embodied Vision Navigation: A Survey
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；RMIT University（皇家墨尔本理工大学）
“虚拟视觉导航”问题要求智能体主要依靠第一人称观察在三维环境中进行导航。近年来，由于其在自动驾驶、真空吸尘器和救援机器人中的广泛应用，该问题引起了越来越多的关注。导航Agent应该具有视觉感知、地图绘制、规划、探索和推理等多种智能技能，构建一个能够观察、思考和行动的Agent是实现真正智能的关键。深度学习方法的显著学习能力使智能体能够完成具体的视觉导航任务。尽管如此，体现视觉导航仍然处于起步阶段，因为需要很多先进的技能，包括感知部分观察到的视觉输入，探索看不见的区域，记忆和建模看到的场景，理解跨模态指令，适应新的环境等。最近，体现视觉导航已经引起了社会的关注，并提出了许多工作来学习这些技能。本文试图通过提供一个全面的文献调查，建立一个轮廓，目前的作品在该领域的体现视觉导航。我们总结了基准和指标，回顾了不同的方法，分析了挑战，并强调了最先进的方法。最后，我们讨论了尚未解决的挑战，体现视觉导航领域，并在追求未来的研究方向。
2021-10-11 cs.CV cs.RO
Intelligent Indoor Mobile Robot Navigation Using Stereo Vision
Amrita Vishwa Vidyapeetham（阿姆里塔 Vishwa Vidyapeetham 大学）
大多数现有的机器人导航系统，便于使用激光测距仪，声纳传感器或人工地标，有能力在未知的环境中定位自己，然后建立相应的环境地图。立体视觉，虽然仍然是一个快速发展的技术在自主移动机器人领域，目前不太可取的，由于其高的实施成本。本文旨在描述一种实验方法的立体视觉系统的建设，帮助机器人，以避免障碍物和导航通过室内环境，并在同一时间保持非常高的成本效益。本文讨论了立体视觉和超声波传感器的融合技术，有助于成功地通过不同类型的复杂环境的导航。来自传感器的数据使机器人能够创建未知环境的二维的拓扑图，立体视觉系统能够对同一环境的三维模型进行建模。
2014-09-10 cs.AI cs.CV cs.RO
Robust positioning of drones for land use monitoring in strong terrain relief using vision-based navigation
Ariel University（阿里埃勒大学）；TRANSIST VIDEO LLC（TRANSIST VIDEO有限责任公司）
在土地利用监测方面，主要问题是仅使用全球定位系统在城市峡谷和地形起伏较大的地区进行可靠的定位。事实上，卫星信号在城市峡谷和强烈地形起伏中的反射和屏蔽导致了正确定位的问题。使用GNSS-RTK并不能完全解决这个问题，因为在一些复杂的情况下，整个卫星系统的工作不正常。我们将弱点（城市峡谷和强烈的地形起伏）转化为优势。它是一种基于视觉的导航，使用地形起伏的地图。我们调查并证明了这项技术在中国萧山地区的有效性。基于视觉的导航系统的精度对应于这些条件的预期。.结果表明，基于视觉导航的最大位置误差为20 m，基于视觉导航的最大欧拉角误差为0.83 °。在摄像机移动的情况下，基于视觉导航的最大位置误差为30 m，基于视觉导航的最大欧拉角误差为2.2度。
2018-02-20 cs.CV
Topological Planning with Transformers for Vision-and-Language Navigation
Stanford University（斯坦福大学）；Yale University（耶鲁大学）
传统的视觉和语言导航（VLN）方法是端到端训练的，但很难在可自由穿越的环境中表现良好。受机器人社区的启发，我们提出了一个模块化的方法，VLN使用拓扑地图。给定自然语言指令和拓扑地图，我们的方法利用注意力机制来预测地图中的导航计划。然后，使用鲁棒控制器以低级动作（例如，向前、旋转）执行该计划。实验表明，我们的方法优于以前的端到端的方法，生成可解释的导航计划，并表现出智能行为，如回溯。
2020-12-09 cs.AI cs.CL cs.CV
Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments
Australian National University（澳大利亚国立大学）；University of Adelaide（阿德莱德大学）；Queensland University of Technology（昆士兰科技大学）；Macquarie University（麦考瑞大学）
在《杰森一家》（Jetsons）系列卡通片想象由一群细心的机器人助手充当媒介的休闲生活之前，一个能够进行自然语言教学的机器人一直是一个梦想。这是一个仍然顽固遥远的梦想。然而，视觉和语言方法的最新进展在密切相关的领域取得了令人难以置信的进展。这一点很重要，因为机器人根据它所看到的内容解释自然语言导航指令是在执行类似于视觉问答的视觉和语言过程。这两个任务都可以被解释为基于视觉的序列到序列翻译问题，并且许多相同的方法都适用。为了实现和鼓励视觉和语言方法的应用，以解释视觉接地导航指令的问题，我们提出了Matterport 3D模拟器-一个大规模的强化学习环境的基础上真正的图像。使用这个模拟器，它可以在未来支持一系列具体的视觉和语言任务，我们提供了第一个基准数据集的视觉接地自然语言导航在真实的建筑物-房间到房间（R2 R）数据集。
2018-04-05 cs.AI cs.CL cs.CV
Evolving Graphical Planner: Contextual Global Planning for Vision-and-Language Navigation
Princeton University（普林斯顿大学）
执行有效规划的能力对于构建预防跟踪代理至关重要。当在一个新的环境中导航时，智能体面临的挑战是：（1）将自然语言指令与其逐渐增长的世界知识联系起来;（2）以有效探索和纠错的形式执行长期规划和决策。尽管作出了广泛的努力，但目前的方法在这两个方面仍然有限。在本文中，我们介绍了不断发展的图形规划（EGP），一个模型，进行全球规划的基础上原始的感官输入导航。该模型动态地构造一个图形表示，概括的行动空间，以允许更灵活的决策，并执行有效的规划代理图表示。我们使用真实感图像在具有挑战性的视觉和语言导航（VLN）任务中评估了我们的模型，并实现了与之前的导航架构相比更优越的性能。例如，我们通过纯粹的模仿学习在房间到房间导航任务的测试分割上实现了53%的成功率，比之前的导航架构高出5%。
2020-07-11 cs.AI cs.CV cs.RO
Query, Align, and Distill: Navigation-Aware Cross-Modal Interaction for Efficient Vision-and-Language Navigation
针对大规模VLN模型部署成本高的问题，提出通过可学习查询槽提取导航证据并蒸馏至紧凑学生模型，参数量减少93.65%且性能几乎持平。
2026-09-29 cs.AI cs.CV cs.RO
A modular vision language navigation and manipulation framework for long horizon compositional tasks in indoor environment
Iowa State University（爱荷华州立大学）
在本文中，我们提出了一个新的框架- MoViLan（模块化的视觉和语言）的执行视觉接地自然语言指令的日常室内家居任务。虽然已经提出了几个数据驱动的端到端学习框架，用于基于视觉和语言模式的目标导航任务，但最近的基准数据集的性能显示，在开发具有不同对象类别的长期组合任务（涉及操纵和导航）的综合技术方面存在差距，现实的指令和具有不可逆状态变化的视觉场景。我们提出了一种模块化方法来处理组合导航和对象交互问题，而不需要严格对齐的视觉和语言训练数据（例如，以专家演示轨迹的形式）。这种方法与该领域传统的端到端技术有很大不同，并且允许使用单独的视觉和语言数据集进行更易于处理的训练过程。具体来说，我们提出了一种新的几何感知映射技术，为杂乱的室内环境，和一个语言理解模型推广到家庭指令遵循。我们证明了一个显着增加的成功率为长期的地平线上，组成任务的基线上最近发布的基准数据集ALFRED。
2021-01-19 cs.CV cs.HC cs.RO
Beyond the Nav-Graph: Vision-and-Language Navigation in Continuous Environments
Oregon State University（俄勒冈州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们开发了一个语言引导的导航任务设置在一个连续的3D环境中，代理必须执行低级别的行动，按照自然语言导航方向。通过位于连续的环境中，这种设置提升了先前工作中隐含的一些假设，这些假设将环境表示为具有对应于可导航性的边缘的稀疏图。具体来说，我们的设置放弃了已知环境拓扑结构，短程Oracle导航和完美代理本地化的假设。为了将这一新任务置于情境中，我们开发了一些模型，这些模型反映了在先前设置以及单模态基线中所取得的许多进展。虽然其中一些技术转移，我们发现显着较低的绝对性能在连续设置-这表明在以前的“导航图”设置的性能可能会被夸大的强隐式假设。
2020-05-01 cs.CL cs.CV cs.RO
Language-Aligned Waypoint (LAW) Supervision for Vision-and-Language Navigation in Continuous Environments
Simon Fraser University（西蒙弗雷泽大学）；IIT Kanpur（印度理工学院坎普尔分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在视觉和语言导航（VLN）任务中，一个具体的代理导航3D环境，以下自然语言的指令。在这个任务中的一个挑战是如何处理“偏离路径”的情况下，代理转向从参考path.Prior工作监督代理与行动的基础上最短的路径从代理的位置到目标，但这种目标导向的监督往往是不符合指令。此外，以前的工作所采用的评估指标并不衡量代理能够遵循多少语言指令。在这项工作中，我们提出了一个简单有效的与语言对齐的监督方案，以及一个衡量代理在导航期间完成的子指令数量的新指标。
2021-09-30 cs.CL cs.CV cs.RO
Planning from Imagination: Episodic Simulation and Episodic Memory for Vision-and-Language Navigation
Shanghai Jiao Tong University（上海交通大学）
本文提出一种融合情景模拟与情景记忆的现实-想象混合记忆系统，通过预训练赋予视觉-语言导航智能体想象未来场景高保真RGB图像的能力，从而在SPL指标上达到最先进水平。
2024-12-25 cs.CV cs.LG cs.RO
Active Visual Information Gathering for Vision-Language Navigation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；ETH Zurich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
视觉语言导航（VLN）是一项任务，要求智能体在逼真的环境中执行导航指令。VLN的关键挑战之一是如何进行鲁棒的导航，通过减轻不明确的指令和对环境的观察不足所造成的不确定性。通过当前方法训练的代理通常会受到这种影响，因此在每一步都要努力避免随机和低效的行动。相比之下，当人类面临这样的挑战时，他们仍然可以通过积极探索周围环境来收集更多信息，从而做出更自信的导航决策，从而保持稳健的导航。这项工作的灵感来自人类的导航行为，并赋予一个智能体与一个更智能的视觉语言导航政策的主动信息收集能力。为了实现这一目标，我们提出了一个端到端的框架，用于学习探索策略，该策略决定i）何时何地进行探索，ii）在探索过程中值得收集哪些信息，iii）探索后如何调整导航决策。实验结果表明，有前途的探索策略出现在训练，这导致显着提高导航性能。在R2R挑战排行榜上，我们的代理在所有三个VLN设置中都获得了令人满意的结果，即，单次运行、预探测和束搜索。
2020-08-19 cs.CV
SpaceVLN: A Zero-Shot Vision-and-Language Navigation Agent with Online Spatial Cognitive Memory and Reasoning
Shanghai Jiao Tong University（上海交通大学）；China Telecom（中国电信）；Central South University（中南大学）；Jiangsu University（江苏大学）
提出SpaceVLN，通过空间认知记忆和任务引导的空间推理，在零样本设置下实现连续环境中的视觉与语言导航，在多个基准上达到最优性能。
2026-06-08 cs.AI cs.CV cs.RO
Vision-Based Navigation I: A navigation filter for fusing DTM/correspondence updates
Transas group of companies（Transas集团公司）
提出了一种利用图像和数字地形图中的相应特征进行姿态和运动估计的算法。使用数字地形（或数字高程）地图（DTM/DEM）作为全局参考，可以恢复相机的绝对位置和方向。为了做到这一点，DTM被用来制定两个连续帧中的相应特征之间的约束。数据的利用被示出以提高惯性导航算法的鲁棒性和精度。采用扩展卡尔曼滤波器将惯性导航算法和所提出的基于视觉的导航算法的结果结合起来。通过数值仿真验证了该算法的可行性。
2012-07-10 cs.AI cs.CV
MapDream: Task-Driven Map Learning for Vision-Language Navigation
University of Science and Technology of China（中国科学技术大学）
提出MapDream框架，通过自回归鸟瞰图生成联合学习地图与动作预测，在R2R-CE和RxR-CE上达到单目最优性能。
2026-06-16 cs.AI cs.CV cs.RO
Sim-2-Sim Transfer for Vision-and-Language Navigation in Continuous Environments
Oregon State University（俄勒冈州立大学）
视觉和语言导航（VLN）最近的工作提出了两种不同的现实主义环境范例-标准VLN设置建立在拓扑环境中的导航是抽象的，和VLN-CE设置，代理必须使用低级别的动作导航连续的3D环境。尽管共享高级任务，甚至共享底层路由路径数据，但VLN-CE的性能明显落后于VLN。在这项工作中，我们探索这一差距，从抽象环境的VLN的VLN-CE的连续环境中转移的代理。我们发现这种sim-2-sim传输非常有效，比VLN-CE中现有技术的成功率提高了+12%。虽然这证明了这个方向的潜力，但这种转移并没有完全保留代理人在抽象环境中的原始性能。我们提出了一系列的实验，以确定哪些差异导致性能下降，为进一步改进提供了明确的方向。
2022-04-24 cs.CL cs.CV cs.RO
Transferable Representation Learning in Vision-and-Language Navigation
Google Research（谷歌研究院）
视觉和语言导航（VLN）任务，如房间到房间（R2R），需要机器代理解释自然语言指令，并学习在视觉上逼真的环境中行动，以实现导航目标。整体任务需要在几个感知问题的能力：成功的代理结合时空，视觉和语言理解，以产生适当的动作序列。我们的方法将预先训练的视觉和语言表示适应相关的域内任务，使它们对VLN更有效。具体地，所述表示适于解决跨模态序列比对和序列一致性任务。在序列对齐任务中，模型确定指令是否对应于视觉帧序列。在序列一致性任务中，模型确定感知序列在以预防为条件的潜在空间中是否具有预测性。通过转移域适应的表示，我们提高竞争力的代理在R2R衡量的成功率加权路径长度（SPL）度量。
2019-08-12 cs.CL cs.CV cs.LG
Sim-to-Real Transfer for Vision-and-Language Navigation
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（脸书人工智能研究院）；Oregon State University（俄勒冈州立大学）；Google（谷歌）
我们研究了具有挑战性的问题，释放机器人在以前看不见的环境中，并让它遵循不受约束的自然语言导航指令。视觉和语言导航（VLN）任务的最新工作在仿真方面取得了重大进展。为了评估这项工作对机器人技术的影响，我们将一个经过模拟训练的VLN代理转移到一个物理机器人上。为了弥合VLN代理学习的高级离散动作空间与机器人的低级连续动作空间之间的差距，我们提出了一个子目标模型来识别附近的路点，并使用域随机化来减轻视觉域差异。为了在并行环境中进行准确的模拟和真实比较，我们用1.3公里的导航指令注释了一个325平方米的办公空间，并在模拟中创建了一个数字化副本。我们发现，如果可以提前收集和注释占用地图和导航图，则仿真到现实迁移到训练中未看到的环境是成功的（成功率为46.8%，而sim中为55.9%），但在最困难的设置中更具挑战性，根本没有事先映射（成功率为22.5%）。
2020-11-07 cs.CL cs.CV cs.RO
Iterative Vision-and-Language Navigation
Oregon State University（俄勒冈州立大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）；Google Research（谷歌研究院）
提出IVLN范式，通过持久环境中的多回合导航评估VLN智能体，发现地图构建智能体优于仅扩展隐式记忆的方法。
2023-12-24 cs.CL cs.CV cs.RO
Learning Goal-Oriented Vision-and-Language Navigation with Self-Improving Demonstrations at Scale
Shanghai AI Laboratory（上海人工智能实验室）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Fudan University（复旦大学）；The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）；Shanghai Jiaotong University（上海交通大学）
本文提出SID方法，通过自改进演示提升导航能力，实现高效探索和泛化，显著提升导航性能，达到新状态的SOTA水平。
2026-03-18 cs.CV
Multimodal Aggregation Approach for Memory Vision-Voice Indoor Navigation with Meta-Learning
Fudan University（复旦大学）；Westlake University（西湖大学）；Purdue University（普渡大学）
视觉和声音是智能体交互和学习的两个关键。在本文中，我们提出了一种新的室内导航模型称为记忆视觉-语音室内导航（MVV-IN），它接收语音命令，并分析视觉观察的多模态信息，以提高机器人的环境理解。我们利用第一视角单目相机拍摄的单个RGB图像。我们还应用了自我注意力机制来保持智能体专注于关键区域。记忆对于代理避免不必要地重复某些任务并使其充分适应新场景非常重要，因此，我们使用元学习。我们已经实验了从视觉观察中提取的各种功能特征。对比实验证明，我们的方法优于国家的最先进的基线。
2020-09-01 cs.CV
Simplified vision based automatic navigation for wheat harvesting in low income economies
National University of Sciences and Technology（国家科技大学）
农业机器人领域的最新发展导致了复杂和高效系统的发展。南亚地区的大多数土地所有者是低收入农民。他们的农业经验仍然是一个完全手工的过程。然而，极端的天气条件，炎热和洪水，往往给这些小土地所有者和相关的劳动力带来很大的压力。在本文中，我们提出了一个原型的自动动力收割机的小麦作物。这种自动驾驶汽车导航使用一个简单的视觉为基础的方法，采用低成本的摄像头和辅助GPS。机械平台由三个电机驱动，通过所提出的视觉算法和电气驱动之间的接口进行控制。所提出的方法被应用在一些真实的场景，以证明基于视觉的算法的效率。
2015-01-10 cs.CV cs.CY cs.RO
A Dataset for Crucial Object Recognition in Blind and Low-Vision Individuals' Navigation
Pennsylvania State University（宾夕法尼亚州立大学）；Drake University（德拉克大学）
本文提出一个专为盲人和低视力者导航设计的数据集，包含90个关键物体的标注，旨在提升计算机视觉模型在实时物体识别中的准确性。
2026-03-01 cs.CV cs.HC
Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method
Shanghai Jiao Tong University（上海交通大学）
本文首次系统形式化多智能体视觉与语言导航为受约束协调问题，构建含11,724情节的MAVLN基准，并提出TRISS系统，实验揭示协调挑战与改进空间。
2026-10-08 cs.AI cs.CV cs.RO
LOViS: Learning Orientation and Visual Signals for Vision and Language Navigation
Michigan State University（密歇根州立大学）
对于遵循自然语言指令的导航代理来说，理解空间和视觉信息是必不可少的。目前基于Transformer的VLN代理纠缠的方向和视觉信息，这限制了从每个信息源的学习的增益。在本文中，我们设计了一个神经代理明确的方向和视觉模块。这些模块学习更有效地将空间信息和指示中提到的地标与视觉环境联系起来。为了加强智能体的空间推理和视觉感知，我们设计了特定的预训练任务，以在最终的导航模型中提供和更好地利用相应的模块。我们在Room2room（R2R）和Room4room（R4R）数据集上评估了我们的方法，并在这两个基准测试中获得了最先进的结果。
2022-09-26 cs.AI cs.CV
ETPNav: Evolving Topological Planning for Vision-Language Navigation in Continuous Environments
Center for Research on Intelligent Perception and Computing (CRIPAC), National Laboratory of Pattern Recognition (NLPR)（中国科学院大学未来技术学院、人工智能学院；模式识别国家重点实验室智能感知与计算研究中心）；School of Future Technology and School of Artificial Intelligence, University of Chinese Academy of Sciences（北京理工大学）；Beijing Institute of Technology（浙江大学）；Zhejiang University（澳大利亚国立大学）；Australian National University
本文提出ETPNav框架，通过在线拓扑建图、Transformer跨模态规划与试错避障控制，解决连续环境视觉-语言导航问题，在R2R-CE和RxR-CE上显著超越先前最优方法。
2024-01-22 cs.CL cs.CV cs.RO
SpatialNav: Leveraging Spatial Scene Graphs for Zero-Shot Vision-and-Language Navigation
Fudan University, Shanghai, China（复旦大学）；University of Southern California, Los Angeles, USA（南加州大学）；Australian Institute for Machine Learning, Adelaide University, Australia（澳大利亚机器学习研究所）；Shanghai Innovation Institute, Shanghai, China（上海创新研究院）
SpatialNav通过构建空间场景图，利用全局空间表示提升零样本视觉-语言导航的效率与性能。
2026-01-11 cs.AI cs.CV cs.RO
Vision-and-Dialog Navigation
Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
在人类环境中导航的机器人应该使用语言来寻求帮助，并能够理解人类的反应。为了研究这一挑战，我们介绍了合作的视觉和对话导航，一个数据集超过2k体现，人与人的对话，位于模拟，逼真的家庭环境。导航员向他们的合作伙伴Oracle提出问题，Oracle有权访问导航员根据最短路径规划器应采取的最佳后续步骤。为了训练在环境中搜索目标位置的代理，我们定义了从对话历史导航任务。一个代理，给定一个目标对象和人类之间的对话历史合作，以找到该对象，必须推断导航行动的目标，在未经探索的环境。我们建立了一个初始的，多模式的序列到序列模型，并证明了在对话历史中看得更远可以提高性能。源代码和实时界面演示可以在https://cvdn.dev/上找到
2019-10-13 cs.AI cs.CL cs.CV
AerialVLN: Vision-and-Language Navigation for UAVs
University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
本文提出面向无人机室外导航的AerialVLN新任务，构建含25个城市级场景的三维模拟器，并基于CMA给出扩展基线，揭示其与人类表现的显著差距。
2023-08-13 cs.AI cs.CV cs.RO
Reinforced Structured State-Evolution for Vision-Language Navigation
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
视觉和语言导航（VLN）任务需要一个具体的代理导航到一个远程位置以下的自然语言指令。先前的方法通常采用序列模型（例如，Transformer和LSTM）作为导航器。在这样的范例中，序列模型通过维护的导航状态来预测每一步的动作，该导航状态通常表示为一维向量。然而，关键的导航线索（即，对象级环境布局）被丢弃，因为所维护的向量基本上是非结构化的。在本文中，我们提出了一种新的结构化状态演化（SEvol）模型，以有效地保持环境布局的线索VLN。具体来说，我们利用基于图形的功能来表示导航状态，而不是基于矢量的状态。因此，我们设计了一个强化布局线索矿工（RLM）挖掘和检测最关键的布局图，通过定制的强化学习策略的长期导航。此外，结构化的进化模块（SEM）提出了在导航过程中保持结构化的基于图的状态，其中状态逐渐进化，学习对象级的时空关系。在R2R和R4R数据集上的实验表明，所提出的SEvol模型大大提高了VLN模型的性能，例如，在R2R测试集上，NvEM的绝对SPL准确度为+3%，EnvDrop的绝对SPL准确度为+8%。
2022-05-26 cs.CV
Vision-Based Deep Reinforcement Learning of UAV Autonomous Navigation Using Privileged Information
针对部分可观测环境下无人机高速自主导航难题，提出结合深度强化学习与特权学习的DPRL算法，采用非对称Actor-Critic架构和多智能体探索策略，仿真验证其在飞行效率等方面性能优于现有算法。
2024-12-09 cs.CV cs.LG cs.RO
Vision-and-Language Navigation Generative Pretrained Transformer
School of Artificial Intelligence and Automation（人工智能与自动化学院）；Huazhong University of Science and Technology（华中科技大学）
提出VLN-GPT，采用GPT2解码器建模轨迹序列以替代历史编码模块，结合模仿学习预训练和强化学习微调，在VLN数据集上超越现有编码器模型。
2024-05-27 cs.AI cs.CL cs.CV
Scene Representation using 360° Saliency Graph and its Application in Vision-based Indoor Navigation
本文提出一种360°显著性图表示方法，用于提升场景表示效率和室内导航性能，通过编码视觉、上下文、语义和几何信息，提高场景定位和导航准确性。
2026-03-20 cs.CV cs.RO eess.IV
Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning for Planned-Ahead Vision-and-Language Navigation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
现有的机器人导航的视觉和语言基础研究集中在改进合成环境中的无模型深度强化学习（DRL）模型。然而，无模型DRL模型没有考虑真实世界环境中的动态，并且它们通常不能推广到新的场景。在本文中，我们采取了一种激进的方法来弥合综合研究和现实世界的实践之间的差距-我们提出了一种新颖的，提前计划的混合强化学习模型，该模型结合了无模型和基于模型的强化学习来解决现实世界的视觉语言导航任务。我们的前瞻模块将前瞻策略模型与预测下一个状态和奖励的环境模型紧密集成。实验结果表明，我们提出的方法显着优于基线，并在真实世界的Room-to-Room数据集上达到最佳效果。此外，我们的可扩展方法在转移到看不见的环境时更具有普遍性。
2018-07-26 cs.AI cs.CL cs.CV
Vision-Dialog Navigation by Exploring Cross-modal Memory
University of Chinese Academy of Sciences（中国科学院大学）；Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
视觉对话导航是视觉语言学科的一个新的圣杯任务，其目标是学习一个具有与自然语言不断对话以寻求帮助并根据人类反应进行导航的能力的智能体。除了视觉语言导航所面临的共同挑战外，视觉对话导航还需要处理好对话历史中一系列关于时间语境的问题的语言意图，以及对话和视觉场景的共同推理。在本文中，我们提出了跨模态记忆网络（CMN）的记忆和理解丰富的信息相关的历史导航行动。我们的CMN由两个记忆模块组成，语言记忆模块（L-RNN）和视觉记忆模块（V-RNN）。具体而言，L-SVM通过采用多头注意力机制来学习当前语言交互与对话历史之间的潜在关系。V-mem学会将当前视觉视图与有关之前导航操作的跨模态记忆相关联。跨通道记忆通过视觉-语言注意和语言-视觉注意产生。受益于L-RNN和V-RNN的协作学习，我们的CMN能够探索关于当前步骤的历史导航动作的决策的记忆。在CVDN数据集上的实验表明，我们的CMN在可见和不可见环境中的性能都明显优于以前的最先进模型。
2020-03-15 cs.CL cs.CV
Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
视觉语言导航（VLN）是智能体学习遵循自然语言指令进行导航的任务。这个任务的关键是顺序地感知视觉场景和自然语言。传统的方法利用跨模态接地的视觉和语言特征。然而，VLN任务仍然具有挑战性，因为以前的工作忽略了环境中包含的丰富语义信息（如隐式导航图或子轨迹语义）。在本文中，我们介绍了辅助推理导航（Auxiliary Reasoning Navigation，简称ARRN），这是一个具有四个自监督辅助推理任务的框架，可以利用从语义信息中获得的额外训练信号。辅助任务有四个推理目标：解释先前的动作，估计导航进度，预测下一个方向，评估轨迹的一致性。因此，这些额外的训练信号帮助智能体获得语义表示的知识，以便对其活动进行推理并建立对环境的全面感知。我们的实验表明，辅助推理任务提高了主任务的性能和模型的泛化能力。从经验上讲，我们证明了用自我监督辅助推理任务训练的代理大大优于以前的最先进的方法，是标准基准上现有的最佳方法。
2020-04-01 cs.CV
Hierarchical Spatial Proximity Reasoning for Vision-and-Language Navigation
本文提出层次化空间邻近性推理方法HSPR，通过场景理解辅助任务构建空间邻近知识库，并结合多步推理导航与残差融合，在多个VLN数据集上提升了导航决策准确性和探索效率。
2024-10-06 cs.CV
Diagnosing Vision-and-Language Navigation: What Really Matters
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Adelaide（阿德莱德大学）；Google（谷歌）；UC Santa Cruz（加州大学圣克鲁兹分校）
视觉和语言导航（VLN）是一种多模态任务，其中智能体遵循自然语言指令并在视觉环境中导航。已经提出了多种设置，研究人员应用新的模型架构或训练技术来提高导航性能。然而，机器的性能和人类基准之间仍然存在不可忽视的差距。此外，智能体的内部导航决策机制仍然不清楚。据我们所知，代理人如何感知多模态输入是研究不足，需要调查。在这项工作中，我们进行了一系列的诊断实验，以揭示代理的重点在导航。结果表明，室内导航代理参考对象和方向令牌时，作出决定。相比之下，户外导航代理严重依赖于方向令牌和理解对象令牌差。基于transformer的代理获得了更好的跨模态的理解对象，并显示出强大的数值推理能力比非transformer的代理。当涉及到视觉和语言对齐时，许多模型声称它们可以将对象标记与特定的视觉目标对齐。我们发现不平衡的视觉和文本输入的注意力和怀疑这种跨通道对齐的可靠性。
2022-05-04 cs.AI cs.CL cs.CV
Trajectory-Diversity-Driven Robust Vision-and-Language Navigation
Xi’an Jiaotong University（西安交通大学）；Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳先进技术大学微电子学院）
本文提出NavGRPO框架，通过群体相对策略优化实现目标导向的导航策略学习，在未见环境中提升鲁棒性，实验显示在R2R和REVERIE基准上SPL提升达3.0%和1.71%。
2026-03-16 cs.CV
Hierarchical Cross-Modal Agent for Robotics Vision-and-Language Navigation
Georgia Institute of Technology（佐治亚理工学院）
深度学习彻底改变了我们解决视觉和语言导航（VLN）等复杂问题的能力。该任务要求智能体纯粹基于视觉感官输入给出自然语言指令导航到目标。然而，以前的作品制定的问题作为一个导航图与离散的动作空间。在这项工作中，我们解除代理的导航图，并提出了一个更复杂的VLN设置在连续的三维重建环境。我们提出的设置，机器人VLN，更接近模仿现实世界导航的挑战。Robo-VLN任务具有较长的轨迹长度，连续的动作空间和障碍物等挑战。我们提供了一套基线的灵感来自国家的最先进的离散VLN的作品，并表明他们在这项任务中是不太有效的。我们进一步提出，将任务分解为专门的高级和低级政策可以更有效地解决这个任务。通过大量的实验，我们表明，通过使用分层决策，模块化训练和解耦推理和模仿，我们提出的分层跨模态（HCM）代理在所有关键指标上都优于现有的基线，并为Robo-VLN设定了一个新的基准。
2021-04-21 cs.RO
WebVLN: Vision-and-Language Navigation on Websites
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）
本文提出WebVLN任务，利用基于问题的指令训练代理在网站上导航，并引入WebVLN-Net方法结合HTML信息，数据集WebVLN-v1验证其优于现有方法。
2023-12-25 cs.CV
NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models
The University of Adelaide（阿德莱德大学）；The Australian National University（澳大利亚国立大学）
本文提出NavGPT，一种基于LLM的零样本视觉与语言导航智能体，通过显式推理进行高级规划、动作预测与指令生成，揭示了LLM在具身导航中的潜力及多模态输入的改进方向。
2023-10-19 cs.AI cs.CL cs.CV
