Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Dark Matter Inc.（暗物质公司）；Sun Yat-sen University（中山大学）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Monash University（莫纳什大学）
针对传统视觉语言导航智能体抗干扰能力弱的问题，提出渐进式扰动感知对比学习范式，通过渐进扰动增强与对比学习提升鲁棒性，在R2R及自建PP-R2R数据集上验证了有效性。
2024-03-09 cs.AI cs.CV cs.RO
Networked Admissibility-Preserving Control for Directed Safe Coordination
University of Cincinnati（辛辛那提大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对有向图下受物理输入约束的标量智能体，提出网络化可容许性保持控制架构，通过精确级联实现指数共识并保证安全走廊与执行器区间前向不变。
2026-11-06 cs.MA cs.RO cs.SY
AgenticDiffusion: Multi-View Reasoning with View-Conditioned Diffusion Planning for Vision-Based UAV Navigation
University of Engineering and Technology, Lahore（拉合尔工程与技术大学）
提出AgenticDiffusion多视角无人机导航框架，结合语言引导推理、开放词汇目标定位、视觉扩散规划与NMPC，通过协调第一人称和俯视图提升室内导航效率，在40次真实实验中实现80%任务成功率。
2026-09-23 cs.AI cs.RO cs.SY
Path Planning for a Cooperative Navigation Aid Vehicle to Assist Multiple Agents Sequentially
Department of Mechanical Engineering（机械工程系）；Engineering Science, University of North Carolina at Charlotte（工程科学，北卡罗来纳大学夏洛特分校）
本文提出了一种贪心算法，用于规划协作导航辅助车路径，以依次协助多个智能体并减少导航不确定性。
2024-07-09 cs.RO cs.SY eess.SY
SOCIALGYM 2.0: Simulator for Multi-Agent Social Robot Navigation in Shared Human Spaces
University of Texas, Austin（德克萨斯大学奥斯汀分校）
我们提出SocialGym 2，多智能体导航模拟器的社会机器人研究。我们的模拟器模拟多个自主智能体，在复杂的环境中复制真实世界的动态，包括门口，走廊，十字路口和环形交叉口。与传统的模拟器不同，SocialGym 2采用多智能体强化学习（MARL）来为复杂环境中具有不同动态约束的多个机器人制定最佳导航策略。SocialGym 2基于PettingZoo MARL库和Stable Baselines3 API构建，提供了一个可访问的Python接口，通过ROS消息传递与导航堆栈集成。SocialGym 2可以很容易地安装并打包在Docker容器中，它提供了交换和评估不同MARL算法的能力，以及自定义观察和奖励功能。我们还提供脚本，允许用户创建自己的环境，并使用各种社交导航算法进行基准测试，报告广泛的社交导航指标。预计托管于：https://amrl.cs.utexas.edu/social_gym/index.html
2023-03-09 cs.AI cs.MA cs.RO
NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions
CFCS, School of Computer Science, Peking University（计算机学院，北京大学）
NavSpace基准测试通过评估导航代理的空间感知与推理能力，提出SNav模型在指令遵循任务中表现优异，为具身智能研究提供新基准。
2026-03-10 cs.AI cs.CL cs.CV
Cross-Modal Navigation with Multi-Agent Reinforcement Learning
Khoury College of Computer Sciences（计算机科学学院）
本文提出CRONA框架，通过多智能体强化学习实现跨模态导航，利用辅助信念和集中式多模态批评者提升协作效率，实验表明多智能体方法在视觉-听觉导航中优于单智能体基线。
2026-05-07 cs.AI cs.LG cs.MA
Differentiable Environment-Trajectory Co-Optimization for Safe Multi-Agent Navigation
University of Cambridge（剑桥大学）；Zurich University of Applied Sciences, ZHAW（苏黎世应用科技大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出一种可微环境-轨迹联合优化方法，通过双层优化问题提升多智能体导航的安全性和效率，实验验证了其在物流和交通场景中的有效性。
2026-04-08 cs.MA cs.RO
Learning Graph-Enhanced Commander-Executor for Multi-Agent Navigation
Tsinghua University（清华大学）；Paradigm Inc.（第四范式公司）；Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文研究了多智能体导航问题，它要求多个智能体在有限的时间内到达目标。多智能体强化学习（MARL）在解决这一问题上已经显示出了良好的效果。然而，MARL在大的搜索空间中直接探索（接近）最优策略是低效的，这随着代理数量的增加而加剧（例如，10+代理）或环境更复杂（例如，3D模拟器）。目标条件分层强化学习（HRL）通过引入分层结构来分解搜索空间，其中低级策略在从高级策略导出的目标的指导下预测原始动作，为解决这一挑战提供了一个有希望的方向。在本文中，我们提出了多智能体图形增强的命令-执行器（MAGE-X），一个基于图的目标条件分层方法的多智能体导航任务。MAGE-X包括一个高级别的目标指挥官和一个低级别的行动执行者。目标指挥官预测目标的概率分布，并利用它们为每个代理分配最合适的最终目标。动作执行者利用图神经网络（GNN）为每个代理构建一个子图，只包含关键的合作伙伴，以提高合作。此外，Action Executor中的Goal Encoder捕获Agent与指定目标之间的关系，以鼓励Agent达到最终目标。结果表明，MAGE-X优于最先进的MARL基线，在具有50个智能体的多智能体粒子环境（MPE）中只有300万个训练步骤，成功率为100%，在更复杂的四旋翼3D导航任务中，成功率至少高出12%，数据效率高出2倍。
2023-02-08 cs.AI cs.MA cs.RO
Strategic Pseudo-Goal Perturbation for Deadlock-Free Multi-Agent Navigation in Social Mini-Games
Delhi Technological University（德里技术大学）
本文提出策略性伪目标扰动（SPGP）技术，基于Safety Barrier Certificates框架，通过在死锁时选择伪目标引导智能体，有效解决多智能体导航中的死锁问题，提升系统效率与安全性。
2024-07-25 cs.MA cs.RO
Decomposing the Prediction Problem; Autonomous Navigation by neoRL Agents
UiT – Norges Artigste Universtet（UiT——挪威北极大学）
导航世界是任何生物的基本能力。事实证明，在技术上实现同样的自由度是困难的。大脑是唯一已知的能够自主导航的机制，使神经科学成为我们实现自主性的最佳灵感来源。假设状态表示是关键，我们探索大脑和机器如何表示导航状态的差异。其中，强化学习（RL）需要根据马尔可夫特性的单片状态表示，欧几里得空间的神经表示（NRES）通过分布式激活模式反映导航状态。在通过实验验证我们的理论发现之前，我们展示了NRES导向的RL（neoRL）代理是如何可能的。最终，neoRL代理能够跨状态空间进行行为合成-允许将问题分解到更小的空间，减轻维度灾难。
2021-06-30 cs.AI cs.RO
MultiON: Benchmarking Semantic Map Memory using Multi-Object Navigation
IIT Kanpur（印度理工学院坎普尔分校）；Simon Fraser University（西蒙弗雷泽大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
真实感3D环境中的导航任务具有挑战性，因为它们需要在部分可观测性下进行感知和有效规划。最近的研究表明，地图般的记忆是有用的长视野导航任务。然而，尚未进行地图对不同复杂性的导航任务的影响的集中调查。我们提出了multiON任务，它需要在现实环境中导航到特定场景的对象序列。MultiON概括了ObjectGoal导航任务，并明确测试导航代理定位先前观察到的目标对象的能力。我们进行了一组multiON实验，以研究各种代理模型如何在导航任务复杂性的频谱上执行。我们的实验表明：i）导航性能随着任务复杂性的升级而显著降低; ii）简单的语义映射代理相对于更复杂的神经图像特征映射代理表现得令人惊讶地好;以及iii）甚至Oracle映射代理也实现相对较低的性能，这表明在使用映射训练具身导航代理方面的未来工作的潜力。视频摘要：https://youtu.be/yqTlHNIcgnY
2020-12-07 cs.AI cs.CV cs.LG
Environment Optimization for Multi-Agent Navigation
University of Cambridge（剑桥大学）
传统的多智能体导航算法的设计方法将环境视为一个固定的约束，尽管空间约束对智能体的性能有明显的影响。然而，手工设计改进的环境布局和结构是低效的，并且可能是昂贵的。本文的目标是考虑环境作为一个决策变量，在系统级优化问题，代理性能和环境成本都可以占。首先，我们提出了一个新的环境优化问题。我们通过形式证明，在哪些条件下环境可以改变，同时保证完整性（即，所有代理都达到它们的导航目标）。我们的解决方案利用了无模型强化学习方法。为了适应广泛的实施方案，我们包括在线和离线优化，以及离散和连续的环境表示。数值结果证实了我们的理论研究结果和验证我们的方法。
2022-09-22 cs.LG cs.MA cs.RO
Meta Navigation Functions: Adaptive Associations for Coordination of Multi-Agent Systems
EPFL（洛桑联邦理工学院）
在本文中，我们引入了一类新的势场，即，Meta导航功能（MNF），以协调多代理系统。由于MNF公式化，代理可以通过部分和/或全部关联来促进彼此的协调，这与传统的分散式导航功能（DNF）相反。特别地，试剂可以通过它们的MNF相互刺激。此外，MNF需要被限制，这与DNF的Morse条件相比是较弱的条件。MNF由约束函数和吸引核组成。前者的临界点可以被限制在目标临界点周围的安全区域内。在到达安全区域之前，代理的无碰撞轨迹及其与对等体的关联由一个受限函数控制。然后，吸引核将智能体驱动到安全区域中的目标。与DNF相比，MNF提供更快的协调。我们说明了如何MNF可能会表现出一些社会行为的过程中的部分和总的协会之间的代理。我们的模拟验证了MNF协调复杂的代理群的效率。
2022-10-04 cs.MA cs.RO
CAMON: Cooperative Agents for Multi-Object Navigation with LLM-based Conversations
本文提出CAMON框架，利用大语言模型通信与动态领导组织结构，实现去中心化多智能体协作导航，以更少通信达成更快共识，在多目标导航中保持无冲突与鲁棒性。
2024-06-30 cs.CL cs.CV cs.MA
Constrained Environment Optimization for Prioritized Multi-Agent Navigation
University of Cambridge（剑桥大学）
本文将环境视为系统级优化中的决策变量，提出无优先级和有优先级的环境优化问题，利用强化学习和原始-对偶机制解决受约束的随机优化问题，数值结果证明了方法的有效性与适应性。
2023-05-18 cs.LG cs.MA cs.RO
Emergence of Maps in the Memories of Blind Navigation Agents
Georgia Institute of Technology（佐治亚理工学院）；FAIR, Meta AI（元人工智能基础人工智能研究院）；Simon Fraser University（西蒙弗雷泽大学）；Google Research Atlanta（谷歌亚特兰大研究院）；Oregon State University（俄勒冈州立大学）
动物导航研究假设生物体构建并维持其环境的内部空间表示或地图。我们问机器-特别是人工智能（AI）导航代理-是否也构建隐式（或“心理”）地图。对这个问题的肯定回答将（a）解释最近文献中表面上无地图的神经网络实现强大性能的令人惊讶的现象，（b）加强映射作为智能体现代理导航的基本机制的证据，无论它们是生物还是人工的。与动物导航不同，我们可以明智地设计智能体的感知系统，并控制学习范式，使替代导航机制无效。具体来说，我们训练“盲”智能体--感知仅限于自我运动，没有其他任何类型的感知--通过强化学习执行PointGoal导航（“转到$Δ$ x，$Δ$ y”）。我们的代理由导航不可知的组件（全连接和递归神经网络）组成，我们的实验设置没有提供对映射的归纳偏见。尽管有这些苛刻的条件，我们发现，盲人代理人是（1）令人惊讶的有效导航员在新的环境中（~95%的成功率）;（2）他们在长时间内利用记忆（在一个事件中记住过去经验的1,000步）;（3）这种记忆使他们能够表现出智能行为（沿着墙壁，检测碰撞，走捷径）;（4）在由盲智能体在导航时构建的环境的表示中出现地图和碰撞检测神经元;以及（5）涌现地图是选择性的和任务依赖的（例如，智能体“忘记”探索迂回）。总的来说，本文没有为AI观众提供新技术，但有一个令人惊讶的发现，一个见解和一个解释。
2023-01-30 cs.AI cs.CV cs.LG
QCQP-Tunneling: Ellipsoidal Constrained Agent Navigation
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
针对完全未知和不可见连续环境下的在线路径规划问题，提出了一种基于凸QCQP的椭球约束智能体导航（ECAN）算法。ECAN计划路径的代理，使一个隧道的重叠椭圆，在一个在线的方式，通过环境。在椭球体形成步骤中的凸约束避免与障碍物的碰撞。在线隧穿问题被解决为凸QCQP。本文假设没有约束的形状的代理和障碍。然而，为了使方法更清晰，本文首先介绍了一个点质量代理点大小的障碍物的框架。在解释了绘制椭圆隧道的基本原理后，将框架扩展到具有有限面积（2d空间）和有限体积（3d空间）的代理和障碍物。
2023-02-26 cs.AI cs.RO
Self-Monitoring Navigation Agent via Auxiliary Progress Estimation
Georgia Institute of Technology（佐治亚理工学院）；Salesforce Research（Salesforce 研究院）；University of Maryland, College Park（马里兰大学帕克分校）
视觉和语言导航（VLN）任务需要一个代理在照片逼真的未知环境中遵循导航指令。这个具有挑战性的任务要求智能体知道哪个指令已经完成，接下来需要哪个指令，走哪条路，以及它朝着目标的导航进度。在本文中，我们介绍了一个自我监控代理有两个互补的组件：（1）视觉-文本共接地模块定位在过去完成的指令，下一个动作所需的指令，并从周围的图像和（2）进度监视器，以确保接地指令正确地反映导航进度的下一个移动方向。我们测试我们的自我监控代理的标准基准，并分析我们提出的方法，通过一系列的消融研究，阐明的主要组成部分的贡献。使用我们提出的方法，我们设置了一个显着的保证金（在看不见的测试集上成功率绝对增加8%）的新的最先进的。代码可在https://github.com/chihyaoma/selfmonitoring-agent上获得。
2019-01-10 cs.AI cs.CL cs.CV
Efficient Multi-Agent Global Navigation Using Interpolating Bridges
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；City University of Hong Kong（香港城市大学）
针对具有一般线性动力学的连续时间多智能体系统，提出了一种新的无碰撞全局导航方法。我们的方法是通用的，可以用来执行无碰撞导航在2D和3D狭窄的通道和拥挤的地区。作为预计算的一部分，我们使用动息RRT算法计算工作空间中狭窄或紧密区域中的多个桥。我们的桥有一定的几何特征，使我们能够计算每个代理在运行时使用简单的插值的无碰撞轨迹。此外，我们结合内插的桥梁轨迹与本地多智能体导航算法来计算每个代理的全球无碰撞路径。整个方法结合了耦合多智能体算法的性能优势与预先计算的桥梁轨迹，以处理具有挑战性的情况。在实践中，我们的方法可以在2D和3D图形中在单个CPU核心上实时处理数十到数百个代理。
2016-07-25 cs.RO
Danger-aware Adaptive Composition of DRL Agents for Self-navigation
National University of Singapore（新加坡国立大学）
自主导航是指移动机器人在避免与障碍物碰撞的同时自动到达目标的能力，是移动机器人所需的基本技能。近年来，深度强化学习（DRL）在机器人导航算法的发展中显示出巨大的潜力。然而，训练机器人同时学习到达目标和避障的技能仍然是困难的。另一方面，虽然提出了许多基于DRL的避障算法，但很少有人被重用于更复杂的导航任务。本文提出了一种新的导航感知自适应组合（DAAC）框架，将两个单独的DRL训练的代理，避障和目标达成，构建一个导航代理没有任何重新设计和再训练。这种自适应合成方法的关键在于，避障智能体输出的价值函数作为评估当前情况的风险水平的指标，这反过来又决定了这两个智能体对下一步行动的贡献。仿真和实际测试结果表明，组合导航网络可以控制机器人完成困难的导航任务，在未知复杂环境中安全、快速地实现一系列连续目标。
2020-01-08 cs.RO
Robotic Navigation using Entropy-Based Exploration
KAIST（韩国科学技术院）
机器人导航是指机器人在复杂的环境中能够找到一条安全可行的路径并在两点之间穿行的任务。我们使用强化学习来解决机器人导航问题，并使用深度$Q$网络来训练代理来解决机器人导航任务。我们比较了基于熵的探索（EBE）和广泛使用的$ε$ -贪婪的探索策略，通过训练智能体使用它们在模拟。然后，在不同版本的环境中测试经过训练的代理，以测试学习策略的泛化能力。我们还实现了一个真正的机器人在复杂的现实环境中学习的政策，没有任何微调，并比较上述探索策略在现实世界中的设置的有效性。在\url{https://youtu.be/NHT-EiN_4n8}上可以观看TurtleBot 3平台上的实验视频。
2019-06-17 cs.RO cs.SY eess.SY
Advancing Audio-Visual Navigation Through Multi-Agent Collaboration in 3D Environments
Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center（新疆多模态智能处理与信息安全工程技术研究中心）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Electrical Engineering and Automation, Tianjin University of Technology（天津理工大学电气工程与自动化学院）
针对动态3D环境中单智能体视听导航协调能力不足的问题，提出MASTAVN多智能体协作框架，通过跨智能体通信与视听融合提升导航效率和成功率。
2025-09-21 cs.AI cs.RO
Attention Graph for Multi-Robot Social Navigation with Deep Reinforcement Learning
Univ Lyon（里昂大学）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；INSA Lyon（里昂国立应用科学学院）；CPE Lyon（里昂高等化学、物理及电子学校）；INRIA（法国国家信息与自动化研究所）
针对现有深度强化学习社交导航方法未覆盖多机器人场景的问题，提出MultiSoc方法，结合图神经网络与注意力机制建模多智能体交互，经仿真验证学习更快、可实现高效多智能体协调，且支持邻域密度可调。
2024-01-31 cs.AI cs.RO
SpaceVLN: A Zero-Shot Vision-and-Language Navigation Agent with Online Spatial Cognitive Memory and Reasoning
Shanghai Jiao Tong University（上海交通大学）；China Telecom（中国电信）；Central South University（中南大学）；Jiangsu University（江苏大学）
提出SpaceVLN，通过空间认知记忆和任务引导的空间推理，在零样本设置下实现连续环境中的视觉与语言导航，在多个基准上达到最优性能。
2026-06-08 cs.AI cs.CV cs.RO
Building Intelligent Autonomous Navigation Agents
Carnegie Mellon University（卡内基梅隆大学）
在过去的十年中，机器学习的突破导致了“数字智能”，即能够从大量标记数据中学习以执行诸如语音识别、面部识别、机器翻译等数字任务的机器学习模型。即，构建智能自主导航代理，其能够学习在物理世界中执行复杂的导航任务，包括视觉感知、自然语言理解、推理、规划和顺序决策。尽管在过去的几十年中，经典的导航方法取得了一些进展，目前的导航代理在长期的语义导航任务的斗争。在论文的第一部分中，我们讨论了我们在短期导航方面的工作，使用端到端强化学习来解决避障、语义感知、语言基础和推理等挑战。在第二部分中，我们提出了一类基于模块化学习和结构化显式地图表示的新导航方法，这些方法利用了经典和端到端学习方法的优势，以解决长期导航任务。我们表明，这些方法能够有效地解决本地化，映射，长期规划，探索和学习语义先验等挑战。这些模块化的学习方法能够进行长期的空间和语义理解，并在各种导航任务上取得最先进的成果。
2021-06-25 cs.AI cs.CV cs.LG
Optimizing Indoor Navigation Policies For Spatial Distancing
Rutgers University（罗格斯大学）；New Jersey Institute of Technology（新泽西理工学院）；York University（约克大学）；Toronto Rehabilitation Institute（多伦多康复研究所）
在本文中，我们专注于修改的政策，可以导致运动模式和方向指导的居住者，这是表示为代理在3D仿真引擎。我们展示了一种优化方法，该方法通过引入作为代理密度的函数的代理的空间距离的度量（即，占用）。我们的优化框架利用这些指标作为目标函数，使用混合的方法相结合的遗传算法和模拟退火。我们表明，在我们的框架内，模拟优化过程可以通过优化给定室内环境的导航策略来帮助提高代理之间的空间距离。
2022-06-04 cs.AI cs.GR cs.MA
VULCAN: Vision-Language-Model Enhanced Multi-Agent Cooperative Navigation for Indoor Fire-Disaster Response
Computer Science \& Engineering Michigan State University East Lansing, MI, USA
本文提出VULCAN框架，结合多模态感知与视觉语言模型，解决火灾环境下多智能体协作导航的挑战，通过模拟真实火灾场景评估现有方法的失效模式，强调鲁棒感知与危险意识规划的重要性。
2026-04-14 cs.RO
Co-Optimizing Reconfigurable Environments and Policies for Decentralized Multi-Agent Navigation
University of Cambridge（剑桥大学）
本文提出智能体-环境协同优化框架，通过策略梯度无模型学习交替优化智能体导航策略与可重构环境布局，并证明其收敛性，实验表明优化后的环境能有效引导多智能体避碰导航。
2025-07-02 cs.LG cs.MA cs.RO
Navi-Agent: Unlocalized Monocular Navigation Agent
Shanghai Jiao Tong University（上海交通大学）；Xinjiang University of Finance and Economics（新疆财经大学）；Shenzhen University（深圳大学）；Southern University of Science and Technology（南方科技大学）
Navi-Agent提出一种无坐标空间状态（导航拓扑）的零样本VLN-CE智能体，通过视觉观察与运动历史实现自定位、进度验证与恢复，在基准和真实机器人上达到几何约束方法最优性能。
2026-09-21 cs.CV cs.RO
Guided Navigation from Multiple Viewpoints using Qualitative Spatial Reasoning
Flinders University（弗林德斯大学）
导航是移动代理完全自主并能够执行复杂动作的基本能力。然而，对世界感知有限（或没有）或缺乏完全定义的运动模型的智能体的导航问题，在人工智能和机器人技术的研究中很少受到关注。解决这个问题的一种方法是使用引导导航，其中其他被赋予感知的自主智能体可以结合它们不同的观点来推断定位和适当的命令，以引导被剥夺感觉的智能体通过特定的路径。该任务应该在允许使用通用运动模型和高级命令的抽象级别上进行，所述通用运动模型和高级命令可以由包括人类在内的任何类型的自主智能体应用。在这项工作中考虑的主要任务是，给定一组自主智能体感知他们的共同环境与他们的独立，自我中心和本地视觉传感器，开发和评估的算法能够产生一组高层次的命令（涉及定性方向：例如，向左移动，直行）能够引导感官剥夺机器人的目标位置。
2020-11-03 cs.AI cs.RO
Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method
Shanghai Jiao Tong University（上海交通大学）
本文首次系统形式化多智能体视觉与语言导航为受约束协调问题，构建含11,724情节的MAVLN基准，并提出TRISS系统，实验揭示协调挑战与改进空间。
2026-10-08 cs.AI cs.CV cs.RO
Human-Inspired Multi-Agent Navigation using Knowledge Distillation
Clemson University（克莱姆森大学）
本文提出一种结合知识蒸馏与强化学习的框架，利用人类轨迹演示提取专家策略以塑造奖励，训练多智能体在分散环境中学习人类式避碰策略，并在未演示任务中超越专家。
2023-08-29 cs.LG cs.RO
Pushing it out of the Way: Interactive Visual Navigation
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们已经观察到显着的进展，在视觉导航体现代理。研究视觉导航的一个常见假设是环境是静态的;这是一个限制性假设。智能导航可能涉及与环境交互，而不仅仅是向前/向后移动和向左/向右转弯。有时候，最好的导航方式就是把一些东西推开。在本文中，我们研究了交互式导航的问题，其中代理人学会改变环境，更有效地导航到他们的目标。为此，我们引入神经交互引擎（NIE）来明确预测代理的行为所引起的环境变化。通过建模的变化，而规划，我们发现，代理表现出显着的改善，他们的导航能力。更具体地说，我们考虑了两个下游任务中的物理功能，视觉丰富，AI 2-THOR环境：（1）到达目标，而目标的路径被封锁（2）移动一个对象到目标位置通过推动它。对于这两个任务，代理配备了NIE显着优于代理没有理解的行动的效果，表明我们的方法的好处。
2021-05-02 cs.AI cs.CV cs.RO
What do navigation agents learn about their environment?
Goethe University Frankfurt（法兰克福歌德大学）；Allen Institute for AI（艾伦人工智能研究所）
当今最先进的视觉导航代理通常由端到端训练的大型深度学习模型组成。这样的模型几乎没有提供关于学习的技能或代理响应其环境所采取的行动的可解释性。虽然过去的工作已经探索了解释深度学习模型，但很少关注解释具体的人工智能系统，这通常涉及对环境结构，目标特征和行动结果的推理。在本文中，我们介绍了点目标和目标导航代理的可解释性系统（iSEE）。我们使用iSEE来探测这些代理所产生的关于代理和环境的信息的存在的动态表示。我们展示了关于使用iSEE的导航代理的有趣见解，包括编码可到达位置（以避免障碍物）的能力，目标的可见性，从初始产卵位置的进展以及当我们屏蔽关键的单个神经元时对代理行为的戏剧性影响。代码可在以下网址获得：www.example.com
2022-06-17 cs.CV cs.LG cs.RO
Success Weighted by Completion Time: A Dynamics-Aware Evaluation Criteria for Embodied Navigation
Georgia Institute of Technology（佐治亚理工学院）；Robotics at Google（谷歌机器人部门）；Facebook AI Research (FAIR)（脸书人工智能研究院（FAIR））
提出按完成时间加权的成功率（SCT）指标，考虑动力学模型，评估具身导航性能，并验证其在仿真和真实世界中的有效性。
2023-10-12 cs.AI cs.RO
RMM: A Recursive Mental Model for Dialog Navigation
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
智能引导机器人必须能够向人类提出问题并理解答案。现有的许多工作只关注后者。在本文中，我们超越了指令遵循，并介绍了两个代理人的任务，其中一个代理人导航，并提出问题，第二，指导代理人回答。受心理理论的启发，我们提出了递归心理模型（RMM）。导航代理模型的指导代理模拟答案候选人产生的问题。引导代理反过来对导航代理进行建模，以模拟生成答案所需的导航步骤。我们使用智能体朝向目标的进展作为强化学习奖励信号，不仅直接通知导航动作，而且还通知问题和答案生成。我们证明了RMM可以更好地推广到新的环境。对话者建模可能是人类与智能体对话的一种方式，在这种方式下，机器人需要提问和回答问题。
2020-10-06 cs.AI cs.CL cs.CV
Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments
Institute of Automation, Chinese Academy of Science (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；The University of Hong Kong（香港大学）
针对连续环境视觉语言导航的多模态理解与决策挑战，提出基于大语言模型的生成式智能体Cog-GA，通过构建认知地图、航点预测、双通道场景描述与反思机制实现类人导航，达到SOTA性能并提升可解释性。
2024-09-23 cs.AI cs.RO
Communicative Learning with Natural Gestures for Embodied Navigation Agents with Human-in-the-Scene
UCLA（加州大学洛杉矶分校）
人机协作是人工智能（AI）的一个重要研究课题，使研究人员能够设计认知AI系统，并为用户提供与机器人交互的直观方式。值得注意的是，沟通发挥着核心作用。到目前为止，先前的研究体现代理导航只表明，人类语言促进通信的指令在自然语言。尽管如此，还有许多其他形式的交流方式没有得到探索。事实上，人类交流起源于手势，并且通常通过多模态提示来传递，例如，用指向手势“去那里”。为了弥合差距，并填补在体现代理导航的沟通缺失的维度，我们建议调查使用手势作为沟通界面，而不是口头提示的影响。具体而言，我们开发了一个基于VR的三维仿真环境，命名为Ges-THOR，基于AI 2-THOR平台。在这个虚拟环境中，一个人类玩家被放置在同一个虚拟场景中，只使用手势来引导人工代理。该代理的任务是解决导航问题的自然手势与未知的语义指导，我们不使用任何预定义的手势，由于人类手势的多样性和通用性。我们认为，学习自然手势的语义是互惠互利的学习导航任务-学习沟通和沟通学习。在一系列的实验中，我们证明了人类的手势提示，即使没有预定义的语义，提高了对象目标导航的体现代理，优于各种国家的最先进的方法。
2021-08-05 cs.AI cs.CV cs.HC
DORAEMON: Decentralized Ontology-aware Reliable Agent with Enhanced Memory Oriented Navigation
针对家庭服务机器人零样本导航中的时空不连续、记忆非结构化等问题，提出认知启发的DORAEMON框架，以腹侧和背侧流融合语义与策略，在HM3D等数据集上取得最优SR和SPL。
2025-09-25 cs.AI cs.RO
Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation
Shanghai Jiao Tong University（上海交通大学）；Alibaba Inc（阿里巴巴集团）；Zhongguancun Academy（中关村学院）；Adelaide University（阿德莱德大学）；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出NavMCP框架，结合VLM推理智能体与NFM执行器实现长时程导航，在多个具身问答基准及Unitree Go2机器人上取得优于基线的性能，验证了该方法的有效性。
2026-09-01 cs.AI cs.RO
NavHarness: Adaptive Goals for Agentic Vision-Language Navigation
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）
NavHarness提出一种智能体VLN框架，通过目标、验证、记忆和视觉运动智能体协同，实现自适应目标设定与历史压缩，在R2R-CE和RxR-CE上取得83.3%成功率和1.51米导航误差。
2026-10-01 cs.CV cs.RO
Do Visual Imaginations Improve Vision-and-Language Navigation Agents?
Oregon State University（俄勒冈州立大学）
本研究探讨视觉想象对视觉-语言导航智能体的作用，通过文本生成图像扩散模型生成指令隐含子目标的视觉表征作为地标线索，结合辅助损失提升关联能力，最终实现导航成功率等指标的提升。
2025-03-20 cs.AI cs.CL cs.CV
MOPA: Modular Object Navigation with PointGoal Agents
Simon Fraser University（西蒙菲莎大学）；University of Padova（帕多瓦大学）；FBK（布鲁诺·凯斯勒基金会）；Meta AI
本研究提出具身智能目标导航的模块化方法MOPA，复用预训练PointGoal智能体作导航模块以降本增效，实验发现简单均匀探索策略优于先进方法。
2024-01-27 cs.CV cs.RO
GameChat: Multi-LLM Dialogue for Safe, Agile, and Socially Optimal Multi-Agent Navigation in Constrained Environments
University of Virginia（弗吉尼亚大学）
本文提出GameChat方法，通过自然语言通信解决多智能体在受限环境中安全、敏捷且无 deadlock 的导航问题，实验显示其在目标到达时间及优先级任务完成率上显著提升。
2026-05-09 cs.MA cs.RO
Counterfactual Fairness Filter for Fair-Delay Multi-Robot Navigation
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）
针对公平延迟多机器人导航中的信用分配难题，提出NCF2算法，通过反事实推理让智能体决定前进或静止，有效均衡通行延迟并保持高效率与安全性。
2023-05-19 cs.MA cs.RO
Distributed Planning with Asynchronous Execution with Local Navigation for Multi-agent Pickup and Delivery Problem
Shimizu Corporation（清水建设株式会社）；Waseda University（早稻田大学）
我们提出了一个分布式规划方法与异步执行的多代理皮卡和交付（MAPD）问题的环境中偶尔延迟代理的活动和灵活的端点。MAPD是一个具有许多应用的关键问题框架;然而，大多数现有的研究假设理想的代理行为和环境，例如代理的固定速度，同步运动，以及设计良好的环境，多个代理可以轻松地执行任务。然而，这样的环境通常是不可行的;例如，代理的移动速度可能受到天气和地板条件的影响，并且通常容易出现延迟。该方法通过允许智能体的动作速度波动和灵活的工作地点（端点），可以放宽一些不可行的条件，使MAPD应用于更真实的环境。我们的实验表明，我们的方法使代理在这样的环境中有效地执行MAPD相比，基线方法。我们还分析了使用我们的方法的代理的行为，并讨论了局限性。
2023-02-18 cs.MA cs.RO
VLN-MME: Diagnosing MLLMs as Language-guided Visual Navigation agents
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Adelaide University（阿德莱德大学）
VLN-MME通过统一评估框架揭示MLLMs在具身导航任务中的局限性，发现其3D空间推理能力不足。
2026-01-06 cs.CV cs.RO
SpatialNav: Leveraging Spatial Scene Graphs for Zero-Shot Vision-and-Language Navigation
Fudan University, Shanghai, China（复旦大学）；University of Southern California, Los Angeles, USA（南加州大学）；Australian Institute for Machine Learning, Adelaide University, Australia（澳大利亚机器学习研究所）；Shanghai Innovation Institute, Shanghai, China（上海创新研究院）
SpatialNav通过构建空间场景图，利用全局空间表示提升零样本视觉-语言导航的效率与性能。
2026-01-11 cs.AI cs.CV cs.RO
Hierarchical Cross-Modal Agent for Robotics Vision-and-Language Navigation
Georgia Institute of Technology（佐治亚理工学院）
深度学习彻底改变了我们解决视觉和语言导航（VLN）等复杂问题的能力。该任务要求智能体纯粹基于视觉感官输入给出自然语言指令导航到目标。然而，以前的作品制定的问题作为一个导航图与离散的动作空间。在这项工作中，我们解除代理的导航图，并提出了一个更复杂的VLN设置在连续的三维重建环境。我们提出的设置，机器人VLN，更接近模仿现实世界导航的挑战。Robo-VLN任务具有较长的轨迹长度，连续的动作空间和障碍物等挑战。我们提供了一套基线的灵感来自国家的最先进的离散VLN的作品，并表明他们在这项任务中是不太有效的。我们进一步提出，将任务分解为专门的高级和低级政策可以更有效地解决这个任务。通过大量的实验，我们表明，通过使用分层决策，模块化训练和解耦推理和模仿，我们提出的分层跨模态（HCM）代理在所有关键指标上都优于现有的基线，并为Robo-VLN设定了一个新的基准。
2021-04-21 cs.RO
Imaginative World Modeling with Scene Graphs for Embodied Agent Navigation
University of Michigan（密歇根大学）
提出SGImagineNav框架，利用分层场景图和大型视觉语言模型进行想象性世界建模，通过自适应导航策略提升具身智能体语义导航效率，在HM3D和HSSD上成功率分别达65.4%和66.8%。
2026-09-09 cs.RO
Agent Prioritization for Autonomous Navigation
Google Research（谷歌研究院）；Waymo
在自主导航中，规划系统推理其他智能体来规划安全且合理的轨迹。在规划开始之前，代理通常使用计算密集型模型进行处理，用于识别，跟踪，运动估计和预测。由于有限的计算资源和大量的代理实时的处理，它成为重要的是有效地排名代理根据他们对决策过程的影响。这允许花费更多的时间处理最重要的代理。我们提出了一个系统，排名代理周围的自动驾驶汽车（AV）在实时的。我们通过在真实世界的日志数据上运行模拟规划器来自动生成排名数据集，这样我们就可以在所有代理上运行更准确和更昂贵的模型。各种计划器动作的原因被记录并用于分配地面实况重要性分数。生成的数据集可用于学习排名模型。特别是，我们展示了通过卷积神经网络将学习到的特征与设计用于捕获领域知识的工程特征相结合的实用性。我们展示了各种设计选择的好处实验。当在真实的自动驾驶汽车上进行测试时，我们的系统展示了理解复杂驾驶情况的能力。
2019-09-19 cs.AI cs.LG cs.RO
Dense Multi-Agent Navigation Using Voronoi Cells and Congestion Metric-based Replanning
University of Maryland at College Park（马里兰大学帕克分校）；University of Maryland（马里兰大学）
我们提出了一个分散的路径规划算法导航多个差动驱动机器人在密集的环境。与之前的分散方法相比，我们提出了一种新的基于拥塞度量的重新规划，该重新规划将局部和全局规划技术结合起来，以有效地在具有多个走廊的场景中进行导航。为了处理密集的场景与狭窄的通道，我们的方法计算初始路径为每个代理到其指定的目标使用格规划。基于邻居的信息，每个代理执行在线重新规划使用的拥塞度量，倾向于减少碰撞，提高导航性能。此外，我们使用的Voronoi细胞的每个代理计划的局部运动以及走廊选择策略，以限制拥挤在狭窄的通道。我们评估了我们的方法在复杂的仓库场景中的性能，并证明了比以前的方法提高了性能和效率。此外，我们的方法在无碰撞导航到目标方面的成功率更高。
2022-02-23 cs.RO
Benchmarking Augmentation Methods for Learning Robust Navigation Agents: the Winning Entry of the 2021 iGibson Challenge
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research (FAIR)（脸书人工智能研究院）
本研究基准测试了多种增强方法，发现训练时加入动态障碍物可显著提升导航智能体在动态环境中的泛化能力，结合图像增强效果更佳，并在2021 iGibson挑战赛交互式导航中夺冠。
2023-10-12 cs.AI cs.RO
