Visual Cue Guided Video Planning for Generalizable Robot Navigation
Technical University of Munich(慕尼黑工业大学);Massachusetts Institute of Technology(麻省理工学院);Örebro University(厄勒布鲁大学)
提出CueNav,结合视觉提示引导的视频规划与逆动力学模型,实现长视界、具身感知的泛化机器人导航,显著提升迷宫和狭窄通道成功率。
2026-09-17 cs.AI cs.CV cs.LG
A horizon line annotation tool for streamlining autonomous sea navigation experiments
Abdelmalek-Essaadi University(阿卜杜勒-马利克·埃萨迪大学);Laboratory of Informatics, Systems & Telecommunications(信息学、系统与电信实验室)
针对自主海上导航中地平线检测数据集缺失海况的标注难题,提出首个具备定制功能的公开海平线标注软件,使图像标注过程快速简便。
2023-09-11 cs.CV
Transformers for Image-Goal Navigation
Minnesota Robotics Institute(明尼苏达机器人研究所);University of Minnesota - Twin Cities(明尼苏达大学双城分校)
针对图像目标导航任务,提出一种生成式Transformer模型,联合建模图像目标、观测与历史动作,利用先进感知模型学习策略,无需实时交互,有效支持长时程导航。
2024-05-24 cs.CV cs.LG cs.RO
HRL4IN: Hierarchical Reinforcement Learning for Interactive Navigation with Mobile Manipulators
Stanford University(斯坦福大学)
人类环境中最常见的导航任务需要辅助手臂交互,例如开门、按下按钮和推开障碍物。这种类型的导航任务,我们称之为交互式导航,需要使用移动操纵器:具有操纵能力的移动基地。交互式导航任务通常是长时间的,由纯导航、纯操作及其组合的异构阶段组成。使用实施例的错误部分是低效的并且阻碍进展。我们提出了HRL 4 IN,一种新的分层RL架构的交互式导航任务。HRL 4 IN利用了HRL在平面RL上的探索优势,用于长视野任务,这要归功于对子目标的时间延长承诺。与其他HRL解决方案不同,HRL 4 IN通过在任务的不同阶段在不同空间中创建子目标来处理交互式导航任务的异构性。此外,HRL 4 IN选择实施例的不同部分用于每个阶段,从而提高能量效率。我们评估HRL 4 IN对平面PPO和HAC,一个国家的最先进的HRL算法,在两个环境中的交互式导航-一个2D网格世界环境和一个3D环境与物理模拟。我们表明,HRL 4 IN在任务性能和能源效率方面显着优于其基线。更多信息请访问https://sites.google.com/view/hrl4in。
2019-10-24 cs.AI cs.CV cs.LG
DreamFly: Causal Memory and Receding-Horizon Diffusion Planning for Aerial Vision-Language Navigation
School of Electronic Information Engineering, Xi’an Technological University(西安工业大学电子信息工程学院);School of Computer Science and Engineering, Xi’an Technological University(西安工业大学计算机科学与工程学院)
DreamFly是基于Dream-VLA的扩散式空中VLN框架,通过因果记忆、后退时域扩散规划和LiteStop解耦终止,在OpenFly基准上显著优于对比方法。
2026-08-13 cs.AI cs.CV
Vision-and-Language Navigation Today and Tomorrow: A Survey in the Era of Foundation Models
Michigan State University(密歇根州立大学);University of Michigan(密歇根大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Adelaide(阿德莱德大学)
本文综述了基础模型时代视觉与语言导航的研究现状,提出具身规划与推理框架,梳理当前方法并展望基础模型在该领域的未来机遇。
2024-12-29 cs.CL cs.CV
Learning to Navigate in Complex Environments
DeepMind
学习在具有动态元素的复杂环境中导航是开发人工智能智能体的重要里程碑。在这项工作中,我们制定的导航问题作为一个强化学习的问题,并表明,数据效率和任务性能可以显着提高,依靠额外的辅助任务,利用多模态感官输入。特别是,我们考虑联合学习目标驱动的强化学习问题与辅助深度预测和循环闭合分类任务。这种方法可以从复杂的3D迷宫中的原始感官输入中学习导航,即使在目标位置经常变化的条件下也能接近人类水平的表现。我们提供了详细的分析代理的行为,其本地化的能力,其网络活动的动态,代理隐式学习关键的导航能力。
2017-01-13 cs.AI cs.CV cs.LG
ForeFly: A Dual-Horizon World Action Model for Aerial Vision-Language Navigation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Duke Kunshan University(昆山杜克大学)
提出ForeFly双视界世界动作模型,通过近端与路径关键未来预测及FGAR细化,提升空中视觉语言导航在复杂环境中的指令遵循性能。
2026-09-29 cs.CV
ASH: Agents that Self-Hone in Long-Horizon Worlds
University of Waterloo(多伦多大学);National Research Council Canada(加拿大国家研究理事会)
提出ASH系统,通过从无标签互联网视频中学习具身策略,利用自改进循环和逆动力学模型,在长时域任务中显著超越基线方法。
2026-10-05 cs.AI cs.LG
REST: Receding Horizon Explorative Steiner Tree for Zero-Shot Object-Goal Navigation
State Key Laboratory of Internet of Things for Smart City, University of Macau(智能城市物联网国家重点实验室,澳门大学);University of Michigan(密歇根大学)
REST通过构建开放词汇3D地图、生成以代理为中心的路径树以及利用LLM推理选择最佳路径,在多个基准测试中实现了高成功率和高效路径效率。
2026-07-17 cs.AI cs.CV cs.RO
HorizonNet for visual terrain navigation
Linköping University(林雪平大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
该研究针对沿海或群岛区域无人水面艇的位置估计问题,提出基于双CNN架构与MOSSE相关滤波器的视觉地形导航方法,在野外试验中实现了GPS级精度的位置估计。
2026-09-01 cs.CV cs.RO
From Semantic Grounding to Decision Optimization: A Unified Framework for Long-Horizon UAV Vision-Language Navigation
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
本文针对无人机视觉语言导航的现有问题,提出统一语义到决策框架,经实验在AerialVLN和OpenFly基准上达到SOTA性能。
2026-08-11 cs.AI cs.CV
MultiON: Benchmarking Semantic Map Memory using Multi-Object Navigation
IIT Kanpur(印度理工学院坎普尔分校);Simon Fraser University(西蒙弗雷泽大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
真实感3D环境中的导航任务具有挑战性,因为它们需要在部分可观测性下进行感知和有效规划。最近的研究表明,地图般的记忆是有用的长视野导航任务。然而,尚未进行地图对不同复杂性的导航任务的影响的集中调查。我们提出了multiON任务,它需要在现实环境中导航到特定场景的对象序列。MultiON概括了ObjectGoal导航任务,并明确测试导航代理定位先前观察到的目标对象的能力。我们进行了一组multiON实验,以研究各种代理模型如何在导航任务复杂性的频谱上执行。我们的实验表明:i)导航性能随着任务复杂性的升级而显著降低; ii)简单的语义映射代理相对于更复杂的神经图像特征映射代理表现得令人惊讶地好;以及iii)甚至Oracle映射代理也实现相对较低的性能,这表明在使用映射训练具身导航代理方面的未来工作的潜力。视频摘要:https://youtu.be/yqTlHNIcgnY
2020-12-07 cs.AI cs.CV cs.LG
Neural Topological SLAM for Visual Navigation
Facebook AI Research(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文研究了图像-目标导航问题,即在一个新的未知环境中导航到目标图像所指示的位置。为了解决这个问题,我们设计的空间拓扑表示,有效地利用语义和近似几何推理。我们的表示的核心是具有相关语义特征的节点,这些节点使用粗略的几何信息相互连接。我们描述了监督学习为基础的算法,可以建立,维护和使用这种表示下嘈杂的驱动。在视觉和物理逼真的模拟实验研究表明,我们的方法建立有效的表示,捕捉结构的错误,并有效地解决长期的导航问题。我们观察到超过50%的现有方法,研究这项任务的相对改善。
2020-05-28 cs.AI cs.CV cs.LG
Aerial Vision-and-Language Navigation with Grid-based View Selection and Map Construction
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
针对空中VLN中三维动作耦合与长历史导航难题,提出网格视图选择框架、鸟瞰地图及跨模态transformer,实现高度调整、历史融合与指令对齐,并通过实验验证优越性。
2025-03-14 cs.CV
Target-Driven Structured Transformer Planner for Vision-Language Navigation
Beihang University(北京航空航天大学);University of Technology Sydney(悉尼科技大学);Meituan Inc.(美团公司)
视觉语言导航是指导一个具体的代理导航的任务与自然语言的指令在3D场景。对于智能体来说,从视觉语言线索中推断长期导航目标对于可靠的路径规划至关重要,然而,在文献中很少研究。在这篇文章中,我们提出了一个目标驱动的结构化Transformer规划器(TD-STP)的长期目标引导和房间布局感知导航。具体来说,我们设计了一个假想场景令牌化机制,用于明确估计长期目标(即使位于未探索的环境中)。此外,我们还设计了一个结构化的Transformer规划器,它优雅地将探索的房间布局纳入结构化和全局规划的神经注意力架构中。实验结果表明,我们的TD-STP大大提高了以前最好的方法的成功率分别为2%和5%的R2 R和REVERIE基准测试集。我们的代码可在https://github.com/YushengZhao/TD-STP上获得。
2022-07-19 cs.AI cs.CL cs.CV
Last-Mile Embodied Visual Navigation
Meta AI Research(Meta人工智能研究院);Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
像图像-目标导航这样的现实长期任务涉及探索和利用阶段。由于目标的图像,一个具体的代理必须探索发现目标,即,使用学习的先验知识进行有效搜索。一旦目标被发现,智能体必须准确地校准到目标的最后一英里的导航。与任何强大的系统一样,探索性目标发现和利用性最后一英里导航之间的切换可以更好地从错误中恢复。根据这些直观的导轨,我们提出了SLING,以提高现有的图像目标导航系统的性能。作为对现有方法的补充,我们专注于最后一英里导航,并利用神经描述符来利用问题的底层几何结构。通过简单但有效的开关,我们可以轻松地将SLING与启发式、强化学习和神经模块化策略联系起来。在标准化的图像目标导航基准(Hahn et al. 2021)上,我们提高了策略,场景和情节复杂性的性能,将最先进的成功率从45%提高到55%。除了真实感模拟,我们在三个物理场景中进行了真实的机器人实验,并发现这些改进可以很好地转移到真实环境中。
2022-11-21 cs.AI cs.CV cs.LG
MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents
Beijing Jiaotong University(北京交通大学)
针对长 horizon LLM 智能体强化学习的信用分配难题,提出 MileGPO 方法,通过里程碑发现、RCS、PCC 三项设计提升性能,在 ALFWorld 和 WebShop 上达 SOTA 且分布差距小。
2026-08-25 cs.AI cs.CL cs.LG
One-4-All: Neural Potential Fields for Embodied Navigation
Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所)
提出One-4-All(O4A)方法,利用自监督和流形学习构建无图端到端导航流水线,通过最小化图像嵌入上的连续势函数实现长程目标导航,无需深度或位姿测量。
2023-07-30 cs.CV cs.LG cs.RO
Agent-Centric Relation Graph for Object Visual Navigation
Beijing Jiaotong University(北京交通大学)
针对物体视觉导航,本文提出以智能体为中心的关系图ACRG,通过OHRG和ATDRG建模物体水平关系及智能体与目标距离关系,并在AI2-THOR中显著超越现有方法。
2023-08-21 cs.CV
FineCog-Nav: Integrating Fine-grained Cognitive Modules for Zero-shot Multimodal UAV Navigation
Northwestern Polytechnical University(西北工业大学);Nanjing University(南京大学)
本文提出FineCog-Nav框架,通过细粒度认知模块提升无人机零样本多模态导航性能,构建了AerialVLN-Fine基准测试集,实验表明其在指令遵循、长视距规划和环境泛化方面优于基线方法。
2026-04-17 cs.CV cs.RO
Global Commander and Local Operative: A Dual-Agent Framework for Scene Navigation
National University of Singapore(新加坡国立大学);Simon Fraser University(西蒙弗雷泽大学);University of Oxford(牛津大学)
DACo提出双智能体框架,通过解耦全局推理与局部执行,提升复杂环境中长时序导航的稳定性和性能。
2026-02-21 cs.CV
VLingNav: Embodied Navigation with Adaptive Reasoning and Visual-Assisted Linguistic Memory
Peking University(北京大学);Zhongguancun Academy(中关村学院)
VLingNav通过引入适应性推理和视觉辅助语言记忆,实现了复杂具身导航任务中的高效导航与泛化能力。
2026-01-13 cs.CV cs.RO
Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出了一种混合在线部分可观测马尔可夫决策过程(POMDP)规划系统,解决了存在的多模态不确定性的环境中的其他代理的自主导航问题。作为一个特殊的例子,我们考虑在密集的行人和障碍物之间的自主导航的问题。这个问题的流行方法首先使用完整的规划器(例如,混合A*)与关于不确定性的特设假设,然后使用在线基于树的POMDP求解器来推理不确定性,并控制问题的有限方面(即沿着路径的速度)。我们提出了一种更有能力和响应更快的实时方法,使POMDP规划者能够控制更多的自由度(例如,速度和航向),以实现更灵活、更高效的解决方案。这种修改极大地扩展了POMDP规划器必须推理的状态空间的区域,显著地增加了在实时的控制提供的有限计算预算内找到有效的铺开策略的重要性。我们的关键见解是使用多查询运动规划技术(例如,ProbabilityRoadmaps或FastMarchingMethod)作为先验,用于为POMDP规划树在其有限范围搜索期间可能到达的每个状态快速生成有效的推出策略。我们提出的方法生成的轨迹是安全的,比以前的方法更有效,即使在密集拥挤的动态环境中,规划的视野很长。
2022-06-20 cs.AI cs.RO
CREStE: Scalable Mapless Navigation with Internet Scale Priors and Counterfactual Guidance
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出CREStE框架,通过视觉基础模型蒸馏学习开放集鸟瞰图感知表示,并利用反事实逆强化学习推断导航成本,在公里级无地图导航中显著减少人工干预,提升了开放世界导航的泛化性与鲁棒性。
2025-06-26 cs.AI cs.CV cs.RO
PreAct-Nav: Agentic Reasoning Before Action for Urban Navigation
Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学);The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);University of Cambridge(剑桥大学);Intelligent Game and Decision Lab (IGDL)(智能博弈与决策实验室)
PreAct-Nav提出了一种智能体导航框架,通过记忆模块和预测性世界沙盒,在行动前进行推理,将远期目标转化为中期子目标,从而提升城市导航中的行动选择,尤其在长路线和转弯多的路线上效果显著。
2026-10-06 cs.AI cs.RO
ESCAPE: Episodic Spatial Memory and Adaptive Execution Policy for Long-Horizon Mobile Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));LiAuto Inc.(LiAuto公司)
本文提出ESCAPE框架,通过融合感知-地面-执行流程,解决长周期移动操作中的鲁棒性、空间一致性及执行灵活性问题,在ALFRED基准测试中取得优异成绩。
2026-04-15 cs.CV cs.RO
On the Advantages of Multiple Stereo Vision Camera Designs for Autonomous Drone Navigation
Aarhus University(奥胡斯大学)
在这项工作中,我们展示了多摄像头无人机的性能的设计和评估,再加上国家的最先进的规划和自主导航映射算法。该系统利用了最先进的滚动地平线探索技术,用于具有3D和语义信息的下一个最佳视图(NBV)规划,由可重新配置的多立体摄像机系统提供。我们采用我们的方法在一个自主的无人机为基础的检查任务,并评估他们在一个自主的探索和绘图方案。我们讨论了使用多立体相机飞行系统的优点和局限性,以及相机数量和映射性能之间的权衡。
2021-05-26 cs.CV cs.RO
CoReLIN: Constraint-based Reasoning for Zero-shot Lifelong Interactive Navigation
Purdue University(普渡大学);Indian Institute of Technology, Kharagpur(印度理工学院卡哈拉格普尔分校);DEVCOM Army Research Lab(DEVCOM陆军研究实验室);National University of Singapore(新加坡国立大学)
提出CoReLIN框架,利用LLM和场景图推理,在终身交互式导航中通过移动物体开辟路径并完成任务,显著提升长期效率。
2026-07-01 cs.AI cs.CV cs.RO
History Aware Multimodal Transformer for Vision-and-Language Navigation
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文提出 HAMT,用分层 ViT 编码长时程全景历史并融合文本与当前观测,结合代理任务和强化学习训练,在多类 VLN 基准上取得最优性能。
2023-08-17 cs.AI cs.CV
Heterogeneous Multi-Expert Reinforcement Learning for Long-Horizon Multi-Goal Tasks in Autonomous Forklifts
State Key Laboratory of Engines, Tianjin University(天津大学内燃机状态重点实验室)
HMER通过异质多专家强化学习框架,有效解决自主叉车在长周期多目标任务中的导航与操作冲突问题,提升任务成功率和操作效率。
2026-01-12 cs.AI cs.RO
N$^2$M$^2$: Learning Navigation for Arbitrary Mobile Manipulation Motions in Unseen and Dynamic Environments
University of Freiburg(弗赖堡大学)
本文提出 N$^2$M$^2$ 方法,通过将移动操作任务分解为末端执行器运动生成器与移动底盘强化学习智能体,使机器人在未知动态环境中实现长视野任务并即时避障。
2023-06-29 cs.AI cs.RO
ESceme: Vision-and-Language Navigation with Episodic Scene Memory
Shenzhen University(深圳大学);University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);DATA61, CSIRO(联邦科学与工业研究组织DATA61研究院)
针对视觉语言导航的泛化性与效率平衡问题,提出情景场景记忆机制ESceme,通过唤起过往场景记忆、动态更新信息辅助导航决策,在多类VLN任务上表现优异且登顶CVDN排行榜。
2024-07-15 cs.CV
World SLAM Model: Joint World Modeling for SLAM and Navigation
提出World SLAM Model(WSM),将SLAM核心机制融入导航,通过联合训练实现端到端状态维护与几何估计,提升导航性能并保持SLAM精度。
2026-09-29 cs.CV cs.RO
Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
Uni-NaVid是首个基于视频的视觉-语言-动作模型,通过统一多种具身导航任务的输入输出配置,利用360万样本训练,在未见环境中实现混合长时程导航并达到最先进性能。
2025-02-06 cs.CV cs.RO
SOLAR-RL: Semi-Online Long-horizon Assignment Reinforcement Learning
vivo AI Lab(vivo人工智能实验室);Zhejiang Lab(浙江实验室);CUHK MMLab(香港大学多模态实验室);Hubei University(湖北省大学);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院)
SOLAR-RL通过整合全局轨迹信息到离线学习中,提升GUI任务的长horizon完成率和鲁棒性,提供高效样本利用的自主导航方案。
2026-04-24 cs.AI cs.LG
Predictive Training with Latent Imagination for Visual Quadruped Navigation
Anker Spatial Perception Lab(安克空间感知实验室)
研究有腿机器人在动态环境中导航问题,核心方法是用辅助预测器和正则化增强反应式导航主干进行预测训练,主要贡献是提高导航成功率、降低碰撞率并实现零样本模拟到现实的迁移。
2026-07-21 cs.AI cs.RO
HiRO-Nav: Hybrid ReasOning Enables Efficient Embodied Navigation
Nanyang Technological University(南洋理工大学);Tencent(腾讯);Independent Researcher(独立研究员)
HiRO-Nav通过混合推理策略,在导航任务中根据动作熵动态决定是否进行推理,提升决策质量并降低计算开销。
2026-04-09 cs.AI
Learning from Viable Failure Prefixes: Milestone Viability Potential Policy Optimization for Long-Horizon LLM Agents
针对长程LLM智能体在稀疏奖励下信用分配失效的问题,提出MVPO算法,从可行失败前缀中学习,在ALFWorld和WebShop上分别提升+4.4和+5.3成功点。
2026-10-01 cs.AI
A Visual-inertial Navigation Method for High-Speed Unmanned Aerial Vehicles
Beijing University of Posts and Telecommunications(北京邮电大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
研究了高速高空无人机的单目摄像定位问题。提出了一种利用视觉和惯性器件互补的导航方法,以克服无人机水平飞行时的奇异性。通过分离线性部分和非线性部分,改进了定位问题的数学模型,用线性等式约束优化问题代替了非线性最小二乘问题。为了避免序列无约束极小化方法(罚方法)在最优点附近的病态性,基于微分代数动力系统构造了一种半隐式连续信赖域方法来求解线性等式约束优化问题.除了传统的常微分方程数值方法在有限积分区间上的收敛性分析外,还分析了半隐式连续方法在无穷积分区间上的全局收敛性。最后给出了数值结果。
2020-02-12 cs.CV cs.NA cs.SY
RAVEN: Long-Horizon Reasoning & Navigation with a Visuo-Spatio-Temporal Memory
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
提出RAVEN记忆系统,通过存储视觉嵌入与位姿时间信息,实现长期机器人问答与导航,在多个基准上超越字幕记忆系统,以10倍更低检索成本匹配前沿VLM。
2026-06-25 cs.AI cs.CL cs.RO
SeqWalker: Sequential-Horizon Vision-and-Language Navigation with Hierarchical Planning
SeqWalker通过分层规划框架解决多任务视觉-语言导航中的信息过载问题,通过高层规划减少认知负荷,低层规划利用指令逻辑结构校正轨迹误差。
2026-01-08 cs.AI cs.RO
ReMEmbR: Building and Reasoning Over Long-Horizon Spatio-Temporal Memory for Robot Navigation
NVIDIA(英伟达);University of Southern California(南加州大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对机器人长视野导航中的历史推理难题,提出基于检索增强记忆的系统 ReMEmbR,通过结构化的记忆构建与查询处理时空信息,并在 NaVQA 数据集上超越基线实现低延迟的长视野推理。
2024-09-20 cs.AI cs.CL cs.RO
From Imitation to Alignment: Human-Preference Flow Policies for Long-Horizon Sidewalk Navigation
University of California, Los Angeles(加州大学洛杉矶分校)
提出FlowPilot,一种仅使用单目RGB相机的无地图导航策略,通过锚定流匹配进行预训练,并引入人类偏好学习实现对齐,在长距离人行道导航中提升鲁棒性和社会合规性。
2026-06-12 cs.AI cs.RO
FSD-VLN: Fast-Slow Dual-System Modeling for Aerial Long-Horizon Vision-Language Navigation
Pengcheng Laboratory(鹏城实验室);Shenzhen Institutes of Advanced Technology(中国科学院深圳先进技术研究院);Peking University(北京大学)
研究空中长距离视觉语言导航问题,提出FSD-VLN快慢双系统架构,将语义推理与低延迟飞行命令解耦,通过两个异步分支及时间感知自适应优化器实现,实验表明该方法提升导航成功率,减少推理延迟和运行时间。
2026-07-10 cs.AI cs.RO
Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation
Shanghai Jiao Tong University(上海交通大学);Alibaba Inc(阿里巴巴集团);Zhongguancun Academy(中关村学院);Adelaide University(阿德莱德大学);Peking University(北京大学);Tsinghua University(清华大学)
本文提出NavMCP框架,结合VLM推理智能体与NFM执行器实现长时程导航,在多个具身问答基准及Unitree Go2机器人上取得优于基线的性能,验证了该方法的有效性。
2026-09-01 cs.AI cs.RO
Aerial World Model for Long-horizon Visual Generation and Navigation in 3D Space
Tsinghua University(清华大学)
ANWM是一种空域导航世界模型,通过预测未来视觉观察来提升无人机在大规模3D空间中的长视距导航性能。
2026-01-03 cs.AI cs.RO
Think Like a Pilot: Fine-Grained Long-Horizon UAV Navigation
Colab;Beihang University(北航);Meituan(美团);National University of Singapore(新加坡国立大学)
提出FLIGHT基准和FLIGHT VLA异步架构,通过低频飞行员推理VLM与高频扩散动作模型解耦,实现无人机长时程语义指令下的平滑连续飞行控制。
2026-06-05 cs.AI cs.CV cs.RO
Learned Tree Search for Long-Horizon Social Robot Navigation in Shared Airspace
Institute for Advanced Studies(高等研究院);Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
提出SoRTS算法,结合Monte Carlo Tree Search规划器增强社交感知轨迹预测策略,实现共享空域移动机器人安全导航,在通用航空场景中表现与人类飞行员相当。
2023-04-04 cs.AI cs.LG cs.MA
VoLN: Vision-Only Long-Horizon Navigation---Paradigm, Benchmark, and Method
Beihang University(北京航空航天大学);Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院)
研究提出仅视觉的长距离导航(VoLN)范式,通过VoLN-UAV基准及VoLN-MLLM基线进行实例化。在五个环境测试未见分割中评估,揭示了长距离导航在证据整合、目标匹配和闭环稳定性方面的挑战。
2026-07-24 cs.AI cs.RO
HiPlan: Hierarchical Planning for LLM-Based Agents with Adaptive Global-Local Guidance
HiPlan提出分层规划框架,通过里程碑库与动态逐步提示提供自适应全局-局部引导,解决LLM智能体在复杂长时程任务中的迷失与偏差问题,实验验证其显著优于强基线。
2025-08-26 cs.AI cs.CL
Odyssey: A Closed-Loop Benchmark for Long-Horizon Real-World Driving with Explicit Navigation Routes
Seoul National University(首尔大学)
针对现有驾驶基准短视与导航指令模糊的问题,提出Odyssey闭环基准,用显式SD路线提供导航目标,并引入新指标评估长时域驾驶中的路线遵循与变道准备,揭示端到端驾驶的开放问题。
2026-10-06 cs.AI cs.RO
World-Ego Modeling for Embodied Video Generation in Long-Horizon Navigation-Manipulation Tasks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
本文提出了一种新的世界-自我建模范式,通过分解未来演化为世界和自我组件,解决混合任务中长时域具身体验中的退化问题,并通过HTEWorld基准测试验证了其有效性。
2026-10-09 cs.AI cs.CV cs.RO
Mem2Ego: Empowering Vision-Language Models with Global-to-Ego Memory for Long-Horizon Embodied Navigation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出Mem2Ego框架,通过自适应检索全局记忆线索并与自我中心观察集成,增强VLM在长时程具身导航中的空间推理与决策,在HSSD和HM3D基准上显著超越现有方法。
2026-09-17 cs.AI cs.RO