arXiv 2603.080072026-03-09cs.CVcs.AI

ViSA增强的空中视觉语言导航：一种增强视觉空间推理能力的空中视觉语言导航框架

ViSA-Enhanced Aerial VLN: A Visual-Spatial Reasoning Enhanced Framework for Aerial Vision-Language Navigation

Tianmushan Laboratory, Beihang University（北航之梦实验室，北京航空航天大学）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北京航空航天大学）；Foshan Graduate School of Innovation, Northeastern University（佛山创新研究生学院，东北大学）；School of Aeronautic Science and Engineering, Beihang University（航空科学与工程学院，北京航空航天大学）；Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）

Haoyu Tong, Xiangyu Dong, Xiaoguang Ma, Haoran Zhao, Yaoming Zhou, Chenghao Lin

备注：: 8 pages

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

ViSA增强框架通过结构化视觉提示提升空中VLN的空间推理能力，显著提高成功率，为该领域提供有力支持。

摘要：

现有的空中视觉语言导航（VLN）方法大多采用检测与规划流水线，将开放词汇检测转换为离散的文本场景图。这些方法受到空间推理能力不足和固有语言歧义的困扰。为了解决这些瓶颈，我们提出了一种增强视觉空间推理（ViSA）的空中VLN框架。具体而言，设计了一种三阶段协作架构，以利用结构化的视觉提示，使视觉语言模型（VLMs）能够在图像平面上直接进行推理，而无需额外训练或复杂的中间表示。在CityNav基准上的全面评估表明，ViSA增强的VLN在成功率上比完全训练的最先进（SOTA）方法提高了70.3%，阐明了其作为空中VLN系统骨干的巨大潜力。

英文摘要：

Existing aerial Vision-Language Navigation (VLN) methods predominantly adopt a detection-and-planning pipeline, which converts open-vocabulary detections into discrete textual scene graphs. These approaches are plagued by inadequate spatial reasoning capabilities and inherent linguistic ambiguities. To address these bottlenecks, we propose a Visual-Spatial Reasoning (ViSA) enhanced framework for aerial VLN. Specifically, a triple-phase collaborative architecture is designed to leverage structured visual prompting, enabling Vision-Language Models (VLMs) to perform direct reasoning on image planes without the need for additional training or complex intermediate representations. Comprehensive evaluations on the CityNav benchmark demonstrate that the ViSA-enhanced VLN achieves a 70.3\% improvement in success rate compared to the fully trained state-of-the-art (SOTA) method, elucidating its great potential as a backbone for aerial VLN systems.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。