视觉大模型 / VLM

Enhancing Vision-Language Navigation with Multimodal Event Knowledge from Real-World Indoor Tour Videos

通过真实世界室内游览视频的多模态事件知识增强视觉语言导航

Haoxuan Xu, Tianfu Li, Wenbo Chen, Yi Liu, Xingxing Zuo, Yaoxian Song, Haoang Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tsinghua University（清华大学） ； Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（马尔代夫 bin Zayed 大学人工智能学院） ； Hangzhou City University（杭州城市学院） 纠错

专题命中 GUI与屏幕智能体 ：LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出基于多模态事件知识的视觉语言导航增强方法，通过构建大规模时空知识图谱并结合层次检索机制，提升长视界推理和粗粒度指令处理能力。

RoboMIND 2.0: A Multimodal, Bimanual Mobile Manipulation Dataset for Generalizable Embodied Intelligence

RoboMIND 2.0：一种多模态、双臂移动操作数据集，用于通用具身智能

Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, Chenyang Gu, Zhuoyang Liu, Nuowei Han, Xiangju Mi, Yaoxu Lv, Yankai Fu, Gaole Dai, Langzhe Gu, Tao Li, Yuheng Zhang, Yixue Zhang, Xinhua Wang, Shichao Fan, Meng Li, Zhen Zhao, Ning Liu, Zhiyuan Xu, Pei Ren, Junjie Ji, Haonan Liu, Kuan Cheng, Shanghang Zhang, Jian Tang

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 RoboMIND 2.0通过多模态双臂移动操作数据集和MIND-2系统，提升通用具身智能的泛化能力。