视觉大模型 / VLM

A Deployable Embodied Vision-Language Navigation System with Hierarchical Cognition and Context-Aware Exploration

可部署的具身视觉-语言导航系统：具有层次认知和上下文感知探索

Kuan Xu, Ruimeng Liu, Yizhuo Yang, Denan Liang, Tongxing Jin, Shenghai Yuan, Chen Wang, Lihua Xie

机构 * Center for Advanced Robotics Technology Innovation (CARTIN), School of Electrical and Electronic Engineering, Nanyang Technological University（先进机器人技术与创新中心（CARTIN）、电子工程学院、南洋理工大学） ； Spatial AI & Robotics Lab, Department of Computer Science and Engineering（空间人工智能与机器人实验室、计算机科学与工程系） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出一种可部署的具身视觉-语言导航系统，通过分层认知和上下文感知探索，在真实机器人上实现高效导航与强推理能力。

Comments 10 pages, 5 figures,

Interpreting Context-Aware Human Preferences for Multi-Objective Robot Navigation

解释情境感知的人类偏好以实现多目标机器人导航

Tharun Sethuraman, Subham Agrawal, Nils Dengler, Jorge de Heuvel, Teena Hassan, Maren Bennewitz

机构 * Hochschule Bonn-Rhein-Sieg, Germany（波恩-莱茵-锡格应用科学大学，德国） ； University of Bonn, Germany（波恩大学，德国） ； Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出一种结合基础模型与多目标强化学习政策的框架，使机器人能理解并应用情境依赖的导航偏好，提升在共享人类环境中的适应性、透明性和可用性。

MolmoAct2: Action Reasoning Models for Real-world Deployment

MolmoAct2：面向现实部署的动作推理模型

Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； National University of Singapore（新加坡国立大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Amazon（亚马逊公司） ； University of Michigan（密歇根大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)

AI总结 本文提出MolmoAct2，一个完全开放的动作推理模型，通过改进架构和引入新数据集，在五个方面提升性能，展示了在多个基准测试中优于现有模型的成果。

Comments 31 pages, project page: https://allenai.org/blog/molmoact2

World-Env: Leveraging World Model as a Virtual Environment for VLA Post-Training

World-Env: 利用世界模型作为虚拟环境进行VLA后训练

Junjin Xiao, Yandan Yang, Xinyuan Chang, Ronghan Chen, Feng Xiong, Mu Xu, Wei-Shi Zheng, Qing Zhang

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； AMap, Alibaba Group（阿里巴巴集团高德地图） ； Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部机器智能与先进计算重点实验室） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 针对VLA模型在数据稀缺场景下的性能下降问题，提出World-Env框架，通过虚拟仿真器替代真实环境，提升安全性和效率，实现任务完成检测与持续奖励。

VLA Foundry: A Unified Framework for Training Vision-Language-Action Models

VLA Foundry：一种统一训练视觉-语言-动作模型的框架

Jean Mercat, Sedrick Keh, Kushal Arora, Isabella Huang, Paarth Shah, Haruki Nishimura, Shun Iwase, Katherine Liu

机构 * Toyota Research Institute（丰田研究院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 VLA Foundry 提供了一个统一的训练框架，整合了大语言模型、视觉语言模型和视觉-语言-动作模型的训练，支持从头训练和预训练模型，并在 LBM Eval 模拟器上评估了闭合回路策略性能。

Comments 32 pages, 16 figures, technical report

Figma2Code: Automating Multimodal Design to Code in the Wild

Figma2Code: 将多模态设计转换为代码的自动化

Yi Gui, Jiawan Zhang, Yina Wang, Tianran Ma, Yao Wan, Shilin He, Dongping Chen, Zhou Zhao, Wenbin Jiang, Xuanhua Shi, Hai Jin, Philip S Yu

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出Figma2Code任务，通过收集Figma文件元数据与设计图像，构建高质量数据集，评估多种多模态大语言模型，发现专有模型在视觉保真度上表现优异，但布局响应性和代码可维护性有限。

Comments ICLR 2026

Vision-Language Navigation for Aerial Robots: Towards the Era of Large Language Models

面向大语言模型时代的空中机器人视觉-语言导航

Xingyu Xia, Lekai Zhou, Yujie Tang, Xiaozhou Zhu, Hai Zhu, Wen Yao

机构 * Defense Innovation Institute, Chinese Academy of Military Sciences（军事科学院国防创新研究院） ； Intelligent Game and Decision Laboratory（智能博弈与决策实验室） ； Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 本文综述了空中机器人视觉-语言导航领域，分析了大语言模型与视觉-语言模型的整合，归纳了五类架构方法，指出了评估体系的不足，并提出了七个开放性问题。

Comments 28 pages, 8 figures

VTAM: Video-Tactile-Action Models for Complex Physical Interaction Beyond VLAs

VTAM：用于复杂物理交互的视频-触觉-动作模型超越VLAs

Haoran Yuan, Weigang Yi, Zhenyu Zhang, Wendi Chen, Yuchen Mo, Jiashi Yin, Xinzhuo Li, Xiangyu Zeng, Chuan Wen, Cewu Lu, Katherine Driggs-Campbell, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：visual reasoning(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 VTAM通过整合触觉感知提升复杂物理交互的稳定性，其多模态框架在接触密集任务中表现优异，成功率达到90%。

Comments https://plan-lab.github.io/projects/vtam/

Embodied AI with Foundation Models for Mobile Service Robots: A Systematic Review

基于基础模型的具身AI在移动服务机器人中的应用：系统综述

Matthew Lisondra, Beno Benhabib, Goldie Nejat

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文系统综述了基础模型在移动服务机器人中的应用，探讨了其在具身AI中的整合、核心挑战及未来研究方向。

Comments v2: Expanded systematic review; resubmitted to Robotics

Journal ref Robotics 2026, 15(3), 55

MoMaStage: Skill-State Graph Guided Planning and Closed-Loop Execution for Long-Horizon Indoor Mobile Manipulation

MoMaStage：基于技能-状态图的规划与闭环执行的长时域室内移动操作

Chenxu Li, Zixuan Chen, Yetao Li, Jiapeng Xu, Hongyu Ding, Jieqi Shi, Jing Huo, Yang Gao

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 MoMaStage通过结构化视觉-语言框架和闭环执行机制，实现长时域室内移动操作的高效规划与执行。

Comments 8 pages

DM0: An Embodied-Native Vision-Language-Action Model towards Physical AI

DM0：一种面向物理AI的具身原生视觉-语言-动作模型

En Yu, Haoran Lv, Jianjian Sun, Kangheng Lin, Ruitao Zhang, Yukang Shi, Yuyang Chen, Ze Chen, Ziheng Zhang, Fan Jia, Kaixin Liu, Meng Zhang, Ruitao Hao, Saike Huang, Songhan Xie, Yu Liu, Zhao Wu, Bin Xie, Pengwei Zhang, Qi Yang, Xianchi Deng, Yunfei Wei, Enwen Zhang, Hongyang Peng, Jie Zhao, Kai Liu, Wei Sun, Yajun Wei, Yi Yang, Yunqiao Zhang, Ziwei Yan, Haitao Yang, Hao Liu, Haoqiang Fan, Haowei Zhang, Junwen Huang, Yang Chen, Yunchao Ma, Yunhuan Yang, Zhengyuan Du, Ziming Liu, Jiahui Niu, Yucheng Zhao, Daxin Jiang, Wenbin Tang, Xiangyu Zhang, Zheng Ge, Erjin Zhou, Tiancai Wang

机构 * DM0 Team（DM0团队） ； Dexmal ； StepFun 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 DM0提出了一种面向物理AI的具身原生视觉-语言-动作模型，通过统一具身操作和导航，结合预训练、中训练和后训练流程，实现对复杂物理任务的高效处理。

Comments Authors are listed in alphabetical order. Code is available at https://github.com/Dexmal/dexbotic

ST4VLA: Spatially Guided Training for Vision-Language-Action Models

ST4VLA：基于空间引导的视觉-语言-动作模型训练

Jinhui Ye, Fangjing Wang, Ning Gao, Junqiu Yu, Yangkun Zhu, Bin Wang, Jinyu Zhang, Weiyang Jin, Yanwei Fu, Feng Zheng, Yilun Chen, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Hong Kong University of Science and Technology（香港科技大学） ； Southern University of Science and Technology（南方科技大学） ； Fudan University（复旦大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 ST4VLA通过空间引导训练提升视觉-语言-动作模型的性能，实现对机器人任务的更稳健和可泛化的学习。

Comments Spatially Training for VLA, Accepted by ICLR 2026

Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models

基于视觉-语言-动作模型的自动驾驶场景响应式人机协同运动规划的自然语言指令

Angel Martinez-Sanchez, Parthib Roy, Ross Greer

机构 * University of California, Merced（加州大学默塞德分校） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究利用视觉-语言-动作模型，通过指令条件规划提升自动驾驶的鲁棒性和轨迹对齐性能。

MAPS: Preserving Vision-Language Representations via Module-Wise Proximity Scheduling for Better Vision-Language-Action Generalization

MAPS: 通过模块级接近调度保留视觉-语言表示以实现更好的视觉-语言-动作泛化

Chengyue Huang, Mellon M. Zhang, Robert Azarcon, Glen Chou, Zsolt Kira

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 MAPS通过模块级接近调度优化VLA微调，提升视觉-语言-动作任务的泛化能力。

MobileViews: A Million-scale and Diverse Mobile GUI Dataset

MobileViews: 一个百万级且多样化的移动GUI数据集

Longxi Gao, Li Zhang, Shihe Wang, Pengzhi Gao, Wei Liu, Jian Luan, Shangguang Wang, Yuanchun Li, Mengwei Xu

专题命中 GUI与屏幕智能体 ：VLM(abstract)；visual language model(abstract)；grounding(abstract)

AI总结 MobileViews是一个百万级移动GUI数据集，通过大规模高保真数据提升GUI定位精度，公开可用。

Comments Dataset: https://huggingface.co/datasets/mllmTeam/MobileViews

NinA: Normalizing Flows in Action. Training VLA Models with Normalizing Flows

Denis Tarasov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Nikita Lyubaykin, Andrei Polubarov, Alexander Derevyagin, Vladislav Kurenkov

机构 * ETH Zürich（苏黎世联邦理工学院） ； MIPT（莫斯科国立信息安全大学） ； Skoltech（斯克里普斯基技术大学） ； Innopolis University（因诺波利斯大学） ； HSE（俄罗斯高等经济学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments https://github.com/dunnolab/NinA/

TriVLA: A Triple-System-Based Unified Vision-Language-Action Model with Episodic World Modeling for General Robot Control

Zhenyang Liu, Yongchong Gu, Sixiao Zheng, Yanwei Fu, Xiangyang Xue, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation

Pengxiang Li, Zechen Hu, Zirui Shang, Jingrong Wu, Yang Liu, Hui Liu, Zhi Gao, Chenrui Shi, Bofei Zhang, Zihao Zhang, Xiaochuan Shi, Zedong YU, Yuwei Wu, Xinxiao Wu, Yunde Jia, Liuyu Xiang, Zhaofeng He, Qing Li

机构 * Beijing Institute of Technology（北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； DataCanvas ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

VLN-Zero: Rapid Exploration and Cache-Enabled Neurosymbolic Vision-Language Planning for Zero-Shot Transfer in Robot Navigation

Neel P. Bhatt, Yunhao Yang, Rohan Siva, Pranay Samineni, Daniel Milan, Zhangyang Wang, Ufuk Topcu

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Codebase, datasets, and videos for VLN-Zero are available at: https://vln-zero.github.io/

UAV-VLA: Vision-Language-Action System for Large Scale Aerial Mission Generation

Oleg Sautenkov, Yasheerah Yaqoot, Artem Lykov, Muhammad Ahsan Mustafa, Grik Tadevosyan, Aibek Akhmetkazy, Miguel Altamirano Cabrera, Mikhail Martynov, Sausar Karaf, Dzmitry Tsetserukou

机构 * Skoltech（斯克利切夫斯克技术大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments HRI 2025

Discovering Object Attributes by Prompting Large Language Models with Perception-Action APIs

Angelos Mavrogiannis, Dehao Yuan, Yiannis Aloimonos

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；visual reasoning(abstract)；grounding(abstract)

Comments ICRA 2025

Scalable, Training-Free Visual Language Robotics: A Modular Multi-Model Framework for Consumer-Grade GPUs

Marie Samson, Bastien Muraccioli, Fumio Kanehiro

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；InternVL(abstract)

Journal ref 2025 IEEE/SICE International Symposium on System Integration

ViLP: Knowledge Exploration using Vision, Language, and Pose Embeddings for Video Action Recognition

Soumyabrata Chaudhuri, Saumik Bhattacharya

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 7 pages, 3 figures, 2 Tables

SCLARO: A Dataset for Grounded Scenario-Level Scene Understanding and ScenarioCLIP for Benchmarking

SCLARO：面向场景级场景理解的数据集及用于基准测试的ScenarioCLIP

Advik Sinha, Saurabh Atreya, Aashutosh A, Sk Aziz Ali, Abhijit Das

机构 * Machine Intelligence Group, Department of CS&IS, Birla Institute of Technology and Science, Pilani – Hyderabad Campus（人工智能组，计算机科学与信息系，比拉理工学院和科学学院，比拉-海得拉巴校区） 纠错

专题命中 GUI与屏幕智能体 ：visual language model(title)；分类 cs.CV

AI总结 提出SCLARO数据集（615,805张图像，含动作、对象和关系标注）及ScenarioCLIP模型，通过解耦编码器和知识蒸馏联合编码场景上下文、对象和关系，在零样本检索等任务上优于先前方法。

Grounding Sim-to-Real Generalization in Robotic Manipulation: An Empirical Study with Vision-Language-Action Models

在机器人操作中建立仿真到现实泛化：基于视觉-语言-动作模型的实证研究

Ruixing Jin, Zicheng Zhu, Ruixiang Ouyang, Sheng Xu, Bo Yue, Zhizheng Wu, Guiliang Liu

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title)；分类 cs.AI

AI总结 本文通过四个维度探讨仿真到现实泛化的决定因素，提出评估协议并释放资源以建立标准化基准，提升机器人操作策略的泛化能力。

AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation

AxisGuide: 在RGB观测中接地机器人动作坐标系以实现鲁棒的视觉运动操控

Jiyun Jang, Yujin Sung, Woosung Joung, Daewon Chae, Sangwon Lee, Sohwi Kim, Jinkyu Kim, Jungbeom Lee

机构 * Korea University（韩国大学） ； University of Michigan（密歇根大学） ； KT R&D Center（KT研发中心） ； Kakao Mobility（Kakao移动） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title)；分类 cs.AI

AI总结 针对视觉运动策略在分布偏移下动作执行失败的问题，提出AxisGuide方法，通过渲染机器人基座坐标系轴并叠加提示通道，增强动作坐标理解，显著提升泛化性能。

Comments Accepted to Robotics: Science and Systems (RSS) 2026

Sensorimotor Self-Recognition in Multimodal Large Language Model-Driven Robots

多模态大语言模型驱动机器人中的躯体自我识别

Iñaki Dellibarda Varela, Pablo Romero-Sorozabal, Diego Torricelli, Gabriel Delgado-Oleas, Jose Ignacio Serrano, Maria Dolores del Castillo Sobrino, Eduardo Rocon, Manuel Cebrian

机构 * Center for Automation and Robotics（自动化与机器人中心） ； University of Azuay（阿祖亚大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title)；分类 cs.AI

AI总结 本文研究多模态大语言模型通过躯体运动经验发展自我识别能力，展示机器人在环境感知、自我识别和预测意识方面的表现，揭示感觉整合对最小自我的影响及记忆协调机制。

Comments 16 pages, 3 figures, 1 table

Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization

通过优势解耦偏好优化实现视觉语言模型的统一生成与自验证

Xinyu Qiu, Heng Jia, Zhengwen Zeng, Shuheng Shen, Changhua Meng, Yi Yang, Linchao Zhu

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Venus Team, Ant Group（蚂蚁集团 Venus 团队） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title)；分类 cs.CV

AI总结 ADPO通过统一生成与自验证的强化学习框架，提升视觉语言模型的验证性能和推理效率。

OpenNav: Open-World Navigation with Multimodal Large Language Models

OpenNav: 基于多模态大语言模型的开放世界导航

Mingfeng Yuan, Letian Wang, Steven L. Waslander

机构 * University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究 institute） ； University of Toronto Robotics Institute（多伦多大学机器人研究所） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title)；分类 cs.AI

AI总结 OpenNav利用多模态大语言模型实现开放世界导航，通过生成价值图增强机器人空间理解，并在真实场景中验证其鲁棒性。

Journal ref 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

ActionFlow: A Pipelined Action Acceleration for Vision Language Models on Edge

ActionFlow：面向边缘设备的视觉语言模型流水线动作加速

Yuntao Dai, Hang Gu, Teng Wang, Qianyu Cheng, Yifei Zheng, Zhiyong Qiu, Lei Gong, Wenqi Lou, Xuehai Zhou

机构 * School of Computer Science and Technology, University of Science and Technology of China（计算机科学与技术学院，中国科学技术大学） ； Suzhou Institute for Advanced Research, University of Science and Technology of China（苏州市先进研究院，中国科学技术大学） ； IEIT SYSTEMS Co., Ltd.（IEIT SYSTEMS公司） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(title)；分类 cs.AI

AI总结 ActionFlow通过跨请求流水线策略提升边缘设备上VLA模型的推理速度，实现2.55倍的FPS提升，无需重新训练。