视觉大模型 / VLM

From Code to Action: Hierarchical Learning of Diffusion-VLM Policies

Markus Peschl, Pietro Mazzaglia, Daniel Dijkman

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.LG

Comments 19 pages including references, 6 figures. Accepted to CoRL LEAP 2025

Evaluating point-light biological motion in multimodal large language models

Akila Kadambi, Marco Iacoboni, Lisa Aziz-Zadeh, Srini Narayanan

机构 * Psychiatry and Biobehavioral Sciences, UCLA（乌尔拉克大学精神病学与生物行为科学系） ； Brain and Creativity Institute, USC（美国大学脑与创造力研究所） ； Google DeepMind, Zurich（谷歌深度Mind瑞士分公司） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title)；分类 cs.CV、cs.AI

Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation

Pengxiang Li, Zechen Hu, Zirui Shang, Jingrong Wu, Yang Liu, Hui Liu, Zhi Gao, Chenrui Shi, Bofei Zhang, Zihao Zhang, Xiaochuan Shi, Zedong YU, Yuwei Wu, Xinxiao Wu, Yunde Jia, Liuyu Xiang, Zhaofeng He, Qing Li

机构 * Beijing Institute of Technology（北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； DataCanvas ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Retrieval-augmented GUI Agents with Generative Guidelines

Ran Xu, Kaixin Ma, Wenhao Yu, Hongming Zhang, Joyce C. Ho, Carl Yang, Dong Yu

机构 * Emory University（埃默里大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

Comments Accepted to EMNLP 2025 (Main Conference)

Scaling Synthetic Task Generation for Agents via Exploration

Ram Ramrakhya, Andrew Szot, Omar Attia, Yuhao Yang, Anh Nguyen, Bogdan Mazoure, Zhe Gan, Harsh Agrawal, Alexander Toshev

机构 * Apple（苹果公司） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving

Yongkang Li, Kaixin Xiong, Xiangyu Guo, Fang Li, Sixu Yan, Gangwei Xu, Lijun Zhou, Long Chen, Haiyang Sun, Bing Wang, Kun Ma, Guang Chen, Hangjun Ye, Wenyu Liu, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi EV（小米电动车） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Focusing on What Matters: Object-Agent-centric Tokenization for Vision Language Action models

Rokas Bendikas, Daniel Dijkman, Markus Peschl, Sanjay Haresh, Pietro Mazzaglia

机构 * Centre for Artificial Intelligence, UCL（人工智能中心，伦敦大学学院） ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Presented at 9th Conference on Robot Learning (CoRL 2025), Seoul, Korea

RAVEN: Resilient Aerial Navigation via Open-Set Semantic Memory and Behavior Adaptation

Seungchan Kim, Omar Alama, Dmytro Kurdydyk, John Keller, Nikhil Keetha, Wenshan Wang, Yonatan Bisk, Sebastian Scherer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Davidson College（戴维森学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Do We Need Large VLMs for Spotting Soccer Actions?

Ritabrata Chakraborty, Rajatsubhra Chakraborty, Avijit Dasgupta, Sandeep Chaurasia

机构 * Manipal University Jaipur（贾浦尔曼普尔大学） ； UNC–Charlotte（北卡罗来纳州立大学夏洛特分校） ； IIIT Hyderabad（海得拉巴印度理工学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 6 pages, 2 tables

ViReSkill: Vision-Grounded Replanning with Skill Memory for LLM-Based Planning in Lifelong Robot Learning

Tomoyuki Kagaya, Subramanian Lakshmi, Anbang Ye, Thong Jing Yuan, Jayashree Karlekar, Sugiri Pranata, Natsuki Murakami, Akira Kinose, Yang You

机构 * Panasonic Connect Co., Ltd.（松下电器（株式会社）） ； Panasonic R&D Center（松下研发中心） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG

IA-VLA: Input Augmentation for Vision-Language-Action models in settings with semantically complex tasks

Eric Hannus, Miika Malin, Tran Nguyen Le, Ville Kyrki

机构 * Intelligent Robotics Group at the Department of Electrical Engineering and Automation, School of Electrical Engineering, Aalto University（Aalto大学电气工程学院电气工程与自动化系智能机器人组） ； Biomimetics and Intelligent Systems Group at the Faculty of Information Technology and Electrical Engineering, University of Oulu（奥卢大学信息科技与电气工程学院仿生学与智能系统组） ； Section of Mechanical Technology at the Department of Engineering Technology and Didactics, Technical University of Denmark（丹麦技术大学工程技术与教学系机械技术部门） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)

Comments Under review for ICRA 2026

AdaNav: Adaptive Reasoning with Uncertainty for Vision-Language Navigation

Xin Ding, Jianyu Wei, Yifan Yang, Shiqi Jiang, Qianxi Zhang, Hao Wu, Fucheng Jia, Liang Mi, Yuxuan Yan, Weijun Wang, Yunxin Liu, Zhibo Chen, Ting Cao

机构 * University of Science and Technology of China（中国科学技术大学） ； Microsoft Research（微软研究院） ； Nanjing University（南京大学） ； Central South University（中南大学） ； Zhejiang University（浙江大学） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

LaVA-Man: Learning Visual Action Representations for Robot Manipulation

Chaoran Zhu, Hengyi Wang, Yik Lung Pang, Changjae Oh

机构 * Queen Mary University of London（伦敦女王学院） ； University College London（伦敦大学学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)