视觉大模型 / VLM

PROSPECT: Unified Streaming Vision-Language Navigation via Semantic--Spatial Fusion and Latent Predictive Representation

PROSPECT：通过语义-空间融合和潜在预测表示实现统一的流式视觉-语言导航

Zehua Fan, Wenqi Lyu, Wenxuan Song, Linge Zhao, Yifei Yang, Xi Wang, Junjie He, Lida Huang, Haiyan Liu, Bingchuan Sun, Guangjun Bao, Xuanyao Mao, Liang Xu, Yan Wang, Feng Gao

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； University of Adelaide（阿德莱德大学） ； Wuhan University（武汉大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beijing Jiaotong University（北京交通大学） ； AIR Wuxi Innovation Center, Tsinghua University（清华大学无锡创新中心） ； Lenovo（联想集团） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 PROSPECT通过语义-空间融合和潜在预测表示，实现统一的流式视觉-语言导航，提升环境动态和空间结构的预测能力。

Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

神经符号技能发现用于条件多级规划

Hakan Aktas, Yigit Yildirim, Ahmet Firat Gamsiz, Deniz Bilge Akkoc, Erhan Oztop, Emre Ugur

机构 * Department of Computer Science and Technology The University of Cambridge（计算机科学与技术系 剑桥大学） ； Department of Computer Engineering Bogazici University（计算机工程系 boazici大学） ； SISREC Osaka University（Osaka大学SISREC） 纠错

专题命中 GUI与屏幕智能体 ：visual language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种神经符号学习架构，通过少量演示获取可推广的高级符号技能，并在多级规划中实现复杂任务的执行。

Comments 18 pages, 4 figures

Spatio-Temporal Token Pruning for Efficient High-Resolution GUI Agents

时空令牌剪枝用于高效高分辨率GUI代理

Zhou Xu, Bowen Zhou, Qi Wang, Shuwen Feng, Jingyu Xiao

机构 * Tsinghua University（清华大学） ； Xidian University（西安电子科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 GUIPruner通过时空令牌剪枝技术，实现高分辨率GUI导航的高效处理，显著提升性能并降低资源消耗。

Self-Correcting VLA: Online Action Refinement via Sparse World Imagination

自校正视觉-语言-动作模型：通过稀疏世界想象实现在线动作细化

Chenyv Liu, Wentao Tan, Lei Zhu, Fengling Li, Jingjing Li, Guoli Yang, Heng Tao Shen

机构 * Tongji University（同济大学） ； University of Technology Sydney（技术悉尼大学） ； University of Electronic Science（电子科学大学） ； Advanced Institute of Big Data（大数据高级研究所） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 SC-VLA通过稀疏世界想象实现自校正，提升机器人操作任务的效率和成功率。

Inner Speech as Behavior Guides: Steerable Imitation of Diverse Behaviors for Human-AI coordination

内部言语作为行为引导：为人类-人工智能协调的可操控模仿

Rakshit Trivedi, Kartik Sharma, David C Parkes

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 MIMIC通过语言作为内部表示，利用视觉语言模型和扩散策略实现人类-人工智能协调中的行为引导与多样化的模仿控制。

Comments Spotlight paper at NeurIPS 2025

RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning

RoboCurate: 利用动作验证的神经轨迹 harnessing 多样性以促进机器人学习

Seungku Kim, Suhyeok Jang, Byungjun Yoon, Dongyoung Kim, John Won, Jinwoo Shin

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 RoboCurate通过动作验证的神经轨迹和图像编辑技术，提升机器人学习中合成数据的质量和多样性，显著提高任务成功率。

Comments 20 pages; 6 figures; Project page is available at https://seungkukim.github.io/robocurate/

PLAICraft: Large-Scale Time-Aligned Vision-Speech-Action Dataset for Embodied AI

PLAICraft: 大规模时间对齐的视觉-语音-动作数据集用于具身人工智能

Yingchen He, Christian D. Weilbach, Martyna E. Wojciechowska, Yuxuan Zhang, Frank Wood

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 PLAICraft通过大规模时间对齐的视觉-语音-动作数据集，推动具身人工智能的研究与评估。

Comments 9 pages, 8 figures

Learning to Retrieve Navigable Candidates for Efficient Vision-and-Language Navigation

学习高效视觉-语言导航中的可导航候选检索

Shutian Gu, Chengkai Huang, Ruoyu Wang, Lina Yao

机构 * University of New South Wales, Sydney, Australia（新南威尔士大学） ； Macquarie University, Sydney, Australia（麦考瑞大学） ； Data61, CSIRO, Sydney, Australia（Data61, CSIRO） ； The School of Computer Science（计算机科学学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出检索增强框架，通过指令级示例检索和候选剪枝提升LLM在视觉-语言导航中的效率和稳定性。

HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving

HiST-VLA：一种用于端到端自动驾驶的分层时空视觉-语言-动作模型

Yiru Wang, Zichong Gu, Yu Gao, Anqing Jiang, Zhigang Sun, Shuo Wang, Yuwen Heng, Hao Sun

机构 * Bosch Corporate Research（博世企业研究） ； School of Communication and Information Engineering（信息工程学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 HiST-VLA通过分层时空视觉-语言-动作模型提升自动驾驶轨迹生成的精度与效率，实现端到端的自动驾驶系统。

Neuro-symbolic Action Masking for Deep Reinforcement Learning

神经符号动作遮蔽用于深度强化学习

Shuai Han, Mehdi Dastani, Shihan Wang

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 NSAM通过自动学习符号模型与深度策略优化结合，提升深度强化学习的样本效率并减少约束违规。

GEBench: Benchmarking Image Generation Models as GUI Environments

GEBench: 图形用户界面生成模型的基准测试

Haodong Li, Jingwei Wu, Quan Sun, Guopeng Li, Juanxi Tian, Huanyu Zhang, Yanlin Lai, Ruichuan An, Hongbo Peng, Yuhong Dai, Chenxi Li, Chunmei Qing, Jia Wang, Ziyang Meng, Zheng Ge, Xiangyu Zhang, Daxin Jiang

机构 * StepFun ； South China University of Technology（南方科技大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所） ； The University of Chicago（芝加哥大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 GEBench提出一个评估GUI生成模型动态交互和时间一致性的基准测试，通过五维指标揭示模型在多步交互中的瓶颈问题。

Comments 23 pages, 5 figures, 4 tables

LIBERO-X: Robustness Litmus for Vision-Language-Action Models

LIBERO-X：用于视觉-语言-动作模型的鲁棒性检测仪

Guodong Wang, Chenkai Zhang, Qingjie Liu, Jinjin Zhang, Jiancheng Cai, Junjie Liu, Xinmin Liu

机构 * Meituan（美团） ； Beihang University（北京航空航天大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 LIBERO-X通过分层评估协议和多样化训练数据集，系统性地提升视觉-语言-动作模型的鲁棒性评估能力。

Comments 19 pages, 14 figures and 8 tables

PEAfowl: Perception-Enhanced Multi-View Vision-Language-Action for Bimanual Manipulation

PEAfowl：感知增强的多视角视觉-语言-动作用于双臂操作

Qingyu Fan, Zhaoxiang Li, Yi Lu, Wang Chen, Qiu Shen, Xiao-xiao Long, Yinghao Cai, Tao Lu, Shuo Wang, Xun Cao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Nanjing University（南京大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 PEAfowl通过增强感知的多视角视觉-语言-动作策略，提升双臂操作在复杂环境中的稳定性和成功率。

FunCineForge: A Unified Dataset Toolkit and Model for Zero-Shot Movie Dubbing in Diverse Cinematic Scenes

FunCineForge: 一个统一的数据集工具包和模型，用于多样的影视场景零样本配音

Jiaxuan Liu, Yang Xiang, Han Zhao, Xiangang Li, Zhenhua Ling

机构 * Alibaba Group（阿里巴巴集团） ； Tongyi Lab（通义实验室） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 FunCineForge提出了一种统一的数据集工具包和模型，用于多样的影视场景零样本配音，通过构建大规模数据集和基于大规模语言模型的模型，提升了音频质量、唇形同步和情绪表达性能。

Continuous Vision-Language-Action Co-Learning with Semantic-Physical Alignment for Behavioral Cloning

具有语义-物理对齐的连续视觉-语言-动作共学用于行为克隆

Xiuxiu Qi, Yu Yang, Jiannong Cao, Luyao Bai, Chongshan Fan, Chengtai Cao, Hongpeng Wang

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CCoL框架，通过连续共学视觉、语言和动作，解决行为克隆中的语义-物理不一致问题，提升动作执行的准确性和鲁棒性。

Comments Accepted at AAAI 2026, the Project website is available at https://qhemu.github.io/CCoL/

SoMi-ToM: Evaluating Multi-Perspective Theory of Mind in Embodied Social Interactions

SoMi-ToM：评估具身社会互动中的多视角理论之心假设

Xianzhe Fan, Xuhui Zhou, Chuanyang Jin, Kolby Nottingham, Hao Zhu, Maarten Sap

机构 * The University of Hong Kong（香港大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California Irvine（加州大学尔湾分校） ； Stanford University（斯坦福大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SoMi-ToM基准通过多视角评估人类与模型在具身社会互动中的理论之心能力，揭示大型视觉-语言模型在复杂社交场景中的不足。

Comments 24 pages, 6 figures

Journal ref Proceedings of the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

History-Aware Reasoning for GUI Agents

Ziwei Wang, Leyang Yang, Xiaoxuan Tang, Sheng Zhou, Dajun Chen, Wei Jiang, Yong Li

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Paper accepted to AAAI 2026

Learning from Online Videos at Inference Time for Computer-Use Agents

Yujian Liu, Ze Wang, Hao Chen, Ximeng Sun, Xiaodong Yu, Jialian Wu, Jiang Liu, Emad Barsoum, Zicheng Liu, Shiyu Chang

机构 * UC Santa Barbara（UC圣芭芭拉大学） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV、cs.AI

Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation

Ziming Wei, Bingqian Lin, Yunshuang Nie, Jiaqi Chen, Shikui Ma, Hang Xu, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shanghai Jiao Tong University（上海交通大学） ； The University of Hong Kong（香港大学） ； Hunan Artificial Intelligence and Robotics Institute Company Ltd.（湖南人工智能与机器人研究院有限公司） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted by IEEE Transactions on Neural Networks and Learning Systems

GUI-Rise: Structured Reasoning and History Summarization for GUI Navigation

Tao Liu, Chongyu Wang, Rongjie Li, Yingchen Yu, Xuming He, Bai Song

机构 * ShanghaiTech University（上海科技大学） ； ByteDance（字节跳动） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Published in NeurIPS 2025

GenIR: Generative Visual Feedback for Mental Image Retrieval

Diji Yang, Minghao Liu, Chung-Hsiang Lo, Yi Zhang, James Davis

机构 * University of California Santa Cruz（加州大学圣克ruz分校） ； Northeastern University（东北大学） ； Accenture（Accenture公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments NeurIPS 2025

BTL-UI: Blink-Think-Link Reasoning Model for GUI Agent

Shaojie Zhang, Ruoceng Zhang, Pei Fu, Shaokang Wang, Jiahui Yang, Xin Du, Shiqi Cui, Bin Qin, Ying Huang, Zhenbo Luo, Jian Luan

机构 * Xiaomi Inc（小米公司） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted at NeurIPS 2025

J-ORA: A Framework and Multimodal Dataset for Japanese Object Identification, Reference, Action Prediction in Robot Perception

Jesse Atuhurra, Hidetaka Kamigaito, Taro Watanabe, Koichiro Yoshino

机构 * Division of Information Science, NAIST（NAIST信息科学系） ； Guardian Robot Project, RIKEN（RIKEN守护机器人项目） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted to IROS2025

MobileRL: Online Agentic Reinforcement Learning for Mobile GUI Agents

Yifan Xu, Xiao Liu, Xinghan Liu, Jiaqi Fu, Hanchen Zhang, Bohao Jing, Shudan Zhang, Yuting Wang, Wenyi Zhao, Yuxiao Dong

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.AI、cs.LG

VAMOS: A Hierarchical Vision-Language-Action Model for Capability-Modulated and Steerable Navigation

Mateo Guaman Castro, Sidharth Rajagopal, Daniel Gorbatov, Matt Schmittle, Rohan Baijal, Octi Zhang, Rosario Scalise, Sidharth Talia, Emma Romig, Celso de Melo, Byron Boots, Abhishek Gupta

机构 * University of Washington（华盛顿大学） ； DEVCOM ARL 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

VideoAgentTrek: Computer Use Pretraining from Unlabeled Videos

Dunjie Lu, Yiheng Xu, Junli Wang, Haoyuan Wu, Xinyuan Wang, Zekun Wang, Junlin Yang, Hongjin Su, Jixuan Chen, Junda Chen, Yuchen Mao, Jingren Zhou, Junyang Lin, Binyuan Hui, Tao Yu

机构 * The University of Hong Kong（香港大学） ； Qwen Team, Alibaba Group（阿里巴巴集团Qwen团队） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 6 figures

DINO-CVA: A Multimodal Goal-Conditioned Vision-to-Action Model for Autonomous Catheter Navigation

Pedram Fekri, Majid Roshanfar, Samuel Barbeau, Seyedfarzad Famouri, Thomas Looi, Dale Podolsky, Mehrdad Zadeh, Javad Dargahi

机构 * Gina Cody School of Engineering and Computer Science, Concordia University（甘娜·柯迪工程与计算机科学学院，康科迪亚大学） ； The Wilfred and Joyce Posluns Centre for Image Guided Innovation & Therapeutic Intervention (PCIGITI) at the Hospital for Sick Children (SickKids)（威廉与乔伊斯·波斯卢斯影像引导创新与治疗干预中心（PCIGITI）（SickKids医院）） ； Electrical and Computer Engineering Department, Kettering University（电气与计算机工程系，凯特林大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

ZeST: an LLM-based Zero-Shot Traversability Navigation for Unknown Environments

Shreya Gummadi, Mateus V. Gasparino, Gianluca Capezzuto, Marcelo Becker, Girish Chowdhary

机构 * Field Robotics Engineering and Science Hub (FRESH), Illinois Autonomous Farm, University of Illinois at Urbana-Champaign (UIUC), IL（伊利诺伊大学厄巴纳-香槟分校） ； Mobile Robotics Group, São Carlos School of Engineering, University of São Paulo (EESC-USP), São Carlos, SP, Brazil（圣保罗大学） 纠错

专题命中 GUI与屏幕智能体 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

InternVLA-M1: A Spatially Guided Vision-Language-Action Framework for Generalist Robot Policy

Xinyi Chen, Yilun Chen, Yanwei Fu, Ning Gao, Jiaya Jia, Weiyang Jin, Hao Li, Yao Mu, Jiangmiao Pang, Yu Qiao, Yang Tian, Bin Wang, Bolun Wang, Fangjing Wang, Hanqing Wang, Tai Wang, Ziqin Wang, Xueyuan Wei, Chao Wu, Shuai Yang, Jinhui Ye, Junqiu Yu, Jia Zeng, Jingjing Zhang, Jinyu Zhang, Shi Zhang, Feng Zheng, Bowen Zhou, Yangkun Zhu

机构 * Intern Robotics Shanghai AI Laboratory（Intern Robotics上海AI实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

Comments Technical report

Mem4Nav: Boosting Vision-and-Language Navigation in Urban Environments with a Hierarchical Spatial-Cognition Long-Short Memory System

Lixuan He, Haoyu Dong, Zhenxing Chen, Yangcheng Yu, Jie Feng, Yong Li

专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.CV、cs.AI

Comments The paper is currently under investigation regarding concerns of potential academic misconduct. While the investigation is ongoing, the authors have voluntarily requested to withdraw the manuscript