视觉大模型 / VLM

SurgOnAir: Hierarchy-Aware Real-Time Surgical Video Commentary

SurgOnAir: 基于层次感知的实时手术视频评论

Jingyi He, Yue Zhou, Long Bai, Kun Yuan, Nassir Navab, Yuan Bi

机构 * Computer Aided Medical Procedures (CAMP), TU Munich, Germany Munich Center for Machine Learning (MCML), Munich, Germany University of Strasbourg, France The Chinese University of Hong Kong, Hong Kong 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究提出SurgOnAir，一种流式视觉-语言模型，通过层次化数据集实现对手术流程多层级的实时理解与评论生成，提升手术过程中的即时响应能力。

ShopGym: An Integrated Framework for Realistic Simulation and Scalable Benchmarking of E-Commerce Web Agents

ShopGym: 一个集成框架，用于电子商务网络代理的现实模拟和可扩展基准测试

Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

机构 * North Carolina State University（北卡罗来纳州立大学） ； Shopify 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出ShopGym框架，通过模拟层ShopArena和基准层ShopGuru，实现电子商务网络代理的现实模拟与可扩展基准测试，验证了合成商店在结构属性和代理性能上的有效性。

Comments 32 pages, 10 figures

PAGER: Bridging the Semantic-Execution Gap in Point-Precise Geometric GUI Control

PAGER:弥合点精确几何GUI控制中的语义-执行鸿沟

Jingxuan Wei, Xi Bai, Shan Liu, Caijun Jia, Zheng Sun, Xinglong Xu, Siyuan Li, Linzhuang Sun, Bihui Yu, Conghui He, Cheng Tan

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； China University of Petroleum-Beijing（中国石油大学（北京）） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出PAGER，通过依赖结构规划与像素级执行，解决对点精确几何GUI任务的需求，提升任务成功率至62%以上，填补语义-执行鸿沟。

Comments 27 pages, 11 figures, 3 tables

Evo-Depth: A Lightweight Depth-Enhanced Vision-Language-Action Model

Evo-Depth：一种轻量化的深度增强视觉-语言-动作模型

Tao Lin, Yuxin Du, Jiting Liu, Nuobei Zhu, Yunhe Li, Yuqian Fu, Yinxinyu Chen, Hongyi Cai, Zewei Ye, Bing Cheng, Kai Ye, Yiran Mao, Yilei Zhong, MingKang Dong, Junchi Yan, Gen Li, Bo Zhao

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； King Abdullah University of Science and Technology（卡塔尔国王 Abdullah 大学科学与技术大学） ； Nanyang Technological University（南洋理工大学） ； SJTU-Quic Robot Joint Lab（上海交通大学-Quick 机器人联合实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出Evo-Depth模型，通过轻量隐式深度编码模块和空间增强模块提升视觉-语言-动作任务中的空间感知能力，实现高效部署与高精度操作。

AutoMoT: A Unified Vision-Language-Action Model with Asynchronous Mixture-of-Transformers for End-to-End Autonomous Driving

AutoMoT：一种基于异步混合变换器的统一视觉-语言-动作模型用于端到端自动驾驶

Wenhui Huang, Songyan Zhang, Qihang Huang, Zhidong Wang, Zhiqi Mao, Collister Chua, Zhan Chen, Long Chen, Chen Lv

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Harvard University, US（哈佛大学，美国） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出AutoMoT，一种统一视觉-语言-动作模型，通过异步混合变换器架构解决自动驾驶中推理与动作空间分布不一致、推理效率低等问题，实验证明其在多基准测试中表现优异。

SPIN: Structural LLM Planning via Iterative Navigation for Industrial Tasks

SPIN：通过迭代导航进行工业任务的结构LLM规划

Yusuke Ozaki, Dhaval Patel

机构 * University at Albany（阿尔巴马大学） ； IBM（国际商业机器公司） ； Kwansei Gakuin University（关西大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 SPIN通过结合验证的有向无环图规划与前缀执行控制，减少任务执行次数并提高完成率，适用于工业任务规划。

Comments 31 pages, 10 figures

Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs

宽视角闭合：多模态大语言模型中的表征-行动鸿沟

Trung Nguyen Quang, Yiming Gao, Fanyi Pu, Kaichen Zhang, Shuo Sun, Ziwei Liu

机构 * Nanyang Technological University（南洋理工大学） ； LMMs-Lab Team（多模态大模型实验室团队） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 研究发现多模态大语言模型在感知与行动之间存在鸿沟，通过IMAVB基准测试揭示模型在处理冲突信息时的不足，提出PGLA方法提升拒绝行为。

RotVLA: Rotational Latent Action for Vision-Language-Action Model

RotVLA: 旋转的潜在动作用于视觉-语言-动作模型

Qiwei Li, Xicheng Gong, Xinghang Li, Peiyan Li, Quanyun Zhou, Hangjun Ye, Jiahuan Zhou, Yadong Mu

机构 * Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学） ； Xiaomi Robotics（小米机器人） ； CASIA 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV

AI总结 RotVLA提出基于连续旋转潜在动作表示的VLA框架，通过三元组帧学习和流匹配头实现高效动作建模，实现98.2%的LIBERO和89.6%/88.5%的RoboTwin2.0性能。

Mitigating Action-Relation Hallucinations in LVLMs via Relation-aware Visual Enhancement

通过关系感知视觉增强缓解LVLM中的动作关系幻觉

Zhenxin Qin, Qiang Li, Qingzhuo Wang, Ruiyang Qin, Zhihua Wei, Wen Shen

机构 * Tongji University（同济大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出通过关系感知视觉增强方法，缓解LVLM中动作关系幻觉问题，通过提升模型对关键视觉区域的关注度，有效减少幻觉并泛化至其他关系幻觉。

Floorplan2Guide: LLM-Guided Floorplan Parsing for BLV Indoor Navigation

Floorplan2Guide: 基于LLM的BLV室内导航floorplan解析

Aydin Ayanzadeh, Tim Oates

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩分校） 纠错

专题命中 GUI与屏幕智能体 ：visual reasoning(abstract)；分类 cs.AI

AI总结 本文提出利用基础模型将floor plan转化为可导航的知识图谱，并生成可读的导航指令，通过LLM提取空间信息，提升BLV用户室内导航的精度与安全性。

Comments Accepted for publication in the proceedings of the IEEE International Conference on Big Data (IEEE BigData 2025)

Journal ref IEEE International Conference on Big Data (IEEE BigData 2025), pp. 7477-7485

Cplus2ASP: Computing Action Language C+ in Answer Set Programming

Cplus2ASP：在答案集编程中计算动作语言C+

Joseph Babb, Joohyung Lee

机构 * School of Computing, Informatics, and Decision Systems Engineering（计算、信息与决策系统工程学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 Cplus2ASP 2.0实现了动作语言C+的确定性片段，通过现代答案集求解技术提升效率，结合多种理论成果，利用工具链实现C+到ICLingo的翻译，并支持扩展多模态翻译。

Journal ref In Proceedings of the 12th International Conference on Logic Programming and Nonmonotonic Reasoning (LPNMR 2013), 122-134, 2013

LiteVLA-H: Dual-Rate Vision-Language-Action Inference for Onboard Aerial Guidance and Semantic Perception

LiteVLA-H: 双速率视觉-语言-动作推断用于机载空中引导与语义感知

Justin williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar

机构 * Department of Cyber Physical Systems, Clark Atlanta University（克劳克阿特拉大学网络物理系统系） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 LiteVLA-H通过双速率操作在边缘设备上实现高效视觉-语言-动作推断，兼顾快速动作输出与语义理解，提升空中引导与场景感知性能。

ProactiveMobile: A Comprehensive Benchmark for Boosting Proactive Intelligence on Mobile Devices

ProactiveMobile: 一个全面的基准，用于提升移动设备上的主动智能

Dezhi Kong, Zhengzhao Feng, Qiliang Liang, Hao Wang, Haofei Sun, Changpeng Yang, Yang Li, Peng Zhou, Shuai Nie, Hongzhen Wang, Linfeng Zhou, Hao Jia, Jiaming Xu, Runyu Shi, Ying Huang

机构 * HyperAI Team, Xiaomi Corporation（小米公司HyperAI团队） ； Zhejiang University（浙江大学） ； Peking University（北京大学） ； Northeastern University（东北大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出ProactiveMobile基准，通过多模态大语言模型在移动代理中实现主动智能，通过63个API生成可执行函数序列，实验表明Qwen2.5-VL-7B-Instruct在主动智能任务中表现优于其他模型。

Large Video Planner Enables Generalizable Robot Control

大视频规划器实现通用机器人控制

Boyuan Chen, Tianyuan Zhang, Haoran Geng, Caiyi Zhang, Peihao Li, Kiwhan Song, William T. Freeman, Jitendra Malik, Pieter Abbeel, Russ Tedrake, Vincent Sitzmann, Yilun Du

机构 * MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） ； Harvard（哈佛大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出利用大规模视频预训练构建通用机器人基础模型，通过生成视频计划实现跨任务和环境的泛化控制，并在真实机器人上验证了其可行性。

Comments 29 pages, 16 figures

A Regime Theory of Controller Class Selection for LLM Action Decisions

控制器类别选择的制度理论：用于LLM行动决策

Zhaoyang Jiang, Zhizhong Fu, Yunsoo Kim, Jiacong Mi, Zicheng Li, Xuanqi Peng, Honghan Wu

机构 * University of Glasgow（格拉斯哥大学） ； University College London（伦敦大学学院） ； UESTC（电子科技大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出一种制度理论，通过分析有限样本下的实例不确定性信号，指导LLM在不同输入下选择合适的控制器类别，从而在有限样本中实现最优决策。

A11y-Compressor: A Framework for Enhancing the Efficiency of GUI Agent Observations through Visual Context Reconstruction and Redundancy Reduction

A11y-Compressor：通过视觉上下文重建和冗余减少提升GUI代理观察效率的框架

Michito Takeshita, Takuro Kawada, Takumi Ohashi, Shunsuke Kitada, Hitoshi Iyatomi

机构 * Hosei University（Hosei大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出A11y-Compressor框架，通过视觉上下文重建和冗余减少技术，将线性化可访问性树转换为紧凑结构化表示，实验表明其在OSWorld基准测试中将输入token减少至原22%，任务成功率提升5.1个百分点。

Comments 18 pages, 5 figures, 5 tables. Accepted to ACL SRW 2026. Project page: https://iyatomilab.github.io/a11y-compressor/

A Survey on Vision-Language-Action Models for Embodied AI

具身人工智能中视觉-语言-动作模型的综述

Yueen Ma, Zixing Song, Yuzheng Zhuang, Jianye Hao, Irwin King

机构 * Chinese University of Hong Kong（香港中文大学） ； University of Bristol（布里斯托大学） ； Huawei Noah’s Ark Laboratory（华为诺亚实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文综述了具身人工智能中视觉-语言-动作模型的发展，探讨了其在机器人任务中的应用，分类了三种主要研究方向，并讨论了面临的挑战与未来方向。

Comments Project page: https://github.com/yueen-ma/Awesome-VLA

Journal ref IEEE Transactions on Neural Networks and Learning Systems (Early Access), 2026

SnapGuard: Lightweight Prompt Injection Detection for Screenshot-Based Web Agents

SnapGuard: 基于截图的轻量级提示注入检测方法

Mengyao Du, Han Fang, Haokai Ma, Jiahao Chen, Kai Xu, Quanjun Yin, Ee-Chien Chang

机构 * National University of Defense Technology（国防科技大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 针对基于截图的网络代理面临的提示注入攻击问题，提出SnapGuard方法，通过视觉稳定指标和文本信号分析实现高效检测，达到F1得分0.75，速度提升8倍。

Comments 10 pages, 7 figures

Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

为什么基于大语言模型的网络代理会失败？一种分层规划视角

Mohamed Aghzal, Gregory J. Stein, Ziyu Yao

机构 * Department of Computer Science, George Mason University（乔治·马歇尔大学计算机科学系） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 本文从分层规划角度分析了LLM网络代理失败原因，发现低层执行是主要瓶颈，改进感知接地和自适应控制对实现人类可靠性至关重要。

Comments Accepted to The 64th Annual Meeting of the Association for Computational Linguistics (ACL) 2026

MPR-GUI: Benchmarking and Enhancing Multilingual Perception and Reasoning in GUI Agents

MPR-GUI：多语言感知与推理GUI代理的基准测试与增强

Ruihan Chen, Qiming Li, Xiaocheng Feng, Weihong Zhong, Xiaoliang Yang, Yuxuan Gu, Zekun Zhou, Yunfei Lu, Haoyu Ren, Kun Chen, Dandan Tu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出MPR-GUI-Bench，通过六种语言和八个细粒度任务评估多语言GUI代理的感知与推理能力，并提出GUI-XLI方法以缩小跨语言差距。

Comments 35pages, 15figures

AMAVA: Adaptive Motion-Aware Video-to-Audio Framework for Visually-Impaired Assistance

AMAVA：一种自适应的动觉感知视频到音频框架，用于视障协助

Benjamin Klein, Kazi Ruslan Rahman, Sanchita Ghose

机构 * Department of Computer Science, San Francisco State University（计算机科学系，旧金山州立大学） ； Department of Mathematics, San Francisco State University（数学系，旧金山州立大学） ； Department of Computer Engineering, San Francisco State University（计算机工程系，旧金山州立大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 AMAVA通过将移动设备视频转换为相关声音效果或语音描述，帮助视障人士更高效地感知环境，提升导航安全性和信心。

Comments 8 pages, 7 figures. Published in the Proceedings of the 15th International Conference on Pattern Recognition Applications and Methods (ICPRAM 2026), pages 282--289

Journal ref In Proceedings of the 15th International Conference on Pattern Recognition Applications and Methods (ICPRAM 2026), pages 282--289, 2026

From Static to Interactive: Authoring Interactive Visualizations via Natural Language

从静态到交互：通过自然语言实现交互式可视化

Can Liu, Jaeuk Lee, Tianhe Chen, Zhibang Jiang, Xiaolin Wen, Yong Wang

机构 * Nanyang Technological University（南洋理工大学） ； Ajou University（阿乔大学） ； Providence Health & Services（普罗维登斯健康与服务） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出Athanor方法，利用多模态大语言模型和自然语言指令将静态可视化转为交互式，通过三种创新设计提升用户交互体验。

VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation

VLAA-GUI: 知何时停止、恢复和搜索，一个用于GUI自动化模块化框架

Qijun Han, Haoqin Tu, Zijun Wang, Haoyue Dai, Yiyang Zhou, Nancy Lau, Alvaro A. Cardenas, Yuhui Xu, Ran Xu, Caiming Xiong, Zeyu Zheng, Huaxiu Yao, Yuyin Zhou, Cihang Xie

机构 * UC Santa Cruz ； CMU（卡内基梅隆大学） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Salesforce ； UC Berkeley（伯克利加州大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 VLAA-GUI通过模块化框架解决GUI代理的早期停止和重复循环问题，引入完整性验证器、循环打破器和搜索代理，提升自动化性能。

Comments The first two authors contribute equally

SPRITE: From Static Mockups to Engine-Ready Game UI

SPRITE：从静态草图到引擎-ready的游戏UI

Yunshu Bai, RuiHao Li, Hao Zhang, Chien Her Lim, Ming Yan, Mengtian Li

机构 * Shanghai University（上海大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 SPRITE通过整合视觉语言模型与结构化YAML表示，将静态截图转化为可编辑的引擎资产，提升了游戏UI开发的效率和准确性。

Comments CHI EA '26

Instruction-as-State: Environment-Guided and State-Conditioned Semantic Understanding for Embodied Navigation

指令作为状态：环境引导和状态条件的语义理解用于具身导航

Zhen Liu, Yuhan Liu, Jinjun Wang, Jianyi Liu, Wei Song, Jingwen Fu

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室） ； The Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所） ； School of Information Science and Technology（信息科学与技术学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出了一种环境引导和状态条件的语义理解方法，通过动态指令-感知纠缠提升具身导航性能，实验表明在多个基准测试中表现优异。

CogDriver: Integrating Cognitive Inertia for Temporally Coherent Planning in Autonomous Driving

CogDriver：通过整合认知惯性实现自动驾驶中的时间一致规划

Pei Liu, Qingtian Ning, Xinyan Lu, Haipeng Liu, Weiliang Ma, Dangen She, Peng Jia, Xianpeng Lang, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Li Auto Inc.（利汽车公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出CogDriver框架，通过引入认知惯性提升自动驾驶中的时间一致性规划能力，通过大规模视觉-语言-动作数据集和稀疏时间记忆架构，显著提升了闭环驾驶得分和模仿准确性。

ESCAPE: Episodic Spatial Memory and Adaptive Execution Policy for Long-Horizon Mobile Manipulation

ESCAPE：基于长周期移动操作的片段空间记忆与自适应执行策略

Jingjing Qian, Zeyuan He, Chen Shi, Lei Xiao, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； LiAuto Inc.（LiAuto公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出ESCAPE框架，通过融合感知-地面-执行流程，解决长周期移动操作中的鲁棒性、空间一致性及执行灵活性问题，在ALFRED基准测试中取得优异成绩。

WebXSkill: Skill Learning for Autonomous Web Agents

WebXSkill：自主网页代理的技能学习

Zhaoyang Wang, Qianhui Wu, Xuchao Zhang, Chaoyun Zhang, Wenlin Yao, Fazle Elahi Faisal, Baolin Peng, Si Qin, Suman Nath, Qingwei Lin, Chetan Bansal, Dongmei Zhang, Saravan Rajmohan, Jianfeng Gao, Huaxiu Yao

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Microsoft（微软） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 WebXSkill通过可执行技能框架解决自主网页代理在长周期任务中的执行与适应问题，提升任务成功率。

Comments 21 pages

MAS-Bench: A Unified Benchmark for Shortcut-Augmented Hybrid Mobile GUI Agents

MAS-Bench：一种统一的快捷键增强混合移动GUI代理基准测试

Pengxiang Zhao, Guangyi Liu, YaoZhen Liang, Weiqing He, Zhengxi Lu, WenHao Wang, Yuehao Huang, Yuxiang Chai, Zhaolu Kang, Yaxuan Guo, Hao Wang, Kexin Zhang, Liang Liu, Yong Liu

机构 * Zhejiang University（浙江大学） ； vivo AI Lab（vivo AI实验室） ； Peking University（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.AI

AI总结 本文提出MAS-Bench，用于评估结合GUI和快捷键的混合移动自动化代理，包含139个任务和9个评估指标，实验显示混合代理在效率上优于纯GUI代理。

MGA: Memory-Driven GUI Agent for Observation-Centric Interaction

MGA：基于记忆的GUI代理用于以观察为中心的交互

Weihua Cheng, Junming Liu, Yifei Sun, Botian Shi, Yirong Chen, Ding Wang

机构 * Shanghai Tech University（上海科技大学） ； Tongji University（同济大学） ； East China University of Science and Technology（东华大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 MGA通过解耦长周期轨迹和结构化状态记忆机制，减少认知负担和系统复杂度，实现高效的GUI自动化。

Comments Submitted to ACM MM 2026