视觉大模型 / VLM

Generalized Recognition of Basic Surgical Actions Enables Skill Assessment and Vision-Language-Model-based Surgical Planning

基本手术动作的通用识别促进技能评估和基于视觉-语言模型的手术规划

Mengya Xu, Daiyun Shen, Jie Zhang, Hon Chi Yip, Yujia Gao, Cheng Chen, Dillan Imans, Yonghao Long, Yiru Ye, Yixiao Liu, Rongyun Mai, Kai Chen, Hongliang Ren, Yutong Ban, Guangsuo Wang, Francis Wong, Chi-Fai Ng, Kee Yuan Ngiam, Russell H. Taylor, Daguang Xu, Yueming Jin, Qi Dou

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出包含10种基本手术动作的大型数据集，开发了新的基础模型以实现基本动作的通用识别，并展示了其在手术技能评估和手术规划中的应用。

Comments 34 pages, 8 figures

HATS: Hardness-Aware Trajectory Synthesis for GUI Agents

HATS: 为GUI代理的硬度感知轨迹合成

Rui Shao, Ruize Gao, Bin Xie, Yixing Li, Kaiwen Zhou, Shuai Wang, Weili Guan, Gongwei Chen

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 HATS通过硬度感知轨迹合成框架，解决GUI代理训练中语义模糊性问题，提升任务执行鲁棒性。

Comments Accepted by CVPR 2026

ReViP: Mitigating False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance

ReViP: 通过视觉-本体感知再平衡缓解视觉语言动作模型中的虚假完成

Zhuohao Li, Yinghao Li, Jian-Jian Jiang, Lang Zhou, Tianyu Zhang, Jiadong Yin, Mu Lin, Yi-Lin Wei, Wei-Shi Zheng

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 ReViP通过引入视觉-本体感知再平衡机制，缓解视觉语言动作模型中的虚假完成问题，提升模型在扰动下的鲁棒性和任务成功率。

Novel Semantic Prompting for Zero-Shot Action Recognition

新颖的语义提示用于零样本动作识别

Salman Iqbal, Waheed Rehman

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出SP-CLIP框架，通过结构化语义提示提升零样本动作识别性能，尤其在细粒度和组合动作上表现优异，同时保持模型效率和泛化能力。

MetricNet: Recovering Metric Scale in Generative Navigation Policies

MetricNet: 恢复生成导航策略中的度量尺度

Abhijeet Nayak, Débora Oliveira Makowski, Samiran Gode, Cordelia Schmid, Wolfram Burgard

机构 * Artificial Intelligence and Robotics Lab, Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg（技术大学纽伦堡计算机科学与人工智能系人工智能与机器人实验室） ； Inria, Ecole Normale Supérieure, CNRS, PSL Research University（法国国家信息与自动化技术研究院、巴黎高等师范学校、国家科学研究中心、巴黎-萨克勒研究大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 MetricNet通过预测航点之间的度量距离，解决生成导航策略中轨迹抽象和控制策略短视的问题，提升导航与探索性能。

Comments Accepted to ICRA'26

PIRA-Bench: A Transition from Reactive GUI Agents to GUI-based Proactive Intent Recommendation Agents

PIRA-Bench: 从反应式 GUI 代理到基于 GUI 的主动意图推荐代理的转变

Yuxiang Chai, Shunye Tang, Han Xiao, Rui Liu, Hongsheng Li

机构 * Nankai University（南开大学） ； Huawei Research（华为研究） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 PIRA-Bench通过引入主动意图推荐代理基准，推动GUI代理从反应式向主动式转变，评估多模态大语言模型在连续弱监督视觉输入中的能力。

HiconAgent: History Context-aware Policy Optimization for GUI Agents

HiconAgent: 历史上下文感知的GUI代理策略优化

Xurui Zhou, Gongwei Chen, Yuquan Xie, Zaijing Li, Kaiwen Zhou, Shuai Wang, Shuo Yang, Zhuotao Tian, Rui Shao

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 HiconAgent通过历史上下文感知策略优化，高效利用历史信息，在GUI导航任务中实现更高的准确率和效率。

Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots

迈向运动图灵测试：评估人形机器人的人性化

Mingzhe Li, Mengyin Liu, Zekai Wu, Xincheng Lin, Junsheng Zhang, Ming Yan, Zengye Xie, Changwang Zhang, Chenglu Wen, Lan Xu, Siqi Shen, Cheng Wang

机构 * Fujian Key Laboratory of Urban Intelligent Sensing and Computing, Xiamen University（福建城市智能感知与计算重点实验室，厦门大学） ； Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, School of Informatics, Xiamen University（多媒体可信感知与高效计算重点实验室，中华人民共和国教育部，信息学院，厦门大学） ； National Institute for Data Science in Health and Medicine, Xiamen University（医学数据科学国家研究院，厦门大学） ； OPPO Research Institute（OPPO研究院） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出运动图灵测试框架，通过HHMotion数据集评估人形机器人动作的人性化程度，并展示基线模型在预测人性化的有效性。

Comments 13 pages, 10 figures, conference

StoryTailor:A Zero-Shot Pipeline for Action-Rich Multi-Subject Visual Narratives

StoryTailor: 一种零样本 pipelines 用于动作丰富的多主体视觉叙事

Jinghao Hu, Yuhe Zhang, GuoHua Geng, Kang Li, Han Zhang

机构 * College of Computer Science, Northwest University（计算机科学学院，西北大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 StoryTailor通过零样本方法生成动作丰富的多主体视觉叙事，结合GCA、AB-SVR和SFC模块提升动作忠实性和跨帧连续性，实验显示其在多个指标上优于基线方法。

Comments 24 pages,19 figures,accepted by CVPR2026

GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?

GhostEI-Bench: 移动代理在动态设备环境中的环境注入鲁棒性研究

Chiyu Chen, Xinhao Song, Yunkai Chai, Yang Yao, Haodong Zhao, Lijun Li, Jie Li, Yan Teng, Gongshen Liu, Yingchun Wang

机构 * Shanghai Jiao Tong University, School of Computer Science（上海交通大学计算机科学学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 GhostEI-Bench通过动态环境注入攻击评估移动代理的鲁棒性，揭示现有模型对欺骗性UI的脆弱性，并提供量化和缓解该威胁的框架。

FeedAIde: Guiding App Users to Submit Rich Feedback Reports by Asking Context-Aware Follow-Up Questions

FeedAIde: 通过提问情境感知的后续问题引导应用用户提交丰富的反馈报告

Ali Ebrahimi Pourasad, Meyssam Saghiri, Walid Maalej

机构 * University of Hamburg（汉堡大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 FeedAIde通过情境感知和生成式AI技术，帮助用户更高效地提交详细反馈报告，提升开发人员获取信息的价值。

Comments Accepted for publication at the 13th International Conference on Mobile Software Engineering and Systems (MOBILESoft) 2026

LAD-Drive: Bridging Language and Trajectory with Action-Aware Diffusion Transformers

LAD-Drive: 通过动作感知扩散变换器弥合语言与轨迹

Fabian Schmidt, Karol Fedurko, Markus Enzweiler, Abhinav Valada

机构 * Institute for Intelligent Systems, Esslingen University of Applied Sciences（智能系统研究所，埃斯林根应用科学大学） ； Department of Computer Science, University of Freiburg（计算机科学系，弗赖堡大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 LAD-Drive通过动作感知扩散变换器，将语言模型的意图与连续轨迹生成结合，提升自动驾驶中的多模态规划能力。

Fair in Mind, Fair in Action? A Synchronous Benchmark for Understanding and Generation in UMLLMs

公平在心，公平在行？一个用于理解与生成的同步基准：UMLLMs的公平性评估

Yiran Zhao, Lu Zhou, Xiaogang Xu, Zhe Liu, Jiafei Wu, Liming Fang

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； The Chinese University of Hong Kong（香港中文大学） ； School of Software Technology, Zhejiang University（浙江大学软件学院） ； Ningbo Global Innovation Center, Zhejiang University（浙江大学宁波全球创新中心） ； Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 IRIS基准通过同步评估UMLLMs的理解与生成任务公平性，揭示系统性偏见现象并提供公平性优化指导。

Comments Accepted to ICLR 2026

M$^2$: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval

M$^2$: 通过轨迹摘要和洞察检索实现长 horizon 网络代理的双记忆增强

Dawei Yan, Haokui Zhang, Guangda Huzhang, Yang Li, Yibo Wang, Qing-Guo Chen, Zhao Xu, Weihua Luo, Ying Li, Wei Dong, Chunhua Shen

机构 * Northwestern Polytechnical University, Xi'an, China（西北工业大学） ； AI Business, Alibaba Group, Hangzhou, China（阿里云人工智能业务） ； Xi'an University of Architecture（西安建筑科技大学） ； Zhejiang University, Hangzhou, China（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 M$^2$通过双记忆机制提升长 horizon 网络代理的上下文效率和决策鲁棒性，实现更高成功率和更低计算成本。

SignVLA: A Gloss-Free Vision-Language-Action Framework for Real-Time Sign Language-Guided Robotic Manipulation

SignVLA：一种无 gloss 的视觉-语言-动作框架，用于实时 sign language 引导的机器人操作

Xinyu Tan, Ningwei Bai, Harry Gardener, Zhengyang Zhong, Luoyu Zhang, Liuhaichen Yang, Zhekai Duan, Monkgogi Galeitsiwe, Zezhi Tang

机构 * Department of Computer Science, University College London (UCL)（计算机科学系，伦敦大学学院（UCL）） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 SignVLA 提出了一种无 gloss 的视觉-语言-动作框架，用于实时手语引导的机器人操作，通过几何归一化、时间平滑和词汇精炼提升多模态交互的稳定性和可扩展性。

Comments 7 pages, 2 figures

BFA++: Hierarchical Best-Feature-Aware Token Prune for Multi-View Vision Language Action Model

BFA++: 多视角视觉语言动作模型的分层最佳特征感知令牌剪枝

Haosheng Li, Weixin Mao, Zihan Lan, Hongwei Xiong, Hongan Wang, Chenyang Si, Ziwei Liu, Xiaoming Deng, Hua Chen

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； LimX Dynamic（LimX动态） ； Nanjing University（南京大学） ； Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.CV

AI总结 BFA++通过分层最佳特征感知令牌剪枝提升多视角视觉语言动作模型的效率和成功率

Comments 9 pages, 10 figures

Global Commander and Local Operative: A Dual-Agent Framework for Scene Navigation

全局指挥官与局部执行者：一种双智能体框架用于场景导航

Kaiming Jin, Yuefan Wu, Shengqiong Wu, Bobo Li, Shuicheng Yan, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Simon Fraser University（西蒙弗雷泽大学） ； University of Oxford（牛津大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 DACo提出双智能体框架，通过解耦全局推理与局部执行，提升复杂环境中长时序导航的稳定性和性能。

Comments 18 pages, 9 figures

TPRU: Advancing Temporal and Procedural Understanding in Large Multimodal Models

TPRU: 推动大型多模态模型中的时序与过程理解

Zhenkun Gao, Xuhong Wang, Xin Tan, Yuan Xie

机构 * East China Normal University（东华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 TPRU通过引入大规模多模态数据集和强化学习微调方法，显著提升大型模型在时序和过程理解上的表现，达到当前最先进的准确率。

Comments Accepted to ICLR 2026. 17 pages. Code, data, and models are available at: https://github.com/Stephen-gzk/TPRU

Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents

Mobile-Agent-v3.5: 多平台基础图形用户界面代理

Haiyang Xu, Xi Zhang, Haowei Liu, Junyang Wang, Zhaozai Zhu, Shengjie Zhou, Xuhao Hu, Feiyu Gao, Junjie Cao, Zihua Wang, Zhiyuan Chen, Jitong Liao, Qi Zheng, Jiahui Zeng, Ze Xu, Shuai Bai, Junyang Lin, Jingren Zhou, Ming Yan

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 GUI-Owl-1.5通过多平台支持和创新算法在GUI任务中取得突破性成绩。

Comments 25 pages, 11 figures, 11 tables

Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation

增强语义 grounded 的动作和成分建模以实现语义 grounded 的食谱生成

Guoshan Liu, Bin Zhu, Yian Li, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出语义 grounded 的框架，通过两阶段流程结合监督微调和强化微调，提升食谱生成的语义准确性与成分预测能力。

ActionCodec: What Makes for Good Action Tokenizers

ActionCodec：什么使好的动作分词器成为可能

Zibin Dong, Yicheng Liu, Shiduo Zhang, Baijun Ye, Yifu Yuan, Fei Ni, Jingjing Gong, Xipeng Qiu, Hang Zhao, Yinchuan Li, Jianye Hao

机构 * Tsinghua University（清华大学） ； Fudan University（复旦大学） ； Tianjin University（天津大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出ActionCodec，通过信息论原则提升动作分词性能，实现无需机器人预训练的VLA模型新SOTA。

Plan-MCTS: Plan Exploration for Action Exploitation in Web Navigation

Plan-MCTS：网页导航中的计划探索用于动作利用

Weiming Zhang, Jihong Wang, Jiamu Zhou, Qingyao Li, Xinbei Ma, Congmin Zheng, Xingyu Lou, Weiwen Liu, Zhuosheng Zhang, Jun Wang, Yong Yu, Weinan Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 Plan-MCTS通过将网页导航探索转移到语义计划空间，提升动作利用效率，实现更高效的导航任务执行。

LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer

LAP：语言-动作预训练实现零样本跨躯体迁移

Lihan Zha, Asher J. Hancock, Mingtong Zhang, Tenny Yin, Yixuan Huang, Dhruv Shah, Allen Z. Ren, Anirudha Majumdar

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 LAP通过语言-动作预训练实现零样本跨躯体迁移，首次在无需特定躯体微调的情况下达到显著的迁移效果，提升性能达两倍。

Comments Project website: https://lap-vla.github.io

JEPA-VLA: Video Predictive Embedding is Needed for VLA Models

视频预测嵌入对于VLA模型是必要的

Shangchen Miao, Ningya Feng, Jialong Wu, Ye Lin, Xu He, Dong Li, Mingsheng Long

机构 * Tsinghua University（清华大学） ； Huawei Noah's Ark Lab（华为诺亚实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 JEPA-VLA通过引入视频预训练的预测嵌入，提升VLA模型在机器人任务中的性能和泛化能力。

AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild

AmbiBench：在真实场景中超越单次指令的移动GUI代理基准测试

Jiazheng Sun, Mingxuan Li, Yingying Zhang, Jiayang Niu, Yachen Wu, Ruihan Jin, Shuyu Lei, Pengrongrui Tan, Zongyu Zhang, Ruoyi Wang, Jiachen Yang, Boyu Yang, Jiacheng Liu, Xin Peng

机构 * Fudan University（复旦大学） ； Jilin University（吉林大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.AI

AI总结 AmbiBench是首个针对移动GUI代理在真实场景中超越单次指令的双向意图对齐的基准测试，通过引入清晰度分类和MUSE框架评估代理在不同清晰度下的表现。

Comments 21 pages, 7 figures

Instruct2Act: From Human Instruction to Actions Sequencing and Execution via Robot Action Network for Robotic Manipulation

Instruct2Act: 从人类指令到动作序列和执行的机器人操作网络

Archit Sharma, Dharmendra Sharma, John Rebeiro, Peeyush Thakur, Narendra Dhar, Laxmidhar Behera

机构 * Indian Institute of Technology Mandi（印度理工学院曼迪分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 Instruct2Act通过机器人操作网络实现从人类指令到动作序列的解析与执行，达到91.5%的子动作预测准确率和90%的任务成功率。

TreeCUA: Efficiently Scaling GUI Automation with Tree-Structured Verifiable Evolution

TreeCUA: 通过树结构可验证进化高效扩展GUI自动化

Deyang Jiang, Jing Huang, Xuanle Zhao, Lei Chen, Liming Zheng, Fanfan Liu, Haibo Qiu, Peng Shi, Zhixiong Zeng

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 TreeCUA通过树结构可验证进化高效扩展GUI自动化，提升GUI规划能力。

Comments 14 pages, 7 figures

From Off-Policy to On-Policy: Enhancing GUI Agents via Bi-level Expert-to-Policy Assimilation

从离线到在线：通过双层专家到策略融合提升GUI代理

Zezhou Wang, Ziyun Zhang, Xiaoyi Zhang, Zhuzhong Qian, Yan Lu

机构 * Nanjing University（南京大学） ； Peking University（北京大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 BEPA通过双层专家到策略融合方法，提升GUI代理在OSWorld-Verified等基准测试中的性能。

Comments Work In Progress

GUI Knowledge Bench: Revealing the Knowledge Gap of VLMs in GUI Tasks

GUI知识基准：揭示VLMs在GUI任务中的知识差距

Chenrui Shi, Zedong Yu, Zhi Gao, Ruining Feng, Enqi Liu, Yuwei Wu, Yunde Jia, Liuyu Xiang, Zhaofeng He, Qing Li

机构 * Beijing Institute of Technology, Beijing, China（北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China（国家一般人工智能重点实验室） ； Beijing University of Posts（北京邮电大学） ； Tsinghua University, Beijing, China（清华大学） ； Shenzhen MSU-BIT University, Shenzhen, China（深圳MSU-BIT大学） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.AI

AI总结 GUI知识基准揭示VLMs在GUI任务中的知识差距，通过提炼三个维度的GUI知识，评估现有模型的不足并指导更高效的任务完成。

OpenPhone: Mobile Agentic Foundation Models

OpenPhone: 移动代理基础模型

Yangqin Jiang, Chao Huang

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 OpenPhone通过设备-云协作提升移动GUI代理性能，结合设备端高效模型与云端强大能力，实现成本降低与性能提升的平衡。