视觉大模型 / VLM

SecureWebArena: A Holistic Security Evaluation Benchmark for LVLM-based Web Agents

SecureWebArena: 一个针对基于大视觉-语言模型的Web代理的综合安全评估基准

Zonghao Ying, Yangguang Shao, Jianle Gan, Gan Xu, Wenxin Zhang, Quanchen Zou, Junzheng Shi, Zhenfei Yin, Mingchuan Zhang, Aishan Liu, Xianglong Liu

机构 * SKLCCSE, Beihang University（北京航空航天大学安全实验室） ； Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； China University of Petroleum (East China)（中国石油大学（华东）） ； Zhejiang University of Technology（浙江工业大学） ； University of Chinese Academy of Science（中国科学院大学） ； AI Security Lab（360人工智能安全实验室） ； The University of Sydney（悉尼大学） ； Henan University of Science and Technology（河南理工大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出SecureWebArena，首个针对基于大视觉-语言模型的Web代理安全性的综合评估基准，通过六个真实模拟的Web环境和2970条高质量轨迹，分析代理在内部推理、行为轨迹和任务结果三个维度上的安全风险。

Comments ACL

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

基于轨迹诱导的偏好优化的移动GUI代理隐私个性化

Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu, Yuecong Min, Yue Yao

机构 * Shandong University（山东大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； New York University（纽约大学） ； Xi'an Jiaotong University（西安交通大学） ； Australian National University（澳大利亚国立大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文研究移动GUI代理的隐私个性化问题，提出轨迹诱导偏好优化方法，通过偏好强度加权和填充门机制提升隐私保护与任务执行效率。

Comments 10 pages, 6 figures, 3 tables

ProGAL-VLA: Grounded Alignment through Prospective Reasoning in Vision-Language-Action Models

ProGAL-VLA: 通过前瞻性推理实现视觉-语言-动作模型中的 grounded 对齐

Nastaran Darabi, Amit Ranjan Trivedi

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 ProGAL-VLA 通过构建 3D 实体中心图、使用慢速规划器生成符号子目标，并通过 Grounding Alignment Contrastive 损失对齐实体，提升机器人在扰动下的鲁棒性，减少语言忽略并提高实体检索性能。

UAV-Track VLA: Embodied Aerial Tracking via Vision-Language-Action Models

UAV-Track VLA: 通过视觉-语言-动作模型实现具身空中跟踪

Qiyao Zhang, Shuhua Zheng, Jianli Sun, Chengxiang Li, Xianke Wu, Zihan Song, Zhiyong Cui, Yisheng Lv, Yonglin Tian

机构 * Beijing Institute of Technology（北京理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Sanya（三亚学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hunan University（湖南大学） ； Beihang University（北京航空航天大学） ； Flying Intelligence Team (Virtual Research Community)（飞行智能团队（虚拟研究社区）） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出UAV-Track VLA模型，通过视觉-语言-动作融合解决动态城市场景中的具身跟踪问题，提升UAV的实时控制性能。

EchoTrail-GUI: Building Actionable Memory for GUI Agents via Critic-Guided Self-Exploration

EchoTrail-GUI: 通过批评者引导的自我探索构建可操作的记忆以改进GUI代理

Runze Li, Yuwen Zhai, Bo Xu, LiWu Xu, Nian Shi, Wei Zhang, Ran Lin, Liang Wang

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团） ； East China Normal University（华东师范大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出EchoTrail-GUI框架，通过动态记忆系统提升GUI代理任务成功率和效率，验证了结构化记忆在GUI自动化中的有效性。

Comments CVPR 2026 Findings

MolmoWeb: Open Visual Web Agent and Open Data for the Open Web

MolmoWeb：开放视觉网络代理和开放数据用于开放网络

Tanmay Gupta, Piper Wolters, Zixian Ma, Peter Sushko, Rock Yuren Pang, Diego Llanes, Yue Yang, Taira Anderson, Boyuan Zheng, Zhongzheng Ren, Harsh Trivedi, Taylor Blanton, Caleb Ouellette, Winson Han, Ali Farhadi, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出MolmoWeb，一个开放的多模态网络代理，通过公开的浏览器任务演示和网页GUI感知数据，实现状态-of-the-art的网络代理性能，促进开放研究。

Comments https://allenai.org/blog/molmoweb

Invisible to Humans, Triggered by Agents: Stealthy Jailbreak Attacks on Mobile Vision-Language Agents

对人类不可见，由智能体触发：针对移动视觉-语言智能体的隐秘劫持攻击

Renhua Ding, Xiao Yang, Zhengwei Fang, Jun Luo, Kun He, Jun Zhu

机构 * School of Computer Science, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University（清华大学计算机科学与技术系、人工智能研究院、清华-博世机器学习联合中心、清华脑与智能实验室、北京国家信息科学与技术研究中心） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出了一种隐秘的劫持攻击方法，通过智能体交互时的感知注入，避免被人类察觉，同时在移动设备上有效绕过安全过滤器。

BoxComm: Benchmarking Category-Aware Commentary Generation and Narration Rhythm in Boxing

BoxComm：基于 boxing 的类别感知评论生成与叙述节奏基准测试

Kaiwen Wang, Kaili Zheng, Rongrong Deng, Yiming Shi, Chenyi Guo, Ji Wu

机构 * Tsinghua University（清华大学） ； Beijing Sport University（北京体育大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出 BoxComm 数据集，包含 445 场世界拳击锦标赛视频及 52000 多条专业评论，通过分类注解和两项新评估方法，解决拳击评论生成中的节奏与类别准确性问题。

Hypothesis Graph Refinement: Hypothesis-Driven Exploration with Cascade Error Correction for Embodied Navigation

假设图细化：基于假设的探索与级联错误校正的具身导航

Peixin Chen, Guoxi Zhang, Jianwei Ma, Qing Li

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院） ； Peking University（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出HGR框架，通过假设节点的可修改性实现具身导航中的定向探索，并通过级联校正系统性地纠正错误。实验显示HGR在GOAT-Bench和QA基准上均取得显著提升。

Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies

通过质量多样性提示生成实现视觉-语言-动作模型的红队测试以获得鲁棒的机器人策略

Siddharth Srikanth, Freddie Liang, Ya-Chuan Hsu, Varun Bhatt, Shihan Zhao, Henry Chen, Bryon Tjanaka, Minjune Hwang, Akanksha Saran, Daniel Seita, Aaquib Tabrez, Stefanos Nikolaidis

机构 * Thomas Lord Department of Computer Science, University of Southern California（南加州大学托马斯·洛德计算机科学系） ； Sony AI（索尼AI） ； Sibley School of Mechanical and Aerospace Engineering, Cornell University（康奈尔大学西布利机械与航空航天工程学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出Q-DIG方法，通过生成多样化且相关的语言指令来发现VLA模型的漏洞，提升机器人策略的鲁棒性。

High Volatility and Action Bias Distinguish LLMs from Humans in Group Coordination

高波动性和行动偏差区分LLMs与人类在群体协调中的表现

Sahaj Singh Maini, Robert L. Goldstone, Zoran Tiganj

机构 * Department of Computer Science, Indiana University Bloomington（印第安纳大学布卢明顿分校计算机科学系） ； Cognitive Science Program, Indiana University Bloomington（印第安纳大学布卢明顿分校认知科学项目） ； Department of Psychological and Brain Sciences, Indiana University Bloomington（印第安纳大学布卢明顿分校心理与脑科学系） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 研究通过群体二进制搜索游戏比较LLMs与人类在群体协调中的表现，发现LLMs在适应性和稳定性上不如人类，且反馈信息对人类影响大而对LLMs影响小。

Generative World Renderer

生成世界渲染器

Zheng-Hui Huang, Zhixiang Wang, Jiaming Tan, Ruihan Yu, Yidan Zhang, Bo Zheng, Yu-Lun Liu, Yung-Yu Chuang, Kaipeng Zhang

机构 * Alaya Studio, Shanda AI Research Tokyo（Alaya工作室，盛大人工智能研究院东京） ； National Taiwan University（国立台湾大学） ； The University of Tokyo（东京大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出一个大规模动态数据集，用于解决生成逆向和正向渲染在现实场景中的限制，通过双屏拼接方法提取400万帧数据，提升渲染真实性和时间一致性，并提出新的评估协议。

Comments Project page: https://alaya-studio.github.io/renderer/

UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving

UniDriveVLA: 联合理解、感知与行动规划以实现自动驾驶

Yongkang Li, Lijun Zhou, Sixu Yan, Bencheng Liao, Tianyi Yan, Kaixin Xiong, Long Chen, Hongwei Xie, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； SKL-IOTSC, University of Macau（澳门大学智慧城市物联网国家重点实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 UniDriveVLA通过专家解耦和三阶段训练策略，解决自动驾驶中感知与推理的冲突，实现空间感知与语义推理的统一，取得nuScenes和Bench2Drive的优异性能。

Comments code has been released at https://github.com/xiaomi-research/unidrivevla

Causal Scene Narration with Runtime Safety Supervision for Vision-Language-Action Driving

基于运行时安全监督的因果场景叙述用于视觉-语言-动作驾驶

Yun Li, Yidu Zhang, Simon Thompson, Ehsan Javanmardi, Manabu Tsukada

机构 * Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院） ； TIER IV, Inc.（TIER IV 公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出CSN方法，通过意图约束对齐、定量 grounding 和结构分离重构VLA文本输入，提升驾驶评分并增强安全性。

Comments 18 pages, 6 figures, 4 tables

SkeletonContext: Skeleton-side Context Prompt Learning for Zero-Shot Skeleton-based Action Recognition

SkeletonContext：基于骨架的零样本动作识别中的骨架侧上下文提示学习

Ning Wang, Tieyue Wu, Naeha Sharif, Farid Boussaid, Guangming Zhu, Lin Mei, Mohammed Bennamoun, zhang liang

机构 * Xidian University（西安电子科技大学） ； University of Western Australia（西澳大利亚大学） ； Donghai Lab（东海实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出SkeletonContext框架，通过引入跨模态上下文提示模块和关键部位解耦模块，提升骨架动作识别中上下文信息的利用，实现零样本场景下的高精度动作区分。

Comments Accepted by CVPR 2026

CoMaTrack: Competitive Multi-Agent Game-Theoretic Tracking with Vision-Language-Action Models

CoMaTrack: 基于竞争的多智能体博弈跟踪与视觉-语言-动作模型

Youzhi Liu, Li Gao, Liu Liu, Mingyang Lv, Yang Cai

机构 * Amap, Alibaba Group（高德，阿里巴巴集团） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.AI

AI总结 本文提出CoMaTrack，一种基于竞争的多智能体强化学习框架，通过动态对抗环境训练，提升跟踪任务的适应性和鲁棒性，并引入首个开源的CoMaTrack-Bench基准测试平台。

MA-Bench: Towards Fine-grained Micro-Action Understanding

MA-Bench：迈向细粒度微动作理解

Kun Li, Jihao Gu, Fei Wang, Zhiliang Wu, Hehe Fan, Dan Guo

机构 * CVLab, College of Information Technology, United Arab Emirates University（阿拉伯联合酋长国大学信息技术学院CVLab） ； University College London（伦敦大学学院） ； Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； CCAI, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出MA-Bench基准，包含1000个视频和三级评估架构，系统评估微动作识别与解释，通过23个MLLM的实验发现微动作细粒度理解存在挑战，并构建MA-Bench-Train训练集提升模型性能。

Comments Accepted by CVPR 2026

Widget2Code: From Visual Widgets to UI Code via Multimodal LLMs

Widget2Code: 通过多模态大语言模型从视觉小部件到UI代码

Houston H. Zhang, Tao Zhang, Baoze Lin, Yuanqi Xue, Yincheng Zhu, Huan Liu, Li Gu, Linfeng Ye, Ziqiang Wang, Xinxin Zuo, Yang Wang, Yuanhao Yu, Zhixiang Chi

机构 * McMaster University（麦克马斯特大学） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） ； Concordia University（康考迪亚大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Widget2Code任务，通过多模态大语言模型提升小部件到UI代码的生成能力，设计了图像-only基准测试和WidgetFactory框架，提升视觉保真度。

Comments CVPR 2026, Code: https://github.com/Djanghao/widget2code

TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models

目标无关引导：用于视觉-语言-动作模型中稳定对象中心推断的指导

Jiaying Zhou, Zhihao Zhan, Ruifeng Zhai, Qinhan Lyu, Hao Liu, Keze Wang, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Lab of Big Data Analysis & Processing（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出TAG目标无关引导，通过对比原始观察和物体擦除观察下的策略预测差异，减少干扰和外观偏差，提升视觉-语言-动作模型在复杂场景中的鲁棒性。

ELITE: Experiential Learning and Intent-Aware Transfer for Self-improving Embodied Agents

ELITE：经验学习与意图感知迁移用于自我改进的具身智能体

Bingqing Wei, Zhongyu Xia, Dingai Liu, Xiaoyu Zhou, Zhiwei Lin, Yongtao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University, Beijing, China（清华大学王轩计算机技术研究所，北京，中国） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 ELITE通过经验学习与意图感知迁移机制，使具身智能体能持续学习环境交互经验并迁移至相似任务，实现在EB-ALFRED和EB-Habitat基准上的性能提升。

Xiaomi-Robotics-0: An Open-Sourced Vision-Language-Action Model with Real-Time Execution

Xiaomi-Robotics-0：一个具有实时执行能力的开源视觉-语言-动作模型

Rui Cai, Jun Guo, Xinze He, Piaopiao Jin, Jie Li, Bingxuan Lin, Futeng Liu, Wei Liu, Fei Ma, Kun Ma, Feng Qiu, Heng Qu, Yifei Su, Qiao Sun, Dong Wang, Donghao Wang, Yunhong Wang, Rujie Wu, Diyun Xiang, Yu Yang, Hangjun Ye, Yuan Zhang, Quanyun Zhou

机构 * Xiaomi Robotics（小米机器人） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.LG

AI总结 本文提出Xiaomi-Robotics-0，通过精心设计的训练配方和部署策略，实现了高效且流畅的实时执行。模型在大规模跨体机器人轨迹和视觉语言数据上预训练，支持广泛的动作生成能力，并在真实机器人任务中表现出色。

Comments Project page: https://xiaomi-robotics-0.github.io

Describe-Then-Act: Proactive Agent Steering via Distilled Language-Action World Models

描述-然后-行动：通过蒸馏的语言-动作世界模型实现前瞻性智能体导航

Massimiliano Pappa, Luca Romani, Valentino Sacco, Alessio Palma, Stéphane Lathuilière, Fabio Galasso, Xavier Alameda-Pineda, Indro Spinelli

机构 * Sapienza University of Rome, Italy（罗马大学萨皮恩扎） ； Inria, Univ. Grenoble Alpes, CNRS, LJK（法国国家信息与自动化技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.AI

AI总结 本文提出DILLO模型，通过蒸馏方法实现无需视觉模拟的前瞻性智能体导航，提升任务成功率。

ImmerseGen: Agent-Guided Immersive World Generation with Alpha-Textured Proxies

ImmerseGen：基于代理的沉浸式世界生成与Alpha纹理代理

Jinyan Yuan, Bangbang Yang, Keke Wang, Panwang Pan, Lin Ma, Xuehai Zhang, Xiao Liu, Zhaopeng Cui, Yuewen Ma

机构 * Bytedance（字节跳动） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV

AI总结 ImmerseGen通过轻量级几何代理和合成RGBA纹理实现高效沉浸式VR场景生成，结合地形条件纹理和上下文感知纹理生成多样且视觉一致的世界，提升真实感和渲染效率。

Comments Accepted by IEEE VR 2026 and TVCG Special Issue. Project webpage: https://immersegen.github.io

Expand Your SCOPE: Semantic Cognition over Potential-Based Exploration for Embodied Visual Navigation

拓展你的SCOPE：基于潜在探索的语义认知用于具身视觉导航

Ningnan Wang, Weihuang Chen, Liming Chen, Haoxuan Ji, Zhongyu Guo, Xuchong Zhang, Hongbin Sun

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出SCOPE框架，通过利用前沿信息驱动潜在探索，提升具身视觉导航中的决策质量与目标相关性，实验表明其在准确性和泛化能力上优于现有方法。

Comments Accepted to AAAI 2026

MobileIPL: Enhancing Mobile Agents Thinking Process via Iterative Preference Learning

MobileIPL: 通过迭代偏好学习增强移动代理的思维过程

Kun Huang, Weikai Xu, Yuxuan Liu, Quandong Wang, Pengzhi Gao, Wei Liu, Jian Luan, Bin Wang, Bo An

机构 * Xiaomi Inc.（小米公司） ； Nanyang Technological University（南洋理工大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（人民大学人工智能学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.AI

AI总结 本文提出MobileIPL，通过迭代偏好学习构建CoaT树，结合规则奖励和反馈反向传播，提升移动代理在GUI任务中的推理能力与泛化能力。

Comments 9 pages, 8 figures, 7 tables

FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation

FD-VLA：力感知的视觉-语言-动作模型用于接触密集的 manipulation

Ruiteng Zhao, Wenshuo Wang, Yicheng Ma, Xiaocong Li, Francis E. H. Tay, Marcelo H. Ang, Haiyue Zhu

机构 * Advanced Robotics Centre, National University of Singapore（新加坡国立大学先进机器人中心） ； School of Electrical & Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院） ； College of Information Science and Technology, Eastern Institute of Technology（东部技术学院信息科学与技术学院） ； John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院） ； Advanced Robotics Centre at National University of Singapore（新加坡国立大学先进机器人中心） ； Singapore Institute of Manufacturing Technology, Agency for Science, Technology and Research (A*STAR)（新加坡制造技术研究所，科技研究局（A*STAR）） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出FD-VLA模型，通过力蒸馏模块在不依赖物理力传感器的情况下实现接触密集任务的力感知，提升机器人视觉-语言-动作的鲁棒性与实用性。

Comments ICRA 2026 Accepted

Action Draft and Verify: A Self-Verifying Framework for Vision-Language-Action Model

动作草稿与验证：一种用于视觉-语言-动作模型的自验证框架

Chen Zhao, Zhuoran Wang, Haoyang Li, Shifeng Bao, Guanlin Li, Youhe Feng, Yang Li, Jie Tang, Jing Zhang

机构 * Key Laboratory of Data Engineering（数据工程与知识工程重点实验室） ； Tsinghua University（清华大学） ； Beijing University of Posts（北京邮电大学） ； School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出Action-Draft-and-Verify框架，结合扩散动作专家和VLM，通过单次前向传递选择最优动作片段，提升模拟和现实场景中的成功率。

SemanticFace: Semantic Facial Action Estimation via Semantic Distillation in Interpretable Space

SemanticFace: 通过可解释空间中的语义蒸馏进行语义面部动作估计

Zejian Kang, Kai Zheng, Yuanchen Fei, Wentao Yang, Hongyuan Zou, Xiangru Huang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Hunan University（湖南大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 SemanticFace通过语义蒸馏在可解释空间中估计面部动作，提升系数精度和可解释性，实现跨身份泛化和抗域移性能。

FingerTip 20K: A Benchmark for Proactive and Personalized Mobile LLM Agents

FingerTip 20K: 一个用于主动和个性化移动大语言模型代理的基准测试

Qinglong Yang, Haoming Li, Haotian Zhao, Xiaokai Yan, Jingtao Ding, Fengli Xu, Yong Li

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出FingerTip 20K基准测试，通过收集20000个真实用户多步骤Android交互演示，评估主动任务建议和个性化任务执行的挑战，展示基于用户信息的移动LLM代理的潜力。

Comments ICLR 2026 Poster

Visual Confused Deputy: Exploiting and Defending Perception Failures in Computer-Using Agents

视觉混淆代理：在计算机使用代理中利用和防御感知失败

Xunzhuo Liu, Bowei He, Xue Liu, Andy Luo, Haichen Zhang, Huamin Chen

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出了一种新的安全防护机制，通过双重通道对比分类来检测计算机使用代理中的视觉感知错误，以提高系统安全性。