AI Agent

Are GUI Agents Focused Enough? Automated Distraction via Semantic-level UI Element Injection

GUI代理是否足够专注？通过语义层面的UI元素注入实现自动化干扰

Wenkui Yang, Chao Jin, Haisu Zhu, Weilin Luo, Derek Yuen, Kun Shao, Junxian Duan, Huaibo Huang, Jie Cao, Ran He

机构 * SAIS, UCAS（中国科学院大学人工智能学院） ； SIST, ShanghaiTech University（上海科技大学信息科学与技术学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL

AI总结 本文提出语义层面UI元素注入方法，通过在截图上叠加安全对齐且无害的UI元素来误导代理的视觉基础。实验显示，该方法在五个受害者模型上提升了攻击成功率，并证明注入元素可作为持久吸引器。

Comments Accepted by ECCV 2026, public code at https://github.com/HashTAG00002/UI-Injection

FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation

FlexServe: 一种适用于移动设备的高效且安全的LLM服务系统，具有灵活的资源隔离

Yinpeng Wu, Yitong Chen, Lixiang Wang, Jinyu Gu, Zhichao Hua, Yubin Xia

机构 * Institute of Parallel and Distributed Systems（并行与分布式系统研究所） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 本文提出FlexServe，一种适用于移动设备的高效且安全的LLM服务系统，通过灵活的资源隔离机制提升推理速度和安全性，采用多模型调度器优化多模型工作流，实验显示在TTFT和多模型工作流中均取得显著加速效果。

Comments 13 pages, 11 figures

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

SlowBA：针对基于VLM的GUI代理的高效后门攻击

Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL

AI总结 提出SlowBA后门攻击，通过强化学习注入触发模式，诱导VLM-based GUI代理产生冗长推理链，显著增加响应延迟，同时保持任务准确性。

Comments Accepted by ECCV 2026. Codes and supplementary materials are in https://github.com/tu-tuing/SlowBA

GAIA: A Data Flywheel System for Training GUI Test-Time Scaling Critic Models

GAIA: 用于训练GUI测试时缩放评论模型的数据飞轮系统

Shaokang Wang, Pei Fu, Ruoceng Zhang, Shaojie Zhang, Xiuwen Xi, Jiahui Yang, Bin Qin, Ying Huang, Zhenbo Luo, Jian Luan

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 提出GAIA数据飞轮系统，通过训练直觉评论模型（ICM）评估GUI代理动作的正确性，利用正负样本迭代提升代理测试时性能，实验表明该方法能持续改进多种模型。

Comments Accepted by ECCV 2026

ScaleWoB: Guiding GUI Agents with Coding Agents via Large-Scale Environmental Synthesis

SimuWoB: 模拟真实世界移动应用以实现快速且保真的GUI智能体基准测试

Guohong Liu, Jialei Ye, Pengzhi Gao, Wei Liu, Jian Luan, Yunxin Liu, Yuanchun Li

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； University of Electronic Science and Technology of China（电子科技大学） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus团队） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 针对现有移动GUI智能体基准测试与现实应用之间的差距，提出全合成基准SimuWoB，通过鲁棒的虚拟环境生成框架合成高保真任务和环境，自动提供有效奖励，实现对复杂长程交互的高效可重复评估。

Hidden Ghost Hand: Unveiling Backdoor Vulnerabilities in MLLM-Powered Mobile GUI Agents

隐藏的幽灵之手：揭示MLLM驱动的移动GUI代理中的后门漏洞

Pengzhou Cheng, Haowen Hu, Zheng Wu, Zongru Wu, Tianjie Ju, Zhuosheng Zhang, Gongshen Liu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Huawei Inc.（华为公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL

AI总结 本研究提出AgentGhost框架，通过组合目标和交互层触发器，利用监督对比学习和微调注入后门，在移动GUI代理中实现高成功率和隐蔽性，攻击准确率达99.7%。

Comments EMNLP-Findings 2025 (Correcting model settings)

MobileFineTuner: A Mobile-Native Framework for On-Device LLM Fine-Tuning in Real-World Embedded AI Applications

MobileFineTuner：面向真实世界嵌入式AI应用中设备端大语言模型微调的移动原生框架

Jiaxiang Geng, Lunyu Zhao, Yiyi Lu, Bing Luo

机构 * Duke Kunshan University（Duke昆山大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 提出移动原生框架MobileFineTuner，通过C++实现资源感知训练运行时（内存高效注意力、激活检查点等），在商用手机上实现端到端LLM微调，显著降低内存压力并提升可执行性。

Comments 26 pages, 25 figures

MIRAGE: Mobile Agents with Implicit Reasoning and Generative World Models

MIRAGE: 具有隐式推理和生成世界模型的移动智能体

Zhichao Yang, Yuanze Hu, Haojie Hao, Longkun Hao, Dongshuo Huang, Hongyu Lin, Gen Li, Lanqing Hong, Yihang Lou, Yan Bai

机构 * Beihang University（北京航空航天大学） ； Northwestern Polytechnical University（西北工业大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 提出MIRAGE框架，通过从显式推理轨迹学习连续潜在表示，使移动智能体能够内部推理并预测未来屏幕状态，在减少生成token的同时提升执行效率。

Interactive Medical-SAM2 GUI: A Napari-based semi-automatic annotation tool for medical images

交互式医学-SAM2 GUI：基于Napari的半自动标注工具用于医学图像

Woojae Hong, Jong Ha Hwang, Jiyong Chung, Joongyeon Choi, Hyunggun Kim, Yong Hwy Kim

机构 * Department of Biomechatronic Engineering, Sungkyunkwan University（生物机电工程系，全州大学） ； Department of Neurosurgery, Seoul National University Hospital, Seoul National University College of Medicine（神经外科，首尔国立大学医院，首尔国立大学医学院） 纠错

专题命中 GUI与网页智能体 ：workflow(abstract)；planning(comments)

AI总结 交互式医学-SAM2 GUI 提供基于Napari的本地工作流，实现高效的3D医学图像半自动标注与导出功能。

Comments Planning to submit JOSS (Journal of Open Source Software)

SwipeGen: Bridging the Execution Gap in GUI Agents via Human-like Swipe Synthesis

SwipeGen: 通过类人滑动合成弥合GUI代理的执行差距

Xuan Wang, Siyuan Su, Quantong Fu, Yongxiang Hu, Yangfan Zhou

机构 * College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 SwipeGen通过合成类人滑动交互提升GUI代理的执行能力，实验显示其滑动执行准确率较基线提升214%。

Comments Accepted to ACM MM 2026. 10 pages

MemGUI-Bench: Benchmarking Memory of Mobile GUI Agents in Dynamic Environments

MemGUI-Bench: 动态环境中移动GUI代理内存能力的基准测试

Guangyi Liu, Pengxiang Zhao, Yaozhen Liang, Qinyi Luo, Shunye Tang, Yuxiang Chai, Weifeng Lin, Han Xiao, WenHao Wang, Siheng Chen, Zhengxi Lu, Gao Wu, Hao Wang, Liang Liu, Yong Liu

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 MemGUI-Bench提出一个综合的内存导向基准测试，通过128个任务评估移动GUI代理的内存能力，揭示了各系统中的显著内存缺陷并提出5种设计改进措施。

Comments Accepted to ACM MM 2026. Project page: https://memgui-bench.github.io/

Unordered Landmark Visual Navigation

无序地标视觉导航

Hao Ren, Junzhe Zhu, Yihan Li, Zetong Bi, Le Zheng, Zhi Li, Yiqing Yuan, Zhaoliang Wan, Dizhe Zhang, Lu Qi, Hui Cheng

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 针对无序图像导航的挑战，本文提出无需时间与里程计先验的ULVN框架，通过整合建图、定位与规划，在仿真和真实场景中性能优于现有最优方法。

Comments ECCV2026 Oral & Spotlight

The Fallback as Signal: Preserved Human Skill, Liability, and Competence Signaling in Credence-Good Markets under Improving AI

作为信号的弃权：AI不断改进下的信任品市场中保留的人类技能、责任与能力信号

Andreas Bauer

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 该研究针对AI改进但仍不完善时企业的人类员工参与决策问题，构建基于主体的市场模型再现相关分析阈值，揭示信任品市场中人类技能等信号的保留机制。

Comments v2: Corrects the author first names in the Singh, Ghosh and Dai reference (verified against the arXiv listing). Typography: Latin Modern replaces bitmap-rendered T1 Computer Modern and all figures are re-exported without Type-3 fonts; no content changes, no number changes. 49 pages, 7 figures. Replication code and seeds in the ancillary files. Also SSRN 7198738. JEL: D82, D86, J24, K13, L15, O33

MobileForge: Annotation-Free Adaptation for Mobile GUI Agents with Hierarchical Feedback-Guided Policy Optimization

MobileForge：基于分层反馈引导策略优化的移动GUI智能体免标注适配

Guangyi Liu, Pengxiang Zhao, Gao Wu, Yiwen Yin, Mading Li, Liang Liu, Congxiao Liu, Zhang Qi, Mengyan Wang, Liang Guo, Jiangning Zhang, Yong Liu

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 提出MobileForge系统，通过MobileGym环境实现任务生成与评估，结合分层反馈引导策略优化（HiFPO）将轨迹结果、步骤反馈和修正提示转化为步骤级GRPO更新，实现移动GUI智能体免标注适配，在AndroidWorld上达到67.2% Pass@3。

Comments Project page: https://mobile-forge.github.io/

Progress-Certified Reversible Simplex Supervision of Goal-Reaching Reinforcement Learning

强化学习目标到达控制与保证Lyapunov-like稳定器的移动机器人

Mehdi Heydari Shahna, Jouni Mattila

机构 * Faculty of Engineering（工程学院） ； Natural Sciences（自然科学） ； Tampere University（塔尔库大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出一种基于强化学习的控制框架，通过Lyapunov-like稳定器保证移动机器人在无结构环境中的目标到达，提升目标到达率至99%

Robust Scene Transfer for PointGoal Navigation via Privileged Sensor Guided Contrastive Learning

基于特权传感器引导对比学习的点目标导航鲁棒场景迁移

Amirhossein Zhalehmehrabi, Tiziano Tezze, Alberto Castelini, Alessandro Farinelli

机构 * University of Padua（帕多瓦大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 提出一种传感器引导的自适应对比学习框架，利用特权LiDAR传感器在训练时引导视觉编码器学习导航相关结构，并通过解耦表征学习与策略优化以及跨阶段域不匹配来提升策略级场景迁移能力。

Comments 8 pages, Accepted to IEEE Robotics and Automation Letters (RA-L)

Beyond Static Forecasting: Unleashing the Power of World Models for Mobile Traffic Extrapolation

超越静态预测：利用世界模型进行移动交通外推

Xiaoqian Qi, Haoye Chai, Yue Wang, Yong Li

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出MobiWM世界模型，用于移动网络中的移动交通外推，通过融合多模态环境上下文和编码动作，提升空间理解，实验表明其在所有评估场景中均取得最佳分布保真度。

Structured Observation Language for Efficient and Generalizable Vision-Language Navigation

结构化观察语言用于高效且通用的视觉-语言导航

Daojie Peng, Fulong Ma, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出SOL-Nav框架，通过将视觉观察转化为结构化语言描述，提升视觉-语言导航的效率和泛化能力，实验表明其在减少模型规模和训练数据依赖方面表现优异。

Design and Validation of a Grid-based Home Detection via Stay-Time (GHOST) Software for Mobile Location Data

基于停留时间的网格化家庭检测（GHOST）软件的设计与验证：用于移动定位数据

Alessandra Recalde, Mustafa Sameen, Xiaojian Zhang, Xilei Zhao

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本研究提出了一种基于网格和停留时间的家庭检测算法GHOST，通过定制的空间和时间过滤器识别最频繁访问的夜间或周末白天网格单元，以推断代理家庭位置，并在大规模数据集上验证其在噪声数据中的鲁棒性。

VEGA: Learning Navigation VLAs from In-the-Wild Egocentric Video with Geometric Trajectory Supervision

VEGA: 从野外自我中心视频中通过几何轨迹监督学习导航VLA

Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Rahul Kumar, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 提出VEGA方法，利用未标注的自我中心视频通过重建场景几何生成障碍感知轨迹，训练流匹配VLA导航策略，在VEGA-Bench上碰撞减少33.0%，真实世界成功率提升至少150.0%。

Semantic Evidence Regulation via Relational Bias for Zero-Shot Object Navigation

通过关系归纳偏差重新思考具身导航

Weitao An, Chenghao Xu, Xu Yang, Cheng Deng

机构 * School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院） ； School of Information Science and Engineering, Hohai University（河海大学信息科学与工程学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 提出DB-Nav框架，利用激活偏置和抑制偏置双关系偏置重塑搜索空间，通过关系激活-抑制探索图调节前沿探索，显著提升目标导航成功率和路径效率。

Walk through Paintings: Egocentric World Models from Internet Priors

穿越绘画：来自互联网先验的自我中心世界模型

Anurag Bagchi, Zhipeng Bao, Homanga Bharadhwaj, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Toyota Research Institute（丰田研究机构） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 EgoWM通过利用互联网先验和轻量级条件层，将预训练视频扩散模型转换为自我中心世界模型，实现可控的未来预测，提升结构一致性评分并降低推理延迟。

DSCD-Nav: Dual-Stance Cooperative Debate for Object Navigation

DSCD-Nav: 双视角协作辩论用于物体导航

Weitao An, Qi Liu, Chenghao Xu, Jiayi Chai, Xu Yang, Kun Wei, Cheng Deng

机构 * School of Electronic Engineering, Xidian University, Xi' an 710071, China.（西安电子科技大学电子工程学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 DSCD-Nav通过双视角协作辩论机制提升机器人在部分可观测环境中的导航可靠性与效率。

AgenticNav: Zero-Shot Vision-and-Language Navigation as a Tool-Calling Harness

AgenticNav：零样本视觉与语言导航作为工具调用框架

Yijian Li, Changze Li, Hantian Shi, Jiaying Luo, Jiyuan Cai, Ming Yang, Tong Qin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 GUI与网页智能体 ：agentic(abstract)

AI总结 提出AgenticNav，通过将动作、深度和记忆作为可调用工具暴露给VLM，实现零样本连续环境导航，在R2R-CE基准上达到SOTA性能。

Q-SpiRL: Quantum Spiking Reinforcement Learning for Adaptive Robot Navigation

Q-SpiRL：量子脉冲强化学习用于自适应机器人导航

Mohamed Khair Altrabulsi, Nouhaila Innan, Alberto Marchisio, Muhammad Kashif, Muhammad Shafique

机构 * eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)（eBRAIN实验室，工程系，纽约大学阿布扎比分校） ； Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute（量子与拓扑系统中心（CQTS），NYUAD研究机构） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出Q-SpiRL框架，结合量子增强的脉冲神经网络，实现了在动态环境中高效稳定的机器人导航，通过实验验证了其在任务完成、轨迹效率和运动平滑度之间的最佳平衡。

Comments Accepted at the IEEE International Conference on Quantum Computing and Engineering (QCE), 2026

Broadcast via Mobile Agents in a Dynamic Network: Interplay of Graph Properties & Agents

动态网络中通过移动代理进行广播：图属性与代理的相互作用

William K. Moses, Amanda Redlich, Frederick Stock

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 重新审视动态网络中广播问题，原研究认为边密度是区分解决问题所需代理数量的关键属性，本文通过构造不同边密度的图及算法，表明边密度并非正确区分属性，揭示其与代理数量关系较弱。

Comments 31 pages, 5 figures

Logic-Guided Socially-aware Robot Navigation World Model

逻辑引导的社会感知机器人导航世界模型

Weizheng Wang, Obi Ike, Soyun Choi, Sungeun Hong, Aniket Bera, Byung-Cheol Min

机构 * School of Applied and Creative Computing, Purdue University（应用与创意计算学院，普渡大学） ； Department of Computer Science, Purdue University（计算机科学系，普渡大学） ； Department of Applied Artificial Intelligence, Sungkyunkwan University（应用人工智能系，成均馆大学） ； Department of Computer Science and Department of Intelligent Systems Engineering, Indiana University Bloomington（计算机科学系和智能系统工程系，印第安纳大学布卢明顿分校） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 提出NaviWM，通过结合结构化世界模型和逻辑驱动推理链，增强大语言模型在动态人类空间中生成社交合规且物理安全的导航决策的能力。

Comments The authors have decided to withdraw this manuscript due to concerns regarding its current scope, framing, and presentation. Please do not cite this version

Worlds in One Demo: A Synthetic Data Engine for Learning Open-World Mobile Manipulation

世界合一演示：用于学习开放世界移动操作的合成数据引擎

Lingxiao Guo, Huanyu Li, Guanya Shi

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 研究如何通过合成数据引擎WANDA从单个演示学习开放世界移动操作策略，利用重建背景、重排交互片段、校正状态扩展等方法，实现长期鲁棒性、空间泛化和跨环境泛化，还支持跨实体数据生成。

Comments Project website: https://wanda.lecar-lab.org/

Instance-Enriched Semantic Maps for Visual Language Navigation

用于视觉语言导航的实例增强语义地图

Jiho Hong, Eunae Kang, Sanghyun Kim, Young-Sik Shin

机构 * Department of Mechanical Engineering, Kyung Hee University（庆熙大学机械工程系） ； Advanced Institutes of Convergence Technology (AICT)（融合技术高级研究院） ； School of Mechanical Engineering, Kyungpook National University（庆北国立大学机械工程学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 研究视觉语言导航问题，提出实例增强语义地图框架，通过实例级二维半丰富信息映射、基于大语言模型的鲁棒查询处理和存储高效的语义表示，提升导航性能，在相关实验中取得优于基线的结果。

Allocating Common-Value Goods

分配共同价值物品

Hiroto Sato, Ryo Shirakawa

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文研究了在无货币交易情况下最大化共同价值物品分配的问题，通过机制筛选代理人私有信息并影响其对物品价值的学习，最优机制由两个参数决定，可能排除部分代理人并导致即使所有代理人愿意接收时也 withholding 分配。