AI Agent

PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions

PhoneHarness: 通过混合GUI、CLI和工具操作利用手机使用代理

Chenxin Li, Zhengyao Fang, Zhengyang Tang, Pengyuan Lyu, Xingran Zhou, Xin Lai, Fei Tang, Liang Wu, Yiduo Guo, Weinong Wang, Junyi Li, Yi Zhang, Yang Ding, Huawen Shen, Sunqi Fan, Shangpin Peng, Zheng Ruan, Anran Zhang, Benyou Wang, Chengquan Zhang, Han Hu

机构 * Tencent Hunyuan（腾讯混元） ； The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL

AI总结 提出PhoneHarness，一个混合动作基准和执行框架，用于评估手机代理在可验证移动工作流中的表现，通过GUI、CLI和工具动作的组合，达到75.0%通过率，比最强基线高12.9个百分点。

Comments Project Page: https://phoneharness.github.io/

MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents

MemVenom：网络代理中多模态记忆的触发式投毒

Yv Zhang, Hao Sun, Hao Fang, Kuofeng Gao, Fan Mo, Bin Chen, Shu-Tao Xia, Yaowei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。

Comments Preprint. 27 pages, 6 figures, 6 tables

AliyunConsoleAgent: Training Web Agents in Real-World Cloud Environments via Distillation and Reinforcement Learning

AliyunConsoleAgent：通过蒸馏和强化学习在真实云环境中训练Web智能体

Bojie Rong, Zheyu Shen, Qiaoping Wang, Pengfei Kang, Yang Xu, Yawen Wei, Hanyu Wu, Zhi Zhao, Leihao Pei, Linquan Jiang

机构 * Alibaba Cloud China（阿里云中国） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 提出AliyunConsoleAgent框架，通过蒸馏前沿模型轨迹进行监督微调，再结合GRPO和双通道结果奖励模型在真实云环境中强化学习，实现文档验证自动化，以低成本达到接近前沿专有模型的成功率。

RunAgent SuperBrowser: A Theory of Autonomous Web Navigation Grounded in Human Browsing Behaviour

RunAgent SuperBrowser: 基于人类浏览行为的自主网页导航理论

Radeen Mostafa, Sawradip Saha

机构 * RunAgent AI 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 提出SuperBrowser自主网页导航代理，通过模仿人类浏览的感知-认知-行动三元机制，在Mind2Web Hard基准上以89.47%成功率超越现有开源研究代理。

Comments 31 pages, 8 figures, preprint/work in progress

IR-SIM: A Lightweight Skill-Native Simulator for Navigation, Learning, and Benchmarking

IR-SIM：一种用于导航、学习和基准测试的轻量级技能原生模拟器

Ruihua Han, Shuai Wang, Chengyang Li, Rui Gao, Xinyi Wang, Zhe Liu, Guoliang Li, Yupu Lu, Qi Hao, Jia Pan, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） ； Southern University of Science and Technology（南方科技大学） ； University of Michigan（密歇根大学） ； University of Macau（澳门大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 提出轻量级技能原生导航模拟器IR-SIM，通过YAML配置完全定义场景，支持文本提示生成与修改，用于导航算法基准测试和训练数据自动生成，并桥接高保真模拟器和真实部署。

Comments 12 pages, 6 figures, project website: https://github.com/hanruihua/ir-sim

Beyond Waypoints: A Trajectory-Centric Waypointing Paradigm for Vision-Language Navigation

超越航点：面向视觉语言导航的轨迹中心航点范式

Haoxiang Shi, Xiang Deng, Haoyu Zhang, Qiaohui Chu, Yaowei Wang, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 提出轨迹航点范式，通过TSDF引导的扩散策略预测可执行轨迹，解决VLN-CE中航点不可达与规划控制不一致问题，在基准上取得最优性能。

If, Then, Otherwise: Diagnosing Conditional Branching in Vision-Language Navigation

如果、那么、否则：诊断视觉-语言导航中的条件分支

Seoyoung Lee, Neel P. Bhatt, Pranay Samineni, Cong Liu, S P Sharan, Timothy Barclay, Gregory M. Wagner, Daniel Milan, Sandeep Chinchali, Ufuk Topcu, Atlas Wang

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Collins Aerospace（柯林斯航空航天公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 针对视觉-语言导航智能体的条件分支诊断需求，提出基于场景图的基准CondVLN及轻量级神经符号分支选择模型，可暴露智能体的逻辑决策失败并提升性能2倍。

Comments 11 pages, 1 figure, 3 tables. Project page: https://condvln.github.io/

Evaluating Beyond the Screen: Collective Assessment of AI-Generated Business Plans with Resource-Constrained Entrepreneurs

屏幕之外的评估：与资源受限创业者共同评估AI生成的商业计划书

Qi Zhao, Marjory Pineda, Ketul Chhaya, Aakash Gautam, Yasmine Kotturi

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 该研究针对资源受限创业者，将BizChat工具扩展出评估模块，通过小组讨论让14名参与者集体评估AI生成的商业计划，发现该方式能提升评估效果。

Exposing the Long-tail in Embodied Urban Navigation via Scalable Learning from In-the-Wild Videos

通过从野外视频进行可扩展学习揭示具身城市导航中的长尾分布

Bingyi Xia, Han Bao, Zhewei Chen, Hanjing Ye, Jingwen Yu, Yuhan Pang, Wenjun Xu, Jiankun Wang

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 该研究提出可扩展框架，从网络规模野外 egocentric 视频学习点目标城市导航策略，自动注释视频并训练视觉-语言-动作策略，表征并诊断导航长尾分布与失败模式，验证了知识迁移效果并揭示长尾结构。

Spatiotemporal Tube-Based Safety-Certificate for Autonomous Navigation of Articulated Vehicles

铰接式车辆自主导航的基于时空管的安全证书

Mohd. Faizuddin Faruqui, Ratnangshu Das, Ravi Kumar L, Pushpak Jagtap

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 针对铰接式车辆自主导航的狭窄路线机动挑战，提出基于时空管的规划方法，确保挂车处于道路走廊内，经仿真验证可提供路线安全证书。

Comments Accepted for presentation at the 2026 IEEE International Conference on Intelligent Transportation Systems (ITSC 2026)

Designing Mobile and Wearable Sensor-Fused Conversational Agents for Health and Wellbeing

面向健康与福祉的移动及可穿戴传感器融合对话智能体设计

Hansoo Lee, Pablo Fonseca, Md Haseen Akhtar

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本教程面向健康领域，旨在教授参与者使用WSDWAS工具，将可穿戴传感器数据与LLM驱动的对话智能体结合，实现从被动监测到可操作福祉对话的转变。

Comments 6 pages, 3 figures. Accepted as a Tutorial at the 28th International Conference on Mobile Human-Computer Interaction (MobileHCI '26)

Journal ref In 28th International Conference on Mobile Human-Computer Interaction (MobileHCI '26), August 31-September 03, 2026, Swansea, United Kingdom

Graph-MambaNav: Spatial-Temporal Graph Mamba Leveraging Object-Relation Knowledge for Object-Goal Navigation

Graph-MambaNav：利用对象关系知识的时空图Mamba用于目标对象导航

Leyuan Sun, Genxin Chen, Linwei Ye, Yan Zhang, Xi Kan, Yanfei Sun

机构 * School of Internet of Things Engineering, Wuxi University（无锡大学物联网工程学院） ； School of Communications and Information Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学通信与信息工程学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本研究提出Graph-MambaNav，一种结合LLM常识对象关系的目标感知时空图编码框架，通过节点排序与Mamba建模实现高效导航，在仿真环境表现优异且泛化性好，经真实机器人部署验证有效。

Comments Accepted by IEEE Robotics and Automation Letters (IEEE RA-L), will transfer to 2027 IEEE International Conference on Robotics & Automation (ICRA)

DaViNCi: A Dataset Towards Outdoor Vision-and-Language Navigation with Continuous Actions and Dynamic Elements

DaViNCi：面向包含连续动作与动态元素的户外视觉语言导航的数据集

Zihao Xie, Pingrui Lai, Yitong Wu, Hua Yang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出首个同时包含连续动作与动态元素的户外视觉语言导航数据集DaViNCi，通过实验验证其挑战性，为推动户外VLN向更真实环境发展提供实用支撑。

SAIN: Structure-Aware Interactive Navigation with Active Dialogue Grounding for Mobile Robot

SAIN：面向移动机器人的、结合主动对话 grounding 的结构感知交互式导航

Yuhao Cao, Xiao Liu, Yang Xie, Lu Liu, Haoyao Chen

机构 * School of Mechanical Engineering and Automation, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）机械工程与自动化学院） ； Department of Mechanical Engineering, City University of Hong Kong（香港城市大学机械工程系） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出SAIN零样本框架，将主动对话转化为持久导航状态，在VL-LN IIGN基准上提升了导航成功率与加权成功率，无需特定任务策略训练，验证了对话转状态机制的有效性。

Comments 8 pages, 4 figures, and 4 tables

Universal Rendezvous of Anonymous Agents with Footprints

带足迹的匿名智能体的通用会合算法

Bibhuti Das

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文针对带足迹模型中所有连通（有限或可数无限）底层图的会合实例，提出通用会合算法，解决了Das和Pelc提出的开放问题，给出该模型所有实例存在通用算法的肯定答案。

Goal-oriented Navigation Instruction Generation with Tour Video Priors

基于旅游视频先验的面向目标的导航指令生成

Fangdi Li, Juncheng Liao, Changxu Cheng, Jiazhi Wang, Senda Chen, Tao Wang, Wuyue Zhao

机构 * Uni-Ubi AI（优必爱人工智能） ； Zhejiang University（浙江大学） ； Tongji University（同济大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本研究提出面向目标的视频 grounding 导航指令生成任务VideoNIG，设计两阶段课程学习框架解决该任务，实验表明其可提升指令质量，集成VLN智能体后可实现端到端导航。

Drone-Assisted UAV-UGV Collaboration for Autonomous Navigation in Snow-Covered Terrain

无人机辅助的无人机-无人车协同积雪覆盖地形自主导航

Shreyam Gupta, P. Agrawal, Priyam Gupta, R. Gautam

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 针对积雪覆盖地形传统导航方法失效的问题，提出无人机-无人车协同导航框架，采用定制U-Net、EKF、YOLOv5等技术实现高分割精度与低定位误差，可在遮挡环境中完成自主导航。

Rendezvous of Mobile Deterministic Automata in Graphs

图中移动确定自动机的会合问题

Bibhuti Das, Andrzej Pelc

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文研究图中移动确定自动机的会合问题，证明固定小卵石无法实现树的RV-通用DFA，而配备单个可移动小卵石的DFA可成为树的RV-通用DFA。

Thermodynamic Human-Computer Interaction

热力学人机交互

Uzafir Ahmad Rafaq, Muaz Hassan, Ali Muzaffar

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 该研究提出一种基于热力学的人机交互统一框架，可跨交互模态扩展、无需训练数据且评估时间为O(1)，在网页预取任务中取得1.37的预取点击比和98.1%的目标预测准确率。

The Next Screenshot Knows: Gated Hindsight Distillation for Mobile GUI Agents

下一张截图知晓：面向移动GUI智能体的门控事后蒸馏（Gated Hindsight Distillation）

Weiwei Li, Junzhuo Liu, Tong Chu, Hengfu Yu, Wen Li

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文针对移动GUI智能体训练中丢失动作依据的问题，提出门控事后蒸馏方法，利用下一张截图作为特权信息，在AndroidWorld等基准上相比GRPO提升了任务成功率。

SpikingNav: Robust Embodied Navigation with Spiking Neural Policies

SpikingNav：基于脉冲神经网络策略的鲁棒具身导航

Jiahong Zhang, Sijun Shen, Dehua Wu, Yifan Lin, Xuechen Xia, Xu Chu, Youhui Zhang, GuoqiLi

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出SpikingNav脉冲导航框架，含SSE与SPN，在PointNav、ObjectNav任务中，其参数更少、计算量更低，鲁棒性优于匹配的ANN基线，且可部署于Thruster-V2芯片。

Deliberate Before You Fly: Vision-Guided Spatial Deliberation for UAV See-and-Reach Navigation

飞行前深思熟虑：面向无人机“看见并到达”导航的视觉引导空间深思熟虑

Fanfu Xue, En Yu, Bohang Liu, Hongjun Wang, Yang Yang, Xindi Wang, Jiande Sun

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 针对无人机“看见并到达”导航中语义-控制失配问题，提出视觉-语言航路点预测框架DBFly，通过空间机动决策链、隐式飞行走廊和感知终端收敛的停止策略，使成功率较SOTA基线平均提升25.07个百分点。

Comments 13 pages, 9 figures

"Allow" to Achieve, Over-Privileged Inadvertently: The Unintended Cost of Task-Completion-Driven Pop-up Decisions in Mobile GUI Agents

“允许”达成目标：移动GUI智能体中任务完成驱动的弹窗决策的意外代价

Dongsheng Chen, Yuxuan Li, Guanhua Chen, Jiaxin Zhang, Xiangyu Zhao, Lei Ma, Xin Yao, Xuetao Wei

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 研究移动GUI智能体的权限素养，发现其存在应用信任偏差、任务优先级覆盖等问题，提示干预效果不一，建议将任务执行与权限授权分离。

LoginTrap: Uncovering Task-Agnostic Phishing-Style Indirect Prompt Injection Attacks against LLM-based Web Agents

LoginTrap：针对基于大语言模型的Web智能体的任务无关型钓鱼式间接提示注入攻击的发现

Longtao Guo, Zelin Zhang, Kaifeng Huang, Yang Shi

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 该研究提出LoginTrap攻击，是针对基于LLM的Web智能体的任务无关型登录诱导攻击，在黑盒威胁模型下可达到86%的平均端到端攻击成功率，揭示了登录诱导的认证边界风险并推动相关防御研究。

FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory

FocusMem：对潜在GUI记忆中的内容、读出和信任进行因子分解

Zhuoran Zhang, Bowen Li, Jingcheng Ju, Yang Shi, Qixun Wang, Haotian Wang, Wei Chen, Tengjiao Wang

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 FocusMem将潜在GUI记忆的内容、读出和信任因子分解，解决现有固定记忆方法的细节丢失、阶段适配差和误导问题，在五个GUI智能体基准测试中性能优于基线与现有方法。

Comments 36 pages

ProCAVE: A Self-Adaptive, Full-Lifecycle Edge Caching Framework for Video Streaming via Predictive Bandwidth Estimation and Preference-Aware Deep Reinforcement Learning

ProCAVE：基于预测带宽估计与偏好感知深度强化学习的自适应全生命周期视频流边缘缓存框架

Yeganeh Chatri, Behzad Akbari, Foad Ghaderi, Pejman Goudarzi

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 该研究针对现有边缘缓存方法在无线动态环境下响应与协调不足的问题，提出ProCAVE框架，结合轻量Transformer、PPO、DDPG实现预测带宽建模与偏好感知缓存控制，实验表明其在字节命中率、回传负载、QoE上优于FlyCache等基线。

Comments 5 pages

From Routes to Steps: Separating Semantic Progress from Local Execution in Vision-and-Language Navigation

从路线到步骤：在视觉语言导航中分离语义进展与局部执行

Xiangyun Huang, Xiangchen Wang, Runfeng Lin, Yihao Xu, Kangyu Huang, Jiang Hengchen, Xiwang Dong, Lin Jiarong

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本研究针对视觉语言导航中进展与执行错误难区分的问题，提出Route2Step框架，通过步骤级接口分离语义进展跟踪与动作生成，在R2R-CE数据集上显著提升了导航性能，且在真实环境中具备实用性。

Comments 16 pages, 9 figures

OmniAI: A Surface-Adaptive Aerial Projection Interface for Human--Drone Interaction

OmniAI：一种面向人机交互的表面自适应空中投影界面

Nikita Kuzmin, Yuhua Jin, Georgii Demianchuk, Mariya Lezina, Fawad Mehboob, Ivan Valuev, Nikolai Lutsenko, Miguel Altamirano Cabrera, Dzmitry Tsetserukou

机构 * Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院） ； School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 OmniAI是一种具现化空中智能体，通过自适应投影实现人机交互，采用RGB-D与RANSAC检测投影表面，支持语音、手势控制，为情境感知人机交互提供移动空间AR界面。

TEA-AgriVLN: Traversability Estimation Alarm for Agricultural Vision-and-Language Navigation

TEA-AgriVLN：面向农业视觉语言导航的可通行性估计告警

Xiaobei Zhao, Xingqi Lyu, Xin Chen, Xiang Li

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 针对农业场景可通行性模糊问题，提出TEA模块并集成至AgriVLN构建TEA-AgriVLN，在A2A基准上将SR提至0.54、NE降至2.70米，实现农业VLN-CE领域最优性能。

Localization and Pursuit of a Mobile Target using Distance-only Measurements

仅利用距离测量的移动目标定位与追踪

Nabarupa Das, Suvadip Batabyal

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出一种无需GPS、角度传感或多锚节点的方法，通过距离测量实现二维平面内移动目标的定位与追踪，最多13步即可完成定位，智能体可从搜索顺利过渡到追踪并保持有界误差。