AI Agent

Beyond Textual Knowledge-Leveraging Multimodal Knowledge Bases for Enhancing Vision-and-Language Navigation

超越文本知识的多模态知识库用于增强视觉-语言导航

Dongsheng Yang, Yinfeng Yu, Liejun Wang

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing（丝绸之路多语言认知计算联合国际研究实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出BTK框架，通过整合环境特定文本知识与生成图像知识库，提升视觉-语言导航中的语义 grounding 和跨模态对齐，实验表明在R2R和REVERIE数据集上性能显著提升。

Comments Main paper (37 pages). Accepted for publication by the Information Processing and Management,Volume 63,Issue 6,September 2026,104766

Language-Conditioned World Modeling for Visual Navigation

基于语言的视觉导航世界建模

Yifei Dong, Fengyi Wu, Yilong Dai, Lingdong Kong, Guangyu Chen, Xu Zhu, Qiyu Hu, Tianyu Wang, Johnalbert Garnica, Feng Liu, Siyu Huang, Qi Dai, Zhi-Qi Cheng

机构 * University of Washington（华盛顿大学） ； National University of Singapore（新加坡国立大学） ； Clemson University（克莱姆森大学） ； Drexel University（德雷塞尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文研究了基于语言的视觉导航问题，提出LCVN数据集并开发了两种模型家族，通过语言 grounding、未来状态预测和动作生成实现统一任务学习。

Comments 19 pages, 6 figures, Code: https://github.com/F1y1113/LCVN

AgentRAE: Remote Action Execution through Notification-based Visual Backdoors against Screenshots-based Mobile GUI Agents

AgentRAE: 通过基于通知的视觉后门实现远程动作执行以对抗基于截图的移动GUI代理

Yutao Luo, Haotian Zhu, Shuchao Pang, Zhigang Lu, Tian Dong, Yongbin Zhou, Minhui Xue

机构 * Nanjing University of Science and Technology（南京理工大学） ； Macquarie University（麦考瑞大学） ； Western Sydney University（西澳大学） ； University of Hong Kong（香港大学） ； CSIRO’s Data61（澳大利亚CSIRO Data61） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 针对基于截图的移动GUI代理，提出AgentRAE通过自然视觉触发器诱导远程动作执行，采用两阶段管道提升代理对细微图标差异的敏感度，并通过后训练关联触发器与特定动作，实现高攻击成功率和隐蔽性。

WebNavigator: Global Web Navigation via Interaction Graph Retrieval

WebNavigator: 通过交互图检索实现全局网络导航

Xuanwang Zhang, Yuteng Han, Jinnan Qi, Mulong Xie, Zhen Wu, Xinyu Dai

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Artificial Intelligence（人工智能学院） ； Fellou AI 纠错

专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.AI

AI总结 WebNavigator通过交互图检索和路径规划解决自主网络导航中的拓扑盲区问题，实现优于企业级代理的性能。

Comments 24 pages, 3 figures

AdaZoom-GUI: Adaptive Zoom-based GUI Grounding with Instruction Refinement

AdaZoom-GUI: 基于自适应缩放的GUI定位与指令细化

Siqi Pei, Liang Tang, Tiaonan Duan, Long Chen, Shuxian Li, Kaer Huang, Yanzhe Jing, Yiqiang Yan, Bo Zhang, Chenghao Jiang, Borui Zhang, Jiwen Lu

机构 * Lenovo Research（联想研究院） ； Tsinghua University（清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出AdaZoom-GUI框架，通过指令细化模块和条件缩放策略提升GUI定位精度与指令理解，构建高质量数据集并采用GRPO训练模型，实现在高分辨率GUI理解中的最佳性能。

DesertFormer: Transformer-Based Semantic Segmentation for Off-Road Desert Terrain Classification in Autonomous Navigation Systems

DesertFormer：基于Transformer的语义分割用于自动驾驶导航系统中的沙漠地形分类

Yasaswini Chebolu

机构 * Department of Computer Science \& Engineering (AI \& ML) Gayatri Vidya Parishad College of Engineering for Women Visakhapatnam, India 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.LG

AI总结 DesertFormer基于SegFormer B2与层次化Mix Transformer（MiT-B2）架构，针对沙漠地形的低对比度、强光照变化和稀疏植被挑战，实现10类生态意义地形分类，提升地面机器人与自动驾驶车辆的安全路径规划能力。

Comments 10 pages, 6 figures, 3 tables. Preprint also available on Zenodo (DOI: 10.5281/zenodo.19053085)

\textsc{NaVIDA}: Vision-Language Navigation with Inverse Dynamics Augmentation

NaVIDA：基于逆动力学增强的视觉-语言导航

Weiye Zhu, Zekai Zhang, Xiangchen Wang, Hewei Pan, Teng Wang, Tiantian Geng, Rongtao Xu, Feng Zheng

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 NaVIDA通过引入逆动力学监督，增强视觉动态建模，提升导航稳定性与一致性，实验表明其在参数更少的情况下表现优于现有方法。

Comments 27 pages, 11 figures

GameUIAgent: An LLM-Powered Framework for Automated Game UI Design with Structured Intermediate Representation

GameUIAgent：一种基于大语言模型的自动化游戏UI设计框架，采用结构化中间表示

Wei Zeng, Fengwei An, Zhen Liu, Jian Zhao

专题命中 GUI与网页智能体 ：agentic(abstract)；分类 cs.AI

AI总结 本文提出GameUIAgent框架，通过结构化中间表示将自然语言描述转化为Figma设计，结合神经符号管道实现迭代自校正，发现质量天花板效应和渲染评估保真原则。

Comments 8 pages, 6 figures

Visual Confused Deputy: Exploiting and Defending Perception Failures in Computer-Using Agents

视觉混淆代理：在计算机使用代理中利用和防御感知失败

Xunzhuo Liu, Bowei He, Xue Liu, Andy Luo, Haichen Zhang, Huamin Chen

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL

AI总结 本文提出了一种新的安全防护机制，通过双重通道对比分类来检测计算机使用代理中的视觉感知错误，以提高系统安全性。

AerialVLA: A Vision-Language-Action Model for UAV Navigation via Minimalist End-to-End Control

AerialVLA：一种用于无人机导航的视觉-语言-动作模型 via 最小化端到端控制

Peng Xu, Zhengnan Deng, Jiayan Deng, Zonghua Gu, Shaohua Wan

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出AerialVLA，一种基于视觉-语言-动作的端到端控制模型，通过减少视觉冗余并整合连续3D运动指令与内在着陆信号，实现无人机自主导航。实验表明其在可见环境和未知场景中均表现优异。

Comments 18 pages, 4 figures. Code and demo videos will be available at: https://github.com/XuPeng23/AerialVLA

All-day Multi-scenes Lifelong Vision-and-Language Navigation with Tucker Adaptation

全天多场景终身视觉-语言导航与Tucker适应

Xudong Wang, Gan Li, Zhiyu Liu, Yao Wang, Lianqing Liu, Zhi Han

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出Tucker适应方法，解决视觉-语言导航在多场景下的持续学习问题，通过高阶张量分解实现知识解耦，提升长期部署灵活性。

Comments ICLR 2026

Adaptive Vision-Language Model Routing for Computer Use Agents

自适应视觉-语言模型路由用于计算机使用代理

Xunzhuo Liu, Bowei He, Xue Liu, Andy Luo, Haichen Zhang, Huamin Chen

机构 * vLLM Semantic Router Project（vLLM语义路由项目） ； MBZUAI ； McGill University（麦吉尔大学） ； AMD ； Red Hat（红帽公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL

AI总结 本文提出自适应VLM路由框架，通过动态选择模型降低推理成本，同时保持可靠性。在ScreenSpot-Pro数据集和OpenClaw基准测试中，AVR实现了高达78%的推理成本降低，并结合视觉困惑代理机制提升安全性。

PM-Nav: Priori-Map Guided Embodied Navigation in Functional Buildings

PM-Nav：基于先验图的功能性建筑中具身导航

Jiang Gao, Xiangyu Dong, Haozhou Li, Haoran Zhao, Yaoming Zhou, Xiaoguang Ma

机构 * Faculty of Robot Science and Engineering at Northeastern University（东北大学机器人科学与工程学院） ； Foshan Graduate School of Innovation at Northeastern University（东北大学佛山创新研究生学院） ； School of Aeronautic Science and Engineering at Beihang University（北航航空科学与工程学院） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 PM-Nav通过构建先验图和多模型协作机制，提升了功能性建筑中的导航精度和效率。

Comments 6 pages, 4 figures

R2F: Repurposing Ray Frontiers for LLM-free Object Navigation

R2F：利用射线前沿进行无需大语言模型的对象导航

Francesco Argenziano, John Mark Alexis Marcelo, Michele Brienza, Abdel Hakim Drid, Emanuele Musumeci, Daniele Nardi, Domenico D. Bloisi, Vincenzo Suriani

机构 * Department of Computer, Automation and Management Engineering, Sapienza University of Rome（罗马萨皮恩扎大学计算机、自动化与管理工程系） ； Department of Electronics and Automation, Mohamed Khider University of Biskra（比斯克拉Mohamed Khider大学电子与自动化系） ； International University of Rome UNINT, Rome（罗马国际大学UNINT） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 R2F通过重新利用射线前沿技术，开发无需大语言模型的室内开放词汇对象导航框架，实现实时高效导航性能。

PIRA-Bench: A Transition from Reactive GUI Agents to GUI-based Proactive Intent Recommendation Agents

PIRA-Bench: 从反应式 GUI 代理到基于 GUI 的主动意图推荐代理的转变

Yuxiang Chai, Shunye Tang, Han Xiao, Rui Liu, Hongsheng Li

机构 * Nankai University（南开大学） ； Huawei Research（华为研究） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 PIRA-Bench通过引入主动意图推荐代理基准，推动GUI代理从反应式向主动式转变，评估多模态大语言模型在连续弱监督视觉输入中的能力。

Lifelong Embodied Navigation Learning

持续性具身导航学习

Xudong Wang, Jiahua Dong, Baichen Liu, Qi Lyu, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems（机器人与智能系统国家重点实验室） ； Shenyang Institute of Automation（沈阳自动化研究所） ； Chinese Academy of Sciences（中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 Uni-Walker通过分解导航知识为共享和特定组件，解决持续性具身导航学习中的灾难性遗忘问题，提升导航代理的持续学习能力。

Comments 24 pages, 7 figures

Go-Browse: Training Web Agents with Structured Exploration

Go-Browse: 通过结构化探索训练网络代理

Apurva Gandhi, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL

AI总结 Go-Browse通过结构化探索方法，利用大规模网络环境数据训练代理，提升任务解决成功率。

Endowing Embodied Agents with Spatial Reasoning Capabilities for Vision-and-Language Navigation

赋予具身体验智能体空间推理能力以实现视觉-语言导航

Qianqian Bai, Zhongpu Chen, Ling Luo, Huaming Du, Yuqian Lei, Ziyun Jiao

机构 * Southwestern University of Finance（西南财经大学） ； Department of Informatics,Universitat Hamburg, Hamburg, Germany（汉堡大学信息学院） ； University of Electronic Science（电子科技大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 BrainNav通过模仿生物认知功能，提升具身体验智能体的空间推理能力，实现更高效的视觉-语言导航。

Atomicity for Agents: Exposing, Exploiting, and Mitigating TOCTOU Vulnerabilities in Browser-Use Agents

代理的原子性：揭示、利用和缓解浏览器使用代理中的TOCTOU漏洞

Linxi Jiang, Zhijie Liu, Haotian Luo, Zhiqiang Lin

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 本文研究了浏览器使用代理中的TOCTOU漏洞，通过实证研究揭示其普遍存在性，并提出基于预执行验证的轻量级缓解方法。

Spatio-Temporal Token Pruning for Efficient High-Resolution GUI Agents

时空令牌剪枝用于高效高分辨率GUI代理

Zhou Xu, Bowen Zhou, Qi Wang, Shuwen Feng, Jingyu Xiao

机构 * Tsinghua University（清华大学） ； Xidian University（西安电子科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 GUIPruner通过时空令牌剪枝技术，实现高分辨率GUI导航的高效处理，显著提升性能并降低资源消耗。

How Far Can We Go with Pixels Alone? A Pilot Study on Screen-Only Navigation in Commercial 3D ARPGs

仅凭像素能走多远？对商业3DARPG中纯屏幕导航的初步研究

Kaijie Xu, Mustafa Bugti, Clark Verbrugge

机构 * McGill University（麦吉尔大学） ； Connecticut College（康奈尔学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出纯屏幕导航代理，通过视觉可能性探索3DARPG关卡，初步实验显示其导航能力，但受限于视觉模型的不足，无法实现全面自动导航。

JEF-Hinter: Leveraging Offline Knowledge for Improving Web Agents Adaptation

利用离线知识提升网络代理适应性的JEF-Hinter

Hadi Nekoei, Aman Jaiswal, Patrice Bechard, Oleh Shliazhko, Orlando Marquez Ayala, Mathieu Reymond, Massimo Caccia, Alexandre Drouin, Sarath Chandar, Alexandre Lacoste

机构 * ServiceNow AI Research（ServiceNow AI研究机构） ； Chandar Research Lab（Chandar研究实验室） ； Mila -- Quebec AI Institute（魁北克人工智能研究院） ； Dalhousie University（达尔豪斯大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 GUI与网页智能体 ：agentic(abstract)；分类 cs.AI

AI总结 JEF-Hinter通过提炼离线轨迹生成上下文感知提示，提升网络代理在陌生领域的适应能力，实验显示其优于多种基线方法。

Probe-then-Commit Multi-Objective Bandits: Theoretical Benefits of Limited Multi-Arm Feedback

探查-然后承诺多目标老虎机：有限多臂反馈的理论优势

Ming Shi

机构 * Department of Electrical Engineering, University at Buffalo（电气工程系，布法罗大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 本文提出PtC-P-UCB算法，通过有限探查提升多目标老虎机的性能，实现$1/\sqrt{q}$的加速效果。

View Invariant Learning for Vision-Language Navigation in Continuous Environments

连续环境中视觉语言导航的视角不变学习

Josh Qixuan Sun, Huaiyuan Weng, Xiaoying Xing, Chul Min Yeum, Mark Crowley

机构 * Department of Electrical and Computer Engineering, University of Waterloo（电气与计算机工程系，滑铁卢大学） ； Department of Civil and Environmental Engineering, University of Waterloo（土木与环境工程系，滑铁卢大学） ； Department of Electrical and Computer Engineering, Northwestern University（电气与计算机工程系，西北大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 本文提出VIL框架，通过对比学习和教师-学生机制提升连续环境中视觉语言导航的视角鲁棒性，实验表明其在多个基准数据集上性能优越。

Comments This paper is accepted to RA-L 2026

MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation

MolmoSpaces: 一个大规模的开放式生态系统用于机器人导航与操作

Yejin Kim, Wilbert Pumacay, Omar Rayyan, Max Argus, Winson Han, Eli VanderBilt, Jordi Salvador, Abhay Deshpande, Rose Hendrix, Snehal Jauhri, Shuo Liu, Nur Muhammad Mahi Shafiullah, Maya Guru, Ainaz Eftekhar, Karen Farley, Donovan Clay, Jiafei Duan, Arjun Guru, Piper Wolters, Alvaro Herrasti, Ying-Chun Lee, Georgia Chalvatzaki, Yuchen Cui, Ali Farhadi, Dieter Fox, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 MolmoSpaces是一个大规模开放式生态系统，用于支持机器人导航与操作的大规模基准测试，包含230k多样化的室内环境和130k丰富标注的物体资产，通过8个任务的基准测试验证了其在仿真到现实中的强相关性。

Edge Learning via Federated Split Decision Transformers for Metaverse Resource Allocation

通过联邦分裂决策变换器进行边缘学习以实现元宇宙资源分配

Fatih Temiz, Shavbo Salehi, Melike Erol-Kantarci

机构 * School of Electrical Engineering and Computer Science（电气工程与计算机科学学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出FSDT框架，通过联邦学习与强化学习结合，解决异构多无线电接入环境下的元宇宙资源分配问题，提升QoE并减少计算负担。

Comments 6 pages, 4 figures, Accepted paper at IEEE International Conference on Communications (ICC) 2026

A Unified, Cross-Platform Framework for Automatic GUI and Plugin Generation in Structural Bioinformatics and Beyond

一种统一的跨平台框架，用于结构生物信息学及其他领域的自动GUI和插件生成

Sikao Guo, Edoardo Sarti, Frédéric Cazals

专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.SE

AI总结 本文提出了一种统一的跨平台框架，用于自动化生成结构生物信息学及其他领域的GUI和插件，通过MVP模式实现可重用性和跨平台兼容性。

Comments 10 pages, 4 figures

Learning to Retrieve Navigable Candidates for Efficient Vision-and-Language Navigation

学习高效视觉-语言导航中的可导航候选检索

Shutian Gu, Chengkai Huang, Ruoyu Wang, Lina Yao

机构 * University of New South Wales, Sydney, Australia（新南威尔士大学） ； Macquarie University, Sydney, Australia（麦考瑞大学） ； Data61, CSIRO, Sydney, Australia（Data61, CSIRO） ； The School of Computer Science（计算机科学学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出检索增强框架，通过指令级示例检索和候选剪枝提升LLM在视觉-语言导航中的效率和稳定性。

PATHWAYS: Evaluating Investigation and Context Discovery in AI Web Agents

PATHWAYS：评估人工智能网络代理中的调查与上下文发现

Shifat E. Arman, Syed Nazmus Sakib, Tapodhir Karmakar Taton, Nafiul Haque, Shahrear Bin Amin

机构 * Robotics and Mechatronics Engineering, University of Dhaka, Dhaka, Bangladesh（机器人与机电工程系，达卡大学，达卡，孟加拉国） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 PATHWAYS评估了人工智能网络代理在多步骤任务中发现和利用隐藏上下文的能力，揭示了当前架构在适应性调查和判断覆盖方面的不足。

Comments 35 pages, 13 figures

Journal ref Under Review in ICML 2026

Quantum Integrated Sensing and Computation with Indefinite Causal Order

具有不定因果顺序的量子集成传感与计算

Ivana Nikoloska

机构 * Signal Processing Systems Group, Department of Electrical Engineering, Eindhoven University of Technology, Eindhoven, 5612 AP, The Netherlands（埃因霍温理工大学电气工程系信号处理系统组） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出了一种在量子不定因果顺序框架下集成传感与计算的方案，通过量子代理同时执行状态观测和计算任务，实现了在磁导航任务中的高效性能。

Comments Submitted for publication