AI Agent

OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents

Thomas Kuntz, Agatha Duzan, Hao Zhao, Francesco Croce, Zico Kolter, Nicolas Flammarion, Maksym Andriushchenko

机构 * EPFL（苏黎世联邦理工学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG、cs.SE

Comments NeurIPS 2025 Datasets & Benchmarks Track (Spotlight)

BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents

Litu Ou, Kuan Li, Huifeng Yin, Liwen Zhang, Zhongwang Zhang, Xixi Wu, Rui Ye, Zile Qiao, Pengjun Xie, Jingren Zhou, Yong Jiang

机构 * Tongyi Lab（通义实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 GUI与网页智能体 ：agentic(abstract)；分类 cs.AI、cs.CL

Comments 25 pages

FlashAdventure: A Benchmark for GUI Agents Solving Full Story Arcs in Diverse Adventure Games

Jaewoo Ahn, Junseo Kim, Heeseung Yun, Jaehyeon Son, Dongmin Park, Jaewoong Cho, Gunhee Kim

机构 * Seoul National University（首尔国立大学） ； KRAFTON ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 GUI与网页智能体 ：agentic(abstract)；分类 cs.AI、cs.CL

Comments EMNLP 2025 Main. Project page: https://ahnjaewoo.github.io/flashadventure

BrowserAgent: Building Web Agents with Human-Inspired Web Browsing Actions

Tao Yu, Zhengbo Zhang, Zhiheng Lyu, Junhao Gong, Hongzhu Yi, Xinming Wang, Yuxuan Zhou, Jiabing Yang, Ping Nie, Yan Huang, Wenhu Chen

机构 * CASIA ； UCAS ； University of Waterloo（大学水力研究所） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

Comments 10 pages

BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks

Sagnik Anupam, Davis Brown, Shuo Li, Eric Wong, Hamed Hassani, Osbert Bastani

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.LG

Characterizing Mobile SoC for Accelerating Heterogeneous LLM Inference

Le Chen, Dahu Feng, Erhu Feng, Yingrui Wang, Rong Zhao, Yubin Xia, Pinjie Xu, Haibo Chen

机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究所，上海交通大学） ； Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 GUI与网页智能体 ：AI agent(abstract)；分类 cs.AI、cs.LG

RAVEN: Resilient Aerial Navigation via Open-Set Semantic Memory and Behavior Adaptation

Seungchan Kim, Omar Alama, Dmytro Kurdydyk, John Keller, Nikhil Keetha, Wenshan Wang, Yonatan Bisk, Sebastian Scherer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Davidson College（戴维森学院） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI、cs.LG

Rethinking the Embodied Gap in Vision-and-Language Navigation: A Holistic Study of Physical and Visual Disparities

Liuyi Wang, Xinyuan Xia, Hui Zhao, Hanqing Wang, Tai Wang, Yilun Chen, Chengju Liu, Qijun Chen, Jiangmiao Pang

机构 * Tongji University（同济大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； State Key Laboratory of Autonomous Intelligent Unmanned Systems（自主智能无人系统国家重点实验室） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI、cs.CL

Comments Accepted by ICCV 2025

VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation

Ziang Ye, Yang Zhang, Wentao Shi, Xiaoyu You, Fuli Feng, Tat-Seng Chua

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； East China University of Science and Technology（东华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

Comments Accepted in COLM2025

WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

Xing Han Lù, Zdeněk Kasner, Siva Reddy

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL、cs.LG

Small Models, Big Results: Achieving Superior Intent Extraction through Decomposition

Danielle Cohen, Yoni Halpern, Noam Kahlon, Joel Oren, Omri Berkovitch, Sapir Caduri, Ido Dagan, Anatoly Efros

机构 * Google（谷歌） ； Bar-Ilan University（巴伊兰大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

TANGO: Traversability-Aware Navigation with Local Metric Control for Topological Goals

Stefan Podgorski, Sourav Garg, Mehdi Hosseinzadeh, Lachlan Mares, Feras Dayoub, Ian Reid

机构 * Australian Institute for Machine Learning (AIML)（澳大利亚机器学习研究所） ； The University of Adelaide（阿德莱德大学） ； Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI、cs.LG

Comments 9 pages, 5 figures, ICRA 2025

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

Ziyang Luo, Zhiqi Shen, Wenzhuo Yang, Zirui Zhao, Prathyusha Jwalapuram, Amrita Saha, Doyen Sahoo, Silvio Savarese, Caiming Xiong, Junnan Li

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

Comments Website: https://mcp-universe.github.io

UoMo: A Universal Model of Mobile Traffic Forecasting for Wireless Network Optimization

Haoye Chai, Shiyuan Zhang, Xiaoqian Qi, Baohua Qiu, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系，BNRist，清华大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI、cs.LG

Comments 2025 ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD 2025

Towards Generalizable Safety in Crowd Navigation via Conformal Uncertainty Handling

Jianpeng Yao, Xiaopan Zhang, Yu Xia, Zejin Wang, Amit K. Roy-Chowdhury, Jiachen Li

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.LG

Comments 9th Conference on Robot Learning (CoRL 2025); Project website: https://gen-safe-nav.github.io/. arXiv admin note: text overlap with arXiv:2407.17460

WebGuard: Building a Generalizable Guardrail for Web Agents

Boyuan Zheng, Zeyi Liao, Scott Salisbury, Zeyuan Liu, Michael Lin, Qinyuan Zheng, Zifan Wang, Xiang Deng, Dawn Song, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Scale AI ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

Comments We publicly release WebGuard, along with its annotation tools and fine-tuned models, to facilitate open-source research on monitoring and safeguarding web agents. All resources are available at https://github.com/OSU-NLP-Group/WebGuard

Toward Autonomous UI Exploration: The UIExplorer Benchmark

Andrei Cristian Nica, Akshaya Vishnu Kudlu Shanbhogue, Harshil Shah, Aleix Cambray, Tudor Berariu, Lucas Maystre, David Barber

专题命中 GUI与网页智能体 ：autonomous agent(abstract)；分类 cs.AI、cs.LG

Cross from Left to Right Brain: Adaptive Text Dreamer for Vision-and-Language Navigation

Pingrui Zhang, Yifei Su, Pengyuan Wu, Dong An, Li Zhang, Zhigang Wang, Dong Wang, Yan Ding, Bin Zhao, Xuelong Li

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Science and Technology of China（中国科学技术大学） ； TeleAI, China Telecom Corp Ltd（中国电信TeleAI） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents

Boyu Gou, Ruohan Wang, Boyuan Zheng, Yanan Xie, Cheng Chang, Yiheng Shu, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Orby AI（Orby人工智能） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

Comments Accepted to ICLR 2025 (Oral). Project Homepage: https://osu-nlp-group.github.io/UGround/

Big Help or Big Brother? Auditing Tracking, Profiling, and Personalization in Generative AI Assistants

Yash Vekaria, Aurelio Loris Canino, Jonathan Levitsky, Alex Ciechonski, Patricia Callejo, Anna Maria Mandalari, Zubair Shafiq

机构 * UC Davis（加州大学戴维斯分校） ； UNIRC（意大利国家研究委员会） ； UCL（伦敦大学学院） ； UC3M（马德里卡洛斯三世大学） 纠错

专题命中 GUI与网页智能体 ：agentic(abstract)；分类 cs.AI、cs.CL

Multimodal Spatial Language Maps for Robot Navigation and Manipulation

Chenguang Huang, Oier Mees, Andy Zeng, Wolfram Burgard

机构 * University of Technology Nuremberg（图恩堡技术大学） ； UC Berkeley（伯克利大学） ； Google Research（谷歌研究） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.LG

Comments accepted to International Journal of Robotics Research (IJRR). 24 pages, 18 figures. The paper contains texts from VLMaps(arXiv:2210.05714) and AVLMaps(arXiv:2303.07522). The project page is https://mslmaps.github.io/

A Survey on (M)LLM-Based GUI Agents

Fei Tang, Haolei Xu, Hang Zhang, Siqi Chen, Xingyu Wu, Yongliang Shen, Wenqi Zhang, Guiyang Hou, Zeqi Tan, Yuchen Yan, Kaitao Song, Jian Shao, Weiming Lu, Jun Xiao, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI、cs.CL

GUICourse: From General Vision Language Models to Versatile GUI Agents

Wentong Chen, Junbo Cui, Jinyi Hu, Yujia Qin, Junjie Fang, Yue Zhao, Chongyi Wang, Jun Liu, Guirong Chen, Yupeng Huo, Yuan Yao, Yankai Lin, Zhiyuan Liu, Maosong Sun

机构 * Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） ； Xiamen University（厦门大学） ； BUPT（北邮） ； ModelBest ； Chinese Academy of Sciences（中国科学院） ； National University of Singapore（新加坡国立大学） ； Shanghai Qi Zhi Institute（上海启智研究院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

ZeroGUI: Automating Online GUI Learning at Zero Human Cost

Chenyu Yang, Shiqian Su, Shi Liu, Xuan Dong, Yue Yu, Weijie Su, Xuehui Wang, Zhaoyang Liu, Jinguo Zhu, Hao Li, Wenhai Wang, Yu Qiao, Xizhou Zhu, Jifeng Dai

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

M3Bench: Benchmarking Whole-body Motion Generation for Mobile Manipulation in 3D Scenes

Zeyu Zhang, Sixu Yan, Muzhi Han, Zaijin Wang, Xinggang Wang, Song-Chun Zhu, Hangxin Liu

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.LG

Comments This paper has been accepted by IEEE Robotics and Automation Letters 2025 (RA-L)

Journal ref IEEE Robotics and Automation Letters 2025

UI-Genie: A Self-Improving Approach for Iteratively Boosting MLLM-based Mobile GUI Agents

Han Xiao, Guozhi Wang, Yuxiang Chai, Zimu Lu, Weifeng Lin, Hao He, Lue Fan, Liuyang Bian, Rui Hu, Liang Liu, Shuai Ren, Yafei Wen, Xiaoxin Chen, Aojun Zhou, Hongsheng Li

机构 * CUHK MMLab（香港中文大学MML实验室） ； vivo AI Lab（vivo人工智能实验室） ； CPII under InnoHK（创新科技署下的CPII） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL、cs.LG

Comments https://github.com/Euphoria16/UI-Genie

GUI-G1: Understanding R1-Zero-Like Training for Visual Grounding in GUI Agents

Yuqi Zhou, Sunhao Dai, Shuai Wang, Kaiwen Zhou, Qinglin Jia, Jun Xu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.CL

LLM-Explorer: Towards Efficient and Affordable LLM-based Exploration for Mobile Apps

Shanhui Zhao, Hao Wen, Wenjie Du, Cheng Liang, Yunxin Liu, Xiaozhou Ye, Ye Ouyang, Yuanchun Li

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； AsiaInfo Technologies (China), Inc（亚洲信息科技（中国）有限公司） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI、cs.SE

Comments Accepted by MobiCom 2025

AI and Vision based Autonomous Navigation of Nano-Drones in Partially-Known Environments

Mattia Sartori, Chetna Singhal, Neelabhro Roy, Davide Brunelli, James Gross

机构 * KTH Royal Institute of Technology（皇家理工学院） ； Inria France（法国国家信息与自动化研究所） ； University of Trento（特伦托大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI、cs.LG

Comments in DCOSS-IoT 2025, Wi-DroIT 2025

UI-Vision: A Desktop-centric GUI Benchmark for Visual Perception and Interaction

Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, Juan A. Rodriguez, Montek Kalsi, Rabiul Awal, Nicolas Chapados, M. Tamer Özsu, Aishwarya Agrawal, David Vazquez, Christopher Pal, Perouz Taslakian, Spandana Gella, Sai Rajeswar

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； University of Waterloo（滑铁卢大学） ； National University of Singapore（新加坡国立大学） ； CIFAR AI Chair（CIFAR人工智能职位） 纠错

专题命中 GUI与网页智能体 ：autonomous agent(abstract)；分类 cs.AI、cs.CL

Comments This paper has been accepted to the 41st International Conference on Machine Learning (ICML 2025)