AI Agent

Benchmarking and Improving GUI Agents in High-Dynamic Environments

在高动态环境中评估和改进GUI代理

Enqi Liu, Liyuan Pan, Zhi Gao, Yan Yang, Chenrui Shi, Yang Liu, Jingrong Wu, Qing Li

机构 * Beijing Institute of Technology（北京理工大学） ； Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院） ； Yangtze Delta Region Academy of Beijing Institute of Technology（北京理工大学长江三角洲地区研究院） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出DynamicGUIBench和DynamicUI，通过动态界面处理方法提升高动态GUI环境下的代理性能，同时保持其他基准测试的竞争力。

FineState-Bench: Benchmarking State-Conditioned Grounding for Fine-grained GUI State Setting

FineState-Bench：面向细粒度GUI状态设置的状态条件化基准测试

Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen

机构 * MBZUAI, United Arab Emirates（阿联酋MBZUAI研究院） ； Northeastern University, China（中国东北大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 FineState-Bench通过精确目标状态评估，检验智能体能否正确映射指令至UI控件，提出FineState-Metrics与VDA诊断工具，实验显示视觉接地仍有提升空间，但整体准确率不足。

SpaAct: Spatially-Activated Transition Learning with Curriculum Adaptation for Vision-Language Navigation

SpaAct：基于课程适应的空间激活转换学习用于视觉语言导航

Pengna Li, Kangyi Wu, Shaoqing Xu, Fang Li, Hanbing Li, Lin Zhao, Kailin Lyu, Long Chen, Zhi-Xin Yang, Nanning Zheng

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室） ； National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所） ； The State Key Laboratory of Internet of Things for Smart City（智能城市物联网国家重点实验室） ； Centre for Artificial Intelligence and Robotics（人工智能与机器人中心） ； University of Macau（澳门大学） ； Xiaomi EV（小i EV） ； School of Automation（自动化学院） ； Beijing Institute of Technology（北京理工大学） ； Institute of Automation（自动化研究所） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 SpaAct通过引入空间激活任务和课程适应方法，提升视觉语言导航中动态空间感知能力，实现更高效的导航性能。

Comments Submmited to ACM MM 2026

Safe Navigation using Neural Radiance Fields via Reachable Sets

通过可达集实现神经辐射场的安全导航

Omanshu Thapliyal, Malarvizhi Sankaranarayanasamy, Ravigopal Vennelakanti

机构 * Researcher, Hitachi America Ltd.（Hitachi America Ltd.研究人员） ； Sr. Researcher, Hitachi America Ltd.（Hitachi America Ltd.高级研究人员） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出利用可达集和神经辐射场进行安全导航，通过约束最优控制解决路径规划问题，验证了在复杂环境中安全避障的能力。

Comments 5 pages, 8 figures, 2026 4th International Conference on Mechatronics, Control and Robotics (ICMCR)

GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction

GoClick：轻量级元素接地模型用于自主GUI交互

Hongxin Li, Yuntao Chen, Zhaoxiang Zhang

机构 * 1 University of Chinese Academy of Sciences, Beijing, China. 2 New Laboratory of Pattern Recognition, State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China. 3 Hong Kong Institute of Science \& Innovation, Chinese Academy of Sciences, Hong Kong, China. Zhaoxiang Zhang 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出GoClick，一种轻量级GUI元素接地模型，通过改进架构和数据精炼流程，在保持高精度的同时降低参数规模，适用于资源受限设备的低延迟GUI交互任务。

Comments Technical Report

Safe Navigation in Unknown and Cluttered Environments via Direction-Aware Convex Free-Region Generation

通过方向感知的凸自由区域生成实现未知和杂乱环境中的安全导航

Zhicheng Song, Yongjian Li, Kai Chen, Yulin Li, Fan Shi, Jun Ma

机构 * Robotics and Autonomous Systems Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）机器人与自主系统方向） ； Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电子与计算机工程系） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出一种结合候选运动方向与机器人几何的凸自由区域生成框架，通过连续安全轨迹生成实现持续无碰撞运动，实验表明该方法在杂乱2D导航场景中生成更符合后续导航的自由区域，并在3D和真实世界中验证了其扩展性和实用性。

Wireless Mobile Charging for Emergency Electric Vehicle Routing: A Mixed-Integer and Metaheuristic Framework for In-Motion Energy Transfer

无线移动充电用于紧急电动汽车路线规划：一种混合整数和元启发式框架用于行驶中的能量传输

Jingyi Zhao, Haoxiang Yang, Youxuan Pan, Yang Liu

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出无线移动充电电动汽车路线规划问题，通过感应耦合实现移动充电卡车对行驶中的电动汽车无线充电，结合混合整数规划和元启发式算法优化异构车队的路线与动态能量传输。

Comments 8 pages, 5 figures

Self-Predictive Representation for Autonomous UAV Object-Goal Navigation

自预测表征用于自主无人机目标-目标导航

Angel Ayala, Donling Sui, Francisco Cruz, Mitchell Torok, Mohammad Deghat, Bruno J. T. Fernandes

机构 * Escola Politécnica de Pernambuco, Universidade de Pernambuco（巴伊兰联邦大学皮奥伊技术学院） ； School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院） ； School of Mechanical and Manufacturing Engineering, University of New South Wales（新南威尔士大学机械与制造工程学院） ； Escuela de Ingeniería, Universidad Central de Chile（智利中央大学工程学院） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出自预测模型AmelPred，用于提升无人机在3D目标-目标导航中的数据样本效率和规划性能。

Comments Submitted to T-RO

Sema: Semantic Transport for Real-Time Multimodal Agents

Sema：面向实时多模态代理的语义传输

Jiaying Meng, Bojie Li

机构 * Pine AI 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 Sema通过结合离散音频分词与混合屏幕表示及突发性分组传输，有效降低带宽并保持任务准确性，解决多模态代理传输中的语义保真问题。

The Invisible Mentor: Inferring User Actions from Screen Recordings to Recommend Better Workflows

隐形导师：从屏幕记录推断用户行为以推荐更好的工作流程

Litao Yan, Andrew Head, Ken Milne, Vu Le, Sumit Gulwani, Chris Parnin, Emerson Murphy-Hill

专题命中 GUI与网页智能体 ：workflow(abstract)

AI总结 本文提出InvisibleMentor系统，通过屏幕记录推断用户行为，推荐更高效的工作流程，优于传统依赖日志或用户提示的助手。

Comments 15 pages, 6 figures

Journal ref Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26), 1-17, 2026

Virtual Reality User Interface Design: Best Practices and Implementation

虚拟现实用户界面设计：最佳实践与实现

Esin Mehmedova, Santiago Berrezueta-Guzman, Stefan Wagner

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出28条统一的VR用户界面设计指南，通过系统文献综述和用户研究，开发了VR应用FlUId及交互网页工具，旨在提升VR界面设计的效率和用户体验。

Comments Pre-print submitted to Elsevier

The Essence of Balance for Self-Improving Agents in Vision-and-Language Navigation

视觉-语言导航中自改进智能体的平衡本质

Zhen Liu, Yuhan Liu, Jinjun Wang, Jianyi Liu, Wei Song, Jingwen Fu

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence and the Institute of Artificial Intelligence and Robotics（人机混合增强智能国家重点实验室和人工智能与机器人研究院） ； School of Information Science and Technology（信息科学与技术学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出SDB机制，通过平衡行为多样性与学习稳定性，提升视觉-语言导航中自改进性能，在R2R、SOON和REVERIE数据集上取得显著提升。

RHINO-AR: An Augmented Reality Exhibit for Teaching Mobile Robotics Concepts in Museums

RHINO-AR：一种用于博物馆中教学移动机器人概念的增强现实展览

Nils Dengler, Tim Graf, Leif Van Holland, Patrick Stotko, Reinhard Klein, Maren Bennewitz

机构 * Humanoid Robots Lab, University of Bonn, Germany（波恩大学人形机器人实验室，德国） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 RHINO-AR通过将虚拟重建的机器人置于真实博物馆空间，解决了VR展览与现实环境分离的问题，提升了非专业观众对移动机器人导航概念的理解。

Fuzzy Logic Theory-based Adaptive Reward Shaping for Robust Reinforcement Learning (FARS)

基于模糊逻辑理论的自适应奖励塑造用于鲁棒强化学习（FARS）

Hürkan Şahin, Van Huyen Dang, Erdi Sayar, Alper Yegenoglu, Erdal Kayacan

机构 * Automatic Control Group (RAT)（自动控制组（RAT）） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出基于模糊逻辑的自适应奖励塑造方法，通过整合人类直觉提升强化学习的稳定性与鲁棒性，在复杂导航任务中实现更平滑的运动与控制过渡。

Comments 6 pages, 5 figures

SkillDroid: Compile Once, Reuse Forever

SkillDroid: 一次编译，永久复用

Qijia Chen, Andrea Bellucci, Zhida Sun, Giulio Jacucci

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 SkillDroid通过编译成功的人工智能引导GUI轨迹为参数化技能模板，实现无需LLM调用的复用，显著提升任务成功率和效率。

Capability-Aware Heterogeneous Control Barrier Functions for Decentralized Multi-Robot Safe Navigation

具备能力的异构控制屏障函数用于去中心化多机器人安全导航

Joonkyung Kim, Yanze Zhang, Wenhao Luo, Yiwei Lyu

机构 * Department of Computer Science and Engineering, Texas A&M University（德克萨斯A&M大学计算机科学与工程系） ； Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出CA-HCBF框架，通过统一动力学模型和能力度量，实现异构机器人团队的安全一致性和能力感知协调，提升安全性和任务效率。

Comments 8 pages, 3 figures, 2 table

From Instruction to Event: Sound-Triggered Mobile Manipulation

从指令到事件：基于声音的移动操作

Hao Ju, Shaofei Huang, Hongyu Li, Zihan Ding, Si Liu, Meng Wang, Zhedong Zheng

机构 * University of Macau（澳门大学） ； Beihang University（北航） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出基于声音的移动操作方法，通过开发Habitat-Echo数据平台和任务规划器，使移动代理能主动感知并响应声音事件，无需显式指令。

OVAL: Open-Vocabulary Augmented Memory Model for Lifelong Object Goal Navigation

OVAL: 开放词汇增强记忆模型用于终身物体目标导航

Jiahua Pei, Yi Liu, Guoping Pan, Yuanhao Jiang, Houde Liu, Xueqian Wang

机构 * Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 OVAL提出一种开放词汇增强记忆框架，解决长期目标导航中的记忆限制问题，通过内存描述符和概率探索策略提升导航效率与鲁棒性。

Comments 8 pages, 5 figures

Scalable Trajectory Generation for Whole-Body Mobile Manipulation

可扩展的全身体态移动操作轨迹生成

Yida Niu, Xinhai Chang, Xin Liu, Ziyuan Jiao, Yixin Zhu

机构 * Institute for AI, Peking University（人工智能研究院，北京大学） ； Institute of Unmanned System, Beihang University（无人系统研究院，北航） ； School of Psychological and Cognitive Sciences, Peking University（心理学与认知科学学院，北京大学） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） ； Beijing Key Laboratory of Behavior and Mental Health, Peking University（北京行为与心理健康重点实验室，北京大学） ； Yuanpei College, Peking University（元培学院，北京大学） ； Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence（具身智能实验室，PKU-武汉人工智能研究所） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出AutoMoMa框架，通过GPU加速整合运动学模型与并行轨迹优化，生成大规模物理有效轨迹数据，解决全身体态移动操作中规模、多样性和运动学精度的瓶颈问题。

pDSurfTomo: A High-Performance Parallel Computing Package for Direct Surface Wave Tomography

pDSurfTomo：一种高性能并行计算包用于直接表面波反演

Shaohang Zhu, Junlun Li, Guoyi Chen, Hongjian Fang, Huajian Yao

专题命中 GUI与网页智能体 ：workflow(abstract)

AI总结 本文提出pDSurfTomo，通过混合CPU-GPU加速提升大规模高分辨率表面波反演效率，采用并行设计优化敏感核计算，结合OpenMP实现快速Marching方法并行化，利用GPU加速稀疏线性最小二乘问题求解，显著提升计算效率。

AWARE: Adaptive Whole-body Active Rotating Control for Enhanced LiDAR-Inertial Odometry under Human-in-the-Loop Interaction

AWARE: 一种适应性全身主动旋转控制用于增强人体在环交互下的激光雷达惯性里程计

Yizhe Zhang, Jianping Li, Liangliang Yin, Zhen Dong, Bisheng Yang

机构 * organization= State Key Laboratory of Information Engineering in Surveying, Mapping ； Remote Sensing , addressline= Wuhan University , city= Wuhan , postcode= 430079 , country= China ； organization= School of Electrical ； Electronic Engineering , addressline= Nanyang Technological University , postcode= 639798 , country= Singapore 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出AWARE框架，通过UAV自身旋转能力扩展传感器视野，提升LIO可观测性。采用可微分MPC与强化学习结合，实现估计精度与飞行稳定性平衡，并通过安全飞行走廊机制确保操作安全。

EMMa: End-Effector Stability-Oriented Mobile Manipulation for Tracked Rescue Robots

EMMa：面向履带救援机器人的末端稳定性导向移动操作

Yifei Wang, Hao Zhang, Jidong Huang, Shuohang Fang, Haoyao Chen

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出了一种面向履带救援机器人的移动操作框架，通过协调路径优化模型和紧凑成本/约束表示，提高末端操作的稳定性和任务成功率。

Comments 14 pages, 17 figures

AnyImageNav: Any-View Geometry for Precise Last-Meter Image-Goal Navigation

AnyImageNav: 任意视角几何用于精确最后一步图像目标导航

Yijie Deng, Shuaihang Yuan, Yi Fang

机构 * NYUAD Center for Artificial Intelligence and Robotics (CAIR)（纽约大学阿布扎比分校人工智能与机器人中心） ； New York University Abu Dhabi, Electrical Engineering（纽约大学阿布扎比分校电气工程系） ； Embodied AI and Robotics (AIR) Lab, NYU Abu Dhabi（纽约大学阿布扎比分校具身人工智能与机器人实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出AnyImageNav，通过语义到几何的级联方法实现精确6自由度相机姿态恢复，提升导航成功率和定位精度。

Aegon: Auditable AI Content Access with Ledger-Bound Tokens and Hardware-Attested Mobile Receipts

Aegon：基于账本绑定令牌和硬件认证移动收据的可审计AI内容访问

Amrish Baskaran, Nirbhay Pherwani, Raghul Krishnan

专题命中 GUI与网页智能体 ：AI agent(abstract)

AI总结 Aegon通过扩展JWT令牌并维护证书透明度风格的Merkle树，实现可审计的AI内容许可，提供独立验证的交易记录，支持第三方审计和硬件认证的合规收据。

Comments 9 pages, 5 figures, 5 tables. Protocol design white paper. Submitted to arXiv for priority establishment; prototype implementation and evaluation are planned as future work

Splatblox: Traversability-Aware Gaussian Splatting for Outdoor Robot Navigation

Splatblox：面向户外机器人导航的可通行性感知高斯点绘制

Samarth Chopra, Jing Liang, Gershom Seneviratne, Yonghan Lee, Jaehoon Choi, Jianyu An, Stephen Cheng, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 Splatblox通过融合RGB图像和LiDAR点云，构建了具有几何和语义信息的可通行性感知ESDF，实现户外复杂环境下的实时自主导航，实验表明其在可通行性判断和路径规划方面优于现有方法。

Square-root Time Atom Reconfiguration Plan for Lattice-shaped Mobile Tweezers

平方根时间原子重构计划用于晶格形移动镊子

Koki Aoyama, Takafumi Tomita, Fumihiko Ino

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出一种可扩展算法，通过并行化原子运输生成二维晶格图案，将运输时间降至O(√N)，并利用分治策略和peephole优化技术，实现总运输成本降低至现有算法的1/7，同时提升原子捕获率。

Comments 30 pages, 12 figures

Heterogeneous Mean Field Game Framework for LEO Satellite-Assisted V2X Networks

异质均场博弈框架用于低轨卫星辅助V2X网络

Kangkang Sun, Jianhua Li, Xiuzhen Chen, Mingzhe Chen, Minyi Guo

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出异质均场博弈框架，解决大规模车辆混合舰队在严格延迟约束下的协调问题，通过类型选择律和均衡求解器实现高效资源分配，实验验证了其在1D队列状态空间中的最优类型数标度。

Comments 18 pages, 7 figures, has been submitted to IEEE Transactions on Mobile Computing

MfNeuPAN: Proactive End-to-End Navigation in Dynamic Environments via Direct Multi-Frame Point Constraints

MfNeuPAN: 通过直接多帧点约束实现动态环境中的前瞻性端到端导航

Yiwen Ying, Hanjing Ye, Senzi Luo, Luyao Liu, Yu Zhan, Li He, Hong Zhang

机构 * Department of Electronic and Electrical Engineering, Southern University of Science and Technology（南方科技大学电子与电气工程系） ； Shenzhen Key Laboratory of Robotics and Computer Vision（深圳市机器人视觉与感知重点实验室） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出MfNeuPAN框架，通过多帧点约束实现动态环境中的前瞻性端到端导航，提升机器人在未知动态环境中的导航鲁棒性和效率。

Comments 6 pages, 9 figures, accepted at IEEE ROBIO 2025

An Open-Source LiDAR and Monocular Off-Road Autonomous Navigation Stack

开源的激光雷达与单目越野自主导航栈

Rémi Marsal, Quentin Picard, Adrien Poiré, Sébastien Kerbourc'h, Thibault Toralba, Clément Yver, Alexandre Chapoutot, David Filliat

机构 * U2IS, ENSTA, Institut Polytechnique de Paris（巴黎综合理工学院，ENSTA，U2IS） ； AMIAD, Pôle Recherche（AMIAD，研究部） ； LARIAD, a joint AMIAD-ENSTA laboratory（LARIAD，AMIAD-ENSTA联合实验室） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出一个开源的越野导航栈，结合激光雷达和单目3D感知，无需特定任务训练，通过边缘遮蔽和时间平滑提升鲁棒性，实验证明单目深度估计可替代激光雷达。

Magboltz-GUI: a Python-based graphical user interface for Magboltz

Magboltz-GUI：一种基于Python的图形用户界面用于Magboltz

Michele Renda. Dan Andrei Ciubotaru, Călin Alexa

专题命中 GUI与网页智能体 ：workflow(abstract)

AI总结 本文提出Magboltz-GUI，一种基于Python的图形界面，用于定义气体混合物、配置模拟参数、运行Magboltz并可视化或导出结果，旨在为气体探测器研究和教学提供轻量级前端工具。

Comments 9 pages, 7 figures