AI Agent

OpenApps: Simulating Environment Variations to Measure UI-Agent Reliability

OpenApps: 通过模拟环境变化来衡量UI代理的可靠性

Karen Ullrich, Jingtong Su, Claudia Shi, Arjun Subramonian, Amir Bar, Ivan Evtimov, Nikolaos Tsilivis, Randall Balestriero, Julia Kempe, Mark Ibrahim

机构 * FAIR at Meta（Meta 的 FAIR 研究组） ； New York University（纽约大学） ； Brown University（布朗大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 OpenApps通过模拟不同应用程序变化来衡量UI代理的可靠性，发现任务成功率在不同环境中有显著波动。

Prune4Web: DOM Tree Pruning Programming for Web Agent

Prune4Web: 面向Web代理的DOM树剪枝编程

Jiayuan Zhang, Kaiquan Chen, Zhihao Lu, Enshen Zhou, Qian Yu, Jing Zhang

专题命中 GUI与网页智能体 ：agent(title)；分类 cs.AI、cs.CL

AI总结 Prune4Web通过DOM树剪枝编程提升Web自动化精度，实现25-50倍候选元素减少，显著提高接地任务准确性至88.28%。

Comments Paper accepted to AAAI 2026

UITron-Speech: Towards Automated GUI Agents Based on Speech Instructions

UITron-Speech: 向基于语音指令的自动化GUI代理迈进

Wenkang Han, Zhixiong Zeng, Jing Huang, Shu Jiang, Liming Zheng, Longrong Yang, Haibo Qiu, Chang Yao, Jingyuan Chen, Lin Ma

专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.CL

AI总结 UITron-Speech通过语音指令和截图处理，实现首个端到端GUI代理，提升无障碍人机交互的可行性。

Multi-Hypotheses Ego-Tracking for Resilient Navigation

多假设视角的自主导航稳健跟踪

Peter Iwer Hoedt Karstensen, Roberto Galeazzi

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出了一种结合多假设估计和泊松二项式检测器的稳健导航架构，用于识别和隔离定位系统中的异常，通过轨迹重新规划实现性能恢复。