Emergence of metapopulations and echo chambers in mobile agents
专题命中 GUI与网页智能体 :agent(abstract);multi-agent(abstract)
Journal ref Sci Rep. 2016; 6, 31834
AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
专题命中 GUI与网页智能体 :agent(abstract);multi-agent(abstract)
Journal ref Sci Rep. 2016; 6, 31834
专题命中 GUI与网页智能体 :agent(abstract);autonomous agent(abstract)
专题命中 GUI与网页智能体 :agent(abstract);planning(abstract)
专题命中 GUI与网页智能体 :agent(abstract);autonomous agent(abstract)
专题命中 GUI与网页智能体 :agent(abstract);multi-agent(abstract)
Comments Submited by error
专题命中 GUI与网页智能体 :agent(abstract);multi-agent(abstract)
Comments This paper was presented at ECAL'11 and later published in the book Integral Biomathics: Tracing the Road to Reality: Results from the First Year Project Activities of the INtegral BIOmathics Support Action (INBIOSA)
Journal ref Integral Biomathics (2012) 129-141
专题命中 GUI与网页智能体 :agent(abstract);autonomous agent(abstract)
Comments International Journal of Computer Networks & Communications (IJCNC)
专题命中 GUI与网页智能体 :agent(abstract);planning(abstract)
Comments Part of this work has been presented at the 49th IEEE Conference on Decision and Control 2010. This work has been submitted to IEEE Transactions on Automatic Control
专题命中 GUI与网页智能体 :agent(abstract);multi-agent(abstract)
Comments Paper submitted to IEEE Transactions on Automatic Control in December 2008
机构 * Microsoft(微软公司) ; Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) ; Peking University(北京大学)
专题命中 GUI与网页智能体 :agent(abstract,comments);分类 cs.AI、cs.CL
Comments The collection of papers reviewed in this survey will be hosted and regularly updated on the GitHub repository: https://github.com/vyokky/LLM-Brained-GUI-Agents-Survey Additionally, a searchable webpage is available at https://aka.ms/gui-agent for easier access and exploration
专题命中 GUI与网页智能体 :agent(abstract,comments);autonomous agent(comments);multi-agent(comments)
Comments 9 pages, 5 figures. The extended abstract of this paper has been published in the proceedings of the Autonomous Agents and Multi-Agent Systems (AAMAS) 2023 conference
ComponentBench:诊断计算机使用智能体的组件级故障
机构 * Duke University(杜克大学) ; Amazon AGI SF Lab(亚马逊AGI旧金山实验室)
专题命中 GUI与网页智能体 :workflow(abstract);分类 cs.AI、cs.CL
AI总结 本文提出ComponentBench基准及诊断流水线,评估7种计算机使用智能体在4种观测动作空间下的表现,发现观测动作空间会显著影响性能,且空间操作仍是智能体的挑战。
Comments Accepted at COLM 2026. 30 pages (10 pages main text), 10 figures, 15 tables. Website: https://componentbench.com Code: https://github.com/TianchenGuan/ComponentBench Data: https://huggingface.co/datasets/TianchenGuan/ComponentBench
VTInstructor:面向连续环境中导航指令生成的视觉轨迹提示
机构 * Peking University(北京大学) ; PrimeBot
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.CL
AI总结 本研究提出首个面向连续环境的VLN指令生成框架VTInstructor,通过视觉轨迹提示技术生成导航指令,在基准测试中刷新最优性能,提升跟随器成功率并为下游任务带来数据增强增益。
Comments accepted by ACM MM 2026
代理验证的大语言用户体验微模拟:一种用于早期决策支持的工件优先协议
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.SE
AI总结 该研究提出代理验证的LLM驱动UX微模拟流程,通过代理语料库验证模拟结果,结合多指标对比基线、消融实验分析智能体策略,提供可复现的早期UX决策支持方案。
Comments 27 pages, 5 figures, 15 tables
基于反思引导的在线策略自蒸馏的测试时自演进GUI视觉定位
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.CL
AI总结 针对现有GUI视觉定位模型部署后难适配未见界面且无法反思失败探索的问题,提出测试时自演进框架,结合MLLM反思器、反思引导的在线策略自蒸馏等方法,在六个基准上平均提升7.4%准确率,完善了GUI智能体自演进能力。
超越像素:探索面向基于大语言模型的智能体的DOM下采样
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.CL
AI总结 本文提出D2Snap算法对DOM下采样,解决原始DOM令牌占用过大的问题,经评估其在GPT-4o智能体上的成功率达73%,接近基于GUI快照的基线性能。
Comments 21 pages, LaTeX, print version; enhanced algorithm, settled on non-inferiority claim, added downsampling monotonicity and linearity results
PersonaTrail:通过浏览轨迹对个性化网络代理进行基准测试
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.CL
AI总结 研究针对用户指令不明确时网络代理需从浏览历史推断上下文的问题,引入PersonaTrail基准及偏好感知上下文记忆框架PACMem,利用浏览轨迹评估代理,实验证明PACMem优于现有基于记忆的基线。
哪里出错了?基于语义状态追踪的Web智能体过程级评估
机构 * Yonsei University(延世大学) ; Microsoft Research(微软研究院)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.LG
AI总结 提出WebStep基准,通过语义MDP追踪过程状态,揭示隐藏于终端成功率下的智能体差异,并定位具体改进方向。
Journal ref COLM 2026
OS-Sentinel: 通过现实工作流中的混合验证实现安全增强的移动GUI代理
机构 * The University of Hong Kong(香港大学) ; Fudan University(复旦大学) ; Shanghai AI Laboratory(上海人工智能实验室) ; Nanyang Technological University(南洋理工大学) ; Nanjing University(南京大学) ; Shanghai Jiao Tong University(上海交通大学)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.CL
AI总结 OS-Sentinel通过结合形式验证器和VLM上下文判断者,提升移动GUI代理的安全性,实验显示在多个指标上优于现有方法。
Comments ACL 2026 (Oral) & Best Paper at AIWILD @ ICLR 2026
泛化与引导:用于少样本逆强化学习的奖励分解
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.LG
AI总结 研究少样本逆强化学习(FM - IRL)问题,提出多任务判别器近邻引导的IRL(MPG)方法,通过学习两个互补奖励组件,在多种有显著变化的任务上验证有效性,平均成功率达81.2%,优于基线。
生长-剪枝-冻结网络:用于嗅觉导航的自适应与持续学习技术
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.LG
AI总结 提出生长-剪枝-冻结(GPF)网络框架,通过动态调整策略网络层数实现持续学习,在湍流羽流导航任务中达到94%成功率,并推广到其他机器学习任务。
Comments Accepted as poster to the Reinforcement Learning in Big Worlds Workshop at the 2026 Reinforcement Learning Conference
零权限操纵:我们能否信任由大型多模态模型驱动的GUI代理?
机构 * State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学) ; Hornor Device Co., Ltd(Hornor设备有限公司) ; Institute of Dataspace, Hefei Comprehensive National Science Center(数据空间研究所,合肥综合性国家科学中心)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.SE
AI总结 研究揭示了由大型多模态模型驱动的GUI代理在Android中存在视觉原子性假设的漏洞,通过零权限攻击实现对代理执行的重新绑定,并利用意图对齐策略绕过验证门,展示了代理-操作系统集成中的安全缺陷。
从移动数据到商业洞察:用于大规模城市交通分析和决策支持的端到端分析框架
机构 * LIAAD ; INESC-TEC ; Mobile Network Analytics ; NOS SGPS
专题命中 GUI与网页智能体 :planning(abstract);分类 cs.AI、cs.LG
AI总结 研究通过调查城市环境中智能手机用户行为模式应对多领域挑战。开发数据平台,采用先进技术,构建模块化架构,应用可视化技术,模型可处理多种交通分析任务,为城市规划和商业决策提供见解。
奖励条件注意力:奖励设计如何塑造自动驾驶代理的感知
机构 * National School of Artificial Intelligence (ENSIA)(国家人工智能学院) ; Cosys-Grettia, Univ Gustave Eiffel(古斯塔夫·埃菲尔大学Cosys-Grettia实验室)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.LG
AI总结 研究奖励设计如何影响自动驾驶强化学习代理的内部注意力模式,发现奖励内容直接决定编码器优先关注的场景元素,且连续碰撞时间惩罚会形成学习性警觉先验。
有能力但粗心:计算机使用代理是否遵循情境完整性?
机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt(达姆施塔特工业大学计算机科学系泛在知识处理实验室(UKP Lab)) ; National Research Center for Applied Cybersecurity ATHENE(国家应用网络安全研究中心ATHENE)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.CL
AI总结 提出AgentCIBench基准,测试计算机使用代理在跨应用操作时是否泄露不适当信息,发现15个前沿代理中11个在超过50%场景中泄露信息,平均泄露率67.9%。
SCoTT:面向数字孪生的无线感知机器人导航战略链式思维任务规划
机构 * Technical University of Munich(慕尼黑技术大学) ; Virginia Tech(弗吉尼亚理工大学)
专题命中 GUI与网页智能体 :planning(abstract);分类 cs.AI、cs.LG
AI总结 本文提出SCoTT框架,利用视觉语言模型优化路径收益与轨迹长度,通过分解搜索问题提升无线约束下的路径规划效率,实验显示其性能接近最优动态规划算法且生成更短轨迹。
Journal ref Asilomar Conference on Signals, Systems, and Computers, 2025
基于人类演示的计算机使用智能体基础构建
机构 * Mila - Quebec AI Institute(魁北克AI研究所) ; McGill University(麦吉尔大学) ; Université de Montréal(蒙特利尔大学) ; ServiceNow Research(ServiceNow研究) ; University of Waterloo(滑铁卢大学) ; University of Oxford(牛津大学) ; National University of Singapore(新加坡国立大学) ; Polytechnique Montréal(蒙特利尔理工学院) ; École de Technologie Supérieure(高级技术学院) ; CIFAR AI Chair(CIFAR人工智能主席)
专题命中 GUI与网页智能体 :agentic(abstract);分类 cs.AI、cs.LG
AI总结 为解决桌面环境高质量基础数据稀缺问题,构建了包含87个应用、56K截图和3.56M人工标注的GroundCUA数据集,并基于此训练GroundNext模型,在5个基准上以少于先前十分之一的数据取得最优结果。
Comments Accepted at ICLR 2026
面向计算机使用代理的历史感知视觉基础批评家
机构 * University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) ; Capital One ; University of Texas at Austin(德克萨斯大学奥斯汀分校)
专题命中 GUI与网页智能体 :planning(abstract);分类 cs.AI、cs.CL
AI总结 提出HiViG框架,通过历史感知的视觉基础多模态批评家,在测试时评估动作并拦截错误,在多个GUI基准上提升成功率。
Comments Code: https://github.com/G-JWLee/HiViG
GUITestScape:面向探索性GUI测试的开放集评估
机构 * Beijing Jiaotong University(北京交通大学) ; Independent Researcher(独立研究者)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.SE
AI总结 提出GUITestScape基准和GUIJudge评估器,通过覆盖交互与显示缺陷的508个预设缺陷及过程感知评估方法,解决现有GUI测试评估局限于预定义标注和交互缺陷的问题。
面向计算机使用代理的人类引导式危害恢复
机构 * MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI、cs.CL
AI总结 针对LM代理在计算机系统中执行操作后的危害恢复问题,通过用户研究定义偏好对齐的恢复维度,提出基于奖励模型对候选恢复计划重排序的方法,并构建BackBench基准测试,实验表明该方法优于基线代理。