AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
路径级事后指令用于视觉语言导航中的语义探索
机构 * Korea University（高丽大学） ； University of Michigan（密歇根大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出Phi-Nav框架，通过事后推理将指令与智能体实际探索轨迹对齐，利用三阶段双监督循环将语义未标记的运动转化为密集训练信号，在R2R-CE和RxR-CE基准上以少量专家演示取得竞争性能。
Comments Accepted to ECCV 2026
面向RIS辅助跟踪与功率控制的主动感知：一种混合神经进化与监督学习方法
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出双智能体深度学习框架，结合神经进化与监督学习，联合优化RIS相位和用户发射功率，实现高精度鲁棒跟踪，优于扩展卡尔曼滤波和粒子滤波。
Comments Submitted to an IEEE journal, 15 pages
FlexServe: 一种适用于移动设备的高效且安全的LLM服务系统，具有灵活的资源隔离
机构 * Institute of Parallel and Distributed Systems（并行与分布式系统研究所）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 本文提出FlexServe，一种适用于移动设备的高效且安全的LLM服务系统，通过灵活的资源隔离机制提升推理速度和安全性，采用多模型调度器优化多模型工作流，实验显示在TTFT和多模型工作流中均取得显著加速效果。
Comments 13 pages, 11 figures
面向长时程移动GUI代理的任务状态表示
机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； School of Software, Beihang University（北京航空航天大学软件学院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 提出任务状态表示（TSR）框架，通过解耦任务状态与屏幕观察，解决长时程移动GUI代理的上下文负担问题，在复杂跨应用任务中成功率提升最高12个百分点。
Comments Preprint. 9 pages, 3 figures
SlowBA：针对基于VLM的GUI代理的高效后门攻击
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 提出SlowBA后门攻击，通过强化学习注入触发模式，诱导VLM-based GUI代理产生冗长推理链，显著增加响应延迟，同时保持任务准确性。
Comments Accepted by ECCV 2026. Codes and supplementary materials are in https://github.com/tu-tuing/SlowBA
GAIA: 用于训练GUI测试时缩放评论模型的数据飞轮系统
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出GAIA数据飞轮系统，通过训练直觉评论模型（ICM）评估GUI代理动作的正确性，利用正负样本迭代提升代理测试时性能，实验表明该方法能持续改进多种模型。
Comments Accepted by ECCV 2026
MIRAGE: 针对Web代理的隐蔽视觉提示注入漏洞检测
机构 * SDU（山东大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出MIRAGE框架，利用扩散模型在受限区域生成视觉上无害的对抗图像，实现针对多模态大模型Web代理的隐蔽间接提示注入攻击，以检测其视觉漏洞。
See-and-Reach: 视场内的精确视觉语言导航用于无人机
机构 * School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） ； School of Computer Science and Artificial Intelligence, Shandong Normal University（山东师范大学计算机科学与人工智能学院） ； Interdisciplinary Research Center of General Artificial Intelligence, Shandong Normal University（山东师范大学通用人工智能跨学科研究中心）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 针对无人机视觉语言导航中目标可见后精确到达能力评估不足的问题，提出UAV-VLN-FOV任务和3DG-VLN框架，通过动态3D方向线索增强细粒度视觉定位与空间对齐，在基准和真实实验中显著提升成功率。
Comments 12 pages, 7 figures
SimuWoB: 模拟真实世界移动应用以实现快速且保真的GUI智能体基准测试
机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； University of Electronic Science and Technology of China（电子科技大学） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus团队）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 针对现有移动GUI智能体基准测试与现实应用之间的差距，提出全合成基准SimuWoB，通过鲁棒的虚拟环境生成框架合成高保真任务和环境，自动提供有效奖励，实现对复杂长程交互的高效可重复评估。
EvolveNav: 用于零样本目标导航的主动预反思与自进化记忆
机构 * HKUST(GZ)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； Xi’an Jiaotong University（西安交通大学） ； XGRIDS（深圳格物智联）
专题命中 GUI与网页智能体 ：agentic(abstract)；分类 cs.AI
AI总结 提出自进化零样本目标导航框架，通过从历史轨迹提取规则并基于置信上界检索，结合记忆引导预反思模块，减少无效探索，成功率提升10.1%。
PreAct：在重复任务上加速的计算机使用代理
机构 * Pine AI
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出PreAct方法，通过将首次成功执行编译为状态机程序，在后续任务中直接重放，避免逐步骤调用语言模型，实现8.5-13倍加速，并确保重放时屏幕状态匹配。
CAPED：面向移动GUI代理的上下文感知隐私暴露防御
机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 针对移动GUI代理截图上传导致的附带视觉隐私暴露问题，提出上下文感知的预上传暴露控制层CAPED，通过任务需求提取、屏幕上下文隐私先验和UI元素解析，选择性暴露任务所需内容，在保持高任务效用的同时显著降低隐私泄露。
基于开放视觉语言模型的空间问答与导航的二值追踪
机构 * RGA Inc.（RGA公司）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出BinTrack，一种全开源的空间定位代理，通过二值搜索轨迹段，在SpaceLocQA基准上准确率提升22.8%，推理速度提升1.5倍，并发布多行程室外数据集GangnamLoop。
Comments 21 pages, 4 figures, 15 tables. Project page: https://ndb796.github.io/BinaryTracking ; Code and dataset: https://github.com/ndb796/BinaryTracking
在线技能与记忆模块是否总是值得其令牌消耗？Web代理的预算约束研究
机构 * ServiceNow AI Research（ServiceNow AI 研究院） ； ÉTS Montreal（蒙特利尔高等技术学院） ； University of British Columbia（不列颠哥伦比亚大学） ； McGill University（麦吉尔大学）
专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.CL
AI总结 在固定推理预算下，对比三种在线增强模块与令牌匹配的基线，发现基线在总成功率上匹配或超越所有增强方法，且常使用更少令牌。
PhoneHarness: 通过混合GUI、CLI和工具操作利用手机使用代理
机构 * Tencent Hunyuan（腾讯混元） ； The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 提出PhoneHarness，一个混合动作基准和执行框架，用于评估手机代理在可验证移动工作流中的表现，通过GUI、CLI和工具动作的组合，达到75.0%通过率，比最强基线高12.9个百分点。
Comments Project Page: https://phoneharness.github.io/
隐藏的幽灵之手：揭示MLLM驱动的移动GUI代理中的后门漏洞
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Huawei Inc.（华为公司）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 本研究提出AgentGhost框架，通过组合目标和交互层触发器，利用监督对比学习和微调注入后门，在移动GUI代理中实现高成功率和隐蔽性，攻击准确率达99.7%。
Comments EMNLP-Findings 2025 (Correcting model settings)
MobileFineTuner：面向真实世界嵌入式AI应用中设备端大语言模型微调的移动原生框架
机构 * Duke Kunshan University（Duke昆山大学） ； The University of Hong Kong（香港大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 提出移动原生框架MobileFineTuner，通过C++实现资源感知训练运行时（内存高效注意力、激活检查点等），在商用手机上实现端到端LLM微调，显著降低内存压力并提升可执行性。
Comments 26 pages, 25 figures
MemVenom：网络代理中多模态记忆的触发式投毒
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。
Comments Preprint. 27 pages, 6 figures, 6 tables
AliyunConsoleAgent：通过蒸馏和强化学习在真实云环境中训练Web智能体
机构 * Alibaba Cloud China（阿里云中国）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出AliyunConsoleAgent框架，通过蒸馏前沿模型轨迹进行监督微调，再结合GRPO和双通道结果奖励模型在真实云环境中强化学习，实现文档验证自动化，以低成本达到接近前沿专有模型的成功率。
RunAgent SuperBrowser: 基于人类浏览行为的自主网页导航理论
机构 * RunAgent AI
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出SuperBrowser自主网页导航代理，通过模仿人类浏览的感知-认知-行动三元机制，在Mind2Web Hard基准上以89.47%成功率超越现有开源研究代理。
Comments 31 pages, 8 figures, preprint/work in progress
IR-SIM：一种用于导航、学习和基准测试的轻量级技能原生模拟器
机构 * The University of Hong Kong（香港大学） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） ； Southern University of Science and Technology（南方科技大学） ； University of Michigan（密歇根大学） ； University of Macau（澳门大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 提出轻量级技能原生导航模拟器IR-SIM，通过YAML配置完全定义场景，支持文本提示生成与修改，用于导航算法基准测试和训练数据自动生成，并桥接高保真模拟器和真实部署。
Comments 12 pages, 6 figures, project website: https://github.com/hanruihua/ir-sim
MIRAGE: 具有隐式推理和生成世界模型的移动智能体
机构 * Beihang University（北京航空航天大学） ； Northwestern Polytechnical University（西北工业大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出MIRAGE框架，通过从显式推理轨迹学习连续潜在表示，使移动智能体能够内部推理并预测未来屏幕状态，在减少生成token的同时提升执行效率。
超越航点：面向视觉语言导航的轨迹中心航点范式
机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 提出轨迹航点范式，通过TSDF引导的扩散策略预测可执行轨迹，解决VLN-CE中航点不可达与规划控制不一致问题，在基准上取得最优性能。
WorldFly: 基于世界模型的视觉-语言-动作模型用于无人机导航
机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； BNRist, Tsinghua University（清华大学北京研究院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出WorldFly框架，通过双分支耦合流匹配机制联合生成未来视频预测和导航动作，解决城市峡谷中严重遮挡和视角剧变下的无人机导航问题。
ContactExplorer: 接触覆盖引导的通用灵巧操作探索
机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； RoboScience（机器人科学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出ContactExplorer方法，通过接触覆盖奖励和能量引导奖励，在灵巧操作任务中高效探索接触模式，提升样本效率和成功率。
Comments 24 pages
具有应用的障碍证书自适应强化学习：Brushbot导航
机构 * School of Electrical Engineering, Royal Institute of Technology（皇家理工学院电气工程学院） ； Georgia Institute of Technology（佐治亚理工学院） ； RIKEN Center for Advanced Intelligence Project（日本理化学研究所高级智能研究中心） ； School of Mechanical Engineering（机械工程学院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 本文提出了一种安全学习框架，结合自适应模型学习算法和障碍证书，用于具有可能非平稳智能体动态的系统。通过稀疏优化技术提取模型的动态结构，并利用学习的模型结合控制障碍证书来约束策略（反馈控制器），以保持安全性，即避免特定的不利状态空间区域。在某些条件下，保证了在安全被非平稳性破坏后，以李雅普诺夫稳定性的方式恢复安全。此外，将动作-价值函数近似重新公式化，使任何基于内核的非线性函数估计方法都能应用于我们的自适应学习框架。最后，保证了障碍证书策略优化的解是全局最优的，确保在温和条件下进行贪心策略改进。所得到的框架通过四旋翼无人机的模拟进行验证，该无人机此前在安全学习文献中被假设为平稳性，然后在动态未知、高度复杂且非平稳的Brushbot机器人上进行测试。
Comments ©2019 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
Journal ref Published in IEEE Transactions on Robotics, 2019
MobiBench: 面向移动GUI智能体的多分支模块化基准
机构 * KAIST（韩国科学技术院） ； Sungkyunkwan University（全北大学） ； Korea University（韩国大学） ； Fluiz
专题命中 GUI与网页智能体 ：AI agent(abstract)；分类 cs.AI
AI总结 提出MobiBench，首个模块化且支持多路径感知的离线基准测试框架，用于高保真、可扩展和可复现地评估移动GUI智能体，并揭示组件级性能瓶颈。
基于LLM的对话式与图形化界面在工业决策任务中的比较：一项探索性混合方法研究
机构 * Department of Computer Science（计算机科学系） ； University of Pisa（比萨大学） ； Department（部门） ； San Matteo Hospital（圣玛泰奥医院） ； Brunel University of London（伦敦布鲁内尔大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 通过混合方法研究，比较了基于LLM的对话式界面与图形化仪表盘在工业决策任务中的表现，发现对话式界面可减少交互努力，但仪表盘在概览和验证方面仍有价值。
HUNT：通过瞬时相对帧在非结构化环境中进行高速无人机导航与跟踪
机构 * New York University（纽约大学） ； University of California Berkeley（加州大学伯克利分校）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.LG
AI总结 提出HUNT框架，利用瞬时相对帧统一搜索与跟踪，实现高速飞行和鲁棒自主性。
STAMP：在可控且可扩展的虚拟环境中训练移动GUI代理的显式记忆
机构 * Tongyi AI Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Beijing Jiaotong University（北京交通大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 提出STAMP框架，通过可控虚拟环境注入确定性记忆变量，生成可验证监督数据并支持在线强化学习，解决移动GUI代理在长时任务中因上下文窗口限制和缺乏显式记忆导致的失败问题。
Comments 24 pages, 4figures, 21 tables
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈