WebGames: Challenging General-Purpose Web-Browsing AI Agents
Convergence Labs Ltd.（康弗金思实验室有限公司）；Clusterfudge Ltd.（Clusterfudge有限公司）
WebGames是一个包含50多项交互式挑战的基准套件，用于评估通用网页浏览AI智能体，测试发现最佳AI系统成功率仅43.1%，远低于人类的95.7%，揭示了当前AI在网页交互方面的显著能力差距。
2025-02-25 cs.LG
WebFovea: When the Model Is Right but the Click Is Wrong -- Reliable Round Trips for Vision-Based Web Agents on Live Websites
WebFovea通过强化模型与浏览器间harness的四个关键阶段并设置护栏，将真实网站视觉Web智能体的隐藏集分数从31.0提升至57.0，获挑战赛第二名。
2026-10-08 cs.AI cs.CV cs.LG
Towards Sustainable Web Agents: A Plea for Transparency and Dedicated Metrics for Energy Consumption
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵-普法尔茨理工大学）
本文初步探索网络智能体的能源与二氧化碳成本，指出不同设计理念对能耗影响显著，并呼吁提高透明度、设立专用能耗与可持续性评估指标。
2025-02-25 cs.AI cs.HC
Internet 3.0: Architecture for a Web-of-Agents with it's Algorithm for Ranking Agents
NYU（纽约大学）；Independent Researcher（独立研究者）
针对智能体网络缺乏全局透明交互信号、难以实现可信智能体排序的问题，提出五层隐私保护协议DOVIS及结合使用量与能力的动态排序算法AgentRank-UC，验证了其收敛性与抗攻击能力，为构建可信可扩展的智能体网络提供支撑。
2025-09-05 cs.AI
Needle in the Web: A Benchmark for Retrieving Targeted Web Pages in the Wild
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
Needle in the Web 是一个评估现代搜索代理和LLM在模糊探索性查询中检索和推理真实网页能力的基准测试，揭示了当前搜索系统在处理模糊性和复杂性时的挑战。
2025-12-18 cs.AI cs.CL
LiveEvalBench: Toward Open-World Evaluation for Web Generation
LiveEvalBench是将网页生成评估转为智能体驱动的自适应可扩展过程的自动化框架，经实验验证其与人类专家判断高度一致，可提供前沿模型网页生成能力的细粒度洞察
2026-08-05 cs.AI cs.SE
WebDevJudge: Evaluating (M)LLMs as Critiques for Web Development Quality
Tencent AI Lab（腾讯AI实验室）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Nanyang Technological University（南洋理工大学）
WebDevJudge 提出了一种评估 LLM 作为 Web 开发质量批评者的基准，揭示了 LLM 与人类专家之间的显著差距，指出了模型在功能等价性识别、任务可行性验证和偏见缓解方面的根本性限制。
2026-03-03 cs.AI cs.SE
Structured Distillation of Web Agent Capabilities Enables Generalization
Mila – Quebec AI Institute（Mila – 魁北克人工智能研究所）；McGill University（麦吉尔大学）
通过结构化轨迹生成框架，利用Gemini 3 Pro生成3000条轨迹并微调学生模型，实现WebArena 41.5%的性能，超越其他模型，且能力迁移至未见环境。
2026-04-09 cs.LG
Towards Scalable Web Accessibility Audit with MLLMs as Copilots
本文提出AAA审计框架，通过GRASP图采样与MaC多模态大语言模型副驾驶实现WCAG-EM的可扩展人机协作执行，并贡献四个基准数据集验证方法有效性。
2025-11-05 cs.AI cs.HC
WebCompass: Towards Multimodal Web Coding Evaluation for Code Language Models
Nanjing University（南京大学）；Kuaishou Technology（快手科技）
WebCompass提出一个多模态基准测试，用于评估代码语言模型在网络工程中的能力，涵盖生成、编辑和修复三种任务类型，通过多阶段人机协作流程，发现闭源模型在编辑和修复方面表现更优，但美学仍是开放源模型的主要瓶颈。
2026-04-20 cs.AI cs.SE
Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping
Stanford University（斯坦福大学）；Georgia Tech（佐治亚理工学院）
Sketch2Code基准评估视觉语言模型将粗略草图转换为网页原型的能力，发现现有模型表现有限，且用户更偏好智能体主动提问而非被动接收反馈。
2024-10-21 cs.AI cs.CL
OS-Copilot: Towards Generalist Computer Agents with Self-Improvement
Shanghai AI Laboratory（上海人工智能实验室）；East China Normal University（华东师范大学）；Princeton University（普林斯顿大学）；The University of Hong Kong（香港大学）
针对现有数字智能体仅限于特定领域的问题，提出了OS-Copilot框架以构建能自主交互操作系统的通用智能体，并基于此开发了自我改进的具身智能体FRIDAY，在GAIA基准上性能提升35%，展现出强大的泛化与自我学习能力。
2024-02-15 cs.AI
Motif: Discovering and Automating Personal Web Workflows
University of California, Irvine（加州大学伊文斯顿分校）
Motif系统通过被动观察浏览器活动发现可编程交互模式，向用户推荐并生成程序，经多日研究评估，其发现的可自动化模式多于用户识别出的，多数模式有用，多数用户会继续使用Motif生成的程序。
2026-07-14 cs.AI cs.HC cs.SE
Poison Once, Exploit Forever: Environment-Injected Memory Poisoning Attacks on Web Agents
Pennsylvania State University（宾夕法尼亚州立大学）；Amazon Web Services（亚马逊云服务）
研究提出eTAMP攻击，通过环境观察污染代理内存，实现跨会话和跨网站的持久化攻击，实验显示攻击成功率高达32.5%，且环境压力下代理易受攻击，高能力模型同样存在漏洞。
2026-04-07 cs.AI cs.CR
VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks
Carnegie Mellon University（卡内基梅隆大学）
VisualWebArena 提出一个真实视觉网页任务基准，通过评估多模态 LLM 智能体在图像-文本输入下的规划与执行能力，揭示纯文本与多模态智能体的能力差距，并为构建更强的网页自主智能体提供框架与数据支持。
2024-06-06 cs.CL cs.CV cs.LG
Weasel: Out-of-Domain Generalization for Web Agents via Importance-Diversity Data Selection
Seoul National University（首尔国立大学）；McGill University（麦吉尔大学）；Mila -- Quebec AI Institute（蒙特利尔AI研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出Weasel方法，通过优化平衡单步重要性与状态、网站、交互模式成对多样性的目标，选择固定预算的轨迹子集，结合目标中心AXTree剪枝和风格一致理由替换，提升Web智能体离线训练的域外泛化性能并降低训练成本。
2026-05-26 cs.LG
When LLMs Go Online: The Emerging Threat of Web-Enabled LLMs
KAIST（韩国科学技术院）
本研究探讨了具备 Web 访问能力的 LLM 智能体在涉及个人数据的网络攻击中的滥用风险，实验表明其在 PII 收集、冒充帖子和鱼叉式钓鱼中表现高效，并揭示了现有商业 LLM 安全防护的不足。
2025-02-03 cs.AI cs.CR
Evaluating LLMs for Real-World Web Vulnerability Detection
Technische Universität Berlin（柏林技术大学）；Freie Universität Berlin（柏林自由大学）
本研究通过基准测试六种前沿和开源LLMs在WordPress插件静态分析中的Web漏洞检测能力，发现模型和提示设计显著影响检测率，其中Claude Opus 4.6达到最高63%，但所有模型均存在报告不一致问题。
2026-06-23 cs.AI cs.CR
OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents
UIUC（伊利诺伊大学香槟分校）；Microsoft（微软）
提出OpenWebRL框架，通过在线多轮强化学习在真实网站上训练视觉网络代理，以4B参数模型在基准测试中达到开源最优，并与闭源系统竞争。
2026-06-04 cs.AI cs.CL cs.CV
AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Amazon（亚马逊）；Massachusetts Institute of Technology（麻省理工学院）
AdvSim2Real通过共同演化任务课程、注入对手和智能体，在冻结网络世界模型中训练，使4B智能体在未见攻击下完成率提升33.6%，并增强鲁棒性与真实浏览器迁移能力。
2026-10-07 cs.AI cs.CL cs.LG
Build the web for agents, not agents for the web
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（蒙特利尔人工智能研究所）
针对当前网页智能体因人类设计界面与大语言模型能力不匹配而面临的挑战，论文提出范式转变，主张构建专为智能体优化的智能体网页界面（AWI），并确立六项设计原则以推动更高效可靠的网页智能体发展。
2025-06-12 cs.CL cs.LG
CancerKG.ORG A Web-scale, Interactive, Verifiable Knowledge Graph-LLM Hybrid for Assisting with Optimal Cancer Treatment and Care
Florida State University（佛罗里达州立大学）；University of South Florida（南佛罗里达大学）；Moffit Cancer Center（莫菲特癌症中心）；Research Institute（研究所）
本文提出CancerKG.ORG，一个结合知识图谱与大语言模型的网络级混合系统，通过自动摄取最新结直肠癌医学知识并以验证KG作为RAG护栏，缓解LLM幻觉与知识过时问题，辅助癌症治疗与临床信息检索。
2024-12-31 cs.AI cs.IR cs.LG
EIA: Environmental Injection Attack on Generalist Web Agents for Privacy Leakage
The Ohio State University（俄亥俄州立大学）；University of Chicago（芝加哥大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文首次研究对抗环境下通用网络智能体的隐私风险，提出环境注入攻击EIA，通过注入适应网页环境的恶意内容窃取用户PII或完整请求，实验显示最高70%攻击成功率且难以检测，并探讨了部署前后防御策略。
2025-03-12 cs.AI cs.CL cs.CR
Brainchop: Next Generation Web-Based Neuroimaging Application
TReNDS Center Georgia State University（佐治亚州立大学TReNDS中心）；Dept. of Computer Science Georgia State University（佐治亚州立大学计算机科学系）
针对浏览器内医疗图像处理资源受限且缺乏端到端隐私保护工具的问题，提出基于Web的神经影像应用Brainchop，利用预训练全脑深度学习模型实现结构MRI体积分析，验证了客户端处理的可行性与高效性。
2023-10-24 cs.LG
In-Application Defense Against Evasive Web Scans through Behavioral Analysis
Florida International University（佛罗里达国际大学）
本文提出低开销应用内取证引擎 WebGuard，通过多模态行为监控及监督、无监督学习实时检测并归因自动化 Web 扫描器，显著提升检测速度与准确率。
2024-12-09 cs.CR cs.IT cs.LG
Local deployment of large-scale music AI models on commodity hardware
Carnegie Mellon University（卡内基梅隆大学）
本文提出MIDInfinite，通过将Anticipatory Music Transformer移植到MLC框架，实现商用硬件本地浏览器内高效生成多乐器MIDI音乐，验证了大规模音乐AI模型在普通设备上本地部署的可行性。
2024-11-14 cs.LG cs.SD eess.AS
MLitB: Machine Learning in the Browser
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
除了少数例外，机器学习（ML）研究领域在很大程度上忽略了浏览器作为计算引擎的作用。除了ML的教育资源之外，浏览器不仅具有巨大的潜力来改善ML研究的最新水平，而且还可以以低成本和大规模的方式为公众带来复杂的ML学习和预测。本文介绍了MLitB，一个完全用JavaScript编写的原型ML框架，能够使用异构类设备执行大规模分布式计算。MLitB的发展是由几个基本目标驱动的，其目的是使ML学习和使用无处不在（通过使用无处不在的计算设备），廉价且轻松分布，以及协作。这是通过允许每台支持互联网的设备运行训练算法和预测模型而无需安装软件，并以通用可读格式保存模型来实现的。我们的原型库能够使用同步的分布式随机梯度下降来训练深度神经网络。MLitB为新的ML研究提供了几个重要的机会，包括：分布式学习算法的开发，Web GPU算法的进步，新的领域和移动应用，隐私保护计算和绿色网格计算。MLitB是开源软件。
2015-06-17 cs.DC cs.LG stat.ML
