WebMall -- A Multi-Shop Benchmark for Evaluating Web Agents
Data and Web Science Group(数据与网络科学组);University of Mannheim(曼海姆大学)
WebMall是首个多店铺离线基准,用于评估网络代理在复杂比较购物任务中的性能,包含四个模拟店铺和复杂检索任务。
2026-04-30 cs.CL
AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories
McGill University(麦吉尔大学);Mila Quebec AI Institute(魁北克AI研究院);Google DeepMind(谷歌DeepMind);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair);Polytechnique Montréal(蒙特利尔理工学院);ServiceNow Research(ServiceNow研究)
提出AgentRewardBench基准,评估LLM评判员对网络代理轨迹的自动评估效果,发现现有基于规则的方法低估成功率,且无单一LLM在所有基准上表现最优。
2025-10-06 cs.AI cs.CL cs.LG
SafeArena: Evaluating the Safety of Autonomous Web Agents
McGill University(麦吉尔大学);Concordia University(康考迪亚大学);Mila Quebec AI Institute(米拉魁北克人工智能研究所);ServiceNow Research(ServiceNow研究院)
SafeArena是首个评估网络智能体恶意滥用的基准,包含500个安全与有害任务,并通过风险评估框架揭示GPT-4o等主流模型对有害请求的高遵从率,凸显安全对齐的紧迫性。
2025-03-06 cs.AI cs.CL cs.LG
WebATLAS: An LLM Agent with Experience-Driven Memory and Action Simulation
University of Massachusetts Lowell(马萨诸塞大学洛威尔分校);Amazon Alexa AI(亚马逊Alexa人工智能)
WebATLAS通过经验驱动的记忆和前瞻动作模拟,实现无需微调的自主网页导航,成功率达63%。
2025-12-19 cs.AI cs.CL cs.IR
WebCoT: Enhancing Web Agent Reasoning by Reconstructing Chain-of-Thought in Reflection, Branching, and Rollback
Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
本文提出 WebCoT,通过将反思与前瞻、分支和回滚等关键推理技能重构为思维链并进行微调蒸馏,显著提升了 Web 智能体在多个基准上的表现。
2025-09-18 cs.CL
WebCoach: Self-Evolving Web Agents with Cross-Session Memory Guidance
University of California, Los Angeles(加州大学洛杉矶分校);Amazon(亚马逊)
研究针对网页代理跨会话学习不足问题,提出WebCoach框架,通过三个关键组件赋予代理跨会话记忆,可长期规划与自我进化,在WebVoyager基准测试中提升了不同LLM backbone的代理性能。
2026-07-24 cs.AI cs.CL
WebCanvas: Benchmarking Web Agents in Online Environments
iMean AI;Carnegie Mellon University(卡内基梅隆大学)
针对现有Web基准忽视动态环境的问题,提出在线评估框架WebCanvas,含新指标、Mind2Web-Live数据集及工具,最佳智能体任务成功率23.1%,完成率48.8%。
2024-07-16 cs.AI cs.CL cs.LG
X-WebAgentBench: A Multilingual Interactive Web Benchmark for Evaluating Global Agentic System
Central South University(中南大学);Soochow University(苏州大学);The University of Hong Kong(香港大学)
针对当前语言智能体研究多聚焦英语场景、难以满足多语言应用需求的问题,提出多语言交互式Web基准X-WebAgentBench以评估多语言下智能体的规划与交互性能,实验发现先进模型结合跨语言技术仍效果不佳,为多语言智能体研究提供基准支撑。
2025-05-21 cs.CL
WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning
Tsinghua University(清华大学);Zhipu AI(智谱AI)
本文提出WebRL框架,通过自进化在线课程强化学习,利用开源LLM生成任务、构建奖励模型并采用自适应策略,显著提升了模型在网络任务上的成功率,超越了GPT-4等专有模型。
2025-01-27 cs.CL
TimeWarp: Evaluating Web Agents by Revisiting the Past
University of Utah(犹他大学)
TimeWarp通过模拟变化的网络环境评估代理鲁棒性,提出TimeTraj算法提升计划收集效果
2026-10-15 cs.AI cs.CL cs.CV
Avenir-Web: Human-Experience-Imitating Multimodal Web Agents with Mixture of Grounding Experts
University College London(伦敦大学学院);The University of Edinburgh(爱丁堡大学);Princeton University(普林斯顿大学)
Avenir-Web通过融合接地专家与经验模仿规划,实现了在复杂网络界面中可靠执行长周期任务的开源网络代理新纪录。
2026-02-02 cs.AI cs.CL
WebRollback: Enhancing Web Agents with Explicit Rollback Mechanisms
City University of Hong Kong(香港城市大学);Tencent AI Lab(腾讯人工智能实验室)
通过显式回滚机制提升网络代理的导航效率与灵活性
2026-01-15 cs.AI cs.CL
AdaptAgent: Adapting Multimodal Web Agents with Few-Shot Learning from Human Demonstrations
Georgia Institute of Technology(佐治亚理工学院);J.P. Morgan AI Research(摩根大通人工智能研究院)
AdaptAgent框架利用最多2个人类演示,通过上下文演示或元适应演示使多模态网页智能体适应新网站和领域,在两个基准上将任务成功率相对提升21.03%至65.75%。
2024-11-20 cs.AI cs.CL cs.LG
AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
AgentOccam通过优化观察与动作空间对齐LLM能力,无需上下文示例或搜索策略,在WebArena基准上显著超越先前方法,成功率提升26.6个百分点,凸显零样本性能与空间调优的关键作用。
2025-05-24 cs.AI cs.CL
WebLists: Extracting Structured Information From Complex Interactive Websites Using Executable LLM Agents
Bardeen, Inc.(巴登公司)
针对现有Web智能体在大规模结构化数据提取任务上表现不佳的问题,提出包含200个任务的WebLists基准,设计BardeenAgent框架,利用HTML结构构建CSS选择器,将执行转换为可重复程序,在该基准上召回率达66%,成本降低3倍。
2025-04-17 cs.AI cs.CL
VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks
Carnegie Mellon University(卡内基梅隆大学)
VisualWebArena 提出一个真实视觉网页任务基准,通过评估多模态 LLM 智能体在图像-文本输入下的规划与执行能力,揭示纯文本与多模态智能体的能力差距,并为构建更强的网页自主智能体提供框架与数据支持。
2024-06-06 cs.CL cs.CV cs.LG
WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models
Zhejiang University(浙江大学);Westlake University(西湖大学);Tencent AI Lab(腾讯AI实验室)
本文提出WebVoyager,一个由大型多模态模型驱动的端到端网页智能体,可在真实网站中完成用户指令,并在新基准上取得59.1%成功率,显著超越纯文本方案。
2024-06-06 cs.AI cs.CL
WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model
Tencent AI Lab(腾讯人工智能实验室)
针对Web智能体自我改进中的性能停滞问题,本文提出引入协同演化的世界模型LLM,既生成自我指导训练数据优化策略,又通过前瞻模拟指导动作选择,在三个真实Web基准上实现10%的性能提升。
2025-08-21 cs.CL
WebRouter: Query-specific Router via Variational Information Bottleneck for Cost-sensitive Web Agent
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(人工智能学院,南京航空航天大学);Hong Kong Baptist University(香港 Baptist 大学);SKLCCSE Lab, Beihang University(SKLCCSE 实验室,北京航空航天大学);Pengcheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国)
针对LLM Web智能体面临的成本与性能权衡及复杂提示词导致性能下降问题,提出基于变分信息瓶颈的查询特定路由器WebRouter,在大幅降低操作成本的同时保持较高准确率。
2025-10-13 cs.CL
Mind2Web: Towards a Generalist Agent for the Web
The Ohio State University(俄亥俄州立大学)
本文提出 Mind2Web 真实网站通用智能体数据集,并结合小型 LM 过滤 HTML 与 LLM 进行动作预测,验证跨网站、跨领域泛化的可行性。
2023-12-09 cs.CL
BEARCUBS: A benchmark for computer-using web agents
UMass Amherst;University of Maryland, College Park(美国马里兰大学学院公园分校)
本文提出含111个实时、多模态网页信息检索任务的 BEARCUBS 基准,结合人工验证轨迹评估计算机使用型 Web 智能体,发现 ChatGPT Agent 领先但仍低于人类水平。
2025-07-24 cs.AI cs.CL cs.LG
VibeJam: A User Study Platform for Web Development with Agents
University of Maryland(马里兰大学);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
研究推出开源浏览器平台VibeJam,支持用户与Aider智能体协作开发网站,试点显示其获资深程序员认可且初级学生用其生成的网站质量更优,可推动编码智能体相关研究。
2026-09-01 cs.CL
DynaWeb: Model-Based Reinforcement Learning of Web Agents
Shanghai Jiao Tong University(上海交通大学);Sichuan University(四川大学);Hong Kong University of Science and Technology(香港科学与技术大学);McGill University(麦吉尔大学);Shanghai AI Lab(上海人工智能实验室);Gradient;University of Toronto(多伦多大学);Mila - Quebec AI Institute(魁北克AI研究所)
本文提出DynaWeb框架,通过模拟环境提升Web代理的强化学习效率,实验表明其在WebArena和WebVoyager基准上显著提升性能。
2026-04-17 cs.AI cs.CL
WebChallenger: A Reliable and Efficient Generalist Web Agent
ML Collective;longsurf.ai;Independent(独立研究者)
提出WebChallenger框架,通过PageMem结构化页面表示、分治观察、轻量探索记忆和复合动作工作流,复现人类认知优势,使开源模型在多个Web导航基准上接近前沿专有系统性能。
2026-06-09 cs.CL
WebXSkill: Skill Learning for Autonomous Web Agents
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft(微软)
WebXSkill通过可执行技能框架解决自主网页代理在长周期任务中的执行与适应问题,提升任务成功率。
2026-09-01 cs.AI cs.CL
WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning
Multimedia Laboratory (MMLab)(多媒体实验室)
本文提出 WebGen-Agent,通过 VLM 截图与 GUI-agent 多层级反馈、回溯择优及 Step-GRPO 步骤级强化训练,显著提升交互式网站代码生成质量。
2025-09-26 cs.AI cs.CL
WebSwarm: Recursive Multi-Agent Orchestration for Deep-and-Wide Web Search
Kuaishou(快手)
研究基于大语言模型的网络搜索任务,提出WebSwarm递归多智能体编排框架,在推理时联合构建任务分解等,动态实例化搜索节点,通过实验证明其在深度、广度等任务上优于基线,分析多种因素解释其有效性并为多智能体搜索提供见解。
2026-07-10 cs.AI cs.CL cs.MA
Web Agents with World Models: Learning and Leveraging Environment Dynamics in Web Navigation
Yonsei University(延世大学)
针对LLM网页智能体缺乏环境动态预测能力的问题,提出世界模型增强(WMA)智能体,通过模拟行动结果改进决策,在WebArena和Mind2Web上验证了无需训练即可提升策略选择且更高效。
2025-03-29 cs.CL
AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials
University of Hong Kong(香港大学);Salesforce Research(Salesforce研究院)
提出AgentTrek流水线,通过自动收集网络教程、转换为结构化任务规范并用VLM智能体执行验证来合成多模态网络智能体轨迹,以低成本实现GUI智能体在多项基准上的最先进性能。
2025-03-03 cs.CL
WAREX: Web Agent Reliability Evaluation on Existing Benchmarks
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
针对现有Web智能体基准未考虑现实网络与网站不稳定因素的问题,提出WAREX评估框架,在三大基准上测试发现其会使任务成功率显著下降,暴露了当前智能体鲁棒性不足的问题。
2025-09-28 cs.AI cs.CR cs.LG
BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks
University of Pennsylvania(宾夕法尼亚大学)
本文提出BrowserArena,一个基于真实开放网络的智能体评估平台,通过用户任务和逐步人类反馈识别出验证码、弹窗和直接导航三类失败模式,并揭示不同模型应对策略的差异与脆弱性。
2025-10-07 cs.AI cs.LG
WebExplorer: Explore and Evolve for Training Long-Horizon Web Agents
The Hong Kong University of Science and Technology(香港科技大学);MiniMax;University of Waterloo(滑铁卢大学)
针对开源网络智能体在复杂信息寻求任务中数据稀缺的问题,提出WebExplorer方法,通过模型探索和长到短查询进化生成挑战性数据,训练出8B参数的WebExplorer-8B智能体,在多个基准上达到最优性能。
2025-09-26 cs.CL
Learning to Contextualize Web Pages for Enhanced Decision Making by LLM Agents
KAIST AI(韩国科学技术院人工智能实验室);University of Oxford(牛津大学)
LCoW通过上下文化学习提升LLM代理在网页自动化任务中的决策能力,显著提高闭源和开源模型的成功率。
2025-12-19 cs.CL
WebSailor: Navigating Super-human Reasoning for Web Agent
WebSailor 通过高不确定性任务生成、RFT 冷启动和 DUPO 强化学习算法,赋予开源 Web 智能体系统降低极端不确定性的超人类推理能力,在复杂信息检索任务上追平专有智能体。
2025-07-03 cs.AI cs.CL
EconWebArena: Benchmarking Autonomous Agents on Economic Tasks in Realistic Web Environments
Capital One;Georgia Institute of Technology(佐治亚理工学院)
本文提出EconWebArena基准,通过360个精心挑选的任务测试自主代理在经济任务中的能力,强调权威数据源和基于网络的经济推理,评估多种多模态LLM的表现,揭示性能差距和挑战。
2026-05-11 cs.CL
Web-CogReasoner: Towards Multimodal Knowledge-Induced Cognitive Reasoning for Web Agents
Southwestern University of Finance and Economics(西南财经大学);Shanghai Jiao Tong University(上海交通大学);Central South University(中南大学);Hithink Research(Hithink研究);Westlake University(西湖大学);Harbin Institute of Technology(哈尔滨工业大学);University of Manchester(曼彻斯特大学);University of California, Los Angeles(加州大学洛杉矶分校);University of Adelaide(阿德莱德大学);Fudan University(复旦大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Chengdu Everimaging Science and Technology Co., Ltd(成都亿联科技有限公司)
研究将网络智能体能力分解为知识内容学习和认知过程两阶段,提出框架分类知识,构建数据集,基于此用新推理框架开发训练智能体,实验显示其优势,还引入评估套件。
2026-07-07 cs.AI cs.CL
InfiniteWeb: Scalable Web Environment Synthesis for GUI Agent Training
Peking University(北京大学);Nanjing University(南京大学);Microsoft Research Asia(微软亚洲研究院)
提出InfiniteWeb系统,通过统一规范、任务驱动测试和多样化种子设计自动生成功能完备的Web环境,解决GUI智能体训练数据稀缺问题,在OSWorld和Online-Mind2Web上取得显著性能提升。
2026-07-01 cs.AI cs.CL cs.CV
PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails
研究针对用户指令不明确时网络代理需从浏览历史推断上下文的问题,引入PersonaTrail基准及偏好感知上下文记忆框架PACMem,利用浏览轨迹评估代理,实验证明PACMem优于现有基于记忆的基线。
2026-08-05 cs.AI cs.CL
WebGames: Challenging General-Purpose Web-Browsing AI Agents
Convergence Labs Ltd.(康弗金思实验室有限公司);Clusterfudge Ltd.(Clusterfudge有限公司)
WebGames是一个包含50多项交互式挑战的基准套件,用于评估通用网页浏览AI智能体,测试发现最佳AI系统成功率仅43.1%,远低于人类的95.7%,揭示了当前AI在网页交互方面的显著能力差距。
2025-02-25 cs.LG
AgentA/B: Automated and Scalable Web A/BTesting with Interactive LLM Agents
Northeastern University(东北大学);Pennsylvania State University(宾夕法尼亚州立大学);Amazon USA(亚马逊美国)
AgentA/B通过交互式LLM代理实现自动化和可扩展的网页A/B测试,模拟用户行为以评估网页设计效果。
2026-03-10 cs.CL cs.HC
An Illusion of Progress? Assessing the Current State of Web Agents
The Ohio State University(俄亥俄州立大学);University of California, Berkeley(加州大学伯克利分校)
本文通过引入在线基准Online-Mind2Web和LLM-as-a-Judge自动评估方法,严格评估Web智能体,揭示先前结果过度乐观,并首次全面比较其优劣。
2025-10-08 cs.AI cs.CL
Improving LLM-based Autonomous Web Agents with Filtering
Carnegie Mellon University(卡内基梅隆大学)
本研究针对LLM自主Web智能体面临的网页HTML上下文过长问题,提出基于DeBERTa和T5的过滤模型及零样本ColBERT检索器,提升WebArena任务成功率并实现高召回。
2026-09-24 cs.CL
AdvAgent: Controllable Blackbox Red-teaming on Web Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学);The Ohio State University(俄亥俄州立大学)
提出黑盒红队测试框架AdvAgent,通过强化学习训练对抗性提示器模型优化攻击提示,在保持隐蔽可控的同时有效发现GPT-4 Web智能体的安全漏洞,并证明现有防御机制效果有限。
2025-05-31 cs.CL cs.CR
From Context to Action: Analysis of the Impact of State Representation and Context on the Generalization of Multi-Turn Web Navigation Agents
University of Illinois-Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究分析多轮网页导航智能体中上下文管理(交互历史与网页表示)对泛化性能的影响,发现有效上下文管理可提升在未见网站、类别和地理位置等分布外场景中的表现。
2024-10-31 cs.AI cs.CL cs.HC
Region4Web: Rethinking Observation Space Granularity for Web Agents
Yonsei University(延世大学)
Region4Web提出通过功能区域划分重构AXTree,以更紧凑的信息基础提升网页代理任务成功率。
2026-05-08 cs.AI cs.CL
WorkForceAgent-R1: Incentivizing Reasoning Capability in LLM-based Web Agents via Reinforcement Learning
Georgia Tech(佐治亚理工学院)
本文提出 WorkForceAgent-R1,利用基于规则的 R1 风格强化学习和结构化奖励提升业务 Web 智能体的单步推理与规划能力,在 WorkArena 上显著优于 SFT 基线并接近 gpt-4o。
2025-06-08 cs.AI cs.CL
Synthesizing Agentic Data for Web Agents with Progressive Difficulty Enhancement Mechanisms
Salesforce AI Research(Salesforce AI研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出一种双管齐下的数据合成流水线,通过渐进增加任务复杂度直至基线智能体失败来生成问答对,并采用受控蒸馏训练设置,实验表明该数据集虽小但能训练出更有效且工具使用更多样的网页智能体。
2025-10-15 cs.AI cs.CL
AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation
Fudan University(复旦大学);Alibaba Holding-Aicheng Technology-Enterprise(阿里巴巴控股爱诚科技企业)
针对现有Web scraping方法适应性差和可重用性低的问题,提出基于LLM的两阶段框架AutoScraper,利用HTML层次结构和网页相似性高效生成Web scraper,并引入新可执行性指标验证了其有效性。
2024-09-26 cs.AI cs.CL
World-Model-Augmented Web Agents with Action Correction
Zhejiang University(浙江大学);Tencent AI Lab(腾讯AI实验室)
WAC通过多代理协作和风险感知机制,提升网络代理在复杂任务中的鲁棒性和执行效率。
2026-02-17 cs.AI cs.CL
Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective
Department of Computer Science, George Mason University(乔治·马歇尔大学计算机科学系)
本文从分层规划角度分析了LLM网络代理失败原因,发现低层执行是主要瓶颈,改进感知接地和自适应控制对实现人类可靠性至关重要。
2026-04-27 cs.AI cs.CL
WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization
WebShaper提出形式化驱动的信息寻求数据合成框架,通过集合论和知识投影精确控制推理结构,多步扩展生成训练数据,在GAIA和WebWalkerQA上取得开源最优性能。
2025-07-20 cs.AI cs.CL
From Multi-Agent Systems and the Semantic Web to Agentic AI: A Unified Narrative of the Web of Agents
SEDAN - SnT;University of Luxembourg(卢森堡大学)
本文提出智能体网络(WoA)经历了从平台端协调(第一代)、数据端标注(第二代)到模型端解释(第三代)的语义努力迁移,并分析了各代失败模式及当前开放问题。
2026-05-24 cs.AI cs.CL cs.CR
FullStack-Agent: Enhancing Agentic Full-Stack Web Coding via Development-Oriented Testing and Repository Back-Translation
Multimedia Laboratory (MMLab), The Chinese University of Hong Kong(香港中文大学多媒体实验室);Shenzhen Loop Area Institute(深圳河套学院)
FullStack-Agent通过面向开发的测试和仓库反翻译提升全栈网页编码能力,其多代理框架和自我改进方法在多个测试用例中表现出色。
2026-02-03 cs.CL cs.CV cs.SE
"I Strongly Suspect This Website Is a Scam": Benchmarking PII Leakage and Detection without Defense in Autonomous Web Agents
KIIT Bhubaneshwar(KIIT布巴内什瓦尔);BITS Pilani(比特斯理工学院);Lam Research(拉姆研究)
本文通过构建包含91个攻击者控制环境和10个良性孪生基线的基准Scammer4U,评估前沿自主网络代理在社交工程攻击下的PII泄露风险,发现关键PII泄露率高达54-93%,并揭示了代理检测到攻击但仍有35.9%概率提交PII的检测-行动差距。
2026-10-27 cs.CL cs.CR