WorkForceAgent-R1：通过强化学习激发基于 LLM 的 Web 智能体的推理能力
WorkForceAgent-R1: Incentivizing Reasoning Capability in LLM-based Web Agents via Reinforcement Learning
AI总结：
本文提出 WorkForceAgent-R1，利用基于规则的 R1 风格强化学习和结构化奖励提升业务 Web 智能体的单步推理与规划能力，在 WorkArena 上显著优于 SFT 基线并接近 gpt-4o。
摘要：
由大语言模型（LLM）赋能的 Web 智能体能够在企业环境中自动化复杂的实时 Web 导航任务。然而，现有依赖监督微调（SFT）的 Web 智能体在应对 Web 交互固有的动态特性时，常因推理能力不足而在泛化性和鲁棒性方面遇到困难。本研究提出 WorkForceAgent-R1，这是一个基于 LLM 的 Web 智能体，采用明确为增强面向业务的 Web 导航任务中的单步推理与规划而设计的、基于规则的 R1 风格强化学习框架进行训练。我们使用结构化奖励函数，同时评估输出格式的遵从性和动作的正确性，使 WorkForceAgent-R1 能够在没有显式标注或大量专家演示的情况下隐式学习鲁棒的中间推理。在 WorkArena 基准上的大量实验表明，WorkForceAgent-R1 相比 SFT 基线显著高出 10.26–16.59%，并在面向职场的 Web 导航任务中取得了相对于基于专有 LLM 的智能体（gpt-4o）具有竞争力的性能。
英文摘要：
Large language models (LLMs)-empowered web agents enables automating complex, real-time web navigation tasks in enterprise environments. However, existing web agents relying on supervised fine-tuning (SFT) often struggle with generalization and robustness due to insufficient reasoning capabilities when handling the inherently dynamic nature of web interactions. In this study, we introduce WorkForceAgent-R1, an LLM-based web agent trained using a rule-based R1-style reinforcement learning framework designed explicitly to enhance single-step reasoning and planning for business-oriented web navigation tasks. We employ a structured reward function that evaluates both adherence to output formats and correctness of actions, enabling WorkForceAgent-R1 to implicitly learn robust intermediate reasoning without explicit annotations or extensive expert demonstrations. Extensive experiments on the WorkArena benchmark demonstrate that WorkForceAgent-R1 substantially outperforms SFT baselines by 10.26-16.59%, achieving competitive performance relative to proprietary LLM-based agents (gpt-4o) in workplace-oriented web navigation tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
