基于指令微调基础模型的多模态网页导航
Multimodal Web Navigation with Instruction-Finetuned Foundation Models
AI总结：
本文提出多模态网页导航智能体 WebGUM，通过联合微调指令语言模型和视觉编码器实现离线训练，在 MiniWoB 和 WebShop 等基准上显著超越现有方法，并公开 347K 条演示数据。
摘要：
自主网页导航的进展一直受到两方面因素的阻碍：一是依赖在线强化学习进行数十亿次探索性交互，二是领域特定的模型设计使得难以利用丰富的域外数据进行泛化。在本工作中，我们研究利用视觉-语言基础模型对网页智能体进行数据驱动的离线训练。我们提出了一种遵循指令的多模态智能体 WebGUM，它同时观察网页截图和 HTML 页面，并输出网页导航动作，例如点击和输入。WebGUM 通过在大量演示语料上联合微调一个指令微调语言模型和一个具有时间与局部感知能力的视觉编码器来训练。我们通过实验证明，这一训练方案提升了智能体在具身多模态感知、HTML 理解和多步推理方面的能力，并以显著优势超越了先前的工作。在 MiniWoB 上，我们比之前最好的离线方法提高了超过 45.8%，甚至超越了在线微调的最先进方法、人类以及基于 GPT-4 的智能体。在 WebShop 基准上，我们 30 亿参数的模型取得了优于现有最先进模型 PaLM-540B 的性能。此外，WebGUM 在 Mind2Web 的真实世界规划任务上表现出很强的正迁移能力。我们还利用训练好的模型收集了 347K 条高质量演示数据，规模是先前工作的 38 倍，并将其公开以促进该方向的未来研究。
英文摘要：
The progress of autonomous web navigation has been hindered by the dependence on billions of exploratory interactions via online reinforcement learning, and domain-specific model designs that make it difficult to leverage generalization from rich out-of-domain data. In this work, we study data-driven offline training for web agents with vision-language foundation models. We propose an instruction-following multimodal agent, WebGUM, that observes both webpage screenshots and HTML pages and outputs web navigation actions, such as click and type. WebGUM is trained by jointly finetuning an instruction-finetuned language model and a vision encoder with temporal and local perception on a large corpus of demonstrations. We empirically demonstrate this recipe improves the agent's ability of grounded multimodal perception, HTML comprehension, and multi-step reasoning, outperforming prior works by a significant margin. On the MiniWoB, we improve over the previous best offline methods by more than 45.8%, even outperforming online-finetuned SoTA, humans, and GPT-4-based agent. On the WebShop benchmark, our 3-billion-parameter model achieves superior performance to the existing SoTA, PaLM-540B. Furthermore, WebGUM exhibits strong positive transfer to the real-world planning tasks on the Mind2Web. We also collect 347K high-quality demonstrations using our trained models, 38 times larger than prior work, and make them available to promote future research in this direction.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
