End-to-End Goal-Driven Web Navigation
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
我们提出了一个目标驱动的网络导航作为基准任务评估代理的能力，理解自然语言和计划部分观察到的环境。在这个具有挑战性的任务中，代理导航通过一个网站，这是表示为一个图形组成的网页作为节点和超链接作为有向边，找到一个网页中出现的查询。智能体需要具有基于自然语言的高级推理能力和高效的顺序决策能力。我们发布了一个名为WebNav的软件工具，它可以自动将网站转换为目标驱动的网络导航任务，作为一个例子，我们制作了WikiNav，一个从英文维基百科构建的数据集。我们在WikiNav上广泛评估了基于神经网络的人工代理的不同变体，并观察到所提出的目标驱动的网络导航很好地反映了模型的进步，使其成为评估未来进展的合适基准。此外，我们扩展了WikiNav与问答对从危险！并对基于强倒排索引的搜索引擎测试所提出的基于递归神经网络的代理。在WikiNav上训练的人工代理优于基于引擎的方法，证明了所提出的目标驱动导航作为衡量现实任务（如集中爬行和问答）进展的良好代理的能力。
2016-05-20 cs.AI
StepGuard: Guarding Web Navigation via Single-Step Calibration
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；Xiamen University（厦门大学）；Zhejiang Lab（之江实验室）；CSIRO（澳大利亚联邦科学与工业研究组织）
针对网页导航中单步脆弱性问题，提出StepGuard框架，通过动态双策略优化（DDPO）解决奖励冲突，并利用置信度引导的自适应导航反射（CANR）校准单步误差，显著提升导航与答案准确率。
2026-06-17 cs.AI
FLIN: A Flexible Natural Language Interface for Web Navigation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Microsoft Research（微软研究院）
AI助手现在可以通过直接与网站UI交互来为用户执行任务。当前的语义解析和槽填充技术不能灵活地适应许多不同的网站，而不需要不断地重新训练。我们提出FLIN，一个自然语言接口的Web导航，映射用户命令的概念级的行动（而不是低级别的UI行动），从而能够灵活地适应不同的网站，并处理其瞬态性质。我们将其定义为一个排名问题：给定一个用户命令和一个网页，FLIN学习为最相关的导航指令（包括动作和参数值）打分。为了训练和评估FLIN，我们收集了来自三个领域的九个流行网站的数据集。我们的研究结果表明，FLIN能够适应新的网站在一个给定的域。
2021-04-13 cs.AI cs.CL
Plan-MCTS: Plan Exploration for Action Exploitation in Web Navigation
Shanghai Jiao Tong University（上海交通大学）；OPPO Research Institute（OPPO研究院）
Plan-MCTS通过将网页导航探索转移到语义计划空间，提升动作利用效率，实现更高效的导航任务执行。
2026-02-15 cs.AI
User Persona Identification and New Service Adaptation Recommendation
AWS AI Labs（AWS AI实验室）
本文提出利用用户会话轨迹信息自动识别用户画像，并引入从头训练的Transformer语言模型SessionBERT捕获token语义，在预测页面链接和下一服务上F1分数分别提升3%和1%，扩展后推荐模型HIT@5达58%。
2023-11-15 cs.AI cs.IR
From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations
Capital One
针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题，提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架，在移动端首页排序和用户转化预测任务上显著提升性能。
2026-10-15 cs.AI cs.CE cs.CL
Mango: Multi-Agent Web Navigation via Global-View Optimization
Purdue University（普渡大学）
本文提出Mango方法，利用网站结构动态确定最优起始点，通过多臂老虎机问题和Thompson采样优化导航预算，并引入周期性记忆组件提升导航效率，实验显示在WebVoyager和WebWalkerQA上均优于基线方法。
2026-04-20 cs.AI cs.CL
Arena-Web -- A Web-based Development and Benchmarking Platform for Autonomous Navigation Approaches
Berlin Institute of Technology（柏林工业大学）
近年来，移动机器人导航方法已变得越来越重要，由于各种应用领域，从医疗保健到仓库物流。特别是，深度强化学习方法已经在机器人导航中得到了普及，但非专家不易访问，开发起来也很复杂。近年来，已作出努力，使这些先进的方法，以更广泛的受众。在本文中，我们提出了Arena的Web，基于Web的开发和评估套件，用于开发，培训和测试基于DRL的导航规划器，用于各种机器人平台和场景。该界面的设计是直观和吸引人的，以吸引非专家，并使技术可供更广泛的受众使用。使用Arena-Web及其界面，训练和开发深度强化学习代理可以简化，并且无需一行代码。该网络应用程序可免费使用，并可通过补充材料中所述的链接公开获取。
2023-02-06 cs.AI cs.HC cs.LG
From Context to Action: Analysis of the Impact of State Representation and Context on the Generalization of Multi-Turn Web Navigation Agents
University of Illinois-Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究分析多轮网页导航智能体中上下文管理（交互历史与网页表示）对泛化性能的影响，发现有效上下文管理可提升在未见网站、类别和地理位置等分布外场景中的表现。
2024-10-31 cs.AI cs.CL cs.HC
WebNav: An Intelligent Agent for Voice-Controlled Web Navigation
Dept. of Applied AI（应用人工智能系）；Cyrion Labs（Cyrian实验室）；Dallas, USA（美国达拉斯）
WebNav通过双重大语言模型架构结合视觉截图与动态DOM标记，将自然语言指令转化为精确的网页操作，实现了更智能的语音控制网页导航自动化。
2025-07-06 cs.AI cs.HC
A Graph-Enhanced Click Model for Web Search
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
为了更好地利用搜索日志和模型用户的行为模式，许多点击模型被提出来提取用户的隐式交互反馈。大多数传统的点击模型是基于概率图模型（PGM）框架，这需要手动设计的依赖关系，并可能过度简化用户的行为。最近，提出了基于神经网络的方法，通过增强表达能力和允许灵活的依赖关系来提高用户行为的预测精度。然而，它们仍然遭受数据稀疏和冷启动问题。在本文中，我们提出了一种新的图形增强点击模型（GraphCM）的Web搜索。首先，我们把每个查询或文档作为一个顶点，并提出了新的同构图的查询和文档分别构造方法，充分利用会话内和会话间的稀疏性和冷启动问题的信息。其次，根据检验假设，分别对吸引力估计器和检验预测器进行建模，输出吸引力得分和检验概率，并利用图神经网络和邻居交互技术提取编码在预构造的齐次图中的辅助信息.最后，我们应用组合函数将检查概率和吸引力分数整合到点击预测中。在三个真实世界的会话数据集上进行的大量实验表明，GraphCM不仅优于最先进的模型，而且在解决数据稀疏性和冷启动问题方面也取得了优异的性能。
2022-08-22 cs.AI cs.IR
AllTogether: Investigating the Efficacy of Spliced Prompt for Web Navigation using Large Language Models
本文提出 AllTogether 标准化提示模板以增强任务上下文表示，并通过提示学习与指令微调验证其能提升大语言模型在 HTML 网页导航中的性能。
2023-10-31 cs.AI cs.CL cs.LG
Dual-View Visual Contextualization for Web Navigation
The Ohio State University（俄亥俄州立大学）
本文提出利用网页截图中HTML元素的文本与视觉双视图及其邻居元素进行上下文建模，以增强网页导航智能体的动作决策能力，并在Mind2Web数据集上验证了该方法在跨任务、跨网站和跨领域场景下均优于基线。
2024-03-30 cs.AI cs.CL cs.CV
A Dynamic Clustering-Based Markov Model for Web Usage Mining
马尔可夫模型已被广泛用于建模用户的Web导航行为。在这项工作中，我们提出了一个动态的聚类为基础的方法，以增加马尔可夫模型的准确性，代表一个集合的用户Web导航会话。该方法利用状态克隆的概念，复制状态的方式，分离的链接，其相应的二阶概率发散。此外，新方法结合了聚类技术，确定了一种有效的方式来分配在链接相似的二阶概率相同的克隆。我们报告的实验进行了真实的和随机的数据，我们提供了一个比较的N-元马尔可夫概念。结果表明，动态聚类方法引入的附加状态数可以通过一个阈值参数来控制，并且该方法的性能与模型大小呈线性关系。
2004-06-17 cs.AI cs.IR
WebDART: Dynamic Decomposition and Re-planning for Complex Web Tasks
UC Santa Barbara（加州大学圣芭芭拉分校）；Center for Advanced AI, Accenture（Accenture高级人工智能研究中心）
WebDART通过动态分解网页任务为导航、信息提取和执行三个子任务，并持续重新规划，显著提升复杂网页任务的成功率并减少导航步骤。
2025-10-08 cs.AI
BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks
University of Pennsylvania（宾夕法尼亚大学）
本文提出BrowserArena，一个基于真实开放网络的智能体评估平台，通过用户任务和逐步人类反馈识别出验证码、弹窗和直接导航三类失败模式，并揭示不同模型应对策略的差异与脆弱性。
2025-10-07 cs.AI cs.LG
R2D2: Remembering, Replaying and Dynamic Decision Making with a Reflective Agentic Memory
University of Southern California（南加州大学）；IBM Research（IBM研究院）；University of California, Davis（加州大学戴维斯分校）
本文提出R2D2框架，通过记住与反思两种范式增强网络智能体的导航和决策能力，在WebArena基准上实现导航错误减少50%、任务完成率提高三倍。
2025-07-22 cs.AI
WebRollback: Enhancing Web Agents with Explicit Rollback Mechanisms
City University of Hong Kong（香港城市大学）；Tencent AI Lab（腾讯人工智能实验室）
通过显式回滚机制提升网络代理的导航效率与灵活性
2026-01-15 cs.AI cs.CL
OpAgent: Operator Agent for Web Navigation
Ant Group（蚂蚁集团）
本文提出OpAgent，通过在线强化学习优化网页导航策略，结合层级多任务微调和混合奖励机制，实现71.6%的高成功率。
2026-04-30 cs.AI
Hierarchical Prompting Assists Large Language Model on Web Navigation
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
本文提出分层提示方法，先用SUMMARIZER提示将网页等复杂观测压缩为动作感知的精简表示，再由ACTOR提示预测动作，在网页导航任务成功率上比先前最优提示机制提升6.2%。
2023-10-30 cs.AI cs.CL cs.LG
Multimodal Web Navigation with Instruction-Finetuned Foundation Models
The University of Tokyo（东京大学）；Google DeepMind（谷歌DeepMind）
本文提出多模态网页导航智能体 WebGUM，通过联合微调指令语言模型和视觉编码器实现离线训练，在 MiniWoB 和 WebShop 等基准上显著超越现有方法，并公开 347K 条演示数据。
2024-02-25 cs.AI cs.LG stat.ML
Augmented Web Usage Mining and User Experience Optimization with CAWAL's Enriched Analytics Data
提出 AWUM 方法，利用 CAWAL 丰富的交互数据对逾 120 万条会话进行使用挖掘和关联规则分析，以揭示用户行为模式并支持大规模用户体验优化。
2025-10-20 cs.AI cs.HC
Improving Vision-and-Language Navigation with Image-Text Pairs from the Web
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）；Google（谷歌）；Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））
遵循诸如“走下楼梯并在棕色沙发处停下来”的导航指令需要具体化的人工智能智能体将通过语言（例如“楼梯”）引用的场景元素与环境中的视觉内容（对应于“楼梯”的像素）相结合。我们提出了以下问题--我们能否利用大量的“无实体”网络抓取的视觉和语言语料库（例如概念标题）来学习视觉基础（“楼梯”看起来像什么？）提高相对缺乏数据的具体感知任务（视觉和语言导航）的性能？具体来说，我们开发了VLN-BERT，一个基于转换器的语言学模型，用于对指令（“……”）之间的兼容性进行评分。停止在棕色沙发“）和由代理捕获的全景RGB图像序列。我们证明，在对具体路径指令数据进行微调之前，对来自Web的图像-文本对进行预训练VLN-BERT显着提高了VLN的性能-在完全观察的设置中，成功率超过了4个绝对百分点。我们的预培训课程的消融显示每个阶段都是有影响力的-它们的组合产生了进一步的积极协同效应。
2020-05-01 cs.AI cs.CL cs.CV
Automated Web Application Testing: End-to-End Test Case Generation with Large Language Models and Screen Transition Graphs
本文提出基于大语言模型和屏幕转换图的自动化网页应用测试系统，用于生成端到端测试用例，提升测试覆盖率和鲁棒性。
2026-02-19 cs.AI cs.CL cs.SE
See and Remember: A Multimodal Agent for Web Traversal
Shanghai Institute of AI for Education（上海人工智能教育研究院）；East China Normal University（华东师范大学）
V-GEMS通过视觉 grounding 和显式记忆系统实现精确稳健的网页浏览，实验显示其在导航任务中性能提升28.7%
2026-03-03 cs.AI
Agent-E: From Autonomous Web Navigation to Foundational Design Principles in Agentic Systems
Emergence AI
本文介绍新型网络智能体Agent-E，通过分层架构、DOM蒸馏去噪和变化观察等改进，在WebVoyager基准上超越现有最先进智能体10-30%，并提炼出智能体系统设计的通用原则。
2024-07-17 cs.AI
Adversarial Environment Generation for Learning to Navigate the Web
Google Research（谷歌研究院）
学习自主浏览网页是一项困难的连续决策任务。状态空间和动作空间在本质上是大的和组合的，并且网站是由多个页面组成的动态环境。训练Web导航代理的瓶颈之一是提供一个可学习的训练环境课程，可以覆盖各种各样的现实世界的网站。因此，我们建议使用对抗环境生成（AEG）来生成具有挑战性的网络环境，在其中训练强化学习（RL）代理。我们提供了一个新的基准测试环境，gMiniWoB，它使RL对手能够使用组合原语来学习生成任意复杂的网站。为了训练对手，我们提出了一种新的技术，最大限度地利用一对导航代理所获得的分数的差异后悔。我们的研究结果表明，我们的方法显着优于以前的方法极小极大遗憾AEG。遗憾的目标训练对手设计的环境，是“公正的权利的挑战”的导航代理课程，我们的研究结果表明，随着时间的推移，对手学会生成越来越复杂的网络导航任务。用我们的技术训练的导航员代理学习完成具有挑战性的，高维的网络导航任务，如表单填写，预订航班等。我们表明，用我们提出的灵活的b-PAIRED技术训练的导航员代理在一组具有挑战性的看不见的测试环境中显着优于竞争力的自动课程生成基线-包括最先进的RL网络导航方法，并且在某些任务上达到80%以上的成功率。
2021-03-02 cs.AI cs.LG cs.MA
Accelerating Manufacturing Scale-Up from Material Discovery Using Agentic Web Navigation and Retrieval-Augmented AI for Process Engineering Schematics Design
Tata Research（塔塔研究院）
针对材料发现到工业生产规模化中合规工艺原理图生成难的问题，提出融合智能体网页检索、Graph RAG知识图谱的两阶段自主框架，可低专家干预生成合规原理图，具备工业实用价值。
2024-12-08 cs.AI cs.IR cs.LG
From Videos to URLs: A Multi-Browser Guide To Extract User's Behavior with Optical Character Recognition
University of Virginia（弗吉尼亚大学）；University of California, Riverside（加州大学河滨分校）
跟踪用户在万维网（WWW）上的活动，使研究人员能够分析每个用户的互联网行为，随着时间的推移，并为在特定域上花费的时间量。这种分析可以用于研究设计，因为研究人员可以在浏览网页时访问他们的参与者的行为。网络搜索行为已经成为人们感兴趣的主题，因为它在市场营销，数字广告和在线识别潜在威胁方面的实际应用。在本文中，我们提出了一种基于图像处理的方法来提取域访问的参与者在多个浏览器在实验室会话。这种方法可以提供另一种方式来收集用户在在线会话期间的活动，假定会话记录器收集数据。该方法还可以用于收集个人访问的网页的文本内容，以供以后分析
2020-05-20 cs.AI cs.CV cs.MM
PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails
研究针对用户指令不明确时网络代理需从浏览历史推断上下文的问题，引入PersonaTrail基准及偏好感知上下文记忆框架PACMem，利用浏览轨迹评估代理，实验证明PACMem优于现有基于记忆的基线。
2026-08-05 cs.AI cs.CL
CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation
School of Computer Science, Carnegie Mellon University（计算机科学系，卡内基梅隆大学）
CowPilot通过自主与人机协作机制提升网页导航效率，实现95%的任务成功率，减少人类操作步骤至15.2%
2026-02-27 cs.AI cs.CL cs.HC
AgentTell: Behavioural Side-Channel Leakage in Browser-Use Agents
BRAC University（BRAC大学）；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所（QCRI））
本研究定义并研究了浏览器使用智能体中的行为侧信道泄漏问题，提出AgentTell基准（20个场景、100个任务），在9,760个会话中评估发现智能体在61.1%的会话中通过行为泄露秘密，即使明确禁止仍泄露，且34.5%的泄露会话中给出虚假保证。
2026-09-29 cs.AI cs.CR
WorkForceAgent-R1: Incentivizing Reasoning Capability in LLM-based Web Agents via Reinforcement Learning
Georgia Tech（佐治亚理工学院）
本文提出 WorkForceAgent-R1，利用基于规则的 R1 风格强化学习和结构化奖励提升业务 Web 智能体的单步推理与规划能力，在 WorkArena 上显著优于 SFT 基线并接近 gpt-4o。
2025-06-08 cs.AI cs.CL
RunAgent SuperBrowser: A Theory of Autonomous Web Navigation Grounded in Human Browsing Behaviour
RunAgent AI
提出SuperBrowser自主网页导航代理，通过模仿人类浏览的感知-认知-行动三元机制，在Mind2Web Hard基准上以89.47%成功率超越现有开源研究代理。
2026-06-08 cs.AI
WebTrap: Stealthy Mid-Task Hijacking of Browser Agents During Navigation
Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）；City University of Macau（澳门城市大学）
WebTrap通过多步骤指令融合引导实现浏览器代理在导航任务中的隐秘劫持，提升攻击成功率同时保持系统可用性。
2026-05-08 cs.AI cs.CR
Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
Apple（苹果公司）
Weblica提出一种可扩展且可重复的视觉网络代理训练框架，通过HTTP级缓存和LLM环境合成技术，实现大规模多样化的网络环境训练，其最佳模型在多个网络导航基准中表现优异。
2026-05-07 cs.AI cs.CV cs.LG
Understanding Inter-Session Intentions via Complex Logical Reasoning
HKUST（香港科技大学）；Amazon.com Inc（亚马逊公司）
本文提出逻辑会话复杂查询回答（LS-CQA）任务，将跨会话复杂意图建模为超图上的逻辑查询，并设计 LSGT 模型，在三个数据集上取得最先进结果。
2024-06-14 cs.AI cs.CL
Revealing Secrets in SPARQL Session Level
Southeast University（东南大学）；Leipzig University（莱比锡大学）；University of Paderborn（帕德博恩大学）；Tongji University（同济大学）
知识图谱基于语义Web技术，通过SPARQL服务帮助用户发现感兴趣的信息。搜索者经常反复检查中间结果，并在搜索会话中反复修改SPARQL查询。在这种情况下，理解用户行为是有效的意图预测和查询优化的关键。然而，这些行为还没有在SPARQL会话级别进行系统的研究。本文通过对大量真实SPARQL查询日志的全面调查，揭示了会话级用户搜索行为的秘密。特别是，我们彻底评估用户w.r.t.查询的变化。SPARQL查询的结构和数据驱动功能。为了说明我们的研究结果的潜力，我们采用了一个应用程序的例子，如何使用我们的研究结果，这可能是有价值的设计高效的SPARQL缓存，自动完成，查询建议，近似和放松技术在未来。
2020-11-02 cs.AI cs.DB
Auto-Intent: Automated Intent Discovery and Self-Exploration for Large Language Model Web Agents
LG AI Research（LG AI研究院）；Field AI；University of Michigan（密歇根大学）
该研究提出Auto-Intent方法，通过无监督发现精简意图、训练意图预测器并结合自探索提示机制，在无需直接微调的情况下提升LLM网页导航智能体性能，且具备跨基准泛化能力。
2024-10-29 cs.AI cs.CL cs.LG
