WebDART: Dynamic Decomposition and Re-planning for Complex Web Tasks
UC Santa Barbara(加州大学圣芭芭拉分校);Center for Advanced AI, Accenture(Accenture高级人工智能研究中心)
WebDART通过动态分解网页任务为导航、信息提取和执行三个子任务,并持续重新规划,显著提升复杂网页任务的成功率并减少导航步骤。
2025-10-08 cs.AI
WebRollback: Enhancing Web Agents with Explicit Rollback Mechanisms
City University of Hong Kong(香港城市大学);Tencent AI Lab(腾讯人工智能实验室)
通过显式回滚机制提升网络代理的导航效率与灵活性
2026-01-15 cs.AI cs.CL
Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
Apple(苹果公司)
Weblica提出一种可扩展且可重复的视觉网络代理训练框架,通过HTTP级缓存和LLM环境合成技术,实现大规模多样化的网络环境训练,其最佳模型在多个网络导航基准中表现优异。
2026-05-07 cs.AI cs.CV cs.LG
Automated Web Application Testing: End-to-End Test Case Generation with Large Language Models and Screen Transition Graphs
本文提出基于大语言模型和屏幕转换图的自动化网页应用测试系统,用于生成端到端测试用例,提升测试覆盖率和鲁棒性。
2026-02-19 cs.AI cs.CL cs.SE
Auto-Intent: Automated Intent Discovery and Self-Exploration for Large Language Model Web Agents
LG AI Research(LG AI研究院);Field AI;University of Michigan(密歇根大学)
该研究提出Auto-Intent方法,通过无监督发现精简意图、训练意图预测器并结合自探索提示机制,在无需直接微调的情况下提升LLM网页导航智能体性能,且具备跨基准泛化能力。
2024-10-29 cs.AI cs.CL cs.LG
From Imitation to Discrimination: Progressive Curriculum Learning for Robust Web Navigation
Beijing Jiaotong University(北京交通大学);Beihang University(北京航空航天大学)
本文提出Triton数据集和渐进训练课程,通过结构-语义硬负样本挖掘和双代理共识流程构建,提升网络导航中对复杂页面的鉴别能力与泛化能力,最终在Mind2Web上验证了专用数据课程优于单纯参数规模的优势。
2026-04-14 cs.CL cs.HC cs.LG
See and Remember: A Multimodal Agent for Web Traversal
Shanghai Institute of AI for Education(上海人工智能教育研究院);East China Normal University(华东师范大学)
V-GEMS通过视觉 grounding 和显式记忆系统实现精确稳健的网页浏览,实验显示其在导航任务中性能提升28.7%
2026-03-03 cs.AI
WebCoach: Self-Evolving Web Agents with Cross-Session Memory Guidance
University of California, Los Angeles(加州大学洛杉矶分校);Amazon(亚马逊)
研究针对网页代理跨会话学习不足问题,提出WebCoach框架,通过三个关键组件赋予代理跨会话记忆,可长期规划与自我进化,在WebVoyager基准测试中提升了不同LLM backbone的代理性能。
2026-07-24 cs.AI cs.CL
Navigating WebAI: Training Agents to Complete Web Tasks with Large Language Models and Reinforcement Learning
Maastricht University(马斯特里赫特大学)
本文提出一种结合监督学习与强化学习的方法,通过改进模型对HTML结构的真正理解,在MiniWoB基准上以更少数据提升了Web导航任务性能,缩小了与RL模型的差距。
2024-05-01 cs.AI cs.CL cs.LG
WebQuest: A Benchmark for Multimodal QA on Web Page Sequences
Google DeepMind(谷歌DeepMind)
提出WebQuest多页问答基准,评估多模态模型在跨网页信息提取、检索与组合上的能力,发现单屏与多屏推理存在显著差距,并验证思维链提示可提升多屏推理表现。
2024-09-24 cs.AI cs.IR
On the Multi-turn Instruction Following for Conversational Web Agents
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院);University of Copenhagen(哥本哈根大学)
本文提出对话式网页导航任务及MT-Mind2Web数据集,并设计自反思记忆增强规划框架Self-MAP,以解决多轮指令遵循中的上下文长度限制和依赖问题。
2024-02-23 cs.AI cs.CL
WebATLAS: An LLM Agent with Experience-Driven Memory and Action Simulation
University of Massachusetts Lowell(马萨诸塞大学洛威尔分校);Amazon Alexa AI(亚马逊Alexa人工智能)
WebATLAS通过经验驱动的记忆和前瞻动作模拟,实现无需微调的自主网页导航,成功率达63%。
2025-12-19 cs.AI cs.CL cs.IR
WebWalker: Benchmarking LLMs in Web Traversal
Alibaba Group(阿里巴巴集团)
针对传统搜索引擎检索内容浅显限制LLM处理复杂信息的问题,提出WebWalkerQA基准及多智能体框架WebWalker,通过探索-评估范式模拟人类网页导航,实验证明其结合RAG在真实场景中有效。
2025-08-10 cs.AI cs.CL
Reflection-Based Memory For Web navigation Agents
UIUC(伊利诺伊大学);Emergence AI
针对网页导航智能体缺乏经验记忆的问题,本文提出ReAP系统,通过自我反思利用成功与失败经验,使基线整体提升11个百分点、失败任务提升29个百分点,证明反思可跨任务迁移。
2025-06-02 cs.AI
WebSight: A Vision-First Architecture for Robust Web Agents
Stanford University(斯坦福大学)
该研究提出WebSight视觉优先网页智能体架构,核心是经LoRA微调的WebSight-7B模型,集成模块化多智能体系统,在Showdown Clicks和WebVoyager基准上优于现有模型,为视觉网页导航建立新标准。
2025-08-23 cs.AI cs.CV
BaRA: Budget-constrained and Reliable Web Data Collection Agent
提出BaRA框架,结合有界广度优先搜索和历史自反思,在固定交互预算下高效收集网站级数据,在链接发现和可下载多模态提取上优于现有方法。
2026-07-03 cs.AI cs.IR
Arena-Web -- A Web-based Development and Benchmarking Platform for Autonomous Navigation Approaches
Berlin Institute of Technology(柏林工业大学)
近年来,移动机器人导航方法已变得越来越重要,由于各种应用领域,从医疗保健到仓库物流。特别是,深度强化学习方法已经在机器人导航中得到了普及,但非专家不易访问,开发起来也很复杂。近年来,已作出努力,使这些先进的方法,以更广泛的受众。在本文中,我们提出了Arena的Web,基于Web的开发和评估套件,用于开发,培训和测试基于DRL的导航规划器,用于各种机器人平台和场景。该界面的设计是直观和吸引人的,以吸引非专家,并使技术可供更广泛的受众使用。使用Arena-Web及其界面,训练和开发深度强化学习代理可以简化,并且无需一行代码。该网络应用程序可免费使用,并可通过补充材料中所述的链接公开获取。
2023-02-06 cs.AI cs.HC cs.LG
WebNavigator: Global Web Navigation via Interaction Graph Retrieval
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);School of Artificial Intelligence(人工智能学院);Fellou AI
WebNavigator通过交互图检索和路径规划解决自主网络导航中的拓扑盲区问题,实现优于企业级代理的性能。
2026-10-06 cs.AI cs.IR
End-to-End Goal-Driven Web Navigation
Tandon School of Engineering(坦登工程学院);New York University(纽约大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
我们提出了一个目标驱动的网络导航作为基准任务评估代理的能力,理解自然语言和计划部分观察到的环境。在这个具有挑战性的任务中,代理导航通过一个网站,这是表示为一个图形组成的网页作为节点和超链接作为有向边,找到一个网页中出现的查询。智能体需要具有基于自然语言的高级推理能力和高效的顺序决策能力。我们发布了一个名为WebNav的软件工具,它可以自动将网站转换为目标驱动的网络导航任务,作为一个例子,我们制作了WikiNav,一个从英文维基百科构建的数据集。我们在WikiNav上广泛评估了基于神经网络的人工代理的不同变体,并观察到所提出的目标驱动的网络导航很好地反映了模型的进步,使其成为评估未来进展的合适基准。此外,我们扩展了WikiNav与问答对从危险!并对基于强倒排索引的搜索引擎测试所提出的基于递归神经网络的代理。在WikiNav上训练的人工代理优于基于引擎的方法,证明了所提出的目标驱动导航作为衡量现实任务(如集中爬行和问答)进展的良好代理的能力。
2016-05-20 cs.AI
FLIN: A Flexible Natural Language Interface for Web Navigation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Microsoft Research(微软研究院)
AI助手现在可以通过直接与网站UI交互来为用户执行任务。当前的语义解析和槽填充技术不能灵活地适应许多不同的网站,而不需要不断地重新训练。我们提出FLIN,一个自然语言接口的Web导航,映射用户命令的概念级的行动(而不是低级别的UI行动),从而能够灵活地适应不同的网站,并处理其瞬态性质。我们将其定义为一个排名问题:给定一个用户命令和一个网页,FLIN学习为最相关的导航指令(包括动作和参数值)打分。为了训练和评估FLIN,我们收集了来自三个领域的九个流行网站的数据集。我们的研究结果表明,FLIN能够适应新的网站在一个给定的域。
2021-04-13 cs.AI cs.CL
Navigation Objects Extraction for Better Content Structure Understanding
Zhejiang University(浙江大学);University of British Columbia(不列颠哥伦比亚大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
从网页中提取导航对象的现有工作主要集中在导航菜单上,以揭示网站的信息结构。然而,诸如社交网络、电子商务门户等web 2.0站点使得对网站中的内容结构的理解变得越来越困难。动态和个性化的元素,如顶部的故事,在网页中的推荐列表是至关重要的动态性质的Web 2.0网站的理解。为了更好地理解Web 2.0网站的内容结构,本文提出了一种新的网页导航对象提取方法。我们的方法将提取不仅是静态的导航菜单,但也动态和个性化的页面特定的导航列表。由于网页中的导航对象自然是分块的,我们首先利用超链接的空间位置,DOM树的层次结构和超链接密度聚类到不同的块。然后,我们确定导航对象从这些块使用SVM分类器与新的功能,如锚文本长度等真实世界的数据集上的实验,从不同领域和风格的网页验证了我们的方法的有效性。
2017-08-26 cs.AI cs.IR
Evaluating Variable Length Markov Chain Models for Analysis of User Web Navigation Sessions
马尔可夫模型已被广泛用于表示和分析用户Web导航数据。在以前的工作中,我们已经提出了一种方法来动态地扩展马尔可夫链模型的顺序和一个互补的方法来评估这样一个可变长度的马尔可夫链的预测能力。在这里,我们回顾这两种方法,并提出了一种新的方法来衡量一个可变长度的马尔可夫模型,总结用户的Web导航会话到给定的长度的能力。虽然模型的概括能力对于识别用户导航模式是重要的,但是进行预测的能力对于预测用户在跟随给定的轨迹之后的下一个链接选择是重要的,以便例如个性化网站。我们提出了一个广泛的实验评估提供了有力的证据,预测精度线性增加与总结能力。
2006-06-28 cs.AI cs.IR
Plan-MCTS: Plan Exploration for Action Exploitation in Web Navigation
Shanghai Jiao Tong University(上海交通大学);OPPO Research Institute(OPPO研究院)
Plan-MCTS通过将网页导航探索转移到语义计划空间,提升动作利用效率,实现更高效的导航任务执行。
2026-02-15 cs.AI
Mango: Multi-Agent Web Navigation via Global-View Optimization
Purdue University(普渡大学)
本文提出Mango方法,利用网站结构动态确定最优起始点,通过多臂老虎机问题和Thompson采样优化导航预算,并引入周期性记忆组件提升导航效率,实验显示在WebVoyager和WebWalkerQA上均优于基线方法。
2026-04-20 cs.AI cs.CL
Multimodal Web Navigation with Instruction-Finetuned Foundation Models
The University of Tokyo(东京大学);Google DeepMind(谷歌DeepMind)
本文提出多模态网页导航智能体 WebGUM,通过联合微调指令语言模型和视觉编码器实现离线训练,在 MiniWoB 和 WebShop 等基准上显著超越现有方法,并公开 347K 条演示数据。
2024-02-25 cs.AI cs.LG stat.ML
WebNav: An Intelligent Agent for Voice-Controlled Web Navigation
Dept. of Applied AI(应用人工智能系);Cyrion Labs(Cyrian实验室);Dallas, USA(美国达拉斯)
WebNav通过双重大语言模型架构结合视觉截图与动态DOM标记,将自然语言指令转化为精确的网页操作,实现了更智能的语音控制网页导航自动化。
2025-07-06 cs.AI cs.HC
Improving Vision-and-Language Navigation with Image-Text Pairs from the Web
Georgia Institute of Technology(佐治亚理工学院);Oregon State University(俄勒冈州立大学);Google(谷歌);Facebook AI Research (FAIR)(Facebook人工智能研究院(FAIR))
遵循诸如“走下楼梯并在棕色沙发处停下来”的导航指令需要具体化的人工智能智能体将通过语言(例如“楼梯”)引用的场景元素与环境中的视觉内容(对应于“楼梯”的像素)相结合。我们提出了以下问题--我们能否利用大量的“无实体”网络抓取的视觉和语言语料库(例如概念标题)来学习视觉基础(“楼梯”看起来像什么?)提高相对缺乏数据的具体感知任务(视觉和语言导航)的性能?具体来说,我们开发了VLN-BERT,一个基于转换器的语言学模型,用于对指令(“……”)之间的兼容性进行评分。停止在棕色沙发“)和由代理捕获的全景RGB图像序列。我们证明,在对具体路径指令数据进行微调之前,对来自Web的图像-文本对进行预训练VLN-BERT显着提高了VLN的性能-在完全观察的设置中,成功率超过了4个绝对百分点。我们的预培训课程的消融显示每个阶段都是有影响力的-它们的组合产生了进一步的积极协同效应。
2020-05-01 cs.AI cs.CL cs.CV
Adversarial Environment Generation for Learning to Navigate the Web
Google Research(谷歌研究院)
学习自主浏览网页是一项困难的连续决策任务。状态空间和动作空间在本质上是大的和组合的,并且网站是由多个页面组成的动态环境。训练Web导航代理的瓶颈之一是提供一个可学习的训练环境课程,可以覆盖各种各样的现实世界的网站。因此,我们建议使用对抗环境生成(AEG)来生成具有挑战性的网络环境,在其中训练强化学习(RL)代理。我们提供了一个新的基准测试环境,gMiniWoB,它使RL对手能够使用组合原语来学习生成任意复杂的网站。为了训练对手,我们提出了一种新的技术,最大限度地利用一对导航代理所获得的分数的差异后悔。我们的研究结果表明,我们的方法显着优于以前的方法极小极大遗憾AEG。遗憾的目标训练对手设计的环境,是“公正的权利的挑战”的导航代理课程,我们的研究结果表明,随着时间的推移,对手学会生成越来越复杂的网络导航任务。用我们的技术训练的导航员代理学习完成具有挑战性的,高维的网络导航任务,如表单填写,预订航班等。我们表明,用我们提出的灵活的b-PAIRED技术训练的导航员代理在一组具有挑战性的看不见的测试环境中显着优于竞争力的自动课程生成基线-包括最先进的RL网络导航方法,并且在某些任务上达到80%以上的成功率。
2021-03-02 cs.AI cs.LG cs.MA
Dual-View Visual Contextualization for Web Navigation
The Ohio State University(俄亥俄州立大学)
本文提出利用网页截图中HTML元素的文本与视觉双视图及其邻居元素进行上下文建模,以增强网页导航智能体的动作决策能力,并在Mind2Web数据集上验证了该方法在跨任务、跨网站和跨领域场景下均优于基线。
2024-03-30 cs.AI cs.CL cs.CV
R2D2: Remembering, Replaying and Dynamic Decision Making with a Reflective Agentic Memory
University of Southern California(南加州大学);IBM Research(IBM研究院);University of California, Davis(加州大学戴维斯分校)
本文提出R2D2框架,通过记住与反思两种范式增强网络智能体的导航和决策能力,在WebArena基准上实现导航错误减少50%、任务完成率提高三倍。
2025-07-22 cs.AI
OpAgent: Operator Agent for Web Navigation
Ant Group(蚂蚁集团)
本文提出OpAgent,通过在线强化学习优化网页导航策略,结合层级多任务微调和混合奖励机制,实现71.6%的高成功率。
2026-04-30 cs.AI
WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions
Uniphore
本文提出WARC-Bench,一个基于网络存档的GUI子任务执行基准,通过438个任务评估多模态AI代理在子任务上的能力,实验表明SFT和RLVR方法在提升子任务执行效果上取得显著成果。
2026-05-18 cs.AI cs.LG
Agent-E: From Autonomous Web Navigation to Foundational Design Principles in Agentic Systems
Emergence AI
本文介绍新型网络智能体Agent-E,通过分层架构、DOM蒸馏去噪和变化观察等改进,在WebVoyager基准上超越现有最先进智能体10-30%,并提炼出智能体系统设计的通用原则。
2024-07-17 cs.AI
Accelerating Manufacturing Scale-Up from Material Discovery Using Agentic Web Navigation and Retrieval-Augmented AI for Process Engineering Schematics Design
Tata Research(塔塔研究院)
针对材料发现到工业生产规模化中合规工艺原理图生成难的问题,提出融合智能体网页检索、Graph RAG知识图谱的两阶段自主框架,可低专家干预生成合规原理图,具备工业实用价值。
2024-12-08 cs.AI cs.IR cs.LG
CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation
School of Computer Science, Carnegie Mellon University(计算机科学系,卡内基梅隆大学)
CowPilot通过自主与人机协作机制提升网页导航效率,实现95%的任务成功率,减少人类操作步骤至15.2%
2026-02-27 cs.AI cs.CL cs.HC
WorkForceAgent-R1: Incentivizing Reasoning Capability in LLM-based Web Agents via Reinforcement Learning
Georgia Tech(佐治亚理工学院)
本文提出 WorkForceAgent-R1,利用基于规则的 R1 风格强化学习和结构化奖励提升业务 Web 智能体的单步推理与规划能力,在 WorkArena 上显著优于 SFT 基线并接近 gpt-4o。
2025-06-08 cs.AI cs.CL
RunAgent SuperBrowser: A Theory of Autonomous Web Navigation Grounded in Human Browsing Behaviour
RunAgent AI
提出SuperBrowser自主网页导航代理,通过模仿人类浏览的感知-认知-行动三元机制,在Mind2Web Hard基准上以89.47%成功率超越现有开源研究代理。
2026-06-08 cs.AI
WebTrap: Stealthy Mid-Task Hijacking of Browser Agents During Navigation
Harbin Institute of Technology(哈尔滨工业大学);City University of Hong Kong(香港城市大学);City University of Macau(澳门城市大学)
WebTrap通过多步骤指令融合引导实现浏览器代理在导航任务中的隐秘劫持,提升攻击成功率同时保持系统可用性。
2026-05-08 cs.AI cs.CR
A Dynamic Clustering-Based Markov Model for Web Usage Mining
马尔可夫模型已被广泛用于建模用户的Web导航行为。在这项工作中,我们提出了一个动态的聚类为基础的方法,以增加马尔可夫模型的准确性,代表一个集合的用户Web导航会话。该方法利用状态克隆的概念,复制状态的方式,分离的链接,其相应的二阶概率发散。此外,新方法结合了聚类技术,确定了一种有效的方式来分配在链接相似的二阶概率相同的克隆。我们报告的实验进行了真实的和随机的数据,我们提供了一个比较的N-元马尔可夫概念。结果表明,动态聚类方法引入的附加状态数可以通过一个阈值参数来控制,并且该方法的性能与模型大小呈线性关系。
2004-06-17 cs.AI cs.IR
BADGR: An Autonomous Self-Supervised Learning-Based Navigation System
Berkeley AI Research (BAIR), University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究中心(BAIR))
移动机器人导航通常被认为是一个几何问题,其中机器人的目标是感知环境的几何形状,以便规划朝向期望目标的无碰撞路径。然而,对于许多导航问题,纯粹的几何世界观可能是不够的。例如,基于几何形状导航的机器人可能会避开一片高草,因为它认为这是不可穿越的,因此将无法达到其期望的目标。在这项工作中,我们研究如何超越这些纯粹基于几何的方法,使用一种方法,从经验中学习物理导航启示。我们称之为BADGR的方法是一种基于端到端学习的移动机器人导航系统,可以使用在现实环境中收集的自监督非策略数据进行训练,而无需任何模拟或人工监督。BADGR可以在现实世界的城市和越野环境中导航,并有几何形状的障碍物。它还可以结合地形偏好,推广到新的环境,并通过收集更多的数据继续自主改进。视频、代码和其他补充材料可在我们的网站https://sites.google.com/view/badgr上获得
2020-04-15 cs.AI cs.LG cs.RO
Surveillance Capitalism Revealed: Tracing The Hidden World Of Web Data Collection
BNDES(巴西国家经济社会发展银行);PUC-Rio(里约热内卢天主教大学)
本研究通过分析网络流量揭示了监控资本主义下的个人数据收集机制,提出了增强数据保护与透明度的策略,强调需建立强大的数据保护框架以应对数字时代的隐私问题。
2024-12-23 cs.AI
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
FAIR at Meta(Meta 的公平性研究部门)
本研究提出评估Web智能体数据最小化隐私遵循情况的基准AgentDAM,发现GPT-4等主流模型构建的智能体易误用敏感信息,同时提出基于提示的防御方法,证实端到端基准比直接探测LLM更具现实评估价值。
2025-10-01 cs.AI
Infogent: An Agent-Based Framework for Web Information Aggregation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出模块化 Web 信息聚合框架 Infogent,通过 Navigator、Extractor 和 Aggregator 支持 API 驱动与交互式视觉两种访问方式,并在 FRAMES 和 AssistantBench 上取得显著提升。
2024-10-24 cs.AI cs.CL
SelfD: Self-Learning Large-Scale Driving Policies From the Web
Boston University(波士顿大学)
有效地利用互联网上免费提供的大量以自我为中心的导航数据可以推进广义智能系统,即,跨视角、平台、环境条件、场景和地理位置稳健地扩展。然而,很难直接利用如此大量的未标记和高度多样化的数据来进行复杂的3D推理和规划任务。因此,研究人员主要关注其用于各种辅助像素和图像级计算机视觉任务,这些任务不考虑最终的导航目标。在这项工作中,我们介绍了SelfD,一个框架,用于学习可扩展的驾驶,利用大量的在线单眼图像。我们的关键思想是在从未标记数据中学习模仿代理时利用迭代半监督训练。为了处理不受约束的视点、场景和相机参数,我们训练了一个基于图像的模型,该模型直接学习在鸟瞰图(BEV)空间中进行规划。接下来,我们使用未标记的数据通过自我训练来增强初始训练模型的决策知识和鲁棒性。特别是,我们提出了一个伪标签的步骤,使充分利用高度多样化的示范数据,通过“假设”的规划为基础的数据增强。我们采用了一个大型的公开的YouTube视频数据集来训练SelfD,并全面分析其在具有挑战性的导航场景中的泛化优势。在不需要任何额外的数据汇集或注释工作的情况下,SelfD在nuScenes、Argoverse、Waymo和CARLA上的驾驶性能评估方面表现出了一致的改进(高达24%)。
2022-04-21 cs.AI cs.CV cs.RO
Intelligent Personal Assistant with Knowledge Navigation
AIT Pune(浦那AIT)
智能个人代理(IPA)是一种代理,其目的是帮助用户通过可靠的资源,借助知识导航技术获得信息,并节省时间来搜索最佳内容。该代理还负责在会话语料库的帮助下响应基于聊天的查询。我们将测试不同的优化查询生成方法。为了庆祝应用程序的易用性,代理将能够通过文本(键盘),语音(语音识别)和服务器(Facebook)接受输入,并使用相同的方法输出响应。现有的聊天机器人通过更改输入来回复,但我们将根据多个SRT文件给出响应。该模型将使用人类对话数据集进行学习,并能够像人类一样做出响应。对有关著名事物(地点,人物和单词)的查询的响应可以使用网络抓取来提供,这将使机器人具有知识导航功能。代理甚至会从过去的经验中学习,支持半监督学习。
2017-04-28 cs.AI
EconSkills: Studying Skill Transfer and Retrieval for Web Agents on Live Economic Data
Georgia Institute of Technology(佐治亚理工学院);Capital One(第一资本)
本文提出EconSkills技能库与评估框架,证明从已验证轨迹提炼的参数化经济数据检索程序可跨任务迁移,且抽象化优于原始轨迹重放,为覆盖率感知的智能体技能选择提供设计目标。
2026-10-09 cs.AI cs.CL
Learning UI Navigation through Demonstrations composed of Macro Actions
Google Research(谷歌研究院)
我们已经开发了一个框架来可靠地构建能够进行UI导航的代理。状态空间从原始像素简化为从屏幕理解中提取的一组UI元素,例如OCR和图标检测。动作空间仅限于UI元素和一些全局动作。可以为任务自定义操作,每个操作都是以状态检查为条件的基本操作序列。有了这样的设计,我们就能够用少量的演示片段来训练DQfD和BC代理。我们提出演示增强,大大减少了所需的人类演示的数量。我们对DQfD进行了自定义,允许在屏幕截图上收集演示,以促进罕见情况下的演示覆盖。在评估代理的先前版本期间,仅收集失败案例的演示。通过10秒的迭代循环评估,演示收集和训练,智能体在80多个应用程序和网站的环境中搜索任务的成功率达到98.7%,其中初始状态和查看参数是随机的。
2021-10-16 cs.AI
Autonomous Intelligent Agents for Natural-Language-Driven Web Execution with Integrated Security Assurance
International Business Machines (IBM)(国际商业机器公司(IBM));Salesforce Inc(Salesforce公司)
本文提出一种AI驱动的自动化测试框架,通过五个集成策略提升测试脚本生成成功率和导航可靠性,同时实现安全验证,检测认证绕过漏洞和输入验证缺陷。
2026-05-14 cs.AI cs.CR
Ranking Pages by Topology and Popularity within Web Sites
我们比较了两种链接分析排名方法的网页在一个网站。第一种称为网站排名,是PageRank对网站粒度的适应,第二种称为流行度排名,是基于用户点击页面中的外链的频率,这些外链由用户通过网站的导航会话捕获。我们在人工创建的不同规模的网站和两个真实的数据集上进行了实验,采用相对熵来比较两种排名方法的分布。对于真实的数据集,我们还采用了非参数测量,称为斯皮尔曼的footrule,我们用它来比较排名前十的网页由两种方法。我们的主要结果是,受欢迎程度排名和网站排名的分布是令人惊讶的接近彼此,这意味着一个网站的拓扑结构是非常有用的,在引导用户通过网站。因此,在实践中,网站排名提供了一个合理的一阶近似的用户在网站内的总体行为,由流行度排名。
2004-12-09 cs.AI cs.IR
Do Visual Imaginations Improve Vision-and-Language Navigation Agents?
Oregon State University(俄勒冈州立大学)
本研究探讨视觉想象对视觉-语言导航智能体的作用,通过文本生成图像扩散模型生成指令隐含子目标的视觉表征作为地标线索,结合辅助损失提升关联能力,最终实现导航成功率等指标的提升。
2025-03-20 cs.AI cs.CL cs.CV
A Fuzzy Approach for Feature Evaluation and Dimensionality Reduction to Improve the Quality of Web Usage Mining Results
P.A. College of Engineering(P.A.工程学院);J.N.T. University(J.N.T.大学)
Web使用挖掘是将数据采掘技术应用于Web使用日志存储库,以发现可用于分析用户导航行为的使用模式。在预处理阶段,原始Web日志数据被转换成一组用户简档。每个用户简档捕获一组表示用户会话的URL。可以将聚类应用于该会话化数据,以便在用户导航模式中捕获相似的兴趣和趋势。由于会话化数据可能包含数千个用户会话,并且每个用户会话可能由数百个URL访问组成,因此通过消除低支持度URL来实现降维。非常小的会话也会被删除,以过滤掉数据中的噪声。但是直接消除低支持URL和小会话可能会导致大量信息的丢失,特别是当低支持URL和小会话的计数很大时。我们提出了一个模糊的解决方案来处理这个问题,通过分配权重的URL和用户会话的基础上的模糊隶属函数。在分配权重之后,我们应用模糊c均值聚类算法来发现用户简档的聚类。在本文中,我们描述了我们的模糊集理论的方法来执行特征选择(或降维)和会话权重分配。最后,我们比较了我们的软计算为基础的降维方法与传统的方法,直接消除小会话和低支持计数的URL。我们的研究结果表明,模糊特征评价和降维结果更好的性能和有效性指标的发现集群。
2015-09-01 cs.AI cs.DB cs.IR
Cognitive Duality for Adaptive Web Agents
Beijing University of Posts and Telecommunications(北京邮电大学)
受人类认知双过程理论启发,提出CogniWeb模块化架构,自适应切换快速直觉与慢速推理,在WebArena上以43.96%成功率实现75%令牌节省。
2025-08-07 cs.AI cs.CL cs.MA