arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2604.03465cs.CL

工具幻觉:重新审视网络代理中的工具使用

The Tool Illusion: Rethinking Tool Use in Web Agents

Microsoft Research, Redmond(微软研究院,雷德蒙德);The Pennsylvania State University, University Park(宾夕法尼亚州立大学,大学园)

Renze Lou, Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Suman Nath, Wenpeng Yin, Jianfeng Gao

AI总结:

本文通过系统研究不同工具源、基础模型和评估基准,重新审视网络代理中的工具使用,揭示工具效果的稳定性及潜在副作用,为未来研究提供更可靠的实证基础。

摘要:

随着网络代理迅速发展,越来越多的研究超越了传统的原子浏览器交互,探索工具使用作为更高层次的动作范式。尽管先前研究显示了工具的潜力,但其结论往往基于有限的实验规模和有时不可比的环境。因此,几个基本问题仍不清楚:i) 工具是否为网络代理提供一致的收益,ii) 有效工具的实用设计原则是什么,iii) 工具使用可能引入什么副作用。为了建立更牢固的实证基础,我们通过广泛而精心控制的研究,在多样化的工具源、基础模型、工具使用框架和评估基准上重新审视网络代理中的工具使用。我们的发现既修正了一些先前结论,也通过更广泛的证据补充了其他结论。我们希望本研究能为未来工具使用网络代理的研究提供更可靠的实证基础。

英文摘要:

As web agents rapidly evolve, an increasing body of work has moved beyond conventional atomic browser interactions and explored tool use as a higher-level action paradigm. Although prior studies have shown the promise of tools, their conclusions are often drawn from limited experimental scales and sometimes non-comparable settings. As a result, several fundamental questions remain unclear: i) whether tools provide consistent gains for web agents, ii) what practical design principles characterize effective tools, and iii) what side effects tool use may introduce. To establish a stronger empirical foundation for future research, we revisit tool use in web agents through an extensive and carefully controlled study across diverse tool sources, backbone models, tool-use frameworks, and evaluation benchmarks. Our findings both revise some prior conclusions and complement others with broader evidence. We hope this study provides a more reliable empirical basis and inspires future research on tool-use web agents.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑