智能体大语言模型中的工具偏好不可靠
Tool Preferences in Agentic LLMs are Unreliable
AI总结：
本文揭示智能体大语言模型依赖工具文本描述进行选择存在脆弱性，通过受控实验证明特定描述编辑可使工具使用率提升10倍以上，并评估了该现象在17个模型中的泛化情况，强调需要更可靠的工具选择基础。
摘要：
由于模型上下文协议（MCP）的出现，大语言模型（LLMs）现在可以访问广泛的外部工具，这极大地扩展了它们作为各类智能体的能力。然而，LLMs 完全依赖工具的文本描述来决定使用哪些工具——这一过程出乎意料地脆弱。在本工作中，我们通过研究一系列对工具描述的编辑，揭示了当前流行的工具/函数调用协议中的一个漏洞，其中某些编辑可以在与其他工具竞争时大幅提高 LLMs 对该工具的使用率。通过受控实验，我们表明，经过适当编辑描述的工具在 GPT-4.1 和 Qwen2.5-7B 上获得的使用量是使用原始描述工具的 10 倍以上。我们进一步评估了各种工具描述编辑在彼此直接竞争时的表现，以及这些趋势在更广泛的 17 个不同模型集合中如何泛化或存在差异。这些现象虽然为开发者提供了一种推广其工具的强大手段，但也凸显了为智能体 LLMs 选择和利用工具与资源建立更可靠基础的必要性。我们的代码已在 https://github.com/kazemf78/llm-unreliable-tool-preferences 公开。
英文摘要：
Large language models (LLMs) can now access a wide range of external tools, thanks to the Model Context Protocol (MCP). This greatly expands their abilities as various agents. However, LLMs rely entirely on the text descriptions of tools to decide which ones to use--a process that is surprisingly fragile. In this work, we expose a vulnerability in prevalent tool/function-calling protocols by investigating a series of edits to tool descriptions, some of which can drastically increase a tool's usage from LLMs when competing with alternatives. Through controlled experiments, we show that tools with properly edited descriptions receive over 10 times more usage from GPT-4.1 and Qwen2.5-7B than tools with original descriptions. We further evaluate how various edits to tool descriptions perform when competing directly with one another and how these trends generalize or differ across a broader set of 17 different models. These phenomena, while giving developers a powerful way to promote their tools, underscore the need for a more reliable foundation for agentic LLMs to select and utilize tools and resources. Our code is publicly available at https://github.com/kazemf78/llm-unreliable-tool-preferences.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
