TRAJECT-Bench：一个用于评估智能体工具使用的轨迹感知基准
TRAJECT-Bench:A Trajectory-Aware Benchmark for Evaluating Agentic Tool Use
AI总结：
本文提出TRAJECT-Bench，一个轨迹感知基准，通过细粒度指标全面评估LLM智能体的工具使用能力，揭示工具选择、参数化及顺序等失败模式与缩放行为，为改进提供指导。
摘要：
基于大语言模型（LLM）的智能体越来越依赖工具使用来完成真实世界任务。现有工作在评估LLM的工具使用能力时，大多关注最终答案，却忽略了详细的工具使用轨迹，即工具是否被正确选择、参数化和排序。我们引入TRAJECT-Bench，一个轨迹感知基准，通过具有细粒度评估指标的多样化任务来全面评估LLM的工具使用能力。TRAJECT-Bench将跨实际领域的高保真、可执行工具与基于生产式API的任务相配对，并合成了在广度（并行调用）和深度（相互依赖的链）上变化的轨迹。除最终准确率外，TRAJECT-Bench还报告轨迹级诊断，包括工具选择和参数正确性，以及依赖/顺序满足情况。分析揭示了相似工具混淆和参数盲选等失败模式，以及工具多样性和轨迹长度的缩放行为，其中揭示了从短轨迹过渡到中长轨迹的瓶颈，为LLM的工具使用提供可操作的指导。
英文摘要：
Large language model (LLM)-based agents increasingly rely on tool use to complete real-world tasks. While existing works evaluate the LLMs' tool use capability, they largely focus on the final answers yet overlook the detailed tool usage trajectory, i.e., whether tools are selected, parameterized, and ordered correctly. We introduce TRAJECT-Bench, a trajectory-aware benchmark to comprehensively evaluate LLMs' tool use capability through diverse tasks with fine-grained evaluation metrics. TRAJECT-Bench pairs high-fidelity, executable tools across practical domains with tasks grounded in production-style APIs, and synthesizes trajectories that vary in breadth (parallel calls) and depth (interdependent chains). Besides final accuracy, TRAJECT-Bench also reports trajectory-level diagnostics, including tool selection and argument correctness, and dependency/order satisfaction. Analyses reveal failure modes such as similar tool confusion and parameter-blind selection, and scaling behavior with tool diversity and trajectory length where the bottleneck of transiting from short to mid-length trajectories is revealed, offering actionable guidance for LLMs' tool use.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
