SEAL:用于评估 LLM 的 API 使用的测试套件
SEAL: Suite for Evaluating API-use of LLMs
AI总结:
针对现有 LLM API 使用评估基准泛化性弱、多步推理覆盖有限及实时 API 不稳定的问题,提出端到端测试平台 SEAL,通过标准化基准、集成智能体系统并引入带缓存的 GPT-4 API 模拟器实现确定性评估,提供覆盖检索、调用与响应的综合可靠评测框架。
摘要:
大型语言模型(LLMs)在处理需要实时访问外部 API 的任务时存在局限性。尽管已有 ToolBench 和 APIGen 等基准来评估 LLMs 的 API 使用能力,但它们通常存在缺乏泛化性、多步推理覆盖有限以及因实时 API 波动导致不稳定等问题。本文提出了 SEAL,一个旨在评估 LLMs 在真实世界 API 使用中表现的端到端测试平台。SEAL 标准化了现有基准,集成了一个用于测试 API 检索与规划的智能体系统,并通过引入基于 GPT-4 驱动且带缓存的 API 模拟器来实现确定性评估,从而解决了实时 API 的不稳定性。该测试平台提供了一条涵盖 API 检索、API 调用及最终响应的综合评估流水线,为在多样化真实场景中进行结构化性能比较提供了可靠框架。SEAL 已公开发布,并将持续更新以支持新基准。
英文摘要:
Large language models (LLMs) have limitations in handling tasks that require real-time access to external APIs. While several benchmarks like ToolBench and APIGen have been developed to assess LLMs' API-use capabilities, they often suffer from issues such as lack of generalizability, limited multi-step reasoning coverage, and instability due to real-time API fluctuations. In this paper, we introduce SEAL, an end-to-end testbed designed to evaluate LLMs in real-world API usage. SEAL standardizes existing benchmarks, integrates an agent system for testing API retrieval and planning, and addresses the instability of real-time APIs by introducing a GPT-4-powered API simulator with caching for deterministic evaluations. Our testbed provides a comprehensive evaluation pipeline that covers API retrieval, API calls, and final responses, offering a reliable framework for structured performance comparison in diverse real-world scenarios. SEAL is publicly available, with ongoing updates for new benchmarks.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。