WTU-EVAL：大型语言模型是否使用工具的评估基准
WTU-EVAL: A Whether-or-Not Tool Usage Evaluation Benchmark for Large Language Models
AI总结：
针对LLMs工具使用必要性不确定的问题，提出WTU-Eval基准，评估模型是否使用工具，发现错误使用损害性能，微调Llama2-7B提升14%并降低16.8%错误使用。
摘要：
尽管大型语言模型（LLMs）在自然语言处理任务中表现出色，但它们仍然需要外部工具来扩展其能力。当前关于LLMs工具学习的研究通常假设必须使用工具，这并不总是符合现实情况，因为工具的必要性是不确定的，而不正确或不必要地使用工具可能会损害LLMs的通用能力。因此，我们提出探索LLMs是否能辨别自身能力边界并灵活使用工具。我们随后引入了是否使用工具评估基准（WTU-Eval），使用十一个数据集来评估LLMs，其中六个是工具使用数据集，五个是通用数据集。LLMs被提示根据其需求使用工具。八个LLMs在WTU-Eval上的结果显示，LLMs在通用数据集中经常难以决定是否使用工具，而当LLMs的能力与ChatGPT相似时，它们在工具使用数据集中的表现有所提升。在这两类数据集中，不正确的工具使用显著损害了LLMs的性能。为缓解这一问题，我们还开发了微调数据集以增强工具决策能力。对Llama2-7B进行微调后，平均性能提升了14%，不正确工具使用率下降了16.8%。我们将发布WTU-Eval基准。
英文摘要：
Although Large Language Models (LLMs) excel in NLP tasks, they still need external tools to extend their ability. Current research on tool learning with LLMs often assumes mandatory tool use, which does not always align with real-world situations, where the necessity for tools is uncertain, and incorrect or unnecessary use of tools can damage the general abilities of LLMs. Therefore, we propose to explore whether LLMs can discern their ability boundaries and use tools flexibly. We then introduce the Whether-or-not tool usage Evaluation benchmark (WTU-Eval) to assess LLMs with eleven datasets, where six of them are tool-usage datasets, and five are general datasets. LLMs are prompted to use tools according to their needs. The results of eight LLMs on WTU-Eval reveal that LLMs frequently struggle to determine tool use in general datasets, and LLMs' performance in tool-usage datasets improves when their ability is similar to ChatGPT. In both datasets, incorrect tool usage significantly impairs LLMs' performance. To mitigate this, we also develop the finetuning dataset to enhance tool decision-making. Fine-tuning Llama2-7B results in a 14\% average performance improvement and a 16.8\% decrease in incorrect tool usage. We will release the WTU-Eval benchmark.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
