arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2402.09615cs.CLcs.AIcs.LG
收藏

API Pack:用于 API 调用生成的大规模多编程语言数据集

API Pack: A Massive Multi-Programming Language Dataset for API Call Generation

MIT EECS(麻省理工学院电子工程与计算机科学系);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)

Zhen Guo, Adriana Meza Soria, Wei Sun, Yikang Shen, Rameswar Panda

AI总结:

本文提出包含逾百万条指令-API 调用的多语言数据集 API Pack,并通过微调实验验证其可提升 CodeLlama-13B 等模型对新 API 的生成与泛化能力。

摘要:

我们介绍 API Pack,这是一个包含超过一百万条指令-API 调用的大规模多编程语言数据集,旨在提升大型语言模型的 API 调用生成能力。我们的评估强调了三个关键发现:第一,在 API Pack 上进行微调,使开源模型在为全新 API 调用生成代码方面能够优于 GPT-3.5 和 GPT-4。我们通过使用来自 API Pack 的 20,000 个 Python 实例微调 CodeLlama-13B 证明了这一点。第二,在一种语言的大规模数据集上进行微调,并结合其他语言的较小数据集,可以提高多种语言的 API 生成准确率。第三,我们证实了更大数据集对 API 泛化的益处,因为将微调数据增加到一百万条实例可增强对新 API 的泛化能力。为支持进一步研究,我们在 https://github.com/zguo0525/API-Pack 开源了 API Pack 数据集、训练后的模型和代码。

英文摘要:

We introduce API Pack, a massive multi-programming language dataset containing over one million instruction-API calls for improving the API call generation capabilities of large language models. Our evaluation highlights three key findings: First, fine-tuning on API Pack enables open-source models to outperform GPT-3.5 and GPT-4 in generating code for entirely new API calls. We show this by fine-tuning CodeLlama-13B on 20,000 Python instances from API Pack. Second, fine-tuning on a large dataset in one language, combined with smaller datasets from others, improves API generation accuracy across multiple languages. Third, we confirm the benefits of larger datasets for API generalization, as increasing fine-tuning data to one million instances enhances generalization to new APIs. To support further research, we open-source the API Pack dataset, trained model, and code at https://github.com/zguo0525/API-Pack.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑