arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2405.14906cs.SEcs.AI
收藏

AutoCoder:利用\ extsc{AIEV-Instruct}增强代码大语言模型

AutoCoder: Enhancing Code Large Language Model with \textsc{AIEV-Instruct}

University of Connecticut(康涅狄格大学);AIGCode

Bin Lei, Yuchen Li, Qiuwu Chen

AI总结:

AutoCoder通过AIEV-Instruct方法生成执行验证的多轮对话数据,在Human Eval上以90.9%的pass@1超越GPT-4 Turbo和GPT-4o,并支持安装外部包的代码解释器。

摘要:

我们介绍了AutoCoder,这是第一个在Human Eval基准测试的pass@1指标上超越GPT-4 Turbo(2024年4月版)和GPT-4o的大语言模型(90.9%对比90.2%)。此外,与GPT-4 Turbo和GPT-4o相比,AutoCoder提供了更通用的代码解释器,其代码解释器可以安装外部包,而不仅限于内置包。AutoCoder的训练数据是一个多轮对话数据集,由结合代理交互和外部代码执行验证的系统创建,我们将这种方法称为\ extsc{AIEV-Instruct}(基于代理交互和执行验证的指令调优)。与之前的大规模代码数据集生成方法相比,\ extsc{AIEV-Instruct}减少了对专有大型模型的依赖,并提供了经过执行验证的代码数据集。代码和演示视频可在\url{https://github.com/bin123apple/AutoCoder}获取。

英文摘要:

We introduce AutoCoder, the first Large Language Model to surpass GPT-4 Turbo (April 2024) and GPT-4o in pass@1 on the Human Eval benchmark test ($\mathbf{90.9\%}$ vs. $\mathbf{90.2\%}$). In addition, AutoCoder offers a more versatile code interpreter compared to GPT-4 Turbo and GPT-4o. It's code interpreter can install external packages instead of limiting to built-in packages. AutoCoder's training data is a multi-turn dialogue dataset created by a system combining agent interaction and external code execution verification, a method we term \textbf{\textsc{AIEV-Instruct}} (Instruction Tuning with Agent-Interaction and Execution-Verified). Compared to previous large-scale code dataset generation methods, \textsc{AIEV-Instruct} reduces dependence on proprietary large models and provides execution-validated code dataset. The code and the demo video is available in \url{https://github.com/bin123apple/AutoCoder}.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑