教科书就是你所需的全部
Textbooks Are All You Need
AI总结：
本研究推出仅13亿参数的代码大模型phi-1，通过高质量网页数据与GPT-3.5生成的合成教科书/练习题训练，在小体量下实现了HumanEval 50.6%、MBPP 55.5%的pass@1准确率，还展现出显著涌现特性。
摘要：
我们推出phi-1，一款面向代码领域的新型大语言模型，其规模远小于同类竞品模型：phi-1是基于Transformer架构的模型，参数量为13亿，在8张A100显卡上训练4天，训练数据包含从网页筛选的60亿token“教科书级质量”数据，以及用GPT-3.5生成的10亿token合成教科书与练习题。尽管规模很小，phi-1在HumanEval基准上的pass@1准确率达50.6%，在MBPP基准上达55.5%。与经过代码练习题数据集微调前的基础模型phi-1-base，以及采用相同训练流程、参数量3.5亿、在HumanEval上仍能达到45%准确率的更小模型phi-1-small相比，phi-1还展现出令人惊讶的涌现特性。
英文摘要：
We introduce phi-1, a new large language model for code, with significantly smaller size than competing models: phi-1 is a Transformer-based model with 1.3B parameters, trained for 4 days on 8 A100s, using a selection of ``textbook quality" data from the web (6B tokens) and synthetically generated textbooks and exercises with GPT-3.5 (1B tokens). Despite this small scale, phi-1 attains pass@1 accuracy 50.6% on HumanEval and 55.5% on MBPP. It also displays surprising emergent properties compared to phi-1-base, our model before our finetuning stage on a dataset of coding exercises, and phi-1-small, a smaller model with 350M parameters trained with the same pipeline as phi-1 that still achieves 45% on HumanEval.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
