Textbooks Are All You Need II: phi-1.5 技术报告
Textbooks Are All You Need II: phi-1.5 technical report
AI总结：
本文提出13亿参数模型phi-1.5，通过使用“教科书质量”的数据进行训练，在常识推理、小学数学和基础编程等任务上表现优异，展现出与大模型相当的能力，同时开源以促进相关研究。
摘要：
我们继续研究基于 Transformer 的小型语言模型的能力，这一研究由 TinyStories（一个 1000 万参数的模型，能够生成连贯的英语）和后续工作 phi-1（一个 13 亿参数的模型，其 Python 编程性能接近最先进水平）所开启。后者提出使用现有的大型语言模型（LLMs）生成“教科书质量”的数据，以此相比传统网络数据增强学习过程。我们遵循“Textbooks Are All You Need”的方法，这次重点关注自然语言中的常识推理，并创建了一个名为 phi-1.5 的新的 13 亿参数模型，其在自然语言任务上的性能可与 5 倍大的模型相媲美，并在更复杂的推理任务（如小学数学和基础编程）上超越大多数非前沿 LLMs。更一般地，phi-1.5 展现了许多更大 LLMs 的特征，包括好的方面——如“逐步思考”的能力或执行一些基本的上下文学习——和坏的方面，包括幻觉以及产生有毒和偏见内容的可能性——不过令人鼓舞的是，由于没有使用网络数据，我们在这一方面看到了改善。我们开源 phi-1.5 以促进对这些紧迫问题的进一步研究。
英文摘要：
We continue the investigation into the power of smaller Transformer-based language models as initiated by \textbf{TinyStories} -- a 10 million parameter model that can produce coherent English -- and the follow-up work on \textbf{phi-1}, a 1.3 billion parameter model with Python coding performance close to the state-of-the-art. The latter work proposed to use existing Large Language Models (LLMs) to generate ``textbook quality" data as a way to enhance the learning process compared to traditional web data. We follow the ``Textbooks Are All You Need" approach, focusing this time on common sense reasoning in natural language, and create a new 1.3 billion parameter model named \textbf{phi-1.5}, with performance on natural language tasks comparable to models 5x larger, and surpassing most non-frontier LLMs on more complex reasoning tasks such as grade-school mathematics and basic coding. More generally, \textbf{phi-1.5} exhibits many of the traits of much larger LLMs, both good -- such as the ability to ``think step by step" or perform some rudimentary in-context learning -- and bad, including hallucinations and the potential for toxic and biased generations -- encouragingly though, we are seeing improvement on that front thanks to the absence of web data. We open-source \textbf{phi-1.5} to promote further research on these urgent topics.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
