从泰山到托尔金：控制大语言模型生成内容的语言熟练度水平
From Tarzan to Tolkien: Controlling the Language Proficiency Level of LLMs for Content Generation
AI总结：
针对面向非熟练用户的文本难度控制问题，提出结合微调与强化学习对齐的开源模型方案CALM，以极低成本超越GPT-4等提示策略的性能。
摘要：
我们研究了在面向非熟练用户（如语言学习者）的语境中，控制大语言模型（LLMs）生成文本难度水平的问题。使用一个新颖的框架，我们评估了几种关键方法在此任务上的有效性，包括少样本提示、监督微调和强化学习（RL），同时使用了GPT-4以及开源替代模型如Llama2-7B和Mistral-7B。我们的发现表明，在使用基于提示的策略时，GPT-4与开源模型之间存在巨大的性能差距。然而，我们展示了如何通过精心结合微调和RL对齐来弥合这一差距。我们最好的模型CALM（CEFR对齐语言模型）超越了GPT-4和其他策略的性能，而成本仅为后者的一小部分。我们还通过一项小规模人类研究验证了结果的质量。
英文摘要：
We study the problem of controlling the difficulty level of text generated by Large Language Models (LLMs) for contexts where end-users are not fully proficient, such as language learners. Using a novel framework, we evaluate the effectiveness of several key approaches for this task, including few-shot prompting, supervised finetuning, and reinforcement learning (RL), utilising both GPT-4 and open source alternatives like LLama2-7B and Mistral-7B. Our findings reveal a large performance gap between GPT-4 and the open source models when using prompt-based strategies. However, we show how to bridge this gap with a careful combination of finetuning and RL alignment. Our best model, CALM (CEFR-Aligned Language Model), surpasses the performance of GPT-4 and other strategies, at only a fraction of the cost. We further validate the quality of our results through a small-scale human study.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
