经济实惠的微调LLM能为课程专属MCQ提供更好的答案
Affordably Fine-tuned LLMs Provide Better Answers to Course-specific MCQs
AI总结：
研究通过LLaMA-2回答162道课程专属MCQ，发现基于教科书微调的小型模型在资源受限下优于通用大模型，使LLM应用更经济实惠。
摘要：
在教育领域，大型语言模型（LLMs）生成类人文本的能力激发了关于如何提升学与教效率的研究。我们通过研究LLM在硬件限制和优化技术下如何回答多项选择题（MCQs），探讨了这些模型对教育者和学生的经济适用性。我们使用通用预训练LLM（LLaMA-2的7B、13B和70B变体）来回答一门编程语言（PL）课程的162道本科级MCQ，以此探索该领域——该MCQ数据集是本研究的贡献之一，我们已将其公开。具体而言，我们剖析了不同因素如何改变回答的准确性，例如使用现成材料——课程教科书的（部分内容）——进行微调，以及使用量化技术（以减少资源消耗）。主要结论是，基于教科书微调的较小模型优于通用大模型（其预训练需要大量资源），这使得使用LLM回答MCQ在资源和材料上都变得经济实惠。
英文摘要：
In education, the capability of generating human-like text of Large Language Models (LLMs) inspired work on how they can increase the efficiency of learning and teaching. We study the affordability of these models for educators and students by investigating how LLMs answer multiple-choice questions (MCQs) with respect to hardware constraints and refinement techniques. We explore this space by using generic pre-trained LLMs (the 7B, 13B, and 70B variants of LLaMA-2) to answer 162 undergraduate-level MCQs from a course on Programming Languages (PL) -- the MCQ dataset is a contribution of this work, which we make publicly available. Specifically, we dissect how different factors, such as using readily-available material -- (parts of) the course's textbook -- for fine-tuning and quantisation (to decrease resource usage) can change the accuracy of the responses. The main takeaway is that smaller textbook-based fine-tuned models outperform generic larger ones (whose pre-training requires conspicuous resources), making the usage of LLMs for answering MCQs resource- and material-wise affordable.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
