开发辅导对话数据集以优化面向教育用途的 LLM
Developing a Tutoring Dialog Dataset to Optimize LLMs for Educational Use
AI总结：
针对教育对话辅导中教学策略与专家数据成本难题，本文构建经教师评估的合成辅导对话数据集并微调小型 LLM，实验证明其性能可媲美更大模型且成本更低。
摘要：
大型语言模型（LLM）的最新进展已展现出支持可扩展教育应用的前景，但由于需要有效的教学策略以及专家策划数据集带来的高昂成本，其在基于对话的辅导系统中的应用仍具挑战性。本研究探讨在解答阅读理解题的情境下，使用更小、更经济的 LLM 开展一对一辅导。我们构建了一个由人类教师评估的合成辅导对话数据集，并利用该数据集对一个较小的 LLM 进行微调。此外，我们开展了一项交互式实验，在真实辅导场景中比较微调模型与更大模型的表现。结果表明，微调模型的表现与更大模型相当，但成本更低，这证明了在教育环境中部署基于 LLM 的辅导系统的一种可行且具有成本效益的方法。
英文摘要：
Recent advances in large language models (LLMs) have shown promise for scalable educational applications, but their use in dialog-based tutoring systems remains challenging due to the need for effective pedagogical strategies and the high costs associated with expert-curated datasets. Our study explores the use of smaller, more affordable LLMs for one-on-one tutoring in the context of solving reading comprehension problems. We developed a synthetic tutoring dialog dataset, evaluated by human teachers, and fine-tuned a smaller LLM using this dataset. Furthermore, we conducted an interactive experiment comparing the performance of the fine-tuned model with a larger model in real-world tutoring scenarios. Our results show that the fine-tuned model performs on par with the larger model but at a lower cost, demonstrating a viable, cost-effective approach for implementing LLM-based tutoring systems in educational settings.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
