arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2405.20183cs.AIcs.SE
收藏

关于使用大型语言模型生成编程练习的最先进水平的调查研究

A Survey Study on the State of the Art of Programming Exercise Generation using Large Language Models

University of Innsbruck（因斯布鲁克大学）

Eduard Frankford, Ingo Höhn, Clemens Sauerwein, Ruth Breu

备注：
5 pages, 0 figures, CSEE&T 2024
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文通过调查研究分析了大型语言模型生成编程练习的能力，提出了评估矩阵以帮助选择合适模型，并指出LLM易解生成练习等挑战，为教育整合LLM的讨论做出贡献。

摘要：

本文分析了大型语言模型（LLMs）在编程练习生成方面的能力。通过一项调查研究，我们界定了当前的最先进水平，提取了它们的优势与弱点，并最终提出了一个评估矩阵，以帮助研究人员和教育工作者决定哪种LLM最适合编程练习生成用例。我们还发现，多个LLM能够生成有用的编程练习。然而，仍存在挑战，例如LLM能够轻松解决由LLM生成的练习。本文为关于将LLM整合到教育中的持续讨论做出了贡献。

英文摘要：

This paper analyzes Large Language Models (LLMs) with regard to their programming exercise generation capabilities. Through a survey study, we defined the state of the art, extracted their strengths and weaknesses and finally proposed an evaluation matrix, helping researchers and educators to decide which LLM is the best fitting for the programming exercise generation use case. We also found that multiple LLMs are capable of producing useful programming exercises. Nevertheless, there exist challenges like the ease with which LLMs might solve exercises generated by LLMs. This paper contributes to the ongoing discourse on the integration of LLMs in education.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑