arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2407.04873cs.AIcs.CY
收藏

评估语言模型在生成与评判编程反馈方面的能力

Evaluating Language Models for Generating and Judging Programming Feedback

Aalto University（阿尔托大学）；University of Jyväskylä（于韦斯屈莱大学）；The University of Auckland（奥克兰大学）

Charles Koutcheme, Nicola Dainese, Arto Hellas, Sami Sarsa, Juho Leinonen, Syed Ashraf, Paul Denny

备注：
2 tables. Accepted for SIGCSE TS 2025
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文评估开源LLMs在生成和评判编程反馈上的表现，发现其已接近专有模型，并展示了较小模型的高效性与可获取性。

摘要：

大型语言模型（LLMs）的出现已经改变了广泛领域的研究与实践。在计算教育研究（CER）领域，LLMs 获得了显著关注，尤其是在学习编程的背景下。然而，CER 领域中关于 LLMs 的大部分工作都集中在应用和评估专有模型上。在本文中，我们评估了开源 LLMs 在为编程作业生成高质量反馈以及评判编程反馈质量方面的效率，并将结果与专有模型进行对比。我们在一个由学生提交的 Python 编程入门练习数据集上进行的评估表明，最先进的开源 LLMs 在生成和评估编程反馈方面几乎与专有模型不相上下。此外，我们展示了较小规模 LLMs 在这些任务中的效率，并强调了教育工作者和从业者可以广泛获取甚至免费使用的各种 LLMs。

英文摘要：

The emergence of large language models (LLMs) has transformed research and practice across a wide range of domains. Within the computing education research (CER) domain, LLMs have garnered significant attention, particularly in the context of learning programming. Much of the work on LLMs in CER, however, has focused on applying and evaluating proprietary models. In this article, we evaluate the efficiency of open-source LLMs in generating high-quality feedback for programming assignments and judging the quality of programming feedback, contrasting the results with proprietary models. Our evaluations on a dataset of students' submissions to introductory Python programming exercises suggest that state-of-the-art open-source LLMs are nearly on par with proprietary models in both generating and assessing programming feedback. Additionally, we demonstrate the efficiency of smaller LLMs in these tasks and highlight the wide range of LLMs accessible, even for free, to educators and practitioners.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑