arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节（Veterans Day），12 日无更新
arXiv 2406.04817cs.CYcs.HC
收藏

将大语言模型聊天机器人融入课堂的经验

Experiences from Integrating Large Language Model Chatbots into the Classroom

Arto Hellas, Juho Leinonen, Leo Leppänen

备注：
7 pages, 1 figure, 5 tables
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本研究将基于 OpenAI GPT-4 的未过滤 LLM 聊天机器人融入三门课程，发现仅 LLM 相关课程中学生使用率高，多数课程中仅少数超级用户大量使用，未出现普遍过度依赖，提示需要更具针对性的 LLM 教学设计。

摘要：

在本研究中，我们向学生提供了对最先进的大语言模型（LLM）聊天机器人的未经过滤的访问权限。该聊天机器人被有意设计为模仿专有商业聊天机器人（如 ChatGPT），并未针对教育场景进行定制；其底层引擎为 OpenAI GPT-4。该聊天机器人被整合到三门课程的在线学习材料中。其中一门课程聚焦于使用 LLM 的软件工程，而另外两门课程与 LLM 并不直接相关。我们的结果表明，在与 LLM 无关的课程中，只有少数学生会使用该聊天机器人。与此同时，毫不意外的是，在聚焦 LLM 的课程中，几乎所有学生都使用了该聊天机器人。在所有课程中，大部分 LLM 使用量来自少数超级用户，而大多数学生并未大量使用该聊天机器人，尽管它随时可用，并且实际上提供了对 OpenAI GPT-4 模型的免费访问。我们还观察到，除了将聊天机器人用于课程特定目的之外，许多学生还将聊天机器人用于自己的目的。这些结果表明，教育工作者最担心的情况——所有学生过度依赖 LLM——即使在聊天机器人访问未经过滤的情况下也并未出现。最后，我们讨论了使用率较低的可能原因，并指出需要针对特定类型的学生使用场景提供更具针对性和脚手架式的 LLM 体验。

英文摘要：

In the present study, we provided students an unfiltered access to a state-of-the-art large language model (LLM) chatbot. The chatbot was intentionally designed to mimic proprietary commercial chatbots such as ChatGPT where the chatbot has not been tailored for the educational context; the underlying engine was OpenAI GPT-4. The chatbot was integrated into online learning materials of three courses. One of the courses focused on software engineering with LLMs, while the two other courses were not directly related to LLMs. Our results suggest that only a minority of students engage with the chatbot in the courses that do not relate to LLMs. At the same time, unsurprisingly, nearly all students in the LLM-focused course leveraged the chatbot. In all courses, the majority of the LLM usage came from a few superusers, whereas the majority of the students did not heavily use the chatbot even though it was readily available and effectively provided a free access to the OpenAI GPT-4 model. We also observe that in addition to students using the chatbot for course-specific purposes, many use the chatbot for their own purposes. These results suggest that the worst fears of educators -- all students overrelying on LLMs -- did not materialize even when the chatbot access was unfiltered. We finally discuss potential reasons for the low usage, suggesting the need for more tailored and scaffolded LLM experiences targeted for specific types of student use cases.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑