关于评估大语言模型对临床问题输出的课程共享任务
A Course Shared Task on Evaluating LLM Output for Clinical Questions
AI总结：
本文介绍了一项在FoLT课程中组织的共享任务，旨在评估大语言模型对健康相关临床问题生成有害回答的输出，并报告任务设计及学生反馈，为NLP教学和课程作业设计提供参考。
摘要：
本文介绍了我们在达姆施塔特工业大学2023/2024学年语言技术基础（FoLT）课程中组织的一项共享任务，该任务聚焦于评估大语言模型（LLMs）在生成对健康相关临床问题的有害回答方面的输出。我们描述了任务设计的考量，并报告了从学生那里收到的反馈。我们期望本文所报告的任务和发现能够为教授自然语言处理（NLP）和设计课程作业的教师提供参考。
英文摘要：
This paper presents a shared task that we organized at the Foundations of Language Technology (FoLT) course in 2023/2024 at the Technical University of Darmstadt, which focuses on evaluating the output of Large Language Models (LLMs) in generating harmful answers to health-related clinical questions. We describe the task design considerations and report the feedback we received from the students. We expect the task and the findings reported in this paper to be relevant for instructors teaching natural language processing (NLP) and designing course assignments.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
