使用一次性提示与文本相似度评分模型的简答题自动评分
Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model
AI总结：
本文针对简答题自动评分中分析性分数标注困难的问题，提出结合LLM一次性提示与领域自适应文本相似度评分模型的方法，在公开ASAG数据集上取得0.67准确率和0.71二次加权kappa，显著优于多数类基线。
摘要：
在本研究中，我们开发了一个自动简答题评分（ASAG）模型，该模型同时提供分析性分数和最终的整体性分数。简答题通常由多个子问题组成，提供分析性分数以及与每个子问题相关的文本片段可以提高自动评分的可解释性。此外，它们还可用于为学生生成可操作的反馈。尽管有这些优势，由于构建带有人工标注的数据集存在困难，大多数研究仅专注于预测整体性分数。为解决这一困难，我们使用了基于大语言模型（LLM）的一次性提示方法，以及一个使用小型人工标注数据集进行领域自适应的文本相似度评分模型。在公开可用的ASAG数据集的一个子集上，我们模型的准确率和二次加权kappa系数分别为0.67和0.71。该模型相比多数类基线取得了显著提升。
英文摘要：
In this study, we developed an automated short answer grading (ASAG) model that provided both analytic scores and final holistic scores. Short answer items typically consist of multiple sub-questions, and providing an analytic score and the text span relevant to each sub-question can increase the interpretability of the automated scores. Furthermore, they can be used to generate actionable feedback for students. Despite these advantages, most studies have focused on predicting only holistic scores due to the difficulty in constructing dataset with manual annotations. To address this difficulty, we used large language model (LLM)-based one-shot prompting and a text similarity scoring model with domain adaptation using small manually annotated dataset. The accuracy and quadratic weighted kappa of our model were 0.67 and 0.71 on a subset of the publicly available ASAG dataset. The model achieved a substantial improvement over the majority baseline.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
