Confidence Estimation in Automatic Short Answer Grading with LLMs
DIPF | Leibniz Institute for Research and Information in Education（莱布尼茨教育研究与信息研究所）；Faculty of Computer Science, Goethe University Frankfurt（弗赖堡大学计算机科学系）；Chemnitz University of Technology（化学工业大学）
本文研究了基于大语言模型的自动简答评分中的置信度估计，结合模型内置置信信号和数据集衍生的不确定性，提出混合置信框架以提升评分选择性。
2026-05-13 cs.CL
Japanese-English Sentence Translation Exercises Dataset for Automatic Grading
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究提出第二语言学习早期阶段的句子翻译练习自动评分任务，构建含21道题、3498份作答的日英翻译练习数据集，实验显示微调BERT对正确作答分类F1约90%、错误作答不足80%，少样本GPT表现更差，该任务对大模型具挑战性。
2024-03-06 cs.CL
Cognitively Aided Zero-Shot Automatic Essay Grading
IIT Bombay（印度理工学院孟买分校）；IBM Research India Limited（IBM印度研究有限公司）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学研究院）
自动作文评分（AEG）是一个机器为一篇回应某个主题的作文打分的过程，称为提示。Zero-shot AEG是我们训练一个系统来给按照新提示写的作文打分，这在我们的训练数据中是不存在的。在本文中，我们描述了一个解决问题的zero-shot自动作文评分，使用认知信息，在凝视行为的形式。我们的实验表明，使用凝视行为有助于提高AEG系统的性能，特别是当我们提供一个新的文章写在一个新的提示得分，平均近5个百分点的QWK。
2021-02-22 cs.AI cs.CL
Automatic Essay Scoring in a Brazilian Scenario
Faculdade de Ciências Médicas da Santa Casa de São Paulo（圣保罗圣卡萨医学院）
针对巴西ENEM葡萄牙语作文，提出基于深度学习的自动评分算法，以提升效率、公平性和一致性。
2023-12-29 cs.CL
SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出含英德双语、多模态和多难度自由作答题的大学计算机科学考试基准SciEx，通过专家评分评估LLM，并验证LLM-as-a-judge可实现高一致性自动评分。
2024-10-02 cs.CL
Applying Part-of-Seech Enhanced LSA to Automatic Essay Grading
潜在语义分析（LSA）是一种基于“词袋”假设的信息检索方法。然而，根据一般的概念，句法起着表示句子意义的作用。因此，增强LSA与词性（POS）的信息，以捕捉单词出现的上下文似乎是理论上可行的扩展。该方法进行了测试，经验上的自动论文评分系统，使用LSA的文件相似性比较。对几种POS增强的LSA模型进行了比较。我们的研究结果表明，以POS标签形式添加上下文信息可以将基于LSA的评分模型的准确性提高10.77%。
2006-10-19 cs.CL cs.IR
On the effectiveness of LLMs for automatic grading of open-ended questions in Spanish
Eng. School, UdelaR（乌拉圭共和国大学工程学院）；Eng. School, UCUDAL（乌拉圭天主教大学工程学院）
本研究聚焦西班牙语开放式问题短文本自动评分场景，探究不同大语言模型与提示技术的效果，发现最优模型与提示策略组合在三级评分任务准确率超95%，二元评分任务超98%，验证了其在教育自动化中的潜力。
2025-03-23 cs.AI cs.CL
A LLM-Powered Automatic Grading Framework with Human-Level Guidelines Optimization
Michigan State University（密歇根州立大学）
本文提出多智能体自动简答题评分框架GradeOpt，利用大语言模型并引入反思者与优化者自动优化评分标准，在PCK和CK评分任务中显著提升评分准确性与人类评分一致性。
2025-06-03 cs.AI cs.CL
Ensemble ToT of LLMs and Its Application to Automatic Grading System for Supporting Self-Learning
Kyoto University（京都大学）；Kyoto Institute of Technology（京都工艺纤维大学）
提出Ensemble ToT框架，整合多个LLM并通过三步流程及模拟辩论，构建自动评分系统，实现准确且可解释的评分反馈，支持自主学习。
2025-02-23 cs.AI cs.CL cs.IR
Automatic Short Answer Grading via Multiway Attention Networks
TAL AI Lab（好未来人工智能实验室）；Michigan State University（密歇根州立大学）
自动简答题评分（ASAG）根据参考答案自动对学生的答案进行评分，为教学专业人员提供了一种具有成本效益和一致性的方法，可以减少他们单调乏味的评分工作量。然而，ASAG是一项非常具有挑战性的任务，原因有两个：（1）学生的答案由自由文本组成，需要深入的语义理解;（2）问题通常是开放式的，并且在K-12场景中跨越许多领域。在本文中，我们提出了一个广义的端到端的ASAG学习框架，其目的是（1）自主地从学生和参考答案中提取语言信息;（2）准确地建模自由文本学生和参考答案之间的语义关系在开放式领域。所提出的ASAG模型在一个大型的真实世界K-12数据集上进行了评估，并且在各种评估指标方面都优于最先进的基线。
2019-09-23 cs.AI cs.CL
Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach to Grade Essays Using Gaze Behaviour
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；IBM Research, India（IBM印度研究院）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学研究院）
读者的凝视行为有助于解决几个NLP任务，例如自动论文评分。然而，从读者收集凝视行为在时间和金钱方面是昂贵的。在本文中，我们提出了一种方法来提高自动论文评分使用凝视行为，这是学习在运行时间使用多任务学习框架。为了证明这种基于多任务学习的方法对自动作文评分的有效性，我们收集了4个作文集的48篇作文的凝视行为，并学习了其余作文的凝视行为，数量超过7000篇作文。使用学习到的凝视行为，我们可以在统计上显著改善具有凝视数据的文章集的最先进系统的性能。我们还实现了其他4个论文集，编号约6000篇论文，我们没有凝视行为数据的统计学显着改善。我们的方法建立了学习凝视行为提高自动作文评分。
2021-02-01 cs.CL
Training data generation for context-dependent rubric-based short answer grading
Faculty of Mathematics and Physics at Charles University（查理大学数学与物理学院）
本文探讨了如何利用小规模保密数据生成大规模训练数据，通过简单衍生文本格式保持隐私，创建了三个近似参考数据集，初步实验表明可能提升自动评分模型训练效果。
2026-03-31 cs.CL
Automatic Short Math Answer Grading via In-context Meta-learning
Worcester Polytechnic Institute（伍斯特理工学院）
简答题自动评分是探索如何使用基于人工智能（AI）的工具来改善教育的一个重要研究方向。目前最先进的方法使用神经语言模型来创建学生响应的矢量化表示，然后使用分类器来预测分数。然而，这些方法具有几个关键限制，包括i）它们使用预训练的语言模型，其不很好地适应教育主题领域和/或学生生成的文本，以及ii）它们几乎总是训练每个问题一个模型，忽略了跨问题的链接，并且由于高级语言模型的大小而导致显著的模型存储问题。在本文中，我们研究的问题，自动简答评分的学生对数学问题的反应，并提出了一个新的框架，这项任务。首先，我们使用MathBERT，一种流行的语言模型BERT的变体，适合数学内容，作为我们的基础模型，并微调它的下游任务的学生反应评分。其次，我们使用一种上下文学习方法，该方法提供评分示例作为语言模型的输入，以提供额外的上下文信息，并促进对以前看不见的问题的泛化。我们在学生对开放式数学问题的反应的真实数据集上评估了我们的框架，并表明我们的框架（通常显着）优于现有的方法，特别是对于在训练过程中看不到的新问题。
2022-07-08 cs.CL cs.LG
Hey AI Can You Grade My Essay?: Automatic Essay Grading
School of Computer Science, University of Oklahoma（俄克拉荷马大学计算机科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究提出一种基于协作学习和迁移学习的自动作文评分新模型，通过不同网络分别处理语法结构特征与整体思想评分并迁移融合，实现了85.50%的最高准确率。
2024-10-12 cs.AI cs.CL
Unveiling Scoring Processes: Dissecting the Differences between LLMs and Human Graders in Automatic Scoring
University of Georgia（佐治亚大学）；Nanyang Technological University（南洋理工大学）
该研究揭示了大语言模型在科学任务书面作答自动评分中使用的评分标准与人类评分的一致性差距，发现加入反映人类评分逻辑的高质量分析型评分标准可缩小差距、提升评分准确率。
2025-02-21 cs.CL cs.CY
LLM-based Automated Grading with Human-in-the-Loop
Computer Science and Engineering（计算机科学与工程）；Michigan State University（密歇根州立大学）；Rossier School of Education（罗塞尔教育学院）；University of Southern California（南加州大学）
本文提出GradeHITL框架，通过人类在循环中方法提升自动简答评分的准确性，实现接近人类水平的评估。
2025-12-01 cs.CL
Explainable Automatic Grading with Neural Additive Models
University of California Berkeley（加州大学伯克利分校）
本文提出用神经加性模型结合知识整合框架进行可解释的自动简答题评分，在保持预测性能的同时提供特征可解释性，并与逻辑回归和DeBERTa进行了比较。
2024-05-01 cs.CL cs.LG stat.AP
Focusing on Students, not Machines: Grounded Question Generation and Automated Answer Grading
Zurich University of Applied Sciences（苏黎世应用科学大学）
本研究针对教育中开放式题目命制与评分繁琐的问题，提出带视觉布局的文档分块方法以提升RAG等任务效果，构建了短答案自动评分基准，验证了LLMs可用于该任务且参数越大性能越好，但仍需人工监督。
2025-06-02 cs.CL
CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading
CHiL(L)Grader通过校准置信度估计和人类参与流程，实现高置信度自动评分与不确定情况的人工处理，提升AI辅助评分的可靠性。
2026-03-12 cs.CL
Deep learning for sentence clustering in essay grading support
University of Turku（图尔库大学）
作文作为一种评估形式，比简答题和多项选择题更深层次地测试学生的知识。然而，手工评估论文是费时费力的。自动聚类的论文，或其片段，人工评估之前，提出了一个可能的解决方案，以减少在评估过程中所需的工作。由于自然语言的可变性和模糊性，这种聚类提出了许多挑战。在本文中，我们介绍了两个数据集的本科学生的文章在芬兰，手动注释的句子层次上的突出参数。使用这些数据集，我们评估了几种深度学习嵌入方法对句子聚类的适用性，以支持文章评分。我们发现，最合适的方法的选择取决于考试问题和答案的性质，深度学习方法能够，但不能保证比基于词汇重叠的简单方法更好的性能。
2021-04-23 cs.CL
"I understand why I got this grade": Automatic Short Answer Grading with Feedback
Fujitsu Research of India Private Limited（富士通印度研究有限公司）；Dept. of Computer Science and Engineering（计算机科学与工程系）
本文提出EngSAF数据集及LASFG策略，用于带反馈的自动简答题评分，Mistral-7B模型在未见答案和问题上准确率达75.4%和58.7%，并在真实考试中验证了系统有效性。
2025-06-23 cs.AI cs.CL cs.CY
Mathematical Language Processing: Automatic Grading and Feedback for Open Response Mathematical Questions
Rice University（莱斯大学）
虽然计算机和通信技术为扩大教育的许多方面提供了有效手段，但提交作业和测验等评估和评分仍然是一个薄弱环节。在本文中，我们研究了自动评分的开放式响应数学问题，图突出STEM（科学，技术，工程和数学）课程的种类的问题。我们的数学语言处理（MLP）数据驱动框架利用来自大量学习者的解决方案数据来评估其解决方案的正确性，分配部分学分分数，并向每个学习者提供有关任何错误的可能位置的反馈。MLP从文本数据的自然语言处理的成功中获得灵感，包括三个主要步骤。首先，我们将一个开放式数学问题的每个解决方案转换为一系列的数值特征。其次，我们聚类的功能，从几个解决方案，揭示正确的，部分正确的，和不正确的解决方案的结构。我们开发了两种不同的聚类方法，一种是利用通用聚类算法，一种是基于贝叶斯非参数。第三，我们根据分配的集群和每个集群的一个筛选器提供的等级，自动对剩余的（可能大量的）解决方案进行分级。作为奖励，我们可以跟踪多步解决方案的每个步骤的聚类分配，并确定它何时偏离正确解决方案的聚类，这使我们能够向学习者指出错误的可能位置。我们在真实世界的MOOC数据上测试和验证了MLP，以证明它如何能够大幅减少大型教育平台所需的人力。
2015-01-18 cs.AI cs.CL cs.LG
Ratas framework: A comprehensive genai-based approach to rubric-based marking of real-world textual exams
Macquarie University（麦考瑞大学）；ITIC Company（ITIC公司）
本文提出RATAS框架，利用生成式AI模型进行基于量规的文本评分，通过数学形式化和独特数据集验证，实现了高可靠性、准确性和可解释的反馈。
2025-05-27 cs.CL
ASAG2024: A Combined Benchmark for Short Answer Grading
Zurich University of Applied Sciences（苏黎世应用科技大学）
本文提出联合基准ASAG2024，整合七个简答题评分数据集以评估自动评分系统泛化能力，实验表明基于LLM的方法虽创新高但仍不及人类水平，为人机协同评分研究指明方向。
2024-09-27 cs.AI cs.CL cs.LG
Balancing Cost and Quality: An Exploration of Human-in-the-loop Frameworks for Automated Short Answer Scoring
Tohoku University（东北大学）；RIKEN（理化学研究所）；Future Corporation（未来公司）
简答题评分（SAS）是对学习者写的短文进行评分的任务。近年来，基于深度学习的方法大大提高了SAS模型的性能，但在将此类模型应用于教育领域时，如何保证高质量的预测仍然是一个关键问题。为了保证高质量的预测，我们提出了第一个研究，探索使用的人在循环的框架，最大限度地减少分级成本，同时保证分级质量，允许SAS模型与人类分级共享分级任务。具体地，通过引入用于指示模型预测的可靠性的置信度估计方法，可以通过仅利用具有高可靠性的预测用于评分结果并且将具有低可靠性的预测投射给人类分级者来保证评分质量。在我们的实验中，我们使用多种置信度估计方法和多个SAS数据集调查所提出的框架的可行性。我们发现，我们的人在循环框架允许自动评分模型和人类分级，以实现目标评分质量。
2022-06-16 cs.CL
Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究针对手写数学作答评分数据少、多模态融合难的问题，利用GPT-4o结合多种提示技术对大学概率论考试的真实手写作答自动评分，发现提供评分 rubric 可提升与人类评分的一致性，但准确率仍不足以落地，该任务仍有较大发展空间。
2024-12-12 cs.CL cs.CY cs.LG
Semantic Grading of Written Answers in Low-Resource Language Bangla Using a Fine-Tuned Lightweight Language Model
Computer Science and Engineering, University of Dhaka（达卡大学计算机科学与工程系）
针对低资源语言孟加拉语，提出一种基于微调轻量级语言模型的双语评估系统，通过语义正确性而非词汇重叠进行自动评分，在合成和人工评估中均取得最优性能。
2026-06-11 cs.CL
Towards Human-Like Grading: A Unified LLM-Enhanced Framework for Subjective Question Evaluation
Hangzhou City University（杭州市大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Hospital（浙江省医院）
本文提出一个统一的大语言模型增强型主观题自动评分框架，通过四个互补模块实现类人评估，在多种数据集上优于基线，并已实际部署于大型电商企业的培训和认证考试中。
2025-10-09 cs.AI cs.CL
S-GRADES -- Studying Generalization of Student Response Assessments in Diverse Evaluative Settings
S-GRADES通过统一的基准测试平台整合多种学生响应评分数据集，评估大语言模型在不同评分任务中的泛化能力，揭示评分任务中的可靠性与泛化差距。
2026-03-10 cs.CL
Finetuning Transformer Models to Build ASAG System
自1966年以来，一直在研究如何创建教育环境中学生对测验和考试问题的答案的自动评分系统。多年来，这个问题被分为许多类别。其中，文本答案评分分为简答评分和短文评分。这项工作的目标是开发一个基于ML的简答题评分系统。因此，我构建了一个系统，该系统使用STS基准数据集上预训练的Roberta大型模型进行微调，并创建了一个界面来显示系统的生产准备情况。我在Mohler扩展数据集和SciEntsBank数据集上评估了系统的性能。开发的系统在Mohler数据集上实现了0.82的Pearson相关性和0.7的RMSE，这击败了SOTA在该数据集上的性能，该数据集的相关性为0.805，RMSE为0.793。此外，在SciEntsBank数据集上实现了0.79的Pearson相关性和0.56的RMSE，这再次证实了系统的稳健性。在获得这些结果期间的一些观察结果包括使用批量1产生的结果优于使用批量16或32，并且使用huber损失作为损失函数在该回归任务中表现良好。该系统使用各种随机种子在训练和验证分割上进行了尝试和测试，并且仍然进行了调整，以在任何数据集上实现最小0.76的相关性和最大0.15（1）的RMSE。
2021-09-25 cs.AI cs.CL
Survey on Automated Short Answer Grading with Deep Learning: from Word Embeddings to Transformers
University of Twente（特文特大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
自动简短答案评分（ASAG）作为将教育任务扩展到越来越多的学生的一种手段，在教育领域引起了关注。自然语言处理和机器学习的最新进展极大地影响了ASAG领域，本文综述了ASAG的最新研究进展。我们通过对最近发布的部署深度学习方法的方法进行全面分析来补充以前的调查。特别是，我们专注于我们的分析过渡到手工设计的功能，表示学习方法，学习代表性的功能，自动从大型语料库的数据。我们将对深度学习方法的分析分为三类：词嵌入、序列模型和基于注意力的方法。深度学习对ASAG的影响与其他NLP领域不同，因为我们注意到，学习的表示本身并不能帮助实现最佳结果，但它们与手工设计的功能互补。最佳性能确实是通过将精心手工设计的功能与最新模型（例如Transformers架构）提供的语义描述的强大功能相结合的方法来实现的。我们确定了挑战，并提供了未来可以解决的研究方向的展望
2022-03-11 cs.AI cs.CL cs.LG
Towards LLM-based Autograding for Short Textual Answers
University of Liechtenstein（列支敦士登大学）；University of St.Gallen（圣加仑大学）
本文评估 LLM 用于多语言、多课程短文本答案自动评分的表现，发现开箱即用模型可辅助教育者，但独立评分仍需人工监督。
2024-07-08 cs.AI cs.CL
Investigating Automatic Scoring and Feedback using Large Language Models
University of Florida（佛罗里达大学）；Coursera（Coursera公司）
本文研究利用 LoRA 和 QLoRA 等参数高效微调方法微调量化大语言模型，实现简答题和论文的自动连续评分与反馈生成，实验表明微调模型评分误差低于3%，且反馈质量接近专家水平。
2024-05-01 cs.CL cs.LG
Statistical Comparative Analysis of Semantic Similarities and Model Transferability Across Datasets for Short Answer Grading
Jawaharlal Nehru Technological University, Kakinada（贾瓦哈拉尔·尼赫鲁理工大学，卡基纳达）；Aditya Engineering College, Surampalem（阿迪亚工程学院，苏拉姆帕莱姆）；Vishnu Institute of Technology, Bhimavaram（毗湿奴理工学院，比马瓦拉姆）
本文通过统计比较STSB、Mohler与SPRAG数据集的语义相似性，系统分析SOTA模型在短答案评分任务中的跨数据集可迁移性，为减少数据集专用训练成本、提升NLP模型部署效率提供依据。
2025-08-19 cs.AI cs.CL cs.LG
Language Models are Few-Shot Graders
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Utah State University（犹他州立大学）
本文提出基于 LLM 的自动简答题评分流程，比较 GPT-4、GPT-4o 与 o1-preview，并验证 RAG 选择示例和评分量规可提升评分准确性。
2025-02-18 cs.AI cs.CL
AIR: Complex Instruction Generation via Automatic Iterative Refinement
Alibaba Group（阿里巴巴集团）
本文提出自动迭代细化框架AIR，通过从文档生成并迭代优化带约束的复杂指令，构建AIR-10K数据集，显著提升大语言模型遵循复杂指令的能力。
2025-02-27 cs.AI cs.CL
Improve LLM-based Automatic Essay Scoring with Linguistic Features
针对自动作文评分中不同提示处理的挑战，本文结合有监督特征法和LLM法，将语言特征融入LLM评分，提出的混合方法在域内和域外提示上均优于基线模型。
2025-02-13 cs.AI cs.CL
Deep Learning Architecture for Automatic Essay Scoring
随着在线学习和评价平台（如Coursera、Udemy、Khan academy等）的兴起，论文自动评价（AES，Automatic Evaluation of essay）成为一个严峻的问题，研究人员提出了许多自动评价技术。然而，这些技术中的许多使用手工制作的特征，因此从特征表示的角度来看是有限的。深度学习已经成为机器学习中的一种新范式，它可以利用大量数据并识别对论文评估有用的特征。为此，我们提出了一种新的架构，基于递归网络（RNN）和卷积神经网络（CNN）。在所提出的架构中，多通道卷积层从词嵌入向量和基本语义概念中学习和捕获词n-gram的上下文特征，以使用最大池化操作形成文章级别的特征向量。RNN的一个变体称为双门循环单元（BGRU），用于访问先前和随后的上下文表示。实验是在Kaggle上提供的八个数据集上进行的，用于AES任务。实验结果表明，我们提出的系统实现了显着更高的分级准确性比其他深度学习为基础的AES系统，也是其他国家的最先进的AES系统。
2022-06-16 cs.AI cs.CL
Automatic benchmarking of large multimodal models via iterative experiment programming
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；Apple（苹果公司）
针对大型多模态模型基准测试人工成本高的问题，提出首个自动基准测试框架APEx，依托大语言模型与工具库自动生成实验、迭代测试并输出报告，可复现现有研究结论且支持灵活扩展。
2024-06-18 cs.AI cs.CL cs.CV
