Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach to Grade Essays Using Gaze Behaviour
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；IBM Research, India（IBM印度研究院）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学研究院）
读者的凝视行为有助于解决几个NLP任务，例如自动论文评分。然而，从读者收集凝视行为在时间和金钱方面是昂贵的。在本文中，我们提出了一种方法来提高自动论文评分使用凝视行为，这是学习在运行时间使用多任务学习框架。为了证明这种基于多任务学习的方法对自动作文评分的有效性，我们收集了4个作文集的48篇作文的凝视行为，并学习了其余作文的凝视行为，数量超过7000篇作文。使用学习到的凝视行为，我们可以在统计上显著改善具有凝视数据的文章集的最先进系统的性能。我们还实现了其他4个论文集，编号约6000篇论文，我们没有凝视行为数据的统计学显着改善。我们的方法建立了学习凝视行为提高自动作文评分。
2021-02-01 cs.CL
Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs
Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）；University of Maryland（马里兰大学）；Beijing Xicheng Educational Research Institute（北京市西城区教育科学研究院）
本研究针对二语学习者的作文反馈需求，提出基于双过程理论的开源LLM自动作文评分系统，验证其评分效果可比肩微调专有模型，且能辅助人类评分者提升表现与效率，展现教育领域人机协作潜力。
2024-06-15 cs.AI cs.CL
Automatic Essay Scoring in a Brazilian Scenario
Faculdade de Ciências Médicas da Santa Casa de São Paulo（圣保罗圣卡萨医学院）
针对巴西ENEM葡萄牙语作文，提出基于深度学习的自动评分算法，以提升效率、公平性和一致性。
2023-12-29 cs.CL
Specialists or Generalists? Multi-Agent and Single-Agent LLMs for Essay Grading
Sahel AI, Sahel Group Inc.（Sahel AI，Sahel Group Inc.）；University College London (UCL)（University College London（UCL））；Prince Sultan University
本文比较了多智能体与单智能体LLM在作文评分中的表现，发现多智能体系统在识别弱作文方面更优，而单智能体系统在中等质量作文上表现更好，少样本校准对性能影响显著。
2026-01-29 cs.CL cs.MA
Applying Part-of-Seech Enhanced LSA to Automatic Essay Grading
潜在语义分析（LSA）是一种基于“词袋”假设的信息检索方法。然而，根据一般的概念，句法起着表示句子意义的作用。因此，增强LSA与词性（POS）的信息，以捕捉单词出现的上下文似乎是理论上可行的扩展。该方法进行了测试，经验上的自动论文评分系统，使用LSA的文件相似性比较。对几种POS增强的LSA模型进行了比较。我们的研究结果表明，以POS标签形式添加上下文信息可以将基于LSA的评分模型的准确性提高10.77%。
2006-10-19 cs.CL cs.IR
Machine-Assisted Grading of Nationwide School-Leaving Essay Exams with LLMs and Statistical NLP
Tallinn University（塔林大学）；University of Tartu（塔尔图大学）；Estonian Business School（爱沙尼亚商学院）；Institute of the Estonian Language（爱沙尼亚语言研究所）
本文研究了利用LLM和统计NLP进行全国毕业考试作文自动评分的可行性，证明其在保持人类监督的同时可实现高精度评估。
2026-01-22 cs.AI cs.CL
Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks
Department of Computer Science（计算机科学系）；Savitribai Phule Pune University（萨维特里·巴伊·普内大学）；Dr. D. Y. Patil School of Science and Technology（D.Y.帕提尔科学与技术学院）
研究探讨了大语言模型在内容正确性不变时，写作风格对评分的隐性偏见，发现作文任务存在显著偏见，而数学和编程任务则无显著偏见。
2026-03-19 cs.CL
Many Hands Make Light Work: Using Essay Traits to Automatically Score Essays
IIT Patna（印度理工学院巴特那分校）；IIT Bombay（印度理工学院孟买分校）
自动论文评分（AEG）领域的大多数研究都是面向整体评分的论文，同时也有一些工作对个人的论文特征进行评分。在本文中，我们描述了一种使用多任务学习（MTL）方法对文章进行整体评分的方法，其中对文章进行整体评分是主要任务，对文章特征进行评分是辅助任务。我们将我们的结果与使用LSTM和BiLSTM的单任务学习（STL）方法进行比较。我们还比较了我们的辅助任务与其他AEG系统中完成的任务的结果。为了找出哪些特质最适合不同类型的文章，我们对每种文章特质进行了消融测试。我们还报告了每个系统的运行时间和训练参数的数量。我们发现，基于MTL的BiLSTM系统给出了最好的结果，从整体上评分的文章，以及表现良好的评分的文章特质。
2021-02-01 cs.AI cs.CL
Are Large Language Models Good Essay Graders?
本研究评估ChatGPT和Llama在自动作文评分中与人工评分的一致性，发现两者评分偏低且相关性差，但作为辅助工具前景可期。
2024-09-19 cs.AI cs.CL cs.CY
Improve LLM-based Automatic Essay Scoring with Linguistic Features
针对自动作文评分中不同提示处理的挑战，本文结合有监督特征法和LLM法，将语言特征融入LLM评分，提出的混合方法在域内和域外提示上均优于基线模型。
2025-02-13 cs.AI cs.CL
LCES: Zero-shot Automated Essay Scoring via Pairwise Comparisons Using Large Language Models
Deloitte Analytics R&D（德勤分析研究与开发）
本文提出LCES方法，将零样本自动作文评分转化为成对比较任务，并利用RankNet将LLM偏好高效转换为连续分数，在多个基准上以更低成本取得优于传统零样本方法的准确性和鲁棒性。
2025-09-21 cs.AI cs.CL
Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring
Carleton University（卡尔顿大学）
本研究针对自动作文评分的固定提示选择策略成本高的问题，提出多臂老虎机驱动的自适应提示选择框架，在保证准确率的同时减少78.4%的LLM调用，生成成本-可靠性学习曲线，为教育技术平台提供平衡成本与有效性的方案。
2026-08-26 cs.AI cs.CL cs.LG
Deep Learning Architecture for Automatic Essay Scoring
随着在线学习和评价平台（如Coursera、Udemy、Khan academy等）的兴起，论文自动评价（AES，Automatic Evaluation of essay）成为一个严峻的问题，研究人员提出了许多自动评价技术。然而，这些技术中的许多使用手工制作的特征，因此从特征表示的角度来看是有限的。深度学习已经成为机器学习中的一种新范式，它可以利用大量数据并识别对论文评估有用的特征。为此，我们提出了一种新的架构，基于递归网络（RNN）和卷积神经网络（CNN）。在所提出的架构中，多通道卷积层从词嵌入向量和基本语义概念中学习和捕获词n-gram的上下文特征，以使用最大池化操作形成文章级别的特征向量。RNN的一个变体称为双门循环单元（BGRU），用于访问先前和随后的上下文表示。实验是在Kaggle上提供的八个数据集上进行的，用于AES任务。实验结果表明，我们提出的系统实现了显着更高的分级准确性比其他深度学习为基础的AES系统，也是其他国家的最先进的AES系统。
2022-06-16 cs.AI cs.CL
S-GRADES -- Studying Generalization of Student Response Assessments in Diverse Evaluative Settings
S-GRADES通过统一的基准测试平台整合多种学生响应评分数据集，评估大语言模型在不同评分任务中的泛化能力，揭示评分任务中的可靠性与泛化差距。
2026-03-10 cs.CL
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
SHL Labs（SHL实验室）
针对自动作文评分系统难以识别跑题作答的问题，提出带主题正则化模块的无监督AOES模型，结合混合损失训练与马氏距离实现评分与跑题检测，性能优于基线与传统方法，且对人类级扰动鲁棒。
2024-03-24 cs.AI cs.CL cs.LG
Demographic Metadata as Construct-Irrelevant Noise in DistilBERT-Based Automated Essay Scoring
Sunway University（Sunway大学）；Faculty of Engineering and Technology（工程与技术学院）
研究通过ASAP 2.0数据集，发现将人口统计元数据与文本简单拼接会显著降低DistilBERT评分模型的预测准确性和公平性。
2026-06-23 cs.CL
TRATES: Trait-Specific Rubric-Assisted Cross-Prompt Essay Scoring
Computer Science and Engineering Department, Qatar University（计算机科学与工程系，卡塔尔大学）
TRATES提出一种基于评分量规和LLM生成特质专用特征的跨提示作文评分框架，结合通用与提示专用特征训练回归模型，在广泛数据集上所有特质均取得最先进性能。
2025-05-31 cs.CL
Automatic Task Requirements Writing Evaluation via Machine Reading Comprehension
TAL Education Group（好未来教育集团）
任务要求写作是英语四级考试和英语初试中的一个重要题型。TR写作问题可能包括多个要求，高质量的论文必须全面准确地回应每个要求。然而，有限的教师资源使学生无法立即获得详细的评分。针对现有作文自动评分系统大多注重整体评分而很少提供理由支持的问题，提出了一个基于机器阅读理解（MRC）的端到端框架。该框架不仅检测文章是否回答了需求问题，而且清楚地标记了文章回答问题的位置。该框架包括三个模块：问题规范化模块、基于ELECTRA的MRC模块和响应定位模块。我们广泛探索最先进的MRC方法。我们的方法在真实世界的教育数据集上实现了0.93的准确性得分和0.85的F1得分。为了鼓励可重复的结果，我们在\url{https://github.com/aied2021TRMRC/AIED_2021_TRMRC_code}上公开了我们的代码。
2021-07-15 cs.AI cs.CL
Can AI grade your essays? A comparative analysis of large language models and teacher ratings in multidimensional essay scoring
Technical University Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）
本文比较了五种大语言模型与37位教师在德语作文多维评分中的表现，发现闭源模型优于开源模型，其中o1模型与人类评分一致性最高，可用于辅助教师减负，但需改进以更好评估内容质量。
2024-11-25 cs.AI cs.CL cs.HC
Finetuning Transformer Models to Build ASAG System
自1966年以来，一直在研究如何创建教育环境中学生对测验和考试问题的答案的自动评分系统。多年来，这个问题被分为许多类别。其中，文本答案评分分为简答评分和短文评分。这项工作的目标是开发一个基于ML的简答题评分系统。因此，我构建了一个系统，该系统使用STS基准数据集上预训练的Roberta大型模型进行微调，并创建了一个界面来显示系统的生产准备情况。我在Mohler扩展数据集和SciEntsBank数据集上评估了系统的性能。开发的系统在Mohler数据集上实现了0.82的Pearson相关性和0.7的RMSE，这击败了SOTA在该数据集上的性能，该数据集的相关性为0.805，RMSE为0.793。此外，在SciEntsBank数据集上实现了0.79的Pearson相关性和0.56的RMSE，这再次证实了系统的稳健性。在获得这些结果期间的一些观察结果包括使用批量1产生的结果优于使用批量16或32，并且使用huber损失作为损失函数在该回归任务中表现良好。该系统使用各种随机种子在训练和验证分割上进行了尝试和测试，并且仍然进行了调整，以在任何数据集上实现最小0.76的相关性和最大0.15（1）的RMSE。
2021-09-25 cs.AI cs.CL
Automatic Short Answer Grading and Feedback Using Text Mining Methods
University of Leicester（莱斯特大学）
自动评分不是一种新方法，但采用最新技术进行自动评分的需求变得非常重要。随着该技术在考试和论文评分方面的迅速发展，特别是从20世纪90年代开始，使用计算方法的部分或全部自动评分系统已经发展并成为一个主要的研究领域。特别地，对自然语言响应进行评分的需求已经产生了对可以应用于对这些响应进行自动评分的工具的需要。在本文中，我们专注于自动评分的概念，简答问题，如典型的英国GCSE系统，并提供有用的反馈，他们的答案给学生。我们目前的实验结果提供的数据集从介绍计算机科学类在北德克萨斯大学。我们首先应用标准的数据采掘技术的语料库的学生答案的测量学生的答案和模型答案之间的相似性的目的。这是基于常用词的数量。然后，我们评估这些相似性和评分员所给予的分数之间的关系。然后，我们考虑一种方法，学生的答案分组成集群。每一组将被授予相同的分数，并给予同一组中的每个答案相同的反馈。通过这种方式，我们证明了集群表示谁被授予相同或相似的分数的学生群体。比较每个聚类中的单词，以表明聚类是基于模型答案中使用了多少单词和哪些单词来构建的。本文的主要创新之处在于，我们设计了一个模型来预测分数的基础上的学生的答案和模型答案之间的相似性。
2019-12-19 cs.CL
SoK: Grading Open-Text Legal Answers, from Law School Exams to Trustworthy Rubric Judges
Technical University of Munich (TUM)（慕尼黑工业大学）
本文系统化开放式文本法律答案的评估，对比八种评估范式，提出可信评分规则评判者，明确保障措施依据及待测试内容。
2026-10-21 cs.CL
AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill Assessments
Chegg, Inc.（Chegg公司）；Stanford University（斯坦福大学）
在虚拟教育和招聘时代，多项选择题（MCQ）为技能评估提供了最有前途的途径，在这个时代，传统的基于绩效的替代方案（如项目和论文）变得不那么可行，评分资源也受到限制。MCQ的自动生成将允许大规模创建评估。自然语言处理的最新进展产生了许多复杂问题生成方法。然而，在特定领域中产生可部署结果的少数方法需要大量的特定于领域的训练数据，这可能是非常昂贵的获取。我们的工作提供了一个初步的进军MCQ生成下的高数据采集成本的情况下，战略性地强调释义的问题上下文（相比的任务）。除了保持问答对之间的语义相似性外，我们称之为AGenT Zero的管道仅由预先训练的模型组成，不需要微调，从而最大限度地减少了问题生成的数据采集成本。AGenT Zero在流畅性和语义相似性方面成功地优于其他预先训练的方法。此外，通过一些小的变化，我们的评估管道可以推广到更广泛的问题和答案空间，包括简短的答案或填写空白的问题。
2020-12-18 cs.AI cs.CL cs.CY
Investigating Automatic Scoring and Feedback using Large Language Models
University of Florida（佛罗里达大学）；Coursera（Coursera公司）
本文研究利用 LoRA 和 QLoRA 等参数高效微调方法微调量化大语言模型，实现简答题和论文的自动连续评分与反馈生成，实验表明微调模型评分误差低于3%，且反馈质量接近专家水平。
2024-05-01 cs.CL cs.LG
