Many Hands Make Light Work: Using Essay Traits to Automatically Score Essays
IIT Patna(印度理工学院巴特那分校);IIT Bombay(印度理工学院孟买分校)
自动论文评分(AEG)领域的大多数研究都是面向整体评分的论文,同时也有一些工作对个人的论文特征进行评分。在本文中,我们描述了一种使用多任务学习(MTL)方法对文章进行整体评分的方法,其中对文章进行整体评分是主要任务,对文章特征进行评分是辅助任务。我们将我们的结果与使用LSTM和BiLSTM的单任务学习(STL)方法进行比较。我们还比较了我们的辅助任务与其他AEG系统中完成的任务的结果。为了找出哪些特质最适合不同类型的文章,我们对每种文章特质进行了消融测试。我们还报告了每个系统的运行时间和训练参数的数量。我们发现,基于MTL的BiLSTM系统给出了最好的结果,从整体上评分的文章,以及表现良好的评分的文章特质。
2021-02-01 cs.AI cs.CL
Rationale Behind Essay Scores: Enhancing S-LLM's Multi-Trait Essay Scoring with Rationale Generated by LLMs
Graduate School of Data Science, KAIST(韩国科学技术院数据科学研究生院);Department of Industrial & Systems Engineering, KAIST(韩国科学技术院工业与系统工程系)
本文提出RMTS方法,将LLM生成的特质级评分理由与S-LLM微调评分模型结合,在ASAP、ASAP++和Feedback Prize等基准上显著提升多特质论文评分的准确性与可解释性。
2025-02-05 cs.AI cs.CL
Activations as Features: Probing LLMs for Generalizable Essay Scoring Representations
本文通过分析LLMs中间层激活,探索其在跨提示作文评分中的判别能力,发现激活能有效适应不同评分标准,提升作文评分的通用性。
2025-12-22 cs.AI cs.CL
Data Augmentation for Automated Essay Scoring using Transformer Models
BITS Pilani(比尔拉科学技术学院)
作文自动评分是自然语言处理中的一个重要问题。这个问题已经探索了很多年,仍然部分得到解决。除了经济和教育用途外,它还提出了研究问题。迁移学习已被证明是有益的NLP。数据增强技术也帮助建立了最先进的自动作文评分模型。过去的许多作品都试图通过使用RNN,LSTM等来解决这个问题。这项工作研究了Transformer模型,如BERT,RoBERTa等。我们经验性地证明了Transformer模型和数据增强的有效性,用于使用单个模型在许多主题中进行自动论文评分。
2023-02-06 cs.AI cs.CL
Automatic Essay Multi-dimensional Scoring with Fine-tuning and Multiple Regression
University of Tübingen(蒂宾根大学);Stuttgart University(斯图加特大学)
针对现有AES系统仅输出单一总分的局限,本文提出两个基于微调与多元回归的多维评分模型,在两个大型数据集上对英语作文进行多维度评分,在精确率、F1和二次加权Kappa上表现优异且总分超越现有方法。
2024-06-03 cs.AI cs.CL
Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring
POSTECH(浦项科技大学)
本文提出一种提示与特质关系感知的跨提示论文特质评分模型,利用论文-提示注意力和主题一致性特征,并设计特质相似性损失,在跨提示场景下实现多特质评分,取得最先进结果。
2023-05-26 cs.AI cs.CL
On the Use of BERT for Automated Essay Scoring: Joint Learning of Multi-Scale Essay Representation
LAIX Inc.(流利说公司);Shanghai Key Laboratory of Artificial Intelligence in Learning and Cognitive Science(上海学习与认知科学人工智能重点实验室)
近年来,预训练模型在大多数自然语言处理(NLP)任务中占据主导地位。然而,在自动论文评分(AES)领域,像BERT这样的预训练模型还没有被正确地用于超越其他深度学习模型,如LSTM。在本文中,我们介绍了一种新的多尺度论文表示BERT,可以共同学习。我们还采用了多个损失和迁移学习从域外论文,以进一步提高性能。实验结果表明,该方法在ASAP任务中获得了几乎所有深度学习模型中最先进的结果。我们的多尺度论文表示也很好地推广到CommonLit Readability Prize数据集,这表明本文提出的新颖文本表示可能是长文本任务的一个新的有效选择。
2022-05-21 cs.AI cs.CL
Review of feedback in Automated Essay Scoring
Kum Sung Middle School Number 2(金星第二中学);KIM IL SUNG University(金日成大学)
本文综述自动作文评分系统中的反馈研究,梳理反馈类型、作文特征及最新反馈型AES系统案例,强调反馈对写作学习的关键作用。
2023-07-09 cs.AI cs.CL cs.LG
Towards Prompt Generalization: Grammar-aware Cross-Prompt Automated Essay Scoring
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对自动作文评分中现有方法在跨提示场景下泛化能力不足的问题,提出语法感知的跨提示特质评分(GAPS),通过整合语法纠错信息学习通用作文表示,在跨提示场景中实现显著的QWK增益及泛化能力提升。
2025-02-12 cs.AI cs.CL
LCES: Zero-shot Automated Essay Scoring via Pairwise Comparisons Using Large Language Models
Deloitte Analytics R&D(德勤分析研究与开发)
本文提出LCES方法,将零样本自动作文评分转化为成对比较任务,并利用RankNet将LLM偏好高效转换为连续分数,在多个基准上以更低成本取得优于传统零样本方法的准确性和鲁棒性。
2025-09-21 cs.AI cs.CL
Improve LLM-based Automatic Essay Scoring with Linguistic Features
针对自动作文评分中不同提示处理的挑战,本文结合有监督特征法和LLM法,将语言特征融入LLM评分,提出的混合方法在域内和域外提示上均优于基线模型。
2025-02-13 cs.AI cs.CL
Rank-Then-Score: Enhancing Large Language Models for Automated Essay Scoring
Peking University(北京大学);Beijing Normal University(北京师范大学)
本文提出Rank-Then-Score微调框架,通过先排序生成候选分数集再评分的方式增强大语言模型的自动作文评分能力,在HSK和ASAP数据集上均优于直接提示方法。
2025-04-08 cs.AI cs.CL
Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems
Cambium Assessment Inc.(Cambium评估公司)
本研究提出将自动反馈系统的拼写语法纠错、论证要素标注融入自动作文评分流程,基于PERSUADE语料库,用两类LLM生成标注,验证了该方法可提升编码器类大语言模型的作文评分性能。
2025-09-02 cs.AI cs.CL
Teach-to-Reason with Scoring: Self-Explainable Rationale-Driven Multi-Trait Essay Scoring
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对多维度作文评分缺乏解释性的问题,提出RaDME框架,将大语言模型的推理能力蒸馏至小模型,实现评分与理由生成,提升透明度与准确性。
2025-02-28 cs.AI cs.CL
Neural Automated Essay Scoring and Coherence Modeling for Adversarially Crafted Input
University of Cambridge(剑桥大学);The ALTA Institute(ALTA研究所)
我们证明,目前国家的最先进的方法,自动论文评分(AES)是不适合捕捉adversarially精心制作的输入语法,但不连贯的句子序列。我们开发了一个局部连贯性的神经模型,可以有效地学习句子之间的连接性特征,并提出了一个框架,用于将局部连贯性模型与最先进的AES模型集成并联合训练。我们根据一些基线评估了我们的方法,并通过实验证明了它在AES任务和标记对抗性输入任务上的有效性,进一步促进了一种增强神经论文评分模型有效性的方法的开发。
2020-04-30 cs.AI cs.CL
AI-generated Essays: Characteristics and Implications on Automated Scoring and Academic Integrity
University of Pittsburgh(匹兹堡大学);ETS Research Institute(教育考试服务中心研究院)
本研究通过大规模实证,考察了LLM生成论文的特征与质量,揭示了现有自动评分系统的局限,并证明了跨模型AI论文检测的高准确性,为写作评估与学术诚信提供了重要启示。
2025-10-16 cs.AI cs.CL
Can generative AI figure out figurative language? The influence of idioms on essay scoring by ChatGPT, Gemini, and Deepseek
Middle East Technical University(中东技术大学)
本研究评估ChatGPT、Gemini和Deepseek对含习语作文的评分表现,发现Gemini在评分者间信度上最优,且最接近人工评分模式,有望独立承担作文评分任务。
2025-10-16 cs.AI cs.CL
Rubric-Specific Approach to Automated Essay Scoring with Augmentation Training
Databank, Inc.(Databank公司)
本文提出基于评分细则的数据增强训练方法,使自动作文评分模型学习被忽略的特征,并在ASAP数据集上保持最先进性能。
2023-09-06 cs.AI cs.CL
EssayJudge: A Multi-Granular Benchmark for Assessing Automated Essay Scoring Capabilities of Multimodal Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Beijing Future Brain Education Technology Co., Ltd.(北京未来脑教育科技有限公司);The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Guangxi Zhuang Autonomous Region Big Data Research Institute(广西壮族自治区大数据研究院)
针对传统自动作文评分系统的三大局限,研究提出首个多粒度多模态基准EssayJudge,从词汇、句子、语篇层评估多模态大语言模型的评分能力,实验发现18个代表性模型在语篇层特质评分上与人工评价存在差距,为相关研究指明方向。
2025-05-20 cs.AI cs.CL
DREsS: Dataset for Rubric-based Essay Scoring on EFL Writing
KAIST(韩国科学技术院)
本文发布包含 48.9K 样本的 DREsS 数据集及 CASE 增强策略,以支持 EFL 写作中基于评分量规的自动作文评分。
2025-06-11 cs.AI cs.CL
Decision-Level Ordinal Modeling for Multimodal Essay Scoring with Large Language Models
本文提出DLOM方法,通过显式序数决策提升多模态作文评分的准确性,DLOM-GF和DLOM-DA分别引入门控融合模块和距离感知正则化项,实验表明在多模态和纯文本评分任务中均取得显著提升。
2026-03-16 cs.AI cs.CL
Automated essay scoring in Arabic: a dataset and analysis of a BERT-based system
本研究构建阿拉伯语AES基准数据集AR-AES,并首次将AraBERT用于评分,发现其错误多在1分以内,优于人工评分一致性,展示了AES辅助大规模评分的潜力。
2024-07-15 cs.AI cs.CL
Autoregressive Multi-trait Essay Scoring via Reinforcement Learning with Scoring-aware Multiple Rewards
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
本文提出SaMRL方法,通过设计基于QWK和均方误差惩罚的多重奖励,结合自回归评分生成框架,解决了多特质自动作文评分中不可微评估指标无法直接用于神经网络训练的问题,显著提升了模型对弱势题目的评分能力。
2024-09-26 cs.AI cs.CL
Can Large Language Models Differentiate Harmful from Argumentative Essays? Steps Toward Ethical Essay Scoring
Konkuk University(韩国康 kuk 大学)
本研究提出HED基准,揭示LLMs在识别有害文章方面的能力不足,并强调需开发更注重伦理因素的AES系统。
2026-01-09 cs.CL
The effects of data size on Automated Essay Scoring engines
我们研究了数据大小和质量对自动论文评分(AES)引擎性能的影响,这些引擎是根据三种不同的范式设计的;频率和手工制作的基于特征的模型,递归神经网络模型和预训练的基于transformer的语言模型,该模型经过微调用于分类。我们期望每种类型的模型以非常不同的方式从训练数据的大小和质量中受益。为AES引擎开发训练数据的标准实践是在考虑基于特征的方法的情况下建立的,然而,由于神经网络越来越多地被考虑用于生产环境,因此这项工作旨在告知我们如何为将用于生产的神经网络建立更好的训练数据。
2021-08-30 cs.AI cs.CL
Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring
Salzburg University of Applied Sciences(萨尔茨堡应用科学大学)
本文利用大型语言模型评估奥地利A级德语作文,发现其在评分一致性上存在显著不足,无法替代人类评分。
2026-03-06 cs.AI cs.CL
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
SHL Labs(SHL实验室)
针对自动作文评分系统难以识别跑题作答的问题,提出带主题正则化模块的无监督AOES模型,结合混合损失训练与马氏距离实现评分与跑题检测,性能优于基线与传统方法,且对人类级扰动鲁棒。
2024-03-24 cs.AI cs.CL cs.LG
Prompt Agnostic Essay Scorer: A Domain Generalization Approach to Cross-prompt Automated Essay Scoring
Nanjing University(南京大学)
交叉提示自动作文评分(AES)要求系统使用非目标提示作文来为目标提示作文打分。由于获得大量的预评分的文章,以一个特定的提示往往是困难和不现实的,跨提示AES的任务是至关重要的现实世界的AES系统的发展,但它仍然是一个未开发的研究领域。为特定目标AES设计的模型严重依赖于特定目标知识,并且在交叉提示设置中表现不佳,而当前交叉提示AES的方法要么需要一定量的标记目标提示文章,要么需要大量的未标记目标提示文章以多步方式执行迁移学习。为了解决这些问题,我们引入提示不可知论评分(PAES)交叉提示AES。我们的方法在训练过程中不需要访问标记或未标记的目标提示数据,并且是一种单阶段方法。PAES易于在实践中应用,并在自动学生评估奖(ASAP)数据集上实现了最先进的性能。
2020-08-04 cs.AI cs.CL cs.LG
Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
研究基于大语言模型的作文评分与反馈生成,提出RLAES框架,通过强化学习联合优化。引入RFE评估框架,提出AGFO和ACR方法。实验表明RFE能捕捉一致性,RLAES-AGFO在评分性能上最佳,保持反馈质量同时避免反馈退化。
2026-07-22 cs.AI cs.CL
Improving Performance of Automated Essay Scoring by using back-translation essays and adjusted scores
Kum Sung Middle School Number 2(金城第二中学);KIM IL SUNG University(金日成大学)
作文自动评分在评价学生的语言能力方面起着重要的作用。传统的方法使用手工制作的功能来评分,耗时且复杂。最近,神经网络方法在没有任何特征工程的情况下提高了性能。与其他自然语言处理任务不同,只有少量数据集可公开用于自动作文评分,并且数据集的大小不够大。考虑到神经网络的性能与数据集的大小密切相关,数据的缺乏限制了自动作文评分模型的性能提高。在本文中,我们提出了一种方法,以增加数量的论文分数对使用回翻译和分数调整,并将其应用到自动学生评估奖数据集的增强。我们使用先前工作中的模型评估了增强数据的有效性。此外,在一个使用长短期记忆的模型中评估了表现,该模型广泛用于自动作文评分。通过使用增广数据对模型进行训练,提高了模型的性能。
2022-03-04 cs.CL
Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems
IIIT-Delhi(德里印度理工学院);Adobe(奥多比公司);SUNY-Buffalo(布法罗纽约州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
在过去的三年里,自动评分引擎已经为大约1500万名考生评分。由于COVID-19以及相关的教育和测试自动化,这一数字正在进一步增加。尽管使用如此广泛,但这些“智能”模型的基于AI的测试文献非常缺乏。大多数提出新模型的论文仅依赖于基于二次加权Kappa(QWK)的与人类评分员的一致性来显示模型的有效性。然而,这实际上忽略了作文评分的高度多功能性。作文评分取决于连贯性、语法、相关性、充足性和词汇量等特征。到目前为止,还没有研究测试自动论文评分:AES系统全面的所有这些功能。有了这个动机,我们提出了一个模型不可知的对抗性评估计划和相关的AES系统的指标,以测试他们的自然语言的理解能力和整体的鲁棒性。我们评估目前国家的最先进的AES模型,使用所提出的计划,并报告最近的五个模型的结果。这些模型从基于特征工程的方法到最新的深度学习算法。我们发现AES模型是高度超稳定的。即使是与问题主题无关的内容的重大修改(高达25%)也不会降低模型产生的分数。另一方面,不相关的内容,平均而言,增加了分数,从而表明,模型的评价策略和标题应该重新考虑。我们还要求200名人类评分员对原始和对抗性反应进行评分,看看人类是否能发现两者之间的差异,以及他们是否同意自动评分所分配的分数。
2021-11-14 cs.AI cs.CL
Automatic Essay Scoring and Feedback Generation in Basque Language Learning
本文首次公开了针对巴斯克语C1水平的自动作文评分与反馈生成数据集,通过微调开源模型提升评分与反馈质量,验证了编码器模型的可靠性及监督微调对性能的提升。
2026-03-23 cs.AI cs.CL
Evaluating Nonuniform Dependability Across Response Conditions: A Conditional Generalizability Framework Illustrated in Automated Essay Scoring
研究针对自动作文评分中跨响应条件非均匀可靠性评估问题,引入含三个部分的条件可推广性框架,通过比较分析与经验扫描、依熵分层等,以限时L2写作自动评分验证,提供了评估非均匀可靠性的可移植工作流程。
2026-07-15 cs.AI cs.CL
Qayyem: A Real-time Platform for Scoring Proficiency of Arabic Essays
Computer Science and Engineering Department, Qatar University(卡塔尔大学计算机科学与工程系)
本文提出Qayyem平台,提供阿拉伯语作文评分的集成工作流程,通过友好的界面简化评分服务器API的交互,部署了多种先进的阿拉伯语作文评分模型。
2026-05-19 cs.CL
Exploring Automated Essay Scoring for Nonnative English Speakers
自动作文评分(AES)已经相当流行,并被广泛使用。然而,由于缺乏合适的方法来评价非英语母语者的文章,这意味着在这一领域的不平衡的进展。在本文中,我们报告了我们的实验与非本地AES的初步结果,学习从手动评估的非本地论文。为此,我们进行了一个练习,在测试环境中的非英语母语的人写的文章进行了评价手动和自动化系统设计的实验。在这个过程中,我们尝试了一些功能,以了解与非母语评估相关的细微差别。所提出的自动论文评估方法与人工评估的相关系数为0.750。
2017-09-29 cs.CL
Automated Topical Component Extraction Using Neural Network Attention Scores from Source-based Essay Scoring
University of Pittsburgh(匹兹堡大学)
虽然自动论文评分(AES)可以可靠地对论文进行评分,但自动写作评估(AWE)还提供了形成性反馈来指导论文修改。然而,神经AES通常不提供用于支持AWE的有用特征表示。本文提出了一种连接AWE和神经AES的方法,通过使用注意力层的中间输出从源文本中提取表示证据的主题成分(TC)。我们使用基于特征的AES评估性能,需要TC。结果表明,无论是使用自动或手动构造的TC的性能是相当的1)代表论文为基于规则的功能,2)评分论文。
2020-08-04 cs.CL
Autoregressive Score Generation for Multi-trait Essay Scoring
Graduate School of AI, POSTECH(浦项科技大学人工智能研究生院);aiXplain Inc.(aiXplain公司);Department of CSE, POSTECH(浦项科技大学计算机科学与工程系)
针对多维度作文评分,提出基于T5的自回归分数生成方法ArTS,将评分重构为生成任务,利用先前维度分数提升预测,平均改进超5%。
2024-03-13 cs.AI cs.CL
Mitigating Bias in Automated Essay Scoring for ESL Learners via Contrastive Learning
Georgia Institute of Technology(佐治亚理工学院);Georgia State University(佐治亚州立大学)
本文提出通过对比学习方法缓解自动评分系统对ESL学习者偏见的问题,通过构建匹配文章对数据集并使用三元组边际损失,有效减少了高熟练度评分差距,保持了评分一致性。
2026-11-03 cs.CL
From Texts to Scores: Tracing the Emergence of Essay Quality Representations in Large Language Models
NLP2 CT Lab, Department of Computer and Information Science, University of Macau(澳门大学计算机与信息科学系NLP2 CT实验室);Institute of International Language Services Studies, Macau Millennium College(澳门 millennium 学院国际语言服务研究学院);School of Data Science and Information Engineering, Guizhou Minzu University(贵州民族大学数据科学与信息工程学院)
通过线性探测等方法分析8个LLM在三个数据集上的隐藏表征,发现作文质量信息以线性可解码形式存在,并识别出与分数相关的神经元,揭示了LLM评分的内在机制。
2026-06-19 cs.AI cs.CL
Automatic Essay Scoring in a Brazilian Scenario
Faculdade de Ciências Médicas da Santa Casa de São Paulo(圣保罗圣卡萨医学院)
针对巴西ENEM葡萄牙语作文,提出基于深度学习的自动评分算法,以提升效率、公平性和一致性。
2023-12-29 cs.CL
Exploration of Summarization by Generative Language Models for Automated Scoring of Long Essays
Princeton University(普林斯顿大学);University of Maryland, College Park(马里兰大学学院市分校)
针对BERT类编码器模型受512token限制难以处理长文自动评分的问题,本研究结合摘要与提示技术应用生成式语言模型,在对应数据集上显著提升了评分准确率。
2025-11-19 cs.CL cs.LG
Corruption Is Not All Bad: Incorporating Discourse Structure into Pre-training via Corruption for Essay Scoring
Tohoku University(东北大学);Riken Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Stony Brook University(石溪大学)
现有的自动论文评分和文档表示学习方法通常依赖于话语解析器将话语结构纳入文本表示中。然而,解析器的性能并不总是足够的,特别是当它们被用于嘈杂的文本,如学生论文。在本文中,我们提出了一种无监督的预训练方法来捕获文章的连贯性和衔接方面的话语结构,不需要任何话语解析器或注释。我们为我们提出的预训练方法引入了几种类型的令牌,句子和段落级腐败技术,并使用我们的预训练方法来增强掩蔽语言建模预训练,以利用上下文和话语信息。我们提出的无监督方法在论文组织评分任务上取得了新的最先进的结果。
2020-10-13 cs.CL
Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation
Leibniz University Hannover(汉诺威莱布尼茨大学)
本文探讨了基于LLM的零样本和少样本作文反馈生成提示策略,发现联合处理作文打分与反馈生成可提升打分性能,但打分对反馈质量影响较低。
2024-04-24 cs.CL
An Automated System for Essay Scoring of Online Exams in Arabic based on Stemming Techniques and Levenshtein Edit Operations
AL-BALQA Applied University(巴尔卡应用大学)
在这篇文章中,提出了一个自动化系统,在阿拉伯语的作文评分在线考试的基础上,词干技术和Levenshtein编辑操作。已经开发了一个在线考试的拟议机制,利用轻和重词干的能力。实施的在线评分系统已被证明是一个有效的工具,自动评分的作文问题。
2016-11-08 cs.CL cs.IR
Trait-Aware Policy Optimization for Autoregressive Multi-Trait Essay Scoring
Peking University(北京大学);Baidu Inc.(百度公司)
提出特质感知策略优化(TAPO)框架,通过分解样本和特质维度的奖励并结合增强提示,提升自回归多维度作文评分性能。
2026-09-07 cs.CL
ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
该研究推出标注了整体与特征分数的ICLE++语料库,可测试ASAP训练的AES模型泛化性,助力新型AES问题模型评估,为AES研究提供关键语料库。
2026-07-31 cs.CL
Can AI grade your essays? A comparative analysis of large language models and teacher ratings in multidimensional essay scoring
Technical University Munich(慕尼黑工业大学);University of Tübingen(蒂宾根大学)
本文比较了五种大语言模型与37位教师在德语作文多维评分中的表现,发现闭源模型优于开源模型,其中o1模型与人类评分一致性最高,可用于辅助教师减负,但需改进以更好评估内容质量。
2024-11-25 cs.AI cs.CL cs.HC
Beyond Agreement: Diagnosing the Rationale Alignment of Automated Essay Scoring Methods based on Linguistically-informed Counterfactuals
Beijing Normal University(北京师范大学);Tencent AI Lab(腾讯 AI 实验室)
针对自动作文评分方法决策机制不透明的问题,提出借助大语言模型反事实干预的诊断方法,发现类BERT模型侧重句级特征,大语言模型与评分标准的理由对齐更全面,可提升神经评分方法的可解释性并推广至其他领域。
2024-10-08 cs.CL
Empirical Study of Large Language Models as Automated Essay Scoring Tools in English Composition__Taking TOEFL Independent Writing Task for Example
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院)
本研究基于TOEFL官方评分标准构建提示,评估ChatGPT在小样本英语作文自动评分中的能力与局限,发现其虽具可操作性但存在回归效应,且提示设计需深厚专业知识。
2024-01-07 cs.CL
Enhancing Arabic Automated Essay Scoring with Synthetic Data and Error Injection
MBZUAI;New York University Abu Dhabi(纽约大学阿布扎克分校)
针对阿拉伯语标注作文稀缺问题,本文用LLM生成跨CEFR水平的合成作文并比较两种错误注入方法,构建3,040篇数据集,训练基于BERT的评分系统,验证其性能提升。
2025-06-10 cs.CL
Is GPT-4 Alone Sufficient for Automated Essay Scoring?: A Comparative Judgment Approach Based on Rater Cognition
KNUE(韩国国立教育大学);Hoseo University(湖西大学)
针对 LLM 零样本作文评分不足且难以逐任务微调的问题,提出结合 LLM 与比较判断的零样本成对选择方法,并证明其优于传统评分标准法。
2024-07-08 cs.CL cs.CY
Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs
Tsinghua University(清华大学);City University of Hong Kong(香港城市大学);University of Maryland(马里兰大学);Beijing Xicheng Educational Research Institute(北京市西城区教育科学研究院)
本研究针对二语学习者的作文反馈需求,提出基于双过程理论的开源LLM自动作文评分系统,验证其评分效果可比肩微调专有模型,且能辅助人类评分者提升表现与效率,展现教育领域人机协作潜力。
2024-06-15 cs.AI cs.CL
LLM Essay Scoring Under Holistic and Analytic Rubrics: Prompt Effects and Bias
Faculty of Mathematics and Information Science, Warsaw University of Technology(华沙理工大学数学与信息科学学院);University of Wolverhampton(伍尔弗汉普顿大学)
研究评估了指令微调LLM在三种开放性作文评分数据集上的表现,发现整体评分与人类一致,但分析评分存在显著偏见,尤其在低阶关注点如语法上表现更严厉,且简洁提示优于长格式提示。
2026-03-31 cs.AI cs.CL
Automated essay scoring with string kernels and word embeddings
University of Bucharest(布加勒斯特大学)
在这项工作中,我们提出了一种方法的基础上结合字符串内核和词嵌入自动作文评分。字符串内核基于计算公共字符n-gram来捕获字符串之间的相似性,这是一种低级但强大的特征类型,在各种文本分类任务中展示了最先进的结果,例如阿拉伯方言识别或母语识别。据我们所知,我们是第一个应用字符串内核自动评分的文章。我们也是第一个将它们与高级语义特征表示相结合的人,即超词包嵌入。我们报告了自动学生评估奖数据集的最佳性能,无论是在域内还是跨域设置中,都超过了最近最先进的深度学习方法。
2018-07-06 cs.CL