Automatic Essay Scoring in a Brazilian Scenario
Faculdade de Ciências Médicas da Santa Casa de São Paulo(圣保罗圣卡萨医学院)
针对巴西ENEM葡萄牙语作文,提出基于深度学习的自动评分算法,以提升效率、公平性和一致性。
2023-12-29 cs.CL
Corruption Is Not All Bad: Incorporating Discourse Structure into Pre-training via Corruption for Essay Scoring
Tohoku University(东北大学);Riken Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Stony Brook University(石溪大学)
现有的自动论文评分和文档表示学习方法通常依赖于话语解析器将话语结构纳入文本表示中。然而,解析器的性能并不总是足够的,特别是当它们被用于嘈杂的文本,如学生论文。在本文中,我们提出了一种无监督的预训练方法来捕获文章的连贯性和衔接方面的话语结构,不需要任何话语解析器或注释。我们为我们提出的预训练方法引入了几种类型的令牌,句子和段落级腐败技术,并使用我们的预训练方法来增强掩蔽语言建模预训练,以利用上下文和话语信息。我们提出的无监督方法在论文组织评分任务上取得了新的最先进的结果。
2020-10-13 cs.CL
Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation
Leibniz University Hannover(汉诺威莱布尼茨大学)
本文探讨了基于LLM的零样本和少样本作文反馈生成提示策略,发现联合处理作文打分与反馈生成可提升打分性能,但打分对反馈质量影响较低。
2024-04-24 cs.CL
Trait-Aware Policy Optimization for Autoregressive Multi-Trait Essay Scoring
Peking University(北京大学);Baidu Inc.(百度公司)
提出特质感知策略优化(TAPO)框架,通过分解样本和特质维度的奖励并结合增强提示,提升自回归多维度作文评分性能。
2026-09-07 cs.CL
ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
该研究推出标注了整体与特征分数的ICLE++语料库,可测试ASAP训练的AES模型泛化性,助力新型AES问题模型评估,为AES研究提供关键语料库。
2026-07-31 cs.CL
Beyond Agreement: Diagnosing the Rationale Alignment of Automated Essay Scoring Methods based on Linguistically-informed Counterfactuals
Beijing Normal University(北京师范大学);Tencent AI Lab(腾讯 AI 实验室)
针对自动作文评分方法决策机制不透明的问题,提出借助大语言模型反事实干预的诊断方法,发现类BERT模型侧重句级特征,大语言模型与评分标准的理由对齐更全面,可提升神经评分方法的可解释性并推广至其他领域。
2024-10-08 cs.CL
Empirical Study of Large Language Models as Automated Essay Scoring Tools in English Composition__Taking TOEFL Independent Writing Task for Example
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院)
本研究基于TOEFL官方评分标准构建提示,评估ChatGPT在小样本英语作文自动评分中的能力与局限,发现其虽具可操作性但存在回归效应,且提示设计需深厚专业知识。
2024-01-07 cs.CL
Enhancing Arabic Automated Essay Scoring with Synthetic Data and Error Injection
MBZUAI;New York University Abu Dhabi(纽约大学阿布扎克分校)
针对阿拉伯语标注作文稀缺问题,本文用LLM生成跨CEFR水平的合成作文并比较两种错误注入方法,构建3,040篇数据集,训练基于BERT的评分系统,验证其性能提升。
2025-06-10 cs.CL
Automated essay scoring with string kernels and word embeddings
University of Bucharest(布加勒斯特大学)
在这项工作中,我们提出了一种方法的基础上结合字符串内核和词嵌入自动作文评分。字符串内核基于计算公共字符n-gram来捕获字符串之间的相似性,这是一种低级但强大的特征类型,在各种文本分类任务中展示了最先进的结果,例如阿拉伯方言识别或母语识别。据我们所知,我们是第一个应用字符串内核自动评分的文章。我们也是第一个将它们与高级语义特征表示相结合的人,即超词包嵌入。我们报告了自动学生评估奖数据集的最佳性能,无论是在域内还是跨域设置中,都超过了最近最先进的深度学习方法。
2018-07-06 cs.CL
Using Active Learning Methods to Strategically Select Essays for Automated Scoring
University of Alberta(阿尔伯塔大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
本文评估了三种主动学习方法(不确定性、拓扑和混合)在自动作文评分中策略性选择待人工评分作文的效果,结果表明三者均高效,其中拓扑方法分类效率最高。
2023-04-13 cs.CL
LAILA: A Large Trait-Based Dataset for Arabic Automated Essay Scoring
Qatar University(卡塔尔大学);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学)
LAILA是一个用于阿拉伯语自动作文评分的大型特征数据集,包含7,859篇作文,涵盖七个评分维度,并提供了使用先进模型的基准结果。
2026-01-26 cs.CL
Long Context Automated Essay Scoring with Language Models
Cambium Assessment Inc.(Cambium评估公司)
针对Transformer语言模型因长度限制截断文本而影响自动作文评分效度的问题,本研究使用Kaggle ASAP 2.0数据集评估了XLNet、Longformer、ModernBERT、Mamba和Llama等改进架构的微调模型,以克服长度限制并提升评分能力。
2025-09-12 cs.CL
TRATES: Trait-Specific Rubric-Assisted Cross-Prompt Essay Scoring
Computer Science and Engineering Department, Qatar University(计算机科学与工程系,卡塔尔大学)
TRATES提出一种基于评分量规和LLM生成特质专用特征的跨提示作文评分框架,结合通用与提示专用特征训练回归模型,在广泛数据集上所有特质均取得最先进性能。
2025-05-31 cs.CL
Automated Essay Scoring based on Two-Stage Learning
Fopure (Hangzhou) Technology Co., Ltd.(福珀(杭州)科技有限公司);University of Science and Technology of China(中国科学技术大学)
目前最先进的特征工程和端到端的自动论文评分(AES)方法被证明无法检测对抗性样本,例如由排列的句子组成的论文和不相关的论文。针对这一问题,我们提出了一个两阶段学习框架(TSLF),它结合了功能工程和端到端AES模型的优点。在实验中,我们将TSLF与一些强基线进行了比较,结果证明了我们的模型的有效性和鲁棒性。TSLF在八分之五的提示上超过了所有基线,并在没有负样本的情况下实现了最先进的平均性能。在向原始数据集添加一些对抗性文章后,TSLF在很大程度上优于功能工程和端到端基线,并表现出很强的鲁棒性。
2019-12-20 cs.CL
Error-Supervised Synthetic Learner Writing for Automated Essay Scoring
University of Greenwich(格林威治大学);FPT University(FPT大学)
本研究提出一种错误监督的合成作文生成方法,通过微调LLM生成器于错误标注文本,在较大数据下优于常规合成基线,并产生类似学习者的错误分布。
2026-09-22 cs.CL
Automated Refinement of Essay Scoring Rubrics for Language Models via Reflect-and-Revise
The University of Tokyo(东京大学)
本研究针对大型语言模型在自动化作文评分中对提示敏感的问题,提出一种通过反思模型自身评分理由及与人类评分差异来迭代优化评分量规的方法,实验证明其能显著提升评分一致性,即使使用简单初始量规也能达到与人类撰写量规相当的效果。
2025-10-10 cs.CL
Unleashing Large Language Models' Proficiency in Zero-shot Essay Scoring
National Key Laboratory for Multimedia Information Processing, Peking University(北京大学多媒体信息处理国家重点实验室);School of Computer Science, Peking University(北京大学计算机学院);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院)
本文提出零样本提示框架MTS,将写作能力分解为多个特质并逐轮评分后综合得出总分,在TOEFL11和ASAP上显著提升大语言模型的作文评分性能,并使小模型Llama2-13b-chat超越ChatGPT。
2024-10-03 cs.CL
Agreement Between Large Language Models and Human Raters in Essay Scoring: A Research Synthesis
Department of Educational Policy Studies, Georgia State University(乔治亚州立大学教育政策研究系)
通过综合65项研究,发现大型语言模型与人类评分者在论文评分中的一致性高度依赖上下文,且跨研究及研究内部差异显著。
2026-05-25 cs.CL
Tapping the Potential of Coherence and Syntactic Features in Neural Models for Automatic Essay Scoring
Guangdong University of Foreign Studies(广东外语外贸大学);University of Montreal(蒙特利尔大学)
在自动作文评分的特定于考生的整体分数预测任务中,一般的方法包括预训练的神经模型,连贯性模型,以及将句法特征与神经模型相结合的混合模型。在本文中,我们提出了一种新的方法来提取和表示文章的连贯性特征,与非学习NSP,显示匹配的国家的最先进的AES连贯性模型,并实现了最佳的性能为长文。我们采用语法特征密集嵌入来增强基于BERT的模型,并实现了AES混合方法的最佳性能。此外,我们还探索了将连贯、句法信息和语义嵌入结合起来的各种思路,这是以前没有研究过的。我们的组合模型也比组合模型可用的SOTA表现更好,即使它没有优于我们的语法增强神经模型。我们进一步提供分析,可以为今后的研究有用。
2022-11-24 cs.CL
Toward Educator-focused Automated Scoring Systems for Reading and Writing
University of California, Berkeley(加州大学伯克利分校)
本文提出了提高自动作文评分的方法,解决自我注意力和文档长度的计算权衡的技术。为了使自动论文评分(AES)对从业者更有用,研究人员必须克服数据和标签可用性、真实和扩展写作、领域评分、提示和来源多样性以及迁移学习等挑战。本文使用神经网络模型解决了这些挑战,通过采用保留文章长度作为重要特征而不增加模型训练成本的技术。它介绍了使用多目标学习来最小化序数标签上的分类损失的技术,使用句子嵌入在任意长的文档中使用Transformer架构来捕获整篇文章中的语义信息,使用这种模型进行迁移学习,基于文本语料库元数据的自动超参数生成,最重要的是,使用语义信息,通过分析学生的依赖性写作,为学生的阅读提供有意义的见解,从而为各种论文任务提供最先进的结果。
2021-12-22 cs.CL
MAPLE: A Meta-learning Framework for Cross-Prompt Essay Scoring
Computer Science and Engineering Department, Qatar University(卡塔尔大学计算机科学与工程系)
MAPLE通过元学习框架提升跨提示作文评分的泛化能力,在ELLIPSE和LAILA数据集上取得最佳性能,优于基线方法。
2026-04-19 cs.CL
Many Hands Make Light Work: Using Essay Traits to Automatically Score Essays
IIT Patna(印度理工学院巴特那分校);IIT Bombay(印度理工学院孟买分校)
自动论文评分(AEG)领域的大多数研究都是面向整体评分的论文,同时也有一些工作对个人的论文特征进行评分。在本文中,我们描述了一种使用多任务学习(MTL)方法对文章进行整体评分的方法,其中对文章进行整体评分是主要任务,对文章特征进行评分是辅助任务。我们将我们的结果与使用LSTM和BiLSTM的单任务学习(STL)方法进行比较。我们还比较了我们的辅助任务与其他AEG系统中完成的任务的结果。为了找出哪些特质最适合不同类型的文章,我们对每种文章特质进行了消融测试。我们还报告了每个系统的运行时间和训练参数的数量。我们发现,基于MTL的BiLSTM系统给出了最好的结果,从整体上评分的文章,以及表现良好的评分的文章特质。
2021-02-01 cs.AI cs.CL
Automated Essay Scoring Using Grammatical Variety and Errors with Multi-Task Learning and Item Response Theory
Nara Institute of Science and Technology(奈良科学技术研究所)
本研究提出在自动作文评分中引入语法正确使用项目和语法错误数量作为特征,并结合多任务学习与项目反应理论估计语法能力及项目难度进行加权,从而有效提升作文整体分数预测性能。
2024-06-13 cs.CL
Exploration of Summarization by Generative Language Models for Automated Scoring of Long Essays
Princeton University(普林斯顿大学);University of Maryland, College Park(马里兰大学学院市分校)
针对BERT类编码器模型受512token限制难以处理长文自动评分的问题,本研究结合摘要与提示技术应用生成式语言模型,在对应数据集上显著提升了评分准确率。
2025-11-19 cs.CL cs.LG
H-AES: Towards Automated Essay Scoring for Hindi
Manipal University Jaipur(马尼帕尔大学斋浦尔分校);BITS Pilani, K K Birla Goa Campus(比拉理工学院皮拉尼分校果阿校区);Indraprastha Institute of Information Technology, Delhi(德里英迪拉普拉沙信息技术学院);Pune Institute of Computer Technology(浦那计算机技术学院);Sardar Vallabhbhai National Institute of Technology, Surat(萨达尔·瓦拉巴伊国家技术学院苏拉特分校);University of Allahabad(阿拉哈巴德大学);Banaras Hindu University(贝拿勒斯印度教大学)
自然语言处理(NLP)在自动论文评分(AES)中的应用已经在英语语言中得到了很好的探索,基准模型表现出与人类评分员相当的性能。然而,印地语和其他低资源语言中的AES仍然未被探索。在这项研究中,我们再现和比较国家的最先进的方法AES在印地语域。我们采用经典的基于特征的机器学习(ML)和先进的端到端模型,包括LSTM网络和微调Transformer架构,在我们的方法中,并得出与英语语言领域相当的结果。印地语是一种低资源语言,缺乏专门的文章评分语料库。我们使用翻译的英语文章来训练和评估我们的模型,并在我们自己的小规模真实世界的印地语语料库上实证地测量它们的性能。我们随后深入分析讨论了不同语言模型实现的特定于XML的行为。
2023-02-28 cs.CL
Review of feedback in Automated Essay Scoring
Kum Sung Middle School Number 2(金星第二中学);KIM IL SUNG University(金日成大学)
本文综述自动作文评分系统中的反馈研究,梳理反馈类型、作文特征及最新反馈型AES系统案例,强调反馈对写作学习的关键作用。
2023-07-09 cs.AI cs.CL cs.LG
Rationale Behind Essay Scores: Enhancing S-LLM's Multi-Trait Essay Scoring with Rationale Generated by LLMs
Graduate School of Data Science, KAIST(韩国科学技术院数据科学研究生院);Department of Industrial & Systems Engineering, KAIST(韩国科学技术院工业与系统工程系)
本文提出RMTS方法,将LLM生成的特质级评分理由与S-LLM微调评分模型结合,在ASAP、ASAP++和Feedback Prize等基准上显著提升多特质论文评分的准确性与可解释性。
2025-02-05 cs.AI cs.CL
A Unified Framework to Elicit Structured Feedback for Interpretable Multi-Trait Essay Scoring
Peking University(北京大学);Beijing Normal University(北京师范大学)
该研究针对多特质自动作文评分中反馈与评分分离的问题,提出统一框架HiFTS,结合教师LLM提炼反馈并训练学生模型,在新数据集CFMS-34及ASAP++上取得优异评分与反馈效果。
2026-08-31 cs.CL
Activations as Features: Probing LLMs for Generalizable Essay Scoring Representations
本文通过分析LLMs中间层激活,探索其在跨提示作文评分中的判别能力,发现激活能有效适应不同评分标准,提升作文评分的通用性。
2025-12-22 cs.AI cs.CL
Automated Essay Scoring and Language Certification: Assessing Generalizability, Agreement and Validity for French
University of Exeter(埃克塞特大学);France Éducation international(法国教育国际);Cental, IL&C, UCLouvain;Computer Science and Engineering Department, Universidad Carlos III de Madrid(马德里卡斯蒂利亚大学计算机科学与工程系)
本文提出一个增强的论证有效性框架,通过公平性分析、语言特征相关性、预测误差评估和与人工评分的一致性比较,对8种模型架构在法语作文评分上进行多维评估,推进了法语自动作文评分的前沿。
2026-06-01 cs.CL
An Automated System for Essay Scoring of Online Exams in Arabic based on Stemming Techniques and Levenshtein Edit Operations
AL-BALQA Applied University(巴尔卡应用大学)
在这篇文章中,提出了一个自动化系统,在阿拉伯语的作文评分在线考试的基础上,词干技术和Levenshtein编辑操作。已经开发了一个在线考试的拟议机制,利用轻和重词干的能力。实施的在线评分系统已被证明是一个有效的工具,自动评分的作文问题。
2016-11-08 cs.CL cs.IR
Data Augmentation for Automated Essay Scoring using Transformer Models
BITS Pilani(比尔拉科学技术学院)
作文自动评分是自然语言处理中的一个重要问题。这个问题已经探索了很多年,仍然部分得到解决。除了经济和教育用途外,它还提出了研究问题。迁移学习已被证明是有益的NLP。数据增强技术也帮助建立了最先进的自动作文评分模型。过去的许多作品都试图通过使用RNN,LSTM等来解决这个问题。这项工作研究了Transformer模型,如BERT,RoBERTa等。我们经验性地证明了Transformer模型和数据增强的有效性,用于使用单个模型在许多主题中进行自动论文评分。
2023-02-06 cs.AI cs.CL
Adversarial Topic-aware Prompt-tuning for Cross-topic Automated Essay Scoring
Shandong University of Finance and Economics(山东财经大学);University of Toronto(多伦多大学)
针对跨主题自动作文评分中主题差异导致的迁移难题,提出对抗性主题感知提示微调方法ATOP,通过联合学习主题共享与特定特征并结合对抗训练及伪标签策略,显著提升了评分性能。
2025-08-08 cs.CL
Is GPT-4 Alone Sufficient for Automated Essay Scoring?: A Comparative Judgment Approach Based on Rater Cognition
KNUE(韩国国立教育大学);Hoseo University(湖西大学)
针对 LLM 零样本作文评分不足且难以逐任务微调的问题,提出结合 LLM 与比较判断的零样本成对选择方法,并证明其优于传统评分标准法。
2024-07-08 cs.CL cs.CY
Does the Prompt-based Large Language Model Recognize Students' Demographics and Introduce Bias in Essay Scoring?
Centre for Learning Analytics, Monash University(学习分析中心,莫纳什大学)
本研究探讨了基于提示的大语言模型在自动作文评分中能否识别学生人口统计特征及引入偏见,发现GPT-4o能部分推断学生第一语言背景,且正确预测时评分偏见更显著,非母语者评分误差增加。
2025-04-30 cs.CL
LLM Agents at the Roundtable: A Multi-Perspective and Dialectical Reasoning Framework for Essay Scoring
NC AI;Chung-Ang University
本文提出多智能体框架 RES,通过模拟圆桌讨论和辩证推理整合多视角作文评估,在零样本条件下显著提升自动作文评分与人类评价的一致性。
2025-09-19 cs.CL
A School Student Essay Corpus for Analyzing Interactions of Argumentative Structure and Quality
Leibniz University Hannover(汉诺威莱布尼茨大学);Paderborn University(帕德博恩大学)
本文构建含1,320篇德语学生作文、多粒度标注论证结构与质量的语料库,并提出论证挖掘和作文评分基线以分析任务交互。
2024-04-03 cs.CL
Automatic Essay Multi-dimensional Scoring with Fine-tuning and Multiple Regression
University of Tübingen(蒂宾根大学);Stuttgart University(斯图加特大学)
针对现有AES系统仅输出单一总分的局限,本文提出两个基于微调与多元回归的多维评分模型,在两个大型数据集上对英语作文进行多维度评分,在精确率、F1和二次加权Kappa上表现优异且总分超越现有方法。
2024-06-03 cs.AI cs.CL
ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation
Fudan University(复旦大学)
本文提出开源可本地部署的ArguLens系统,将自动作文评分分解为三个解耦组件,在PERSUADE 2.0测试集上取得良好评分效果,附带反馈生成器并以Apache 2.0许可发布。
2026-08-19 cs.CL
PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback
Department of Educational Psychology, East China Normal University(华东师范大学教育心理学系);Shanghai Institute of Artificial Intelligence for Education, East China Normal University(华东师范大学上海智能教育研究院);School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
提出PsyScore框架,通过共享潜在能力表示整合诊断评估与教学支架,包括特质自适应神经IRT评分器、ZPD支架反馈生成器和多视角反馈评估策略,在ASAP++数据集上实现竞争性评分性能并提供更符合教学法的反馈。
2026-06-19 cs.CL
Do We Need a Detailed Rubric for Automated Essay Scoring using Large Language Models?
The University of Tokyo(东京大学)
本研究探讨了基于大语言模型的自动作文评分中详细评分规则的必要性,发现简化规则在多数模型上能保持评分准确性并显著减少token使用,但模型间表现差异仍需针对性评估。
2025-05-02 cs.CL
Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring
POSTECH(浦项科技大学)
本文提出一种提示与特质关系感知的跨提示论文特质评分模型,利用论文-提示注意力和主题一致性特征,并设计特质相似性损失,在跨提示场景下实现多特质评分,取得最先进结果。
2023-05-26 cs.AI cs.CL
On the Use of BERT for Automated Essay Scoring: Joint Learning of Multi-Scale Essay Representation
LAIX Inc.(流利说公司);Shanghai Key Laboratory of Artificial Intelligence in Learning and Cognitive Science(上海学习与认知科学人工智能重点实验室)
近年来,预训练模型在大多数自然语言处理(NLP)任务中占据主导地位。然而,在自动论文评分(AES)领域,像BERT这样的预训练模型还没有被正确地用于超越其他深度学习模型,如LSTM。在本文中,我们介绍了一种新的多尺度论文表示BERT,可以共同学习。我们还采用了多个损失和迁移学习从域外论文,以进一步提高性能。实验结果表明,该方法在ASAP任务中获得了几乎所有深度学习模型中最先进的结果。我们的多尺度论文表示也很好地推广到CommonLit Readability Prize数据集,这表明本文提出的新颖文本表示可能是长文本任务的一个新的有效选择。
2022-05-21 cs.AI cs.CL
Towards Prompt Generalization: Grammar-aware Cross-Prompt Automated Essay Scoring
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对自动作文评分中现有方法在跨提示场景下泛化能力不足的问题,提出语法感知的跨提示特质评分(GAPS),通过整合语法纠错信息学习通用作文表示,在跨提示场景中实现显著的QWK增益及泛化能力提升。
2025-02-12 cs.AI cs.CL
Investigating first-language bias in LLM-based automated essay scoring: A cross-prompt evaluation of an open-weight AI-model on TOEFL essays
研究基于大语言模型的自动作文评分中母语偏见,用LoRA适配的开放权重模型Gemma-3-27B-it,在托福作文语料库测试其跨提示泛化和母语评分效果,发现有评分偏移,实现了较高等级一致性,是首次此类大规模L1公平性分析。
2026-07-17 cs.CL cs.CY
LCES: Zero-shot Automated Essay Scoring via Pairwise Comparisons Using Large Language Models
Deloitte Analytics R&D(德勤分析研究与开发)
本文提出LCES方法,将零样本自动作文评分转化为成对比较任务,并利用RankNet将LLM偏好高效转换为连续分数,在多个基准上以更低成本取得优于传统零样本方法的准确性和鲁棒性。
2025-09-21 cs.AI cs.CL
Composable Cross-prompt Essay Scoring by Merging Models
National Key Laboratory for Multimedia Information Processing(国家多媒体信息处理重点实验室);Peking University School of Computer Science(北京大学计算机学院);Peking University(北京大学)
提出无源适应的跨提示作文评分方法,通过选择性合并源模型参数(任务向量线性组合)并采用先验编码信息最大化优化,在LLM实验中优于联合训练且鲁棒高效。
2025-05-24 cs.CL
Automated Essay Scoring in Argumentative Writing: DeBERTeachingAssistant
Cornell University(康奈尔大学)
针对自动作文评分忽视说服力的问题,提出基于Transformer的架构,在议论文话语元素说服力标注上超越人类准确率,并计划通过可解释性研究为学生提供可操作反馈。
2023-07-09 cs.CL
Automated Essay Scoring Using Transformer Models
University of Mannheim(曼海姆大学)
自动论文评分(AES)在教育部门越来越受到关注,因为它大大减轻了手动评分的负担,并允许为学习者提供特别反馈。基于机器学习的自然语言处理已被证明特别适合于文本分类和AES。虽然AES的许多机器学习方法仍然依赖于词袋(BOW)方法,但本文考虑了一种基于transformer的方法,将其性能与基于BOW方法的逻辑回归模型进行比较,并讨论了它们的差异。该分析基于2,088封针对解决问题任务的电子邮件回复,这些电子邮件被手动标记为礼貌。在该分析中考虑的两个Transformer模型在没有对基于回归的模型进行任何超参数调整的情况下都表现出色。我们认为,AES的任务,如礼貌分类,基于变换的方法具有显着的优势,而BOW的方法遭受不考虑词序和减少的话,他们的干。此外,我们还展示了这些模型如何帮助提高人类评分员的准确性,并提供了如何为自己的目的实现基于transformer的模型的详细说明。
2021-10-13 cs.CL
Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays
ELLIS Alicante(埃利斯阿尔瓦雷斯);Universitat d'Alacant(阿尔瓦雷斯大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出基于特征的自动论说作文评分方法,通过两种建模范式提升评分准确性,并展示小型LLM在无需微调下的竞争力。
2026-02-04 cs.CL
Improve LLM-based Automatic Essay Scoring with Linguistic Features
针对自动作文评分中不同提示处理的挑战,本文结合有监督特征法和LLM法,将语言特征融入LLM评分,提出的混合方法在域内和域外提示上均优于基线模型。
2025-02-13 cs.AI cs.CL
Rank-Then-Score: Enhancing Large Language Models for Automated Essay Scoring
Peking University(北京大学);Beijing Normal University(北京师范大学)
本文提出Rank-Then-Score微调框架,通过先排序生成候选分数集再评分的方式增强大语言模型的自动作文评分能力,在HSK和ASAP数据集上均优于直接提示方法。
2025-04-08 cs.AI cs.CL
Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems
Cambium Assessment Inc.(Cambium评估公司)
本研究提出将自动反馈系统的拼写语法纠错、论证要素标注融入自动作文评分流程,基于PERSUADE语料库,用两类LLM生成标注,验证了该方法可提升编码器类大语言模型的作文评分性能。
2025-09-02 cs.AI cs.CL
Teach-to-Reason with Scoring: Self-Explainable Rationale-Driven Multi-Trait Essay Scoring
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对多维度作文评分缺乏解释性的问题,提出RaDME框架,将大语言模型的推理能力蒸馏至小模型,实现评分与理由生成,提升透明度与准确性。
2025-02-28 cs.AI cs.CL