Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation
Leibniz University Hannover(汉诺威莱布尼茨大学)
本文探讨了基于LLM的零样本和少样本作文反馈生成提示策略,发现联合处理作文打分与反馈生成可提升打分性能,但打分对反馈质量影响较低。
2024-04-24 cs.CL
Word Embedding for Response-To-Text Assessment of Evidence
University of Pittsburgh(匹兹堡大学);Department of Computer Science(计算机科学系);Department of Computer Science & LRDC(计算机科学系和LRDC);Pittsburgh, PA 15260(宾夕法尼亚州匹兹堡市15260)
手动对文本响应评估(RTA)进行评分是一项劳动密集型工作。因此,一个自动的方法正在开发的分析写作评分时,RTA是在大量的教室管理。我们的长期目标是也使用这种评分方法,为学生和教师提供有关学生写作质量的形成性反馈。作为实现这一目标的第一步,已经开发出了可解释的功能,用于自动对RTA的证据规则进行评分。在本文中,我们提出了一个简单的,但有前途的方法,提高证据评分采用词嵌入模型。我们评估我们的方法上的语料库的反应写上小学生。
2019-08-06 cs.AI cs.CL
Knowledge Distillation of LLM for Automatic Scoring of Science Education Assessments
AI4STEM Education Center(AI4STEM教育中心);University of Georgia(佐治亚大学)
针对科学教育评估自动评分在资源受限设备上的部署难题,提出利用LLM软标签和专用损失函数训练0.03M学生网络的知识蒸馏方法,准确率优于ANN和TinyBERT且显著更小更快。
2024-06-11 cs.AI cs.CL
Automated Essay Scoring in Argumentative Writing: DeBERTeachingAssistant
Cornell University(康奈尔大学)
针对自动作文评分忽视说服力的问题,提出基于Transformer的架构,在议论文话语元素说服力标注上超越人类准确率,并计划通过可解释性研究为学生提供可操作反馈。
2023-07-09 cs.CL
Using GPT-4 to Augment Unbalanced Data for Automatic Scoring
Franklin College of Arts and Sciences, University of Georgia(佐治亚大学富兰克林文理学院);Mary Frances Early College of Education, University of Georgia(佐治亚大学玛丽·弗朗西斯·厄尔利教育学院)
针对自动评分中学生回答类别不平衡问题,提出利用 GPT-4 生成少数类回答并微调 DistillBERT,证明 20%–40% 增强数据可稳定提升性能。
2024-09-06 cs.AI cs.CL cs.CY
Real-Time Automated Answer Scoring
PES University(PES大学)
近年来,大数据分析的作用呈指数级增长,现在正慢慢进入教育行业。在这一领域正在进行一些尝试,以提高向学生提供的教育质量,虽然以前已经进行了许多合作,但在相当有限的程度上探索了答案的自动评分。选择建构反应评估而不是多项选择评估的最大障碍之一是评估所带来的努力和巨大成本,这正是本项目旨在解决的问题。其目的是接受学生以答案形式输入的原始信息,对答案进行预处理,并自动对答案进行评分。此外,我们已经使这一实时的【形】系统,捕捉“快照”的作家的进展方面的答案,使我们能够挖掘趋势方面的方式,学生认为,以及如何学生已经达到他们的最终答案。
2022-10-13 cs.AI cs.CL cs.CY
Matching Exemplar as Next Sentence Prediction (MeNSP): Zero-shot Prompt Learning for Automatic Scoring in Science Education
School of Computing, University of Georgia(佐治亚大学计算学院);AI4STEM Education Center, University of Georgia(佐治亚大学AI4STEM教育中心)
本研究提出零样本提示学习方法 MeNSP,将科学教育中学生回答的自动评分转化为下一句预测任务,无需微调即可达到可参考的机评一致性,显著降低训练成本并适用于低风险课堂评估。
2023-05-31 cs.AI cs.CL
Applying Large Language Models and Chain-of-Thought for Automatic Scoring
University of Georgia(佐治亚大学)
本研究探讨GPT-3.5和GPT-4结合思维链在科学评估学生作答自动评分中的应用,发现少样本优于零样本,CoT与题干和评分量规结合显著提升准确率,GPT-4单次调用贪婪采样表现最佳。
2024-02-16 cs.AI cs.CL
Rubric Spans are Label Representations: Joint LLM Encoding for Short Answer Scoring
DIPF | Leibniz Institute for Research and Information in Education(DIPF | 莱布尼茨教育与信息研究所);Centre for International Student Assessment (ZIB)(国际学生评估中心(ZIB));Goethe University Frankfurt(法兰克福歌德大学)
提出 RUSPAN 框架,将评分标准视为标签表示并联合编码问题、回答与标准级别,通过评分标准无关掩码实现零样本迁移,在六种语言的 ASAS 基准上超越基线,并在 PT-ASAG 上取得显著提升。
2026-10-08 cs.CL
Fine-tuning ChatGPT for Automatic Scoring
AI4STEM Education Center, University of Georgia(佐治亚大学AI4STEM教育中心)
本研究通过微调GPT-3.5在六个科学教育评估任务上自动评分学生回答,相比BERT平均准确率提升9.1%,验证了领域微调的有效性。
2023-12-26 cs.AI cs.CL
Toward Educator-focused Automated Scoring Systems for Reading and Writing
University of California, Berkeley(加州大学伯克利分校)
本文提出了提高自动作文评分的方法,解决自我注意力和文档长度的计算权衡的技术。为了使自动论文评分(AES)对从业者更有用,研究人员必须克服数据和标签可用性、真实和扩展写作、领域评分、提示和来源多样性以及迁移学习等挑战。本文使用神经网络模型解决了这些挑战,通过采用保留文章长度作为重要特征而不增加模型训练成本的技术。它介绍了使用多目标学习来最小化序数标签上的分类损失的技术,使用句子嵌入在任意长的文档中使用Transformer架构来捕获整篇文章中的语义信息,使用这种模型进行迁移学习,基于文本语料库元数据的自动超参数生成,最重要的是,使用语义信息,通过分析学生的依赖性写作,为学生的阅读提供有意义的见解,从而为各种论文任务提供最先进的结果。
2021-12-22 cs.CL
BRIDGE the Gap: Mitigating Bias Amplification in Automated Scoring of English Language Learners via Inter-group Data Augmentation
School of Computing, University of Georgia, Athens, GA, USA(佐治亚大学计算机学院,美国亚特兰大,GA);Educational Testing Service, Princeton, NJ, USA(教育测试服务,美国新泽西州普林斯顿,NJ);AI4STEM Education Center, University of Georgia, Athens, GA, USA(AI4STEM教育中心,佐治亚大学,美国亚特兰大,GA);The Hong Kong Polytechnic University, Hong Kong, China(香港理工大学,中国香港)
本文提出BRIDGE框架,通过合成高分英语学习者样本减少自动评分中的偏见放大,实验表明其在保持评分性能的同时有效提升公平性。
2026-04-18 cs.AI cs.CL
A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
我们解决的任务,自动评分的能力的候选人的文本特征的基础上,从自动语音识别(ASR)transmitting在异步视频求职面试(AVI)。关键的挑战是如何构建问题和答案之间的依赖关系,并进行语义级的互动,为每个问答(QA)对。然而,目前对AVI的研究大多集中在如何更好地表示问题和答案上,而忽略了问题和答案之间的依赖信息和相互作用,这对QA评估至关重要。在这项工作中,我们提出了一种分层推理图神经网络(HRGNN)来自动评估问答对。具体而言,我们构建了一个句子级关系图神经网络来捕获问题和答案之间的句子依赖信息。基于这些图,我们采用语义级推理图注意力网络模型的互动状态的当前QA会话。最后,我们提出了一个门控递归单元编码器来表示最终预测的时间问答对。在CHNAT(一个真实世界的数据集)上进行的实证结果验证了我们提出的模型显着优于基于文本匹配的基准模型。烧蚀研究和10个随机种子的实验结果也表明了我们的模型的有效性和稳定性。
2020-12-22 cs.CL cs.LG
Unveiling the Tapestry of Automated Essay Scoring: A Comprehensive Investigation of Accuracy, Fairness, and Generalizability
Monash University(莫纳什大学);Jinan University(暨南大学)
本文系统评估九种自动作文评分方法,揭示提示特定模型虽准确性更高但经济状况偏差更大,而结合精心特征的传统机器学习模型在准确性与公平性上更具泛化潜力。
2024-01-11 cs.CL
Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation
Ant Group(蚂蚁集团);Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团);University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);University of Electronic Science and Technology of China(电子科技大学)
针对长程在线策略蒸馏中均匀监督分配不佳的问题,提出分层框架LENS-OPD,通过定位、验证、精炼三个阶段,在多个智能体基准上显著提升任务性能。
2026-09-29 cs.CL
Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring
IIIT-Delhi(德里印度理工学院);Adobe(Adobe公司);SUNY-Buffalo(纽约州立大学布法罗分校)
自动语音评分(Automatic Speech Scoring,ASS)是一种计算机辅助的语言口语能力评估。ASS系统面临着许多挑战,如开放语法,可变发音和非结构化或半结构化内容。最近的深度学习方法在这一领域显示出了一些希望。然而,大多数这些方法都集中在从单个音频中提取特征,这使得它们缺乏建模这种复杂任务所需的特定于说话者的上下文。我们提出了一种用于非原生ASS的新型深度学习技术,称为说话者条件分层建模。在我们的技术中,我们利用了口语水平测试对候选人的多个响应进行评级的事实。我们从这些响应中提取上下文向量,并将它们作为额外的特定于说话者的上下文提供给我们的网络,以获得特定的响应。我们将我们的技术与强基线进行比较,发现这种建模将模型的平均性能提高了6.92%(最大值= 12.86%,最小值= 4.51%)。我们进一步展示了定量和定性的见解,这一额外的背景下,在解决问题的ASS的重要性。
2021-08-30 cs.CL cs.LG cs.SD
A Hierarchical Probabilistic Framework for Incremental Knowledge Tracing in Classroom Settings
针对课堂在线低资源知识追踪问题,提出基于隐马尔可夫树和 EM 的 KT$^2$ 概率框架,利用分层 KC 先验并支持增量更新,实验显示其持续优于强基线。
2025-06-11 cs.CL
Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model
EduLab, Inc.(EduLab公司)
本文针对简答题自动评分中分析性分数标注困难的问题,提出结合LLM一次性提示与领域自适应文本相似度评分模型的方法,在公开ASAG数据集上取得0.67准确率和0.71二次加权kappa,显著优于多数类基线。
2023-05-29 cs.CL
RETUYT-INCO at BEA 2026 Shared Task 2: Meta-prompting in Rubric-based Scoring for German
Instituto de Computación, Facultad de Ingeniería, Universidad de la República(计算研究所,工程学院,乌拉圭共和国大学)
本文介绍了RETUYT-INCO在BEA 2026共享任务2中的参与,提出元提示方法用于德语短答案评分,结合经典机器学习、微调开源大模型等方法,取得前三项任务的优异成绩。
2026-05-11 cs.AI cs.CL
Distilling Directional Verification
Korea University(高丽大学);Yonsei University Mirae Campus(延世大学未来校区);Soongsil University(崇实大学);Konkuk University(建国大学)
提出方向性标签蒸馏,利用教师模型在已知方向评分候选答案,生成更准确的训练标签,显著提升学生模型在开放式查询上的准确性,并减少错误转移。
2026-10-02 cs.AI cs.CL cs.LG
Benchmarking Generative AI for Scoring Medical Student Interviews in Objective Structured Clinical Examinations (OSCEs)
Cornell University(康奈尔大学);Yale University(耶鲁大学);University of California San Francisco(旧金山大学)
本研究以10个OSCE病例和174个专家评分为基准,评测四种LLM在MIRS全部28项上的自动评分表现,显示AI辅助评估可行但完全准确率仍有限。
2025-05-15 cs.AI cs.CL
Can AI grade your essays? A comparative analysis of large language models and teacher ratings in multidimensional essay scoring
Technical University Munich(慕尼黑工业大学);University of Tübingen(蒂宾根大学)
本文比较了五种大语言模型与37位教师在德语作文多维评分中的表现,发现闭源模型优于开源模型,其中o1模型与人类评分一致性最高,可用于辅助教师减负,但需改进以更好评估内容质量。
2024-11-25 cs.AI cs.CL cs.HC
Automatic Short Answer Grading and Feedback Using Text Mining Methods
University of Leicester(莱斯特大学)
自动评分不是一种新方法,但采用最新技术进行自动评分的需求变得非常重要。随着该技术在考试和论文评分方面的迅速发展,特别是从20世纪90年代开始,使用计算方法的部分或全部自动评分系统已经发展并成为一个主要的研究领域。特别地,对自然语言响应进行评分的需求已经产生了对可以应用于对这些响应进行自动评分的工具的需要。在本文中,我们专注于自动评分的概念,简答问题,如典型的英国GCSE系统,并提供有用的反馈,他们的答案给学生。我们目前的实验结果提供的数据集从介绍计算机科学类在北德克萨斯大学。我们首先应用标准的数据采掘技术的语料库的学生答案的测量学生的答案和模型答案之间的相似性的目的。这是基于常用词的数量。然后,我们评估这些相似性和评分员所给予的分数之间的关系。然后,我们考虑一种方法,学生的答案分组成集群。每一组将被授予相同的分数,并给予同一组中的每个答案相同的反馈。通过这种方式,我们证明了集群表示谁被授予相同或相似的分数的学生群体。比较每个聚类中的单词,以表明聚类是基于模型答案中使用了多少单词和哪些单词来构建的。本文的主要创新之处在于,我们设计了一个模型来预测分数的基础上的学生的答案和模型答案之间的相似性。
2019-12-19 cs.CL
The Effectiveness of a Dynamic Loss Function in Neural Network Based Automated Essay Scoring
本文提出一种动态损失函数,通过激励模型预测正确分布和数值来解决自动作文评分中回归模型的欠拟合问题,且在ASAP-AES数据集上取得0.752的QWK分数而不牺牲性能。
2023-05-15 cs.AI cs.CL
Distilling ChatGPT for Explainable Automated Student Answer Assessment
King’s College London(伦敦国王学院);AQA(AQA考试委员会);The Alan Turing Institute(艾伦·图灵研究所)
本文提出一种利用ChatGPT生成并修正评分理由以微调小模型的框架,在提升自动化学生答案评估QWK分数11%的同时实现可解释性。
2023-10-24 cs.CL
Can generative AI figure out figurative language? The influence of idioms on essay scoring by ChatGPT, Gemini, and Deepseek
Middle East Technical University(中东技术大学)
本研究评估ChatGPT、Gemini和Deepseek对含习语作文的评分表现,发现Gemini在评分者间信度上最优,且最接近人工评分模式,有望独立承担作文评分任务。
2025-10-16 cs.AI cs.CL
Quality-Conditioned Agreement in Automated Short Answer Scoring: Mid-Range Degradation and the Impact of Task-Specific Adaptation
Weizmann Institute of Science(魏茨曼科学研究院);ETS(教育考试服务中心)
研究自动简答题评分中不同模型的任务适应程度与质量条件评分一致性的关系,发现所有AI模型在完全正确和完全错误的回答上表现良好,但在中等范围回答上出现显著退化,且退化程度与任务特定数据量相关。
2026-05-24 cs.AI cs.CL
Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring
Salzburg University of Applied Sciences(萨尔茨堡应用科学大学)
本文利用大型语言模型评估奥地利A级德语作文,发现其在评分一致性上存在显著不足,无法替代人类评分。
2026-03-06 cs.AI cs.CL
Improve LLM-based Automatic Essay Scoring with Linguistic Features
针对自动作文评分中不同提示处理的挑战,本文结合有监督特征法和LLM法,将语言特征融入LLM评分,提出的混合方法在域内和域外提示上均优于基线模型。
2025-02-13 cs.AI cs.CL
AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment
King’s College London(伦敦国王学院);AQA
本文提出 AERA Chat 交互式平台,利用多个 LLM 同步评分并生成可解释理由,辅以可视化、标注和评估工具,支持多数据集上的理由质量比较分析。
2025-09-28 cs.CL
Exploring AI-Generated Text in Student Writing: How Does AI Help?
Precious Blood Secondary School(宝血中学);The Education University of Hong Kong(香港教育大学);The University of Hong Kong(香港大学);Hoi Ping Chamber of Commerce Secondary School(海平商会中学)
本研究通过分析23名香港中学生的AI辅助故事写作,发现人类与AI生成词数均显著影响评分,且AI生成文本对高低分学生的写作质量均有提升作用,为EFL写作教学和NLG工具设计提供依据。
2024-01-01 cs.AI cs.CL cs.CY
A Hybrid Hierarchical 1D-CNN-BiLSTM Framework for Extractive Summarization of Biomedical and Clinical Text
NUCES-FAST Lahore(拉合尔国立计算机与新兴科学大学(FAST))
提出混合分层1D-CNN-BiLSTM框架,通过抽取式句子选择避免生成式幻觉,在生物医学文本摘要中优于基线,实现事实有据的可靠摘要。
2026-11-10 cs.CL
Bi-LSTM Scoring Based Similarity Measurement with Agglomerative Hierarchical Clustering (AHC) for Speaker Diarization
Columbia University(哥伦比亚大学);Recognition Technologies, Inc.(识别技术公司)
跨不同场景的大多数语音信号对于仅包含单个扬声器的明确定义的音频段是不可用的。两个说话者之间的典型对话由他们的声音重叠,相互打断或在多个句子之间停止讲话的片段组成。日记化技术的最新进展利用基于神经网络的方法来改进说话人日记化系统的多个子系统,包括提取分段嵌入特征和检测说话人在对话期间的变化。然而,为了通过聚类来识别说话人,模型依赖于PLDA等方法来生成从给定会话音频中提取的两个片段之间的相似性度量。由于这些算法忽略了会话的时间结构,它们往往会达到更高的日志化错误率(DER),从而导致在说话人和变化识别方面的误检测。因此,为了独立地和顺序地比较两个语音片段的相似性,我们提出了一个双向长短期记忆网络来估计相似性矩阵中的元素。一旦相似性矩阵的生成,凝聚层次聚类(AHC)应用于进一步确定基于阈值的说话人段。为了评估性能,使用日志化错误率(DER%)度量。与传统的基于PLDA的相似性度量机制相比,该模型在来自ICSI会议语料库的音频样本测试集上实现了34.80%的低DER,该机制实现了39.90%的DER。
2022-05-19 cs.AI cs.CL cs.CV
Stacking Neural Network Models for Automatic Short Answer Scoring
Universitas Islam Indonesia(印尼伊斯兰大学);Universitas Gadjah Mada(加札马达大学)
简答题自动评分是在考试过程中对学生答案进行自动评分的文本分类问题之一。在制作自动简答题评分系统时可能会出现几个挑战,其中之一是数据的数量和质量。数据标记过程并不容易,因为它需要一个在其领域中是专家的人类注释者。此外,数据不平衡过程也是一个挑战,因为正确答案的标签数量总是比错误答案少得多。在本文中,我们提出了一种基于神经网络和XGBoost的堆叠模型的分类过程与句子嵌入功能。我们还提出了使用数据上采样方法来处理不平衡类和超参数优化算法来自动找到一个鲁棒的模型。我们使用Ukara 1.0 Challenge数据集,我们的最佳模型获得了0.821的F1分数,超过了以前在同一数据集上的工作。
2020-10-21 cs.CL cs.LG
How effective are VLMs in assisting humans in inferring the quality of mental models from Multimodal short answers?
Department of Computer Science and Engineering, IIT Bombay(印度理工学院班加罗尔分校计算机科学与工程系);Center for Educational Technology, IIT Bombay(印度理工学院班加罗尔分校教育技术中心);School of Management, Mahindra University(马恒达大学管理学院)
本文提出MMGrader方法,通过概念图框架从多模态回答推断学生思维模型质量,发现最佳模型在人类水平上表现不足,但能有效辅助教师改进教学。
2026-08-13 cs.AI cs.CL cs.CY
Instruct, Not Assist: LLM-based Multi-Turn Planning and Hierarchical Questioning for Socratic Code Debugging
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对LLM直接给出答案而非引导的问题,提出TreeInstruct智能体,通过状态空间规划动态构建问题树,在多轮交互中同时处理独立与依赖错误,在多错误数据集上达到最优性能,并有效引导学生独立调试代码。
2024-11-07 cs.CL cs.MA
SAS-Bench: A Fine-Grained Benchmark for Evaluating Short Answer Scoring with Large Language Models
Peking University(北京大学);Fuzhou University(福州市大学);Hunan University(湖南大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出面向大语言模型短答案评分的细粒度基准 SAS-Bench,并发布专家标注数据集,通过多模型实验揭示科学题评分挑战及少样本提示的增益。
2025-05-15 cs.AI cs.CL
Modeling and Analyzing Scorer Preferences in Short-Answer Math Questions
UMass Amherst(马萨诸塞大学阿默斯特分校);Worcester Polytechnic Institute(伍斯特理工学院)
针对人类评分主观性导致的标签噪声问题,本文提出在数学简答题自动评分中建模评分者个人偏好与倾向,实验证明可提升评分准确率并识别出具有不同特征的评分者聚类。
2023-06-01 cs.AI cs.CL