Training data generation for context-dependent rubric-based short answer grading
Faculty of Mathematics and Physics at Charles University（查理大学数学与物理学院）
本文探讨了如何利用小规模保密数据生成大规模训练数据，通过简单衍生文本格式保持隐私，创建了三个近似参考数据集，初步实验表明可能提升自动评分模型训练效果。
2026-03-31 cs.CL
Performance of the Pre-Trained Large Language Model GPT-4 on Automated Short Answer Grading
ETH Zurich（苏黎世联邦理工学院）
本文评估了通用预训练大语言模型GPT-4在自动短答案评分任务上的表现，发现其性能与手工设计模型相当，但弱于经过专门训练的预训练大语言模型。
2023-09-17 cs.CL
CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading
CHiL(L)Grader通过校准置信度估计和人类参与流程，实现高置信度自动评分与不确定情况的人工处理，提升AI辅助评分的可靠性。
2026-03-12 cs.CL
Enhancing LLM-Based Short Answer Grading with Retrieval-Augmented Generation
Michigan State University（密歇根州立大学）；Washington State University（华盛顿州立大学）
本文提出一种自适应检索增强生成（RAG）框架，通过结合语义搜索与精选教育资源动态获取领域知识，以提升大语言模型在科学教育简答题自动评分中的准确性。
2025-06-03 cs.CL
Automated Long Answer Grading with RiceChem Dataset
Rice University（莱斯大学）
本文提出自动长答案评分（ALAG）任务并构建RiceChem数据集，通过将其表述为评分细则蕴含问题并利用MNLI迁移学习，有效提升了长答案评分性能。
2024-04-22 cs.CL
An Iterative Transfer Learning Based Ensemble Technique for Automatic Short Answer Grading
Xerox Research Centre India（施乐印度研究中心）；Indian Institute of Science（印度科学院）
自动简短回答评分（ASAG）技术被设计为自动评估对自然语言中的问题的简短回答，其具有几个单词到几个句子的长度。监督ASAG技术已被证明是有效的，但受到一些关键的实际限制。他们在很大程度上依赖于教师提供的模型答案，并且需要以每个评估任务的分级学生答案的形式标记的训练数据。为了克服这些，在本文中，我们介绍了一个ASAG技术与两个新的功能。我们提出了一种迭代技术的合奏（a）学生答案的文本分类器和（b）分类器使用数值特征来自各种相似性措施的模型答案。其次，我们采用典型相关分析的基础上的一个共同的特征表示迁移学习，建立分类器集成的问题没有标记的数据。所提出的技术漂亮地击败了来自SemEval 2013的学生响应分析任务的SCIENTSBANK数据集上的所有获奖监督条目。此外，我们通过对来自不同主题和标准的多个ASAG数据集进行评估，展示了所提出的技术的通用性和优点。
2016-11-21 cs.CL
Enhancing Multi-Domain Automatic Short Answer Grading through an Explainable Neuro-Symbolic Pipeline
Technical University of Darmstadt（达姆施塔特工业大学）；University of Dayton Research Institute（代顿大学研究所）
针对自动简答题评分缺乏可解释性和理由标注的问题，提出弱监督标注程序与神经符号模型，在双语多领域训练下将RMSE降低0.24至0.3，实现高质量评分与解释。
2024-03-19 cs.CL
Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model
EduLab, Inc.（EduLab公司）
本文针对简答题自动评分中分析性分数标注困难的问题，提出结合LLM一次性提示与领域自适应文本相似度评分模型的方法，在公开ASAG数据集上取得0.67准确率和0.71二次加权kappa，显著优于多数类基线。
2023-05-29 cs.CL
Grade Guard: A Smart System for Short Answer Automated Grading
Indian Institute of Technology (IIT), Jodhpur（印度理工学院焦特布尔分校）
本文提出简答题自动评分框架Grade Guard，通过RMSE微调温度参数、引入置信度感知损失计算不决定性分数（IS）并基于其进行自我反思，有效提升了LLMs评分准确性与可靠性，在多个模型上显著优于传统方法。
2025-04-01 cs.CL
Confidence Estimation in Automatic Short Answer Grading with LLMs
DIPF | Leibniz Institute for Research and Information in Education（莱布尼茨教育研究与信息研究所）；Faculty of Computer Science, Goethe University Frankfurt（弗赖堡大学计算机科学系）；Chemnitz University of Technology（化学工业大学）
本文研究了基于大语言模型的自动简答评分中的置信度估计，结合模型内置置信信号和数据集衍生的不确定性，提出混合置信框架以提升评分选择性。
2026-05-13 cs.CL
ASAG2024: A Combined Benchmark for Short Answer Grading
Zurich University of Applied Sciences（苏黎世应用科技大学）
本文提出联合基准ASAG2024，整合七个简答题评分数据集以评估自动评分系统泛化能力，实验表明基于LLM的方法虽创新高但仍不及人类水平，为人机协同评分研究指明方向。
2024-09-27 cs.AI cs.CL cs.LG
Automatic Short Answer Grading via Multiway Attention Networks
TAL AI Lab（好未来人工智能实验室）；Michigan State University（密歇根州立大学）
自动简答题评分（ASAG）根据参考答案自动对学生的答案进行评分，为教学专业人员提供了一种具有成本效益和一致性的方法，可以减少他们单调乏味的评分工作量。然而，ASAG是一项非常具有挑战性的任务，原因有两个：（1）学生的答案由自由文本组成，需要深入的语义理解;（2）问题通常是开放式的，并且在K-12场景中跨越许多领域。在本文中，我们提出了一个广义的端到端的ASAG学习框架，其目的是（1）自主地从学生和参考答案中提取语言信息;（2）准确地建模自由文本学生和参考答案之间的语义关系在开放式领域。所提出的ASAG模型在一个大型的真实世界K-12数据集上进行了评估，并且在各种评估指标方面都优于最先进的基线。
2019-09-23 cs.AI cs.CL
Japanese-English Sentence Translation Exercises Dataset for Automatic Grading
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究提出第二语言学习早期阶段的句子翻译练习自动评分任务，构建含21道题、3498份作答的日英翻译练习数据集，实验显示微调BERT对正确作答分类F1约90%、错误作答不足80%，少样本GPT表现更差，该任务对大模型具挑战性。
2024-03-06 cs.CL
SoK: Grading Open-Text Legal Answers, from Law School Exams to Trustworthy Rubric Judges
Technical University of Munich (TUM)（慕尼黑工业大学）
本文系统化开放式文本法律答案的评估，对比八种评估范式，提出可信评分规则评判者，明确保障措施依据及待测试内容。
2026-10-21 cs.CL
Cognitively Aided Zero-Shot Automatic Essay Grading
IIT Bombay（印度理工学院孟买分校）；IBM Research India Limited（IBM印度研究有限公司）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学研究院）
自动作文评分（AEG）是一个机器为一篇回应某个主题的作文打分的过程，称为提示。Zero-shot AEG是我们训练一个系统来给按照新提示写的作文打分，这在我们的训练数据中是不存在的。在本文中，我们描述了一个解决问题的zero-shot自动作文评分，使用认知信息，在凝视行为的形式。我们的实验表明，使用凝视行为有助于提高AEG系统的性能，特别是当我们提供一个新的文章写在一个新的提示得分，平均近5个百分点的QWK。
2021-02-22 cs.AI cs.CL
Automatic Essay Scoring in a Brazilian Scenario
Faculdade de Ciências Médicas da Santa Casa de São Paulo（圣保罗圣卡萨医学院）
针对巴西ENEM葡萄牙语作文，提出基于深度学习的自动评分算法，以提升效率、公平性和一致性。
2023-12-29 cs.CL
LLM-based Automated Grading with Human-in-the-Loop
Computer Science and Engineering（计算机科学与工程）；Michigan State University（密歇根州立大学）；Rossier School of Education（罗塞尔教育学院）；University of Southern California（南加州大学）
本文提出GradeHITL框架，通过人类在循环中方法提升自动简答评分的准确性，实现接近人类水平的评估。
2025-12-01 cs.CL
SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出含英德双语、多模态和多难度自由作答题的大学计算机科学考试基准SciEx，通过专家评分评估LLM，并验证LLM-as-a-judge可实现高一致性自动评分。
2024-10-02 cs.CL
Applying Part-of-Seech Enhanced LSA to Automatic Essay Grading
潜在语义分析（LSA）是一种基于“词袋”假设的信息检索方法。然而，根据一般的概念，句法起着表示句子意义的作用。因此，增强LSA与词性（POS）的信息，以捕捉单词出现的上下文似乎是理论上可行的扩展。该方法进行了测试，经验上的自动论文评分系统，使用LSA的文件相似性比较。对几种POS增强的LSA模型进行了比较。我们的研究结果表明，以POS标签形式添加上下文信息可以将基于LSA的评分模型的准确性提高10.77%。
2006-10-19 cs.CL cs.IR
On the effectiveness of LLMs for automatic grading of open-ended questions in Spanish
Eng. School, UdelaR（乌拉圭共和国大学工程学院）；Eng. School, UCUDAL（乌拉圭天主教大学工程学院）
本研究聚焦西班牙语开放式问题短文本自动评分场景，探究不同大语言模型与提示技术的效果，发现最优模型与提示策略组合在三级评分任务准确率超95%，二元评分任务超98%，验证了其在教育自动化中的潜力。
2025-03-23 cs.AI cs.CL
Balancing Cost and Quality: An Exploration of Human-in-the-loop Frameworks for Automated Short Answer Scoring
Tohoku University（东北大学）；RIKEN（理化学研究所）；Future Corporation（未来公司）
简答题评分（SAS）是对学习者写的短文进行评分的任务。近年来，基于深度学习的方法大大提高了SAS模型的性能，但在将此类模型应用于教育领域时，如何保证高质量的预测仍然是一个关键问题。为了保证高质量的预测，我们提出了第一个研究，探索使用的人在循环的框架，最大限度地减少分级成本，同时保证分级质量，允许SAS模型与人类分级共享分级任务。具体地，通过引入用于指示模型预测的可靠性的置信度估计方法，可以通过仅利用具有高可靠性的预测用于评分结果并且将具有低可靠性的预测投射给人类分级者来保证评分质量。在我们的实验中，我们使用多种置信度估计方法和多个SAS数据集调查所提出的框架的可行性。我们发现，我们的人在循环框架允许自动评分模型和人类分级，以实现目标评分质量。
2022-06-16 cs.CL
A LLM-Powered Automatic Grading Framework with Human-Level Guidelines Optimization
Michigan State University（密歇根州立大学）
本文提出多智能体自动简答题评分框架GradeOpt，利用大语言模型并引入反思者与优化者自动优化评分标准，在PCK和CK评分任务中显著提升评分准确性与人类评分一致性。
2025-06-03 cs.AI cs.CL
LLM-as-a-Grader: Practical Insights from Large Language Model for Short-Answer and Report Evaluation
针对大语言模型在真实课堂评分中与人工评估对齐性研究不足的问题，本研究用GPT-4o评估本科计算语言学课程的测验与报告，验证了其评分与人工的高相关性，公开了代码数据并分析了其优劣势。
2025-11-17 cs.CL
Ensemble ToT of LLMs and Its Application to Automatic Grading System for Supporting Self-Learning
Kyoto University（京都大学）；Kyoto Institute of Technology（京都工艺纤维大学）
提出Ensemble ToT框架，整合多个LLM并通过三步流程及模拟辩论，构建自动评分系统，实现准确且可解释的评分反馈，支持自主学习。
2025-02-23 cs.AI cs.CL cs.IR
Deep learning for sentence clustering in essay grading support
University of Turku（图尔库大学）
作文作为一种评估形式，比简答题和多项选择题更深层次地测试学生的知识。然而，手工评估论文是费时费力的。自动聚类的论文，或其片段，人工评估之前，提出了一个可能的解决方案，以减少在评估过程中所需的工作。由于自然语言的可变性和模糊性，这种聚类提出了许多挑战。在本文中，我们介绍了两个数据集的本科学生的文章在芬兰，手动注释的句子层次上的突出参数。使用这些数据集，我们评估了几种深度学习嵌入方法对句子聚类的适用性，以支持文章评分。我们发现，最合适的方法的选择取决于考试问题和答案的性质，深度学习方法能够，但不能保证比基于词汇重叠的简单方法更好的性能。
2021-04-23 cs.CL
Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach to Grade Essays Using Gaze Behaviour
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；IBM Research, India（IBM印度研究院）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学研究院）
读者的凝视行为有助于解决几个NLP任务，例如自动论文评分。然而，从读者收集凝视行为在时间和金钱方面是昂贵的。在本文中，我们提出了一种方法来提高自动论文评分使用凝视行为，这是学习在运行时间使用多任务学习框架。为了证明这种基于多任务学习的方法对自动作文评分的有效性，我们收集了4个作文集的48篇作文的凝视行为，并学习了其余作文的凝视行为，数量超过7000篇作文。使用学习到的凝视行为，我们可以在统计上显著改善具有凝视数据的文章集的最先进系统的性能。我们还实现了其他4个论文集，编号约6000篇论文，我们没有凝视行为数据的统计学显着改善。我们的方法建立了学习凝视行为提高自动作文评分。
2021-02-01 cs.CL
Automatic Short Math Answer Grading via In-context Meta-learning
Worcester Polytechnic Institute（伍斯特理工学院）
简答题自动评分是探索如何使用基于人工智能（AI）的工具来改善教育的一个重要研究方向。目前最先进的方法使用神经语言模型来创建学生响应的矢量化表示，然后使用分类器来预测分数。然而，这些方法具有几个关键限制，包括i）它们使用预训练的语言模型，其不很好地适应教育主题领域和/或学生生成的文本，以及ii）它们几乎总是训练每个问题一个模型，忽略了跨问题的链接，并且由于高级语言模型的大小而导致显著的模型存储问题。在本文中，我们研究的问题，自动简答评分的学生对数学问题的反应，并提出了一个新的框架，这项任务。首先，我们使用MathBERT，一种流行的语言模型BERT的变体，适合数学内容，作为我们的基础模型，并微调它的下游任务的学生反应评分。其次，我们使用一种上下文学习方法，该方法提供评分示例作为语言模型的输入，以提供额外的上下文信息，并促进对以前看不见的问题的泛化。我们在学生对开放式数学问题的反应的真实数据集上评估了我们的框架，并表明我们的框架（通常显着）优于现有的方法，特别是对于在训练过程中看不到的新问题。
2022-07-08 cs.CL cs.LG
Grading Conversational Responses Of Chatbots
PeopleTec
聊天机器人长期以来一直能够回答基本的问题，甚至对晦涩的提示做出回应，但最近它们的改进要显著得多。像开放式AI ChatGPT3这样的现代聊天机器人不仅能够回答基本问题，还可以编写代码和电影剧本，并模仿知名人士。在本文中，我们分析了ChatGPT对来自热门Quora论坛的查询数据集的各种问题的响应。我们向ChatGPT提交了60个问题，并根据三个行业标准的机器翻译评分标准对答案进行评分：BLEU、METEOR和ROUGE。这些指标使我们能够将机器回答与同一问题的最受欢迎的人类回答进行比较，以评估ChatGPT提交人性化回答的能力。结果表明，虽然ChatGPT的反应和翻译能力非常出色，但它们仍然没有达到典型的人类反应。
2023-02-01 cs.CL cs.LG
Enhancing Security and Strengthening Defenses in Automated Short-Answer Grading Systems
School of Data Science and Analytics, Kennesaw State University（数据科学与分析学院，肯尼斯州立大学）；National Board of Medical Examiners (NBME)（医学考试委员会（NBME））
本研究针对医学教育中基于Transformer的自动简答题评分系统，识别出三种对抗性博弈策略漏洞，通过对抗训练及集成技术显著提升系统鲁棒性，并验证了GPT-4等大语言模型在识别博弈策略上的有效性，以确保高风险教育场景的公平与可靠。
2025-04-30 cs.CL cs.CR
Grading Needs a Rubric, Not Intelligence
National Yang Ming Chiao Tung University（国立阳明交通大学）
该研究提出any-to-bench设计原则，证实小型语言模型依据明确评分标准评分的可靠性与高成本模型相当，评分标准中的官方答案是关键，可将评分与评分者智能解耦。
2026-08-19 cs.AI cs.CL
Enacting textual entailment and ontologies for automated essay grading in chemical domain
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
我们提出了一个系统，自动论文评分使用本体论和文本蕴涵。文本蕴涵的过程是由假设指导的，这些假设是从领域本体中提取的。文本蕴涵检查假设的真实性是否来自给定的文本。我们制定文本蕴涵比较学生的答案，从本体获得的模型答案。我们验证了解决方案对各种论文写的学生在化学领域。
2015-11-09 cs.AI cs.CL
Using Large Language Models for Automated Grading of Student Writing about Science
University of Arizona（亚利桑那大学）
本研究使用GPT-4对MOOC学生科学写作进行自动评分，发现其可靠性超过同伴评分，与教师评分相当，表明LLM可用于大规模可靠评分。
2024-12-25 cs.CL
Marking: Visual Grading with Highlighting Errors and Annotating Missing Bits
Rice University（莱斯大学）
本文提出“Marking”任务，通过高亮学生回答片段并标注标准答案遗漏来增强自动评分系统，将其构建为NLI任务扩展，使用BERT和RoBERTa进行实验并提供基线结果。
2024-04-22 cs.CL
Ratas framework: A comprehensive genai-based approach to rubric-based marking of real-world textual exams
Macquarie University（麦考瑞大学）；ITIC Company（ITIC公司）
本文提出RATAS框架，利用生成式AI模型进行基于量规的文本评分，通过数学形式化和独特数据集验证，实现了高可靠性、准确性和可解释的反馈。
2025-05-27 cs.CL
Hey AI Can You Grade My Essay?: Automatic Essay Grading
School of Computer Science, University of Oklahoma（俄克拉荷马大学计算机科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究提出一种基于协作学习和迁移学习的自动作文评分新模型，通过不同网络分别处理语法结构特征与整体思想评分并迁移融合，实现了85.50%的最高准确率。
2024-10-12 cs.AI cs.CL
"I understand why I got this grade": Automatic Short Answer Grading with Feedback
Fujitsu Research of India Private Limited（富士通印度研究有限公司）；Dept. of Computer Science and Engineering（计算机科学与工程系）
本文提出EngSAF数据集及LASFG策略，用于带反馈的自动简答题评分，Mistral-7B模型在未见答案和问题上准确率达75.4%和58.7%，并在真实考试中验证了系统有效性。
2025-06-23 cs.AI cs.CL cs.CY
Unveiling Scoring Processes: Dissecting the Differences between LLMs and Human Graders in Automatic Scoring
University of Georgia（佐治亚大学）；Nanyang Technological University（南洋理工大学）
该研究揭示了大语言模型在科学任务书面作答自动评分中使用的评分标准与人类评分的一致性差距，发现加入反映人类评分逻辑的高质量分析型评分标准可缩小差距、提升评分准确率。
2025-02-21 cs.CL cs.CY
From Flat to Structural: Enhancing Automated Short Answer Grading with GraphRAG
本文提出GraphRAG框架，通过构建结构化知识图谱解决传统RAG在复杂教育内容中的不足，实验表明其在评估科学与工程实践方面表现更优。
2026-02-28 cs.AI cs.CL
Explainable Automatic Grading with Neural Additive Models
University of California Berkeley（加州大学伯克利分校）
本文提出用神经加性模型结合知识整合框架进行可解释的自动简答题评分，在保持预测性能的同时提供特征可解释性，并与逻辑回归和DeBERTa进行了比较。
2024-05-01 cs.CL cs.LG stat.AP
SteLLA: A Structured Grading System Using LLMs with RAG
Department of Computer Science Fitchburg State University（弗itchburg州立大学计算机科学系）；Department of Computer Science University of Massachusetts Boston（马萨诸塞大学波士顿分校计算机科学系）；Chantilly High School（chantilly高中）
本研究提出SteLLA系统，结合RAG与结构化问答评估，实现自动简答题评分，在真实生物学考试数据上与人工评分高度一致，并提供细粒度反馈。
2025-01-15 cs.AI cs.CL cs.CY
ChatGPT for automated grading of short answer questions in mechanical ventilation
Shri Atal Bihari Vajpayee Medical College and Research Institute（阿塔尔·比哈里·瓦杰帕伊医学院与研究所）；Bowring and Lady Curzon Hospitals（鲍林与莱迪·柯曾医院）；Rajiv Gandhi University of Health Sciences（拉吉夫·甘地健康科学大学）；Intensive Care Service, Westmead Hospital（韦斯特米德医院重症监护服务部）
研究评估ChatGPT在机械通气在线课程中短答案题自动评分的准确性，发现其评分低于人类评分员，且一致性差，尤其在评价和分析类题目上表现最差，警示LLM在研究生课程评分中的潜在风险。
2025-05-05 cs.CL cs.LG stat.CO
Survey on Automated Short Answer Grading with Deep Learning: from Word Embeddings to Transformers
University of Twente（特文特大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
自动简短答案评分（ASAG）作为将教育任务扩展到越来越多的学生的一种手段，在教育领域引起了关注。自然语言处理和机器学习的最新进展极大地影响了ASAG领域，本文综述了ASAG的最新研究进展。我们通过对最近发布的部署深度学习方法的方法进行全面分析来补充以前的调查。特别是，我们专注于我们的分析过渡到手工设计的功能，表示学习方法，学习代表性的功能，自动从大型语料库的数据。我们将对深度学习方法的分析分为三类：词嵌入、序列模型和基于注意力的方法。深度学习对ASAG的影响与其他NLP领域不同，因为我们注意到，学习的表示本身并不能帮助实现最佳结果，但它们与手工设计的功能互补。最佳性能确实是通过将精心手工设计的功能与最新模型（例如Transformers架构）提供的语义描述的强大功能相结合的方法来实现的。我们确定了挑战，并提供了未来可以解决的研究方向的展望
2022-03-11 cs.AI cs.CL cs.LG
Towards Human-Like Grading: A Unified LLM-Enhanced Framework for Subjective Question Evaluation
Hangzhou City University（杭州市大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Hospital（浙江省医院）
本文提出一个统一的大语言模型增强型主观题自动评分框架，通过四个互补模块实现类人评估，在多种数据集上优于基线，并已实际部署于大型电商企业的培训和认证考试中。
2025-10-09 cs.AI cs.CL
Can LLMs Grade Short-Answer Reading Comprehension Questions : An Empirical Study with a Novel Dataset
University of Oxford（牛津大学）；Legible Labs；Jacobs Foundation（雅各布斯基金会）；University of Melbourne（墨尔本大学）
本文通过构建加纳学生短答阅读理解新数据集并实证比较多种大语言模型与人工评分，发现GPT-4在极少提示工程下即可接近专家评分水平，证明生成式大语言模型可用于形成性读写评估。
2024-05-05 cs.AI cs.CL
Towards LLM-based Autograding for Short Textual Answers
University of Liechtenstein（列支敦士登大学）；University of St.Gallen（圣加仑大学）
本文评估 LLM 用于多语言、多课程短文本答案自动评分的表现，发现开箱即用模型可辅助教育者，但独立评分仍需人工监督。
2024-07-08 cs.AI cs.CL
Finetuning Transformer Models to Build ASAG System
自1966年以来，一直在研究如何创建教育环境中学生对测验和考试问题的答案的自动评分系统。多年来，这个问题被分为许多类别。其中，文本答案评分分为简答评分和短文评分。这项工作的目标是开发一个基于ML的简答题评分系统。因此，我构建了一个系统，该系统使用STS基准数据集上预训练的Roberta大型模型进行微调，并创建了一个界面来显示系统的生产准备情况。我在Mohler扩展数据集和SciEntsBank数据集上评估了系统的性能。开发的系统在Mohler数据集上实现了0.82的Pearson相关性和0.7的RMSE，这击败了SOTA在该数据集上的性能，该数据集的相关性为0.805，RMSE为0.793。此外，在SciEntsBank数据集上实现了0.79的Pearson相关性和0.56的RMSE，这再次证实了系统的稳健性。在获得这些结果期间的一些观察结果包括使用批量1产生的结果优于使用批量16或32，并且使用huber损失作为损失函数在该回归任务中表现良好。该系统使用各种随机种子在训练和验证分割上进行了尝试和测试，并且仍然进行了调整，以在任何数据集上实现最小0.76的相关性和最大0.15（1）的RMSE。
2021-09-25 cs.AI cs.CL
Mathematical Language Processing: Automatic Grading and Feedback for Open Response Mathematical Questions
Rice University（莱斯大学）
虽然计算机和通信技术为扩大教育的许多方面提供了有效手段，但提交作业和测验等评估和评分仍然是一个薄弱环节。在本文中，我们研究了自动评分的开放式响应数学问题，图突出STEM（科学，技术，工程和数学）课程的种类的问题。我们的数学语言处理（MLP）数据驱动框架利用来自大量学习者的解决方案数据来评估其解决方案的正确性，分配部分学分分数，并向每个学习者提供有关任何错误的可能位置的反馈。MLP从文本数据的自然语言处理的成功中获得灵感，包括三个主要步骤。首先，我们将一个开放式数学问题的每个解决方案转换为一系列的数值特征。其次，我们聚类的功能，从几个解决方案，揭示正确的，部分正确的，和不正确的解决方案的结构。我们开发了两种不同的聚类方法，一种是利用通用聚类算法，一种是基于贝叶斯非参数。第三，我们根据分配的集群和每个集群的一个筛选器提供的等级，自动对剩余的（可能大量的）解决方案进行分级。作为奖励，我们可以跟踪多步解决方案的每个步骤的聚类分配，并确定它何时偏离正确解决方案的聚类，这使我们能够向学习者指出错误的可能位置。我们在真实世界的MOOC数据上测试和验证了MLP，以证明它如何能够大幅减少大型教育平台所需的人力。
2015-01-18 cs.AI cs.CL cs.LG
Evaluating Quality of Answers for Retrieval-Augmented Generation: A Strong LLM Is All You Need
Visa, Inc.（维萨公司）
本研究提出vRAG-Eval评分系统评估RAG答案质量，发现GPT-4评估与人类专家在接受/拒绝决定上83%一致，证明强LLM可作为可靠评估器。
2024-11-07 cs.CL
S-GRADES -- Studying Generalization of Student Response Assessments in Diverse Evaluative Settings
S-GRADES通过统一的基准测试平台整合多种学生响应评分数据集，评估大语言模型在不同评分任务中的泛化能力，揭示评分任务中的可靠性与泛化差距。
2026-03-10 cs.CL
Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness
Purdue University（普渡大学）
本文研究了基于评分标准的LLM评分的对齐性、不确定性与鲁棒性，发现评分标准粒度增加时对齐性下降，通过信任曲线分析发现过滤低置信度预测可提升准确性，同时模型对同义词替换敏感。
2025-12-21 cs.CL cs.LG
Automatic Question-Answering Using A Deep Similarity Neural Network
New York University（纽约大学）；AT&T Research Labs（AT&T 研究实验室）
自动问答是自然语言处理中的一个经典问题，其目的是设计一个能像人一样自动回答问题的系统。在这项工作中，我们提出了一个基于深度学习的自动问答模型。首先，使用神经概率建模嵌入问题和答案。然后训练一个深度相似度神经网络来求出一对答案和问题的相似度得分。然后，对于每个问题，最佳答案被发现为具有最高相似性得分的答案。我们首先在一个大规模的公共问答数据库上对这个模型进行训练，然后对其进行微调，以将其转移到客户关怀聊天数据上。我们还测试了我们的框架上的公共问答数据库，并取得了很好的性能。
2017-08-05 cs.CL
Statistical Comparative Analysis of Semantic Similarities and Model Transferability Across Datasets for Short Answer Grading
Jawaharlal Nehru Technological University, Kakinada（贾瓦哈拉尔·尼赫鲁理工大学，卡基纳达）；Aditya Engineering College, Surampalem（阿迪亚工程学院，苏拉姆帕莱姆）；Vishnu Institute of Technology, Bhimavaram（毗湿奴理工学院，比马瓦拉姆）
本文通过统计比较STSB、Mohler与SPRAG数据集的语义相似性，系统分析SOTA模型在短答案评分任务中的跨数据集可迁移性，为减少数据集专用训练成本、提升NLP模型部署效率提供依据。
2025-08-19 cs.AI cs.CL cs.LG
Answer Matching Outperforms Multiple Choice for Language Model Evaluation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）
本文提出答案匹配方法，通过让模型自由生成回答并由语言模型结合参考答案判断匹配性，证明其与人工评分一致性远高于多项选择和 LLM-as-a-judge，并推动评估生态从多项选择转向答案匹配。
2025-07-03 cs.AI cs.CL cs.LG
ARAGOG: Advanced RAG Output Grading
Predli（普雷德利）；UC Berkeley（加州大学伯克利分校）
本研究通过实验对比多种RAG方法，发现HyDE、LLM重排序和句子窗口检索能显著提升检索精度，而MMR、Cohere rerank及多查询方法优势有限，并公开了ARAGOG资源库。
2024-04-01 cs.CL cs.IR
