A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
我们解决的任务,自动评分的能力的候选人的文本特征的基础上,从自动语音识别(ASR)transmitting在异步视频求职面试(AVI)。关键的挑战是如何构建问题和答案之间的依赖关系,并进行语义级的互动,为每个问答(QA)对。然而,目前对AVI的研究大多集中在如何更好地表示问题和答案上,而忽略了问题和答案之间的依赖信息和相互作用,这对QA评估至关重要。在这项工作中,我们提出了一种分层推理图神经网络(HRGNN)来自动评估问答对。具体而言,我们构建了一个句子级关系图神经网络来捕获问题和答案之间的句子依赖信息。基于这些图,我们采用语义级推理图注意力网络模型的互动状态的当前QA会话。最后,我们提出了一个门控递归单元编码器来表示最终预测的时间问答对。在CHNAT(一个真实世界的数据集)上进行的实证结果验证了我们提出的模型显着优于基于文本匹配的基准模型。烧蚀研究和10个随机种子的实验结果也表明了我们的模型的有效性和稳定性。
2020-12-22 cs.CL cs.LG
Unveiling Scoring Processes: Dissecting the Differences between LLMs and Human Graders in Automatic Scoring
University of Georgia(佐治亚大学);Nanyang Technological University(南洋理工大学)
该研究揭示了大语言模型在科学任务书面作答自动评分中使用的评分标准与人类评分的一致性差距,发现加入反映人类评分逻辑的高质量分析型评分标准可缩小差距、提升评分准确率。
2025-02-21 cs.CL cs.CY
RDBE: Reasoning Distillation-Based Evaluation Enhances Automatic Essay Scoring
Shahid Soltani 4 High School(沙希德·索尔塔尼4高中)
RDBE通过利用大语言模型生成推理来蒸馏小语言模型,为自动作文评分提供可解释的分数,并在所有评分标准上超越基线,达到最先进性能。
2024-07-03 cs.CL cs.CY cs.LG
Automatic Essay Multi-dimensional Scoring with Fine-tuning and Multiple Regression
University of Tübingen(蒂宾根大学);Stuttgart University(斯图加特大学)
针对现有AES系统仅输出单一总分的局限,本文提出两个基于微调与多元回归的多维评分模型,在两个大型数据集上对英语作文进行多维度评分,在精确率、F1和二次加权Kappa上表现优异且总分超越现有方法。
2024-06-03 cs.AI cs.CL
Improve LLM-based Automatic Essay Scoring with Linguistic Features
针对自动作文评分中不同提示处理的挑战,本文结合有监督特征法和LLM法,将语言特征融入LLM评分,提出的混合方法在域内和域外提示上均优于基线模型。
2025-02-13 cs.AI cs.CL
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
SHL Labs(SHL实验室)
针对自动作文评分系统难以识别跑题作答的问题,提出带主题正则化模块的无监督AOES模型,结合混合损失训练与马氏距离实现评分与跑题检测,性能优于基线与传统方法,且对人类级扰动鲁棒。
2024-03-24 cs.AI cs.CL cs.LG
Applying Large Language Models and Chain-of-Thought for Automatic Scoring
University of Georgia(佐治亚大学)
本研究探讨GPT-3.5和GPT-4结合思维链在科学评估学生作答自动评分中的应用,发现少样本优于零样本,CoT与题干和评分量规结合显著提升准确率,GPT-4单次调用贪婪采样表现最佳。
2024-02-16 cs.AI cs.CL
Using GPT-4 to Augment Unbalanced Data for Automatic Scoring
Franklin College of Arts and Sciences, University of Georgia(佐治亚大学富兰克林文理学院);Mary Frances Early College of Education, University of Georgia(佐治亚大学玛丽·弗朗西斯·厄尔利教育学院)
针对自动评分中学生回答类别不平衡问题,提出利用 GPT-4 生成少数类回答并微调 DistillBERT,证明 20%–40% 增强数据可稳定提升性能。
2024-09-06 cs.AI cs.CL cs.CY
Can vectors read minds better than experts? Comparing data augmentation strategies for the automated scoring of children's mindreading ability
University of Birmingham(伯明翰大学)
在本文中,我们实现和比较7个不同的数据增强策略的任务,自动评分的儿童的能力,了解别人的想法,感受和愿望(或“读心术”)。我们招募了领域内的专家来重新注释增强的样本,并确定每个策略在多大程度上保留了原始评级。我们还进行了多个实验,以衡量每种增强策略在多大程度上提高了自动评分系统的性能。为了确定自动系统的能力,以概括看不见的数据,我们创建UK-MIND-20 -一个新的语料库的儿童的表现测试的读心术,由10,320个问题,答案对。我们在MIND-CA语料库上获得了新的最先进的性能,将宏观F1分数提高了6分。结果表明,训练样本的数量和增强策略的质量都会影响系统的性能。任务特定的增强通常优于任务不可知的增强。基于向量的自动增强(GloVe,FastText)表现最差。我们发现,在MIND-CA上训练的系统可以很好地推广到UK-MIND-20。我们证明了数据增强策略也提高了看不见的数据的性能。
2021-06-03 cs.CL cs.LG
Fine-tuning ChatGPT for Automatic Scoring of Written Scientific Explanations in Chinese
Beijing Normal University(北京师范大学);University of Georgia(佐治亚大学)
本研究微调ChatGPT用于中文科学解释自动评分,发现其经领域适配后可有效评分,且评分准确率与推理复杂度、语言特征相关,为中文教育评估的智能评分模型优化提供依据。
2025-01-12 cs.AI cs.CL
Sentence Pair Scoring: Towards Unified Framework for Text Comprehension
FEE CTU Prague(捷克理工大学布拉格分校电气工程学院)
我们回顾了句子对评分的任务,在文献中以各种形式流行-被视为回答句子选择,语义文本评分,下一个话语排名,识别文本蕴涵,释义或例如记忆网络的一个组成部分。我们认为,从模型的角度来看,所有这些任务都是相似的,并通过在许多句子对评分任务和数据集上比较常见的IR指标和流行的卷积、循环和基于注意力的神经模型的性能,提出了新的基线。我们讨论了评估随机模型的问题,提出了一种基于统计的方法,并试图通过发布新的数据集来改善比较,这些数据集比目前使用的一些经过充分探索的基准要难得多。我们引入了一个统一的开源软件框架,具有易于插入的模型和任务,这使我们能够实验训练句子模型的多任务可重用性。我们在Ubuntu Dialogue数据集上设置了一个新的最先进的性能。
2016-05-17 cs.AI cs.CL cs.LG
Universal Evasion Attacks on Summarization Scoring
Singapore University of Technology and Design(新加坡科技设计大学)
摘要的自动评分很重要,因为它指导了摘要器的开发。评分也很复杂,因为它涉及多个方面,如流畅性,语法,甚至与源文本的文本蕴涵。然而,摘要评分还没有被认为是一个机器学习任务,以研究其准确性和鲁棒性。在这项研究中,我们把自动评分的背景下回归机器学习任务和逃避攻击,以探索其鲁棒性。攻击系统从每个输入中预测一个非摘要字符串,这些非摘要字符串在最流行的指标:ROUGE,METEOR和BERTScore上与优秀的摘要器获得竞争性分数。攻击系统在ROUGE-1和ROUGE-L上的表现也超过了最先进的摘要方法,并在METEOR上得分第二高。此外,还观察到BERTScore后门:简单的触发器可以获得比任何自动摘要方法都高的分数。这项工作中的逃避攻击表明,目前的评分系统在系统级的低鲁棒性。我们希望,我们对这些拟议攻击的强调将有助于总结分数的发展。
2022-10-25 cs.CL
Beyond Scores: A Modular RAG-Based System for Automatic Short Answer Scoring with Feedback
Graduate School of Information Science and Electrical Engineering(信息科学与电气工程研究生院);Kyushu University(九州大学);Faculty of Information Science and Electrical Engineering(信息科学与电气工程学部)
提出一种基于模块化 RAG 的 ASAS-F 系统,通过自动提示生成框架在零样本和少样本场景下评分并生成反馈,无需大量微调或提示工程,在未见问题上评分准确率提升9%。
2024-10-10 cs.AI cs.CL
Addressing Cold Start Problem for End-to-end Automatic Speech Scoring
Riiid(Riiid公司);Bucketplace Inc.(Bucketplace股份有限公司)
本文针对端到端自动语音评分在新问题语境下的冷启动问题,提出利用提示词嵌入、BERT/CLIP问题语境嵌入及预训练声学模型选择的方法,在TOEIC口语数据集上验证了其在冷启动环境中的鲁棒性并超越基线。
2023-06-25 cs.CL cs.SD eess.AS
Automatic Essay Scoring and Feedback Generation in Basque Language Learning
本文首次公开了针对巴斯克语C1水平的自动作文评分与反馈生成数据集,通过微调开源模型提升评分与反馈质量,验证了编码器模型的可靠性及监督微调对性能的提升。
2026-03-23 cs.AI cs.CL
Automatic Scoring of Students' Science Writing Using Hybrid Neural Network
AI4STEM Education Center, University of Georgia(佐治亚大学AI4STEM教育中心)
本研究提出多视角混合神经网络(HNN)用于自动评分学生科学写作,相比BERT等模型在准确性和效率上取得平衡,验证了其有效性。
2023-12-26 cs.CL
Tapping the Potential of Coherence and Syntactic Features in Neural Models for Automatic Essay Scoring
Guangdong University of Foreign Studies(广东外语外贸大学);University of Montreal(蒙特利尔大学)
在自动作文评分的特定于考生的整体分数预测任务中,一般的方法包括预训练的神经模型,连贯性模型,以及将句法特征与神经模型相结合的混合模型。在本文中,我们提出了一种新的方法来提取和表示文章的连贯性特征,与非学习NSP,显示匹配的国家的最先进的AES连贯性模型,并实现了最佳的性能为长文。我们采用语法特征密集嵌入来增强基于BERT的模型,并实现了AES混合方法的最佳性能。此外,我们还探索了将连贯、句法信息和语义嵌入结合起来的各种思路,这是以前没有研究过的。我们的组合模型也比组合模型可用的SOTA表现更好,即使它没有优于我们的语法增强神经模型。我们进一步提供分析,可以为今后的研究有用。
2022-11-24 cs.CL
PEAR: Pairwise Evaluation for Automatic Relative Scoring in Machine Translation
Sapienza University of Rome(罗马萨皮恩扎大学);Microsoft(微软)
提出PEAR,一种监督式质量估计指标族,通过成对比较实现无参考机器翻译评估,预测质量差异方向和幅度,在WMT24基准上优于单候选基线,并有效用于最小贝叶斯风险解码。
2026-05-27 cs.CL
Efficient Multi-Task Inferencing with a Shared Backbone and Lightweight Task-Specific Adapters for Automatic Scoring
University of Georgia(佐治亚大学)
本文提出共享骨干网络与轻量LoRA适配器的架构,在27个自动评分任务上以降低60%内存和40%延迟实现接近全微调的性能(QWK 0.848),兼顾效率与公平。
2025-06-21 cs.CL
My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism
IIIT-Delhi(德里英迪拉·甘地信息技术学院);Adobe(奥多比公司);State University of New York at Buffalo(纽约州立大学布法罗分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
在过去的二十年里,基于深度学习的自动论文评分(AES)系统取得了重大进展。然而,很少有研究来理解和解释这些基于深度学习的评分模型的黑盒性质。最近的工作表明,自动评分系统甚至倾向于常识对抗样本。他们缺乏自然语言理解能力,这对数百万候选人积极使用的改变生活的决策模型提出了质疑。由于评分是一项高度多模态的任务,因此必须在所有这些模态上验证和测试评分模型。我们利用可解释性方面的最新进展来发现一致性,内容和相关性等特征对自动评分机制的重要程度,以及为什么它们容易受到对抗性样本的影响。我们发现,系统测试认为散文不是一段散文具有自然的语音和语法结构的特点,但作为“词汤”的几个字比其他的话更重要。删除这几个重要单词周围的上下文会导致散文失去语言和语法的流畅性,但对预测分数的影响很小。我们还发现,由于这些模型在语义上没有基于世界知识和常识,因此添加诸如“世界是平的”之类的虚假事实实际上会增加分数,而不是降低分数。
2020-12-27 cs.AI cs.CL cs.CY
Investigating Automatic Scoring and Feedback using Large Language Models
University of Florida(佛罗里达大学);Coursera(Coursera公司)
本文研究利用 LoRA 和 QLoRA 等参数高效微调方法微调量化大语言模型,实现简答题和论文的自动连续评分与反馈生成,实验表明微调模型评分误差低于3%,且反馈质量接近专家水平。
2024-05-01 cs.CL cs.LG
Fine-tuning ChatGPT for Automatic Scoring
AI4STEM Education Center, University of Georgia(佐治亚大学AI4STEM教育中心)
本研究通过微调GPT-3.5在六个科学教育评估任务上自动评分学生回答,相比BERT平均准确率提升9.1%,验证了领域微调的有效性。
2023-12-26 cs.AI cs.CL
Deep Learning Architecture for Automatic Essay Scoring
随着在线学习和评价平台(如Coursera、Udemy、Khan academy等)的兴起,论文自动评价(AES,Automatic Evaluation of essay)成为一个严峻的问题,研究人员提出了许多自动评价技术。然而,这些技术中的许多使用手工制作的特征,因此从特征表示的角度来看是有限的。深度学习已经成为机器学习中的一种新范式,它可以利用大量数据并识别对论文评估有用的特征。为此,我们提出了一种新的架构,基于递归网络(RNN)和卷积神经网络(CNN)。在所提出的架构中,多通道卷积层从词嵌入向量和基本语义概念中学习和捕获词n-gram的上下文特征,以使用最大池化操作形成文章级别的特征向量。RNN的一个变体称为双门循环单元(BGRU),用于访问先前和随后的上下文表示。实验是在Kaggle上提供的八个数据集上进行的,用于AES任务。实验结果表明,我们提出的系统实现了显着更高的分级准确性比其他深度学习为基础的AES系统,也是其他国家的最先进的AES系统。
2022-06-16 cs.AI cs.CL
Automatic Scoring of Dream Reports' Emotional Content with Large Language Models
University of Sussex(萨塞克斯大学);IMT School for Advanced Studies(IMT高等研究院)
在梦的研究领域,对梦的内容的研究通常依赖于对做梦者从睡眠中醒来时提供的口头报告的分析。这个任务通常是由经过训练的注释者通过手动评分来完成的,这需要花费大量的时间。虽然一致的工作表明,自然语言处理(NLP)工具可以支持梦报告的自动分析,但提出的方法缺乏对报告的完整上下文进行推理的能力,并且需要大量的数据预处理。此外,在大多数情况下,这些方法没有经过标准手动评分方法的验证。在这项工作中,我们通过采用大语言模型(LLM)来研究和复制梦报告的手动注释来解决这些限制,使用现成和定制方法的混合物,重点关注报告的情感参考。我们的研究结果表明,现成的方法实现了低性能可能是鉴于内在的语言差异,在不同的(组)个人收集的报告。另一方面,所提出的定制文本分类方法实现了高性能,这是对潜在的偏见的鲁棒性。总的来说,这些观察结果表明,我们的方法可以在大型梦境数据集的分析中找到应用,并且可能有利于研究结果的可重复性和可比性。
2023-02-28 cs.CL
Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems
IIIT-Delhi(德里印度理工学院);Adobe(奥多比公司);SUNY-Buffalo(布法罗纽约州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
在过去的三年里,自动评分引擎已经为大约1500万名考生评分。由于COVID-19以及相关的教育和测试自动化,这一数字正在进一步增加。尽管使用如此广泛,但这些“智能”模型的基于AI的测试文献非常缺乏。大多数提出新模型的论文仅依赖于基于二次加权Kappa(QWK)的与人类评分员的一致性来显示模型的有效性。然而,这实际上忽略了作文评分的高度多功能性。作文评分取决于连贯性、语法、相关性、充足性和词汇量等特征。到目前为止,还没有研究测试自动论文评分:AES系统全面的所有这些功能。有了这个动机,我们提出了一个模型不可知的对抗性评估计划和相关的AES系统的指标,以测试他们的自然语言的理解能力和整体的鲁棒性。我们评估目前国家的最先进的AES模型,使用所提出的计划,并报告最近的五个模型的结果。这些模型从基于特征工程的方法到最新的深度学习算法。我们发现AES模型是高度超稳定的。即使是与问题主题无关的内容的重大修改(高达25%)也不会降低模型产生的分数。另一方面,不相关的内容,平均而言,增加了分数,从而表明,模型的评价策略和标题应该重新考虑。我们还要求200名人类评分员对原始和对抗性反应进行评分,看看人类是否能发现两者之间的差异,以及他们是否同意自动评分所分配的分数。
2021-11-14 cs.AI cs.CL
Metrics also Disagree in the Low Scoring Range: Revisiting Summarization Evaluation Metrics
Carnegie Mellon University(卡内基梅隆大学)
在文本摘要中,在没有人为判断的情况下评估自动度量的有效性最近变得流行。一个典型的工作得出结论,自动指标强烈不同意时,排名高分摘要。在本文中,我们重新审视了他们的实验,发现他们的观察结果源于这样一个事实,即度量在任何狭窄的评分范围内对摘要进行排名时都不一致。我们假设这可能是因为总结在狭窄的评分范围内彼此相似,因此难以排名。除了摘要的评分范围的宽度,我们还分析了影响指标间一致性的其他三个属性-总结的容易性,抽象性和覆盖率。为了鼓励可重复的研究,我们将所有的分析代码和数据公开。
2020-11-08 cs.AI cs.CL
Artificial Intelligence Bias on English Language Learners in Automatic Scoring
School of Teacher Education, Nanjing Normal University(南京师范大学教师教育学院);AI4STEM Education Center, University of Georgia(佐治亚大学AI4STEM教育中心);School of Computing, University of Georgia(佐治亚大学计算机学院);College of Education and Human Development, George Mason University(乔治马歇尔大学教育与人类发展学院);Educational Testing Service(教育测评服务)
本研究探究自动评分系统对英语学习者的评分偏见,通过不同规模、平衡度的数据集微调BERT并对比分析,发现训练样本充足时无明显偏见,样本量有限时可能存在问题。
2025-05-19 cs.AI cs.CL cs.CY
SkipFlow: Incorporating Neural Coherence Features for End-to-End Automatic Text Scoring
Institute for Infocomm Research(信息通信研究所);Nanyang Technological University(南洋理工大学)
深度学习在自动文本评分(ATS)任务中表现出了巨大的潜力。在本文中,我们描述了一种新的神经架构,增强香草神经网络模型与辅助神经一致性功能。我们的新方法提出了一种新的\textsc{SkipFlow}机制,该机制在读取时对长短期记忆(LSTM)网络的隐藏表示的快照之间的关系进行建模。随后,多个快照之间的语义关系被用作预测的辅助特征。这有两个主要好处。首先,文章通常是长序列,因此LSTM网络的记忆能力可能不足。对多个快照的隐式访问可以通过防止梯度消失来缓解这个问题。\textsc{SkipFlow}机构的参数也用作辅助存储器。其次,对多个位置之间的关系进行建模,使我们的模型能够学习代表和近似文本连贯性的特征。在我们的模型中,我们称之为\textit{neural coherence}特征。总的来说,我们提出了一个统一的深度学习架构,当它以端到端的方式读取时,它会生成神经连贯性特征。我们的方法在基准ASAP数据集上展示了最先进的性能,不仅优于特征工程基线,而且优于其他深度学习模型。
2017-11-14 cs.AI cs.CL
Unifying Adversarial Robustness and Training Across Text Scoring Models
uwaterloo(滑铁卢大学)
本文提出统一文本评分模型中对抗鲁棒性与训练的方法,通过引入多种对抗训练方法提升模型鲁棒性和任务效果,并展示其在RLHF中的应用价值。
2026-01-31 cs.CL cs.IR
Matching Exemplar as Next Sentence Prediction (MeNSP): Zero-shot Prompt Learning for Automatic Scoring in Science Education
School of Computing, University of Georgia(佐治亚大学计算学院);AI4STEM Education Center, University of Georgia(佐治亚大学AI4STEM教育中心)
本研究提出零样本提示学习方法 MeNSP,将科学教育中学生回答的自动评分转化为下一句预测任务,无需微调即可达到可参考的机评一致性,显著降低训练成本并适用于低风险课堂评估。
2023-05-31 cs.AI cs.CL
Automated essay scoring with string kernels and word embeddings
University of Bucharest(布加勒斯特大学)
在这项工作中,我们提出了一种方法的基础上结合字符串内核和词嵌入自动作文评分。字符串内核基于计算公共字符n-gram来捕获字符串之间的相似性,这是一种低级但强大的特征类型,在各种文本分类任务中展示了最先进的结果,例如阿拉伯方言识别或母语识别。据我们所知,我们是第一个应用字符串内核自动评分的文章。我们也是第一个将它们与高级语义特征表示相结合的人,即超词包嵌入。我们报告了自动学生评估奖数据集的最佳性能,无论是在域内还是跨域设置中,都超过了最近最先进的深度学习方法。
2018-07-06 cs.CL
Knowledge Distillation of LLM for Automatic Scoring of Science Education Assessments
AI4STEM Education Center(AI4STEM教育中心);University of Georgia(佐治亚大学)
针对科学教育评估自动评分在资源受限设备上的部署难题,提出利用LLM软标签和专用损失函数训练0.03M学生网络的知识蒸馏方法,准确率优于ANN和TinyBERT且显著更小更快。
2024-06-11 cs.AI cs.CL
Generic Embedding-Based Lexicons for Transparent and Reproducible Text Scoring
提出用通用预训练词嵌入构建透明且高性能的文本评分词典,兼顾模型性能与可解释性。
2024-11-01 cs.CL
Word-level Human Interpretable Scoring Mechanism for Novel Text Detection Using Tsetlin Machines
University of Agder(阿格德尔大学)
新颖性检测的最新研究主要集中在文档级分类,采用深度神经网络(DNN)。然而,DNN的黑盒性质使得很难提取出为什么一个文档被认为是新颖的确切解释。此外,在单词级别处理新颖性对于提供比文档级别更细粒度的分析至关重要。在这项工作中,我们提出了一个Tsetlin机(TM)为基础的体系结构,根据其贡献的新颖性评分个别的话。我们的方法编码的新文件使用的语言模式捕获TM子句的描述。然后,我们采用这种描述来衡量一个词对文档的新颖性有多大贡献。我们的实验结果展示了我们的方法如何将新颖性分解为可解释的短语,成功地测量了新颖性。
2021-05-10 cs.AI cs.CL cs.LG
Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays
ELLIS Alicante(埃利斯阿尔瓦雷斯);Universitat d'Alacant(阿尔瓦雷斯大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出基于特征的自动论说作文评分方法,通过两种建模范式提升评分准确性,并展示小型LLM在无需微调下的竞争力。
2026-02-04 cs.CL
Revisiting text decomposition methods for NLI-based factuality scoring of summaries
M Health Information Systems(3M健康信息系统);Carnegie Mellon University(卡内基梅隆大学)
对生成的摘要的真实性进行评分涉及使用输入文档作为支持来测量目标文本包含事实信息的程度。鉴于问题表述的相似性,以前的工作表明,自然语言推理模型可以有效地重新利用来执行这项任务。由于这些模型被训练为在句子级别上对蕴涵进行评分,最近的几项研究表明,将输入文档或摘要分解为句子有助于真实性评分。但是细粒度分解总是一个成功的策略吗?在本文中,我们系统地比较了不同的粒度分解-从文档到子句子级别,我们的答案是否定的。我们的结果表明,将额外的上下文可以产生改善,但这并不一定适用于所有的数据集。我们还表明,以前提出的基于蕴涵的评分方法的小的变化可以导致更好的性能,强调需要谨慎的模型和方法选择下游任务。
2022-11-30 cs.CL
Automatic essay scoring: leveraging Jaccard coefficient and Cosine similaritywith n-gram variation in vector space model approach
Universitas Trunojoyo Madura(特鲁诺佐约大学);Minhaj University(明哈吉大学)
本研究比较Jaccard系数与余弦相似度在向量空间模型中结合n-gram变体进行自动作文评分,发现余弦相似度更优且一元分词RMSE最低。
2025-10-17 cs.CL cs.CY cs.SE
Deep Bayes Factor Scoring for Authorship Verification
Ruhr University Bochum(波鸿鲁尔大学);Bucknell University(巴克内尔大学)
PAN 2020作者身份验证(AV)挑战的重点是在一组同人小说文本上进行跨主题/封闭集AV任务。同人小说是由同人创作的故事情节的延伸,其中一个所谓的同人话题描述了文档的主要主题。PAN 2020 AV任务中提供的数据相当具有挑战性,因为包括了多个/不同同人圈主题的文本作者。在这项工作中,我们将两种众所周知的方法分层融合到一个端到端的学习过程中:底部的深度度量学习框架旨在学习一个伪度量,将可变长度的文档映射到固定大小的特征向量上。在顶部,我们结合了一个概率层,以在学习的度量空间中执行贝叶斯因子评分。我们还提供了文本预处理策略来处理跨主题问题。
2020-08-23 cs.CL cs.LG
Alice: A Large-Scale German Benchmark for Rubric-Based Multi-Dimensional Automatic Short Answer Scoring
DIPF | Leibniz Institute for Research and Information in Education(DIPF | 莱布尼茨教育与信息研究所);IPN | Leibniz Institute for Science and Mathematics Education(IPN | 莱布尼茨科学与数学教育研究所);Umeå University(于默奥大学);Goethe University Frankfurt(法兰克福大学)
本文提出Alice,一个大规模德语自动简答题评分基准,涵盖学习表现、知识要素和技能三个子任务,并验证了评分标准检索方法及多种模型性能,发现LLM在零样本下对知识要素和技能评分困难。
2026-10-08 cs.CL
EXPATS: A Toolkit for Explainable Automated Text Scoring
LegalForce, Inc.(LegalForce 公司);Octanove Labs(Octanove 实验室)
自动文本评分(ATS)任务,如自动作文评分和可读性评估,是自然语言处理的重要教育应用。由于其模型和预测的可解释性,基于手工特征的传统机器学习(ML)算法仍然广泛用于ATS任务。实践者通常需要尝试各种模型(包括深度和传统的ML模型)、特征和训练目标(回归和分类),尽管现代深度学习框架(如PyTorch)需要深度ML专业知识才能充分利用。在本文中,我们提出了EXPATS,一个开源的框架,允许其用户开发和实验不同的ATS模型快速提供灵活的组件,易于使用的配置系统,和命令行界面。该工具包还提供了与语言解释性工具(LIT)的无缝集成,以便可以解释和可视化模型及其预测。我们还描述了两个案例研究,我们建立ATS模型,以最小的工程努力迅速。该工具包可在\url{https://github.com/octanove/expats}上获得。
2021-04-07 cs.CL
Automated Scoring of Arabic Text Using Large Language Models: A Literature Review
Laboratoire d’Informatique et de Mathématiques LIM, Amar Telidji University(阿马尔·特里吉大学计算机与数学实验室)
本文综述了基于大型语言模型的阿拉伯语文本自动评分方法,包括简答题评分和作文评分,提出了包含五个维度的分类体系,并对比分析了现有研究的方法、数据集和性能。
2026-06-11 cs.CL
Automated Text Scoring in the Age of Generative AI for the GPU-poor
本文面向“GPU匮乏者”评估开源小规模GLM在自动化文本评分中的性能与效率,证明微调可获得可用但非SOTA的效果,并初步探索其生成评分反馈的能力。
2024-07-02 cs.AI cs.CL cs.LG
Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring
UMich(密歇根大学);UCLA(加州大学洛杉矶分校)
本文提出通过词重要性评分的水印方法,在生成时保护关键令牌不受水印影响,在保持检测率的同时提升水印文本质量。
2023-11-16 cs.CL cs.CR cs.LG
Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods
Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology(数据与决策科学学院,技术Ion-以色列理工学院)
研究聚焦自动文本可读性评分方法,引入新认知评估框架,通过眼动追踪在线测量实时阅读流畅度,评估多种方法后发现它们在预测成人英语阅读流畅度上欠佳,揭示局限并呼吁新的认知驱动评分方法。
2026-07-29 cs.CL
Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scoring of Texts with Large Language Models
American University(美国大学);New York University(纽约大学);Center for Social Media and Politics(社交媒体与政治中心)
本文提出概念引导的思维链(CGCoT)方法,利用大语言模型将成对文本比较转化为模式识别任务,在Twitter政治厌恶言论评分中优于Wordfish等无监督方法,并达到与微调RoBERTa-Large相当的预测效果。
2025-06-03 cs.CL cs.CY
Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model
EduLab, Inc.(EduLab公司)
本文针对简答题自动评分中分析性分数标注困难的问题,提出结合LLM一次性提示与领域自适应文本相似度评分模型的方法,在公开ASAG数据集上取得0.67准确率和0.71二次加权kappa,显著优于多数类基线。
2023-05-29 cs.CL
Word Embedding for Response-To-Text Assessment of Evidence
University of Pittsburgh(匹兹堡大学);Department of Computer Science(计算机科学系);Department of Computer Science & LRDC(计算机科学系和LRDC);Pittsburgh, PA 15260(宾夕法尼亚州匹兹堡市15260)
手动对文本响应评估(RTA)进行评分是一项劳动密集型工作。因此,一个自动的方法正在开发的分析写作评分时,RTA是在大量的教室管理。我们的长期目标是也使用这种评分方法,为学生和教师提供有关学生写作质量的形成性反馈。作为实现这一目标的第一步,已经开发出了可解释的功能,用于自动对RTA的证据规则进行评分。在本文中,我们提出了一个简单的,但有前途的方法,提高证据评分采用词嵌入模型。我们评估我们的方法上的语料库的反应写上小学生。
2019-08-06 cs.AI cs.CL
Language models and Automated Essay Scoring
在本文中,我们提出了一个新的比较研究自动作文评分(AES)。在这项工作中使用了当前最先进的自然语言处理(NLP)神经网络架构,以在公开可用的Kaggle AES数据集上实现高于人类水平的准确性。我们比较了两个强大的语言模型,BERT和XLNet,并描述了这些模型中的所有层和网络架构。我们使用清晰的符号和图表阐明了BERT和XLNet的网络架构,并解释了Transformer架构相对于传统递归神经网络架构的优势。线性代数符号用于阐明Transformers和注意力机制的功能。我们将结果与更传统的方法进行了比较,例如词袋(BOW)和长短期记忆(LSTM)网络。
2019-09-18 cs.CL cs.LG stat.ML
ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning
Meta AI Research(Meta人工智能研究院)
本文提出ROSCOE,一套可解释的无监督自动评分指标,用于评估大型语言模型逐步推理步骤的正确性,在语义一致性、逻辑性等多维度上持续优于基线指标。
2023-09-12 cs.CL cs.LG
Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
NVIDIA(英伟达)
在这项工作中,我们介绍了一个简单而有效的自动语音识别(ASR)后处理模型。我们的模型具有基于transformer的编码器-解码器架构,该架构将ASR模型输出“翻译”成语法和语义正确的文本。我们研究了正则化和优化模型的不同策略,并表明需要广泛的数据增强和预训练权重的初始化来实现良好的性能。在LibriSpeech基准测试中,我们的方法在单词出错率方面比使用贪心解码的基线声学模型有了显着的改善,特别是在评估数据集的噪声更大的dev-other和test-other部分。我们的模型也优于基线与6-gram语言模型重新评分和接近的性能与transformer-XL神经语言模型重新评分。
2019-10-23 cs.CL cs.SD eess.AS
Re-evaluating ADEM: A Deeper Look at Scoring Dialogue Responses
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Robert Bosch Center for Data Sciences and AI (RBC-DSAI), Indian Institute of Technology, Madras(罗伯特博世数据科学与人工智能中心(RBC-DSAI),印度理工学院马德拉斯分校);Microsoft, India(微软印度公司);NVIDIA, India(英伟达印度公司)
自动评估非结构化领域的对话响应的质量是一个具有挑战性的问题。ADEM(Lowe et al. 2017)将对话系统的自动评估表述为一个学习问题,并表明这种模型能够预测与人类判断显著相关的反应,无论是在话语还是系统层面。他们的系统被证明击败了单词重叠指标,如BLEU,具有很大的利润率。我们从对手是否能利用ADEM模型的问题开始。针对基于神经网络的ADEM评估系统设计了一系列有针对性的攻击,表明对话系统的自动评估还有很长的路要走。ADEM可能会与文本中的词序颠倒这样简单的变体混淆!我们报告几个这样的对抗性的情况下,得出违反直觉的分数的对话反应的实验。我们采取了系统的看ADEM提出的评分功能,并将其连接到线性系统理论来预测系统中明显的缺点。我们还设计了一种攻击,可以欺骗这样的系统,以评价响应生成系统作为有利的。最后,我们提到未来的研究方向,使用对抗攻击,设计一个真正的自动化对话评估系统。
2019-02-23 cs.CL
Prompt Stability Scoring for Text Annotation with Large Language Models
Department of Sociology, New York University(纽约大学社会学系);Independent Researcher(独立研究者);Institute for Logic, Language, and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本文提出一种通用框架,通过传统方法改进内在和跨编码器可靠性评分,提出提示稳定性评分(PSS)及Python包promptstability,用于诊断低稳定性提示并展示功能。
2026-05-15 cs.CL
Enhanced Arabic Text Retrieval with Attentive Relevance Scoring
University of the Basque Country UPV/EHU(巴斯克国家大学UPV/EHU);Lab. de Genie Electrique (LAGE), University of Ouargla(电气工程实验室(LAGE),奥尔加拉大学);Faculty of Pharmacy, Helsinki University(药学院,赫尔辛基大学);IKERBASQUE, Basque Foundation for Science(ikerbasque,巴斯克科学基金会);Sorbonne University Abu Dhabi(索邦大学阿布扎比)
针对阿拉伯语NLP和信息检索的挑战及资源不足问题,提出融合预训练阿语模型、含新型注意力相关性评分的增强DPR框架,有效提升阿语问答的检索性能与排序准确率,且代码开源。
2025-07-31 cs.CL
Rubric-Specific Approach to Automated Essay Scoring with Augmentation Training
Databank, Inc.(Databank公司)
本文提出基于评分细则的数据增强训练方法,使自动作文评分模型学习被忽略的特征,并在ASAP数据集上保持最先进性能。
2023-09-06 cs.AI cs.CL