A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss
Peking University（北京大学）
对于可读性评估，传统方法主要采用具有数百个语言特征的机器学习分类器。虽然深度学习模型已经成为几乎所有NLP任务的主要方法，但它在可读性评估方面的探索较少。在本文中，我们提出了一个基于BERT的模型与特征投影和长度平衡损失（BERT-FP-LBL）的可读性评估。特别地，我们提出了一种新的难度知识引导的半监督方法来提取主题特征，以补充传统的语言特征。从语言特征，我们采用投影滤波提取正交功能，以补充BERT表示。此外，我们设计了一个新的长度平衡的损失，以处理数据的长度分布变化很大。我们的模型在两个英文基准数据集和一个中文教科书数据集上取得了最先进的性能，并且在一个英文数据集上也达到了99%的近乎完美的准确率。此外，我们提出的模型获得了可比的结果与人类专家的一致性测试。
2023-03-04 cs.CL
Learning Syntactic Dense Embedding with Correlation Graph for Automatic Readability Assessment
Guangdong University of Foreign Studies（广东外语外贸大学）；Renmin University of China（中国人民大学）；University of Montreal（蒙特利尔大学）
用于自动可读性评估的深度学习模型通常会丢弃传统上用于任务的机器学习模型中的语言特征。我们提出将语言特征融入神经网络模型，通过学习基于语言特征的句法密集嵌入。为了处理特征之间的关系，我们在特征之间形成一个相关图，并使用它来学习它们的嵌入，以便相似的特征将由相似的嵌入表示。两个熟练程度的六个数据集的实验表明，我们提出的方法可以补充BERT的唯一模型，以实现更好的性能自动可读性评估。
2021-07-09 cs.CL
A Simple Post-Processing Technique for Improving Readability Assessment of Texts using Word Mover's Distance
National University（国立大学）；De La Salle University（德拉萨大学）
一般来说，评估阅读材料或文本的适当难度是有效理解和学习的第一步。在这项研究中，我们改进了传统的自动可读性评估方法，将排名文本的词移动者的距离（WMD）作为一个额外的后处理技术，以进一步地面模型给出的难度水平。我们在菲律宾语、德语和英语三种多语言数据集上的实验结果表明，后处理技术的性能优于之前使用SVM的普通模型和基于排名的模型。
2021-09-19 cs.CL
A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment
Computational Approaches to Modeling Language Lab, New York University Abu Dhabi（新纽约大学阿布扎赫实验室）；Zai Arabic Language Research Centre, Zayed University（扎伊阿拉伯语言研究中心）
该研究构建了含69441句、19个可读性等级的大规模平衡阿拉伯语可读性评估语料库BAREC，人工标注一致性达81.8%，并完成多方法基准测试，公开资源以支持相关研究与教育。
2025-06-11 cs.CL
Efficient Measuring of Readability to Improve Documents Accessibility for Arabic Language Learners
University of Ferhat Abbas Sétif 1（费尔哈特·阿巴斯·塞蒂夫第一大学）
本文提出了一种基于监督的机器学习方法来建立一个分类器，可以识别文本的复杂性，以目前阿拉伯语学习者的文本适合他们的水平。该方法基于机器学习分类方法来区分阅读和理解文本的不同难度。在从在线阿拉伯语网站挖掘的大型语料库上训练了几个模型，并进行了手动注释。该模型使用计数和TF-IDF表示，并应用五种机器学习算法：多项式朴素贝叶斯，伯努利朴素贝叶斯，逻辑回归，支持向量机和随机森林，使用一元和二元特征。为了提取文本的复杂性，通常将层次识别作为一个分类任务来解决。实验结果表明，n-gram特征可以指示文本的阅读水平，并可以大大提高性能，并表明SVM和多项式朴素贝叶斯在预测复杂度方面是最准确的。最好的结果是使用TF-IDF向量，通过基于单词的unigram和bigram的组合进行训练，在四个复杂度级别上的总体准确率为87.14%。
2021-09-09 cs.CL
Automatic Readability Assessment of German Sentences with Transformer Ensembles
FH Aachen University of Applied Sciences（亚琛应用科学大学）；ORDIX AG（ORDIX股份公司）
可靠的自动可读性评估方法有可能影响从机器翻译到自学的各个领域。最近，德语的大语言模型（如GBERT和GPT-2-Wechsel）已经可用，允许开发基于深度学习的方法，这些方法有望进一步改进自动可读性评估。在这篇文章中，我们研究了微调GBERT和GPT-2-Wechsel模型的集合可靠地预测德语句子可读性的能力。我们将这些模型与语言特征相结合，并研究了预测性能对集合大小和组成的依赖性。GBERT和GPT-2-Wechsel的混合系综比仅由GBERT或GPT-2-Wechsel模型组成的相同大小的系综表现更好。我们的模型在GermEval 2022共享任务中对德语句子的文本复杂性评估进行了评估。在样本外数据上，我们的最佳集成实现了0.435的均方根误差。
2022-09-09 cs.CL
Zero-shot Large Language Models for Automatic Readability Assessment
New Jersey Institute of Technology（新泽西理工学院）
本文提出零样本提示方法用于自动可读性评估，并首次全面评估了使用大语言模型作为无监督方法的性能，通过测试10种不同开源大语言模型在14种不同数据集上的表现，证明了方法在14个数据集中优于先前方法，同时提出LAURAE结合LLM和可读性公式得分提升鲁棒性。
2026-04-27 cs.CL
Analyzing Traditional and Neural Approaches to Multilingual Readability Assessment
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Kensho Technologies
本研究通过SHAP和TCAV方法，分析多语言Transformer模型是否内化了传统可读性评估中的语言特征，发现其恢复表面、句法和词汇多样性信号，但特征对齐因模型和语言而异。
2026-09-11 cs.CL
Hierarchical Ranking Neural Network for Long Document Readability Assessment
School of Computer Science and Cyber Engineering（计算机科学与网络安全学院）；Guangzhou University（广州大学）
本文提出一种层次化排序神经网络，通过捕捉上下文信息和顺序关系，提升长文档的可读性评估性能。
2025-11-26 cs.AI cs.CL
Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods
Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology（数据与决策科学学院，技术Ion-以色列理工学院）
研究聚焦自动文本可读性评分方法，引入新认知评估框架，通过眼动追踪在线测量实时阅读流畅度，评估多种方法后发现它们在预测成人英语阅读流畅度上欠佳，揭示局限并呼吁新的认知驱动评分方法。
2026-07-29 cs.CL
BasahaCorpus: An Expanded Linguistic Resource for Readability Assessment in Central Philippine Languages
University of Bath（巴斯大学）；National University（菲律宾国立大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文发布了用于菲律宾低资源语言可读性评估的BasahaCorpus语料库，并提出一种利用语系树位置增加训练数据的分层跨语言建模方法，验证了其在低资源环境中的有效性。
2023-10-17 cs.CL
Strategies for Arabic Readability Modeling
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文针对阿拉伯语形态丰富且可读性资源有限的问题，系统比较了基于规则方法和预训练语言模型等多种策略，在新建语料库上实现单词级86.7和片段级87.9的宏平均F1分数，并公开了代码、数据和模型。
2024-07-03 cs.CL
LXPER Index: a curriculum-specific text readability assessment model for EFL students in Korea
Research & Development Center（研发中心）；LXPER, Inc.（LXPER公司）；University of Pennsylvania（宾夕法尼亚大学）
自动可读性评估是自然语言处理在教育领域的重要应用之一。由于自动可读性评估允许快速选择合适的阅读材料，为读者在所有水平的熟练程度，它可以是特别有用的英语教育的英语作为外语（EFL）的学生在世界各地。大多数可读性评估模型是为英语母语读者开发的，并且对于非母语英语语言培训（ELT）课程中的文本准确性较低。本文介绍了LXPER指数，这是韩国英语课程中针对非英语母语读者的可读性评估模型。我们的实验表明，我们的新模型，训练与CoKEC-text（韩国英语教学课程的文本语料库），显着提高了自动可读性评估的准确性，在韩国英语教学课程的文本。
2020-08-01 cs.CL cs.LG
!MSA at BAREC Shared Task 2025: Ensembling Arabic Transformers for Readability Assessment
Faculty of Computer Science, MSA University（计算机科学学院，MSA大学）
本文提出了一种基于置信度加权的阿拉伯语Transformer模型集成系统，通过差异化损失函数微调、数据重标注与合成数据增强解决类别不平衡问题，在BAREC 2025共享任务六个赛道均获第一。
2025-09-12 cs.CL
Cross-corpus Readability Compatibility Assessment for English Texts
Guangzhou University（广州大学）
本研究提出跨语料库文本可读性兼容性评估（CRCA）框架，通过多语料库、多模型与多指标验证了语料库兼容性及其稳健性，为语料选择与跨语料库迁移学习提供参考。
2023-09-13 cs.CL
LXPER Index 2.0: Improving Text Readability Assessment Model for L2 English Students in Korea
University of Pennsylvania（宾夕法尼亚大学）；LXPER, Inc.（LXPER公司）
在自然语言处理领域，专门针对外语课程中的文本开发文本可读性评估模型一直没有得到太多的关注。因此，大多数发达国家的模型显示L2英语文本的准确性极低，甚至没有多少作为一个公平的比较。在本文中，我们探讨了一个文本可读性评估模式，为第二语言的英语学习者在韩国。据此，我们改进和扩充了韩国英语教学课程文本语料库（CoKEC-text）。每个文本都标有其目标等级。我们训练我们的模型与CoKEC-text和显着提高准确性的可读性评估文本在韩国的英语教学课程。
2020-12-11 cs.CL cs.LG
Automatic Readability Assessment for Closely Related Languages
National University, Philippines（菲律宾国立大学）；University of Bath（巴斯大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文针对菲律宾低资源语言，提出利用互通性和语言关联度改进自动可读性评估，并通过引入基于 n-gram 重叠的 CrossNGO 特征与多语言模型结合，在他加禄语和宿务语上取得最先进结果。
2023-05-25 cs.CL
Exploring Linguistic Features for Turkish Text Readability
Universität Zürich（苏黎世大学）
该研究首次开展土耳其语文本自动可读性评估综合研究，结合前沿神经网络模型与多层面语言学特征开发可读性工具，对比传统公式与现代方法的效果，确定了影响土耳其语文本可读性的关键语言学特征。
2025-09-04 cs.CL
A Baseline Readability Model for Cebuano
National University（国立大学）
在这项研究中，我们开发了Cebuano语言的第一个基线可读性模型。Cebuano是菲律宾第二大母语，约有2750万人使用。作为基线，我们提取了传统或基于表面的特征，基于Cebuano记录的正字法的音节模式，以及来自多语言BERT模型的神经嵌入。结果表明，使用前两个手工语言特征在优化的随机森林模型上训练获得了最佳性能，在所有指标中约为87%。所使用的功能集和算法也是类似于以前的结果，在可读性评估菲律宾语显示潜在的跨语言的应用。为了鼓励菲律宾语言（如Cebuano）的可读性评估工作，我们开源了代码和数据。
2022-05-20 cs.CL
SLATE: Are AI-Generated Slides Educationally Effective? A Benchmark for Language Teaching Quality and Learner Knowledge Acquisition
Beijing Normal University（北京师范大学）；University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Language and Culture University（北京语言大学）；Tsinghua University（清华大学）
SLATE基准通过前测-后测设计评估AI生成语言教学幻灯片，发现教学设计比内容有效性更影响学习收益，且前沿模型可能产生负学习收益，呼吁转变评估范式。
2026-09-09 cs.CL
Text as Environment: A Deep Reinforcement Learning Text Readability Assessment Model
Amirkabir University of Technology（阿米尔卡比尔理工大学）；K.N. Toosi University of Technology（霍梅尼理工大学）；University of Alberta（阿尔伯塔大学）；University of Science and Technology（科技大学）
针对高效评估文本可读性的问题，提出基于硬注意力主动推理的深度强化学习模型，利用半监督信号以最少文本量实现高效评估，在Weebit和Cambridge Exams上以更少输入达到最先进准确率。
2023-10-23 cs.CL cs.LG
MultiAzterTest: a Multilingual Analyzer on Multiple Levels of Language for Readability Assessment
University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
可读性评估是确定文本的难易程度或其等级的任务。传统上，依赖于语言的可读性公式已被使用，但这些公式很少考虑文本的特征。然而，评估文本复杂性的自然语言处理（NLP）工具能够测量更多不同的特征，并可以适应不同的语言。在本文中，我们提出了MultiAzterTest工具：（i）一个开源的NLP工具，它分析了超过125个英语，西班牙语和巴斯克语的内聚，语言和可读性措施的文本，但其架构旨在轻松适应其他语言;（ii）可读性评估分类器，提高了英语中的Coh-Meidong，西班牙语中的Coh-Meidong-Esp和巴斯克语中的ErreXail的性能; iii）网络工具。MultiAzterTest在使用SMO分类器将英语分类为三个阅读水平（初级，中级和高级）时获得90.09%的准确率，在巴斯克语中获得95.50%的准确率，在西班牙语中获得90%的准确率。使用跨语言功能，MultiAzterTest还获得了竞争力的结果，首先是在复杂与简单的区别。
2021-09-10 cs.AI cs.CL
The SAMER Arabic Text Simplification Corpus
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出首个面向学龄学习者的手动标注阿拉伯语文本简化平行语料库 SAMER，包含159K词文本及多级别可读性标注，以支持阿拉伯语文本简化与教学语言技术研究。
2024-04-29 cs.CL
Prompt-based Learning for Text Readability Assessment
University of Pennsylvania（宾夕法尼亚大学）；LXPER AI Research（LXPER人工智能研究院）
本文提出将预训练 seq2seq 模型（T5/BART）适配为文本到文本的成对可读性评估，通过九种提示格式测试和联合训练，在 Newsela 与 OneStopEnglish 上分别取得 99.6% 和 98.7% 的准确率。
2024-06-16 cs.AI cs.CL
Under the Microscope: Interpreting Readability Assessment Models for Filipino
National University（国立大学）；De La Salle University（德拉萨大学）
易读性评估是确定特定文本对于其预期受众的难易程度的过程。方法已经从使用算术公式发展到使用机器学习算法训练的更复杂的模式识别模型。虽然使用这些方法提供了有竞争力的结果，有限的工作是在分析语言变量如何影响模型推理定量。在这项工作中，我们解剖机器学习为基础的可读性评估模型在菲律宾进行全球和本地模型解释，以了解不同的语言特征的贡献，并讨论其影响的菲律宾语的上下文中。结果表明，使用从全球解释的顶部特征训练的模型获得了更高的性能比使用斯皮尔曼相关性选择的特征。同样，我们还根据经验观察了用于在极细粒度水平上区分阅读困难的局部特征权重边界，以及如果值被扰动时它们的相应影响。
2021-10-01 cs.CL cs.LG
Linguistic Features for Readability Assessment
Harvard University（哈佛大学）
可读性评估的目的是自动分类文本的水平适当的学习读者。该任务的传统方法利用各种语言动机特征与简单的机器学习模型配对。最近的方法通过丢弃这些特征并利用深度学习模型来提高性能。然而，目前尚不清楚用语言动机特征增强深度学习模型是否会进一步提高性能。本文结合这两种方法的目标是提高整体模型的性能，并解决这个问题。通过对两个大型可读性语料库的评估，我们发现，在给定足够的训练数据的情况下，用语言动机特征增强深度学习模型并不能提高最先进的性能。我们的研究结果为最先进的深度学习模型代表与可读性相关的文本语言特征的假设提供了初步证据。未来的研究在这些模型中形成的表征的性质可以揭示学习功能及其关系的语言动机的假设在传统的方法。
2020-05-30 cs.CL cs.LG
Language Modeling by Clustering with Word Embeddings for Text Readability Assessment
Harvard University（哈佛大学）
我们提出了一个基于聚类的语言模型，使用词嵌入的文本可读性预测。据推测，欧几里德语义空间假设适用于词嵌入，其训练是通过观察词同现来完成的。我们认为，聚类与词嵌入在度量空间中产生的特征表示在一个更高的语义空间适合文本回归。此外，通过用直方图表示特征，我们的方法可以自然地处理不同长度的文档。使用共同核心标准语料库的实证评估表明，我们的基于聚类的语言模型上形成的功能显着提高了以前已知的结果，为同一语料库的可读性预测。我们还使用维基SimpleWiki语料库的语义相关性的基础上进行句子匹配的任务进行评估，发现我们的功能导致卓越的匹配性能。
2017-09-05 cs.CL cs.LG
A Transfer Learning Based Model for Text Readability Assessment in German
Technische Universität Berlin（柏林工业大学）；German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
文本可读性评估对不同的目标人群有着广泛的应用，从语言学习者到残疾人。Web上文本内容的快速生成使得如果没有机器学习和自然语言处理技术的帮助，就不可能测量文本的复杂性。虽然近年来有许多研究致力于英语文本的可读性评估，但其他语言的模型仍有改进的空间。提出了一种基于迁移学习的德语文本复杂度评估模型。我们的研究结果表明，该模型优于更经典的解决方案，从输入文本的语言特征提取的基础上。最佳模型是基于BERT预训练的语言模型，其均方根误差（RMSE）达到0.483。
2022-09-06 cs.AI cs.CL cs.LG
Automatic learner summary assessment for reading comprehension
Amazon Research（亚马逊研究院）；ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）
摘要的自动评估为评估学习者的阅读理解提供了一个有用的工具。我们提出了一个评估非母语阅读理解的摘要任务，并提出了三种新的方法来自动评估学习者的摘要。我们在我们创建的两个数据集上评估了我们的模型，并表明我们的模型优于传统的依赖于精确单词匹配的方法。我们最好的模式产生接近专业考官的质量评估。
2019-06-18 cs.CL
FPT: Feature Prompt Tuning for Few-shot Readability Assessment
Peking University（北京大学）；National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对少样本可读性评估中传统提示缺乏语言知识、语言特征利用不稳健的问题，提出 FPT 框架，将语言特征注入可训练软提示并用新损失校准类别排序，显著优于现有提示方法、语言特征方法及 gpt-3.5-turbo-16k。
2024-04-10 cs.CL
Pushing on Text Readability Assessment: A Transformer Meets Handcrafted Linguistic Features
Univ. of Pennsylvania（宾夕法尼亚大学）；Univ. of Wisconsin-Madison（威斯康星大学麦迪逊分校）；LXPER AI（LXPER人工智能公司）
本文提出结合 RoBERTa 与 Random Forest 及 255 个手工语言特征的混合可读性评估模型，并引入三个高级语义新特征，在常用数据集上取得 SOTA，最高准确率达 99%。
2024-06-16 cs.AI cs.CL
A Neural Pairwise Ranking Model for Readability Assessment
University of Toronto（多伦多大学）
自动可读性评估（ARA），即为文本分配阅读水平的任务，传统上被视为自然语言处理研究中的分类问题。在本文中，我们提出了第一个神经，成对的排名方法ARA和现有的分类，回归和（非神经）排名方法进行比较。我们建立我们的模型的性能进行实验，三个英语，法语和西班牙语数据集。我们证明了我们的方法在单语单/跨语料库测试场景中表现良好，并且在英语数据上训练时，法语和西班牙语的zero-shot跨语言排名准确率超过80%。此外，我们还发布了一个新的英语和法语双语可读性数据集。据我们所知，本文提出了第一个神经成对排序模型的ARA，并显示了跨语言，zero-shot评估ARA与神经模型的第一个结果。
2022-03-14 cs.AI cs.CL cs.LG
Predicting Text Readability from Scrolling Interactions
University of Cambridge（剑桥大学）；MIT BCS（麻省理工学院脑与认知科学系）；Google（谷歌）
判断文本的可读性有许多重要的应用，例如当执行文本简化或为语言学习者寻找阅读材料时。在本文中，我们提出了一个518参与者的研究，探讨如何滚动行为与文本的可读性。我们公开了我们的数据集，并表明：（1）读者与文本的交互方式在统计上存在显著差异，这取决于文本的水平，（2）这些措施可以用来预测文本的可读性，（3）读者的背景影响他们的阅读互动和导致文本难度的因素。
2021-11-17 cs.CL cs.HC
Assessing Readability with LLMs: The Role of Reasoning and Few-Shot Prompting
Université Paris-Saclay（巴黎-萨克雷大学）；Jožef Stefan Institute（约热夫·斯特凡研究所）
本研究系统评估了多种开源LLM在多语言可读性评估中的表现，发现思维链推理和少样本提示显著提升预测质量，验证了LLM作为跨语言可读性评估器的有效性。
2026-09-22 cs.CL
ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment
College of Computing（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了多语言多领域可读性评估基准ReadMe++，包含9757个句子的人工标注，用于全面评估大型语言模型在有监督、无监督和少样本提示设置下的表现，并发现其具有出色的领域泛化和跨语言迁移能力。
2024-10-16 cs.AI cs.CL cs.LG
mucAI at BAREC Shared Task 2025: Towards Uncertainty Aware Arabic Readability Assessment
Independent Researcher（独立研究者）
本文提出一种基于保形预测和softmax重归一化加权平均的模型无关后处理方法，用于阿拉伯语可读性细粒度分类，在BAREC 2025共享任务中使QWK一致提升1-3个点，句子级盲测达85.7%。
2025-09-18 cs.AI cs.CL
Distributed Readability Analysis Of Turkish Elementary School Textbooks
Firat University（菲拉特大学）
可读性评估是评估阅读文本的难度。许多可读性测试并不表明执行效率，而是应用于特定的文本，以衡量科学教科书的阅读水平。在本文中，我们分析了小学土耳其教科书中所涵盖的内容，采用分布式并行处理框架的基础上流行的MapReduce范式。我们概述了一个分布式大数据处理系统的架构，该系统使用Hadoop进行全文可读性分析。文中还给出了教材的可读性评分和系统性能指标。
2018-02-11 cs.CL cs.DC
A study of Vietnamese readability assessing through semantic and statistical features
University of Information Technology（信息科技大学）；Vietnam National University（越南国家大学）；International University（国际大学）
本研究提出结合统计与语义特征的方法，利用PhoBERT等语言模型和多种机器学习模型，在多个数据集上显著提升越南语文本可读性分类的准确性。
2024-11-07 cs.CL
Grammatical Templates: Improving Text Difficulty Evaluation for Language Learners
Cornell University（康奈尔大学）
语言学生在阅读适当难度的文本时最投入。然而，现有的文本难度评估方法主要集中在词汇方面，而没有优先考虑语法特征，因此对于语法知识有限的语言学习者来说效果不佳。在本文中，我们介绍了语法模板，专家确定的语法单位，学生从课堂上学习，作为一个重要的特点，文本难度评估。实验结果表明，语法模板特征显著提高了文本难度预测的准确率比基线可读性特征的7.4%。此外，我们建立了一个简单的和人类可以理解的文本难度评估方法与87.7%的准确率，仅使用5个语法模板功能。
2017-02-15 cs.AI cs.CL
Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts
Tallinn University（塔林大学）
本研究通过精心选择特征提升语言能力评估模型的可解释性，并在爱沙尼亚开源学习环境中实现了写作评估模块。
2026-02-22 cs.CL
Readability Reconsidered: A Cross-Dataset Analysis of Reference-Free Metrics
University of California Irvine（加州大学尔湾分校）；Capital One
本研究通过分析897项人类判断，发现信息内容和主题影响可读性感知，并对比15种传统与6种模型指标，证明模型指标更优，指出传统指标与人类感知不匹配。
2025-10-17 cs.AI cs.CL
Automated assessment of non-native learner essays: Investigating the role of linguistic features
Iowa State University（爱荷华州立大学）
自动论文评分（AES）是指对给定提示的自由文本响应进行评分的过程，将人类评分者的分数视为黄金标准。写这样的文章是许多语言和能力测试的重要组成部分。因此，AES成为一个活跃和成熟的研究领域，今天有许多专有系统用于实际应用。然而，关于哪些特定的语言特征对预测有用以及这些特征在多大程度上在数据集之间是一致的，我们知之甚少。这篇文章通过使用两个公开的非母语英语作文数据集来探索各种语言特征在自动作文评分中的作用来解决这个问题。通过对特征集中学习者语言的词汇、句法、语篇和错误类型进行编码，对语言属性进行建模。然后使用这两个数据集上的这些特征开发预测模型，并比较最具预测性的特征。虽然结果表明，使用的特征集在两个数据集上都能产生良好的预测模型，但问题是“什么是最具预测性的特征？“对于每个数据集都有不同的答案。
2016-12-02 cs.CL
PUCP-Metrix: An Open-source and Comprehensive Toolkit for Linguistic Analysis of Spanish Texts
Research Group on Artificial Intelligence, Pontificia Universidad Católica del Perú（人工智能研究组，天主教秘鲁大学）
PUCP-Metrix是一个开源工具包，提供182个语言指标，用于西班牙语文本的细粒度可解释分析，适用于自动可读性评估和机器生成文本检测。
2025-12-04 cs.CL
CEFR-Based Sentence Difficulty Annotation and Assessment
Osaka University（大阪大学）；Kyushu University（九州大学）；Ehime University（爱媛大学）
可控文本简化是语言学习和教学的一项重要辅助技术。阻碍其发展的主要因素之一是缺乏基于语言能力描述的句子难度标注语料库。为了解决这个问题，我们创建了基于CEFR的句子配置文件（CEFR-SP）语料库，包含17 K英语句子，并根据英语教育专业人士指定的欧洲共同语言参考框架进行了注释。此外，我们还提出了一个水平评估模型，以处理不平衡的水平分布，因为最基本的和高度熟练的句子是自然稀缺。在本研究的实验中，我们的方法在水平评估中取得了84.5%的宏观F1分数，从而优于可读性评估中采用的强基线。
2022-10-21 cs.CL
An Open Multilingual System for Scoring Readability of Wikipedia
Pompeu Fabra University（庞培法布拉大学）；University of Konstanz（康斯坦茨大学）；Wikimedia Foundation（维基媒体基金会）
针对维基百科多语言可读性评估的空白，研究开发了一个多语言评分模型，利用涵盖14种语言的全新数据集进行训练，在零样本场景下实现超80%排序准确率，首次提供了英语之外的维基百科可读性概览。
2024-06-03 cs.AI cs.CL
Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature
De La Salle University（德拉萨大学）；National University（国立大学）
正确识别儿童阅读材料的年级是有效学习的重要一步。最近的英语领域可读性评估研究应用了自然语言处理（NLP）中的现代方法，如机器学习（ML）技术来自动化该过程。在对可读性公式建模时，还需要提取正确的语言特征。在菲律宾语的背景下，有限的工作已经完成[1，2]，特别是在考虑语言的词汇复杂性作为主要特征。在本文中，我们探讨使用词汇的特点，对提高儿童的可读性识别的发展写在菲律宾语的书籍。结果表明，结合词汇特征（LEX），包括类型标记比，词汇密度，词汇变化，外国单词计数与传统的功能（TRAD），如句子长度，平均音节长度，多音节词，单词，句子和短语计数增加了近5%的利润率（从42%到47.2%）的可读性模型的性能。进一步的分析和排名的最重要的功能，以确定哪些功能贡献最大的阅读复杂性。
2021-01-22 cs.CL cs.LG
Automatic Difficulty Classification of Arabic Sentences
University of Leeds（利兹大学）
在本文中，我们提出了一个现代标准阿拉伯语（MSA）句子难度分类器，它预测句子的难度为语言学习者使用CEFR的熟练程度水平或二元分类为简单或复杂。我们比较了不同类型的句子嵌入（fastText，mBERT，XLM-R和Arabic-BERT）的使用，以及传统的语言功能，如POS标签，依赖树，可读性得分和频率列表的语言学习者。我们使用微调的Arabic-BERT实现了最佳结果。我们的三向CEFR分类的准确性是F-1的0.80和XLM-R分类分别为0.75和0.71斯皮尔曼相关回归。我们的二元难度分类器达到F-1 0.94和F-1 0.98的双对语义相似度分类器。
2021-03-07 cs.CL
Large Language Model-Driven Dynamic Assessment of Grammatical Accuracy in English Language Learner Writing
National Institute of Standards（国家标准 institute）；Department of Physics, Colorado State University（物理系，科罗拉多州立大学）；Electrical Engineering Department, University of Colorado（电气工程系，科罗拉多大学）
本研究开发了支持多LLM的语法辅导应用DynaWrite，测试发现GPT-4o在动态评估质量、速度和稳定性上表现优异，证明LLM可扩大英语写作语法动态评估的覆盖规模。
2025-05-02 cs.AI cs.CL
A Framework for Learning Assessment through Multimodal Analysis of Reading Behaviour and Language Comprehension
Indian Institute of Information Technology Allahabad（印度信息技术学院阿拉哈巴德分校）
阅读理解是一项重要的学术技能，它是通过将文字的字形转化为意义的过程来理解书面语篇的。其他语言学习技能--写作、口语和听力，都与阅读理解有关。研究人员提出了一些措施来自动评估第二语言（L2）学习者的理解技能，特别是英语作为第二语言（ESL）和英语作为外语（EFL）的学习者。然而，目前的方法测量特定的技能没有分析阅读频率对理解技能的影响。在这篇论文中，我们展示了如何不同的技能可以自动测量和评分。我们还展示了，使用多种形式的学习者的反应的例子实验，如何频繁的阅读实践可能会影响变量的多模态技能（阅读模式，写作和口语流利性）。本论文由五个部分组成。第一和第二项研究是基于在重复阅读（RR）会话中收集的EFL读者的眼动数据。研究三和研究四是对英语阅读者在重复阅读中撰写的自由文本摘要进行评价。第五个也是最后一个研究，在本论文的第六章中描述，是对EFL读者在重复阅读中背诵的口头摘要进行评估。简而言之，通过这篇论文，我们表明，学习者的多模态技能可以进行评估，以衡量他们的理解能力，以及衡量这些技能在时间的过程中重复阅读的效果，通过发现显着的功能，并通过应用机器学习技术与统计模型，如LMER的组合。
2021-10-22 cs.CL
Speak & Improve Corpus 2025: an L2 English Speech Corpus for Language Assessment and Feedback
ALTA Institute（阿尔塔研究所）；University of Cambridge（剑桥大学）；Cambridge University Press and Assessment（剑桥大学出版社与评估部）；Enhanced Speech Technology Ltd（增强语音技术有限公司）
本文介绍Speak & Improve语料库2025，一个含整体评分和错误标注的L2英语口语数据集，旨在解决公开高质量标注数据缺乏问题，支持口语评估、反馈及ASR、GEC等技术研究。
2024-12-17 cs.CL
Transformer Models for Text Coherence Assessment
IIIT Hyderabad（海得拉巴国际信息技术研究所）；Microsoft（微软）
连贯是文本质量的一个重要方面，对保证文本的可读性至关重要。这对于文本生成系统（如摘要，问答，机器翻译，问题生成，表到文本等）的输出是必不可少的。自动连贯性评分模型也有助于文章评分或提供写作反馈。以前的大量工作都利用了基于实体的方法，句法模式，话语关系，以及最近传统的深度学习架构来进行文本连贯性评估。以前的工作有缺点，如无法处理长距离依赖关系，词汇表外的单词，或模型序列信息。我们假设一致性评估是一个认知上复杂的任务，需要更深层次的模型，并可以从其他相关任务中受益。因此，在本文中，我们提出了四种不同的基于transformer的任务架构：香草Transformer，分层Transformer，多任务学习为基础的模型，并与基于事实的输入表示模型。我们在四个不同的一致性评估任务上使用多个领域的流行基准数据集进行的实验表明，我们的模型实现了最先进的结果，远远优于现有模型。
2022-02-23 cs.CL
Large Language Models for Difficulty Estimation of Foreign Language Content with Application to Language Learning
University of Lausanne（洛桑大学）；IT University of Copenhagen（哥本哈根信息技术大学）
本文提出利用大型语言模型帮助学习者提升外语水平，通过识别符合学习者兴趣与水平的文本和视频内容，实现比传统方法更精确的语言难度估计，从而持续激发学习动机并保持学习投入。
2023-09-10 cs.AI cs.CL
Implicit assessment of language learning during practice as accurate as explicit testing
University of Helsinki（赫尔辛基大学）
本研究在智能辅导系统中应用项目反应理论（IRT），证明通过高效适应性测试及直接从练习情境中隐性评估，均能准确估计学习者语言能力，且效果与显性测试相当。
2024-09-24 cs.AI cs.CL cs.CY
Automatic Proficiency Assessment in L2 English Learners
École de Technologie Supérieure, Université du Québec（École de Technologie Supérieure，Université du Québec）；Johns Hopkins University（约翰霍普金斯大学）
本文利用深度学习技术，结合语音和文本模态，通过CNN、ResNet、wav2vec 2.0和BERT等模型实现英语二语学习者水平的自动评估，并在多个数据集上验证了预训练wav2vec 2.0模型的稳健性。
2025-05-05 cs.CL cs.SD eess.AS
