FPT: Feature Prompt Tuning for Few-shot Readability Assessment
Peking University（北京大学）；National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对少样本可读性评估中传统提示缺乏语言知识、语言特征利用不稳健的问题，提出 FPT 框架，将语言特征注入可训练软提示并用新损失校准类别排序，显著优于现有提示方法、语言特征方法及 gpt-3.5-turbo-16k。
2024-04-10 cs.CL
Assessing Readability with LLMs: The Role of Reasoning and Few-Shot Prompting
Université Paris-Saclay（巴黎-萨克雷大学）；Jožef Stefan Institute（约热夫·斯特凡研究所）
本研究系统评估了多种开源LLM在多语言可读性评估中的表现，发现思维链推理和少样本提示显著提升预测质量，验证了LLM作为跨语言可读性评估器的有效性。
2026-09-22 cs.CL
G-SciEdBERT: A Contextualized LLM for Science Assessment Tasks in German
AI4STEM Education Center（AI4STEM教育中心）；University of Georgia（佐治亚大学）；IPN–Leibniz-Institute for Science and Mathematics Education（莱布尼茨科学与数学教育研究所（IPN））；Technical University of Munich（慕尼黑工业大学）
针对标准G-BERT缺乏科学领域知识、不匹配学生写作风格，难以准确评分德语科学作答的问题，研究基于G-BERT在PISA 2018等语料上预训练微调得到专用模型G-SciEdBERT，其二次加权Kappa值较G-BERT提升10.2%，为教育AI领域做贡献。
2024-08-16 cs.AI cs.CL
A Corpus for Automatic Readability Assessment and Text Simplification of German
University of Zurich（苏黎世大学）
在本文中，我们提出了一个语料库，用于自动可读性评估和自动文本简化的德语。该语料库由网络来源汇编而成，约有211 000句。作为一个新的贡献，它包含了文本结构，排版和图像的信息，可以利用作为机器学习方法的可读性评估和文本简化的一部分。本出版物的重点是将这些信息表示为对现有语料库标准的扩展。
2019-09-19 cs.CL
PlainMedScale: A Corpus of Multi-Level Simplified Medical Texts in German and English
Heidelberg University（海德堡大学）
本研究构建了德语和英语的多级别简化医学语料库PlainMedScale，开展试点研究发现现有可读性指标无法跨层级泛化、SOTA开放权重LLM的Plain Language提示仍保留部分输入难度，并公开了代码与数据。
2026-08-04 cs.CL
The Role of Implicit and Explicit Demographic Signals in Large Language Model-based Student Assessment
Bocconi University（博科尼大学）；Télécom SudParis（巴黎电信南巴黎）；Institut Polytechnique de Paris（巴黎综合理工学院）
本研究通过受控提示词测试显性与隐性人口统计信号对六种大语言模型在自动作文评分、形成性反馈和元语言问答中的影响，发现模型会据此调整输出并产生潜在偏差，证实了教育评估中的人口统计敏感性。
2026-09-16 cs.AI cs.CL cs.CY
Hierarchical Ranking Neural Network for Long Document Readability Assessment
School of Computer Science and Cyber Engineering（计算机科学与网络安全学院）；Guangzhou University（广州大学）
本文提出一种层次化排序神经网络，通过捕捉上下文信息和顺序关系，提升长文档的可读性评估性能。
2025-11-26 cs.AI cs.CL
LXPER Index: a curriculum-specific text readability assessment model for EFL students in Korea
Research & Development Center（研发中心）；LXPER, Inc.（LXPER公司）；University of Pennsylvania（宾夕法尼亚大学）
自动可读性评估是自然语言处理在教育领域的重要应用之一。由于自动可读性评估允许快速选择合适的阅读材料，为读者在所有水平的熟练程度，它可以是特别有用的英语教育的英语作为外语（EFL）的学生在世界各地。大多数可读性评估模型是为英语母语读者开发的，并且对于非母语英语语言培训（ELT）课程中的文本准确性较低。本文介绍了LXPER指数，这是韩国英语课程中针对非英语母语读者的可读性评估模型。我们的实验表明，我们的新模型，训练与CoKEC-text（韩国英语教学课程的文本语料库），显着提高了自动可读性评估的准确性，在韩国英语教学课程的文本。
2020-08-01 cs.CL cs.LG
A Neural Pairwise Ranking Model for Readability Assessment
University of Toronto（多伦多大学）
自动可读性评估（ARA），即为文本分配阅读水平的任务，传统上被视为自然语言处理研究中的分类问题。在本文中，我们提出了第一个神经，成对的排名方法ARA和现有的分类，回归和（非神经）排名方法进行比较。我们建立我们的模型的性能进行实验，三个英语，法语和西班牙语数据集。我们证明了我们的方法在单语单/跨语料库测试场景中表现良好，并且在英语数据上训练时，法语和西班牙语的zero-shot跨语言排名准确率超过80%。此外，我们还发布了一个新的英语和法语双语可读性数据集。据我们所知，本文提出了第一个神经成对排序模型的ARA，并显示了跨语言，zero-shot评估ARA与神经模型的第一个结果。
2022-03-14 cs.AI cs.CL cs.LG
ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment
College of Computing（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了多语言多领域可读性评估基准ReadMe++，包含9757个句子的人工标注，用于全面评估大型语言模型在有监督、无监督和少样本提示设置下的表现，并发现其具有出色的领域泛化和跨语言迁移能力。
2024-10-16 cs.AI cs.CL cs.LG
From "Help" to Helpful: A Hierarchical Assessment of LLMs in Mental e-Health Applications
Technische Hochschule Nürnberg – Georg Simon Ohm（纽伦堡技术大学——格奥尔格·西蒙·欧姆学院）
本研究评估了11种LLM在生成德国咨询邮件主题行中的表现，发现德国微调能提升性能，同时探讨了心理健康AI部署中的隐私、偏见和问责制等伦理问题。
2026-07-28 cs.AI cs.CL cs.CY
LXPER Index 2.0: Improving Text Readability Assessment Model for L2 English Students in Korea
University of Pennsylvania（宾夕法尼亚大学）；LXPER, Inc.（LXPER公司）
在自然语言处理领域，专门针对外语课程中的文本开发文本可读性评估模型一直没有得到太多的关注。因此，大多数发达国家的模型显示L2英语文本的准确性极低，甚至没有多少作为一个公平的比较。在本文中，我们探讨了一个文本可读性评估模式，为第二语言的英语学习者在韩国。据此，我们改进和扩充了韩国英语教学课程文本语料库（CoKEC-text）。每个文本都标有其目标等级。我们训练我们的模型与CoKEC-text和显着提高准确性的可读性评估文本在韩国的英语教学课程。
2020-12-11 cs.CL cs.LG
FinTruthQA: A Benchmark for AI-Driven Financial Disclosure Quality Assessment in Investor -- Firm Interactions
Zhejiang University（浙江大学）
FinTruthQA通过6000个真实财务问答数据，评估投资者与企业互动中的财务披露质量，发现现有模型在回答可读性和相关性上表现较弱，预训练语言模型在复杂任务中表现更优。
2026-04-09 cs.CL
Text as Environment: A Deep Reinforcement Learning Text Readability Assessment Model
Amirkabir University of Technology（阿米尔卡比尔理工大学）；K.N. Toosi University of Technology（霍梅尼理工大学）；University of Alberta（阿尔伯塔大学）；University of Science and Technology（科技大学）
针对高效评估文本可读性的问题，提出基于硬注意力主动推理的深度强化学习模型，利用半监督信号以最少文本量实现高效评估，在Weebit和Cambridge Exams上以更少输入达到最先进准确率。
2023-10-23 cs.CL cs.LG
MultiAzterTest: a Multilingual Analyzer on Multiple Levels of Language for Readability Assessment
University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
可读性评估是确定文本的难易程度或其等级的任务。传统上，依赖于语言的可读性公式已被使用，但这些公式很少考虑文本的特征。然而，评估文本复杂性的自然语言处理（NLP）工具能够测量更多不同的特征，并可以适应不同的语言。在本文中，我们提出了MultiAzterTest工具：（i）一个开源的NLP工具，它分析了超过125个英语，西班牙语和巴斯克语的内聚，语言和可读性措施的文本，但其架构旨在轻松适应其他语言;（ii）可读性评估分类器，提高了英语中的Coh-Meidong，西班牙语中的Coh-Meidong-Esp和巴斯克语中的ErreXail的性能; iii）网络工具。MultiAzterTest在使用SMO分类器将英语分类为三个阅读水平（初级，中级和高级）时获得90.09%的准确率，在巴斯克语中获得95.50%的准确率，在西班牙语中获得90%的准确率。使用跨语言功能，MultiAzterTest还获得了竞争力的结果，首先是在复杂与简单的区别。
2021-09-10 cs.AI cs.CL
Trends, Limitations and Open Challenges in Automatic Readability Assessment Research
National Research Council, Canada（加拿大国家研究委员会）
易读性评估是对一段文本的阅读难度进行评估的任务。虽然计算方法的可读性评估的研究，现在已经有二十年的历史了，有没有太多的工作，综合这项研究。本文简要回顾了当前关于发展可读性评估计算模型的研究。我们确定了常见的方法，讨论了它们的缺点，并确定了未来的一些挑战。在可能的情况下，我们还将计算研究与教育和心理学等其他学科的相关工作联系起来。
2022-04-19 cs.CL
A Machine Learning Approach to Persian Text Readability Assessment Using a Crowdsourced Dataset
K. N. Toosi University of Technology（K. N. 托西理工大学）
文本可读性评估的自动化方法对于一种语言来说是必不可少的，并且可以成为提高用该语言编写和发布的文本的可理解性的强大工具。然而，有超过1.1亿人使用的波斯语却没有这样的系统。与英语、法语和中文等其他语言不同，为波斯语建立准确可靠的文本可读性评估系统的研究非常有限。在本研究中，收集了第一个波斯语文本可读性评估数据集，并介绍了第一个使用机器学习进行波斯语文本可读性评估的模型。实验表明，该模型是准确的，可以评估波斯语文本的可读性与高度的信心。本研究的结果可以用于许多应用，如医疗和教育文本可读性评估，并有可能成为未来波斯语文本可读性评估研究的基石。
2020-04-21 cs.CL
Prompt-based Learning for Text Readability Assessment
University of Pennsylvania（宾夕法尼亚大学）；LXPER AI Research（LXPER人工智能研究院）
本文提出将预训练 seq2seq 模型（T5/BART）适配为文本到文本的成对可读性评估，通过九种提示格式测试和联合训练，在 Newsela 与 OneStopEnglish 上分别取得 99.6% 和 98.7% 的准确率。
2024-06-16 cs.AI cs.CL
Under the Microscope: Interpreting Readability Assessment Models for Filipino
National University（国立大学）；De La Salle University（德拉萨大学）
易读性评估是确定特定文本对于其预期受众的难易程度的过程。方法已经从使用算术公式发展到使用机器学习算法训练的更复杂的模式识别模型。虽然使用这些方法提供了有竞争力的结果，有限的工作是在分析语言变量如何影响模型推理定量。在这项工作中，我们解剖机器学习为基础的可读性评估模型在菲律宾进行全球和本地模型解释，以了解不同的语言特征的贡献，并讨论其影响的菲律宾语的上下文中。结果表明，使用从全球解释的顶部特征训练的模型获得了更高的性能比使用斯皮尔曼相关性选择的特征。同样，我们还根据经验观察了用于在极细粒度水平上区分阅读困难的局部特征权重边界，以及如果值被扰动时它们的相应影响。
2021-10-01 cs.CL cs.LG
Inter-Rater Agreement Study on Readability Assessment in Bengali
IIEST, Shibpur（印度工程科学与技术学院，希布普尔）；University of North Texas（北德克萨斯大学）
评价者之间的协议研究进行可读性评估在孟加拉语。一个1-7的等级量表被用来表示不同的可读性水平。我们在七位独立的注释者中获得了四位著名孟加拉作家撰写的30段文字的适度到公平的一致意见。作为我们研究的副产品，我们获得了孟加拉语的可读性注释的地面实况数据集。.
2014-07-08 cs.CL
Linguistic Features for Readability Assessment
Harvard University（哈佛大学）
可读性评估的目的是自动分类文本的水平适当的学习读者。该任务的传统方法利用各种语言动机特征与简单的机器学习模型配对。最近的方法通过丢弃这些特征并利用深度学习模型来提高性能。然而，目前尚不清楚用语言动机特征增强深度学习模型是否会进一步提高性能。本文结合这两种方法的目标是提高整体模型的性能，并解决这个问题。通过对两个大型可读性语料库的评估，我们发现，在给定足够的训练数据的情况下，用语言动机特征增强深度学习模型并不能提高最先进的性能。我们的研究结果为最先进的深度学习模型代表与可读性相关的文本语言特征的假设提供了初步证据。未来的研究在这些模型中形成的表征的性质可以揭示学习功能及其关系的语言动机的假设在传统的方法。
2020-05-30 cs.CL cs.LG
Language Modeling by Clustering with Word Embeddings for Text Readability Assessment
Harvard University（哈佛大学）
我们提出了一个基于聚类的语言模型，使用词嵌入的文本可读性预测。据推测，欧几里德语义空间假设适用于词嵌入，其训练是通过观察词同现来完成的。我们认为，聚类与词嵌入在度量空间中产生的特征表示在一个更高的语义空间适合文本回归。此外，通过用直方图表示特征，我们的方法可以自然地处理不同长度的文档。使用共同核心标准语料库的实证评估表明，我们的基于聚类的语言模型上形成的功能显着提高了以前已知的结果，为同一语料库的可读性预测。我们还使用维基SimpleWiki语料库的语义相关性的基础上进行句子匹配的任务进行评估，发现我们的功能导致卓越的匹配性能。
2017-09-05 cs.CL cs.LG
Pushing on Text Readability Assessment: A Transformer Meets Handcrafted Linguistic Features
Univ. of Pennsylvania（宾夕法尼亚大学）；Univ. of Wisconsin-Madison（威斯康星大学麦迪逊分校）；LXPER AI（LXPER人工智能公司）
本文提出结合 RoBERTa 与 Random Forest 及 255 个手工语言特征的混合可读性评估模型，并引入三个高级语义新特征，在常用数据集上取得 SOTA，最高准确率达 99%。
2024-06-16 cs.AI cs.CL
BERT Embeddings for Automatic Readability Assessment
National University（国立大学）
自动可读性评估（ARA）是评估文本文档对目标受众的难易程度的任务。对于研究人员来说，该领域的许多开放性问题之一是使这些为任务训练的模型即使对于低资源语言也显示出有效性。在这项研究中，我们提出了一种替代的方式，利用信息丰富的嵌入BERT模型与手工制作的语言功能，通过组合的方法进行可读性评估。结果表明，该方法优于经典的方法在可读性评估使用英语和菲律宾语数据集，获得高达12.4%的F1性能的增加。我们还表明，编码在BERT嵌入的一般信息可以用作替代功能集的低资源的语言，如菲律宾语有限的语义和语法的NLP工具，明确提取任务的特征值。
2021-07-30 cs.CL
Text Readability Assessment for Second Language Learners
The ALTA Institute（阿尔塔研究所）；University of Cambridge（剑桥大学）
本文旨在探讨针对第二语言学习者的文本可读性评估问题。在这项任务中的主要挑战之一是缺乏显着规模的水平注释的数据。在本研究中，我们收集了一个CEFR评分的文本数据集，为英语学习者量身定制作为一个L2和调查文本可读性评估为母语和L2学习者。我们采用泛化方法来适应在较大的母语语料库上训练的模型来估计学习者的文本可读性，并探索领域自适应和自学习技术来利用母语数据来提高系统在有限的第二语言数据上的性能。在我们的实验中，学习者文本可读性的最佳表现模型达到了0.797的准确率和$0.938$的PCC。
2019-06-18 cs.CL
Instruction-Tuning Large Language Models with Medical Classification Data Improves ICD Coding of German Tumor Diagnoses
University Medical Center of the Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学医学中心）；University Cancer Center of the Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学癌症中心）
本研究通过公共目录构建指令数据集微调开放权重LLM，显著提升德国肿瘤诊断ICD编码准确率，并公开数据集与模型。
2026-11-06 cs.AI cs.CL cs.LG
A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss
Peking University（北京大学）
对于可读性评估，传统方法主要采用具有数百个语言特征的机器学习分类器。虽然深度学习模型已经成为几乎所有NLP任务的主要方法，但它在可读性评估方面的探索较少。在本文中，我们提出了一个基于BERT的模型与特征投影和长度平衡损失（BERT-FP-LBL）的可读性评估。特别地，我们提出了一种新的难度知识引导的半监督方法来提取主题特征，以补充传统的语言特征。从语言特征，我们采用投影滤波提取正交功能，以补充BERT表示。此外，我们设计了一个新的长度平衡的损失，以处理数据的长度分布变化很大。我们的模型在两个英文基准数据集和一个中文教科书数据集上取得了最先进的性能，并且在一个英文数据集上也达到了99%的近乎完美的准确率。此外，我们提出的模型获得了可比的结果与人类专家的一致性测试。
2023-03-04 cs.CL
RDF-Based Structured Quality Assessment Representation of Multilingual LLM Evaluations
Leipzig University of Applied Sciences（莱比锡应用科学大学）
提出基于RDF的框架评估多语言LLM在知识冲突下的质量，通过四种上下文条件捕获响应并分析知识泄露与多语言一致性，实验验证了词汇表在28个问题研究中的充分性。
2025-04-30 cs.AI cs.CL cs.IR
Learning Syntactic Dense Embedding with Correlation Graph for Automatic Readability Assessment
Guangdong University of Foreign Studies（广东外语外贸大学）；Renmin University of China（中国人民大学）；University of Montreal（蒙特利尔大学）
用于自动可读性评估的深度学习模型通常会丢弃传统上用于任务的机器学习模型中的语言特征。我们提出将语言特征融入神经网络模型，通过学习基于语言特征的句法密集嵌入。为了处理特征之间的关系，我们在特征之间形成一个相关图，并使用它来学习它们的嵌入，以便相似的特征将由相似的嵌入表示。两个熟练程度的六个数据集的实验表明，我们提出的方法可以补充BERT的唯一模型，以实现更好的性能自动可读性评估。
2021-07-09 cs.CL
A Simple Post-Processing Technique for Improving Readability Assessment of Texts using Word Mover's Distance
National University（国立大学）；De La Salle University（德拉萨大学）
一般来说，评估阅读材料或文本的适当难度是有效理解和学习的第一步。在这项研究中，我们改进了传统的自动可读性评估方法，将排名文本的词移动者的距离（WMD）作为一个额外的后处理技术，以进一步地面模型给出的难度水平。我们在菲律宾语、德语和英语三种多语言数据集上的实验结果表明，后处理技术的性能优于之前使用SVM的普通模型和基于排名的模型。
2021-09-19 cs.CL
A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment
Computational Approaches to Modeling Language Lab, New York University Abu Dhabi（新纽约大学阿布扎赫实验室）；Zai Arabic Language Research Centre, Zayed University（扎伊阿拉伯语言研究中心）
该研究构建了含69441句、19个可读性等级的大规模平衡阿拉伯语可读性评估语料库BAREC，人工标注一致性达81.8%，并完成多方法基准测试，公开资源以支持相关研究与教育。
2025-06-11 cs.CL
mucAI at BAREC Shared Task 2025: Towards Uncertainty Aware Arabic Readability Assessment
Independent Researcher（独立研究者）
本文提出一种基于保形预测和softmax重归一化加权平均的模型无关后处理方法，用于阿拉伯语可读性细粒度分类，在BAREC 2025共享任务中使QWK一致提升1-3个点，句子级盲测达85.7%。
2025-09-18 cs.AI cs.CL
An Automatic Question Usability Evaluation Toolkit
Carnegie Mellon University（卡内基梅隆大学）；Dublin City University（都柏林城市大学）
本文提出开源工具包SAQUET，利用IWF评分标准结合GPT-4等大模型自动评估多选题设计缺陷，在五个领域数据集上检测准确率超94%，有效弥补传统自动化评估方法的不足。
2024-05-30 cs.AI cs.CL
Adapting an ASR Foundation Model for Spoken Language Assessment
ALTA Institute（ALTA研究所）；Cambridge University（剑桥大学）；Cambridge University Press & Assessment（剑桥大学出版社与评估部）；EST Ltd（EST有限公司）
针对口语评估中ASR输出可读性高但不够精确的问题，分析Whisper输出，提出微调和软提示调优两种方法，实验表明能有效生成考生实际所说的单词。
2023-10-10 cs.CL cs.SD eess.AS
Analyzing Traditional and Neural Approaches to Multilingual Readability Assessment
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Kensho Technologies
本研究通过SHAP和TCAV方法，分析多语言Transformer模型是否内化了传统可读性评估中的语言特征，发现其恢复表面、句法和词汇多样性信号，但特征对齐因模型和语言而异。
2026-09-11 cs.CL
BasahaCorpus: An Expanded Linguistic Resource for Readability Assessment in Central Philippine Languages
University of Bath（巴斯大学）；National University（菲律宾国立大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文发布了用于菲律宾低资源语言可读性评估的BasahaCorpus语料库，并提出一种利用语系树位置增加训练数据的分层跨语言建模方法，验证了其在低资源环境中的有效性。
2023-10-17 cs.CL
!MSA at BAREC Shared Task 2025: Ensembling Arabic Transformers for Readability Assessment
Faculty of Computer Science, MSA University（计算机科学学院，MSA大学）
本文提出了一种基于置信度加权的阿拉伯语Transformer模型集成系统，通过差异化损失函数微调、数据重标注与合成数据增强解决类别不平衡问题，在BAREC 2025共享任务六个赛道均获第一。
2025-09-12 cs.CL
Cross-corpus Readability Compatibility Assessment for English Texts
Guangzhou University（广州大学）
本研究提出跨语料库文本可读性兼容性评估（CRCA）框架，通过多语料库、多模型与多指标验证了语料库兼容性及其稳健性，为语料选择与跨语料库迁移学习提供参考。
2023-09-13 cs.CL
From Benchmarking to Reasoning: A Dual-Aspect, Large-Scale Evaluation of LLMs on Vietnamese Legal Text
University of Science, VNUHCM（越南国家大学科学大学）；Vietnam National University（越南国家大学）；Hanoi Open University（河内开放大学）；Ho Chi Minh, Vietnam（胡志明市，越南）
本文提出双视角评估框架，评估四种LLM在越南法律文本的准确性、可读性和一致性，发现Grok-1在可读性和一致性上表现优异但法律准确性不足，而Claude 3 Opus高准确性掩盖了推理错误，揭示当前LLM在法律推理上的核心挑战。
2026-04-17 cs.AI cs.CL
Automatic Readability Assessment for Closely Related Languages
National University, Philippines（菲律宾国立大学）；University of Bath（巴斯大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文针对菲律宾低资源语言，提出利用互通性和语言关联度改进自动可读性评估，并通过引入基于 n-gram 重叠的 CrossNGO 特征与多语言模型结合，在他加禄语和宿务语上取得最先进结果。
2023-05-25 cs.CL
Exploring Linguistic Features for Turkish Text Readability
Universität Zürich（苏黎世大学）
该研究首次开展土耳其语文本自动可读性评估综合研究，结合前沿神经网络模型与多层面语言学特征开发可读性工具，对比传统公式与现代方法的效果，确定了影响土耳其语文本可读性的关键语言学特征。
2025-09-04 cs.CL
A Baseline Readability Model for Cebuano
National University（国立大学）
在这项研究中，我们开发了Cebuano语言的第一个基线可读性模型。Cebuano是菲律宾第二大母语，约有2750万人使用。作为基线，我们提取了传统或基于表面的特征，基于Cebuano记录的正字法的音节模式，以及来自多语言BERT模型的神经嵌入。结果表明，使用前两个手工语言特征在优化的随机森林模型上训练获得了最佳性能，在所有指标中约为87%。所使用的功能集和算法也是类似于以前的结果，在可读性评估菲律宾语显示潜在的跨语言的应用。为了鼓励菲律宾语言（如Cebuano）的可读性评估工作，我们开源了代码和数据。
2022-05-20 cs.CL
Readability Reconsidered: A Cross-Dataset Analysis of Reference-Free Metrics
University of California Irvine（加州大学尔湾分校）；Capital One
本研究通过分析897项人类判断，发现信息内容和主题影响可读性感知，并对比15种传统与6种模型指标，证明模型指标更优，指出传统指标与人类感知不匹配。
2025-10-17 cs.AI cs.CL
Comprehensive Assessment of Toxicity in ChatGPT
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Microsoft（微软）；NetApp（网存公司）
本文利用指令微调数据集全面评估了ChatGPT的毒性，发现其毒性随任务、领域、长度和语言等提示词属性变化，创意写作及德语、葡萄牙语提示会显著增加毒性，而早期设计的部分恶意提示已不再产生有害回复。
2023-11-03 cs.CL cs.CR cs.CY
S-DAT: A Multilingual, GenAI-Driven Framework for Automated Divergent Thinking Assessment
Weizenbaum Institute and Humboldt University Berlin（魏泽内堡研究所和柏林洪堡大学）；University of Essex（埃塞克斯大学）；TU Berlin and Zuse Institute Berlin（柏林技术大学和柏林泽尼克研究所）
本文提出S-DAT框架，利用大语言模型和多语言嵌入计算语义距离以自动评估发散性思维，在11种语言中验证了其稳健性、聚合效度与区分效度，为全球规模的创造力研究提供了公平且可扩展的工具。
2025-10-23 cs.CL cs.HC
Subjective Assessment of Text Complexity: A Dataset for German Language
Technische Universität Berlin（柏林工业大学）；DFKI Projektbüro Berlin（德国人工智能研究中心柏林项目办公室）
本文介绍了TextComplexityDE，一个数据集，包括1000个句子的德语取自23个维基百科的文章在3个不同的文章类型，用于开发文本复杂度预测模型和自动文本简化德语。该数据集包括由A级和B级德语学习者提供的不同文本复杂性方面的主观评估。此外，它还包括对母语者提供的250个句子进行人工简化，以及目标群体参与者对简化句子的主观评估。主观评分是使用实验室研究和众包方法收集的。
2019-04-16 cs.CL
Evaluating Large Language Model Raters for German Open-Response Clinical Questions: A Physician-Annotated Benchmark Study of Agreement, Evaluator Bias, and Abstention
University of Luebeck（吕贝克大学）；University of Tübingen（图宾根大学）；University Hospital Schleswig-Holstein（石勒苏益格-荷尔斯泰因大学医院）；University Hospital Würzburg（维尔茨堡大学医院）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Genie Enterprise Deutschland GmbH
针对德语开放回答临床基准MedQADE，评估LLM评估者与医生的对齐程度，发现统计一致性高但缺乏临床元认知，且存在系统性的模型谱系偏差。
2026-10-07 cs.CL
Distributed Readability Analysis Of Turkish Elementary School Textbooks
Firat University（菲拉特大学）
可读性评估是评估阅读文本的难度。许多可读性测试并不表明执行效率，而是应用于特定的文本，以衡量科学教科书的阅读水平。在本文中，我们分析了小学土耳其教科书中所涵盖的内容，采用分布式并行处理框架的基础上流行的MapReduce范式。我们概述了一个分布式大数据处理系统的架构，该系统使用Hadoop进行全文可读性分析。文中还给出了教材的可读性评分和系统性能指标。
2018-02-11 cs.CL cs.DC
An Open Multilingual System for Scoring Readability of Wikipedia
Pompeu Fabra University（庞培法布拉大学）；University of Konstanz（康斯坦茨大学）；Wikimedia Foundation（维基媒体基金会）
针对维基百科多语言可读性评估的空白，研究开发了一个多语言评分模型，利用涵盖14种语言的全新数据集进行训练，在零样本场景下实现超80%排序准确率，首次提供了英语之外的维基百科可读性概览。
2024-06-03 cs.AI cs.CL
Reading between the Lines: Leveraging Large Language Models for Global Dementia and Depression Assessment from Clinical Interviews
TH Nürnberg（Nürnberg大学）；FAU Erlangen（埃朗根大学）；PMU Klinikum Nürnberg（纽伦堡大学医院）
本研究利用开放权重大型语言模型，从154名德语受试者的临床访谈录音中预测痴呆和抑郁严重程度，引入与全球恶化量表对齐的全球抑郁量表，发现零样本预测对抑郁有效，而结构化特征提取显著提升痴呆评估性能，误差降低达35%，且暂停增强转录本表现与人工转录相当。
2026-06-17 cs.CL cs.SD eess.AS
Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature
De La Salle University（德拉萨大学）；National University（国立大学）
正确识别儿童阅读材料的年级是有效学习的重要一步。最近的英语领域可读性评估研究应用了自然语言处理（NLP）中的现代方法，如机器学习（ML）技术来自动化该过程。在对可读性公式建模时，还需要提取正确的语言特征。在菲律宾语的背景下，有限的工作已经完成[1，2]，特别是在考虑语言的词汇复杂性作为主要特征。在本文中，我们探讨使用词汇的特点，对提高儿童的可读性识别的发展写在菲律宾语的书籍。结果表明，结合词汇特征（LEX），包括类型标记比，词汇密度，词汇变化，外国单词计数与传统的功能（TRAD），如句子长度，平均音节长度，多音节词，单词，句子和短语计数增加了近5%的利润率（从42%到47.2%）的可读性模型的性能。进一步的分析和排名的最重要的功能，以确定哪些功能贡献最大的阅读复杂性。
2021-01-22 cs.CL cs.LG
Cross-Lingual Response Consistency in Large Language Models: An ILR-Informed Evaluation of Claude Across Six Languages
Independent Researcher（独立研究者）；Former Faculty, Defense Language Institute Foreign Language Center（前国防语言研究院外语中心 faculty）；ILR/OPI Assessment Specialist（ILR/OPI 评估专家）
本文基于ILR技能描述系统，评估Claude在六种语言中的响应一致性，发现法语响应比德语更长30%，且创造性输出存在显著跨语言差异，提出ILR指导的专家评估方法补充了纯计算基准。
2026-04-29 cs.CL
Multilingual Sentiment Analysis of Summarized Texts: A Cross-Language Study of Text Shortening Effects
本研究跨语言考察了抽取式与生成式摘要对多语言情感分类的影响，发现抽取式更能保留情感而生成式易致失真，并提出平衡可读性与情感保留的混合摘要方法。
2025-03-31 cs.CL
Electoral Programs of German Parties 2021: A Computational Analysis Of Their Comprehensibility and Likeability Based On SentiArt
Freie Universität Berlin（柏林自由大学）
德国六个政党在2021年议会选举前发布的选举计划使用最先进的计算工具进行定量叙述，主题和情感分析。我们比较了不同的方法来计算程序的文本相似度，Jaccard Bag相似度，潜在语义分析，doc 2 vec和sBERT，从第1种方法到第4种方法，代表性和计算复杂性增加。一个新的相似性度量的整个文件来自Fowlkes马洛得分适用于kmeans聚类的sBERT转换的句子。使用通过SentiArt（Jacobs，2019）计算的文本可读性和情感潜力的新指数，我们的数据揭示了程序在长度，主要思想，可理解性，可爱性和语义复杂性方面的相似性和差异。除此之外，他们揭示了社民党和基民盟的计划有最好的机会被理解和喜欢-所有其他事情都是平等的-他们提出了一个重要的问题，即哪种相似性度量是比较文本的最佳选择，如选举计划，这必然会共享很多单词。虽然此类分析无法取代定性分析或对文本的深入阅读，但它们提供了可以在实证研究中验证的预测，并可能成为改变未来选举计划方面的动力，可能使其更容易理解和/或更受欢迎。
2021-09-26 cs.CL cs.LG
