Clinical Annotations for Automatic Stuttering Severity Assessment
University of Aveiro（阿维罗大学）；SpeechCare Center（言语治疗中心）；MBZUAI（马尔科姆·伯恩斯人工智能研究所）；Instituto Brasileiro de Fluência（巴西流畅研究所）
本文基于临床标准为 FluencyBank 数据集构建多模态口吃标注，并引入专家共识测试集，实验表明口吃严重程度评估高度依赖临床专业知识。
2025-05-31 cs.AI cs.CL
A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models
Georgetown University（乔治城大学）；University of Groningen（格罗宁根大学）
本文通过poshbench评估了神经语言模型在贫乏刺激论中的表现，发现其泛化能力弱于儿童，但引入认知动机归纳偏置后提升语法能力，挑战了内在句法是唯一泛化途径的观点。
2026-08-17 cs.AI cs.CL
Speech Corpus for Korean Children with Autism Spectrum Disorder: Towards Automatic Assessment Systems
Seoul National University（首尔大学）
本文构建了首个韩国ASD儿童语音语料库，通过分析声学与语言特征并关联临床评分，验证了自动评估社交沟通严重程度和发音熟练度的可行性。
2024-02-23 cs.CL eess.AS
Argument Identification in Public Comments from eRulemaking
FiscalNote Research（FiscalNote研究院）
美国的行政机关在电子规则制定过程中，每年收到数百万条关于拟议的机关行动的意见。这些评论代表了支持和反对这些建议的各种论点。虽然要求各机构查明实质性评论并作出回应，但它们一直在努力跟上信息量的步伐。在这项工作中，我们解决的任务，确定论证文本，分类类型的论点索赔，并确定立场的评论。首先，我们提出了一个分类的论点索赔的基础上分析了数以千计的规则和数以百万计的评论。其次，我们收集并半自动地引导注释，以创建一个包含数百万个句子的数据集，并在句子级别上使用论点声明类型注释。第三，我们建立了一个系统，自动确定论证跨度和索赔类型，使用我们提出的分类在一个层次分类模型。
2019-05-14 cs.CL cs.LG
Argument Quality Assessment in the Age of Instruction-Following Large Language Models
Leibniz University Hannover（汉诺威莱布尼茨大学）；GESIS（莱布尼茨社会科学研究所）；Heinrich-Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；I3S（计算机、信号与系统实验室）；Universität Hamburg（汉堡大学）；University of Richmond（里士满大学）；University of Stuttgart（斯图加特大学）
本文指出论点质量评估面临质量概念多样性与感知主观性障碍，提出应利用指令遵循LLMs跨上下文知识能力，结合论证理论系统指导而非仅追逐排行榜，以实现更可靠的评估并探讨其现实与伦理影响。
2024-03-24 cs.CL
Intrinsic Quality Assessment of Arguments
Paderborn University（帕德博恩大学）；Department of Computer Science（计算机科学系）
研究了自然语言论证的几个质量维度。有些可能反映在语言特征中（例如，一个论点的安排），而其他取决于上下文（例如，相关性）或主题知识（例如，可接受性）。在本文中，我们研究了15维的内在计算评估，即，只从论点的文本中学习。在现有语料库上使用八种特征类型进行的系统实验中，我们观察到大多数维度的适度但显著的学习成功。修辞的质量似乎最难评估，主观性特征变得很强，虽然语料库中的长度偏见阻碍了充分的有效性。我们还发现，人类评估员之间的差异比我们的方法更明显。
2020-10-23 cs.CL
Rhetoric, Logic, and Dialectic: Advancing Theory-based Argument Quality Assessment in Natural Language Processing
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；Grammarly；Dataminr, Inc.（Dataminr公司）
虽然先前的计算论证质量（AQ）的工作主要集中在评估整体AQ，研究人员认为，作者将受益于针对个别维度的论证理论的反馈。然而，缺乏大规模的基于理论的语料库和相应的计算模型。我们填补了这一空白，进行了广泛的分析，涵盖了三个不同领域的在线议论文写作和GAQCorpus：第一个大规模的英语多领域（社区问答论坛，辩论论坛，评论论坛）语料库注释与理论为基础的AQ分数。然后，我们提出了第一个计算方法，以理论为基础的评估，这可以作为未来工作的强有力的基线。我们展示了大规模AQ注释的可行性，表明利用维度之间的关系可以提高性能，并探索基于理论的预测和实际AQ评估之间的协同作用。
2020-11-03 cs.CL
Contextualizing Argument Quality Assessment with Relevant Knowledge
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对论证质量评估脱离情境的问题，本文提出 SPARK，利用 LLM 生成四类相关知识增强并通过双编码器 Transformer 联合建模，在域内和零样本实验中均取得更优表现。
2024-06-18 cs.CL
Automatic Debate Evaluation with Argumentation Semantics and Natural Language Argument Graph Networks
Centre for Argument Technology, University of Dundee（邓迪大学论证技术中心）；VRAIN, Universitat Politècnica de València（瓦伦西亚理工大学VRAIN研究所）
针对辩论标注数据不足导致自动评估困难的问题，本文融合论证理论、Transformer 与神经图网络，提出混合式自动辩论评估方法并验证其有效性。
2024-01-21 cs.CL
CASA: Causality-driven Argument Sufficiency Assessment
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出零样本因果驱动框架CASA，利用充分性概率和大语言模型生成并修订不一致上下文来评估论证充分性，实验证明其能准确识别不充分论证并提升学生写作质量。
2024-04-02 cs.CL
Learning From Revisions: Quality Assessment of Claims in Argumentation at Scale
University of Bremen（不来梅大学）；Paderborn University（帕德博恩大学）
评价论证的质量和论证所包含的主张的质量已经成为计算论证中的一项关键任务。然而，即使不同的主张在同一主题上有着相同的立场，对它们的评估也取决于对所讨论主题的不同方面的先前看法和权重。这使得学习与主题无关的质量指标变得困难。在本文中，我们研究索赔质量评估，无论讨论的方面，通过比较不同的修订相同的索赔。我们编译了一个大规模的语料库，其中包含来自kialo.com的超过377k的各种类型的声明修订对，涵盖了政治，道德，娱乐等各种主题。然后，我们提出了两个任务：（a）评估一个修订对的索赔是更好的，和（b）排名的质量索赔的所有版本。我们的第一个基于嵌入的逻辑回归和基于transformer的神经网络的实验显示了有希望的结果，表明学习指标在各个主题中具有很好的泛化能力。在详细的错误分析中，我们深入了解索赔的哪些质量维度可以可靠地评估。我们提供重现所有结果所需的数据和脚本。
2021-01-25 cs.CL
Trends, Limitations and Open Challenges in Automatic Readability Assessment Research
National Research Council, Canada（加拿大国家研究委员会）
易读性评估是对一段文本的阅读难度进行评估的任务。虽然计算方法的可读性评估的研究，现在已经有二十年的历史了，有没有太多的工作，综合这项研究。本文简要回顾了当前关于发展可读性评估计算模型的研究。我们确定了常见的方法，讨论了它们的缺点，并确定了未来的一些挑战。在可能的情况下，我们还将计算研究与教育和心理学等其他学科的相关工作联系起来。
2022-04-19 cs.CL
Automatic assessment of spoken language proficiency of non-native children
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Heidelberg（海德堡大学）；University of Trento（特伦托大学）；University of Saarland（萨尔兰大学）
本文介绍了技术开发自动分级意大利学生（9 - 16岁）对他们的英语和德语口语水平。学生的口头回答首先由自动语音识别（ASR）系统转录，然后使用处理从自动转录中提取的特征的前馈神经网络（NN）进行评分。采用深度神经网络（DNN）的域内声学模型通过适应原始域外DNN的参数而导出。
2019-03-15 cs.CL
Towards a Perspectivist Turn in Argument Quality Assessment
GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Heinrich-Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文系统综述论证质量数据集，从标注内容与标注者信息两方面构建多层分类，识别可用于视角主义模型的个体标注数据，并通过试点证明标注者选择的重要性。
2025-02-20 cs.CL
Designing and Analysing Argument Mining Pipelines: Towards a Comprehensive Assessment
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Universidade da Coruña（科鲁尼亚大学）；IEGPS-CSIC, Spanish National Research Council（西班牙国家研究委员会IEGPS）
本研究通过三重视角框架系统分析端到端论证挖掘流水线，提出通用设计以促进方法比较与评估，为未来研究奠定基础。
2026-09-23 cs.CL
Learning Syntactic Dense Embedding with Correlation Graph for Automatic Readability Assessment
Guangdong University of Foreign Studies（广东外语外贸大学）；Renmin University of China（中国人民大学）；University of Montreal（蒙特利尔大学）
用于自动可读性评估的深度学习模型通常会丢弃传统上用于任务的机器学习模型中的语言特征。我们提出将语言特征融入神经网络模型，通过学习基于语言特征的句法密集嵌入。为了处理特征之间的关系，我们在特征之间形成一个相关图，并使用它来学习它们的嵌入，以便相似的特征将由相似的嵌入表示。两个熟练程度的六个数据集的实验表明，我们提出的方法可以补充BERT的唯一模型，以实现更好的性能自动可读性评估。
2021-07-09 cs.CL
Argument Rarity-based Originality Assessment for AI-Assisted Writing
Ritsumeikan Global Innovation Research Organization (R-GIRO), Ritsumeikan University（日光全球创新研究组织（R-GIRO）、日光大学）；Faculty of Business and Commerce, Kansai University（大阪大学商学部）；Arbege Corporation（Arbege公司）；College of Life Sciences, Ritsumeikan University（日光大学生命科学学院）；Office of General Education, Ritsumeikan University（日光大学通识教育办公室）
本文提出AROA框架，通过论点稀有性评估AI辅助写作的原创性，发现AI生成作文在结构上可复制但缺乏语义原创性。
2026-02-23 cs.CL
BERT Embeddings for Automatic Readability Assessment
National University（国立大学）
自动可读性评估（ARA）是评估文本文档对目标受众的难易程度的任务。对于研究人员来说，该领域的许多开放性问题之一是使这些为任务训练的模型即使对于低资源语言也显示出有效性。在这项研究中，我们提出了一种替代的方式，利用信息丰富的嵌入BERT模型与手工制作的语言功能，通过组合的方法进行可读性评估。结果表明，该方法优于经典的方法在可读性评估使用英语和菲律宾语数据集，获得高达12.4%的F1性能的增加。我们还表明，编码在BERT嵌入的一般信息可以用作替代功能集的低资源的语言，如菲律宾语有限的语义和语法的NLP工具，明确提取任务的特征值。
2021-07-30 cs.CL
Evaluation of Automatic Video Captioning Using Direct Assessment
ADAPT Research Centre（ADAPT研究中心）；Dublin City University（都柏林城市大学）；National Institute of Standards and Technology（美国国家标准与技术研究院）；Dakota Consulting, Inc.（达科他咨询公司）；Insight Centre for Data Analytics（洞察数据分析中心）
我们提出了直接评估，手动评估自动生成的视频字幕的质量的方法。评估视频字幕的准确性是特别困难的，因为对于任何给定的视频剪辑，没有明确的地面真相或正确的答案来衡量。2016年的TRECVid视频描述任务中使用了自动指标，用于将自动视频字幕与BLEU和METEOR等手动字幕进行比较，这些指标来自评估机器翻译的技术，但这些指标存在缺陷。这里介绍的工作通过众包字幕描述视频的方式将人类评估纳入评估。我们会自动降低一些手动评估的样本字幕的质量，并由此对人工评估员的质量进行评级，这是我们在评估中考虑的一个因素。使用2016年TRECVID视频到文本任务的数据，我们展示了我们的直接评估方法是如何可复制和强大的，并且应该扩展到有许多字幕生成技术需要评估的地方。
2017-10-29 cs.CL
Automatic Readability Assessment of German Sentences with Transformer Ensembles
FH Aachen University of Applied Sciences（亚琛应用科学大学）；ORDIX AG（ORDIX股份公司）
可靠的自动可读性评估方法有可能影响从机器翻译到自学的各个领域。最近，德语的大语言模型（如GBERT和GPT-2-Wechsel）已经可用，允许开发基于深度学习的方法，这些方法有望进一步改进自动可读性评估。在这篇文章中，我们研究了微调GBERT和GPT-2-Wechsel模型的集合可靠地预测德语句子可读性的能力。我们将这些模型与语言特征相结合，并研究了预测性能对集合大小和组成的依赖性。GBERT和GPT-2-Wechsel的混合系综比仅由GBERT或GPT-2-Wechsel模型组成的相同大小的系综表现更好。我们的模型在GermEval 2022共享任务中对德语句子的文本复杂性评估进行了评估。在样本外数据上，我们的最佳集成实现了0.435的均方根误差。
2022-09-09 cs.CL
AutoAM: An End-To-End Neural Model for Automatic and Universal Argument Mining
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出端到端神经模型AutoAM，通过引入论证组件注意力机制，在无树结构约束下统一完成论证挖掘的三个子任务，并在两个公开数据集上取得优于现有方法的效果。
2023-09-17 cs.CL
Open Brain AI. Automatic Language Assessment
University of Oslo（奥斯陆大学）
本文介绍Open Brain AI平台，利用AI技术自动分析多语言言语和书面语言，以减轻临床医生负担，提高语言评估效率。
2024-03-18 cs.CL
A study on the impact of Self-Supervised Learning on automatic dysarthric speech assessment
Imperial College London（帝国理工学院）
本研究首次在UA-Speech数据集上评估预训练自监督模型在构音障碍语音的疾病分类、单词识别和可懂度分类任务及噪声场景下的表现，发现HuBERT作为特征提取器相比经典声学特征准确率分别提升+24.7%、+61%和+7.2%。
2024-03-22 cs.CL
Translation Quality Assessment: A Brief Survey on Manual and Automatic Methods
ADAPT Research Centre（ADAPT研究中心）；Insight Centre for Data Analytics（数据洞察分析中心）；Dublin City University（都柏林城市大学）
为了促进有效的翻译建模和翻译研究，需要解决的关键问题之一是如何评估翻译质量。从准确性、可靠性、可重复性和成本等角度来看，翻译质量评估（TQA）本身就是一项内容丰富且具有挑战性的工作。在这项工作中，我们提出了一个高层次的和简明的调查TQA方法，包括人工判断标准和自动化的评估指标，我们分为更详细的子类别。我们希望这项工作将成为翻译模型研究人员和质量评估研究人员的资产。此外，我们希望它将使从业者能够快速发展更好地了解传统的TQA领域，并找到相应的密切相关的评估解决方案，为自己的需求。除了机器翻译（MT）之外，这项工作还可以激发其他自然语言处理（NLP）任务的质量评估和评估方法的进一步发展，例如自动文本摘要（ATS），自然语言理解（NLU）和自然语言生成（NLG）。
2021-05-05 cs.CL
Automatic Quality Assessment for Speech Translation Using Joint ASR and MT Features
Laboratoire d’Informatique de Grenoble, University of Grenoble Alpes（格勒诺布尔计算机科学实验室，格勒诺布尔阿尔卑斯大学）
本文研究口语翻译质量的自动评估。这个相对较新的任务被定义和形式化为一个序列标签问题，其中根据一个大的特征集，将假设中的每个单词标记为好或坏。我们提出了几个字的信心估计（WCE）的基础上，我们的自动评估转录（ASR）的质量，翻译（MT）的质量，或两者兼而有之（结合ASR+MT）。这项研究工作是可能的，因为我们建立了一个特定的语料库，其中包含6.7k的话语，其中一个五元组包括：ASR输出，逐字记录，文本翻译，语音翻译和翻译后编辑。我们使用联合ASR和MT特征进行WCE的多次实验的结论是，MT特征仍然是最有影响力的，而ASR特征可以带来有趣的补充信息。我们的鲁棒质量估计器可用于重新评分语音翻译图或在交互式语音翻译或计算机辅助语音到文本场景中向用户提供反馈。
2016-09-20 cs.CL
Zero-shot Large Language Models for Automatic Readability Assessment
New Jersey Institute of Technology（新泽西理工学院）
本文提出零样本提示方法用于自动可读性评估，并首次全面评估了使用大语言模型作为无监督方法的性能，通过测试10种不同开源大语言模型在14种不同数据集上的表现，证明了方法在14个数据集中优于先前方法，同时提出LAURAE结合LLM和可读性公式得分提升鲁棒性。
2026-04-27 cs.CL
Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment
ELLIS Alicante, Spain（阿利坎特ELLIS研究所，西班牙）；Universitat d’Alacant, Spain（阿利坎特大学，西班牙）；École Polytechnique Fédérale de Lausanne, EPFL, Switzerland（洛桑联邦理工学院，瑞士）
针对教育领域论证挖掘中纯解码器模型未被充分探索的问题，提出利用开源小型LLMs通过小样本提示和微调完成论证成分分割、分类与质量评估，在相关数据集上验证了其在部分任务中优于基线的性能，凸显其教育应用潜力。
2025-11-12 cs.CL cs.HC
Argument Quality Assessment with Large Language Models: A Pairwise Bradley-Terry Approach
Centrum Wiskunde & Informatica, The Netherlands（荷兰代尔夫特理工大学）；Vrije Universiteit Amsterdam, The Netherlands（荷兰阿姆斯特丹自由大学）
本研究利用12种开源大语言模型，通过成对比较和Bradley-Terry模型评估论证质量，发现Llama-70B与人类专家判断具有中等一致性（Cohen's κ=0.493），其他模型表现各异但互补。
2026-09-02 cs.CL
Transformer-Based Models for Automatic Identification of Argument Relations: A Cross-Domain Evaluation
Universitat Politècnica de València（瓦伦西亚理工大学）；Valencian Research Institute for Artificial Intelligence (VRAIN)（瓦伦西亚人工智能研究所）
论证挖掘被定义为自动识别和提取论证成分的任务（例如，房地、索赔等）并检测它们之间的现有关系（即，支持，攻击，换句话说，没有关系）。在处理这个问题时的主要问题之一是缺乏数据，以及公开可用的语料库的大小。在这项工作中，我们使用最近注释的US2016辩论语料库。US2016是现有最大的参数注释语料库，它允许探索自然语言处理在复杂领域（如参数（关系）挖掘）的最新进展的好处。我们对基于transformer的模型的行为进行了详尽的分析（即，BERT、XLNET、RoBERTa、DistilBERT和ALBERT）。最后，我们评估了五个不同领域的模型，目的是找到更少的领域依赖模型。我们使用US2016评估语料库获得的宏观F1分数为0.70，使用道德迷宫跨域语料库获得的宏观F1分数为0.61。
2021-04-15 cs.CL
Enhancing Argument Summarization: Prioritizing Exhaustiveness in Key Point Generation and Introducing an Automatic Coverage Evaluation Metric
Lakehead University（湖首大学）；Université de Sherbrooke（谢布鲁克大学）
本文提出一种基于抽取式聚类的关键点生成方法，提高覆盖率并减少冗余，同时引入一种新的覆盖率评估指标，以解决现有指标无法区分关键点质量的问题。
2024-04-17 cs.CL
Automatic Summarization of Russian Texts: Comparison of Extractive and Abstractive Methods
Vyatka State University（维亚特卡国立大学）
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发，显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中，我们使用的翻译版本的议论文，说服性的文章和UKP句子语料库微调RuBERT模型。最后，利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调，生成论元文本。结果表明，与原始ruGPT-3模型相比，这种方法将参数生成的准确性提高了20个百分点（63.2%对42.5%）。
2022-06-18 cs.CL
Automatic Readability Assessment for Closely Related Languages
National University, Philippines（菲律宾国立大学）；University of Bath（巴斯大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文针对菲律宾低资源语言，提出利用互通性和语言关联度改进自动可读性评估，并通过引入基于 n-gram 重叠的 CrossNGO 特征与多语言模型结合，在他加禄语和宿务语上取得最先进结果。
2023-05-25 cs.CL
Automatic Detection of Inauthentic Templated Responses in English Language Assessments
Pearson Education（培生教育）；Pearson Education, Inc.（培生教育公司）
针对高风险英语考试中考生使用模板欺骗自动评分系统的问题，本文提出AuDITR任务及机器学习检测方法，并强调生产环境中模型需定期更新。
2025-09-10 cs.AI cs.CL
A Survey on Automatic Credibility Assessment Using Textual Credibility Signals in the Era of Large Language Models
Kempelen Institute of Intelligent Technologies（智能技术研究所）；The University of Sheffield（谢菲尔德大学）
本综述回顾175篇文献，系统梳理了NLP领域内九类文本可信度信号的检测与自动评估方法，深入分析事实性、说服技巧等关键类别，并指出大语言模型时代下的未来研究方向与挑战。
2025-10-13 cs.CL
Automatic Assessment of Oral Reading Accuracy for Reading Diagnostics
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本研究评估了六个基于ASR的系统使用Kaldi和Whisper自动评估荷兰语口语阅读准确性的效果，发现包含阅读错误的语言模型系统表现最佳，与人类评估达到了实质性一致。
2023-06-06 cs.CL cs.SD eess.AS
Neural Argument Generation Augmented with Externally Retrieved Evidence
College of Computer and Information Science（计算机与信息科学学院）；Northeastern University（东北大学）
高质量的论据是人类推理和决策过程的基本要素。然而，有效的论证构建对人类和机器来说都是一项具有挑战性的任务。在这项工作中，我们研究了一个新的任务，自动生成一个不同的立场为一个给定的声明参数。我们提出了一个编码器-解码器风格的神经网络为基础的参数生成模型丰富的外部检索证据从维基百科。我们的模型首先生成一组谈话要点短语作为中间表示，然后由一个单独的解码器根据输入和关键短语生成最终参数。从Reddit收集的大规模数据集上的实验表明，我们的模型根据自动评估和人工评估，比流行的序列到序列生成模型构建具有更多主题相关内容的参数。
2018-05-25 cs.CL
D-GEN: Automatic Distractor Generation and Evaluation for Reliable Assessment of Generative Model
Emory University（埃默里大学）
针对开放式生成模型评估难、人工制作多项选择评估干扰项成本高的问题，提出首个开源干扰项生成模型D-GEN及两种评估方法，实验证明其生成的干扰项质量接近人工水平，推动多项选择评估标准化。
2025-06-12 cs.CL
Automatic Pronunciation Assessment using Self-Supervised Speech Representation Learning
AI Lab, Kakao Enterprise（Kakao企业人工智能实验室）
自监督学习（SSL）方法，如wav2vec 2.0和HuBERT模型，在语音社区的各种下游任务中表现出了良好的效果。特别是，通过SSL模型学习的语音表示已被证明对于编码各种语音相关特征是有效的。在此背景下，我们提出了一种新的自动发音评估方法的基础上SSL模型。首先，所提出的方法用连接主义时间分类微调预训练的SSL模型，以适应数据环境中英语作为第二语言（ESL）学习者的英语发音。然后，从SSL模型的所有Transformer层中提取逐层上下文表示。最后，自动发音分数估计使用双向长短期记忆与逐层上下文表示和相应的文本。我们表明，建议的SSL模型为基础的方法优于基线，在皮尔逊相关系数，韩国ESL学习者的孩子和Speechocean 762的数据集。此外，我们分析了SSL模型中Transformer层的不同表示方式如何影响发音评估任务的性能。
2022-04-08 cs.CL eess.AS
Automatic Pronunciation Assessment -- A Review
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
本文综述了深度学习背景下自动发音评估在音素与韵律层面的方法、挑战及资源，并指出了现有局限与未来研究方向。
2023-10-21 cs.CL cs.SD eess.AS
Comparison and Adaptation of Automatic Evaluation Metrics for Quality Assessment of Re-Speaking
重新说话是一种获得高质量字幕的机制，用于现场直播和其他公共活动。因为它依赖于人类执行实际的复述，所以估计结果质量的任务是不平凡的。大多数组织依靠人类来执行实际的质量评估，但对于其他类似问题，如机器翻译，已经开发了纯自动方法。本文将尝试比较几种方法：BLEU，EBLEU，NIST，METEOR，METEOR-PL，TER和RIBES。然后，这些将被匹配到人类派生的NER度量，通常用于重新说话。
2016-01-12 cs.CL stat.AP stat.ML
Convergences and Divergences between Automatic Assessment and Human Evaluation: Insights from Comparing ChatGPT-Generated Translation and Neural Machine Translation
School of Foreign Languages, Shanghai Jiao Tong University（上海交通大学外国语学院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Institute of Corpus Studies and Applications, Shanghai International Studies University（上海外国语大学语料库研究与应用研究所）
本研究比较了ChatGPT与NMT系统的翻译质量，发现自动评估与人工评估在形式保真度上一致，但在语义和语用保真度上存在分歧，突显了人工判断的不可或缺性。
2024-10-12 cs.AI cs.CL
Automatic Assessment of Divergent Thinking in Chinese Language with TransDis: A Transformer-Based Language Model Approach
Peking University（北京大学）；George Washington University（乔治华盛顿大学）
针对中文创造力评估缺失，提出基于Transformer的TransDis系统，能有效评估AUT任务的原创性与灵活性，效度与人类评分相当，并开放多语言平台。
2023-12-24 cs.CL stat.AP
LXPER Index: a curriculum-specific text readability assessment model for EFL students in Korea
Research & Development Center（研发中心）；LXPER, Inc.（LXPER公司）；University of Pennsylvania（宾夕法尼亚大学）
自动可读性评估是自然语言处理在教育领域的重要应用之一。由于自动可读性评估允许快速选择合适的阅读材料，为读者在所有水平的熟练程度，它可以是特别有用的英语教育的英语作为外语（EFL）的学生在世界各地。大多数可读性评估模型是为英语母语读者开发的，并且对于非母语英语语言培训（ELT）课程中的文本准确性较低。本文介绍了LXPER指数，这是韩国英语课程中针对非英语母语读者的可读性评估模型。我们的实验表明，我们的新模型，训练与CoKEC-text（韩国英语教学课程的文本语料库），显着提高了自动可读性评估的准确性，在韩国英语教学课程的文本。
2020-08-01 cs.CL cs.LG
An Add-On for Empowering Google Forms to be an Automatic Question Generator in Online Assessments
Rajamangala University of Technology Phra Nakhon（帕那空皇家理工大学）；Sukhothai Thammathirat Open University（素可泰探玛提叻开放大学）；Claremont Graduate University（克莱蒙特研究生大学）
这项研究提出了一个附加组件，使Google Forms成为一个自动生成在线评估中使用的多项选择题（MCQ）的机器。本文详细介绍了一个附加设计，主要包括问题制定软件和数据存储。该算法作为软件的智能机制，可以在分析的水平上产生MCQ。在一项实验中，我们发现MCQ可以评估学生的知识水平与人类专家产生的知识水平。这个附加组件通常可以应用于为任何理性概念制定MCQ。在运行时，不需要教师的努力，插件就可以将一些描述理性概念的数据实例转换为各种MCQ集。
2021-09-21 cs.AI cs.CL cs.SE
LLM Questionnaire Completion for Automatic Psychiatric Assessment
Sagol School of Neuroscience（萨戈尔神经科学学院）；Tel Aviv University（特拉维夫大学）；School of Computer Science（计算机科学学院）
本文提出用 LLM 扮演受访者，将非结构化心理访谈转成结构化问卷并编码特征，再以 Random Forest 预测 PHQ-8 与 PCL-C，提升了诊断准确性。
2024-06-09 cs.CL cs.LG
A Novel Computational and Modeling Foundation for Automatic Coherence Assessment
Bar Ilan University（巴伊兰大学）
本研究基于语篇连贯性的正式语言学定义，将其拆解为衔接、一致性、相关性三类计算任务并开展联合训练，在两个基准上验证了方法的有效性，为大规模自动连贯性评估提供了基础。
2024-08-13 cs.AI cs.CL
Fine-Tuning Large Multimodal Models for Automatic Pronunciation Assessment
Microsoft, Beijing, China（微软北京研究院）
本研究通过微调大型多模态模型进行自动发音评估，在Speechocean762及私有语料上取得优于零样本的竞争性结果，并指出音素级评估与秩感知指标仍是未来改进方向。
2025-09-19 cs.CL cs.SD eess.AS
User Experience Design for Automatic Credibility Assessment of News Content About COVID-19
German Research Center for Artificial Intelligence（德国人工智能研究中心）；pc GmbH Neue Kommunikation（3pc新通信有限公司）
COVID-19相关信息在网络上的传播日益迅速，需要自动采取质量保证措施。在这种情况下，我们使用选定的语言特征检查新闻内容的可信度。我们提出了两个实证研究，以评估提供这种可信度评估的图形界面的可用性。在一个温和的定性访谈与六名参与者，我们确定的评级量表，子标准和算法的作者作为重要的预测因素的可用性。随后的定量在线调查与50名参与者揭示了界面设计的透明度和简洁性之间的冲突，以及元数据的感知层次结构：新闻文本的作者身份比用于评估内容质量的可信度算法的作者身份更重要。最后，我们对未来的研究提出了建议，如积极记录自然语言处理和语言技术服务的可用性相关的元数据，并建立一个明确的层次分类的可用性预测自动可信度评估。
2022-04-29 cs.AI cs.CL cs.HC
JaSPICE: Automatic Evaluation Metric Using Predicate-Argument Structures for Image Captioning Models
Keio University（庆应义塾大学）
针对现有n元语法类图像字幕评估指标与人类评估相关性低、日语缺乏等效指标的问题，提出基于场景图的日语评估指标JaSPICE，实验证明其与人类评估的相关性优于基线指标。
2023-11-07 cs.CL cs.CV
Disentangled Latent Speech Representation for Automatic Pathological Intelligibility Assessment
Ludwig-Maximilians University（路德维希-马克西米利安大学）
语言清晰度评估在病理性语言障碍患者的治疗中起着重要的作用。自动和客观的措施是可取的，以协助治疗师在其传统的主观和劳动密集型的评估。在这项工作中，我们研究了一种新的方法来获得这样一个措施，使用的分歧解开潜在的语音表示的平行话语对，从一个健康的参考和病理扬声器。在脑瘫患者的英语数据库上进行的实验，使用每个说话者的所有可用话语，显示出与主观可懂度测量的高且显著的相关值（R = -0.9），而在四个不同的参考说话者对之间仅具有最小的偏差（± 0.01）。我们还证明了所提出的方法的鲁棒性（R = -0.89偏差+-0.02超过1000次迭代），考虑每个扬声器的话语量显着减少。我们的研究结果是第一个表明，解开的语音表示可以用于自动病理语音可懂度评估，从而在一个参考扬声器对不变的方法，适用于只有几个可用的话语的情况。
2022-06-27 cs.CL cs.LG cs.SD
A new approach to calculating BERTScore for automatic assessment of translation quality
NUST “MISIS”（国立科技研究大学“莫斯科国立钢铁合金学院”）
研究了BERTScore指标在英语-俄语方向句子级翻译质量评估中的适用性。实验使用预训练的多语言BERT以及一对单语言BERT模型进行。为了对齐单语嵌入，使用基于锚标记的正交变换。结果表明，这种转换有助于防止不匹配的问题，并表明这种方法比使用多语言模型的嵌入提供了更好的结果。为了改进标记匹配过程，建议将所有不完整的WorkPiece标记组合成有意义的单词，并使用对应向量的简单平均值，并仅基于锚标记计算BERTScore。这样的修改使我们能够实现模型预测与人类判断的更好相关性。除了对机器翻译进行评价外，还对几种人工翻译进行了评价，并指出了这种方法存在的问题。
2022-03-30 cs.AI cs.CL
The Case for Claim Difficulty Assessment in Automatic Fact Checking
University of Texas at Austin（德克萨斯大学奥斯汀分校）
事实核查是评估索赔真实性的过程（即，的事实）。在这篇评论文章中，我们提出了一个在以前的工作中很少受到关注的问题-有些索赔比其他索赔更难进行事实核查。我们讨论了这对实际的事实检查和自动事实检查的研究，包括任务制定和数据集设计的影响。我们报告进行手动分析，以探讨不同的索赔难度的因素，并确定几种不同类型的困难。我们激励这个新的索赔难度预测任务，因为它对自动事实核查和实际事实核查组织都有利。
2022-02-04 cs.AI cs.CL cs.IR
Zero-Shot Automatic Pronunciation Assessment
National University of Singapore（新加坡国立大学）
本文提出基于预训练声学模型HuBERT的零样本自动发音评估方法，通过掩码、Transformer编码、k-means聚类和错误恢复token计数进行评分，在speechocean762上取得与有监督回归基线相当的PCC性能。
2023-05-31 cs.CL cs.LG cs.SD
Automatic Proficiency Assessment in L2 English Learners
École de Technologie Supérieure, Université du Québec（École de Technologie Supérieure，Université du Québec）；Johns Hopkins University（约翰霍普金斯大学）
本文利用深度学习技术，结合语音和文本模态，通过CNN、ResNet、wav2vec 2.0和BERT等模型实现英语二语学习者水平的自动评估，并在多个数据集上验证了预训练wav2vec 2.0模型的稳健性。
2025-05-05 cs.CL cs.SD eess.AS
