L2 proficiency assessment using self-supervised speech representations
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；ALTA Institute, Cambridge University（剑桥大学ALTA研究所）；Enhanced Speech Technology Ltd.（增强语音技术有限公司）
近年来，对自动口语评估系统的需求不断增长。此过程的标准管道是从语音识别系统开始，并获得利用转录和音频的手工制作或基于深度学习的功能。虽然这些方法可以产生高性能系统，但是它们需要可以用于L2说话者的语音识别系统，并且优选地调谐到所部署的特定形式的测试。最近提出了一种基于自监督语音表示的方案，不需要语音识别。这项工作将对这种方法进行的初步分析扩展到大规模水平测试Linguaskill，该测试包括多个部分，每个部分都旨在评估候选人口语水平的不同属性。自我监督，wav2vec 2.0，系统的性能相比，高性能手工制作的评估系统和基于BERT的文本系统，这两个都使用语音transmittance。虽然基于wav2vec 2.0的系统被发现对响应的性质敏感，但它可以被配置为产生与需要语音转录的系统相当的性能，并且在与标准方法适当结合时产生增益。
2022-11-16 cs.CL eess.AS
Dolphin: A Spoken Language Proficiency Assessment System for Elementary Education
TAL Education Group（好未来教育集团）
口语能力对儿童的成长和个人发展至关重要。由于我国教育资源的有限性和不均衡性，小学生很少有机会在课堂上提高他们的口语能力。语言流畅性任务（VFTs）是为了让学生在放学后练习口语能力而发明的。VFT是简单但具体的数学相关问题，要求学生不仅报告答案，而且说出整个思维过程。尽管VFT取得了巨大的成功，但它也给小学教师带来了沉重的评分负担。为了缓解这一问题，我们开发了一个面向中国基础教育的口语水平评估系统Dolphin。Dolphin能够自动评估学生VFT答案的语音流畅性和语义相关性。我们进行了广泛的离线和在线实验，以证明海豚的有效性。在我们的离线实验中，我们表明，海豚改善语音流畅性和语义相关性评估性能相比，国家的最先进的基线在现实世界的教育数据集。在我们的在线A/B实验中，我们对来自中国两个主要城市（杭州和西安）的183名教师进行了为期10周的测试，结果表明VFT作业评分覆盖率提高了22%。
2020-01-29 cs.CL cs.LG
Experiments of ASR-based mispronunciation detection for children and adult English learners
University of Trento（特伦托大学）；University of Groningen（格罗宁根大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））
发音是语言学习的基础之一，当涉及到理解和被他人理解时，它被认为是口语的主要因素。在语音识别领域中，由于发音错误而导致的高出错率的持续存在促使我们寻找用于处理发音错误的替代技术。在这项研究中，我们开发了一个发音错误的评估系统，检查发音的非英语母语者，确定了意大利英语学习者的常见发音错误的音素，并提出了一个评价的语音注释语音语料库中观察到的非母语发音。在这项工作中，为了检测发音错误，我们使用了基于电话的ASR，使用Kaldi实现。我们使用了两个非母语的英语标记语料库;（i）意大利成年人的语料库包含来自46个扬声器的5，867话语，（ii）意大利儿童的语料库由来自78个儿童的5，268话语组成。我们的研究结果表明，所选择的错误模型可以区分正确的声音从不正确的声音在本族语和非本族语的话，因此可以用来检测发音错误在非本族语。电话出错率显示使用错误语言模型的改善。ASR系统显示出更好的准确性后，我们所选择的语料库中应用的错误模型。
2021-04-13 cs.CL cs.SD eess.AS
Controlling Implicit Shortcut Reliance in L2 Spoken English Auto-markers
研究语言能力评估中自动评分器过度依赖输入特定方面的问题，提出新颖训练标准减少分类器对捷径的依赖，通过在两种评估系统上的实验，降低了与不当行为相关特征的相关性。
2026-07-20 cs.CL eess.AS
Self-Supervised Speech Representations Track Spoken Language Convergence to Adult Models in Infants and Children Who Are Deaf/Hard-of-Hearing
Stanford University（斯坦福大学）
本研究利用HuBERT-BASE提取的语音嵌入，发现聋/弱听儿童与照料者的嵌入距离随听觉年龄减小，且该距离与言语语言标准化测量相关，为口语发展评估提供了可扩展的语言无关路径。
2026-08-24 cs.CL cs.SD
Forecasting Spoken Language Development in Children with Cochlear Implants Using Preimplantation MRI
The Chinese University of Hong Kong（香港中文大学）；The University of Melbourne（墨尔本大学）；Ann & Robert H. Lurie Children's Hospital of Chicago（芝加哥安与罗伯特·卢里儿童医院）；Northwestern University（西北大学）
针对人工耳蜗植入儿童术后口语发育难以预测的问题，本研究基于植入前MRI构建深度迁移学习二分类模型，其预测精度显著优于传统机器学习，验证了该方法临床应用的可行性。
2025-11-09 cs.CL cs.LG
Inspecting Spoken Language Understanding from Kids for Basic Math Learning at Home
Intel Labs（英特尔实验室）
本文构建面向Kid Space家庭游戏化数学学习的多模态任务型对话系统，评估级联ASR与多任务NLU的SLU流程，比较Google Cloud、Whisper及多种预训练表示，揭示真实家庭噪声下理解儿童语音的挑战。
2023-06-01 cs.CL cs.CY cs.SD
Probing the Hidden Talent of ASR Foundation Models for L2 English Oral Assessment
National Taiwan Normal University（国立台湾师范大学）
本文通过探测Whisper模型的隐藏能力，展示了其在二语英语口语评估中的潜力，通过轻量级分类器和辅助线索提升性能。
2026-01-26 cs.AI cs.CL cs.SD
Child-directed Listening: How Caregiver Inference Enables Children's Early Verbal Communication
MIT（麻省理工学院）；Duke University（杜克大学）；University of Chicago（芝加哥大学）
成人如何理解儿童的言语？在语言发展过程中，儿童的发音往往与典型的成人发音几乎没有相似之处，但照顾者仍然可以可靠地从中恢复意义。在这里，我们采用了一套贝叶斯模型的口语单词识别，以了解成人如何克服儿童语言的噪音，表明儿童和成人之间的沟通成功在很大程度上依赖于成人的推理过程。通过对语音注释语料库上的竞争模型进行评估，我们发现，成年人恢复的意义最好由专门适合儿童语言环境的先验期望来预测，而不是典型的成人-成人语言。在量化了这种“儿童导向的听力”在发展过程中的贡献后，我们讨论了语言习得理论的后果，以及对评估儿童语言能力常用方法的影响。
2021-02-09 cs.CL
NILC-Metrix: assessing the complexity of written and spoken language in Brazilian Portuguese
Instituto de Ciências Matemáticas e de Computação - University of São Paulo（圣保罗大学数学与计算机科学研究所）；The University of Sheffield（谢菲尔德大学）；Itaú Unibanco（伊塔乌联合银行）
本文提出并公开提供NILC-Meetings，一个计算系统，包括200个指标提出的话语，心理语言学，认知和计算语言学的研究，以评估文本的复杂性在巴西葡萄牙语（BP）。这些度量与描述性分析和计算模型的创建相关，并且可以用于从书面和口头语言的各种语言水平中提取信息。NILC-Meetings中的指标是在过去13年中开发的，从2008年开始使用Coh-Meetings-Port，这是在PorSimples项目范围内开发的工具。Coh-Meetings-Port从Coh-Meetings工具中调整了一些度量标准，用于计算英语文本的衔接和连贯性。在2010年PorSimples结束后，Coh-Meetings-Port最初的48个指标中增加了新的指标。鉴于大量的指标，我们提出了他们以下的组织类似的指标Coh-Meetings v3.0，以方便与葡萄牙语和英语的指标进行比较。在这篇论文中，我们通过三个应用来说明NILC-Meetings的潜力：（i）描述性分析儿童电影字幕和为小学I和II编写的文本之间的差异（ii）PorSimples项目的原始和简化文本语料库的文本复杂性的新预测器;（iii）利用青少年讲述的儿童故事的文字记录，为学校成绩建立一个复杂性预测模型。对于每个应用程序，我们评估哪组指标更具区分力，显示它们对每个任务的贡献。
2021-12-17 cs.CL
Acquisition of Recursive Possessives and Recursive Locatives in Mandarin
School of Foreign Languages, Soochow University（苏州大学外国语学院）；Ulink High School of Suzhou Industrial Park（苏州工业园区领科高级中学）
本研究探讨普通话儿童递归领属与方位结构的习得轨迹，通过看图答题任务对比3-7岁儿童的两层递归理解，发现6岁才达成人水平且两类结构习得不对称，凸显结构与认知因素的作用。
2025-09-01 cs.CL
Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence
National Taiwan Normal University（国立台湾师范大学）
针对对话测试自动口语评估中连贯性建模不足的问题，提出分层图模型整合回答间交互与语义信息，在NICT-JLE数据集上显著提升评分准确率，为ASAC研究提供新方向。
2024-11-29 cs.CL
Speech Corpus for Korean Children with Autism Spectrum Disorder: Towards Automatic Assessment Systems
Seoul National University（首尔大学）
本文构建了首个韩国ASD儿童语音语料库，通过分析声学与语言特征并关联临床评分，验证了自动评估社交沟通严重程度和发音熟练度的可行性。
2024-02-23 cs.CL eess.AS
Automatic Proficiency Assessment in L2 English Learners
École de Technologie Supérieure, Université du Québec（École de Technologie Supérieure，Université du Québec）；Johns Hopkins University（约翰霍普金斯大学）
本文利用深度学习技术，结合语音和文本模态，通过CNN、ResNet、wav2vec 2.0和BERT等模型实现英语二语学习者水平的自动评估，并在多个数据集上验证了预训练wav2vec 2.0模型的稳健性。
2025-05-05 cs.CL cs.SD eess.AS
Is Child-Directed Language Optimized for Word Learning? A Computational Study of Verb Meaning Acquisition
Center for Language and Cognition (CLCG), University of Groningen（语言与认知中心（CLCG），格罗宁根大学）
本文通过神经语言模型对比分析儿童导向语言与成人导向语言对动词意义学习的影响，发现口语领域中语义优先于语法发展，可能反映口语本身的特性而非儿童导向语言的独特优化。
2026-05-12 cs.CL
Session-Level Spoken Language Assessment with a Multimodal Foundation Model via Multi-Target Learning
Department of Computer Science（计算机科学系）；Information Engineering, National Taiwan Normal University（信息工程，台湾正常大学）
本文提出一种基于多模态基础模型和多目标学习的会话级口语评估方法，利用冻结Whisper语音先验进行声学校准，在Speak & Improve基准上超越现有级联系统并实现紧凑可部署的CALL评分器。
2025-09-19 cs.AI cs.CL
What Exactly do Children Receive in Language Acquisition? A Case Study on CHILDES with Automated Detection of Filler-Gap Dependencies
Department of Linguistics, Yale University（耶鲁大学语言学系）；Department of Computer Science, Yale University（耶鲁大学计算机科学系）；Wu Tsai Institute, Yale University（耶鲁大学吴氏研究所）
通过自动检测英语口语语料中的三种核心填充词-空位结构，量化儿童语言输入中的分布证据，并分析儿童产出轨迹，为先天语法知识与统计学习之争提供数据支持。
2026-05-28 cs.CL
Language Acquisition is Embodied, Interactive, Emotive: a Research Proposal
Boise State University（博伊西州立大学）；Department of Computer Science（计算机科学系）
人类对世界的体验从一开始就是深刻的多模态的，那么为什么现有的最先进的语言模型只使用文本作为模态来学习和表示语义呢？在本文中，我们回顾了文学的体现和情感的作用，在互动设置的口语对话作为必要的先决条件，为人类儿童的语言学习，包括如何在儿童词汇主要是具体的，然后转移到变得更加抽象的孩子长大。我们勾勒出一个语义模型，利用当前的transformer为基础的模型和单词级接地模型，然后解释机器人对话系统，将利用我们的语义模型，系统学习语言的设置，和现有的基准评估。
2021-05-10 cs.CL
Assessment of L2 Oral Proficiency using Speech Large Language Models
University of Cambridge（剑桥大学）；ALTA Institute（ALTA研究院）
本研究探索多模态大语言模型作为L2口语熟练度评分器的潜力，通过比较回归与分类训练策略，语音LLMs在两个数据集上超越基线，并在跨部分和跨任务评估中展现强大泛化能力。
2025-05-27 cs.CL cs.SD eess.AS
Evaluating Models of Robust Word Recognition with Serial Reproduction
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
口语交际发生在一个“嘈杂的通道”，其特征是高水平的环境噪音，说话者内部和之间的变化，以及词汇和句法的歧义。考虑到接收到的语言输入的这些属性，鲁棒的口语单词识别-以及更一般的语言处理-在很大程度上依赖于听众的先验知识来评估该输入的候选解释是否更有可能或更不可能。在这里，我们比较了几个广泛覆盖的概率生成语言模型在他们的能力，以捕捉人类的语言期望。串行复制，一个实验范式，其中口语是由连续的参与者复制类似的儿童游戏的“电话”，是用来引出一个样本，反映了英语为母语的成年人的语言期望。当我们针对产生的话语链评估一套概率生成语言模型时，我们发现那些利用先前语言上下文的抽象表示（即，短语结构）最能预测人们在连续再生产过程中的变化。一个逻辑回归模型预测话语中的哪些词最有可能在口语传播过程中丢失或改变，证实了这一结果。我们解释这些研究结果的研究强调在语言处理中基于记忆的限制和表征的相互作用。
2021-01-24 cs.CL
Error-preserving Automatic Speech Recognition of Young English Learners' Language
Zurich University of Applied Sciences（苏黎世应用科技大学）；Pädagogische Hochschule Zurich（苏黎世教育大学）
针对年轻英语学习者语音且需保留其错误的ASR系统，研究团队收集了瑞士4至6年级约85小时英语音频进行训练，实验证明该模型经儿童声音微调后错误保留率显著优于其他模型。
2024-06-05 cs.AI cs.CL
Visually grounded models of spoken language: A survey of datasets, architectures and evaluation techniques
Tilburg University（蒂尔堡大学）
本调查概述了过去20年来口语视觉基础模型的演变。这些模型的灵感来自于这样一种观察：当儿童学习一种语言时，他们依赖于广泛的间接和嘈杂的线索，关键是包括与口语共同出现的视觉模态信号。有几个领域对这种建模或模仿语言学习过程的方法做出了重要贡献：机器学习，自然语言和语音处理，计算机视觉和认知科学。本文件汇集了这些贡献，以便为所有这些领域的从业人员提供有用的介绍和概述。我们讨论了中心的研究问题，时间轴的发展，以及数据集，使这项工作。然后，我们总结了主要的建模架构，并提供了一个详尽的概述的评估指标和分析技术。
2021-10-06 cs.AI cs.CL cs.LG
Is spoken language all-or-nothing? Implications for future speech-based human-machine interaction
University of Sheffield（谢菲尔德大学）
近年来，基于语音的个人助理（如苹果的Siri）的市场渗透率很高。然而，尽管取得了成功，用户接受率却低得令人沮丧。这份立场文件认为，人类用户的能力和期望与当代技术提供的功能和好处之间不可避免的不匹配造成了可居住性差距。对于如何缓解这些问题提出了一些建议，但一个更令人担忧的问题出现了：“口语是全有还是全无？”基于当代对（口语）语言特殊性的看法，答案是，不匹配的对话者（如人类和机器）之间的互动可能确实存在根本性的限制。然而，它的结论是，母语和非母语者之间，或成人和儿童之间，甚至人与狗之间的互动，可能会提供关键的灵感，为未来的基于语音的人机交互的设计。
2016-07-18 cs.AI cs.CL cs.HC
BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models
LSCP；ENS（巴黎高等师范学院）；EHESS（高等社会科学研究学院）；CNRS（法国国家科学研究中心）；PSL University（PSL大学）；Meta AI Research（Meta人工智能研究院）；Tampere University（坦佩雷大学）；IRIT；INRIA（法国国家信息与自动化研究院）
本文提出BabySLM基准，在词汇和句法层面评估自监督口语模型，以模拟婴儿语言习得，并指出文本与语音、干净语音与自然语音之间的差距是未来关键挑战。
2023-06-08 cs.CL eess.AS stat.ML
Zero-Shot Grammar Competency Estimation Using Large Language Model Generated Pseudo Labels
SHL Labs（SHL实验室）
针对口语语法评估标注成本高、难度大的问题，提出利用LLM生成伪标签的零样本语法能力评估框架，可高效训练鲁棒的评分模型，实现高精度低资源的可扩展语法评估。
2025-11-17 cs.CL
Learning English with Peppa Pig
Aix-Marseille University（艾克斯-马赛大学）；Tilburg University（蒂尔堡大学）
本文利用《小猪佩奇》动画中的角色对话训练双模态模型，在弱相关且受干扰的信号下成功学习口语的视觉语义，提升了语言习得模型的生态效度。
2022-05-27 cs.AI cs.CL eess.AS
Speak & Improve Corpus 2025: an L2 English Speech Corpus for Language Assessment and Feedback
ALTA Institute（阿尔塔研究所）；University of Cambridge（剑桥大学）；Cambridge University Press and Assessment（剑桥大学出版社与评估部）；Enhanced Speech Technology Ltd（增强语音技术有限公司）
本文介绍Speak & Improve语料库2025，一个含整体评分和错误标注的L2英语口语数据集，旨在解决公开高质量标注数据缺乏问题，支持口语评估、反馈及ASR、GEC等技术研究。
2024-12-17 cs.CL
LLMs for automatic annotation of Mandarin narrative transcripts
Shanghai Jiao Tong University（上海交通大学）；University of California San Diego（加州大学圣地亚哥分校）；The Hong Kong Polytechnic University（香港理工大学）；National Research Center for Language and Well-Being（语言与幸福感国家研究中心）；City University of Hong Kong（香港城市大学）
本研究探讨了大型语言模型在自动标注汉语叙述转录中的有效性，通过比较四种LLM与训练好的人类标注者，发现最佳模型在标注叙事宏观结构时能与人类标注者达成高一致性，同时显著减少标注时间，但轻量级本地部署模型表现较差，且标注难度因宏观结构元素类型而异，尤其在需要微妙语义区分的类别中存在持续挑战。
2026-05-17 cs.CL
Beyond BLEU: A Case for Redefining Sign Language Translation Benchmarks
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）；Tavus（塔伍斯公司）
该研究针对手语翻译（SLT）的BLEU-4指标缺陷，提出基于open-weight-LLM问答的替代评估协议，发现gloss监督系统在Phoenix-2014T上比无gloss系统高9.3分，且该协议与人类排名更契合。
2026-09-04 cs.AI cs.CL
Using Machine Learning to Enhance the Detection of Obfuscated Abusive Words in Swahili: A Focus on Child Safety
本研究利用机器学习方法提升斯瓦希里语中隐晦侮辱性词汇的检测能力，旨在提高儿童网络环境的安全性。
2026-02-13 cs.AI cs.CL cs.HC
An End-to-End Approach for Child Reading Assessment in the Xhosa Language
International Centre for Neuromorphic Systems（神经形态系统国际中心）；Western Sydney University（西澳大学）；The MARCS Institute for Brain, Behaviour and Development（脑行为与发育MARCS研究所）；University of Cape Town（开普敦大学）；Universidade Federal de Pernambuco（巴西北部联邦大学）；University of Pretoria（比勒陀利亚大学）；Macquarie University（麦考瑞大学）
针对低资源科萨语儿童语音阅读评估的挑战，本研究构建了基于EGRA的儿童语音数据集，并评估了wav2vec 2.0、HuBERT和Whisper三种端到端微调模型，发现数据平衡和多类训练能显著提升模型性能。
2025-06-02 cs.CL cs.LG
