G2G: TTS-Driven Pronunciation Learning for Graphemic Hybrid ASR
Facebook AI（Facebook人工智能研究院）
最近的研究表明，在混合和端到端的自动语音识别（ASR）中，即使是在英语等非音素语言上，基于字形的声学建模也优于基于音素的方法。然而，字形ASR仍然存在罕见的长尾词的问题，这些长尾词不遵循训练中看到的标准拼写约定，例如实体名称。在这项工作中，我们提出了一种新的方法来训练一个统计的字素到字素（G2G）模型的文本到语音数据，可以重写任意字符序列到语音更一致的形式。我们表明，使用G2G在解码过程中提供替代发音，相对于强大的字形基线，将单词错误率降低了3%至11%，并弥合了罕见名称识别与等效语音设置之间的差距。与许多以前提出的方法不同，我们的方法不需要对声学模型训练过程进行任何更改。这项工作重申了基于图素的建模的有效性，并表明，专业的语言知识，当可用时，可以利用来提高字形ASR。
2020-02-13 cs.LG cs.SD eess.AS
Improvements to Embedding-Matching Acoustic-to-Word ASR Using Multiple-Hypothesis Pronunciation-Based Embeddings
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
在嵌入匹配声学到词（A2W）ASR中，词汇表中的每个词都由固定维度的嵌入向量表示，该嵌入向量可以独立于系统的其余部分添加或删除。该方法可能是一个优雅的解决方案的动态词汇表（OOV）的话的问题，其中扬声器和上下文相关的命名实体，如联系人姓名必须纳入ASR的飞行在测试时的每一个语音话语。然而，在提高嵌入匹配A2W的整体精度方面仍然存在挑战。在本文中，我们贡献了两种方法，提高嵌入匹配A2W的准确性。首先，我们建议在每个时刻内部产生多个嵌入，而不是单个嵌入，这允许A2W模型在音频中的多个时间段上提出更丰富的假设集。其次，我们建议使用单词发音嵌入，而不是单词拼写嵌入，以减少歧义的话，有一个以上的声音。我们表明，在动态OOV词起关键作用的情况下，上述想法在相同的训练数据和几乎相同的模型大小下，可以显着提高准确性。在一个基于语音的数字助理的查询数据集上，其中包括许多依赖于用户的联系人姓名，我们观察到使用所提出的改进，单词错误率降低了18%。
2023-02-19 cs.SD eess.AS
Text-Conditioned Transformer for Automatic Pronunciation Error Detection
自动发音检错（APED）在语言学习领域有着重要的作用。对于以往的基于ASR的APED方法，需要将解码结果与目标文本对齐，以便发现错误。然而，由于解码过程和对齐过程是独立的，关于目标文本的先验知识没有被充分利用。在本文中，我们建议使用目标文本作为Transformer主干处理APED任务的额外条件。该方法能够以端到端的方式输出错误状态，并充分考虑输入语音与目标文本之间的关系;同时，由于将目标文本作为解码器输入的条件，因此Transformer在推理阶段采用前馈方式而不是自回归方式，从而能够显著提高实际部署的速度。我们将基于ASR的Transformer设置为基线APED模型，并在L2-Arctic数据集上进行了几次实验。实验结果表明，该方法可以使$F_1$评分指标相对提高8.4%.
2021-05-05 eess.AS
Pronunciation-aware unique character encoding for RNN Transducer-based Mandarin speech recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息与通信技术研究所）
对于普通话端到端（E2 E）自动语音识别（ASR）任务，与基于字符的建模单元相比，基于发音的建模单元可以提高模型训练中建模单元的共享性，但会遇到同音异义词问题。在这项研究中，我们提出使用一种新的发音感知的独特字符编码来构建基于E2 E RNN-T的普通话ASR系统。所提出的编码是一个发音基音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以克服同音异义词问题，同时利用发音信息提取建模单元。利用所提出的编码，模型输出可以通过一对一的映射转换为最终的识别结果。在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
2022-07-29 cs.CL cs.SD eess.AS
Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出自动文本发音相关性（ATPC）方法，利用语音与文本标注对齐和语音嵌入距离比较，在无需人工发音词典的情况下提升端到端语音识别的上下文偏置性能。
2025-01-01 cs.CL eess.AS
3M: An Effective Multi-view, Multi-granularity, and Multi-aspect Modeling Approach to English Pronunciation Assessment
National Taiwan Normal University（台湾师范大学）
作为计算机辅助发音训练（CAPT）中不可或缺的一部分，自动发音评估（APA）通过提供多方面、及时的反馈，对自主学习者起着至关重要的作用。然而，至少有两个潜在的障碍可能会阻碍其实际使用的性能。一方面，大多数的研究只集中在利用分段（语音）水平的功能，如良好的发音（GOP），然而，这可能会导致差异的特征粒度时，执行超分段（韵律）水平的发音评估。另一方面，语音自动评测仍然缺乏大规模的非母语者的标记语音数据，这不可避免地限制了语音评测的性能。在本文中，我们解决这些问题，通过整合多个韵律和音韵特征，提供一个多视图，多粒度，多方面（3 M）的发音建模。具体来说，我们增加GOP的韵律和自监督学习（SSL）功能，同时开发一个元音/辅音位置嵌入更多的音韵意识的自动发音评估。在公开的speechocean 762数据集上进行的一系列实验表明，与以往的工作相比，该方法在几个评估粒度上都有显著的改进，尤其是在口语流利度和语音韵律的评估上.
2022-09-12 cs.SD eess.AS eess.SP
MultiPA: A Multi-task Speech Pronunciation Assessment Model for Open Response Scenarios
Columbia University（哥伦比亚大学）
针对开放响应场景下发音评估模型局限于单一任务的问题，提出多任务发音评估模型MultiPA，同时提供句子级准确度、流利度、韵律和词级准确度评估，在域内外数据集上达到最先进性能并验证了多任务学习的优势。
2024-06-05 cs.CL cs.SD eess.AS
Automatic Pronunciation Assessment -- A Review
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
本文综述了深度学习背景下自动发音评估在音素与韵律层面的方法、挑战及资源，并指出了现有局限与未来研究方向。
2023-10-21 cs.CL cs.SD eess.AS
Experiments of ASR-based mispronunciation detection for children and adult English learners
University of Trento（特伦托大学）；University of Groningen（格罗宁根大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））
发音是语言学习的基础之一，当涉及到理解和被他人理解时，它被认为是口语的主要因素。在语音识别领域中，由于发音错误而导致的高出错率的持续存在促使我们寻找用于处理发音错误的替代技术。在这项研究中，我们开发了一个发音错误的评估系统，检查发音的非英语母语者，确定了意大利英语学习者的常见发音错误的音素，并提出了一个评价的语音注释语音语料库中观察到的非母语发音。在这项工作中，为了检测发音错误，我们使用了基于电话的ASR，使用Kaldi实现。我们使用了两个非母语的英语标记语料库;（i）意大利成年人的语料库包含来自46个扬声器的5，867话语，（ii）意大利儿童的语料库由来自78个儿童的5，268话语组成。我们的研究结果表明，所选择的错误模型可以区分正确的声音从不正确的声音在本族语和非本族语的话，因此可以用来检测发音错误在非本族语。电话出错率显示使用错误语言模型的改善。ASR系统显示出更好的准确性后，我们所选择的语料库中应用的错误模型。
2021-04-13 cs.CL cs.SD eess.AS
Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；PAII Inc.（平安科技（美国）有限公司）
语音自动评估是帮助自主学习者的一项重要技术。虽然发音质量具有多个方面，包括准确性、流畅性、完整性和韵律，但是先前的努力通常仅对一个方面（例如，精度）在一个粒度（例如，在音素级）。在这项工作中，我们探索建模多方面的发音评估在多个粒度。具体来说，我们用多任务学习训练了一个基于发音特征的Transformer（GOPT）。实验结果表明，GOPT在基于Libris语音库训练的公共自动语音识别（ASR）声学模型上，在Speechocean 762上取得了最好的效果。
2022-05-06 cs.LG cs.SD eess.AS
Automatic Pronunciation Assessment using Self-Supervised Speech Representation Learning
AI Lab, Kakao Enterprise（Kakao企业人工智能实验室）
自监督学习（SSL）方法，如wav2vec 2.0和HuBERT模型，在语音社区的各种下游任务中表现出了良好的效果。特别是，通过SSL模型学习的语音表示已被证明对于编码各种语音相关特征是有效的。在此背景下，我们提出了一种新的自动发音评估方法的基础上SSL模型。首先，所提出的方法用连接主义时间分类微调预训练的SSL模型，以适应数据环境中英语作为第二语言（ESL）学习者的英语发音。然后，从SSL模型的所有Transformer层中提取逐层上下文表示。最后，自动发音分数估计使用双向长短期记忆与逐层上下文表示和相应的文本。我们表明，建议的SSL模型为基础的方法优于基线，在皮尔逊相关系数，韩国ESL学习者的孩子和Speechocean 762的数据集。此外，我们分析了SSL模型中Transformer层的不同表示方式如何影响发音评估任务的性能。
2022-04-08 cs.CL eess.AS
Improving pronunciation assessment via ordinal regression with anchored reference samples
Microsoft（微软）
句子水平的语音评价是计算机辅助语言学习（CALL）的重要内容。传统的语音发音评估，基于良好的发音（GOP）算法，在评估语音话语有一些弱点：1）音素GOP分数不能很容易地转换成一个简单的平均值的句子分数进行有效的评估; 2）在GOP评分没有很好地利用排序信息提供一个强大的评估，并与人类的评价者的评价很好地相关。在本文中，我们提出了两个新的统计特征，平均GOP（aGOP）和混淆GOP（cGOP），并使用它们来训练一个二元分类器在有序回归与锚定参考样本（ORARS）。在Microsoft mTutor ESL Dataset上进行测试时，与传统的基于GOP的方法相比，Pearson相关系数相对提高了26.9%。性能达到人类同等水平或优于人类评分员。
2020-10-26 cs.LG cs.SD eess.AS
A transfer learning based approach for pronunciation scoring
Universidad de Buenos Aires (UBA)（布宜诺斯艾利斯大学）
本文提出一种基于迁移学习的发音评分方法，利用ASR模型适配发音评分任务，在EpaDB上比GOP系统提升20%，尤其优化了低不必要纠正率场景下的性能。
2023-05-09 cs.CL cs.SD eess.AS
PAC: Pronunciation-Aware Contextualized Large Language Model-based Automatic Speech Recognition
JD AI Research（京东人工智能研究院）
本文提出PAC框架，通过发音引导的上下文学习和发音判别强化学习两阶段范式，解决基于LLM的ASR系统中发音建模与谐音判别问题，在Librispeech和AISHELL-1上显著降低了词错误率。
2025-09-16 cs.CL eess.AS
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation（小米公司）；SpeechOcean Ltd.（海天瑞声科技股份有限公司）
本文介绍了一个名为“speechocean 762”的新开源语音语料库，旨在用于发音评估，由来自250名非母语人士的5000句英语话语组成，其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的，以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载，相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
Towards a Unified Benchmark for Arabic Pronunciation Assessment: Quranic Recitation as Case Study
DFKI；Alexandria Univ.（亚历山大大学）；Univ. of Sheffield（谢菲尔德大学）；Taibah Univ.（塔伊巴大学）；MBZUAI；SDAIA；Helwan Univ.（海尔万大学）；Univ. of Avignon（阿维尼昂大学）；Univ. of New South Wales（新南威尔士大学）
本研究提出以《古兰经》诵读为案例的现代标准阿拉伯语发音错误检测统一基准，构建专用音素集与首个公开测试集QuranMB.v1，评估基线模型并明确该领域的潜力与挑战，以推动相关研究发展。
2025-06-12 cs.SD eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Causal Analysis of ASR Errors for Children: Quantifying the Impact of Physiological, Cognitive, and Extrinsic Factors
针对儿童自动语音识别（ASR）模型词错误率（WER）高于成人的问题，本研究通过因果分析量化生理、认知和外在因素的影响，发现年龄和词数影响最大，微调可降低对生理和认知因素的敏感性。
2025-02-12 eess.AS
The complementary roles of non-verbal cues for Robust Pronunciation Assessment
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
本文提出IntraVerbalPA发音评估框架，结合帧级和话语级非语言线索及音素持续时间优度指标，性能达到或超越现有研究。
2023-09-14 cs.CL cs.SD eess.AS
Subphonetic Acoustic Modeling via Optimal Transport for Pronunciation Assessment
The University of Tokyo（东京大学）；Chunghwa Telecom Co., Ltd.（中华电信股份有限公司）
本文提出一种拓扑感知的逐帧声学模型，结合有序次音素状态与最优时间传输分类，实现密集单调的状态判别，提升发音评估中的分割精度与错音检测性能。
2026-09-15 cs.SD eess.AS
Zero-shot Context Biasing with Trie-based Decoding using Synthetic Multi-Pronunciation
Alibaba-NTU Global e-Sustainability CorpLab（阿里巴巴-国立科技大学全球可持续发展公司实验室）；Nanyang Technological University（南洋理工大学）；College of Computing and Data Science（计算与数据科学学院）
针对上下文ASR中OOV词识别的发音歧义等难题，提出合成驱动的多发音偏置方法，通过TTS合成样本提取发音变体构建前缀树辅助解码，在LibriSpeech上显著降低B-WER且不影响U-WER。
2025-09-02 cs.CL eess.AS
Zero-Shot Text-to-Speech as Golden Speech Generator: A Systematic Framework and its Applicability in Automatic Pronunciation Assessment
Department of Computer Science and Information Engineering（计算机科学与信息工程系）；Department of Educational Psychology and Counseling（教育心理学与咨询系）；Department of Computer Science（计算机科学系）；Department of Educational Psychology（教育心理学系）
提出利用ZS-TTS生成学习者专属黄金语音的系统化框架，并验证其在自动发音评估中可显著提升多项指标性能。
2025-07-26 cs.AI eess.AS
Goodness of Pronunciation Pipelines for OOV Problem
Manipal University Jaipur（马尼帕尔大学斋浦尔分校）
在下面的报告中，我们提出了使用Vocab/Lexicon扩展技术在测试时解决OOV问题的发音良好度（GoP）计算管道。管道使用ASR系统的不同组件来量化口音并自动将其评估为分数。我们使用在母语英语语音上训练的ASR模型的后验，以及音素水平边界来获得音素水平发音分数。我们将其用作基线管道，并通过构建三个管道来实现在GoP输出中删除UNK和SPN音素的方法。在线，离线和混合管道返回分数，但也可以防止在最终输出中出现未知单词。在线方法是基于每一个话语，离线方法预先纳入一组OOV的话为一个给定的数据集和混合方法结合上述两个想法，以扩大词典以及每一个话语的工作。我们还提供了实用程序，如音素到后验映射，每个话语的GoP分数作为一个向量，以及在GoP管道中使用的词边界，以供将来的研究使用。
2023-03-01 cs.CL cs.SD eess.AS
Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment
Microsoft（微软公司）
本文评估 GPT-4o 在 Speechocean762 上进行多层级发音评分与反馈生成的能力，证明 LMMs 结合传统方法用于发音评估的潜力。
2025-03-14 cs.CL cs.SD eess.AS
Synthetic Data Domain Adaptation for ASR via LLM-based Text and Phonetic Respelling Augmentation
Hitachi, Ltd.（日立公司）
本文提出基于合成数据的域适应框架，通过大语言模型生成文本增强和音素重写增强，提升ASR在领域特定数据上的鲁棒性。
2026-03-11 cs.SD eess.AS
Hierarchical Pronunciation Assessment with Multi-Aspect Attention
Graduate School of AI, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
本文提出HiPAMA模型，通过分层表示音素、单词和话语粒度并引入多方面注意力捕捉同层跨方面关联，以提升多任务发音评估性能，在speechocean762上表现优异。
2023-05-26 cs.CL cs.SD eess.AS
Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment
Graduate School of AI, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
针对多维度发音评估中数据稀缺、分数分布不均的问题，提出两种结合批次平均特征的声学特征Mixup策略，搭配细粒度错误率特征，在speechocean762数据集上有效提升了评分性能。
2024-06-22 cs.AI cs.CL cs.SD
Alternate Intermediate Conditioning with Syllable-level and Character-level Targets for Japanese ASR
LINE Corporation（LINE公司）
端到端自动语音识别直接将输入语音映射到字符。然而，当几个不同的发音应该被映射到一个字符或者当一个发音在许多不同的字符之间共享时，映射可能是有问题的。由于日本汉字字符，日本ASR受到这种多对一和一对多映射问题的影响最大。为了缓解这些问题，我们引入了明确的字符和音节之间的相互作用，使用自适应连接时间分类（CTC），其中上层是“自适应”的中间预测从较低的层。该方法利用字符级和音节级的中间预测作为条件特征来处理字符和音节之间的相互依赖性。在自发日语语料库上的实验结果表明，该方法的性能优于传统的多任务和自适应CTC方法。
2023-03-13 cs.CL cs.SD eess.AS
Contextual Biasing for ASR in Speech LLM with Common Word Cues and Bias Word Position Prediction
IBM Research（IBM研究院）
本文提出基于声音线索的上下文偏置方法，利用常见词发音相似性提升稀有词识别，通过多输出学习增强鲁棒性，实验显示在基准系统基础上错误率降低16.3%。
2026-04-14 eess.AS
Causal Structure Discovery for Error Diagnostics of Children's ASR
University of Eastern Finland（东芬兰大学）；TCG CREST；School of Computing（计算学院）；Institute for Advancing Intelligence（先进智能研究所）
本文引入因果结构发现与量化方法，揭示生理、认知及外在因素对儿童ASR错误的相互依赖影响，并验证了该发现在Whisper和Wav2Vec2.0等不同系统间的泛化性。
2025-05-31 cs.CL cs.SD eess.AS
Retraining-free Customized ASR for Enharmonic Words Based on a Named-Entity-Aware Model and Phoneme Similarity Estimation
Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）；Tokyo Institute of Technology（东京工业大学）
本文针对端到端ASR难以识别同音异字命名实体的问题，提出结合命名实体感知模型与音素相似度估计的免重训练定制化方法，使日本人名识别字符错误率平均相对降低35.7%。
2023-05-29 cs.CL cs.SD eess.AS
End-to-End Word-Level Pronunciation Assessment with MASK Pre-training
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Microsoft Research（微软研究院）
针对词/音素级发音评估依赖对齐导致误差传播的问题，提出MPA掩码预训练方法，以端到端方式实现无显式对齐评估，并在SpeechOcean762上取得更优性能。
2023-06-05 cs.CL eess.AS
Pronunciation-Lexicon Free Training for Phoneme-based Crosslingual ASR via Joint Stochastic Approximation
Xinjiang University（新疆大学）；Tsinghua University（清华大学）
本研究提出无需音素词典的跨语言语音识别方法，通过联合随机近似算法提升模型性能，实现误差率降低。
2025-12-16 cs.AI cs.CL eess.AS
OpenPA: Forced-alignment-free Multi-granular Pronunciation Assessment with Mixed-transcript Adaptation
National Taiwan Normal University（台湾师范大学）
该研究提出无需强制对齐的APA框架OpenPA，利用Whisper交叉注意力机制联合预测多粒度发音分数，经speechocean762训练后在多场景评估中表现优异，还展现出跨任务应用潜力。
2026-10-12 cs.CL cs.SD eess.AS
CN-NewsTTS Bench: a target-level automatic benchmark for raw-input Chinese news TTS pronunciation
NetEase Cloud Music（网易云音乐）
针对中文新闻TTS对密集书面形式（如分数、连字符型号等）发音不准的问题，提出CN-NewsTTS Bench v0.1基准，包含自动评估集和评分器，测试七个商业系统，最佳准确率0.879。
2026-06-24 cs.CL cs.SD eess.AS
Fine-Tuning Large Multimodal Models for Automatic Pronunciation Assessment
Microsoft, Beijing, China（微软北京研究院）
本研究通过微调大型多模态模型进行自动发音评估，在Speechocean762及私有语料上取得优于零样本的竞争性结果，并指出音素级评估与秩感知指标仍是未来改进方向。
2025-09-19 cs.CL cs.SD eess.AS
ConPCO: Preserving Phoneme Characteristics for Automatic Pronunciation Assessment Leveraging Contrastive Ordinal Regularization
本文提出对比音素序数正则化器ConPCO，通过对比学习对齐音素表示与文本嵌入，并在特征空间中保留音素类别距离和序数关系，配合分层APA模型在speechocean762上验证了其有效性。
2024-06-08 cs.SD eess.AS
Investigating the role of L1 in automatic pronunciation evaluation of L2 speech
Arizona State University（亚利桑那州立大学）
语音自动评测在语音训练和第二语言教学中起着重要的作用。该领域大量利用来自自动语音识别（ASR）的概念来量化非母语语音的发音与母语发音的接近程度。然而，众所周知，口音的形成与目标语言（L2）和说话者的第一语言（L1）的发音模式都有关。在本文中，我们建议使用两个母语声学模型，一个在L2语音上训练，另一个在L1语音上训练。我们开发了两套测量，可以从两个声学模型中提取口音的讲话。一个新的话语级特征提取方案是用来将这些测量值转换成一个固定的维度向量，这是用来作为一个统计模型的输入，以预测一个扬声器的重音。在由来自4个不同L1背景的扬声器组成的数据集上，我们表明，与仅使用L2声学模型的系统相比，所提出的系统与人类评估者的相关性得到了改善。
2018-07-04 cs.SD eess.AS
Score-balanced Loss for Multi-aspect Pronunciation Assessment
Graduate School of AI, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
针对发音评估中分数标签不平衡问题，提出分数平衡损失函数，通过有效样本数和分数排名设计加权因子，在speechocean762数据集上验证了有效性。
2023-05-26 cs.CL cs.SD eess.AS
Nonwords Pronunciation Classification in Language Development Tests for Preschool Children
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）；Intel Labs（英特尔实验室）
这项工作旨在自动评估儿童的语言发展是否与年龄相适应。验证言语和语言测试用于此目的，以测试听觉记忆。在这项工作中，任务是要确定是否口语非词已被正确地说出。我们比较了不同的方法，动机模型特定的语言结构：低级特征（FFT），扬声器嵌入（ECAPA-TDNN），字素动机的嵌入（wav 2 vec 2.0），和语音嵌入的形式senones（ASR声学模型）。每种方法都为类似VGG的5层CNN分类器提供输入。我们还研究了每个非词的适应。使用录音从不同的幼儿园的口头nonwords建议的系统进行评估。ECAPA-TDNN和低级FFT特征没有显式地对语音信息进行建模; wav2vec2.0是在字素标签上训练的，我们的ASR声学模型特征包含（子）语音信息。我们发现语音模型的粒度越大，识别率就越高。在具有VTLN的ASR声学模型特征上训练的最佳系统实现了89.4%的准确度和0.923的ROC（接收器操作特征）曲线下面积（AUC）。这相当于与FFT基线相比，准确度提高了20.2%，AUC提高了0.309。
2022-06-17 cs.CL cs.SD eess.AS
Bridging Speech and Text: Enhancing ASR with Pinyin-to-Character Pre-training in LLMs
Hunan University（湖南大学）；Nanyang Technological University（南洋理工大学）
本文提出在LLM中通过拼音到字符预训练增强ASR性能，在AISHELL-1上实现19.0%的相对提升。
2024-09-24 cs.CL cs.SD eess.AS
Leveraging Allophony in Self-Supervised Speech Models for Atypical Pronunciation Assessment
Carnegie Mellon University（卡内基梅隆大学）
针对非典型发音评估中音位变体建模被简化的问题，提出结合冻结自监督语音模型特征与高斯混合模型的MixGoP方法，在多数数据集上达最优，验证了S3M特征捕捉音位变体的优势。
2025-03-24 cs.AI cs.CL cs.LG
Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal
Qatar Computing Research Institute, Doha, Qatar（卡塔尔计算研究所，多哈，卡塔尔）
提出仅使用母语语音资源训练的轻量级发音评估框架，通过离散化语音标记和语言模型计算意外度，结合文本引导对齐特征，在无监督或少量校准下达到接近监督方法的性能。
2026-06-24 cs.CL cs.SD eess.AS
Using Kaldi for Automatic Speech Recognition of Conversational Austrian German
Graz University of Technology（格拉茨工业大学）
随着对话系统的交互性和社会化程度的提高，对对话语音进行准确的自动语音识别（ASR）也变得越来越重要。这将焦点从简短的、自发的、以任务为导向的对话转移到了更复杂的、随意的面对面对话上。然而，这种对话的收集和注释是一个耗时的过程，并且对于这种特定的说话风格来说，数据是稀疏的。本文介绍了ASR实验与阅读和会话的奥地利德语为目标。为了处理只有有限的资源可用于德语会话，并在同一时间，与扬声器之间的发音特征有很大的变化，我们改进了基于Kaldi的ASR系统，通过将（大）基于知识的发音词典，同时探索不同的基于数据的方法来限制每个词条的发音变体的数量。我们实现了最好的WER的0.4%，奥地利德语阅读语音和最好的平均WER的48.5%，会话语音。我们发现，通过使用我们最好的发音词典，可以实现类似的高性能比通过增加用于语言模型的数据的大小约。360%到760%。我们的研究结果表明，对于低资源的情况下，尽管语音技术的一般趋势是只使用基于数据的方法，基于知识的方法是一个成功的，有效的方法。
2023-01-16 cs.CL cs.SD eess.AS
IQRA 2026: Interspeech Challenge on Automatic Pronunciation Assessment for Modern Standard Arabic (MSA)
DFKI（德国人工智能研究中心）；Technical University of Berlin（柏林工业大学）；University of Sheffield（谢菲尔德大学）；University of New South Wales（新南威尔士大学）；Alexandria University（亚历山大大学）；QCRI（卡塔尔计算研究所）；Taibah University（塔伊巴大学）；HUMAIN
本文介绍了IQRA 2026挑战赛的成果，展示了在现代标准阿拉伯语发音检测与诊断（MDD）方面的研究进展，通过新增的Iqra_Extra_IS26数据集和多种模型方法，使F1分数提升了0.28。
2026-04-03 cs.SD eess.AS
Zero-Shot Automatic Pronunciation Assessment
National University of Singapore（新加坡国立大学）
本文提出基于预训练声学模型HuBERT的零样本自动发音评估方法，通过掩码、Transformer编码、k-means聚类和错误恢复token计数进行评分，在speechocean762上取得与有监督回归基线相当的PCC性能。
2023-05-31 cs.CL cs.LG cs.SD
Pronunciation Assessment with Multi-modal Large Language Models
Zuoyebang AI Research（作业帮人工智能研究院）；University of Connecticut（康涅狄格大学）
本文提出一种基于大语言模型的发音评分系统，利用语音编码器和适配器对齐特征，结合提示文本预测准确性与流利度，在Speechocean762数据集上取得有竞争力结果。
2024-07-18 cs.CL eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合不确定性量化的改进GoP方法，通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能，在英语、韩语和泰米尔语上均优于基线，并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
Pronunciation Dictionary-Free Multilingual Speech Synthesis by Combining Unsupervised and Supervised Phonetic Representations
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）
提出了一种结合无监督语音表示（UPR）和有监督语音表示（SPR）的多语种语音合成方法，避免了对目标语言发音词典的依赖。该方法采用预先训练好的wav 2 vec 2.0模型提取不确定性特征，采用连接主义时态分类（CTC）损失建立与语言无关的自动语音识别（LI-ASR）模型，从目标语言的音频数据中提取分段级的自动语音识别。然后，设计了一个声学模型，该模型首先从文本中分别预测UPR和SPR，然后组合预测的UPR和SPR以生成梅尔谱图。六种语言的实验结果表明，所提出的方法优于直接预测的方法，从字符或音素序列和消融模型，仅利用UPR或SPR的梅尔频谱图。
2022-06-02 cs.SD eess.AS
Masked Acoustic Unit for Mispronunciation Detection and Correction
Zhejiang University（浙江大学）
计算机辅助发音训练（CAPT）在语言学习中发挥着重要作用。传统的基于ASR的CAPT方法需要昂贵的注释地面真实发音的监督训练。同时，某些未定义的非母语音素不能被正确地分类为标准音素，使得注释过程具有挑战性和主观性。另一方面，基于ASR的CAPT方法只能给学习者关于错误发音的基于文本的反馈，但不能教学习者如何正确发音。为了解决这些局限性，我们建议使用声学单位（AU）作为中间功能的发音错误检测和纠正。该方法利用被掩蔽的AU序列和目标音素检测出错误AU并进行纠正，从而为学习者提供基于语音的自模仿反馈，使CAPT具有更强的教育功能。
2022-05-04 cs.SD eess.AS
Multimodal Conversational Context for LLM-Based ASR: Data Construction, Training, and Benchmark
Alibaba Token Foundry（阿里通义实验室）
针对基于LLM的ASR，提出多模态对话上下文框架，整合数据流水线、训练与基准，提升实体召回率，并验证历史语音在口音、方言及目标说话人场景中的价值。
2026-09-18 eess.AS
Preserving Phonemic Distinctions for Ordinal Regression: A Novel Loss Function for Automatic Pronunciation Assessment
National Taiwan Normal University（台湾师范大学）；E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）
针对自动发音评估中回归模型同一等级不同音位区分性不足的问题，提出融合音位区分正则项的PCO损失，兼顾音位区分与等级有序性，在speechocean762数据集上优于现有主流模型。
2023-10-04 cs.CL cs.SD eess.AS
A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment
Research Center for Psychological and Educational Testing, National Taiwan Normal University（国立台湾师范大学心理与教育测试研究中心）；Department of Computer Science and Information Engineering, National Taiwan Normal University（国立台湾师范大学电机工程学系暨资讯工程学系）；Department of Educational Psychology and Counseling, National Taiwan Normal University（国立台湾师范大学教育心理与辅导学系）
针对自动发音评估中多粒度建模缺乏层级与局部上下文关系的问题，提出结合 sup-phonemes、深度可分离卷积、分数约束注意力池化和 MTL 的层级上下文感知方法，并在 speechocean762 上验证有效。
2023-06-07 cs.SD eess.AS eess.SP
PROCTER: PROnunciation-aware ConTextual adaptER for personalized speech recognition in neural transducers
Amazon Alexa（亚马逊Alexa）
提出发音感知上下文适配器PROCTER，通过音素和文本嵌入向RNN-T注入词典知识，在个性化实体上WER降低44%和57%，参数仅增1%，零样本下WER改善7%。
2023-03-30 cs.SD eess.AS
