Zero-Shot Text-to-Speech as Golden Speech Generator: A Systematic Framework and its Applicability in Automatic Pronunciation Assessment
Department of Computer Science and Information Engineering（计算机科学与信息工程系）；Department of Educational Psychology and Counseling（教育心理学与咨询系）；Department of Computer Science（计算机科学系）；Department of Educational Psychology（教育心理学系）
提出利用ZS-TTS生成学习者专属黄金语音的系统化框架，并验证其在自动发音评估中可显著提升多项指标性能。
2025-07-26 cs.AI eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University（高丽大学）；MediaZen；The Catholic University of Korea（韩国天主教大学）；Dankook University（檀国大学）
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音，用于诊断韩语语音障碍，准确率约90%，可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
3M: An Effective Multi-view, Multi-granularity, and Multi-aspect Modeling Approach to English Pronunciation Assessment
National Taiwan Normal University（台湾师范大学）
作为计算机辅助发音训练（CAPT）中不可或缺的一部分，自动发音评估（APA）通过提供多方面、及时的反馈，对自主学习者起着至关重要的作用。然而，至少有两个潜在的障碍可能会阻碍其实际使用的性能。一方面，大多数的研究只集中在利用分段（语音）水平的功能，如良好的发音（GOP），然而，这可能会导致差异的特征粒度时，执行超分段（韵律）水平的发音评估。另一方面，语音自动评测仍然缺乏大规模的非母语者的标记语音数据，这不可避免地限制了语音评测的性能。在本文中，我们解决这些问题，通过整合多个韵律和音韵特征，提供一个多视图，多粒度，多方面（3 M）的发音建模。具体来说，我们增加GOP的韵律和自监督学习（SSL）功能，同时开发一个元音/辅音位置嵌入更多的音韵意识的自动发音评估。在公开的speechocean 762数据集上进行的一系列实验表明，与以往的工作相比，该方法在几个评估粒度上都有显著的改进，尤其是在口语流利度和语音韵律的评估上.
2022-09-12 cs.SD eess.AS eess.SP
ConPCO: Preserving Phoneme Characteristics for Automatic Pronunciation Assessment Leveraging Contrastive Ordinal Regularization
本文提出对比音素序数正则化器ConPCO，通过对比学习对齐音素表示与文本嵌入，并在特征空间中保留音素类别距离和序数关系，配合分层APA模型在speechocean762上验证了其有效性。
2024-06-08 cs.SD eess.AS
Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；PAII Inc.（平安科技（美国）有限公司）
语音自动评估是帮助自主学习者的一项重要技术。虽然发音质量具有多个方面，包括准确性、流畅性、完整性和韵律，但是先前的努力通常仅对一个方面（例如，精度）在一个粒度（例如，在音素级）。在这项工作中，我们探索建模多方面的发音评估在多个粒度。具体来说，我们用多任务学习训练了一个基于发音特征的Transformer（GOPT）。实验结果表明，GOPT在基于Libris语音库训练的公共自动语音识别（ASR）声学模型上，在Speechocean 762上取得了最好的效果。
2022-05-06 cs.LG cs.SD eess.AS
Zero-Shot Automatic Pronunciation Assessment
National University of Singapore（新加坡国立大学）
本文提出基于预训练声学模型HuBERT的零样本自动发音评估方法，通过掩码、Transformer编码、k-means聚类和错误恢复token计数进行评分，在speechocean762上取得与有监督回归基线相当的PCC性能。
2023-05-31 cs.CL cs.LG cs.SD
IQRA 2026: Interspeech Challenge on Automatic Pronunciation Assessment for Modern Standard Arabic (MSA)
DFKI（德国人工智能研究中心）；Technical University of Berlin（柏林工业大学）；University of Sheffield（谢菲尔德大学）；University of New South Wales（新南威尔士大学）；Alexandria University（亚历山大大学）；QCRI（卡塔尔计算研究所）；Taibah University（塔伊巴大学）；HUMAIN
本文介绍了IQRA 2026挑战赛的成果，展示了在现代标准阿拉伯语发音检测与诊断（MDD）方面的研究进展，通过新增的Iqra_Extra_IS26数据集和多种模型方法，使F1分数提升了0.28。
2026-04-03 cs.SD eess.AS
Fine-Tuning Large Multimodal Models for Automatic Pronunciation Assessment
Microsoft, Beijing, China（微软北京研究院）
本研究通过微调大型多模态模型进行自动发音评估，在Speechocean762及私有语料上取得优于零样本的竞争性结果，并指出音素级评估与秩感知指标仍是未来改进方向。
2025-09-19 cs.CL cs.SD eess.AS
Transducers with Pronunciation-aware Embeddings for Automatic Speech Recognition
NVIDIA（英伟达）
本文提出 PET，通过为发音相同或相似的文本 token 共享解码器嵌入提升 ASR 性能，并证明其可缓解错误连锁反应。
2024-04-04 cs.CL cs.LG cs.SD
Comparison of L2 Korean pronunciation error patterns from five L1 backgrounds by using automatic phonetic transcription
Seoul National University（首尔大学）
本研究利用自动音标转写大规模分析五种母语背景的L2韩语发音错误，识别出三种常见错误模式及三十九种语言特定模式，为韩语教学提供数据支持。
2023-06-19 cs.CL cs.SD eess.AS
HiPPO: Exploring A Novel Hierarchical Pronunciation Assessment Approach for Spoken Languages
HiPPO提出了一种针对口语语言的层次化发音评估模型，通过对比有序正则化器和课程学习策略提升评估准确性，验证了在非 scripted 语音输入下的有效性。
2025-12-04 eess.AS
GIPFA: Generating IPA Pronunciation from Audio
将语音样本转录成国际音标（IPA）一直是专家的专利。在这项研究中，我们研究了使用人工神经网络（ANN）模型自动提取IPA音素发音的一个词的基础上，其音频发音，因此它的名字从音频生成IPA发音（GIPFA）。基于法语维基词典，我们训练了我们的模型，然后正确预测了75%的测试IPA发音。有趣的是，通过研究推理错误，该模型可以突出数据集中可能的错误，并识别法语中最接近的音素。
2021-09-21 cs.CL cs.SD eess.AS
Pronunciation Modeling of Foreign Words for Mandarin ASR by Considering the Effect of Language Transfer
Institute for Infocomm Research（资讯通信研究院）
自动语音识别面临的挑战之一是外来词识别。语言迁移效应是指说话人对一个外语词的发音受到母语知识的影响。本文主要研究自动语音识别中语言迁移的语音效应。提出了一套词汇规则来将英语单词转换为汉语语音表示。通过这种方式，可以通过包括英语单词来扩充普通话词典。因此，普通话ASR系统变得能够识别英语单词，而无需重新训练或重新估计声学模型参数。使用该规则生成的词汇，在不影响纯汉语语音识别准确性的前提下，提高了汉英混合语音的ASR性能。建议的词汇规则是广义的，他们可以直接应用到看不见的英语单词。
2022-10-07 cs.CL eess.AS
Preserving Phonemic Distinctions for Ordinal Regression: A Novel Loss Function for Automatic Pronunciation Assessment
National Taiwan Normal University（台湾师范大学）；E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）
针对自动发音评估中回归模型同一等级不同音位区分性不足的问题，提出融合音位区分正则项的PCO损失，兼顾音位区分与等级有序性，在speechocean762数据集上优于现有主流模型。
2023-10-04 cs.CL cs.SD eess.AS
Computational Pronunciation Analysis in Sung Utterances
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
目前的自动歌词转录（ALT）方法主要集中在建立更强的声学模型或域内语言模型，而很少涉及发音方面。本文应用一种新的计算分析方法对歌唱发音中的发音差异进行了分析，并进一步提出了一种新的适用于歌唱的发音模型。通过单词识别实验，在多个公共数据集上测试了唱歌适应模型。它在所有设置中的表现都优于标准语音词典，在使用n元语言模型的无伴奏合唱录音中报告ALT的最佳结果。为了重现性，我们分享了测试中使用的重复级别注释，为ALT提供了一个新的基准评估集。
2021-06-21 cs.IR cs.SD eess.AS
Smartajweed Automatic Recognition of Arabic Quranic Recitation Rules
University of Venice（威尼斯大学）；Cairo University（开罗大学）
《古兰经》是一部经典，它是一部经典。这意味着你必须给古兰经中的每一个字母它应有的特点，并将其应用到这个特定的字母在这个特定的情况下，而阅读，这可能在其他时间不同。这些特征包括旋律规则，比如在哪里停下来，停多久，什么时候合并发音中的两个字母，什么时候拉伸一些字母，甚至什么时候在一些字母上施加更大的力量。大部分的论文主要集中在主要的背诵规则和发音，但不是（Ahkam AL Tajweed），赋予不同的节奏和不同的旋律发音（Tajweed）的不同规则。这也被认为是非常重要和必不可少的阅读古兰经，因为它可以给不同的含义的话。本文详细讨论了利用支持向量机和阈值评分系统对《古兰经》背诵规则（Tajweed）进行自动识别的完整系统
2020-12-26 cs.CL cs.LG cs.SD
Alternate Intermediate Conditioning with Syllable-level and Character-level Targets for Japanese ASR
LINE Corporation（LINE公司）
端到端自动语音识别直接将输入语音映射到字符。然而，当几个不同的发音应该被映射到一个字符或者当一个发音在许多不同的字符之间共享时，映射可能是有问题的。由于日本汉字字符，日本ASR受到这种多对一和一对多映射问题的影响最大。为了缓解这些问题，我们引入了明确的字符和音节之间的相互作用，使用自适应连接时间分类（CTC），其中上层是“自适应”的中间预测从较低的层。该方法利用字符级和音节级的中间预测作为条件特征来处理字符和音节之间的相互依赖性。在自发日语语料库上的实验结果表明，该方法的性能优于传统的多任务和自适应CTC方法。
2023-03-13 cs.CL cs.SD eess.AS
CN-NewsTTS Bench: a target-level automatic benchmark for raw-input Chinese news TTS pronunciation
NetEase Cloud Music（网易云音乐）
针对中文新闻TTS对密集书面形式（如分数、连字符型号等）发音不准的问题，提出CN-NewsTTS Bench v0.1基准，包含自动评估集和评分器，测试七个商业系统，最佳准确率0.879。
2026-06-24 cs.CL cs.SD eess.AS
Automated detection of pronunciation errors in non-native English speech employing deep learning
Gdansk University of Technology（格但斯克工业大学）
尽管近年来取得了重大进展，但现有的计算机辅助发音训练（CAPT）方法检测发音错误的准确率相对较低（在40%-80%的召回率下，准确率为60%）。这个博士工作提出了新的深度学习方法，用于检测非母语（L2）英语语音中的发音错误，在AUC度量（曲线下面积）方面优于最先进的方法41%，即，从0.528到0.749。现有CAPT方法的问题之一是发音检错模型的可靠训练所需的带注释的发音错误的语音的低可用性。因此，发音错误的检测被重新定义为生成合成错误发音语音的任务。直觉上，如果我们能够模仿发音错误的语音并产生任何数量的训练数据，那么检测发音错误将更加有效。此外，为了消除需要对齐规范和已识别的音素，提出了一种新的端到端的多任务技术，直接检测发音错误。发音检错模型已经在Amazon上用于自动检测合成语音中的发音错误，以加速对新的语音合成方法的研究。研究表明，所提出的深度学习方法适用于检测和重建构音障碍语音的任务。
2022-09-13 cs.SD eess.AS q-bio.OT
Using Kaldi for Automatic Speech Recognition of Conversational Austrian German
Graz University of Technology（格拉茨工业大学）
随着对话系统的交互性和社会化程度的提高，对对话语音进行准确的自动语音识别（ASR）也变得越来越重要。这将焦点从简短的、自发的、以任务为导向的对话转移到了更复杂的、随意的面对面对话上。然而，这种对话的收集和注释是一个耗时的过程，并且对于这种特定的说话风格来说，数据是稀疏的。本文介绍了ASR实验与阅读和会话的奥地利德语为目标。为了处理只有有限的资源可用于德语会话，并在同一时间，与扬声器之间的发音特征有很大的变化，我们改进了基于Kaldi的ASR系统，通过将（大）基于知识的发音词典，同时探索不同的基于数据的方法来限制每个词条的发音变体的数量。我们实现了最好的WER的0.4%，奥地利德语阅读语音和最好的平均WER的48.5%，会话语音。我们发现，通过使用我们最好的发音词典，可以实现类似的高性能比通过增加用于语言模型的数据的大小约。360%到760%。我们的研究结果表明，对于低资源的情况下，尽管语音技术的一般趋势是只使用基于数据的方法，基于知识的方法是一个成功的，有效的方法。
2023-01-16 cs.CL cs.SD eess.AS
A transfer learning based approach for pronunciation scoring
Universidad de Buenos Aires (UBA)（布宜诺斯艾利斯大学）
本文提出一种基于迁移学习的发音评分方法，利用ASR模型适配发音评分任务，在EpaDB上比GOP系统提升20%，尤其优化了低不必要纠正率场景下的性能。
2023-05-09 cs.CL cs.SD eess.AS
Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
尽管最近在端到端（E2 E）ASR系统的代码切换方面取得了重大进展，但对音频文本配对数据的饥饿限制了模型性能的进一步提高。本文提出了一个解耦的Transformer模型，利用单语配对数据和非配对文本数据来缓解语码转换数据不足的问题。该模型被解耦为两个部分：音频到音素（A2 P）网络和音素到文本（P2 T）网络。A2 P网络可以使用大规模单语配对数据来学习声学模式场景。同时，它在训练过程中实时生成单个音频数据的多个音素序列候选。然后使用生成的语音-文本配对数据来训练P2 T网络。该网络可以使用大量外部未配对文本数据进行预训练。解耦的Transformer模型通过使用单语数据和不成对的文本数据，在一定程度上降低了E2 E模型对语码转换成对训练数据的高度依赖性。最后通过注意力融合对两个网络进行联合优化。我们在公开的汉英语码转换数据集上对所提出的方法进行了评估。与我们的Transformer基线相比，该方法实现了18.14%的相对混合出错率降低。
2020-10-28 cs.CL cs.SD eess.AS
Non-native Children's Automatic Speech Assessment Challenge (NOCASA)
NOCASA挑战赛旨在评估非母语儿童单词发音，提供TeflonNorL2数据集及SVM与wav2vec 2.0基线模型，后者以36.37%的UAR取得最佳表现。
2025-08-13 cs.CL eess.AS
Neural Lexicon Reader: Reduce Pronunciation Errors in End-to-end TTS by Leveraging External Textual Knowledge
Microsoft（微软）
端到端TTS需要大量的语音/文本配对数据来覆盖所有必要的知识，特别是如何在不同的上下文中发音不同的单词，以便神经模型可以相应地学习这些知识。但在实际应用中，这种对训练数据的高要求很难得到满足，往往需要人工注入额外的知识。例如，为了捕获没有规则正字法的语言的发音知识，需要基于大型结构化发音词典构建复杂的字形到音素流水线，从而导致将神经TTS扩展到此类语言的额外成本，有时成本很高。在本文中，我们提出了一个框架，学习自动提取知识的非结构化外部资源使用一种新的Token 2Knowledge注意力模块。该框架被应用于建立一个名为神经词典阅读器的TTS模型，该模型以端到端的方式从原始词典文本中提取发音。实验结果表明，该模型能显著降低低资源、端到端中文TTS系统中的发音错误，并能以较小的数据量将词典阅读能力移植到其他语言中。
2022-06-24 cs.CL cs.SD eess.AS
Pronunciation-Oriented Reinforcement Learning for Japanese Text-to-Speech with Kana-Domain ASR Rewards
SB Intuitions Corp.（SB Intuitions 公司）
针对日语TTS，提出基于假名域ASR奖励的Kana-CER强化学习方法，在GRPO下显著降低汉字读音错误并加速收敛，同时保持语音质量，且KL正则化可抑制输出延长。
2026-10-07 cs.SD eess.AS
Zero-shot Context Biasing with Trie-based Decoding using Synthetic Multi-Pronunciation
Alibaba-NTU Global e-Sustainability CorpLab（阿里巴巴-国立科技大学全球可持续发展公司实验室）；Nanyang Technological University（南洋理工大学）；College of Computing and Data Science（计算与数据科学学院）
针对上下文ASR中OOV词识别的发音歧义等难题，提出合成驱动的多发音偏置方法，通过TTS合成样本提取发音变体构建前缀树辅助解码，在LibriSpeech上显著降低B-WER且不影响U-WER。
2025-09-02 cs.CL eess.AS
Automatic Pronunciation Error Detection and Correction of the Holy Quran's Learners Using Deep Learning
Faculty of Engineering, Ain Shams University（艾因夏姆斯大学工程学院）
本研究针对《古兰经》学习者的发音错误检测与纠正问题，构建了自动化数据集生成流水线与基准qdat_bench，提出基于QPS的ASR方法与多级CTC模型，实现了高精度的发音错误检测。
2026-08-31 cs.AI cs.CL cs.LG
A Bottom-up Framework with Language-universal Speech Attribute Modeling for Syllable-based ASR
提出一种底层ASR框架，通过语言通用发音属性建模与音节预测结合，在AISHELL-1上性能有竞争力且低资源鲁棒，跨语言日语错误率降低40%。
2025-09-09 eess.AS
Weakly-supervised word-level pronunciation error detection in non-native English speech
Amazon（亚马逊）；Gdansk University of Technology（格但斯克理工大学）
我们提出了一个弱监督模型，用于非母语（L2）英语语音中的单词级发音错误检测。为了训练这个模型，不需要语音转录的L2语音，我们只需要标记错误发音的单词。L2语音缺乏语音转换意味着模型只能从单词级错误发音的微弱信号中学习。正因为如此，并且由于错误发音的L2语音的数量有限，该模型更有可能过拟合。为了限制这种风险，我们在多任务设置中对它进行训练。在第一个任务中，我们估计单词级发音错误的概率。对于第二个任务，我们使用的音素识别器训练的语音转录L1语音，很容易访问，可以自动注释。与最先进的方法相比，我们将AUC度量中检测单词级发音错误的准确性提高了30%，在L2波兰语使用者的GUT Isle语料库中，在L2德语和意大利语使用者的Isle语料库中，提高了21.5%。
2021-06-07 cs.LG eess.AS
Cross-lingual Text-To-Speech with Flow-based Voice Conversion for Improved Pronunciation
本文提出基于非注意力Tacotron与归一化流网络的端到端跨语言TTS方法，通过同一模型实现TTS与语音转换，在低资源场景下改善目标语言发音并取得优于基线的效果。
2024-02-27 cs.CL cs.LG cs.SD
G2G: TTS-Driven Pronunciation Learning for Graphemic Hybrid ASR
Facebook AI（Facebook人工智能研究院）
最近的研究表明，在混合和端到端的自动语音识别（ASR）中，即使是在英语等非音素语言上，基于字形的声学建模也优于基于音素的方法。然而，字形ASR仍然存在罕见的长尾词的问题，这些长尾词不遵循训练中看到的标准拼写约定，例如实体名称。在这项工作中，我们提出了一种新的方法来训练一个统计的字素到字素（G2G）模型的文本到语音数据，可以重写任意字符序列到语音更一致的形式。我们表明，使用G2G在解码过程中提供替代发音，相对于强大的字形基线，将单词错误率降低了3%至11%，并弥合了罕见名称识别与等效语音设置之间的差距。与许多以前提出的方法不同，我们的方法不需要对声学模型训练过程进行任何更改。这项工作重申了基于图素的建模的有效性，并表明，专业的语言知识，当可用时，可以利用来提高字形ASR。
2020-02-13 cs.LG cs.SD eess.AS
Towards Accurate Phonetic Error Detection Through Phoneme Similarity Modeling
Zhejiang UniversityChina（浙江大学）；UC BerkeleyUS（加州大学伯克利分校）；UCSFUS（加州大学旧金山分校）
本文提出基于音素相似度建模的多任务逐字音素识别框架，并开源含语音错误的VCTK-accent数据集及两个新评估指标，为语音错误检测建立新基准。
2025-07-18 cs.SD eess.AS
Synthetic Cross-accent Data Augmentation for Automatic Speech Recognition
Meta AI；FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
近年来，人们对有偏见的ASR数据集或模型的认识显著提高。即使对于英语，尽管有大量可用的训练数据，系统对于非母语者的表现更差。在这项工作中，我们改进了口音转换模型（ACM），将美国本土英语语音口音发音。我们在ACM训练中包括语音知识，以提供关于在合成波形中恢复某些发音模式的准确反馈。此外，我们研究的可行性学习口音表示，而不是静态嵌入。生成的数据然后用于训练两个最先进的ASR系统。我们在母语和非母语英语数据集上评估了我们的方法，发现合成口音数据有助于ASR更好地理解来自所见口音的语音。这一观察结果并没有转化为看不见的口音，也没有观察到一个专门用母语预先训练的模型。
2023-03-01 cs.CL cs.SD eess.AS
Prak: An automatic phonetic alignment tool for Czech
Institute of Phonetics, Charles University in Prague（布拉格查理大学语音学研究所）；Freelance researcher（自由研究者）
本文提出开源工具Prak，利用轻量级神经网络和规则模块实现捷克语文本到音子的自动生成与音频时间对齐，提升了语音标注效率并兼具教学价值。
2023-04-17 cs.CL cs.SD eess.AS
Speech Corpus for Korean Children with Autism Spectrum Disorder: Towards Automatic Assessment Systems
Seoul National University（首尔大学）
本文构建了首个韩国ASD儿童语音语料库，通过分析声学与语言特征并关联临床评分，验证了自动评估社交沟通严重程度和发音熟练度的可行性。
2024-02-23 cs.CL eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Enhancing GOP in CTC-Based Mispronunciation Detection with Phonological Knowledge
Centre for Language Studies（语言研究中心）
针对无对齐 GOP 计算昂贵且扩展性差的问题，本文提出基于音素簇与学习者常见错误的感知替换无对齐 GOP，并在两个二语英语数据集上验证其优于基线。
2025-07-08 cs.AI eess.AS
Homophone-based Label Smoothing in End-to-End Automatic Speech Recognition
UBTECH Robotics Inc（优必选机器人公司）
提出了一种新的标签平滑方法，该方法利用人类语言水平上的先验知识--同音字，用于自动语音识别（ASR）。与前人相比，该方法以更复杂的方式利用了同音字的发音知识。联合学习声学模型和语言模型的端到端ASR模型以及对字符单元的建模是该方法的必要条件。在混合CTC序列到序列模型上的实验表明，该方法可以将字符错误率（CER）绝对降低0.4%。
2020-05-14 cs.CL cs.SD eess.AS
Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；NovoLearning
本研究评估了Wav2Vec2.0和Whisper AI两种ASR系统在母语与非母语荷兰语儿童语音上的表现，发现预训练transformer模型能有效识别并提取音素发音质量的详细反馈，支持儿童外语学习。
2023-06-29 cs.CL cs.SD eess.AS
Mixture of LoRA Experts with Multi-Modal and Multi-Granularity LLM Generative Error Correction for Accented Speech Recognition
本文针对口音语音识别提出多模态与多粒度生成式纠错方法，并通过HDMoLE分层路由与动态阈值混合单口音LoRA专家，在多口音英语数据上将词错误率相对基线Whisper-large-v3降低67.35%。
2025-07-19 cs.SD eess.AS
Mispronunciation Detection in Non-native (L2) English with Uncertainty Modeling
Amazon Speech（亚马逊语音）；Gdansk University of Technology（格但斯克工业大学）
在语言学习中自动检测发音错误的一种常见方法是识别学生产生的音素，并将其与母语者的预期发音进行比较。这种方法有两个简单的假设：a）音素可以从语音中高精度地识别出来，b）一个句子的发音只有一种正确的方式。这些假设并不总是成立，这可能导致大量的错误发音警报。我们提出了一种新的方法来克服这个问题的基础上两个原则：a）考虑到不确定性的自动音素识别步骤，b）占的事实，可能有多个有效的发音。我们评估的非母语（L2）的德语，意大利语和波兰语的英语语音模型，在那里它被证明可以增加高达18%（相对）的常见方法相比，检测发音错误的精度。
2021-02-08 cs.LG cs.SD eess.AS
Nonwords Pronunciation Classification in Language Development Tests for Preschool Children
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）；Intel Labs（英特尔实验室）
这项工作旨在自动评估儿童的语言发展是否与年龄相适应。验证言语和语言测试用于此目的，以测试听觉记忆。在这项工作中，任务是要确定是否口语非词已被正确地说出。我们比较了不同的方法，动机模型特定的语言结构：低级特征（FFT），扬声器嵌入（ECAPA-TDNN），字素动机的嵌入（wav 2 vec 2.0），和语音嵌入的形式senones（ASR声学模型）。每种方法都为类似VGG的5层CNN分类器提供输入。我们还研究了每个非词的适应。使用录音从不同的幼儿园的口头nonwords建议的系统进行评估。ECAPA-TDNN和低级FFT特征没有显式地对语音信息进行建模; wav2vec2.0是在字素标签上训练的，我们的ASR声学模型特征包含（子）语音信息。我们发现语音模型的粒度越大，识别率就越高。在具有VTLN的ASR声学模型特征上训练的最佳系统实现了89.4%的准确度和0.923的ROC（接收器操作特征）曲线下面积（AUC）。这相当于与FFT基线相比，准确度提高了20.2%，AUC提高了0.309。
2022-06-17 cs.CL cs.SD eess.AS
K-Function: Joint Pronunciation Transcription and Feedback for Evaluating Kids Language Function
Zhejiang University（浙江大学）；UC Berkeley（加州大学伯克利分校）；Duke University（达特茅斯大学）；SCUT（上海交通大学）；TVT；UCSF（加州大学旧金山分校）
K-Function通过结合子词转录与LLM评分，提升儿童语音识别精度，实现高效的语言功能评估。
2026-02-24 cs.AI cs.CL cs.SD
Synthetic Data Domain Adaptation for ASR via LLM-based Text and Phonetic Respelling Augmentation
Hitachi, Ltd.（日立公司）
本文提出基于合成数据的域适应框架，通过大语言模型生成文本增强和音素重写增强，提升ASR在领域特定数据上的鲁棒性。
2026-03-11 cs.SD eess.AS
Causal Analysis of ASR Errors for Children: Quantifying the Impact of Physiological, Cognitive, and Extrinsic Factors
针对儿童自动语音识别（ASR）模型词错误率（WER）高于成人的问题，本研究通过因果分析量化生理、认知和外在因素的影响，发现年龄和词数影响最大，微调可降低对生理和认知因素的敏感性。
2025-02-12 eess.AS
Speaker conditioned acoustic modeling for multi-speaker conversational ASR
在本文中，我们提出了一种新的方法，从单通道语音记录的语音对话与自然扬声器重叠的转录。所提出的模型是一个说话人日记系统和混合自动语音识别（ASR）系统的组合。ASR系统中的说话人条件声学模型（SCAM）由一系列嵌入层组成，这些嵌入层使用来自日记化系统的说话人活动输入来导出说话人特定嵌入。SCAM的输出是用于解码对话中每个扬声器的转录的扬声器特定的senone。在这项工作中，我们的实验与自动扬声器活动的决定使用端到端扬声器日记系统。还提出了一种联合学习方法，其中日志化模型和ASR声学模型被联合优化。实验是在Switchboard电话会话语料库中的混合通道双说话人录音上进行的。在这些实验中，我们表明，所提出的声学模型，结合扬声器活动决策和联合优化，显着提高了ASR系统与显式源过滤（相对改善12%的字错误率（WER）的基线系统）。
2022-08-29 eess.AS
Genre-conditioned Acoustic Models for Automatic Lyrics Transcription of Polyphonic Music
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
复调音乐的歌词转录是具有挑战性的，这不仅是因为演唱的声音被背景音乐破坏，而且还因为背景音乐和演唱风格在不同的音乐流派中不同，例如流行音乐，金属和嘻哈，这以不同的方式影响歌曲的歌词可理解性。在这项工作中，我们建议使用一种新的体裁条件网络来转录复调音乐的歌词。所提出的网络采用预先训练的模型参数，并在层之间结合体裁适配器，以捕获歌词体裁对的不同体裁特性，从而只需要轻量级的体裁特定参数进行训练。我们的实验表明，建议的体裁条件网络优于现有的歌词转录系统。
2022-04-07 cs.AI cs.SD eess.AS
An End-to-End Mispronunciation Detection System for L2 English Speech Leveraging Novel Anti-Phone Modeling
National Taiwan Normal University（台湾师范大学）；ASUS AICS（华硕人工智能与云计算中心）
发音错误检测与诊断（MDD）是计算机辅助发音训练（CAPT）的核心组成部分。大多数现有的MDD方法专注于处理分类错误（即，一个规范音素被另一个替代，除了那些由删除或插入引起的发音错误）。然而，准确检测和诊断非范畴或失真错误（即近似L2音素与L1（第一语言）音素，或两者之间的错误发音）似乎仍然遥不可及。鉴于此，我们提出了一种新的端到端的自动语音识别（E2 E-based ASR）的方法进行MDD。特别是，我们扩展了原来的L2音素集与其相应的反音素集，使基于E2 E的MDD方法有一个更好的能力，采取在分类和非分类的发音错误，旨在提供更好的发音错误检测和诊断反馈。此外，一个新的迁移学习范式的设计，以获得初始模型估计的E2 E为基础的MDD系统没有资源的任何语音规则。在L2-ARCTIC数据集上的大量实验结果表明，我们的最佳系统在F1分数方面分别比现有的E2 E基线系统和基于发音评分的方法（GOP）高出11.05%和27.71%。
2020-08-28 cs.CL cs.SD eess.AS
Using Phonological-Level Wav2Vec2 for Mandarin Automatic Mispronunciation Detection and Diagnosis
School of Electrical Engineering and Telecommunications（电气工程与电信学院）
提出基于音系特征的MDD框架，在Wav2Vec2 CTC架构中联合建模音段和声调属性，相比纯音素基线系统，误接受率降低10.1%，诊断错误率降低23.6%。
2026-06-23 cs.SD eess.AS
Analyzing Phonetic and Graphemic Representations in End-to-End Automatic Speech Recognition
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
用于自动语音识别（ASR）的端到端神经网络系统是从声学特征到文本翻译的训练。与模块化ASR系统（包含用于声学建模、发音词典和语言建模的单独训练的组件）相比，端到端范例在概念上更简单，并且具有在最终任务上训练整个系统的潜在好处。然而，这样的神经网络模型更加不透明：不清楚如何解释网络不同部分的作用，以及它在训练过程中学习到什么信息。在本文中，我们分析了学习的内部表示在一个端到端的ASR模型。我们评估的代表性质量方面的几个分类任务，比较音素和字素，以及不同的发音功能。我们研究了两种语言（英语和阿拉伯语）和三个数据集，发现不同属性在深层神经网络的不同层中的表现方式具有显著的一致性。
2020-04-19 cs.CL cs.SD eess.AS
Techniques and Challenges in Speech Synthesis
The University of Newcastle, Australia（澳大利亚纽卡斯尔大学）
本项目的目的是开发和实现一个英语文本到语音合成系统。这包括对人类语音产生机制的研究，对语音合成技术的回顾，以及对用于评估合成语音有效性的测试的分析。确定双音合成系统是本项目范围内最有效的选择。设计了一种从提示语音中自动识别和提取双音素的方法，允许说话人在不到40分钟的时间内创建双音素数据库。CMUdict用于确定已知单词的发音。设计并实现了一个用于平滑双音子记录之间的过渡的系统。CMUdict然后被用来训练最大似然预测系统，以确定未知的英语字母词的正确发音。然后，设计了一个词性标注器来查找句子中单词的词汇类。设计了一种随时间改变所产生语音的音高、时长和音量的方法，该方法是TD-PSOLA算法和一种称为清音语音时长移位的新方法的组合。这最大限度地减少了在改变音调或持续时间时语音的失真，同时通过在时域中操作来最大限度地提高计算效率。这种方法被用来在单词中的元音上添加正确的词汇重音。开发了一个文本标记化系统来处理任意文本输入，允许数字输入标记的发音和使用适当的标点停顿。讨论了进一步提高句子级语音自然度的方法。最后，该系统进行了测试，其清晰度和自然的听众。
2017-09-22 cs.SD eess.AS
Causal Structure Discovery for Error Diagnostics of Children's ASR
University of Eastern Finland（东芬兰大学）；TCG CREST；School of Computing（计算学院）；Institute for Advancing Intelligence（先进智能研究所）
本文引入因果结构发现与量化方法，揭示生理、认知及外在因素对儿童ASR错误的相互依赖影响，并验证了该发现在Whisper和Wav2Vec2.0等不同系统间的泛化性。
2025-05-31 cs.CL cs.SD eess.AS
LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition
University of Maryland, College Park, USA（马里兰大学学院公园分校）
本文提出 LipGER 框架，通过让大语言模型在唇部运动视觉条件下对 ASR 的 N-best 假设进行生成式纠错，在 4 个数据集上将词错误率降低 1.1%–49.2%，并发布大规模数据集 LipHyp。
2024-06-06 cs.AI cs.CL eess.AS
DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition
Brno University of Technology（布尔诺理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出 DiCoW，通过将说话人分离输出作为条件直接整合到预训练 Whisper 中，并引入 FDDT 与 QKb 技术，以摆脱对说话人嵌入的依赖，提升多说话人目标 ASR 对未见说话人的泛化能力与重叠语音处理效果。
2024-12-30 cs.SD eess.AS
