A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Token-Level Ensemble Distillation for Grapheme-to-Phoneme Conversion
Microsoft（微软）
字-音转换是自动语音识别和文-语转换系统中的一项重要任务。最近，G2 P转换被视为序列到序列的任务，并通过基于RNN或CNN的编码器-解码器框架来建模。然而，以前的工作没有考虑实际问题时，部署G2 P模型在生产系统中，如如何利用额外的未标记的数据，以提高准确性，以及减少模型的大小，在线部署。在这项工作中，我们提出了用于G2 P转换的令牌级集成蒸馏，它可以（1）通过从额外的未标记数据中提取知识来提高精度，（2）减少模型大小但保持高精度，这两者在在线生产系统中非常实用和有用。我们使用令牌级的知识蒸馏，这导致更好的准确性比序列级的对应。更重要的是，我们采用了Transformer而不是RNN或CNN模型，以进一步提高G2 P转换的准确性。在公开的CMUDict数据集和国内英语数据集上的实验证明了该方法的有效性。特别是，我们的方法在CMUDict数据集上实现了19.88%的WER，超过了以前的作品超过4.22%的WER，并设置了新的最先进的结果。
2019-08-12 cs.CL cs.LG cs.SD
Phoneme-aware Encoding for Prefix-tree-based Contextual ASR
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对上下文语音识别中稀有词识别难题，提出为基于前缀树的TCPGen模型扩展音素感知编码，通过音素-子词对齐及CTC音素预测注入优化，在英日双语数据集上均优于字素编码方法。
2023-12-15 cs.CL cs.SD eess.AS
Phoneme-Based Contextualization for Cross-Lingual Speech Recognition in End-to-End Models
Google, LLC（谷歌有限责任公司）
上下文自动语音识别，即，在端到端（E2E）模型中，将识别偏向给定的上下文（例如，用户的播放列表或联系人）是具有挑战性的。这种模型在波束搜索解码期间保持有限数量的候选者，并且已经发现识别罕见的命名实体很差。当偏向于外语中的专有名词时，这个问题会加剧，例如，地理位置名称，在训练中几乎看不到，因此是词汇表外（OOV）。虽然字素或词段E2E模型可能很难拼写OOV单词，但音素在声学上更突出，过去的工作表明E2E音素模型可以更好地预测这些单词。在这项工作中，我们提出了一个E2E模型，包含英语单词和音素的建模空间，并执行上下文偏置的外国单词在音素层面上的外国单词的发音映射到类似的英语音素。在实验评估中，我们发现，所提出的方法比一个纯字素偏置模型的性能好16%，比一个纯字段偏置模型在外国地名识别任务上的性能好8%，在常规英语任务上只有轻微的退化。
2019-07-22 cs.CL cs.SD eess.AS
Sequence-to-Sequence Neural Net Models for Grapheme-to-Phoneme Conversion
Microsoft Research（微软研究院）
基于边条件语言模型生成的序列到序列翻译方法最近在几个任务中显示出有希望的结果。在机器翻译中，以源边词为条件的模型已被用于产生目标语言文本，并且在图像描述中，以图像为条件的模型已被用于生成字幕文本。过去使用这种方法的工作主要集中在大词汇量任务上，并以BLEU来衡量质量。在本文中，我们探讨了这种模型的适用性，以定性不同的字形音素任务。这里，输入和输出端的词汇表都很小，普通的n-gram模型做得很好，并且只有在输出完全正确时才给予信用。我们发现，简单的侧条件生成方法能够与最先进的方法相媲美，并且我们能够通过双向长短期记忆（LSTM）神经网络显着推进最先进的方法，该神经网络使用与传统方法相同的对齐信息。
2015-08-20 cs.CL
Neural Machine Translation for Multilingual Grapheme-to-Phoneme Conversion
Amazon.com, Inc.（亚马逊公司）
字素到音素（G2 P）模型是自动语音识别（ASR）系统（例如Alexa中的ASR系统）中的关键组件，因为它们用于为发音词典中不存在的词汇表外单词生成发音（如“e c h o”到“E k oU”的映射）。大多数G2 P系统是单语的，并且基于传统的基于联合序列的n-gram模型[1，2]。作为替代方案，我们提出了一个单一的端到端训练的神经G2 P模型，该模型在多种语言中共享相同的编码器和解码器。这使得该模型能够利用类似拉丁字母的通用符号库存和跨语言共享的特征表示的组合。这种模型在低资源语言和代码切换/外来词的场景中特别有用，其中一种语言的发音需要适应其他地区或口音。我们进一步实验单词语言分布向量作为额外的训练目标，以通过帮助模型在参数空间中解耦各种语言的发音来提高系统性能。与单语基线相比，我们发现低资源语言的音素出错率平均改善了7.2%，而高资源语言的音素错误率没有下降。
2020-06-28 cs.CL
Speech-to-Text Translation with Phoneme-Augmented CoT: Enhancing Cross-Lingual Transfer in Low-Resource Scenarios
Barcelona Supercomputing CenterSpain（巴塞罗那超级计算中心西班牙）；Universitat Politècnica de CatalunyaSpain（巴塞罗那理工大学西班牙）
本研究提出将音素表示融入思维链框架的语音转文本翻译方法，通过课程学习训练扩展后的多语种大语言模型，提升低资源场景翻译质量并实现零资源翻译，为多语言S2TT普及提供新思路。
2025-05-30 cs.CL cs.SD eess.AS
Allophant: Cross-lingual Phoneme Recognition with Articulatory Attributes
AImotion Bavaria, Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学巴伐利亚人工智能运动实验室）；Intel Labs（英特尔实验室）
本文提出多语言音素识别器 Allophant，利用发音属性多任务学习与 PHOIBLE 扩展资源，仅依赖音素清单即可跨语言迁移，并显著降低低资源与零样本场景的音素错误率。
2023-08-16 cs.CL cs.SD eess.AS
Back-Translation-Style Data Augmentation for Mandarin Chinese Polyphone Disambiguation
Kwai（快手）
汉语形音转换（G2 P）在汉语文语转换（TTS）系统中占有重要地位，其中最大的挑战之一就是多音字消歧。大多数以前的多音字消歧模型都是在手动标注的数据集上训练的，并且用于多音字消歧的公开数据集很少。本文提出了一种简单的回译式数据增强方法用于汉语多音字消歧。受机器翻译领域提出的回译技术的启发，本文分别建立了一个用于多音字发音预测的字-音（G2 P）模型和一个用于语音文本预测的音-字（P2 G）模型。同时，提出了基于窗口的匹配策略和多模型评分策略来判断伪标签的正确性。针对训练集分布不均衡或数据稀缺的情况，设计了一种数据均衡策略，以提高对一些典型多音字的识别准确率。实验结果表明了所提出的反平移式数据增强方法的有效性。
2022-11-17 cs.AI cs.CL cs.SD
Learning to pronounce as measuring cross-lingual joint orthography-phonology complexity
机器学习模型可以让我们通过显示每种语言的任务学习和表现有多难来比较语言。按照这条调查路线，我们通过对字素到音素（g2 p）音译的任务建模来探索是什么让一种语言“难以发音”。通过在22种语言中训练一个字符级的Transformer模型，并测量该模型对字形和音素库存的熟练程度，我们发现，在学习发音方面，出现了某些特征，这些特征将更容易和更难的语言分开。也就是说，一种语言从正字法到发音的复杂性是由于它的形素到音素映射的表达性或简单性。进一步的讨论说明了未来的研究应该如何考虑每种语言的相对数据稀疏性，以设计更公平的跨语言比较任务。
2022-02-09 cs.CL
Simple and Effective Zero-shot Cross-lingual Phoneme Recognition
Facebook AI Research（脸书人工智能研究院）
自训练、自监督预训练和无监督学习的最新进展使语音识别系统能够在没有任何标记数据的情况下表现良好。然而，在许多情况下，有标记的数据可用于相关的语言，这是不利用这些方法。本文通过微调多语言预训练的wav2vec 2.0模型来转录看不见的语言，从而扩展了以前关于zero-shot跨语言迁移学习的工作。这是通过使用发音特征将训练语言的音素映射到目标语言来完成的。实验表明，这种简单的方法显着优于先前的工作，其中引入了特定于任务的架构，并只使用了单语言预训练模型的一部分。
2021-09-23 cs.CL cs.LG cs.SD
RECOApy: Data recording, pre-processing and phonetic transcription for end-to-end speech-based applications
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度学习能够开发高效的端到端语音处理应用程序，同时绕过对专家语言和信号处理功能的需求。然而，最近的研究表明，高质量的语音资源和训练数据的音标可以增强这些应用程序的结果。本文介绍了RECOApy工具。RECOApy简化了端到端基于语音的应用程序中所需的数据记录和预处理步骤。该工具实现了一个易于使用的界面，用于提示语音记录，声谱图和波形分析，话语级标准化和静音微调，以及八种语言的提示符的字形到音素转换：捷克语，英语，法语，德语，意大利语，波兰语，罗马尼亚语和西班牙语。字形到音素（G2P）转换器是基于深度神经网络（DNN）的架构，在从Wiktionary在线协作资源中提取的词典上进行训练。由于不同的正字法透明度以及不同语言中语音条目的数量不同，DNN的超参数使用进化策略进行优化。的音素和字的错误率所产生的G2P转换器的介绍和讨论。该工具、经过处理的语音词典和经过训练的G2P模型免费提供。
2020-09-15 cs.CL cs.SD eess.AS
The effectiveness of unsupervised subword modeling with autoregressive and cross-lingual phone-aware networks
Delft University of Technology（代尔夫特理工大学）
这项研究解决了无监督子字建模，即，学习可以区分语言的子字单元的声学特征表示。我们提出了一个两阶段的学习框架，结合了自我监督学习和跨语言知识转移。该框架由自回归预测编码（APC）作为前端和跨语言深度神经网络（DNN）作为后端组成。使用Libri-light和ZeroSpeech 2017数据库进行的ABX子词可辨别性任务的实验表明，我们的方法具有竞争力或优于最先进的研究。在音素和发音特征（AF）层面上的全面系统的分析表明，我们的方法在捕获双元音信息方面优于单元音信息，同时也观察到不同类型辅音的信息量存在差异。此外，一个正相关的后端捕获音素的信息和跨语言的音素标签分配给音素的质量之间的有效性。AF级分析和t-SNE可视化结果表明，该方法在获取发音方式和位置信息、元音高度和后元音信息方面优于MFCC和APC特征。综合分析，我们的方法中的两个阶段都是有效的捕获音素和AF信息。然而，单元音的元音信息捕获不如辅音信息，这表明未来的研究应该集中在提高单元音元音信息的捕获。
2021-04-28 cs.CL cs.SD eess.AS
Pronunciation Generation for Foreign Language Words in Intra-Sentential Code-Switching Speech Recognition
Anhui University（安徽大学）
语码转换是指在句子或语篇中转换语言的现象。然而，有限的语码转换、不同语言的音素集和高昂的重建成本给语码转换语音识别的专用声学模型提出了挑战。本文利用有限的语码转换数据作为驱动材料，探索在委托的母语声学模型上快速培养句内语码转换识别技能的捷径，提出了一种数据驱动的方法来制作种子词典，用于训练字形到音素模型，预测语码转换句子中外语词的映射发音。本文数据驱动技术的核心工作包括语音解码方法和不同的选择方法。而对于词级驱动材料不均衡的问题，我们有一个内在的辅助启示，即利用形素-音素模型，学习材料充足的词中好的发音规则，帮助材料稀缺的词。实验结果表明，采用数据驱动的方法，通过加入外语词的发音，可以使语内汉英码转换识别的混合出错率从纯汉语识别器的29.15%降低到12.13%，最后结合不同的选择方法和内部辅助策略，得到了最好的结果11.14%。
2022-10-26 cs.CL cs.SD eess.AS
Phoneme-Guided Initialization for LLM-based Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
提出音素引导初始化方法，通过预训练音频编码器于S2P、大语言模型于P2G任务，再端到端微调，在低资源语音识别上匹配或超越级联及端到端基线。
2026-10-08 cs.CL cs.SD eess.AS
Improving Large-scale Deep Biasing with Phoneme Features and Text-only Data in Streaming Transducer
ByteDance（字节跳动）
本文提出结合音素特征与纯文本数据训练，改进流式Transducer的大规模深度偏置，以区分相似发音或拼写的罕见词，在LibriSpeech上取得最先进罕见词错误率。
2023-11-15 cs.CL cs.SD eess.AS
Whisper based Cross-Lingual Phoneme Recognition between Vietnamese and English
The University of Danang, Vietnam - Korea University of Information and Communication Technology（丹江大学-韩国信息通信技术大学）；Communication Technology Industrial University of Ho Chi Minh City（胡志明市通信技术工业大学）
本文针对越南语与英语混合发音的跨语言音素识别难题，提出构建双语音素集并利用PhoWhisper预训练编码器的端到端方法，有效提升了双语语音识别准确率。
2025-08-22 cs.AI cs.CL
Phoneme-Level BERT for Enhanced Prosody of Text-to-Speech with Grapheme Predictions
Columbia University（哥伦比亚大学）
大规模预训练的语言模型已被证明有助于提高文本到语音（TTS）模型的自然度，使它们能够产生更自然的韵律模式。然而，这些模型通常是单词级或超音素级的，并且与音素联合训练，使得它们对于仅需要音素的下游TTS任务效率低下。在这项工作中，我们提出了一个音素级的BERT（PL-BERT）的借口任务，预测相应的字随着定期掩蔽音素预测。主观评价表明，我们的音素级BERT编码器已显着提高了平均意见分数（MOS）的额定自然度的合成语音相比，国家的最先进的（SOTA）的StyleTTS基线外的分布（OOD）的文本。
2023-01-20 cs.CL cs.SD eess.AS
Cross-Lingual Multi-Granularity Framework for Interpretable Parkinson's Disease Diagnosis from Speech
本研究针对现有语音PD检测忽略细粒度语音元素的问题，提出跨语言多粒度框架，通过提取音素、音节、单词特征结合双向LSTM多头注意力，在多语言数据集上实现更优诊断性能，且特征与临床协议一致。
2025-10-04 cs.CL cs.SD eess.AS
Speaker Style-Aware Phoneme Anchoring for Improved Cross-Lingual Speech Emotion Recognition
Department of Electrical Engineering, National Tsing Hua University, Taiwan（National Tsing Hua University电子工程系）；Language Technologies Institute, Carnegie Mellon University, USA（卡内基梅隆大学语言技术研究所）
针对跨语言语音情感识别中语音差异和说话人风格差异的挑战，提出说话人风格感知的音素锚定框架，通过图聚类和双空间锚定提升跨语言情感迁移，并在英语和台湾普通话语料库上验证了其优越性。
2025-09-19 cs.CL cs.LG
From Senones to Chenones: Tied Context-Dependent Graphemes for Hybrid Speech Recognition
Facebook AI（Facebook人工智能实验室）
传统的自动语音识别（ASR）混合方法不能直接对字素进行建模，需要依赖语音词典来获得有竞争力的性能，尤其是在字素-音素对应性较差的英语上。在这项工作中，我们第一次表明，在英语上，混合ASR系统实际上可以通过利用绑定的上下文相关字素来有效地建模字素，即，chenones。我们的chenone为基础的系统显着优于等效senone基线4.5%至11.1%相对于三个不同的英语数据集。与其他混合方法相比，我们在Librispeech上的结果是最先进的，并且与以前发布的端到端数字相比具有竞争力。进一步的分析表明，chenones可以更好地利用强大的声学模型和大量的训练数据，并需要上下文和位置相关的建模工作良好。基于chenone的系统在专有名词和稀有词识别方面也优于senone基线，后者传统上被认为具有优势。我们的工作为端到端ASR提供了一种替代方案，并建立了混杂系统可以通过降低对语音知识的依赖来改进。
2019-10-11 cs.LG cs.SD eess.AS
CUPE: Contextless Universal Phoneme Encoder for Language-Agnostic Speech Processing
Bournemouth University（博尔蒙德大学）
本文提出轻量级模型 CUPE，在约 120 毫秒的音素长度窗口内独立捕获无上下文的通用音素特征，以较少参数实现有竞争力的跨语言语音处理性能。
2025-08-21 cs.CL cs.LG eess.AS
PnG BERT: Augmented BERT on Phonemes and Graphemes for Neural TTS
Google Research（谷歌研究院）
本文介绍了一种新的神经语音合成编码器模型PnG BERT。该模型是从原来的BERT模型，以音素和字素表示的文本作为输入，以及它们之间的词级对齐。它可以以自我监督的方式在大型文本语料库上进行预训练，并在TTS任务中进行微调。实验结果表明，使用预先训练的PnG BERT作为其编码器的神经TTS模型产生更自然的韵律和更准确的发音比基线模型，只使用音素输入，没有预先训练。主观并排的偏好评价表明，评分员之间没有统计学上显着的偏好使用PnG BERT和地面实况录音从专业扬声器合成的语音。
2021-06-07 cs.CL cs.SD eess.AS
Neural Grapheme-to-Phoneme Conversion with Pre-trained Grapheme Models
iFLYTEK Research（科大讯飞研究院）
神经网络模型在字素到音素（G2 P）转换方面已经取得了最先进的性能。然而，它们的性能依赖于大规模的发音字典，这可能不适用于许多语言。受预训练语言模型BERT成功的启发，本文提出了一种称为字素BERT（GBERT）的预训练字素模型，该模型是通过对一个仅包含字素信息的大型特定语言单词列表进行自监督训练而构建的。此外，开发了两种方法来将GBERT纳入最先进的基于Transformer的G2 P模型，即，微调GBERT或通过注意力将GBERT融合到Transformer模型中。在SIGMORPHON 2021 G2 P任务的荷兰、塞尔维亚-克罗地亚、保加利亚和韩国数据集上的实验结果证实了我们基于GBERT的G2 P模型在中等资源和低资源数据条件下的有效性。
2022-01-26 cs.CL eess.AS
A Comparison of Modeling Units in Sequence-to-Sequence Speech Recognition with the Transformer on Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
建模单元的选择对于自动语音识别（ASR）任务至关重要。传统的ASR系统通常选择上下文相关的状态（CD-状态）或上下文相关的音素（CD-音素）作为其建模单元。然而，它受到了基于序列到序列注意力模型的挑战，该模型将声学，发音和语言模型集成到单个神经网络中。在英语ASR任务中，先前的尝试已经表明，通过基于序列到序列注意力的模型，字素的建模单元可以优于音素的建模单元。在本文中，我们关注的是使用基于序列到序列注意力的模型与Transformer的汉语普通话ASR任务的建模单位。五个建模单位，包括上下文无关的音素（CI音素），音节，单词，子词和字符。在HKUST数据集上的实验表明，无词典建模单元在字符错误率（CER）方面优于词典相关建模单元。在五个建模单元中，基于字符的模型表现最好，并且在HKUST数据集上建立了一个新的最先进的$26.64\%$ CER，而无需手工设计的词典和额外的语言模型集成，这对应于$4.8\%$相对于现有的最佳CER的$28.0\%$的相对改进。
2018-05-18 cs.CL cs.SD eess.AS
Data-driven grapheme-to-phoneme representations for a lexicon-free text-to-speech
Samsung Research（三星研究院）
本文提出利用自监督学习获得数据驱动音素表示的无词典G2P方法，在无需语言词典和专家知识的情况下，MOS达到或略优于传统方法。
2024-01-19 cs.CL cs.SD eess.AS
LiteG2P: A fast, light and high accuracy model for grapheme-to-phoneme conversion
Bytedance AI-Lab（字节跳动人工智能实验室）
作为自动语音识别（ASR）的重要组成部分和文本到语音（TTS）的前端，字素到音素（G2 P）的作用是将字母转换成相应的发音。现有的方法要么速度慢，要么性能差，并且在应用场景中受到限制，特别是在设备上推理的过程中。本文综合了专家知识和基于连接主义时态分类（CTC）的神经网络的优点，提出了一种快速、轻便且理论上并行的新方法LiteG 2 P。LiteG 2 P采用精心设计的领先设计，既可以在云端应用，也可以在设备上应用。在CMU数据集上的实验结果表明，该方法的性能优于基于CTC的方法，其参数减少了10倍，甚至可以与基于Transformer的序列到序列模型相媲美，其参数减少了33倍，计算量减少了33倍。
2023-03-02 cs.CL cs.SD eess.AS
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Idiap Research Institute（伊迪亚普研究所）
用于自动语音识别（ASR）的多语言模型是有吸引力的，因为它们已被证明受益于更多的训练数据，并且更好地适应资源不足的语言。然而，从单语上下文相关的模型初始化导致爆炸的上下文相关的状态。连接主义时间分类（CTC）是一个潜在的解决方案，因为它与单音素标签表现良好。我们调查多语言CTC的背景下，适应和正规化技术，已被证明是有益的，在更传统的背景下。多语言模型被训练为使用CTC损失函数对基于通用国际音标（IPA）的音素集进行建模。学习隐藏单元贡献（LHUC）进行语言自适应训练。此外，跨语言适应过程中的辍学也进行了研究和测试，以减轻过拟合问题。实验结果表明，LHUC可以提高基于音素的通用CTC系统的性能，并且在跨语言适应过程中可以扩展到新的音素。更新所有参数显示在有限数据上的一致改善。在自适应过程中应用dropout可以进一步改进系统，并在有限的数据上实现与深度神经网络/隐马尔可夫模型（DNN/HMM）系统竞争的性能。
2018-01-23 cs.SD eess.AS
G2G: TTS-Driven Pronunciation Learning for Graphemic Hybrid ASR
Facebook AI（Facebook人工智能研究院）
最近的研究表明，在混合和端到端的自动语音识别（ASR）中，即使是在英语等非音素语言上，基于字形的声学建模也优于基于音素的方法。然而，字形ASR仍然存在罕见的长尾词的问题，这些长尾词不遵循训练中看到的标准拼写约定，例如实体名称。在这项工作中，我们提出了一种新的方法来训练一个统计的字素到字素（G2G）模型的文本到语音数据，可以重写任意字符序列到语音更一致的形式。我们表明，使用G2G在解码过程中提供替代发音，相对于强大的字形基线，将单词错误率降低了3%至11%，并弥合了罕见名称识别与等效语音设置之间的差距。与许多以前提出的方法不同，我们的方法不需要对声学模型训练过程进行任何更改。这项工作重申了基于图素的建模的有效性，并表明，专业的语言知识，当可用时，可以利用来提高字形ASR。
2020-02-13 cs.LG cs.SD eess.AS
DistilXLSR: A Light Weight Cross-Lingual Speech Representation Model
Tsinghua University（清华大学）；TAL Education（好未来教育）
本文提出轻量级蒸馏模型 DistilXLSR，通过音素随机打乱和跳层初始化，仅用英语数据压缩跨语言语音表示模型，在15种低资源语言上实现50%参数削减并保持表示能力。
2023-06-02 cs.CL cs.SD eess.AS
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.（百度公司）；University of Chinese Academy of Sciences（中国科学院大学）；University of Waterloo（滑铁卢大学）；Oregon State University（俄勒冈州立大学）
语音表征学习提高了语音理解和语音合成任务的单一语言。然而，它在跨语言场景中的能力还没有被探索。在本文中，我们扩展了跨语言多说话人语音合成任务的预训练方法，包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架，在这个框架中，我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分，我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外，我们的框架对于训练和推理都是端到端的，无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中，我们的实验表明，我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
A Finite State and Data-Oriented Method for Grapheme to Phoneme Conversion
本文提出了一种基于最左最长匹配替换的有限状态法，用于词的字素分割和字素到音素的转换。一小套手工制作的荷兰语转换规则实现了超过93%的音素准确率。通过使用基于变换的学习，系统的准确性进一步提高。最好的系统（使用大量的规则模板和Brill算法的“懒惰”变体）的音素准确率仅在40K单词上训练，达到99%的准确率。
2000-03-23 cs.CL
Colexifications for Bootstrapping Cross-lingual Datasets: The Case of Phonology, Concreteness, and Affectiveness
Aalborg University（奥尔堡大学）
本文提出利用跨语言同词化自举多语言语义数据集，构建覆盖21个语系142种语言、关联音系特征与具体性/情感性评分的资源，并揭示多项音义相关规律。
2023-06-05 cs.CL
A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
遵循端到端建模的基本原理，用于自动语音识别（ASR）的CTC、RNN-T或编码器-解码器-注意力模型使用基于例如字节对编码（BPE）的字素或基于字素的子字单元。从发音到拼写的映射完全是从数据中学习的。与此相反，ASR的经典方法采用音素列表形式的二级知识源来定义语音输出标签和发音词典。在这项工作中，我们做了一个系统的比较字素和音素为基础的输出标签的编码器-解码器-注意力ASR模型。我们调查使用单个音素以及基于BPE的音素组作为我们的模型的输出标签。为了保持一个简化和有效的解码器设计，我们还扩展了音素集的辅助单元，能够区分同音字。在Switchboard 300 h和LibriSpeech基准测试上进行的实验表明，基于音素的建模与基于图素的编码器-解码器-注意力建模相比具有竞争力。
2021-04-15 cs.CL cs.LG cs.NE
Phoneme-based speech recognition driven by large language models and sampling marginalization
本文提出SKM策略，通过随机采样替代束搜索，提升语音识别模型的训练效率和识别性能。
2025-12-20 cs.SD eess.AS
IPA-CHILDES & G2P+: Feature-Rich Resources for Cross-Lingual Phonology and Phonemic Language Modeling
Department of Computer Science & Technology, University of Cambridge, U.K.（计算机科学与技术系，剑桥大学）；ALTA Institute, University of Cambridge, U.K.（ALTA研究所，剑桥大学）
该研究推出G2P+音位转换工具和31语儿童语音音位数据集IPA CHILDES，填补现有数据集多语言、自发语、儿童导向语的空白，验证了音位分布特性可跨语言学习音系区别特征。
2025-06-12 cs.CL
No Need for a Lexicon? Evaluating the Value of the Pronunciation Lexica in End-to-End Models
Google, Inc.（谷歌公司）
几十年来，上下文相关的音素一直是传统声学建模系统的主要子词单元。这种现状最近开始受到端到端模型的挑战，端到端模型试图将声学、发音和语言模型组件组合到单个神经网络中。这种系统通常预测字素或单词，简化了识别过程，因为它们不需要单独的专家策划的发音词典来从基于音素的单元映射到单词。然而，以前很少有工作比较音素为基础的与基于字素的子字单元在端到端的建模框架，以确定是否从这些方法的收益主要是由于新的概率模型，或从联合学习的各种组件与基于字素的单元。在这项工作中，我们进行了详细的实验，旨在量化的端到端模型的上下文中基于音素的发音词汇的价值。我们研究音素为基础的端到端的模型，这是对比基于字的一个大词汇量的英语语音搜索任务，在那里我们发现，字确实优于音素。我们还比较了字素和音素为基础的方法上的多方言英语任务，这再次证实了字素的优越性，大大简化了系统识别多种方言。
2017-12-05 cs.CL cs.SD eess.AS
EMPHASIS: An Emotional Phoneme-based Acoustic Model for Speech Synthesis System
Baidu Inc.（百度公司）
提出了一种基于情感音素的语音合成声学模型EMPHASIS。EMPHASIS包括音素持续时间预测模型和声学参数预测模型。它使用基于CBHG的回归网络来建模语言特征和声学特征之间的依赖关系。我们修改了网络的输入和输出层结构，以提高性能。对于语言特征，我们采用特征分组策略来增强情感和韵律特征。声学参数被设计为适合于回归任务和波形重建。EMPHASIS可以实时合成语音，生成具有高音质的表达性的疑问和感叹语音。EMPHASIS是一个多语言模型，目前可以合成普通话和英语语音。在情感语音合成的实验中，取得了比其他实时语音合成系统更好的主观效果。
2018-06-26 cs.SD eess.AS
Unlimited Vocabulary Grapheme to Phoneme Conversion for Korean TTS
本文描述了一种基于音素连通性和CCV转换规则的字素-音素转换方法。该方法主要由四个模块组成：词素规范化、断词检测、词素到音素转换和音素连通性检查。词素规范化是将非韩语符号替换为标准韩语字素。短语中断检测器使用词性（POS）信息分配短语中断。在词素到音素转换模块中，通过查找词素语音模式词典将短语中的每个词素转换为语音模式，该词素语音模式词典包含词素边界的候选语音变化。词素中的字形被分组为CCV模式，并通过CCV转换规则转换为音素。音素连接表支持相邻两个语音语素的语法性检查。在4,973个句子的语料库中，我们实现了99.9%的字素到音素转换性能和97.5%的句子转换性能。目前正在使用这种转换方法实现完整的韩语TTS系统。
1998-06-10 cmp-lg cs.CL
Improving Cross-Lingual Phonetic Representation of Low-Resource Languages Through Language Similarity Analysis
KAIST（韩国科学技术院）；School of Electrical Engineering（电气工程学院）
该研究针对低资源语言跨语言语音表示中源语言选择缺乏依据的问题，通过分析语言相似性与多语言训练性能的关联，验证了语音相似语言能显著提升音素识别效果，为低资源语言语音处理的源语言选取提供了方法支撑。
2025-01-12 cs.CL cs.SD eess.AS
Jointly Learning to Align and Convert Graphemes to Phonemes with Neural Attention Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们提出了一个注意力使能的编码器-解码器模型的问题，字形到音素转换。大多数以前的工作已经解决了这个问题，通过联合序列模型，需要明确的对齐训练。相比之下，注意力使能的编码器-解码器模型允许联合学习将字符对齐并转换为音素。我们探索了不同类型的注意力模型，包括全局和局部注意力，我们最好的模型在三个标准数据集（CMUDict，Pronlex和NetTalk）上实现了最先进的结果。
2016-10-20 cs.AI cs.CL
Mitigating the Exposure Bias in Sentence-Level Grapheme-to-Phoneme (G2P) Transduction
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Samsung Electronics（三星电子）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对 ByT5 在句子级和段落级 G2P 中因长序列自回归解码产生暴露偏差的问题，本文提出基于损失的采样方法以缓解该偏差并提升转换性能。
2023-08-16 cs.CL cs.SD eess.AS
TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition
The University of Danang, Vietnam - Korea University of Information and Communication Technology, Danang,Vietnam（丹江大学 - 信息与通信技术大学）
本文提出TSPC模型，通过双阶段音素架构提升越南-英语语切换语音识别性能，实现更低的词错误率和更高效的资源利用。
2026-03-04 cs.AI cs.CL cs.SD
Phoneme Boundary Detection using Learnable Segmental Features
Bar-Ilan University（巴伊兰大学）
音素边界检测起着至关重要的第一步，为各种语音处理应用程序，如扬声器diarization，语音科学，关键字定位等，在这项工作中，我们提出了一个神经架构加上一个参数化的结构化损失函数学习音素边界检测任务的分段表示。首先，我们评估了我们的模型时，口语音素不作为输入。TIMIT和七叶树语料库的结果表明，该模型优于基线模型，并达到最先进的性能方面的F1和R值。我们进一步探讨了使用音标作为额外的监督，并表明这会产生轻微的性能改善，但更好的收敛速度。我们还评估了模型的希伯来语语料库，并证明这样的语音监督可以在多语言环境中是有益的。
2020-02-16 cs.LG cs.SD eess.AS
SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Center for Supercomputing Applications（国家超级计算应用中心）
提出SPARCLE模型，通过对比学习将字素与Wav2Vec2声学表示对齐并融入说话人身份，替代G2P系统，在低资源TTS中将词错误率降低一半。
2026-07-03 cs.AI cs.CL cs.SD
Unsupervised Cross-lingual Representation Learning for Speech Recognition
Facebook AI（脸书人工智能）
本文介绍了XLSR，它通过从多种语言的语音原始波形中预训练单个模型来学习跨语言的语音表示。我们建立在wav 2 vec 2.0的基础上，通过在掩蔽的潜在语音表示上解决对比任务来训练wav 2 vec 2.0，并联合学习跨语言共享的潜在语音的量化。由此产生的模型在标记数据上进行了微调，实验表明，跨语言预训练显着优于单语预训练。在CommonVoice基准测试中，XLSR显示与最佳已知结果相比，相对音素出错率降低了72%。在BABEL，我们的方法提高了字出错率16%，相对于可比系统。我们的方法使一个单一的多语言语音识别模型，这是强大的个人模型的竞争力。分析表明，潜在的离散语音表示共享跨语言增加共享相关的语言。我们希望通过发布XLSR-53来促进低资源语音理解的研究，XLSR-53是一个用53种语言预训练的大型模型。
2020-12-15 cs.CL cs.LG cs.SD
Improving grapheme-to-phoneme conversion by learning pronunciations from speech recordings
Amazon Alexa（亚马逊Alexa）
本文提出一种利用少量标注样本初始化G2P模型，并通过训练多语言音素识别系统解码语音录音，进而为未登录词学习发音词典以重训G2P系统的方法，有效降低了跨语言和不同数据量下的音素错误率。
2023-07-31 cs.CL eess.AS
One Model to Pronounce Them All: Multilingual Grapheme-to-Phoneme Conversion With a Transformer Ensemble
The University of British Columbia（不列颠哥伦比亚大学）
字素-音素（G2 P）转换对于语音识别和语音合成都是非常重要的。与其他语音和语言处理任务类似，在只有小规模训练数据可用的情况下，学习G2 P模型是具有挑战性的。我们描述了一个简单的方法，利用模型集成，基于多语言Transformers和自我训练，开发一个高效的G2 P解决方案的15种语言。我们的模型是作为我们参与SIGMORPHON 2020共享任务1的一部分开发的，该任务专注于G2 P。我们最好的模型达到14.99字出错率（WER）和3.30音素出错率（PER），一个相当大的改善共享任务的竞争基线。
2020-06-23 cs.CL
Benchmarking Large Language Models for Grapheme-to-Phoneme Conversion: A Japanese Case Study
CyberAgent, Japan（日本CyberAgent公司）
本研究以日语为例，对30多种大型语言模型进行字素到音素转换基准测试，发现模型大小、版本和日语专项训练是关键因素，最佳模型字符错误率低于0.52%，优于传统工具。
2026-06-23 cs.CL eess.AS
Massively Multilingual Neural Grapheme-to-Phoneme Conversion
Saarland University（萨尔兰大学）；DFKI（德国人工智能研究中心）
字形到音素转换（g2 p）是文本到语音和自动语音识别系统所必需的。大多数g2 p系统都是单语的：它们需要特定语言的数据或手工制定的规则。这样的系统很难扩展到低资源语言，对于这些语言，数据和手工制作的规则不可用。作为替代方案，我们提出了一种神经序列到序列的方法来训练g2 p，它是在数百种语言的拼写-发音对上训练的。该系统在所有语言中共享一个编码器和解码器，允许它利用不同书写系统之间的内在相似性。我们显示了11%的改善音素出错率的方法的基础上适应高资源的单语g2 p模型，以低资源的语言。我们的模型相对于以前的方法也更加紧凑。
2017-08-04 cs.CL
Good Neighbors Are All You Need for Chinese Grapheme-to-Phoneme Conversion
DeepBrain AI Inc.（深脑人工智能公司）
大多数中文字形到音素（Grapheme-to-Phoneme，G2 P）系统采用三阶段框架，首先将输入序列转换为字符嵌入，使用语言模型获得语言信息，然后基于整个输入序列的全局上下文预测音素。然而，仅仅有语言知识往往是不够的。语言模型经常对句子的过于一般的结构进行编码，而不能覆盖使用语音知识所需的特定情况。此外，需要一个手工制作的后处理系统来解决与字符音调相关的问题。然而，该系统表现出不一致的词边界的分割，从而降低了G2 P系统的性能。为了解决这些问题，我们提出了增强器，通过强调相邻字符之间的语音信息来帮助消除发音的歧义，从而为语言模型提供强归纳偏差。实验结果表明，增强器大幅提升了尖端架构。我们还将Reinforcer与大规模预训练模型相结合，并证明了在知识转移场景中使用相邻上下文的有效性。
2023-03-14 cs.CL cs.LG eess.AS
Supervised Grapheme-to-Phoneme Conversion of Orthographic Schwas in Hindi and Punjabi
School Without Walls High School（无墙高中）；Georgetown University（乔治城大学）
印地语的字形到音素（G2 P）转换大多是微不足道的，只有一个例外：在正字法中表示的一个施瓦语是发音的还是不发音的（删除）。以前的工作试图预测schwa删除在规则为基础的方式使用韵律或语音分析。我们提出了第一个统计schwa删除分类印地语，它完全依赖于输入的正字法，优于以前的方法。我们在从各种在线词典中提取的新编译的发音词典上训练了我们的模型。我们最好的印地语模型实现了最先进的性能，并且在没有修改的情况下，在一种密切相关的语言旁遮普语上也实现了良好的性能。
2020-04-25 cs.CL
Grapheme-to-Phoneme Transformer Model for Transfer Learning Dialects
AI Foundation（AI基金会）
字形到音素（G2P）模型将单词转换为语音发音。经典的G2P方法包括基于规则的系统和发音词典，而现代的G2P系统则包含了学习，例如LSTM和基于transformer的注意力模型。通常，基于词典的方法需要大量的手动工作来构建，并且对未见过的单词具有有限的适应性。基于transformer的模型需要大量的训练数据，并且不能很好地推广，特别是对于数据有限的方言。我们提出了一种新的使用transformer为基础的注意力模型，可以适应看不见的方言的英语语言，同时使用一个小字典。我们表明，我们的方法具有潜在的应用口音转移的文本到语音，并建立强大的G2P模型，有限的发音字典大小的方言。我们用两种英语方言做实验：印度语和英国语。使用来自英国英语词典的1000个单词从头开始训练的模型，具有14211个单词，在使用完整词典生成的测试集上，导致音素出错率（PER）为26.877%。相同的模型在CMUDict美国英语词典上进行预训练，并在相同的数据集上进行微调，导致测试集的PER为2.469%。
2021-04-08 cs.CL cs.LG cs.SD
