Optimizing Two-Pass Cross-Lingual Transfer Learning: Phoneme Recognition and Phoneme to Grapheme Translation
POSTECH（浦项科技大学）；aiXplain Inc.（aiXplain公司）
针对低资源语言两遍跨语言 ASR，本文通过发音特征合并音素并引入全局音素噪声生成器，优化音素识别与音素到字素翻译，在 CommonVoice 12.0 上显著降低 WER。
2023-12-06 cs.CL cs.SD eess.AS
A Finite State and Data-Oriented Method for Grapheme to Phoneme Conversion
本文提出了一种基于最左最长匹配替换的有限状态法，用于词的字素分割和字素到音素的转换。一小套手工制作的荷兰语转换规则实现了超过93%的音素准确率。通过使用基于变换的学习，系统的准确性进一步提高。最好的系统（使用大量的规则模板和Brill算法的“懒惰”变体）的音素准确率仅在40K单词上训练，达到99%的准确率。
2000-03-23 cs.CL
LLM-based phoneme-to-grapheme for phoneme-based speech recognition
Xinjiang University（新疆大学）；Tsinghua University（清华大学）；School of Computer Science and Technology（计算机科学与技术学院）；Guangxi Radio and Television Monitoring Center（广西广播电视监测中心）
本文提出LLM-P2G解码方法，通过DANP和TKM两种训练策略缓解级联信息损失，在波兰语和德语跨语言ASR中相比WFST系统分别降低3.6%和6.9%的相对WER。
2025-06-05 cs.CL cs.SD eess.AS
A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
遵循端到端建模的基本原理，用于自动语音识别（ASR）的CTC、RNN-T或编码器-解码器-注意力模型使用基于例如字节对编码（BPE）的字素或基于字素的子字单元。从发音到拼写的映射完全是从数据中学习的。与此相反，ASR的经典方法采用音素列表形式的二级知识源来定义语音输出标签和发音词典。在这项工作中，我们做了一个系统的比较字素和音素为基础的输出标签的编码器-解码器-注意力ASR模型。我们调查使用单个音素以及基于BPE的音素组作为我们的模型的输出标签。为了保持一个简化和有效的解码器设计，我们还扩展了音素集的辅助单元，能够区分同音字。在Switchboard 300 h和LibriSpeech基准测试上进行的实验表明，基于音素的建模与基于图素的编码器-解码器-注意力建模相比具有竞争力。
2021-04-15 cs.CL cs.LG cs.NE
Improving grapheme-to-phoneme conversion by learning pronunciations from speech recordings
Amazon Alexa（亚马逊Alexa）
本文提出一种利用少量标注样本初始化G2P模型，并通过训练多语言音素识别系统解码语音录音，进而为未登录词学习发音词典以重训G2P系统的方法，有效降低了跨语言和不同数据量下的音素错误率。
2023-07-31 cs.CL eess.AS
Towards Stress-Aware Sentence-Level Filipino G2P With Weakly-Supervised ByT5 Fine-Tuning
De La Salle University（德拉萨大学）
针对菲律宾语G2P中重音预测需句子级上下文的问题，提出用LLM辅助标注数据微调ByT5模型，显著降低PER和CER，并有效支持同形词消歧。
2026-09-10 cs.CL
PnG BERT: Augmented BERT on Phonemes and Graphemes for Neural TTS
Google Research（谷歌研究院）
本文介绍了一种新的神经语音合成编码器模型PnG BERT。该模型是从原来的BERT模型，以音素和字素表示的文本作为输入，以及它们之间的词级对齐。它可以以自我监督的方式在大型文本语料库上进行预训练，并在TTS任务中进行微调。实验结果表明，使用预先训练的PnG BERT作为其编码器的神经TTS模型产生更自然的韵律和更准确的发音比基线模型，只使用音素输入，没有预先训练。主观并排的偏好评价表明，评分员之间没有统计学上显着的偏好使用PnG BERT和地面实况录音从专业扬声器合成的语音。
2021-06-07 cs.CL cs.SD eess.AS
Unlimited Vocabulary Grapheme to Phoneme Conversion for Korean TTS
本文描述了一种基于音素连通性和CCV转换规则的字素-音素转换方法。该方法主要由四个模块组成：词素规范化、断词检测、词素到音素转换和音素连通性检查。词素规范化是将非韩语符号替换为标准韩语字素。短语中断检测器使用词性（POS）信息分配短语中断。在词素到音素转换模块中，通过查找词素语音模式词典将短语中的每个词素转换为语音模式，该词素语音模式词典包含词素边界的候选语音变化。词素中的字形被分组为CCV模式，并通过CCV转换规则转换为音素。音素连接表支持相邻两个语音语素的语法性检查。在4,973个句子的语料库中，我们实现了99.9%的字素到音素转换性能和97.5%的句子转换性能。目前正在使用这种转换方法实现完整的韩语TTS系统。
1998-06-10 cmp-lg cs.CL
Multitask Learning for Grapheme-to-Phoneme Conversion of Anglicisms in German Speech Recognition
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所）
本文提出多任务序列到序列方法，通过区分外来词与本土词提升德语外来词发音转换效果，减少识别错误率。
2022-01-18 cs.CL cs.SD eess.AS
Transformer based Grapheme-to-Phoneme Conversion
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
注意机制是基于深度学习的自然语言处理（NLP）中最成功的技术之一。Transformer网络架构完全基于注意力机制，在没有递归层和卷积层的神经机器翻译中，它的性能优于序列到序列模型。字形到音素（G2 P）转换是将字母（字形序列）转换为其发音（音素序列）的任务。它在文语转换（TTS）和自动语音识别（ASR）系统中起着重要的作用。在本文中，我们调查的Transformer架构的G2 P转换的应用，并比较其性能与递归和卷积神经网络为基础的方法。音素和单词错误率在美国英语的CMUDict数据集和NetTalk数据集上进行评估。结果表明，基于Transformer的G2 P在单词错误率方面优于基于卷积的方法，并且我们的结果在两个数据集上的单词和音素错误率方面显着超过了以前的经常性方法（没有注意）。此外，所提出的模型的大小比以前的方法的大小要小得多。
2020-06-26 cs.CL cs.LG cs.SD
Jointly Learning to Align and Convert Graphemes to Phonemes with Neural Attention Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们提出了一个注意力使能的编码器-解码器模型的问题，字形到音素转换。大多数以前的工作已经解决了这个问题，通过联合序列模型，需要明确的对齐训练。相比之下，注意力使能的编码器-解码器模型允许联合学习将字符对齐并转换为音素。我们探索了不同类型的注意力模型，包括全局和局部注意力，我们最好的模型在三个标准数据集（CMUDict，Pronlex和NetTalk）上实现了最先进的结果。
2016-10-20 cs.AI cs.CL
Advancing LLM-based phoneme-to-grapheme for multilingual speech recognition
TasiTech Co., Ltd., China（塔斯科技股份有限公司，中国）；Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China（清华大学语音处理与机器智能（SPMI）实验室，中国）；School of Computer Science and Technology, Xinjiang University, China（新疆大学计算机科学与技术学院，中国）
本文研究了基于大语言模型的多语言音素到字母转换，通过鲁棒训练和低资源过采样将平均识别错误率从10.56%降至7.66%。
2026-10-08 cs.CL cs.SD eess.AS
One Model to Pronounce Them All: Multilingual Grapheme-to-Phoneme Conversion With a Transformer Ensemble
The University of British Columbia（不列颠哥伦比亚大学）
字素-音素（G2 P）转换对于语音识别和语音合成都是非常重要的。与其他语音和语言处理任务类似，在只有小规模训练数据可用的情况下，学习G2 P模型是具有挑战性的。我们描述了一个简单的方法，利用模型集成，基于多语言Transformers和自我训练，开发一个高效的G2 P解决方案的15种语言。我们的模型是作为我们参与SIGMORPHON 2020共享任务1的一部分开发的，该任务专注于G2 P。我们最好的模型达到14.99字出错率（WER）和3.30音素出错率（PER），一个相当大的改善共享任务的竞争基线。
2020-06-23 cs.CL
Massively Multilingual Neural Grapheme-to-Phoneme Conversion
Saarland University（萨尔兰大学）；DFKI（德国人工智能研究中心）
字形到音素转换（g2 p）是文本到语音和自动语音识别系统所必需的。大多数g2 p系统都是单语的：它们需要特定语言的数据或手工制定的规则。这样的系统很难扩展到低资源语言，对于这些语言，数据和手工制作的规则不可用。作为替代方案，我们提出了一种神经序列到序列的方法来训练g2 p，它是在数百种语言的拼写-发音对上训练的。该系统在所有语言中共享一个编码器和解码器，允许它利用不同书写系统之间的内在相似性。我们显示了11%的改善音素出错率的方法的基础上适应高资源的单语g2 p模型，以低资源的语言。我们的模型相对于以前的方法也更加紧凑。
2017-08-04 cs.CL
Data-driven grapheme-to-phoneme representations for a lexicon-free text-to-speech
Samsung Research（三星研究院）
本文提出利用自监督学习获得数据驱动音素表示的无词典G2P方法，在无需语言词典和专家知识的情况下，MOS达到或略优于传统方法。
2024-01-19 cs.CL cs.SD eess.AS
Good Neighbors Are All You Need for Chinese Grapheme-to-Phoneme Conversion
DeepBrain AI Inc.（深脑人工智能公司）
大多数中文字形到音素（Grapheme-to-Phoneme，G2 P）系统采用三阶段框架，首先将输入序列转换为字符嵌入，使用语言模型获得语言信息，然后基于整个输入序列的全局上下文预测音素。然而，仅仅有语言知识往往是不够的。语言模型经常对句子的过于一般的结构进行编码，而不能覆盖使用语音知识所需的特定情况。此外，需要一个手工制作的后处理系统来解决与字符音调相关的问题。然而，该系统表现出不一致的词边界的分割，从而降低了G2 P系统的性能。为了解决这些问题，我们提出了增强器，通过强调相邻字符之间的语音信息来帮助消除发音的歧义，从而为语言模型提供强归纳偏差。实验结果表明，增强器大幅提升了尖端架构。我们还将Reinforcer与大规模预训练模型相结合，并证明了在知识转移场景中使用相邻上下文的有效性。
2023-03-14 cs.CL cs.LG eess.AS
Supervised Grapheme-to-Phoneme Conversion of Orthographic Schwas in Hindi and Punjabi
School Without Walls High School（无墙高中）；Georgetown University（乔治城大学）
印地语的字形到音素（G2 P）转换大多是微不足道的，只有一个例外：在正字法中表示的一个施瓦语是发音的还是不发音的（删除）。以前的工作试图预测schwa删除在规则为基础的方式使用韵律或语音分析。我们提出了第一个统计schwa删除分类印地语，它完全依赖于输入的正字法，优于以前的方法。我们在从各种在线词典中提取的新编译的发音词典上训练了我们的模型。我们最好的印地语模型实现了最先进的性能，并且在没有修改的情况下，在一种密切相关的语言旁遮普语上也实现了良好的性能。
2020-04-25 cs.CL
LiteG2P: A fast, light and high accuracy model for grapheme-to-phoneme conversion
Bytedance AI-Lab（字节跳动人工智能实验室）
作为自动语音识别（ASR）的重要组成部分和文本到语音（TTS）的前端，字素到音素（G2 P）的作用是将字母转换成相应的发音。现有的方法要么速度慢，要么性能差，并且在应用场景中受到限制，特别是在设备上推理的过程中。本文综合了专家知识和基于连接主义时态分类（CTC）的神经网络的优点，提出了一种快速、轻便且理论上并行的新方法LiteG 2 P。LiteG 2 P采用精心设计的领先设计，既可以在云端应用，也可以在设备上应用。在CMU数据集上的实验结果表明，该方法的性能优于基于CTC的方法，其参数减少了10倍，甚至可以与基于Transformer的序列到序列模型相媲美，其参数减少了33倍，计算量减少了33倍。
2023-03-02 cs.CL cs.SD eess.AS
Small Language Models Also Work With Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas
Bielefeld University（比勒费尔德大学）
本文训练基于 Llama 架构、使用字素或音素字符级词汇表的小型无分词语言模型，发现其在句法及新颖词汇、语音基准上表现强劲，为语言习得研究提供更合理的建模方向。
2025-01-03 cs.CL
An Investigation of the Relation Between Grapheme Embeddings and Pronunciation for Tacotron-based Systems
Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国信息与自动化研究所）；National Institute of Informatics（日本国立信息学研究所）
端到端模型，特别是基于Tacotron的模型，目前是文本到语音合成的流行解决方案。它们允许在几乎没有文本预处理的情况下产生高质量的合成语音。事实上，它们可以直接使用字素或音素作为输入来训练。然而，在字素输入的情况下，很少有人知道的模型和单词发音学习的基础表示之间的关系。这项工作调查这种关系的情况下，一个Tacotron模型训练法国字素。我们的分析表明，字素嵌入相关的音素信息，尽管没有这样的信息在训练过程中。由于这个属性，我们表明，通过Tacotron模型学习的字素嵌入可以用于诸如字素到音素转换和控制合成语音中的发音等任务。
2021-04-04 cs.CL
No Need for a Lexicon? Evaluating the Value of the Pronunciation Lexica in End-to-End Models
Google, Inc.（谷歌公司）
几十年来，上下文相关的音素一直是传统声学建模系统的主要子词单元。这种现状最近开始受到端到端模型的挑战，端到端模型试图将声学、发音和语言模型组件组合到单个神经网络中。这种系统通常预测字素或单词，简化了识别过程，因为它们不需要单独的专家策划的发音词典来从基于音素的单元映射到单词。然而，以前很少有工作比较音素为基础的与基于字素的子字单元在端到端的建模框架，以确定是否从这些方法的收益主要是由于新的概率模型，或从联合学习的各种组件与基于字素的单元。在这项工作中，我们进行了详细的实验，旨在量化的端到端模型的上下文中基于音素的发音词汇的价值。我们研究音素为基础的端到端的模型，这是对比基于字的一个大词汇量的英语语音搜索任务，在那里我们发现，字确实优于音素。我们还比较了字素和音素为基础的方法上的多方言英语任务，这再次证实了字素的优越性，大大简化了系统识别多种方言。
2017-12-05 cs.CL cs.SD eess.AS
ByT5 model for massively multilingual grapheme-to-phoneme conversion
University of Michigan（密歇根大学）；Radboud University（拉德堡德大学）
在这项研究中，我们通过实现基于ByT5的G2P模型来解决大规模多语言字形到音素转换。我们从各种来源策划了一个G2P数据集，涵盖了大约100种语言，并基于ByT5训练了大规模的多语言G2P模型。我们发现，在多语言G2P方面，ByT5在字节级输入上的表现明显优于基于令牌的mT5模型。与这些语言中的单语模型的成对比较表明，多语言ByT5模型通常通过联合学习多种语言来降低电话出错率。预训练模型可以通过对看不见的语言进行zero-shot预测来进一步有益于低资源G2P，或者提供用于微调的预训练权重，这有助于模型收敛到比随机初始化权重更低的音素出错率。为了促进未来对多语言G2P的研究，我们在https://github.com/lingjzhu/CharsiuG2P上提供我们的代码和预训练的多语言G2P模型。
2022-07-04 cs.CL
g2pM: A Neural Grapheme-to-Phoneme Conversion Package for Mandarin Chinese Based on a New Open Benchmark Dataset
Kakao Brain；KAIST（韩国科学技术院）
汉语字素到音素的转换（G2 P）是汉语文语转换（TTS）系统的重要组成部分。中文G2 P转换中最大的挑战之一是如何消除多音字的发音-具有多个发音的字符。尽管学术界已经做出了许多努力来解决这个问题，但迄今为止还没有开放的数据集可以作为公平比较的标准基准。此外，大多数报告的系统是很难雇用的研究人员或从业人员谁想要转换为中文文本在他们方便。受此启发，在这项工作中，我们引入了一个新的基准数据集，该数据集由99，000多个句子组成，用于汉语多音字消歧。我们训练一个简单的神经网络模型，并发现它优于其他预先存在的G2 P系统。最后，我们将项目打包并在PyPi上共享。
2020-09-17 cs.CL
FastThaiG2P: Lightning-fast Thai Grapheme-to-phoneme Conversion for Voice Agent Pipelines
AWS（亚马逊云科技）
FastThaiG2P是一款极速泰语字素转音素转换工具，采用PyThaiNLP分词字典与归一化规则，亚毫秒级延迟，可支撑泰语TTS开发，经其处理的数据集训练出的StyleTTS 2模型合成语音清晰，实时率达0.25。
2026-08-14 cs.CL
g2pW: A Conditional Weighted Softmax BERT for Polyphone Disambiguation in Mandarin
E.SUN Financial Holding CO., LTD.（玉山金融控股股份有限公司）；National Kaohsiung Normal University（国立高雄师范大学）
多音字消歧是汉语形音转换中最关键的任务。以前的研究已经使用预训练的语言模型，限制输出和来自词性（POS）标记的额外信息来解决这个问题。受这些策略的启发，我们提出了一种新的方法，称为g2pW，它适应可学习的软最大权值条件的输出BERT与感兴趣的多音字符及其词性标记。而不是使用硬掩模在以前的作品中，我们的实验表明，学习候选音素的软加权函数的性能。此外，我们提出的g2pW不需要额外的预训练的POS标记模型，同时使用POS标签作为辅助功能，因为我们训练的POS标记模型，同时与统一的编码器。实验结果表明，我们的g2pW优于现有的方法在公共CPP数据集。所有代码、模型重量和用户友好的软件包都是公开的。
2022-08-25 cs.CL cs.SD eess.AS
Sequence-to-Sequence Neural Net Models for Grapheme-to-Phoneme Conversion
Microsoft Research（微软研究院）
基于边条件语言模型生成的序列到序列翻译方法最近在几个任务中显示出有希望的结果。在机器翻译中，以源边词为条件的模型已被用于产生目标语言文本，并且在图像描述中，以图像为条件的模型已被用于生成字幕文本。过去使用这种方法的工作主要集中在大词汇量任务上，并以BLEU来衡量质量。在本文中，我们探讨了这种模型的适用性，以定性不同的字形音素任务。这里，输入和输出端的词汇表都很小，普通的n-gram模型做得很好，并且只有在输出完全正确时才给予信用。我们发现，简单的侧条件生成方法能够与最先进的方法相媲美，并且我们能够通过双向长短期记忆（LSTM）神经网络显着推进最先进的方法，该神经网络使用与传统方法相同的对齐信息。
2015-08-20 cs.CL
PolyIPA -- Multilingual Phoneme-to-Grapheme Conversion Model
University of Zagreb（萨格勒布大学）；Faculty of Humanities and Social Sciences（人文与社会科学学院）
本研究提出多语种音素到字形转换模型PolyIPA，借助两个数据增强辅助模型处理跨语言近音与语音变体，在多语种测试集上取得优异表现，集束搜索进一步降低错误率，适用于跨语言音译等场景。
2024-12-12 cs.AI cs.CL
Neural Machine Translation for Multilingual Grapheme-to-Phoneme Conversion
Amazon.com, Inc.（亚马逊公司）
字素到音素（G2 P）模型是自动语音识别（ASR）系统（例如Alexa中的ASR系统）中的关键组件，因为它们用于为发音词典中不存在的词汇表外单词生成发音（如“e c h o”到“E k oU”的映射）。大多数G2 P系统是单语的，并且基于传统的基于联合序列的n-gram模型[1，2]。作为替代方案，我们提出了一个单一的端到端训练的神经G2 P模型，该模型在多种语言中共享相同的编码器和解码器。这使得该模型能够利用类似拉丁字母的通用符号库存和跨语言共享的特征表示的组合。这种模型在低资源语言和代码切换/外来词的场景中特别有用，其中一种语言的发音需要适应其他地区或口音。我们进一步实验单词语言分布向量作为额外的训练目标，以通过帮助模型在参数空间中解耦各种语言的发音来提高系统性能。与单语基线相比，我们发现低资源语言的音素出错率平均改善了7.2%，而高资源语言的音素错误率没有下降。
2020-06-28 cs.CL
Grapheme-to-Phoneme Conversion using Multiple Unbounded Overlapping Chunks
在本文中，我们提出了一个原始的扩展的两个数据驱动的算法转录的一个序列的字素到相应的序列的音素。特别是，我们的方法推广了最初由Dedina和Nusbaum（D&N）（1991）提出的算法，该算法最初被推广为人类通过类比熟悉的词汇项目来发音未知单词的能力的模型。我们将表明，DN的算法执行比较差时，在一个现实的测试集上进行评估，我们的扩展使我们能够大大提高性能的模拟为基础的模型。我们还建议，这两种算法可以重新制定在一个更一般的框架，这使我们能够预期其他有用的扩展。然而，考虑到无法定义在这些模型中的重要概念，如词汇邻居，我们得出结论，这两种方法都未能提供一个适当的模型，参与朗读的类比过程。
1996-08-14 cmp-lg cs.CL
SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Center for Supercomputing Applications（国家超级计算应用中心）
提出SPARCLE模型，通过对比学习将字素与Wav2Vec2声学表示对齐并融入说话人身份，替代G2P系统，在低资源TTS中将词错误率降低一半。
2026-07-03 cs.AI cs.CL cs.SD
Mitigating the Exposure Bias in Sentence-Level Grapheme-to-Phoneme (G2P) Transduction
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Samsung Electronics（三星电子）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对 ByT5 在句子级和段落级 G2P 中因长序列自回归解码产生暴露偏差的问题，本文提出基于损失的采样方法以缓解该偏差并提升转换性能。
2023-08-16 cs.CL cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Conversion
Reichman University（雷奇曼大学）；Carnegie Mellon University（卡内基梅隆大学）
提出ReNikud方法，利用音频监督和伪元音化架构，通过无标注音频的ASR伪标签和字符级对齐，解决希伯来语G2P转换中的元音缺失和发音歧义问题，在多个基准上达到最优。
2026-10-02 cs.CL
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Token-Level Ensemble Distillation for Grapheme-to-Phoneme Conversion
Microsoft（微软）
字-音转换是自动语音识别和文-语转换系统中的一项重要任务。最近，G2 P转换被视为序列到序列的任务，并通过基于RNN或CNN的编码器-解码器框架来建模。然而，以前的工作没有考虑实际问题时，部署G2 P模型在生产系统中，如如何利用额外的未标记的数据，以提高准确性，以及减少模型的大小，在线部署。在这项工作中，我们提出了用于G2 P转换的令牌级集成蒸馏，它可以（1）通过从额外的未标记数据中提取知识来提高精度，（2）减少模型大小但保持高精度，这两者在在线生产系统中非常实用和有用。我们使用令牌级的知识蒸馏，这导致更好的准确性比序列级的对应。更重要的是，我们采用了Transformer而不是RNN或CNN模型，以进一步提高G2 P转换的准确性。在公开的CMUDict数据集和国内英语数据集上的实验证明了该方法的有效性。特别是，我们的方法在CMUDict数据集上实现了19.88%的WER，超过了以前的作品超过4.22%的WER，并设置了新的最先进的结果。
2019-08-12 cs.CL cs.LG cs.SD
Grapheme-to-Phoneme Transformer Model for Transfer Learning Dialects
AI Foundation（AI基金会）
字形到音素（G2P）模型将单词转换为语音发音。经典的G2P方法包括基于规则的系统和发音词典，而现代的G2P系统则包含了学习，例如LSTM和基于transformer的注意力模型。通常，基于词典的方法需要大量的手动工作来构建，并且对未见过的单词具有有限的适应性。基于transformer的模型需要大量的训练数据，并且不能很好地推广，特别是对于数据有限的方言。我们提出了一种新的使用transformer为基础的注意力模型，可以适应看不见的方言的英语语言，同时使用一个小字典。我们表明，我们的方法具有潜在的应用口音转移的文本到语音，并建立强大的G2P模型，有限的发音字典大小的方言。我们用两种英语方言做实验：印度语和英国语。使用来自英国英语词典的1000个单词从头开始训练的模型，具有14211个单词，在使用完整词典生成的测试集上，导致音素出错率（PER）为26.877%。相同的模型在CMUDict美国英语词典上进行预训练，并在相同的数据集上进行微调，导致测试集的PER为2.469%。
2021-04-08 cs.CL cs.LG cs.SD
BabyLM's First Words: Word Segmentation as a Phonological Probing Task
Department of Computer Science & Technology, University of Cambridge, U.K.（计算机科学与技术系，剑桥大学）
针对大语言模型音系分析难、非英语音系基准少的问题，本研究将分词作为音系探测任务，基于31种语言的儿童语音训练音位语言模型，提出提取词边界的无监督方法，验证了统计学习理论并为子词分词器训练提供新思路。
2025-06-12 cs.CL
On the Choice of Modeling Unit for Sequence-to-Sequence Speech Recognition
RWTH Aachen University（亚琛工业大学）；Google（谷歌）
在传统的语音识别中，对于诸如英语的非语音语言，基于音素的模型优于基于字素的模型。两者之间的性能差距通常随着训练数据量的增加而减小。在这项工作中，我们研究了基于注意力的编码器-解码器模型的建模单元的选择的影响。我们在LibriSpeech 100小时，460小时和960小时任务上进行实验，使用各种目标单位（音素，字素和词段）;在所有任务中，我们发现字素或词段模型始终优于基于音素的模型，即使它们在没有词典或外部语言模型的情况下进行评估。我们还研究了模型的互补性：我们发现，我们可以提高WERs由9%的相对由rescoring N-最好的列表从一个强大的词片为基础的基线与音素或字素模型。然而，对音素系统生成的N最佳列表重新评分提供了有限的改进。进一步的分析表明，基于词段的模型产生更多样化的N-最佳假设，从而降低甲骨文WER，比音素模型。
2019-07-23 cs.CL
Learning to pronounce as measuring cross-lingual joint orthography-phonology complexity
机器学习模型可以让我们通过显示每种语言的任务学习和表现有多难来比较语言。按照这条调查路线，我们通过对字素到音素（g2 p）音译的任务建模来探索是什么让一种语言“难以发音”。通过在22种语言中训练一个字符级的Transformer模型，并测量该模型对字形和音素库存的熟练程度，我们发现，在学习发音方面，出现了某些特征，这些特征将更容易和更难的语言分开。也就是说，一种语言从正字法到发音的复杂性是由于它的形素到音素映射的表达性或简单性。进一步的讨论说明了未来的研究应该如何考虑每种语言的相对数据稀疏性，以设计更公平的跨语言比较任务。
2022-02-09 cs.CL
Fast transcription of speech in low-resource languages
University of Illinois（伊利诺伊大学）；University of Washington（华盛顿大学）
我们提出的软件，在短短几个小时内，转录40小时的语音记录在一个惊喜的语言，使用只有几十兆字节的嘈杂的文字在该语言，和零资源字素音素（G2 P）表。预先训练的声学模型将声学特征映射到音素;反向G2 P将这些映射到字素;然后语言模型将这些映射到最可能的字素序列，即，抄本该软件已成功地与阿拉伯语，阿萨姆语，基尼亚卢旺达语，俄语，僧伽罗语，斯瓦希里语，塔格什语和泰米尔语语料库。
2019-09-16 cs.CL
External Knowledge Augmented Polyphone Disambiguation Using Large Language Model
Ant Group（蚂蚁集团）
针对普通话TTS系统中G2P转换的多音字消歧问题，提出融合外部多音字词典知识、基于LLM与提示学习的三模块生成式方法，在CPP数据集上性能优于现有方法，并分析了多种因素的影响。
2023-12-19 cs.CL
Evaluating Bias in Phoneme-Based Automatic Speech Recognition Systems: An Analysis of IPA Transcription Models
University of Utah（犹他大学）
研究评估WhisperIPA和ZIPA两个开源IPA转录ASR系统在不同口音和语言上的性能，通过标准音素错误率和软音素错误率分析，发现模型在性别、口音、种族和年龄等群体间存在持续性能差异。
2026-09-18 cs.CL
Back-Translation-Style Data Augmentation for Mandarin Chinese Polyphone Disambiguation
Kwai（快手）
汉语形音转换（G2 P）在汉语文语转换（TTS）系统中占有重要地位，其中最大的挑战之一就是多音字消歧。大多数以前的多音字消歧模型都是在手动标注的数据集上训练的，并且用于多音字消歧的公开数据集很少。本文提出了一种简单的回译式数据增强方法用于汉语多音字消歧。受机器翻译领域提出的回译技术的启发，本文分别建立了一个用于多音字发音预测的字-音（G2 P）模型和一个用于语音文本预测的音-字（P2 G）模型。同时，提出了基于窗口的匹配策略和多模型评分策略来判断伪标签的正确性。针对训练集分布不均衡或数据稀缺的情况，设计了一种数据均衡策略，以提高对一些典型多音字的识别准确率。实验结果表明了所提出的反平移式数据增强方法的有效性。
2022-11-17 cs.AI cs.CL cs.SD
OLaPh: Optimal Language Phonemizer
Institute for Information Systems at Hof University of Applied Sciences（霍夫应用科学大学信息学院）
提出OLaPh混合框架，结合多语言词典、NLP技术和统计子词分割，在WikiPron基准上显著优于基线，并通过LLM合成语料探索神经泛化能力。
2026-06-15 cs.CL
Unified Mandarin TTS Front-end Based on Distilled BERT Model
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
典型的中文文本语音转换系统（TTS）的前端模块由一个长的文本处理组件流水线组成，需要大量的工作来构建，并且容易产生大的累积模型大小和级联错误。本文提出了一种基于预训练语言模型（PLM）的模型，以同时处理TTS前端的两个最重要的任务，即，韵律结构预测（PSP）和字素-音素转换（G2 P）。我们使用预训练的中文BERT[1]作为文本编码器，并采用多任务学习技术使其适应两个TTS前端任务。然后，通过采用称为Tiny BERT [2]的知识蒸馏技术，将BERT编码器蒸馏成更小的模型，使整个模型大小为基准管道模型的25%，同时保持两个任务的竞争性能。采用本文提出的方法，可以使整个TTS前端模块以一种轻量级、统一的方式运行，更有利于在移动设备上的部署。
2020-12-31 cs.CL cs.SD
Mining Large-Scale Low-Resource Pronunciation Data From Wikipedia
Google Research（谷歌研究院）
发音建模是在新语言中构建语音技术的关键任务，虽然存在可靠的字形到音素（G2 P）映射系统，但语言覆盖率仍有待提高。为更多语言构建G2 P模型所需的信息可以很容易地在维基百科上找到，但不幸的是，它以不同的格式存储。我们报告了一个系统，我们建立了819种语言的发音数据集从维基百科内的松散结构的表。这些数据包括音素库存，并为63个低资源的语言，还包括字素到音素（G2 P）映射。这些语言中有54种不容易在网上找到G2 P映射。我们将来自维基百科的信息转换为结构化的、机器可读的TSV格式，并将由此产生的数据集公开提供，以便进一步改进并用于涉及低资源语言的各种应用程序。
2021-01-27 cs.CL
ViSpeechFormer: A Phonemic Approach for Vietnamese Automatic Speech Recognition
Faculty of Information Science and Engineering（信息科学与工程学院）；University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh city（胡志明市越南国家大学）
ViSpeechFormer 是首个基于音素的越南语 ASR 框架，通过建模音素表示实现了更强的性能和更好的泛化能力。
2026-02-10 cs.CL
Pronunciation-Lexicon Free Training for Phoneme-based Crosslingual ASR via Joint Stochastic Approximation
Xinjiang University（新疆大学）；Tsinghua University（清华大学）
本研究提出无需音素词典的跨语言语音识别方法，通过联合随机近似算法提升模型性能，实现误差率降低。
2025-12-16 cs.AI cs.CL eess.AS
Exploring the Benefits of Tokenization of Discrete Acoustic Units
IBM Research（IBM研究院）
本文将NLP中成熟的分词算法引入音素和离散声学单元表示，在字素到音素、字素到DAU及无监督语音生成三个任务上验证了其在性能与训练推理速度上的显著优势，并给出理论解释。
2024-06-08 cs.CL cs.SD eess.AS
Phonemizing User-Generated Text: A Benchmark, Taxonomy, and Compositional Approach
NAVER Cloud（NAVER云）；Hanyang University（汉阳大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
针对用户生成文本音素化难题，提出首个多语言基准UGTPhon及组合式G2P方法，通过显式规范形式建模显著降低非规范错误，小模型性能媲美大模型。
2026-09-24 cs.AI cs.CL
RECOApy: Data recording, pre-processing and phonetic transcription for end-to-end speech-based applications
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度学习能够开发高效的端到端语音处理应用程序，同时绕过对专家语言和信号处理功能的需求。然而，最近的研究表明，高质量的语音资源和训练数据的音标可以增强这些应用程序的结果。本文介绍了RECOApy工具。RECOApy简化了端到端基于语音的应用程序中所需的数据记录和预处理步骤。该工具实现了一个易于使用的界面，用于提示语音记录，声谱图和波形分析，话语级标准化和静音微调，以及八种语言的提示符的字形到音素转换：捷克语，英语，法语，德语，意大利语，波兰语，罗马尼亚语和西班牙语。字形到音素（G2P）转换器是基于深度神经网络（DNN）的架构，在从Wiktionary在线协作资源中提取的词典上进行训练。由于不同的正字法透明度以及不同语言中语音条目的数量不同，DNN的超参数使用进化策略进行优化。的音素和字的错误率所产生的G2P转换器的介绍和讨论。该工具、经过处理的语音词典和经过训练的G2P模型免费提供。
2020-09-15 cs.CL cs.SD eess.AS
OTEANN: Estimating the Transparency of Orthographies with an Artificial Neural Network
为了将口头语言转录为书面媒介，大多数字母表都有一个明确的发音规则。然而，一些书写系统已经远离了这个简单的概念，并且在自然语言处理（NLP）中几乎没有测量这种距离的工作。在这项研究中，我们使用一个人工神经网络（ANN）模型来评估书面文字和他们的发音之间的透明度，因此它的名称与ANN（OTEANN）正交透明度估计。基于来自维基媒体词典的数据集，我们训练和测试了这个模型，以评估音素到字素和字素到音素翻译任务中正确预测的百分比。在17个正字法上获得的分数与其他研究的估计一致。有趣的是，该模型还提供了对学习者在阅读和写作中只考虑音素规则所犯的典型错误的洞察。
2021-09-21 cs.CL
Some properties of the Ukrainian writing system
Ivan Franko National University of Lviv（利沃夫伊万·弗兰科国立大学）；Comenius University（夸美纽斯大学）
我们调查乌克兰语的字形音素关系和乌克兰语版本的西里尔字母表的一些属性。
2008-02-28 cs.CL
Allophant: Cross-lingual Phoneme Recognition with Articulatory Attributes
AImotion Bavaria, Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学巴伐利亚人工智能运动实验室）；Intel Labs（英特尔实验室）
本文提出多语言音素识别器 Allophant，利用发音属性多任务学习与 PHOIBLE 扩展资源，仅依赖音素清单即可跨语言迁移，并显著降低低资源与零样本场景的音素错误率。
2023-08-16 cs.CL cs.SD eess.AS
