从文本学习说话：基于无监督文本预训练的零样本多语言文本到语音合成
Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with Unsupervised Text Pretraining
AI总结：
本文提出一种零样本多语言TTS方法，通过纯文本掩码语言模型预训练结合冻结语言感知嵌入层的监督微调，使低资源语言无需成对音频数据即可实现高可懂度语音合成，未见语言的字符错误率低于12%。
摘要：
尽管神经文本到语音（TTS）已能生成接近人类的自然合成语音，但由于需要成对的文本和录音室级音频数据，多语言TTS系统仅限于资源丰富的语言。本文提出了一种仅使用目标语言纯文本数据实现零样本多语言TTS的方法。使用纯文本数据可以为只有文本资源可用的低资源语言开发TTS系统，从而使TTS能够覆盖数千种语言。受多语言语言模型强大跨语言迁移能力的启发，我们的框架首先利用多语言纯文本数据进行掩码语言模型预训练。然后，我们以监督方式使用成对数据训练该模型，同时冻结语言感知嵌入层。这使得即使对于未包含在成对数据中但存在于纯文本数据中的语言也能进行推理。评估结果表明，对于一种未见过的语言，零样本TTS具有高度可懂度，字符错误率低于12%。
英文摘要：
While neural text-to-speech (TTS) has achieved human-like natural synthetic speech, multilingual TTS systems are limited to resource-rich languages due to the need for paired text and studio-quality audio data. This paper proposes a method for zero-shot multilingual TTS using text-only data for the target language. The use of text-only data allows the development of TTS systems for low-resource languages for which only textual resources are available, making TTS accessible to thousands of languages. Inspired by the strong cross-lingual transferability of multilingual language models, our framework first performs masked language model pretraining with multilingual text-only data. Then we train this model with a paired data in a supervised manner, while freezing a language-aware embedding layer. This allows inference even for languages not included in the paired data but present in the text-only data. Evaluation results demonstrate highly intelligible zero-shot TTS with a character error rate of less than 12% for an unseen language.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
