BASE TTS：在100K小时数据上构建十亿参数文本转语音模型的经验
BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data
AI总结：
本文介绍了在100K小时数据上训练的10亿参数TTS模型BASE TTS，其通过自回归Transformer和卷积解码器实现文本转语音，并展示了在文本复杂句上产生自然韵律的涌现能力。
摘要：
我们介绍了一个名为BASE TTS的文本转语音（TTS）模型，它代表具有涌现能力的大规模自适应流式TTS。BASE TTS是迄今为止最大的TTS模型，在100K小时的公共领域语音数据上训练，在语音自然度上达到了新的最先进水平。它部署了一个10亿参数的自回归Transformer，将原始文本转换为离散代码（“speechcodes”），随后是一个基于卷积的解码器，以增量、流式的方式将这些speechcodes转换为波形。此外，我们的speechcodes是使用一种新颖的语音标记化技术构建的，该技术具有说话人ID解耦和使用字节对编码进行压缩的特点。呼应了广泛报道的大语言模型在不断增加的数据量上训练时表现出的“涌现能力”，我们展示了使用10K+小时和500M+参数构建的BASE TTS变体开始在文本复杂的句子中表现出自然的韵律。我们设计并共享了一个专门的数据集来测量文本转语音的这些涌现能力。我们通过评估包括公开可用的大规模文本转语音系统：YourTTS、Bark和TortoiseTTS在内的基线，展示了BASE TTS的最先进自然度。该模型生成的音频样本可以在https://amazon-ltts-paper.com/上听到。
英文摘要：
We introduce a text-to-speech (TTS) model called BASE TTS, which stands for $\textbf{B}$ig $\textbf{A}$daptive $\textbf{S}$treamable TTS with $\textbf{E}$mergent abilities. BASE TTS is the largest TTS model to-date, trained on 100K hours of public domain speech data, achieving a new state-of-the-art in speech naturalness. It deploys a 1-billion-parameter autoregressive Transformer that converts raw texts into discrete codes ("speechcodes") followed by a convolution-based decoder which converts these speechcodes into waveforms in an incremental, streamable manner. Further, our speechcodes are built using a novel speech tokenization technique that features speaker ID disentanglement and compression with byte-pair encoding. Echoing the widely-reported "emergent abilities" of large language models when trained on increasing volume of data, we show that BASE TTS variants built with 10K+ hours and 500M+ parameters begin to demonstrate natural prosody on textually complex sentences. We design and share a specialized dataset to measure these emergent abilities for text-to-speech. We showcase state-of-the-art naturalness of BASE TTS by evaluating against baselines that include publicly available large-scale text-to-speech systems: YourTTS, Bark and TortoiseTTS. Audio samples generated by the model can be heard at https://amazon-ltts-paper.com/.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
