利用多模态上下文与大语言模型改进基于音频编解码器的零样本文本到语音合成
Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model
AI总结：
本文提出基于音频编解码器的零样本 TTS 模型，通过 MMCE-Qformer 融合多模态长上下文信息，并利用预训练 LLM 与 SoundStorm 提升语音质量和说话人相似度，在多种上下文 TTS 场景中优于基线。
摘要：
大语言模型（LLMs）的最新进展和音频编解码器的发展极大地推动了零样本 TTS。它们仅需一段未见说话人的 3 秒语音作为声学提示，即可合成个性化语音。然而，它们只支持短语音提示，无法利用更长的上下文信息，而这在有声书和对话式 TTS 场景中是必需的。在本文中，我们提出了一种新颖的基于音频编解码器的 TTS 模型，通过多种增强手段来适配上下文特征。受 Qformer 成功的启发，我们提出了一种多模态上下文增强 Qformer（MMCE-Qformer），以利用额外的多模态上下文信息。此外，我们适配了一个预训练 LLM，利用其理解能力来预测语义 token，并使用 SoundStorm 生成声学 token，从而提高音频质量和说话人相似度。大量客观和主观评估表明，我们提出的方法在各种上下文 TTS 场景中均优于基线模型。
英文摘要：
Recent advances in large language models (LLMs) and development of audio codecs greatly propel the zero-shot TTS. They can synthesize personalized speech with only a 3-second speech of an unseen speaker as acoustic prompt. However, they only support short speech prompts and cannot leverage longer context information, as required in audiobook and conversational TTS scenarios. In this paper, we introduce a novel audio codec-based TTS model to adapt context features with multiple enhancements. Inspired by the success of Qformer, we propose a multi-modal context-enhanced Qformer (MMCE-Qformer) to utilize additional multi-modal context information. Besides, we adapt a pretrained LLM to leverage its understanding ability to predict semantic tokens, and use a SoundStorm to generate acoustic tokens thereby enhancing audio quality and speaker similarity. The extensive objective and subjective evaluations show that our proposed method outperforms baselines across various context TTS scenarios.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
