基于描述的跨语言语音控制可控文本转语音
Description-based Controllable Text-to-Speech with Cross-Lingual Voice Control
AI总结：
提出一种基于描述的跨语言可控TTS方法，通过结合目标语言TTS模型与另一语言的描述控制模型，并利用SSL共享解耦的音色与风格表示，在缺乏目标语言配对数据时实现高自然度与可控性的跨语言语音控制。
摘要：
我们提出了一种具有跨语言控制能力的基于描述的新型可控文本转语音（TTS）方法。为了解决目标语言中缺乏音频-描述配对数据的问题，我们将一个在目标语言上训练的TTS模型与一个在另一种语言上训练的描述控制模型相结合，后者将输入的文本描述映射到TTS模型的条件特征。这两个模型基于自监督学习（SSL）共享解耦的音色和风格表示，从而实现解耦的语音控制，例如在保留原始音色的同时控制说话风格。此外，由于基于SSL的音色和风格表示是语言无关的，在共享相同嵌入空间的同时结合TTS和描述控制模型，能够有效实现语音特征的跨语言控制。在英语和日语TTS上的实验表明，即使没有使用日语的音频-描述配对数据，我们的方法在两种语言上也均实现了较高的自然度和可控性。
英文摘要：
We propose a novel description-based controllable text-to-speech (TTS) method with cross-lingual control capability. To address the lack of audio-description paired data in the target language, we combine a TTS model trained on the target language with a description control model trained on another language, which maps input text descriptions to the conditional features of the TTS model. These two models share disentangled timbre and style representations based on self-supervised learning (SSL), allowing for disentangled voice control, such as controlling speaking styles while retaining the original timbre. Furthermore, because the SSL-based timbre and style representations are language-agnostic, combining the TTS and description control models while sharing the same embedding space effectively enables cross-lingual control of voice characteristics. Experiments on English and Japanese TTS demonstrate that our method achieves high naturalness and controllability for both languages, even though no Japanese audio-description pairs are used.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
