arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2406.07969eess.AScs.CLcs.LGcs.SD

LibriTTS-P:一个用于文本转语音和风格描述的、包含说话风格与说话人身份提示的语料库

LibriTTS-P: A Corpus with Speaking Style and Speaker Identity Prompts for Text-to-Speech and Style Captioning

LY Corp.(LY公司)

Masaya Kawamura, Ryuichi Yamamoto, Yuma Shirahata, Takuya Hasumi, Kentaro Tachibana

AI总结:

本文提出基于 LibriTTS-R 的 LibriTTS-P 语料库,通过人工与合成混合标注提供说话风格和身份提示,并验证其可提升可控 TTS 自然度及风格描述准确性。

摘要:

我们介绍 LibriTTS-P,这是一个基于 LibriTTS-R 的新语料库,包含话语级别的说话风格描述(即提示)以及说话人级别的说话人特征提示。我们采用混合方法构建提示标注:(1)捕捉人类对说话人特征感知的人工标注;(2)关于说话风格的合成标注。与现有英文提示数据集相比,我们的语料库为 LibriTTS-R 的所有说话人提供了更加多样的提示标注。基于提示的可控 TTS 实验结果表明,使用 LibriTTS-P 训练的 TTS 模型比使用传统数据集的模型获得更高自然度。此外,风格描述任务的结果显示,利用 LibriTTS-P 的模型生成的准确词汇数量是使用传统数据集模型的 2.5 倍。我们的语料库 LibriTTS-P 可在 https://github.com/line/LibriTTS-P 获取。

英文摘要:

We introduce LibriTTS-P, a new corpus based on LibriTTS-R that includes utterance-level descriptions (i.e., prompts) of speaking style and speaker-level prompts of speaker characteristics. We employ a hybrid approach to construct prompt annotations: (1) manual annotations that capture human perceptions of speaker characteristics and (2) synthetic annotations on speaking style. Compared to existing English prompt datasets, our corpus provides more diverse prompt annotations for all speakers of LibriTTS-R. Experimental results for prompt-based controllable TTS demonstrate that the TTS model trained with LibriTTS-P achieves higher naturalness than the model using the conventional dataset. Furthermore, the results for style captioning tasks show that the model utilizing LibriTTS-P generates 2.5 times more accurate words than the model using a conventional dataset. Our corpus, LibriTTS-P, is available at https://github.com/line/LibriTTS-P.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑