将NVIDIA的多说话人多语言TTS系统通过零样本TTS扩展至印度语言
Scaling NVIDIA's Multi-speaker Multi-lingual TTS Systems with Zero-Shot TTS to Indic Languages
AI总结：
本研究针对印度语言多说话人多语言TTS任务，面向MMITS-VC 2024挑战赛分别用RAD-MMM做少样本TTS、P-Flow做零样本TTS，搭配HiFi-GAN声码器，最终P-Flow获赛道3第一。
摘要：
本文介绍了NVIDIA为2024年MMITS-VC（带语音克隆的多说话人、多语言印度语TTS）挑战赛开发的TTS模型。在赛道1和赛道2中，我们利用RAD-MMM实现少样本TTS，额外使用5分钟目标说话人数据进行训练。在赛道3中，我们利用P-Flow实现零样本TTS，在挑战赛数据集及外部数据集上进行训练。所有提交系统均使用HiFi-GAN声码器。RAD-MMM在赛道1和赛道2中表现具有竞争力，P-Flow在赛道3中排名第一，平均意见得分（MOS）为4.4，说话人相似度得分（SMOS）为3.62。
英文摘要：
In this paper, we describe the TTS models developed by NVIDIA for the MMITS-VC (Multi-speaker, Multi-lingual Indic TTS with Voice Cloning) 2024 Challenge. In Tracks 1 and 2, we utilize RAD-MMM to perform few-shot TTS by training additionally on 5 minutes of target speaker data. In Track 3, we utilize P-Flow to perform zero-shot TTS by training on the challenge dataset as well as external datasets. We use HiFi-GAN vocoders for all submissions. RAD-MMM performs competitively on Tracks 1 and 2, while P-Flow ranks first on Track 3, with mean opinion score (MOS) 4.4 and speaker similarity score (SMOS) of 3.62.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
