arXiv 2204.006182023-05-20eess.AScs.CLcs.SD

在低资源环境下使用跨语言多说话人 TTS 和跨语言语音转换的 ASR 数据增强

ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion

Coqui（Coqui公司）；QuintoAndar（QuintoAndar公司）；Darmstadt University of Applied Sciences（达姆施塔特应用技术大学）；São Paulo State University（圣保罗州立大学）；Federal University of Goiás（戈亚斯联邦大学）；Mercado Livre（自由市场公司）

Edresson Casanova, Christopher Shulby, Alexander Korolev, Arnaldo Candido Junior, Anderson da Silva Soares, Sandra Aluísio, Moacir Antonelli Ponti

备注：: This paper was accepted at INTERSPEECH 2023

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出在低/中等资源场景下，利用跨语言多说话人语音合成和跨语言语音转换进行ASR数据增强，仅需单一目标语言说话人即可有效提升ASR系统性能并缩小合成与真实语音间的差距。

摘要：

我们探索了跨语言多说话人语音合成和跨语言语音转换，应用于低/中等资源场景下自动语音识别（ASR）系统的数据增强。通过大量实验，我们表明我们的方法允许应用语音合成和语音转换来改进 ASR 系统，且在模型训练期间仅使用一名目标语言说话人。我们也设法缩小了使用合成语音与人类语音训练的 ASR 模型之间的差距，相比之下，其他工作使用了多名说话人。最后，我们表明，使用我们的数据增强方法，在目标语言中仅使用一名真实说话人即可获得有前景的 ASR 训练结果。

英文摘要：

We explore cross-lingual multi-speaker speech synthesis and cross-lingual voice conversion applied to data augmentation for automatic speech recognition (ASR) systems in low/medium-resource scenarios. Through extensive experiments, we show that our approach permits the application of speech synthesis and voice conversion to improve ASR systems using only one target-language speaker during model training. We also managed to close the gap between ASR models trained with synthesized versus human speech compared to other works that use many speakers. Finally, we show that it is possible to obtain promising ASR training results with our data augmentation method using only a single real speaker in a target language.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。