Miipher：一种融合自监督语音与文本表示的鲁棒语音修复模型
Miipher: A Robust Speech Restoration Model Integrating Self-Supervised Speech and Text Representations
AI总结：
本文提出 Miipher 语音修复模型，结合 w2v-BERT 语音表示与 PnG-BERT 文本表示，提升对多种音频退化的鲁棒性，并证明其可将网络语音修复为录音室音质以训练高质量 TTS 模型。
摘要：
语音修复（SR）是一项将退化语音信号转换为高质量语音的任务。在本研究中，我们提出了一种名为 Miipher 的鲁棒 SR 模型，并将 Miipher 应用于一个新的 SR 场景：通过将从网络收集的语音样本转换为录音室音质，增加用于语音生成的高质量训练数据数量。为使我们的 SR 模型对各种退化具有鲁棒性，我们使用：（i）从 w2v-BERT 提取的语音表示作为输入特征，以及（ii）通过 PnG-BERT 从转录文本提取的文本表示作为语言条件特征。实验表明，Miipher（i）对各种音频退化具有鲁棒性，并且（ii）使我们能够利用从网络收集并经修复的语音样本训练高质量的文本转语音（TTS）模型。音频样本可在我们的演示页面获取：google.github.io/df-conformer/miipher/
英文摘要：
Speech restoration (SR) is a task of converting degraded speech signals into high-quality ones. In this study, we propose a robust SR model called Miipher, and apply Miipher to a new SR application: increasing the amount of high-quality training data for speech generation by converting speech samples collected from the Web to studio-quality. To make our SR model robust against various degradation, we use (i) a speech representation extracted from w2v-BERT for the input feature, and (ii) a text representation extracted from transcripts via PnG-BERT as a linguistic conditioning feature. Experiments show that Miipher (i) is robust against various audio degradation and (ii) enable us to train a high-quality text-to-speech (TTS) model from restored speech samples collected from the Web. Audio samples are available at our demo page: google.github.io/df-conformer/miipher/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
