一项实验研究：评估用于文本转语音合成的 WavLM 与 BEST-RQ 组合框架
An Experimental Study: Assessing the Combined Framework of WavLM and BEST-RQ for Text-to-Speech Synthesis
AI总结：
本文提出结合 WavLM 与 BEST-RQ 的 TTS 架构，并在 LibriSpeech 的 SUPERB 基准上评估，却发现性能显著落后，进而分析波形与声谱图量化特征差异及局限。
摘要：
我们提出了一种特别适合文本转语音（TTS）模型的新模型架构。我们将 WavLM 这一预训练自监督学习（SSL）语音模型与 BEST-RQ 向量量化框架相结合。我们评估了更任务无关的 WavLM，加上简单的 BEST-RQ 框架对更广泛下游任务的优越适配性，能够在多大程度上产生良好结果。在 LibriSpeech 数据集上使用 SUPERB 基准进行的实验表明，所提出的模型表现显著较差。我们推测，这一表现背后的原因与使用量化器对原始音频波形和声谱图进行特征化之间的差异有关。我们讨论了该方法的局限性，以更好地指导未来 TTS 的进展。
英文摘要：
We propose a new model architecture specifically suited for text-to-speech (TTS) models. We combine WavLM, a pre-trained self-supervised learning (SSL) speech model, and the BEST-RQ vector quantization framework. We assess the extent to which the more task-agnostic WavLM, coupled with the superior suitability of the simplistic BEST-RQ framework for a wider array of downstream tasks, yields favorable outcomes. Experiments on the LibriSpeech dataset with SUPERB benchmarking assert that the proposed model significantly underperforms. We speculate the underlying reason for this performance is related to the difference between featurizing raw audio waveforms and spectrograms with a quantizer. We discuss the limitations of this approach to better guide future advancements in TTS.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
