研究用于基于语音语言模型的语音生成的神经音频编解码器
Investigating Neural Audio Codecs for Speech Language Model-Based Speech Generation
AI总结：
该研究在统一设置下比较多种神经音频编解码器，并将其 token 集成到并行及 AR+NAR 两类 SLM 中，揭示重建质量不必然提升生成质量，解码器与量化机制分别影响自然度和可懂度。
摘要：
神经音频编解码器 token 是基于语音语言模型（SLM）的语音生成的基本构建块。然而，目前对于编解码器系统如何影响 SLM 的语音生成性能仍缺乏系统性理解。在本工作中，我们在用于语音生成的 SLM 框架内考察编解码器 token，以为高效的编解码器设计提供洞见。我们在相同数据集和损失函数上重新训练现有的高性能神经编解码器模型，以在统一设置下比较它们的性能。我们将编解码器 token 集成到两个 SLM 系统中：基于掩码的并行语音生成系统，以及基于自回归（AR）加非自回归（NAR）模型的系统。研究结果表明，编解码器系统中更好的语音重建并不保证 SLM 中语音生成效果的提升。高质量的编解码器解码器对于 SLM 中自然语音的产生至关重要，而语音可懂度则更多依赖于量化机制。
英文摘要：
Neural audio codec tokens serve as the fundamental building blocks for speech language model (SLM)-based speech generation. However, there is no systematic understanding on how the codec system affects the speech generation performance of the SLM. In this work, we examine codec tokens within SLM framework for speech generation to provide insights for effective codec design. We retrain existing high-performing neural codec models on the same data set and loss functions to compare their performance in a uniform setting. We integrate codec tokens into two SLM systems: masked-based parallel speech generation system and an auto-regressive (AR) plus non-auto-regressive (NAR) model-based system. Our findings indicate that better speech reconstruction in codec systems does not guarantee improved speech generation in SLM. A high-quality codec decoder is crucial for natural speech production in SLM, while speech intelligibility depends more on quantization mechanism.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
