U-Codec：用于快速高保真语音生成的超低帧率神经语音编解码器
U-Codec: Ultra Low Frame-rate Neural Speech Codec for Fast High-fidelity Speech Generation
AI总结：
本文提出 5Hz 超低帧率神经语音编解码器 U-Codec，通过 Transformer 帧间建模与 RVQ 配置优化，使 LLM-TTS 在保持音质的同时推理提速约 3 倍。
摘要：
我们提出 U-Codec，这是一种超低帧率神经语音编解码器（Codec），可在 5Hz（每秒 5 帧）的极低帧率下实现高保真重建和快速语音生成。5Hz 下的极端压缩通常会导致严重的可懂度和频谱细节损失，为此我们引入了一个基于 Transformer 的帧间长期依赖模块，并系统研究残差向量量化（RVQ）深度和码本大小，以确定最优配置。此外，我们将 U-Codec 应用于基于大语言模型（LLM）的自回归 TTS 模型，该模型利用全局和局部分层架构，有效捕获多层 token 之间的依赖关系。我们将基于 LLM 的 TTS 从 50Hz 下的 3 层 RVQ 扩展到 5Hz 下的 32 层 RVQ。实验结果表明，与高帧率编解码器相比，U-Codec 将基于 LLM 的 TTS 推理速度提高约 3 倍，同时保持相似度和自然度。这些结果验证了使用高度压缩的 5Hz 离散 token 进行快速、高保真语音合成的可行性。
英文摘要：
We propose \textbf{U-Codec}, an \textbf{U}ltra low frame-rate neural speech \textbf{Codec} that achieves high-fidelity reconstruction and fast speech generation at an extremely low frame-rate of 5Hz (5 frames per second). Extreme compression at 5Hz typically leads to severe intelligibility and spectral detail loss, we introduce a Transformer-based inter-frame long-term dependency module and systematically explore residual vector quantization (RVQ) depth and codebook size to identify optimal configurations. Moreover, we apply U-Codec into a large language model (LLM)-based auto-regressive TTS model, which leverages global and local hierarchical architecture to effectively capture dependencies across multi-layer tokens. We extend LLM-based TTS from 3-layer RVQ at 50Hz to 32-layer RVQ at 5Hz. Experimental results demonstrate that U-Codec improves LLM-based TTS inference speed by around 3 $\times$ over high-frame-rate codecs while maintaining similarity and naturalness. These results validate the feasibility of using highly compressed 5Hz discrete tokens for fast and high-fidelity speech synthesis.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
