用于音频编码的可变比特率残差向量量化
Variable Bitrate Residual Vector Quantization for Audio Coding
AI总结：
针对神经音频压缩模型中固定码本数量导致率失真权衡不佳的问题，提出可变比特率残差向量量化（VRVQ），通过自适应调整每帧码本数量并结合梯度估计方法优化训练，显著提升了编码效率与模型性能。
摘要：
近期最先进的神经音频压缩模型已逐渐采用残差向量量化（RVQ）。尽管取得了成功，这些模型每帧使用固定数量的码本，这在率失真权衡上可能不是最优的，特别是在输入音频较简单的场景中，如静音。为解决这一限制，我们提出了用于音频编解码器的可变比特率RVQ（VRVQ），它通过自适应调整每帧使用的码本数量来实现更高效的编码。此外，我们针对将重要性图转换为二值重要性掩码的不可微掩码操作提出了一种梯度估计方法，通过直通估计器改进了模型训练。我们证明，所提出的训练框架相比基线方法取得了更优的结果，并且在应用于当前最先进的编解码器时展现出进一步的提升。
英文摘要：
Recent state-of-the-art neural audio compression models have progressively adopted residual vector quantization (RVQ). Despite this success, these models employ a fixed number of codebooks per frame, which can be suboptimal in terms of rate-distortion tradeoff, particularly in scenarios with simple input audio, such as silence. To address this limitation, we propose variable bitrate RVQ (VRVQ) for audio codecs, which allows for more efficient coding by adapting the number of codebooks used per frame. Furthermore, we propose a gradient estimation method for the non-differentiable masking operation that transforms from the importance map to the binary importance mask, improving model training via a straight-through estimator. We demonstrate that the proposed training framework achieves superior results compared to the baseline method and shows further improvement when applied to the current state-of-the-art codec.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
