WaterKron 与 FlipFlop Hessian：基于 Kronecker 分解 Hessian 的信息论量化方法
WaterKron and FlipFlop Hessian: Information-Theoretically Grounded Quantization with Kronecker-factored Hessians
- University of California San Diego（加州大学圣迭戈分校）
机构由 AI 辅助整理，请以论文原文为准。
中文总结 AI 辅助
本文提出 WaterKron 量化方法，结合双面 GPTQ 与熵编码，并通过最小化 Kronecker-Hessian 不匹配因子推导出 FlipFlop Hessian，实证表明其优于其他 Hessian 选择。
中文摘要 AI 辅助
在训练后量化中，应如何选择 Kronecker 分解的 Hessian 近似？我们通过 WaterKron 方法来解决这一问题，该方法结合了双面 GPTQ、依赖于行和列的水填充尺度以及熵编码。我们利用显式的 Kronecker-Hessian 不匹配因子 $\Phi$ 推导了其相对于完整 Hessian 的高速率失真。该因子量化了由 Kronecker Hessian 近似引起的渐近失真惩罚，并为最优选择因子提供了准则。最小化 $\Phi$ 可归结为一个高斯协方差拟合问题，并采用经典的“翻转-翻转”更新。因此，我们为在量化中使用由此得到的 FlipFlop Hessian 提供了率失真依据。我们对其进行了实证评估，发现 FlipFlop Hessian 在 KL 散度和困惑度上始终优于仅基于输入、边际以及基于 Frobenius 的 Hessian 选择。
英文摘要
How should a Kronecker-factored Hessian approximation be chosen for post-training quantization? We address this question through WaterKron, which combines two-sided GPTQ with row- and column-dependent waterfilling scales and entropy coding. We derive its high-rate distortion with respect to the full Hessian using an explicit Kronecker-Hessian mismatch factor $Φ$. This factor quantifies the asymptotic distortion penalty due to the Kronecker Hessian approximation and provides a criterion for selecting the factors optimally. Minimizing $Φ$ leads to a Gaussian covariance-fitting problem with classical ``flip-flop'' updates. We thus give a rate-distortion justification for using the resulting FlipFlop Hessian in quantization. We evaluate it empirically, finding that the FlipFlop Hessian consistently improves KL divergence and perplexity over input-only, marginal, and Frobenius-based Hessian choices.
