arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

KV缓存压缩的消融、统计推断与验证

Ablation, Statistical Inference, and Validation for KV-Cache Compression

Paolo D'Alberto, Ashish Siarasao, Elliott Delaye, Rajeev Patwari

arXiv 2607.09683首次发表:更新:

发表机构

Advanced Micro Devices, Inc.(超威半导体公司)

机构由 AI 辅助整理,请以论文原文为准。

AI 中文总结

研究对Turbo-Quant和SpectralQuant KV缓存压缩进行系统比较,用统计验证方法评估非支配方案,发现基于特征基的方法在重尾数据上因协方差不稳定失败,在结构化模式下表现出色,有效语义维度适应校准预算。

AI 中文摘要

本研究系统地比较了Turbo-Quant和SpectralQuant KV缓存压缩,通过一种统计验证方法评估非支配方案,包括带Beta Lloyd-Max和QJL的WHT旋转,该方法将编解码器系统差异与实现差异分开。关键发现表明,基于特征基的方法因协方差不稳定在重尾数据上失败,但在结构化模式下表现出色,有效语义维度($d_{eff}$)适应校准预算而非真实数据秩。

英文摘要

This study systematically compares Turbo-Quant and SpectralQuant KV-cache compression, evaluating non-dominated schemes, including WHT rotation with Beta Lloyd-Max and QJL, through a statistical validation methodology that separates systematic codec differences from implementation variance. Key findings reveal that while eigenbasis-based methods fail on heavy-tailed data due to covariance instability, they excel in structured regimes, with the effective semantic dimension ($d_{eff}$) adapting to calibration budgets rather than true data rank. (this is an abstract of the abstract thank you )

Comments15 pages, 8 figures, minimum number of citations

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑