SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding
SPECTRA:通过谱变换编码将KV缓存推向2比特极限之外
机构 * Nokia(诺基亚) ; Rice University(莱斯大学)
专题命中 记忆与上下文管理 :agentic(abstract);分类 cs.LG
AI总结 SPECTRA是一种无需训练的KV缓存压缩编解码器,通过谱变换编码将比特预算集中于关键通道,在Llama-3.1-8B等模型上实现最高12倍压缩,突破2比特极限,提升长上下文处理能力
Comments 28 pages