KVCrush: Key value cache size-reduction using similarity in head-behaviour
KVCrush: 利用头部行为相似性进行键值缓存尺寸缩减
机构 * Intel Corporation(英特尔公司)
AI总结 KVCrush通过利用头部行为相似性,减少KV缓存尺寸并提升模型精度,兼容多种实际部署方案。
Journal ref Proceedings of the 17th Asian Conference on Machine Learning (2025), PMLR