ICLR

CAKE: Cascading and Adaptive KV Cache Eviction with Layer Preferences

CAKE：基于层优先级的级联和自适应KV缓存淘汰

Ziran Qin, Yuchen Cao, Mingbao Lin, Wen Hu, Shixuan Fan, Ke Cheng, Weiyao Lin, Jianguo Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

AI总结 CAKE通过级联和自适应机制优化KV缓存淘汰，提升低内存下的模型性能和解码效率。

Comments Accepted by ICLR 2025