University of California, Los Angeles（加州大学洛杉矶分校）

A Probabilistic Interpretation of KV Cache Eviction

KV缓存驱逐的概率解释

Renato Geh, Alex Chen, Daniel Israel, Aditya Grover, Guy Van den Broeck

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

AI总结 本文通过概率推理形式化KV驱逐问题，证明其计算难度，将其简化为可采样近似的期望估计，提出解码时校正方法，调整现有方法实现该校正，使结合该校正的KV驱逐在相同压缩预算下更鲁棒且性能有竞争力。