KV-Rescue: Recovering Reasoning Language Model KV Eviction Loss via Stepwise Interleaving
KV-Rescue:通过逐步交错恢复推理语言模型的KV驱逐损失
专题命中 推理与问题求解 :language model(title);分类 cs.CL、cs.AI
AI总结 KV-Rescue是一种无需训练的推理框架,通过交错轻量级辅助模型的推理步骤,结合在线检测器,在驱逐预算B=64时平均恢复了87%的KV驱逐损失准确率,还减少了43%的基础模型token生成量。