CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation
CompilerKV: 通过离线经验编译实现风险适应性的键值压缩
机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; University of Electronic Science and Technology of China(电子科技大学) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; ByteDance(字节跳动) ; University of Science and Technology Beijing(北京科技大学)
AI总结 本文提出CompilerKV,一种通过离线经验编译实现风险适应性的键值压缩方法,通过离线编译校准语料库中的纠正表,将在线纠正减少到O(1)查找加预算限制,从而在多个模型架构上实现了压缩SOTA,并在不同压力条件下保持最优性能。