Parser States Already Know: Structure-Conditioned KV Persistence for Structured Generation
解析器状态已掌握:面向结构化生成的结构感知KV持久化
机构 * Hangzhou Institute for Advanced Study(杭州高等研究院) ; University of Chinese Academy of Sciences(中国科学院大学)
AI总结 针对LLM结构化生成中KV压缩未利用结构信号的问题,提出PASK方法,通过解析器信号优化KV持久化,在Qwen3-4B上显著提升性能并降低资源消耗。
Comments Work in progress