ByteDance（字节跳动）

ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation

ShortOPD：通过短到长的策略蒸馏恢复剪枝后的语言模型

Qingyu Zhang, Qianhao Yuan, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun, Ming Xu, Jiarui Li

机构 * ByteDance（字节跳动） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

AI总结 研究结构化剪枝在语言模型自由形式生成任务中存在的问题，提出ShortOPD方法，通过短到长的策略蒸馏，检测重复后缀，合理分配展开预算，有效提升压缩模型分数，减少训练时间和展开令牌，推动结构化剪枝接近可部署的生成质量。