Salesforce

Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs

持续LLM升级：一种用于稠密到稀疏LLM的预测器门控银行级稀疏训练方案

Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

机构 * Nanyang Technological University（南洋理工大学） ； Salesforce AI ； Huawei Noah's Ark Lab（华为诺亚方舟实验室） 纠错

AI总结 提出一种从稠密检查点构建通道稀疏大语言模型的持续训练方法，通过预测器门控稀疏SwiGLU FFN和银行级top-k规则实现4倍稀疏性，并修复长上下文失败模式。