DenoiseRotator: Enhance Pruning Robustness for LLMs via Importance Concentration
DenoiseRotator: 通过重要性集中增强大语言模型的剪枝鲁棒性
机构 * Shanghai Jiao Tong University(上海交通大学) ; HKUST(香港科技大学) ; Meituan(美团)
AI总结 DenoiseRotator通过重要性集中提升大语言模型剪枝鲁棒性,采用可学习正交变换优化参数重要性分布,有效减少稀疏性约束下的性能下降。
Comments Accepted at NeurIPS 2025