Unifying Depth and Width Pruning for LLMs via Binary Knapsack Optimization
通过二进制背包优化统一大语言模型的深度与宽度剪枝
机构 * Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(德里印度理工学院亚迪人工智能学院) ; Indian Institute of Technology Delhi(德里印度理工学院) ; Microsoft Research (MSR) India(微软研究院印度分部)
AI总结 研究针对LLMs结构化剪枝的贪心启发式算法缺陷,提出SNIPER两阶段剪枝框架,引入CRAFT量化预算保真度,在多架构多任务上较现有剪枝器实现性能与稳定性提升,泛化性强。
Comments 29 pages, 5 figures, 17 tables