Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
人人都现在剪枝:仅前向传递的LLM结构剪枝
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Google Research(谷歌研究)
AI总结 Bonsai通过仅前向传递的扰动剪枝方法,实现了无需反向传播的高效结构化剪枝,显著降低内存和计算成本,同时提升模型压缩效率和性能。
Comments 19 pages, 6 fiigures, 16 tables