Averaged Evaluation Masks Capability Trade-Offs: Multi-Source Calibration for High-Sparsity LLM Pruning
校准数据在能力维度上的权衡:为什么多源混合对高稀疏LLM剪枝至关重要
机构 * Shanghai Jiao Tong University(上海交通大学) ; JD.com(京东公司)
AI总结 通过分解后剪枝能力维度并分析15个校准源,发现校准困惑度与通用能力保留正相关但与数学和代码能力保留负相关,提出多源混合校准方法IGSP以平衡各维度性能。