Can Pruning Improve Reasoning? Revisiting Long-CoT Compression with Capability in Mind for Better Reasoning
剪枝能否提升推理?基于能力对齐的Long-Cot压缩以获得更好的推理
机构 * XJTU(西安交通大学) ; ECNU(华东师范大学) ; THU(清华大学) ; SEU(上海师范大学) ; USST(上海师范大学)
AI总结 本文提出Prune-on-Logic框架,通过结构感知剪枝提升Long-CoT推理效率,发现验证剪枝在保持准确性的同时减少令牌使用,揭示剪枝与模型容量对齐的重要性。
Comments 19 pages,6 figures