Is Oracle Pruning the True Oracle?
Oracle剪枝真的是真正的Oracle吗?
机构 * Westlake University(西湖大学) ; Nankai University(南开大学) ; ENCODE Lab, Westlake University(西湖大学ENCODE实验室)
专题命中 其他VLM :MLLM(abstract,abstract_cn);分类 cs.CV、cs.LG
AI总结 本文通过大规模实验(37K模型)发现,对于中等规模以上的深度学习模型,Oracle剪枝选择的权重在重训练后性能与重训练前几乎无关,质疑了Oracle剪枝作为剪枝方法基础的有效性。
Comments TMLR, Webpage: https://fscdc.github.io/Oracle-Pruning-Sanity-Check/