Introduced in the late 1980s for generalization purposes, pruning has now become a staple for compressing deep neural networks. Despite many innovations in recent decades, pruning approaches still face core issues that hinder their performance or scalability. Drawing inspiration from early work in the field, and especially the use of weight decay to achieve sparsity, we introduce Selective Weight Decay (SWD), which carries out efficient, continuous pruning throughout training. Our approach, theoretically grounded on Lagrangian smoothing, is versatile and can be applied to multiple tasks, networks, and pruning structures. We show that SWD compares favorably to state-of-the-art approaches, in terms of performance-to-parameters ratio, on the CIFAR-10, Cora, and ImageNet ILSVRC2012 datasets.
Progressive DNN Compression: A Key to Achieve Ultra-High Weight Pruning and Quantization Rates using ADMM
Sensetime Research(商汤科技研究院);Tsinghua University(清华大学);Syracuse University(雪城大学);Northeastern University(东北大学);Florida International University(佛罗里达国际大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
权值修剪和权值量化是DNN模型压缩的两个重要方面。这些技术的先前工作主要基于化学。最近的一项工作使用先进的优化技术ADMM(Alternating Direction Methods of Multipliers)开发了DNN权重修剪的系统框架,实现了最先进的权重修剪结果之一。在这项工作中,我们首先扩展这样的一杆ADMM为基础的框架,以保证解决方案的可行性,并提供快速收敛速度,以及推广到权重量化。我们进一步开发了一个多步骤的渐进式DNN权重修剪和量化框架,具有双重好处:(i)由于ADMM正则化的特殊属性,实现了进一步的权重修剪/量化,以及(ii)减少了每个步骤中的搜索空间。大量的实验结果表明,与以前的工作相比,优越的性能。一些亮点:(i)我们分别在LeNet-5、AlexNet和ResNet-50模型上实现了246倍、36倍和8倍的权重修剪,(几乎)零精度损失;(ii)在AlexNet中甚至实现了显著的61倍权重修剪(ImageNet)与先前的工作相比,实际准确性仅略有下降;(iii)我们是第一批为ResNet和MobileNet模型得出显着权重修剪结果的人之一;(iv)我们为MNIST和CIFAR-10分别导出了第一个无损的、完全二进制化的(所有层)LeNet-5和VGG-16;以及(v)我们为ImageNet导出了第一个完全二进制化的(所有层)ResNet,具有合理的准确性损失…
Progressive Weight Pruning of Deep Neural Networks using ADMM
Syracuse University(雪城大学);Northeastern University(东北大学);George Mason University(乔治梅森大学);MIT-IBM Watson AI Lab, IBM Research(IBM研究院MIT-IBM沃森人工智能实验室)
深度神经网络(DNN)虽然在许多领域实现了人类水平的性能,但具有非常大的模型大小,这阻碍了它们在边缘计算设备上的更广泛应用。已经对DNN模型压缩或修剪进行了广泛的研究工作。然而,大多数以前的工作采取启发式的方法。本文提出了一种基于ADMM(Alternating Direction Method of Multipliers,交替方向乘法)的渐进式权重剪枝方法,该方法是处理具有潜在组合约束的非凸优化问题的一种强有力的技术。该方法受动态规划的启发,通过使用具有中等剪枝率的部分剪枝,达到了极高的剪枝率。因此,它解决了精度下降和收敛时间长的问题时,追求极高的剪枝率。它对ImageNet数据集的剪枝率高达34倍,对MNIST数据集的剪枝率高达167倍,显著高于文献工作所达到的剪枝率。在相同的迭代次数下,该方法具有更快的收敛速度和更高的压缩比。代码和修剪的DNN模型在链接bit.ly/2zxdlss中发布
深度卷积神经网络(CNN)被部署在各种应用中,但需要巨大的计算需求。剪枝技术和Winograd卷积是减少CNN计算量的两种典型方法。但是,它们不能直接组合,因为Winograd变换填充了修剪产生的稀疏性。Li et al.(2017)提出了稀疏Winograd卷积,其中权重直接在Winograd域中修剪,但这种技术不是很实用,因为Winograd域再训练需要较低的学习率,因此需要更长的训练时间。此外,Liu等人(2018)将ReLU函数移动到Winograd域中,这可以帮助增加权重稀疏性,但需要改变网络结构。为了在不改变网络结构的情况下实现Winograd域的高权值稀疏性,提出了一种新的剪枝方法-空间Winograd剪枝。首先,对空间域权值进行结构化修剪,有效地将空间域稀疏性转移到Winograd域,避免了Winograd域的再训练。对于下一步,我们还直接在Winograd域中执行修剪和再训练,但建议使用重要性因子矩阵来调整权重重要性和权重梯度。这种调整使得在不改变网络结构的情况下有效地重新训练修剪的Winograd-domain网络成为可能。对于CIFAR 10,CIFAR-100和ImageNet数据集上的三个模型,我们提出的方法可以分别实现63%,50%和74%的Winograd域稀疏度。
Pruning Randomly Initialized Neural Networks with Iterative Randomization
NTT Computer and Data Science Laboratories, NTT Corporation(NTT公司NTT计算机与数据科学实验室);NTT Social Informatics Laboratories, NTT Corporation(NTT公司NTT社会信息学实验室)
Pruning Neural Networks at Initialization: Why are We Missing the Mark?
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Element AI(Element AI公司);University of Toronto(多伦多大学);Vector Institute(矢量研究院)
最近的工作探索了在初始化时修剪神经网络的可能性。我们评估这样做的建议:SNIP(Lee等人,2019),GraSP(Wang et al.,2020)、SynFlow(Tanaka等人,2020年)和幅度修剪。尽管这些方法超越了随机修剪的平凡基线,但它们在训练后仍然低于幅度修剪的准确性,我们试图理解为什么。我们表明,与训练后修剪不同,随机打乱这些方法在每层中修剪的权重或采样新的初始值可以保留或提高准确性。因此,由这些方法做出的每权重修剪决策可以由要修剪的权重的分数的每层选择来代替。此属性表明了底层修剪算法、在初始化时修剪的愿望或两者的更广泛挑战。