Quantisation and Pruning for Neural Network Compression and Regularisation
University of the Witwatersrand（威特沃特斯兰德大学）
深度神经网络通常在计算上过于昂贵，无法在消费级硬件和低功耗设备上实时运行。在本文中，我们研究通过网络修剪和量化减少神经网络的计算和内存需求。我们研究了它们在AlexNet等大型网络上的功效，并与最近的紧凑架构：ShuffleNet和MobileNet进行了比较。我们的研究结果表明，修剪和量化将这些网络压缩到原始大小的一半以下，并提高了它们的效率，特别是在MobileNet上，速度提高了7倍。我们还证明了修剪，除了减少网络中的参数数量，可以帮助纠正过拟合。
2020-01-14 cs.LG stat.ML
Enhancing the Regularization Effect of Weight Pruning in Artificial Neural Networks
Florida State University（佛罗里达州立大学）
人工神经网络（ANN）在用于移动电话或嵌入式设备时可能不值得其计算/存储器成本。参数修剪算法可以降低这些成本，一些算法能够在不损害ANN性能的情况下去除ANN的90%以上的权重。从ANN中去除权重是一种正则化形式，但现有的修剪算法并不能显着改善泛化误差。我们表明，修剪人工神经网络可以提高泛化，如果修剪的目标是大的权重，而不是小的权重。将我们的修剪算法应用到ANN中，会导致CIFAR-10数据上的图像分类精度比应用流行的正则化丢弃更高。修剪将这种更高的准确性与ANN参数计数减少85%相结合。
2018-05-04 cs.LG stat.ML
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics（LG电子）
随着卷积神经网络（CNN）模型大小不断增加的总体趋势，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中，我们提供了一个全面的调查修剪，一个主要的压缩策略，从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机，不同的策略和标准，它们的优点和缺点，以及主要修剪技术的汇编。最后，我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
What is the State of Neural Network Pruning?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
神经网络修剪--通过去除参数来减小网络规模的任务--近年来一直是大量工作的主题。我们提供了文献的荟萃分析，包括修剪方法的概述和文献中一致的发现。在汇总了81篇论文的结果并在受控条件下修剪了数百个模型之后，我们最清楚的发现是，社区缺乏标准化的基准和指标。这一缺陷是相当大的，很难比较修剪技术彼此或确定有多少进展，该领域已经取得了在过去的三十年。为了解决这种情况，我们确定了当前实践中的问题，提出了具体的补救措施，并引入了ShrinkBench，这是一个开源框架，用于促进修剪方法的标准化评估。我们使用ShrinkBench比较各种修剪技术，并表明其综合评估可以防止比较修剪方法时常见的陷阱。
2020-03-06 cs.LG stat.ML
Network Pruning for Low-Rank Binary Indexing
Samsung Research（三星研究院）；Harvard University（哈佛大学）
剪枝是一种有效的模型压缩技术，用于去除深度神经网络（DNN）连接中的冗余。然而，使用通过修剪参数获得的稀疏矩阵的计算表现出极大不同的并行性，这取决于索引表示方案。因此，细粒度修剪没有得到太多的关注，由于其不规则的索引形式导致大的内存占用和低并行卷积和矩阵乘法。在本文中，我们提出了一种新的网络修剪技术，产生一个低秩的二进制索引矩阵压缩索引数据，而解压缩索引数据是通过简单的二进制矩阵乘法执行。这种压缩方法找到了一个特定的细粒度修剪掩码，可以分解成两个二进制矩阵。我们还提出了一个基于瓦片的因式分解技术，不仅降低了内存需求，但也提高了压缩比。与以前的稀疏矩阵格式相比，各种DNN模型可以使用更少的索引进行修剪，同时保持相同的修剪率。
2019-05-14 cs.LG stat.ML
Structured Probabilistic Pruning for Convolutional Neural Network Acceleration
Zhejiang University（浙江大学）
在本文中，我们提出了一种新的渐进式参数修剪方法的卷积神经网络加速，命名为结构概率修剪（SPP），有效地修剪卷积层的权重概率的方式。与现有的确定性修剪方法不同，其中不重要的权重被永久地消除，SPP为每个权重引入修剪概率，并且通过从修剪概率中采样来指导修剪。设计了一种机制，在训练过程中根据重要性标准增加和减少剪枝概率。实验表明，在4倍加速的情况下，SPP可以加速AlexNet，而ImageNet分类中的前5名准确率仅损失0.3%，VGG-16则损失0.8%。此外，SPP可以直接应用于加速多分支CNN网络，如ResNet，而无需特定的适配。我们的2倍加速ResNet-50在ImageNet上只损失了0.8%的前5名准确率。我们进一步证明了SPP对迁移学习任务的有效性。
2018-09-10 cs.LG stat.ML
Pruning Convolutional Neural Networks for Resource Efficient Inference
NVIDIA（英伟达）
我们提出了一种新的公式来修剪神经网络中的卷积核，以实现有效的推理。我们交错贪婪的基于标准的修剪与微调反向传播-一个计算效率高的过程，保持良好的泛化修剪网络。我们提出了一个新的标准，泰勒展开的基础上，近似修剪网络参数引起的成本函数的变化。我们专注于迁移学习，其中大型预训练网络适用于专门的任务。与其他标准相比，所提出的标准表现出优越的性能，例如内核权重或特征图激活的范数，用于在适应细粒度分类任务（Birds-200和Flowers-102）后仅依赖于一阶梯度信息来修剪大型CNN。我们还表明，修剪可以导致超过10倍的理论（5倍的实际）减少自适应3D卷积滤波器的准确性在一个小的下降，在一个经常性的手势分类。最后，我们展示了大规模ImageNet数据集的结果，以强调我们方法的灵活性。
2017-06-08 cs.LG stat.ML
Geometric Median (GM) Matching for Robust Data Pruning
UT Austin（德克萨斯大学奥斯汀分校）；Google（谷歌公司）；Amazon（亚马逊公司）
针对大规模现实数据存在噪声的问题，提出几何中位数（GM）匹配贪心算法，理论上证明其缩放性能更优且鲁棒性强，实验显示其在多种基准下性能超越现有方法，为鲁棒数据剪枝提供强基线。
2025-01-17 cs.AI cs.LG
Statistical Mechanical Analysis of Neural Network Pruning
University of Rochester（罗切斯特大学）
具有大量参数的深度学习架构通常使用修剪技术进行压缩，以确保部署期间推理的计算效率。尽管有大量的实证研究进展，但缺乏对不同修剪方法有效性的理论理解。我们检查不同的修剪技术下的统计力学制定的师生框架，并推导出他们的泛化误差（GE）的界限。在真实数据集上的测试表明，基于行列式点过程（DPP）的节点剪枝方法明显优于竞争方法。在上述设置中使用GE界限，我们为他们的经验观测提供了理论保证。文献中的另一个一致发现是，对于固定数量的参数，稀疏神经网络（边缘修剪）比密集神经网络（节点修剪）更好地推广。我们使用我们的理论设置来证明这一发现，并表明，即使是基线随机边缘修剪方法比DPP节点修剪方法的性能更好。我们还在真实数据集上验证了这一点。
2021-06-11 cs.LG stat.ML
Differentiable Mask for Pruning Convolutional and Recurrent Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
剪枝是最有效的模型降阶技术之一。深度网络需要大量的计算，这些模型需要压缩才能在边缘设备上使用。大多数现有的修剪技术都集中在基于视觉的模型上，如卷积网络，而基于文本的模型仍在不断发展。多模态多任务学习的出现需要一种通用的方法，同时适用于视觉和文本架构。我们引入了一个\emph{differentiable mask}，诱导稀疏的各种粒度，以填补这一空白。我们成功地将我们的方法应用于修剪权重，滤波器，卷积架构的子网络以及递归网络的节点。
2020-04-29 cs.LG stat.ML
Effective Network Compression Using Simulation-Guided Iterative Pruning
KAIST（韩国科学技术院）；NOTA Incorporated（NOTA公司）
现有的高性能深度学习模型需要非常密集的计算。因此，很难将深度学习模型嵌入到资源有限的系统中。在本文中，我们提出了一种新的想法，网络压缩作为一种方法来解决这个限制。该思想的原理是通过模拟简化后的网络，使迭代剪枝更加有效和复杂。通过一个简单的实验对该方法进行了评价，结果表明，在相同的剪枝水平下，该方法比现有方法具有更高的性能。
2019-02-12 cs.LG stat.ML
Spectral Pruning for Recurrent Neural Networks
Hokkaido University（北海道大学）；AISIN SOFTWARE Co., Ltd.（爱信软件有限公司）；Advanced Institute for Materials Research, Tohoku University（东北大学材料前沿研究中心）；Nagoya University（名古屋大学）
本文针对RNN剪枝方法多为启发式的问题，提出受“spectral pruning”启发的剪枝算法，并给出压缩RNN的泛化误差界限，数值实验验证了其有效性。
2021-10-06 cs.LG stat.ML
"Understanding Robustness Lottery": A Geometric Visual Comparative Analysis of Neural Network Pruning Approaches
University of Utah（犹他大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本研究提出一种基于视觉几何分析的可视化系统，用于对比神经网络剪枝方法对内部特征表示和鲁棒性的影响，帮助研究人员揭示不同剪枝方法的差异并识别鲁棒或脆弱样本。
2023-10-25 cs.HC cs.LG
Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning
KAIST EE（韩国科学技术院电子工程学院）；KAIST AI（韩国科学技术院人工智能学院）
基于幅度的剪枝是对神经网络进行剪枝的最简单的方法之一。尽管它的简单性，基于幅度的修剪和它的变种表现出显着的性能修剪现代架构。基于观察，基于幅度的修剪确实最大限度地减少了Frobenius失真的线性算子对应于一个单一的层，我们开发了一个简单的修剪方法，创造前瞻修剪，通过扩展单层优化到多层优化。我们的实验结果表明，所提出的方法在各种网络（包括VGG和ResNet）上的性能始终优于基于幅度的修剪，特别是在高稀疏性的情况下。请参见www.example.com获取代码。
2020-02-12 cs.LG stat.ML
Renormalized Sparse Neural Network Pruning
Pacific Northwest National Lab（太平洋西北国家实验室）；University of Maryland at College Park（马里兰大学帕克分校）
大型神经网络是严重过度参数化的。这样做是因为它提高了训练的最优性。然而，一旦网络被训练，这意味着许多参数可以被归零或修剪，留下一个等效的稀疏神经网络。我们提出重新规范化稀疏神经网络，以提高精度。我们证明了当网络参数聚类或集中时，我们的方法的误差收敛到零。我们证明了，没有重整化，误差一般不收敛到零。我们在真实世界的数据集MNIST，Fashion MNIST和CIFAR-10上实验了我们的方法，并证实了重正化与标准修剪相比在准确性上有很大的提高。
2022-07-08 cs.LG stat.ML
One-Shot Pruning of Recurrent Neural Networks by Jacobian Spectrum Evaluation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
稀疏神经网络文献中的最新进展使得仅用少量数据就可以修剪许多大型前馈和卷积网络。然而，这些相同的技术往往动摇时，应用于恢复稀疏递归网络的问题。这些故障是定量的：当使用最近的技术修剪时，RNN通常获得比在简单随机修剪方案下更差的性能。失败也是定性的：修剪的LSTM或GRU网络中的活动权重的分布往往集中在特定的神经元“与”门中，而不是很好地分散在整个架构中。我们试图纠正定量和定性问题与经常性网络修剪引入一个新的经常性修剪目标来自经常性雅可比矩阵的频谱。我们的目标是数据高效（只需要64个数据点来修剪网络），易于实现，并产生95%的稀疏GRU，显着改善现有的基线。我们评估顺序MNIST，十亿字，和Wikitext。
2019-11-30 cs.LG stat.ML
Magnitude and Uncertainty Pruning Criterion for Neural Networks
University of Oslo（奥斯陆大学）；University of Copenhagen（哥本哈根大学）
神经网络近年来取得了巨大的进步，并描绘了当今许多现实世界任务的最先进的方法。然而，一个缺点是，这些模型中的许多都是过度参数化的，这使得它们在计算和内存上都很密集。此外，过参数化还可能导致不期望的过拟合副作用。最近提出的幅度为基础的修剪计划和Wald测试从统计领域的启发，我们引入了一种新的幅度和不确定性（M&U）修剪标准，有助于减少这样的缺点。我们的M&U修剪准则的一个重要优点是，它是尺度不变的，基于幅度的修剪准则遭受的现象。此外，我们提出了一个“伪引导”计划，它可以有效地估计权重的不确定性，通过使用它们的更新信息在训练过程中。我们的实验评估，这是基于各种神经网络架构和数据集，表明我们的新标准导致更多的压缩模型相比，模型是完全基于基于幅度的修剪标准，与此同时，在预测能力的损失较少。
2019-12-10 cs.LG stat.ML
Knapsack Pruning with Inner Distillation
Alibaba Damo Academy（阿里巴巴达摩院）
神经网络剪枝减少了过参数化网络的计算量，提高了网络的效率。流行的方法从$\ell_1$ -范数稀疏化到神经结构搜索（NAS）。在这项工作中，我们提出了一种新的修剪方法，优化修剪网络的最终精度，并从过参数化的父网络的内层提取知识。为了实现这种方法，我们将网络修剪公式化为背包问题，该问题优化了神经元的重要性及其相关计算成本之间的权衡。然后，我们修剪网络通道，同时保持网络的高层结构。修剪后的网络在父网络的监督下使用其内部网络知识进行微调，我们将这种技术称为内部知识蒸馏。我们的方法使用ResNet主干在ImageNet，CIFAR-10和CIFAR-100上产生了最先进的修剪结果。为了修剪复杂的网络结构，例如具有跳过链接的卷积和深度卷积，我们提出了一种块分组方法来处理这些结构。通过这种方式，我们产生了紧凑的架构，具有与EfficientNet-B 0和MobileNetV 3相同的FLOP，但具有更高的准确性，分别在ImageNet上使用$1\%$和$0.3\%$，并且在GPU上运行速度更快。
2020-06-03 cs.LG stat.ML
Exploring the Performance of Pruning Methods in Neural Networks: An Empirical Study of the Lottery Ticket Hypothesis
University of Cambridge（剑桥大学）
在本文中，我们探讨了不同的修剪方法的彩票假设的背景下的性能。我们比较了L1非结构化修剪，Fisher修剪和随机修剪在不同网络架构和修剪场景下的性能。实验包括一次和迭代修剪的评价，在修剪过程中的网络中的权重移动的检查，不同宽度的网络上的修剪方法的比较，以及当网络变得非常稀疏的方法的性能分析。此外，我们提出并评估了一种新的方法，有效地计算Fisher剪枝，称为批量Fisher剪枝。
2023-03-26 cs.LG
A Signal Propagation Perspective for Pruning Neural Networks at Initialization
University of Oxford（牛津大学）；Australian National University（澳大利亚国立大学）
网络修剪是压缩深度神经网络的一种有前途的途径。一种典型的修剪方法首先训练模型，然后删除冗余参数，同时最大限度地减少对学习内容的影响。或者，最近的一种方法表明，修剪可以在训练之前的初始化中完成，基于称为连接敏感性的显着性标准。然而，目前还不清楚为什么修剪一个未经训练的、随机初始化的神经网络是有效的。在这项工作中，通过注意到连接敏感性作为一种形式的梯度，我们正式表征初始化条件，以确保可靠的连接敏感性测量，这反过来又产生有效的修剪结果。此外，我们分析了由此产生的修剪网络的信号传播特性，并引入了一个简单的，无数据的方法来提高其可训练性。我们修改现有的修剪在初始化方法导致所有测试的网络模型的图像分类任务的改进结果。此外，我们实证研究监督修剪的效果，并证明我们的信号传播的角度来看，结合无监督修剪，可以在各种情况下，修剪应用于非标准的任意设计的架构是有用的。
2020-02-16 cs.CV cs.LG stat.ML
Channel-wise pruning of neural networks with tapering resource constraint
Intel Corp.（英特尔公司）
神经网络剪枝是为计算能力有限的边缘设备设计高效神经网络的重要步骤。剪枝是将知识从原网络的权重转移到较小的目标子网络的一种形式。本文提出了一种新的卷积神经网络计算约束结构化通道剪枝方法。该方法迭代地微调网络，同时通过拉格朗日乘子法框架中的完整约束逐渐减少修剪网络可用的计算资源。提供了一种显式的和自适应的自动控制锥度的速度。我们的修剪方法的可训练参数与神经网络的权重分离，这允许我们避免对神经网络求解器的干扰（例如，避免修剪速度对神经网络学习率的直接依赖）。我们的方法结合了“严格”的方法，直接应用约束优化，避免了陷阱的ADMM为基础的方法，如他们需要定义的目标资源量为每个修剪运行，修剪速度和修剪层之间的权重的相对规模的优先级的直接依赖。对于VGG-16@ILSVRC-2012，我们实现了15.47 -> 3.87 GMAC的降低，其中仅1%的前1准确度降低（68.4% -> 67.4%）。对于AlexNet @ ILSVRC-2012，我们实现了0.724 -> 0.411 GMAC，前1个准确度降低了1%（56.8% -> 55.8%）。
2018-12-04 cs.CV cs.LG stat.ML
Network Pruning via Annealing and Direct Sparsity Control
Florida State University（佛罗里达州立大学）
人工神经网络（ANN）尤其是深度卷积网络目前非常流行，并且已被证明成功地为许多视觉问题提供了非常可靠的解决方案。然而，深度神经网络的使用受到其密集的计算和存储成本的广泛阻碍。在本文中，我们提出了一种新的有效的网络修剪方法，适用于非结构化和结构化的通道级修剪。我们提出的方法收紧稀疏性约束，逐渐删除网络参数或过滤器通道的基础上的标准和时间表。网络大小在整个迭代过程中不断下降的吸引人的事实使其适合于修剪任何未经训练或预先训练的网络。因为我们的方法使用$L_0$约束而不是$L_1$惩罚，所以它不会在训练参数或滤波器通道中引入任何偏差。此外，$L_0$约束使得在网络修剪过程中容易直接指定期望的稀疏水平。最后，在大量的合成和真实视觉数据集上进行了实验验证，结果表明，与其他现有的网络剪枝方法相比，该方法具有更好的性能。
2020-07-27 cs.LG cs.NE stat.ML
Geometric Median Matching for Robust k-Subset Selection from Noisy Data
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）；UC Berkeley（加州大学伯克利分校）；Bespoke Labs；Google（谷歌公司）
针对现有数据剪枝方法在高损坏率下因依赖经验均值估计而失效的问题，提出几何中位数匹配策略，通过迭代选择均值近似于数据集几何中位数的k-子集以确保稳健性，理论证明其收敛率有二次提升，并在图像分类与生成任务中表现优异。
2025-04-03 cs.LG
Privacy-preserving Learning via Deep Net Pruning
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
本文试图回答神经网络剪枝是否可以作为一种工具来实现差分隐私而不会损失太多数据效用的问题。作为理解神经网络修剪和差分隐私之间关系的第一步，本文证明了修剪神经网络的给定层相当于在其隐藏层激活中添加一定量的差异隐私噪声。本文还提出了实验结果，以显示在一个简单的实际设置的理论发现和关键参数值的实际意义。这些结果表明，神经网络修剪可以是一个更有效的替代添加差分私有噪声的神经网络。
2020-03-04 cs.CR cs.LG stat.ML
SiPPing Neural Networks: Sensitivity-informed Provable Pruning of Neural Networks
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Robotics and Big Data Laboratory, University of Haifa（海法大学机器人与大数据实验室）
我们引入了一种修剪算法，该算法可以证明稀疏化训练模型的参数，从而近似保留模型的预测准确性。我们的算法使用一小批输入点，构建一个数据通知的重要性采样分布在网络的参数，并自适应地混合基于采样和确定性修剪过程，以丢弃冗余的权重。我们的修剪方法同时计算效率高，可证明是准确的，并广泛适用于各种网络架构和数据分布。我们的实证比较表明，我们的算法可靠地产生高度压缩的网络，相对于原始网络的性能损失最小。我们目前的实验结果表明，我们的算法的潜力，挖掘出必要的网络连接，可以成功地训练隔离，这可能是独立的利益。
2021-03-15 cs.DS cs.LG stat.ML
Recall Distortion in Neural Network Pruning and the Undecayed Pruning Algorithm
Bucknell University（巴克内尔大学）；University of Utah（犹他大学）；Colby College（科尔比学院）
剪枝技术已成功地用于神经网络中，以精确度换取稀疏性。然而，网络修剪的影响并不均匀：先前的工作表明，数据集中代表性不足的类的召回可能会受到更大的负面影响。在这项工作中，我们研究了这种相对扭曲的回忆，通过假设一个强化效应，是固有的模型。也就是说，修剪使召回率低于准确率的类的召回率相对更差，相反，它使召回率高于准确率的类的召回率相对更好。此外，我们提出了一种新的修剪算法，旨在削弱这种影响。通过统计分析，我们已经观察到，我们的算法的强化不太严重，但在相对更困难的任务、不太复杂的模型和更高的剪枝率下，强化更明显。更令人惊讶的是，我们相反地观察到具有较低修剪比率的去强化效应，这表明适度修剪可能对这种扭曲具有校正效应。
2022-11-12 cs.LG
ICE-Pruning: An Iterative Cost-Efficient Pruning Pipeline for Deep Neural Networks
School of Computing Science University of Glasgow（计算科学学院格拉斯哥大学）
针对现有迭代剪枝流水线反复微调导致计算成本高的问题，本文提出ICE-Pruning迭代剪枝流水线，通过自动微调判定、冻结策略和剪枝感知学习率调度器，在保持精度的同时最高将剪枝速度提升9.61倍。
2025-06-15 cs.CV cs.LG stat.ML
A Probabilistic Approach to Neural Network Pruning
Northwestern University（西北大学）
神经网络修剪技术在不损害网络预测能力的情况下减少参数的数量。已经开发了许多算法用于修剪过参数化全连接网络（FCN）和卷积神经网络（CNN），但是缺乏对这种修剪的子网络的能力和压缩比的分析研究。我们从理论上研究了两种剪枝技术（随机和基于幅度）对FCN和CNN的性能。给定一个目标网络{其权重从适当的分布中独立采样}，我们提供了一种通用的方法来在概率意义上限制修剪网络和目标网络之间的差距。结果表明，存在修剪网络的表达能力在任何指定的范围内从目标网络。
2021-05-20 cs.LG
A Closer Look at Structured Pruning for Neural Network Compression
University of Edinburgh（爱丁堡大学）
结构化修剪是压缩神经网络的一种流行方法：给定一个大型训练网络，在删除通道连接和微调之间交替;减少网络的整体宽度。然而，结构化修剪的功效在很大程度上逃避了审查。在本文中，我们研究了通过结构化修剪和调整获得的ResNets和DenseNets，并进行了两个有趣的观察：（i）简化网络-从头开始训练的原始网络的较小版本-始终优于修剪网络;（ii）如果采用修剪网络的架构，然后从头开始训练它，它会显着更具竞争力。此外，这些架构很容易近似：我们可以修剪一次并获得一系列新的可扩展的网络架构，这些架构可以简单地从头开始训练。最后，我们在硬件上比较了简化和修剪网络的推理速度，并表明简化网络的速度明显更快。代码可在https://github.com/BayesWatch/pytorch-prunes上获得。
2019-06-07 cs.CV cs.LG stat.ML
Membership Inference Attacks and Defenses in Neural Network Pruning
Michigan Technological University（密歇根理工大学）
神经网络修剪是一种重要的技术，用于减少将深度神经网络用于资源受限设备的计算和存储器需求。大多数现有的研究主要集中在平衡的稀疏性和准确性的修剪神经网络，通过战略性地删除无关紧要的参数和重新训练修剪模型。这种重复使用训练样本的努力由于增加记忆而造成严重的隐私风险，然而，尚未进行调查。本文首先对神经网络剪枝中的隐私风险进行了分析。具体来说，我们研究了神经网络修剪对训练数据隐私的影响，即，成员推断攻击。我们首先探讨了神经网络修剪对预测发散的影响，其中修剪过程不成比例地影响修剪模型的成员和非成员行为。同时，分歧的影响甚至在不同的类之间以细粒度的方式变化。受此启发，提出了一种针对剪枝后的神经网络的自注意成员推断攻击.进行了大量的实验，严格评估隐私的影响，不同的修剪方法，稀疏水平，和对手的知识。与现有的8种成员推断攻击相比，该攻击在剪枝模型上表现出更高的攻击性能。此外，我们提出了一种新的防御机制，以保护修剪过程中，通过减轻基于KL-发散距离的预测分歧，其有效性已被实验证明，有效地减轻隐私风险，同时保持稀疏性和准确性的修剪模型。
2022-08-03 cs.CR cs.LG stat.ML
Three Dimensional Convolutional Neural Network Pruning with Regularization-Based Method
Zhejiang University（浙江大学）；SUTD-ZJU IDEA（新加坡科技设计大学-浙江大学 信息与数据科学联合实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
三维卷积神经网络（3D CNN）在视频分析中有着广泛的应用，但由于其计算量大、存储量大等特点，限制了其在视频分析中的应用。为了解决这个问题，我们提出了一个三维正则化为基础的神经网络修剪方法来分配不同的正则化参数，不同的权重组的基础上，他们的重要性的网络。此外，我们分析了每一层的冗余和计算成本，以确定不同的剪枝率。实验表明，基于我们的方法修剪可以导致2倍的理论加速比，只有0.41%的准确率损失3DResNet18和3.28%的准确率损失C3D。与其他流行的模型压缩和加速方法相比，该方法具有良好的性能。
2019-05-20 cs.CV cs.LG stat.ML
Structured Deep Neural Network Pruning via Matrix Pivoting
UC Berkeley（加州大学伯克利分校）；numericcal
深度神经网络（DNN）是最先进的机器视觉、传感器融合和音频/视频信号处理的关键。不幸的是，它们的计算复杂性和边缘上的严格资源限制使得它们很难在移动，嵌入式和物联网设备上利用。由于边缘设备的多样性，DNN设计人员必须在网络培训期间考虑硬件平台和应用需求。在这项工作中，我们通过矩阵旋转引入修剪，通过在架构无关的设计灵活性和架构感知修剪的性能效率之间进行妥协来改善网络修剪，这是获得资源高效DNN的两种主要技术。我们还描述了本地和全局网络优化技术，从而有效地实现修剪网络。在组合中，所提出的修剪和实现导致在修剪期间随着网络系数的减少而接近线性加速。
2017-12-01 cs.LG
A Gradient Flow Framework For Analyzing Network Pruning
EECS Department（EECS系）；University of Michigan（密歇根大学）；Ann Arbor, MI 48105, USA（美国密歇根州安娜堡市48105（注意：这部分按要求不应提取，此处为错误识别，正确应为仅保留大学/学院/公司/研究院级别，即仅提取University of Michigan，而EECS Department是系别，不应提取，Ann Arbor是城市，不应提取。修正后正确输出应为{）
最近的网络修剪方法专注于在训练早期修剪模型。为了估计删除参数的影响，这些方法使用了最初设计用于修剪训练模型的重要性度量。尽管缺乏在训练早期使用它们的理由，但这些措施导致了令人惊讶的低准确性损失。为了更好地解释这种行为，我们开发了一个通用框架，该框架使用梯度流通过模型参数的范数来统一最先进的重要性度量。我们使用这个框架来确定修剪措施和模型参数演变之间的关系，建立了几个与训练早期修剪模型相关的结果：（i）基于幅度的修剪删除了对减少损失贡献最小的参数，导致模型比幅度不可知的方法收敛得更快;（ii）基于损失保持的修剪保留了一阶模型演化动力学，因此适合于修剪最少训练的模型;以及（iii）基于梯度范数的修剪影响二阶模型演化动力学，使得通过修剪增加梯度范数可能产生性能差的模型。我们在几个VGG-13、MobileNet-V1和ResNet-56模型上验证了我们的声明，这些模型都是在CIFAR-10/CIFAR-100上训练的。代码可在www.example.com获得。
2021-09-23 cs.CV cs.LG stat.ML
Revisiting hard thresholding for DNN pruning
DNN修剪最常见的方法是对网络权重进行硬阈值处理，然后进行再训练以恢复任何丢失的准确性。最近开发的智能修剪算法使用DNN对各种成本函数的训练集的响应来确定冗余的网络权重，从而减少准确性下降，并可能减少重新训练时间。对于总的修剪时间（修剪时间+再训练时间）的实验，我们表明，硬阈值，然后再训练仍然是最有效的方式，减少网络参数的数量。然而，智能修剪算法仍然具有优势时，再训练是不可能的。在这种情况下，我们提出了一种新的智能修剪算法的基础上凸函数优化的差异，并表明它往往是数量级的速度比竞争的方法，同时实现最低的分类精度退化。此外，我们从理论上研究了硬阈值对DNN精度的影响。我们发现，准确性下降增加与其余的网络深度从修剪层。我们还发现了潜在的维度之间的联系的训练数据流形和网络的鲁棒性硬阈值。
2019-05-21 cs.AI cs.LG stat.ML
Confident magnitude-based neural network pruning
ITAM（墨西哥技术研究所）
针对神经网络剪枝缺乏可靠不确定性保证的问题，本文提出基于置信幅度的剪枝方法，利用无分布不确定性量化提供有限样本统计保证，并通过计算机视觉实验验证其可安全部署稀疏网络。
2024-08-08 cs.LG
A "Network Pruning Network" Approach to Deep Model Compression
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了一个过滤器修剪方法，深度模型压缩，使用多任务网络。我们的方法是基于学习一个修剪器网络来修剪一个预先训练好的目标网络。修剪器本质上是一个多任务深度神经网络，具有二进制输出，有助于识别原始网络每层中对模型没有任何显著贡献的过滤器，因此可以修剪。修剪器网络具有与原始网络相同的架构，除了它具有包含二进制值输出（每个过滤器一个）的多任务/多输出最后一层，这表明哪些过滤器必须被修剪。修剪器的目标是通过为相应的输出特征图分配零权重来最小化原始网络中的过滤器数量。与大多数现有方法相比，我们的方法不依赖于迭代修剪，而是可以一次性修剪网络（原始网络），而且不需要指定每层的修剪程度（并且可以学习它）。我们的方法产生的压缩模型是通用的，不需要任何特殊的硬件/软件支持。此外，增加其他方法，如知识蒸馏，量化，连接修剪可以增加所提出的方法的压缩程度。我们展示了我们所提出的方法分类和目标检测任务的有效性。
2020-01-15 cs.CV cs.LG stat.ML
Rethinking the Value of Network Pruning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Tsinghua University（清华大学）
网络修剪被广泛用于在低资源设置中降低深度模型的沉重推理成本。典型的修剪算法是三级流水线，即，训练（大型模型）、修剪和微调。在剪枝过程中，根据一定的准则，冗余的权重被删除，重要的权重被保留，以最大限度地保持精度。在这项工作中，我们提出了一些令人惊讶的观察结果，这些观察结果与普遍的看法相矛盾。对于我们研究的所有最先进的结构化修剪算法，微调修剪后的模型只能提供与使用随机初始化权重训练该模型相当或更差的性能。对于假设预定义目标网络架构的修剪算法，可以摆脱完整的流水线并直接从头开始训练目标网络。我们的观察结果对于多个网络架构，数据集和任务是一致的，这意味着：1）训练大的、过度参数化的模型通常不是获得有效的最终模型所必需的，2）学习的大模型的“重要”权重通常对小的修剪模型没有用，3）修剪的体系结构本身，而不是一组继承的“重要”权重，对于最终模型的效率更重要，这表明在某些情况下修剪可以作为架构搜索范例。我们的研究结果表明，需要更仔细的基线评估，在未来的研究结构化修剪方法。我们还与“彩票假设”（Frankle & Carbin 2019）进行了比较，发现在最佳学习率下，Frankle & Carbin（2019）中使用的“中奖彩票”初始化并没有带来随机初始化的改进。
2019-03-05 cs.CV cs.LG stat.ML
Pruning Neural Networks at Initialization: Why are We Missing the Mark?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Element AI（Element AI公司）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
最近的工作探索了在初始化时修剪神经网络的可能性。我们评估这样做的建议：SNIP（Lee等人，2019），GraSP（Wang et al.，2020）、SynFlow（Tanaka等人，2020年）和幅度修剪。尽管这些方法超越了随机修剪的平凡基线，但它们在训练后仍然低于幅度修剪的准确性，我们试图理解为什么。我们表明，与训练后修剪不同，随机打乱这些方法在每层中修剪的权重或采样新的初始值可以保留或提高准确性。因此，由这些方法做出的每权重修剪决策可以由要修剪的权重的分数的每层选择来代替。此属性表明了底层修剪算法、在初始化时修剪的愿望或两者的更广泛挑战。
2021-03-21 cs.CV cs.LG cs.NE
An End-to-End Network Pruning Pipeline with Sparsity Enforcement
Princeton University（普林斯顿大学）
本文提出一种覆盖训练全阶段的端到端剪枝流水线，结合非标准初始化、预剪枝训练与剪枝后优化，在实验中显著超越了现有最先进的神经网络稀疏化方法。
2023-12-04 cs.LG
Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls for Network Pruning
Qualcomm Technologies Inc.（高通技术公司）
我们报告，第一次，在深神经网络的级联重量脱落现象，在响应修剪一小部分的网络的权重，其余的大部分是脱落在几个时期在随后的微调阶段。我们表明，级联重量脱落，当存在时，可以显着提高性能，否则次优方案，如随机修剪。这解释了为什么某些修剪方法在某些情况下可能表现良好，但在其他情况下表现不佳，例如，ResNet50与MobileNetV3。我们提供了为什么基于全局幅度的修剪，即，GMP尽管简单，但在广泛的场景中提供了具有竞争力的性能。我们还证明了级联的重量脱落的潜力，提高GMP的准确性，并降低其计算复杂性。在这样做的时候，我们强调修剪和学习率调度的重要性。我们阐明了重训练的权重和学习率重绕方法，显示了它们与级联减重的可能联系以及它们优于微调的原因。我们还调查级联的重量脱落的效果保持的重量，其影响半结构化修剪。最后，我们给出了未来研究的方向。
2021-03-19 cs.LG
Convolutional Neural Network Pruning with Structural Redundancy Reduction
The University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）；Sun Yat-sen University（中山大学）
卷积神经网络（CNN）剪枝是近年来最成功的网络压缩方法之一。现有的网络修剪工作通常集中在删除网络中最不重要的过滤器，以实现紧凑的架构。在这项研究中，我们声称，识别结构冗余起着更重要的作用，比发现不重要的过滤器，理论和经验。我们首先从冗余减少的角度对网络修剪问题进行统计建模，发现在具有最多结构冗余的层中进行修剪优于在所有层中修剪最不重要的过滤器。基于这一发现，我们提出了一种网络修剪方法，该方法识别CNN的结构冗余，并修剪具有最大冗余的选定层中的滤波器。在各种基准网络架构和数据集上的实验表明，我们提出的方法显着优于以前的最先进的。
2021-04-08 cs.CV cs.LG
Pruning Early Exit Networks
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
表现良好的深度学习模型通常具有很高的计算成本。在本文中，我们结合了两种方法，试图降低计算成本，同时保持模型的高性能：修剪和早期退出网络。我们评估了两种修剪早期退出网络的方法：（1）一次修剪整个网络，（2）以有序的方式修剪基础网络和附加的线性分类器。实验结果表明，在一般情况下，修剪整个网络一次是一个更好的策略。然而，在高准确率下，这两种方法具有相似的性能，这意味着修剪和提前退出的过程可以分离而不损失最优性。
2022-07-08 cs.CV cs.LG cs.NE
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
Lahore University of Management Sciences（拉合尔管理科学大学）
针对极度稀疏剪枝中的表征崩溃问题，提出BaCP方法，通过对比对齐预训练等模型来正则化嵌入空间，在90种设置下显著提升极度稀疏时的准确率。
2026-10-05 cs.LG
Why is the State of Neural Network Pruning so Confusing? On the Fairness, Comparison Setup, and Trainability in Network Pruning
Northeastern University（东北大学）
神经网络修剪的状态已经被注意到是不清楚的，甚至混乱了一段时间，主要是由于“缺乏标准化的基准和指标”[3]。为了标准化基准，首先，我们需要回答：什么样的比较设置被认为是公平的？很可惜，这个基本而重要的问题，在社会上几乎没有得到澄清。同时，我们观察到一些论文在剪枝实验中使用了（严重的）次优超参数，而其背后的原因也是难以捉摸的。这些次优超参数进一步加剧了扭曲的基准，使神经网络修剪的状态更加模糊。修剪中的两个谜团代表了这种令人困惑的状态：较大的微调学习率的性能提升效果，以及过滤器修剪中继承预训练权重的无价值论点。在这项工作中，我们试图通过揭开这两个谜团来解释网络修剪的混乱状态。具体而言，首先阐明剪枝实验中的公平性原则，并总结了广泛使用的比较设置;其次揭示了两个剪枝奥秘，并指出了迄今为止尚未得到很好认识的网络可训练性的核心作用;最后总结了本文，并对未来如何校准剪枝基准给出了一些具体建议。代码：https://github.com/mingsun-tse/why-the-state-of-pruning-so-confusing.
2023-02-21 cs.AI cs.CV cs.LG
Cyclical Pruning for Sparse Neural Networks
Idiap Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；Qualcomm AI Research（高通人工智能研究院）
用于修剪神经网络权重的当前方法迭代地对模型权重应用基于幅度的修剪，并重新训练所得到的模型以恢复丢失的准确性。在这项工作中，我们表明，这种策略不允许错误修剪的权重的恢复。为了使权重恢复，我们提出了一个简单的策略称为\textit{cyclical pruning}，它需要定期修剪时间表，并允许在一个周期中错误修剪的权重在随后的恢复。在线性模型和大规模深度神经网络上的实验结果表明，循环剪枝优于现有的剪枝算法，特别是在高稀疏率下。我们的方法很容易调整，可以很容易地纳入现有的修剪管道，以提高性能。
2022-02-02 cs.CV cs.LG
Pruning-Aware Merging for Efficient Multitask Inference
ETH Zürich（苏黎世联邦理工学院）；Beihang University（北京航空航天大学）；Singapore Management University（新加坡管理大学）
许多移动应用程序需要在资源受限的平台上选择性地执行多个相关的深度学习推理任务。给定一组深度神经网络，每个神经网络针对单个任务进行预训练，期望执行任务的任意组合产生最小的计算成本。由于任务相关性，单独修剪每个网络会产生次优的计算成本。一个有希望的补救措施是将网络合并成一个多任务网络，以消除网络修剪之前跨任务的冗余。然而，修剪由现有的网络合并方案组合的多任务网络不能最小化每个任务组合的计算成本，因为他们不考虑这样的未来修剪。为此，我们从理论上确定的条件，使修剪多任务网络的所有任务组合的计算最小化。在此基础上，我们提出了修剪感知合并（PAM），一个启发式的网络合并计划，以构建一个多任务网络，近似这些条件。合并后的网络，然后准备进一步修剪现有的网络修剪方法。对不同修剪方案、数据集和网络架构的评估表明，PAM在没有网络合并的情况下，计算量比基线减少了4.87倍，在使用最先进的网络合并方案的情况下，计算量比基线减少了2.01倍。
2021-05-28 cs.LG cs.NE
Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation
Northwestern University（西北大学）
现有的修剪深度神经网络的方法集中于去除训练网络的不必要的参数，并且之后对模型进行微调以找到恢复训练模型的初始性能的好的解决方案。与其他工作不同，我们的方法特别注意压缩模型中的解的质量和通过修剪神经元的推理计算时间。该算法通过探索Hessian的谱半径来指导压缩模型的参数朝向更平坦的解，从而在看不见的数据上产生更好的泛化。此外，该方法不与预先训练的网络一起工作，并且同时执行训练和修剪。我们的结果表明，它改善了神经元压缩的最先进的结果。该方法能够实现非常小的网络，在不同的神经网络模型的精度下降很小。
2021-11-16 cs.LG
Pruning Deep Neural Networks from a Sparsity Perspective
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
针对现有深度网络剪枝方法缺乏可压缩性量化指标、易出现剪枝不足或过度的问题，提出PQ指数衡量可压缩性，并开发稀疏感知自适应剪枝算法，在压缩效率和鲁棒性上优于迭代剪枝方法。
2023-08-23 cs.LG
Retrain or not retrain? -- efficient pruning methods of deep CNN networks
AGH, University of Science and Technology（AGH科技大学）；Department of Electrical Engineering（电气工程系）
卷积神经网络（CNN）在图像分类、目标检测、语义分割等图像处理任务中发挥着重要作用。通常，CNN网络具有几个到几百个具有几兆字节权重的堆叠层。降低复杂性和内存占用的可能方法之一是修剪。修剪是一个删除连接网络中两个相邻层的神经元的权重的过程。当DL模型具有更高数量的卷积层时，找到具有指定精度下降的近似最优解的过程可能更加复杂。在本文中，几种方法的基础上再培训和没有再培训的描述和比较在一起。
2020-02-12 cs.LG
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks
Purdue University（普渡大学）
深度神经网络的巨大推理成本可以通过网络压缩来缩小。修剪是用于深度网络压缩的主要方法之一。然而，现有的修剪技术具有以下限制中的一个或多个：1）由于修剪和微调阶段，在计算繁重的训练阶段之上的额外能量成本，2）基于特定的统计的逐层修剪，忽略网络中的误差传播的影响，3）缺乏用于全局地确定重要信道的有效估计，4）非结构化修剪需要专门的硬件来有效使用。为了解决上述所有问题，我们提出了一种简单而有效的渐进通道修剪，同时使用一种新的数据驱动的度量（称为特征相关性得分）进行训练。所提出的技术摆脱了额外的再训练周期，修剪最不重要的通道，在实际的训练阶段在固定的时间间隔，在一个结构化的方式。特征相关性分数有助于有效地评估每个通道对网络区分能力的贡献。我们使用CIFAR-10、CIFAR-100和ImageNet等数据集证明了所提出的方法在VGG和ResNet等架构上的有效性，并成功实现了显著的模型压缩，同时权衡了低于$1\%$的准确性。值得注意的是，在ResNet-110上训练的CIFAR-10数据集上，我们的方法实现了$2.4\times$压缩和FLOP中的$56\%$减少，与未修剪的网络相比，准确度下降了$0.01\%$。
2020-04-29 cs.CV cs.LG cs.NE
Pruning vs Quantization: Which is Better?
Qualcomm AI Research（高通人工智能研究）
本文系统比较了神经网络剪枝与量化两种压缩技术，通过理论分析误差下界及在3个任务上训练8个大规模模型的实验，发现量化在大多数情况下优于剪枝，仅在极高压缩率时剪枝才可能具有准确率优势。
2024-02-16 cs.LG
Convolutional Network Fabric Pruning With Label Noise
CNRS（法国国家科学研究中心）
提出了一种卷积网络结构（CNF）在训练和测试数据中的迭代剪枝策略。随着神经网络模型规模的不断增加，许多作者已经开发了修剪方法来构建更紧凑的网络结构，需要更少的资源，同时保持性能。正如我们在本文中所展示的，由于其内在的结构和功能，卷积网络结构是修剪的理想候选者。我们提出了一系列修剪策略，可以通过修剪整个卷积滤波器或单个权重来显着减少最终网络大小和所需的训练时间，从而使网格保持视觉上可理解，但整体执行质量保持在可控范围内。我们的方法可以在训练过程中迭代应用，从而使网络复杂度迅速降低，节省计算时间。本文讨论了数据依赖和数据依赖的策略，并通过实验建立了当训练或测试数据包含注释错误时最有效的方法。
2022-02-15 cs.LG cs.NE
C2S2: Cost-aware Channel Sparse Selection for Progressive Network Pruning
本文描述了一种简化深度神经网络的通道选择方法。具体来说，我们提出了一种新型的通用网络层，称为修剪层，以无缝地增强给定的预训练模型进行压缩。包括$1 \times 1$深度方向内核的每个修剪层用双重格式表示：一个是实值，另一个是二进制。前者使网络修剪的两阶段优化过程能够与端到端可微分网络一起操作，而后者产生用于信道选择的掩码信息。我们的方法逐步执行修剪任务逐层，并根据稀疏性标准实现通道选择，以利于修剪更多的通道。我们还开发了一个成本感知机制，以防止压缩牺牲预期的网络性能。我们在图像分类和语义分割上压缩几个基准深度网络的结果与最先进的结果相当。
2019-04-06 cs.CV cs.LG
Compact Deep Convolutional Neural Networks With Coarse Pruning
Seoul National University（首尔大学）
神经网络的学习能力随着深度的增加以更高的计算成本而提高。具有密集内核连接模式的较宽层进一步增加了此成本，并且可能妨碍实时推理。我们提出了特征映射和核级剪枝来降低深度卷积神经网络的计算复杂性。修剪特征图可以减少层的宽度，因此不需要任何稀疏表示。此外，核修剪将密集连接模式转换为稀疏连接模式。由于粗糙的性质，这些修剪粒度可以被基于GPU和VLSI的实现所利用。我们提出了一个简单而通用的策略来选择两个粒度的最小对抗性修剪掩码。修剪后的网络被重新训练，以补偿准确性的损失。我们得到最佳的修剪率时，我们修剪一个网络与两个粒度。使用CIFAR-10数据集的实验表明，在基线网络的误分类率增加不到1%的情况下，可以在卷积层中诱导超过85%的稀疏性。
2016-10-30 cs.LG cs.NE
