SNF: Filter Pruning via Searching the Proper Number of Filters
Beijing University of Posts and Telecommunications（北京邮电大学）
卷积神经网络（CNN）存在大量的参数冗余，滤波器剪枝旨在去除冗余滤波器，为CNN在终端设备上的应用提供了可能。然而，以往的工作更多地关注于设计滤波器重要性的评价标准，然后以固定的剪枝率或固定的个数对不重要的滤波器进行剪枝，以减少卷积神经网络的冗余。它没有考虑每层保留多少个过滤器是最合理的选择。从这个角度来看，我们提出了一种新的过滤器修剪方法，通过搜索适当的过滤器（SNF）的数量。SNF致力于为每一层搜索最合理数量的保留过滤器，然后用特定的标准修剪过滤器。它可以在不同的FLOP下定制最合适的网络结构。使用我们的方法进行的过滤器修剪在CIFAR-10上获得了最先进的（SOTA）精度，并在ImageNet ILSVRC-2012.SNF上实现了具有竞争力的性能。基于ResNet-56网络的SNF在CIFAR-10上实现了52.94%的FLOP减少，Top-1精度提高了0.14%。在CIFAR-10上修剪ResNet-110还可以提高0.03%的Top-1准确度，同时减少68.68%的FLOP。对于ImageNet，我们将修剪率设置为52.10% FLOPs，Top-1准确率仅下降0.74%。这些代码可以在https://github.com/pk-l/SNF上获得。
2021-12-14 cs.CV
Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed
Tsinghua University（清华大学）；Nuctech AI R&D Center（Nuctech人工智能研发中心）
由于资源受限的平台需要更紧凑的模型来部署，过滤器修剪引起了更多的关注。然而，目前的剪枝方法要么受到一次性方法的性能较差，要么受到迭代训练方法的昂贵时间成本的影响。在本文中，我们提出了一个平衡的过滤器修剪方法的性能和修剪速度。基于过滤器的重要性标准，我们的方法是能够修剪一个层近似逐层的最佳修剪率在预设的损失变化。该网络采用分层修剪的方式进行修剪，避免了耗时的修剪-再训练迭代。如果给定整个网络的一个预定义的修剪率，我们还介绍了一种方法来找到相应的损失变化阈值，收敛速度快。此外，我们提出了层组修剪和信道选择机制，在网络中的信道对齐短连接。所提出的修剪方法广泛适用于常见的架构，除了最后的微调，不涉及任何额外的训练。综合实验表明，我们的方法优于许多国家的最先进的方法。
2020-10-14 cs.CV
Convolutional Neural Network Pruning Using Filter Attenuation
Isfahan University of Technology（伊斯法罕理工大学）；McMaster University（麦克马斯特大学）
滤波器是卷积神经网络（CNN）的基本组成部分。滤波器对应于特征图，并且形成用于CNN处理的计算和存储器要求的主要部分。在过滤器修剪方法中，过滤器及其所有组件（包括通道和连接）都将被删除。删除过滤器可能会导致网络性能的急剧变化。此外，删除的过滤器无法返回到网络结构。我们希望在本文中解决这些问题。我们提出了一种基于滤波器衰减的CNN剪枝方法，其中不直接去除弱滤波器。相反，弱滤波器被衰减并逐渐去除。在所提出的衰减方法中，弱滤波器不会被突然移除，并且这些滤波器有机会返回到网络。使用Cifar 10图像分类任务的VGG模型评估滤波器衰减方法。仿真结果表明，该滤波器在不同的剪枝准则下都能有效地进行滤波衰减，并与传统的剪枝方法进行了比较，取得了较好的效果。
2020-02-09 cs.CV
Structured Network Pruning by Measuring Filter-wise Interactions
Beihang University（北京航空航天大学）
本文提出SNPFI剪枝方法，通过引入滤波器交互的冗余标准（包含滤波器重要性和利用强度）自动分配稀疏度并消除无用滤波器，无需迭代训练即可恢复性能，在多个CNN模型上实现近60%计算减少且保持分类精度。
2023-07-03 cs.CV
Filter Pruning by Switching to Neighboring CNNs with Good Attributes
University of Technology Sydney（悉尼科技大学）；A*STAR Centre for Frontier AI Research (CFAR)（新加坡科技研究局前沿人工智能研究中心）；Zhejiang University（浙江大学）
滤波器剪枝是降低神经网络计算量的有效方法。现有的方法表明，更新以前的修剪过滤器将使大的模型容量和实现更好的性能。然而，在迭代修剪过程中，即使网络权重被更新为新值，修剪准则也保持不变。此外，在评估滤波器重要性时，仅考虑滤波器的幅度信息。然而，在神经网络中，滤波器不能单独工作，但它们会影响其他滤波器。结果，仅反映单个滤波器本身的信息的每个滤波器的幅度信息不足以判断滤波器重要性。为了解决上述问题，我们提出了基于元属性的过滤修剪（MFP）。首先，为了扩展现有的基于幅度信息的剪枝准则，我们引入了一组新的准则来考虑滤波器的几何距离。此外，为了明确评估网络的当前状态，我们通过元属性（神经网络在当前状态下的属性）自适应地选择最合适的标准进行修剪。在两个图像分类基准上的实验验证了该方法的有效性。对于ILSVRC-2012上的ResNet-50，我们可以减少超过50%的FLOP，而前5名的准确性损失仅为0.44%。
2022-02-11 cs.CV
AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）；Nanjing（南京）；China（中国）
通道修剪是加速深度模型推理的一种重要方法。以往的滤波器修剪算法将信道修剪和模型微调视为两个独立的步骤。本文认为，将它们组合成一个端到端的可训练系统将带来更好的结果。我们提出了一个有效的信道选择层，即AutoPruner，以联合训练的方式自动找到不太重要的滤波器。我们的AutoPruner将以前的激活响应作为输入，并生成一个真正的二进制索引代码进行修剪。因此，在训练之后，可以安全地移除对应于零索引值的所有滤波器。我们的经验表明，该通道选择层的梯度信息也有助于整个模型的训练。通过逐渐删除几个弱过滤器，我们可以防止模型精度的过度下降。与以前最先进的修剪算法（包括从头开始训练）相比，AutoPruner实现了更好的性能。此外，消融实验表明，所提出的新的小批量池和二值化操作是至关重要的过滤器修剪的成功。
2019-01-17 cs.CV
Online Filter Clustering and Pruning for Efficient Convnets
University of Science and Technology of China（中国科学技术大学）；HeFei University of Technology（合肥工业大学）
修剪过滤器是加速深度神经网络（DNN）的一种有效方法，但大多数现有方法直接在预训练的网络上修剪过滤器，这限制了加速。虽然每个过滤器在DNN中都有自己的效果，但如果两个过滤器彼此相同，我们可以安全地修剪一个。本文在损失函数中增加了一个额外的聚类损失项，使得每个聚类中的滤波器在线相似。训练后，我们在每个集群中保留一个过滤器，并修剪其他过滤器，并微调修剪后的网络以补偿损失。特别地，可以首先定义每层中的簇，这对于修剪残差块内的DNN是有效的。在CIFAR10和CIFAR100基准上的大量实验证明了我们提出的过滤器剪枝方法的竞争性能。
2019-05-28 cs.CV
Novel Adaptive Binary Search Strategy-First Hybrid Pyramid- and Clustering-Based CNN Filter Pruning Method without Parameters Setting
National Taiwan University of Science and Technology（国立台湾科技大学）
修剪CNN模型中的冗余滤波器已经受到越来越多的关注。在本文中，我们提出了一个自适应二进制搜索优先混合金字塔和聚类为基础的（ABSHPC为基础的）方法自动修剪过滤器。在我们的方法中，对于每个卷积层，首先构造一个混合金字塔数据结构来存储每个滤波器的分层信息。给定一个可容忍的精度损失，在没有参数设置的情况下，我们从最后一个卷积层开始到第一层;对于相对于其前一层具有更小或相等的修剪率的每个所考虑的层，应用我们的基于ABSHPC的过程以最优地将所有滤波器划分为簇，其中每个簇因此由具有混合金字塔的中值根均值的滤波器表示，导致冗余滤波器的最大去除。基于实际数据集和CNN模型的实验结果表明，与现有方法相比，本文提出的滤波器剪枝方法在参数和浮点运算减少方面具有显著的优势，具有较高的准确度。
2021-04-30 cs.CV
Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）；Fudan University（复旦大学）
提出了一种软滤波器剪枝（SFP）方法来加速深度卷积神经网络（CNN）的推理过程。具体来说，所提出的SFP使修剪后的过滤器进行更新时，训练模型修剪后。SFP具有两个优点：（1）较大的模型容量。更新先前修剪的过滤器为我们的方法提供了更大的优化空间，而不是将过滤器固定为零。因此，我们的方法训练的网络具有更大的模型容量，从训练数据学习。(2)减少对预训练模型的依赖。大容量使SFP能够从头开始训练并同时修剪模型。相比之下，以前的过滤器修剪方法应该在预训练模型的基础上进行，以保证其性能。经验上，SFP从头开始优于以前的过滤器修剪方法。此外，我们的方法已被证明是有效的许多先进的CNN架构。值得注意的是，在ILSCRC-2012上，SFP在ResNet-101上减少了42%以上的FLOP，甚至前5名的准确性提高了0.2%，这推进了最先进的技术。代码在GitHub上公开：https://github.com/he-y/soft-filter-pruning
2018-08-21 cs.CV
SCSP: Spectral Clustering Filter Pruning with Soft Self-adaption Manners
深度卷积神经网络（CNN）在计算机视觉领域取得了巨大的成功。然而，深度复杂模型的高计算成本阻碍了在具有有限内存和计算资源的边缘设备上的部署。提出了一种新的卷积神经网络压缩滤波器剪枝方法--软自适应谱聚类滤波器剪枝（SCSP）。我们首先逐层对过滤器应用谱聚类，以探索它们的内在联系，并只依赖于有效的组。通过自适应的方式，可以在较少的时期内完成剪枝操作，使网络逐渐选择有意义的组。根据该策略，我们不仅实现了模型压缩，同时保持相当的性能，而且找到了一个新的角度来解释模型压缩过程。
2018-06-14 cs.CV
REPrune: Filter Pruning via Representative Election
Korea Institute of Science and Technology（韩国科学技术研究院）
尽管基于范数的过滤器修剪方法被广泛接受，但在确定要修剪的过滤器时，“较小范数不太重要”的标准是否是最优的仍值得怀疑。特别是当我们只能保留原始滤波器的一小部分时，更重要的是选择能够最好地代表整个滤波器的滤波器，而不管范数值如何。我们的新的修剪方法，题为“REPrune”解决这个问题，通过聚类选择有代表性的过滤器。通过从一组相似的过滤器中选择一个过滤器，避免选择相邻的大过滤器，REPrune可以在相似的精度下实现更好的压缩率。我们的方法还可以更快地恢复精度，并且在微调过程中需要较小的滤波器偏移。从经验上讲，REPrune减少了超过49%的FLOP，在ResNet-110上为CIFAR-10提供了0.53%的准确性增益。此外，REPrune在ResNet-18上减少了超过41.8%的FLOPs，其中ImageNet的Top-1验证损失为1.67%。
2020-07-21 cs.CV
Improve Convolutional Neural Network Pruning by Maximizing Filter Variety
UMONS（蒙斯大学）；Telecom SudParis（南巴黎电信学院）；IP Paris（巴黎理工学院）
神经网络剪枝是一种广泛使用的减少模型存储和计算需求的策略。它允许通过在权重中引入稀疏性来降低网络的复杂性。由于利用稀疏矩阵仍然具有挑战性，因此修剪通常以结构化的方式执行，即根据选定的修剪标准，在ConvNets的情况下删除整个卷积滤波器。常见的修剪标准，如l1范数或运动，通常不考虑过滤器的个体效用，这可能导致：（1）删除表现出罕见的，因此重要的和有区别的行为的过滤器，以及（2）保留具有冗余信息的过滤器。在本文中，我们提出了一种技术解决这两个问题，并可以附加到任何修剪标准。这种技术确保选择标准集中在冗余过滤器上，同时保留罕见的过滤器，从而最大限度地增加剩余过滤器的种类。在不同的数据集（CIFAR-10，CIFAR-100和CALTECH-101）和使用不同的架构（VGG-16和ResNet-18）进行的实验结果表明，当将我们的过滤器选择技术附加到修剪标准时，可以实现类似的稀疏水平，同时保持更高的性能。此外，我们通过应用彩票假说来评估所发现的稀疏子网络的质量，并发现在大多数情况下，我们的方法的加入可以发现性能更好的门票
2022-03-11 cs.CV
Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters
Xiamen University（厦门大学）；Youtu Laboratory, Tencent（腾讯优图实验室）；Inception Institute of Artificial Intelligence（人工智能创想研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；National Tsing Hua University（国立清华大学）
本文主要研究滤波器级网络剪枝。提出了一种新的剪枝方法CLR-RNF。我们首先揭示了一个“长尾”长尾修剪问题，在基于幅度的权重修剪方法，然后提出了一个计算感知的测量个别权重的重要性，其次是跨层排名（Cross-Layer Ranking，简称css）的权重，以确定和删除排名最低的权重。因此，每层稀疏度构成了过滤器修剪中修剪的网络结构。然后，我们介绍了一个基于简化的过滤器选择方案，每个过滤器推荐一组最接近的过滤器。为了从这些推荐组中挑选保留的过滤器，我们进一步设计了一个k-倒数最近过滤器（RNF）选择方案，其中所选过滤器落入这些推荐组的交集中。我们修剪的网络结构和过滤器的选择都是非学习过程，从而显着降低了修剪的复杂性，并区分我们的方法从现有的作品。我们在CIFAR-10和ImageNet上进行了图像分类，以证明我们的CLR-RNF优于最先进的技术。例如，在CIFAR-10上，CLR-RNF从VGGNet-16中删除了74.1%的FLOP和95.0%的参数，精度甚至提高了0.3%。在ImageNet上，它从ResNet-50中删除了70.2%的FLOP和64.8%的参数，只有1.7%的前5名准确率下降。我们的项目在https://github.com/lmbxmu/CLR-RNF。
2022-02-15 cs.CV
Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks
University of Technology Sydney（悉尼科技大学）；Fudan University（复旦大学）；Hangdian University（杭州电子科技大学）
更深更宽的卷积神经网络（CNN）虽然具有更好的性能，但计算代价昂贵。加速这种过度参数化的神经网络已经受到越来越多的关注。典型的修剪算法是三级流水线，即，培训、修剪和再培训。现有的方法在再训练期间将修剪的滤波器固定为零，从而显著减小优化空间。此外，他们直接修剪大量的过滤器，这将导致不可恢复的信息丢失。为了解决这些问题，我们提出了一种渐进软滤波器剪枝（ASFP）方法来加速深层神经网络的推理过程。首先，我们在再训练阶段更新修剪的过滤器。结果表明，修剪后的模型的优化空间不会减小，而是与原模型的优化空间相同。这样，模型就有足够的能力从训练数据中学习。其次，我们渐进地修剪网络。我们首先修剪一些过滤器，然后在训练过程中渐进地修剪更多的过滤器。渐近剪枝使训练集的信息逐渐集中到剩余的滤波器中，从而保证后续训练和剪枝过程的稳定性。实验表明，我们的ASFP的有效性图像分类基准。值得注意的是，在ILSVRC-2012上，我们的ASFP在ResNet-50上减少了40%以上的FLOP，而前5名的准确性仅下降了0.14%，比软过滤器修剪（SFP）高出8%。
2019-11-11 cs.CV
Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration
University of Technology Sydney（悉尼科技大学）；CETC（中国电子科技集团公司）；Huawei（华为）；Baidu Research（百度研究院）
以前的工作利用“smaller-norm-less-important”准则来修剪卷积神经网络中具有较小范数值的滤波器。在本文中，我们分析了这种基于范数的准则，并指出其有效性取决于两个要求，并不总是满足：（1）的范数偏差的过滤器应该是大的;（2）的最小范数的过滤器应该是小的。为了解决这个问题，我们提出了一种新的过滤器修剪方法，即通过几何中位数的过滤器修剪（FPGM），来压缩模型，而无论这两个要求如何。与以前的方法不同，FPGM通过修剪具有冗余的过滤器来压缩CNN模型，而不是那些具有“相对较低”重要性的过滤器。当应用于两个图像分类基准，我们的方法验证了它的有用性和优势。值得注意的是，在CIFAR-10上，FPGM在ResNet-110上降低了52%以上的FLOP，相对精度甚至提高了2.69%。此外，在ILSVRC-2012上，FPGM在ResNet-101上减少了超过42%的FLOP，而没有前5名的准确性下降，这已经推进了最先进的水平。代码在GitHub上公开：https://github.com/he-y/filter-pruning-geometric-median
2019-07-14 cs.CV
A One-step Pruning-recovery Framework for Acceleration of Convolutional Neural Networks
Beihang University（北京航空航天大学）；Griffith University（格里菲斯大学）
卷积神经网络的加速在过去的几年中受到越来越多的关注。在各种加速技术中，滤波器修剪技术具有其固有的优点，可以有效地减少卷积滤波器的数量。然而，大多数过滤器修剪方法采取繁琐和耗时的逐层修剪恢复策略，以避免准确率的显着下降。在本文中，我们提出了一个有效的过滤器修剪框架来解决这个问题。该方法采用一种新的优化目标函数，以一步剪枝-恢复的方式加速网络，与现有的剪枝方法相比，该方法以更小的代价获得了更高的精度。此外，我们的方法允许网络压缩与全球过滤器修剪。给定全局修剪速率，它可以自适应地确定每个单个卷积层的修剪速率，而这些速率通常在以前的方法中被设置为超参数。使用ImageNet在VGG-16和ResNet-50上进行评估，我们的方法优于几种最先进的方法，在相同甚至更少的浮点运算（FLOPs）下精度下降更少。
2019-06-18 cs.CV
HRel: Filter Pruning based on High Relevance between Activation Maps and Class Labels
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）；Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）；DryvAmigo（DryvAmigo公司）
本文提出了一种基于信息瓶颈理论的过滤器剪枝方法，该方法使用一种称为互信息（MI）的统计度量。过滤器和类标签之间的MI，也称为\textit{Relevance}，使用过滤器的激活图和注释计算。具有高相关性（HRel）的滤波器被认为是更重要的。因此，最不重要的过滤器，具有较低的互信息与类标签，被修剪。与现有的基于MI的剪枝方法不同，所提出的方法纯粹基于它们对应的激活图与类标签的关系来确定过滤器的重要性。诸如LeNet-5、VGG-16、ResNet-56 \textcolor{myblue}{, ResNet-110 and ResNet-50 are utilized to demonstrate the efficacy of the proposed pruning method over MNIST, CIFAR-10 and ImageNet datasets. The proposed method shows the state-of-the-art pruning results for LeNet-5, VGG-16, ResNet-56, ResNet-110 and ResNet-50 architectures. In the experiments, we prune 97.98 \%, 84.85 \%, 76.89\%, 76.95\%, and 63.…
2022-02-22 cs.CV
Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在本文中，我们分析了两个流行的网络压缩技术，即过滤器修剪和低秩分解，在一个统一的意义上。通过简单地改变稀疏正则化的实施方式，可以相应地导出滤波器修剪和低秩分解。这为网络压缩提供了另一种灵活的选择，因为这两种技术可以相互补充。例如，在具有快捷连接的流行网络架构（例如ResNet）中，过滤器修剪无法处理ResBlock中的最后一个卷积层，而低秩分解方法可以。此外，我们建议联合压缩整个网络，而不是以逐层的方式。我们的方法证明了它的潜力，因为它在几个基准上与最先进的方法相比是有利的。
2020-03-19 cs.CV
2PFPCE: Two-Phase Filter Pruning Based on Conditional Entropy
University of Pittsburgh（匹兹堡大学）；SUNY at Buffalo（纽约州立大学布法罗分校）；Duke University（杜克大学）；Midea Corporate Research Center（美的集团研究院）
深度卷积神经网络~（CNN）在许多高维问题中具有出色的分类和回归性能，已被广泛应用于现实世界的认知应用。然而，CNN的高计算成本极大地阻碍了其在资源受限的应用，实时系统和边缘计算平台中的部署。为了克服这一挑战，我们提出了一种新的过滤器修剪框架，基于条件熵的两阶段过滤器修剪，即\textit{2PFPCE}，以压缩CNN模型，减少推理时间，边际性能下降。在我们提出的方法中，我们制定过滤器修剪过程作为一个优化问题，并提出了一种新的过滤器选择标准的条件熵。基于神经元的表示应均匀分布的假设，我们还开发了一种最大熵滤波器冻结技术，可以减少过拟合。两个过滤器修剪策略-全局和逐层策略，进行了比较。实验结果表明，在相同的精度下降阈值下，将这两种策略相结合，可以获得比只使用其中一种更高的神经网络压缩比。两阶段剪枝，即结合全局和分层策略，在VGG-16上实现了10倍的FLOPs减少和46%的推理时间减少，精度下降2%。
2018-09-06 cs.CV
PFGDF: Pruning Filter via Gaussian Distribution Feature for Deep Neural Networks Acceleration
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Faculty of Information Technology, Beijing University of Technology（北京工业大学信息技术学院）
深度学习在很多领域都取得了骄人的成绩，但边缘智能设备的部署仍然非常缓慢。针对这一问题，提出了一种基于数据分布特征的深度神经网络压缩加速方法，即基于高斯分布特征的剪枝滤波器（Pruning Filter via Gaussian Distribution Feature，PFGDF）。与以往的改进剪枝方法相比，PFGDF利用分布不显著的滤波器对模型进行压缩，而不考虑卷积滤波器的贡献和灵敏度信息。PFGDF与权值稀疏化剪枝有很大的不同，因为它不需要专门的加速库来处理稀疏权值矩阵，也没有引入更多的额外参数。PFGDF的修剪过程是自动化的。此外，PFGDF压缩后的模型可以恢复与未压缩模型相同的性能。我们通过大量的实验对PFGDF进行了评估，在CIFAR-10上，PFGDF将VGG-16上的卷积滤波器压缩了66.62%，参数减少了90%以上，而在华为MATE 10上的推理时间加快了83.73%。
2022-05-26 cs.CV
Investigating Channel Pruning through Structural Redundancy Reduction -- A Statistical Study
University of Tennessee（田纳西大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Sun Yat-Sen University（中山大学）
大多数现有的信道修剪方法从降低低效率的角度制定修剪任务，迭代地排名并删除最不重要的滤波器，或者找到修剪后最小化某些重建误差的滤波器集合。在这项工作中，我们从一个新的角度与统计建模研究的通道修剪。我们假设在某一层的过滤器的数量反映了在该层的“冗余”的水平，从而制定从冗余减少方面的剪枝问题。在理论分析和实证研究的基础上，我们发现：随机修剪过滤器从高冗余层优于修剪最不重要的过滤器在所有层的基础上的国家的最先进的排名标准。这些结果推进了我们对修剪的理解，并进一步证明了最近的发现，即与继承的权重相比，修剪模型的结构在网络效率中起着关键作用。
2019-07-16 cs.CV
To Filter Prune, or to Layer Prune, That Is The Question
University of Alberta（阿尔伯塔大学）；Huawei（华为）
在神经网络的修剪方面的最新进展已经使得可以去除大量的过滤器或权重而没有任何可察觉的准确性下降。参数的数量和FLOP的数量通常是报告的度量标准，以衡量修剪模型的质量。然而，由于延迟测量的复杂性，这些修剪模型的速度增益在文献中经常被忽视。在本文中，我们展示了过滤器修剪方法在延迟减少方面的局限性，并提出了LayerPrune框架。LayerPrune提出了一套基于不同标准的层修剪方法，在相似的精度上比过滤器修剪方法实现了更高的延迟减少。在延迟减少方面，层修剪优于过滤器修剪的优点是因为前者不受原始模型深度的约束，因此允许更大范围的延迟减少。对于我们检查的每种过滤器修剪方法，我们使用相同的过滤器重要性标准来一次性计算每层重要性得分。然后，我们修剪最不重要的层，并微调较浅的模型，获得可比或更好的精度比其基于过滤器的修剪对应。这种一次性过程允许在微调之前从VGG等单路径网络中移除层，与迭代过滤器修剪不同，需要每层最小数量的过滤器以允许约束搜索空间的数据流。据我们所知，我们是第一个研究修剪方法对延迟度量而不是多个网络，数据集和硬件目标的FLOP的影响的人。LayerPrune在ImageNet数据集上的类似延迟预算上，也分别比Shufflenet、MobileNet、MNASNet和ResNet18等手工架构的性能高出7.3%、4.6%、2.8%和0.5%。
2020-11-08 cs.CV
Dependency Aware Filter Pruning
Nankai University（南开大学）
卷积神经网络（CNN）通常是过参数化的，在推理中带来相当大的计算开销和内存占用。修剪一部分不重要的过滤器是一种有效的方法，以减轻推理成本。为此，识别不重要的卷积滤波器是有效滤波器修剪的关键。以前的工作修剪过滤器根据其权重范数或相应的批量范数缩放因子，而忽略相邻层之间的顺序依赖性。在本文中，我们进一步发展的范数为基础的重要性估计考虑相邻层之间的依赖关系。此外，我们提出了一种新的机制来动态控制稀疏诱导正则化，以达到所需的稀疏性。通过这种方式，我们可以识别不重要的过滤器，并以更有原则的方式在某些资源预算内搜索最佳网络架构。综合实验结果表明，该方法在CIFAR，SVHN和ImageNet数据集上对现有的强基线表现良好。培训来源将在审查进程结束后公开提供。
2020-05-06 cs.CV
Filter Sketch for Network Pruning
Xiamen University（厦门大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）
我们提出了一种新的网络剪枝方法，通过预训练的网络权重（过滤器）的信息保持。将信息保持的网络剪枝问题转化为一个矩阵草图问题，并采用现有的频繁方向法进行求解。我们的方法被称为FilterSketch，它对预训练权重的二阶信息进行编码，这使得修剪网络的表示能力可以通过简单的微调过程来恢复。FilterSketch既不需要从头开始训练，也不需要数据驱动的迭代优化，从而使修剪优化的时间成本降低了几个数量级。在CIFAR-10上的实验表明，FilterSketch减少了63.3%的FLOP，并修剪了59.9%的网络参数，而ResNet-110的准确性成本可以忽略不计。在ILSVRC-2012上，它减少了45.5%的FLOP，删除了43.0%的参数，而ResNet-50的准确度仅下降了0.69%。我们的代码和修剪模型可以在www.example.com上找到。
2021-05-25 cs.CV
DBP: Discrimination Based Block-Level Pruning for Deep Model Acceleration
Zhejiang University（浙江大学）；Fabu Inc.（Fabu公司）
神经网络修剪是加速深度卷积神经网络（CNN）推理的最流行方法之一。主要的剪枝方法，过滤器级剪枝方法，通过计算的减少率来评估它们的性能，并认为更高的计算减少率相当于在推理时间方面更高的加速率。然而，我们认为，如果并行计算被认为是不等价的。考虑到过滤器级修剪仅修剪层中的过滤器，并且层中的计算通常并行运行，因此通过过滤器级修剪减少的大多数计算通常与未减少的计算并行运行。因此，过滤器级修剪的加速比是有限的。为了获得更高的加速比，最好修剪冗余层，因为不同层的计算不能并行运行。在本文中，我们提出了我们的歧视基于块级剪枝方法（DBP）。具体地，DBP采用连续层的序列（例如，Conv-BN-ReLu）作为块，并根据其输出特征的区分度去除冗余块。因此，DBP通过减少CNN的深度来实现相当大的加速比。大量的实验表明，DBP已经超过了国家的最先进的过滤器级修剪方法的准确性和加速比。我们的代码将很快提供。
2019-12-21 cs.CV
Filter-Pruning of Lightweight Face Detectors Using a Geometric Median Criterion
CERTH-ITI（希腊研究与技术中心-信息技术研究所）
本文针对资源受限设备上的轻量级人脸检测器，提出将基于几何中位数的滤波器剪枝（FPGM）与软滤波器剪枝（SFP）迭代过程相结合的方法，在EXTD和EResFD上验证了其能在有限精度损失下进一步压缩模型尺寸。
2023-11-28 cs.CV
Data Agnostic Filter Gating for Efficient Deep Networks
The University of Sydney（悉尼大学）；SenseTime（商汤科技）；Tsinghua University（清华大学）；Tianjin University（天津大学）；Institute for Artificial Intelligence, Tsinghua University (THUAI)（清华大学人工智能研究院）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）
为了在低端计算边缘设备上部署经过良好训练的CNN模型，通常应该在一定的计算预算下压缩或修剪模型（例如，FLOPs）。现有的过滤器剪枝方法主要是利用特征映射来生成过滤器的重要分数，并修剪那些分数较小的过滤器，这忽略了输入批次的方差对过滤器稀疏结构的差异。在本文中，我们提出了一个数据无关的过滤器修剪方法，使用一个辅助网络命名为Dagger模块，以诱导修剪和预先训练的权重作为输入，学习每个过滤器的重要性。此外，为了帮助修剪具有某些FLOPs约束的过滤器，我们利用显式的FLOPs感知正则化来直接促进修剪过滤器朝向目标FLOPs。在CIFAR-10和ImageNet数据集上的大量实验结果表明，我们优于其他最先进的过滤器修剪方法。例如，我们的50\% FLOPs ResNet-50在ImageNet数据集上可以达到76.1\%的Top-1准确率，超过了许多其他过滤器修剪方法。
2020-10-28 cs.CV
Performance-aware Approximation of Global Channel Pruning for Multitask CNNs
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
全局通道修剪（GCP）旨在从深度模型中删除跨不同层的通道（过滤器）子集，而不会影响性能。以往的工作主要集中在单任务模型的剪枝或简单地将其应用于多任务场景，但在处理多任务剪枝时仍然面临以下问题：1）由于任务不匹配，一个良好的分类任务剪枝主干集中在保留能够提取类别敏感信息的过滤器上，导致可能对其他任务有用的过滤器在主干剪枝阶段被剪枝; 2）对于多任务预测，层内或层间的不同过滤器比单任务预测更紧密相关和相互作用，使得多任务修剪更困难。因此，针对多任务模型压缩，我们提出了一个性能感知的全局通道修剪（PAGCP）框架。我们首先从理论上提出了实现卓越GCP的目标，通过考虑层内和层间滤波器的联合显着性。然后提出了一种顺序贪婪剪枝策略来优化目标，其中开发了性能感知的预言标准来评估过滤器对每个任务的敏感性，并保留全局最多的任务相关的过滤器。在多个多任务数据集上的实验表明，提出的PAGCP在性能下降较小的情况下，可以将FLOP和参数减少60%以上，并在云和移动平台上实现1.2倍$\sim$ 3.3倍的加速。
2023-03-21 cs.CV
Dynamic Sensitivity Filter Pruning using Multi-Agent Reinforcement Learning For DCNN's
Dept. of ECE North South University Dhaka, Bangladesh（电子工程系 北南大学 达卡 巴基斯坦）
本文提出差分灵敏度融合剪枝，通过融合多种灵敏度指标并采用指数缩放，实现单次前向-反向传播的高效滤波器剪枝，在50%-70%剪枝率下减少超80% FLOPs，保持高精度，适用于边缘部署。
2025-09-05 cs.CV
Stability Based Filter Pruning for Accelerating Deep CNNs
IIT Kanpur（印度理工学院坎普尔分校）；Samsung R&D Institute（三星研发院）
卷积神经网络（CNN）在各种任务（分类，检测等）上取得了令人印象深刻的性能。以高计算和存储器要求为代价跨越多个域。因此，将CNN用于实时应用需要模型压缩方法，不仅减少参数的总数，而且还减少整体计算。在这项工作中，我们提出了一种基于稳定性的CNN过滤器级修剪方法。我们在不同的架构（LeNet，VGG-16，ResNet和Faster RCNN）和数据集上评估了我们提出的方法，并通过广泛的实验证明了其通用性。此外，我们的压缩模型可以在运行时使用，而不需要任何特殊的库或硬件。我们的模型压缩方法将FLOPS的数量减少了6.03倍，GPU内存占用量减少了17倍以上，显著优于其他最先进的过滤器修剪方法。
2018-11-20 cs.CV
Lightweight Monocular Depth Estimation Model by Joint End-to-End Filter pruning
University of Alberta（阿尔伯塔大学）
卷积神经网络（CNN）已经成为包括深度估计在内的多视觉任务中的最新技术。然而，内存和计算能力的要求仍然是这些模型中要解决的挑战。单目深度估计在需要部署在低端设备上的机器人和虚拟现实中具有重要用途。从头开始训练一个小模型会导致准确性显著下降，并且它不会从预先训练的大模型中受益。受模型修剪文献的启发，我们提出了一种从大型训练模型中获得的轻量级单目深度模型。这是通过使用新的联合端到端过滤器修剪来去除最不重要的特征来实现的。我们建议为每个过滤器学习一个二进制掩码，以决定是否删除该过滤器。这些掩码被联合训练，以利用不同层的滤波器之间的关系以及同一层内的冗余。我们表明，我们可以在KITTI驾驶数据集上实现约5倍的压缩率，同时精度略有下降。我们还表明，掩蔽可以提高精度的基线与更少的参数，即使没有强制压缩损失。
2019-05-13 cs.CV
An Entropy-based Pruning Method for CNN Compression
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文旨在通过过滤器修剪策略同时加速和压缩现成的CNN模型。每个过滤器的重要性评估所提出的基于熵的方法。然后丢弃几个不重要的滤波器以得到较小的CNN模型。最后，通过微调来恢复其泛化能力，在过滤器修剪过程中受损。我们的方法可以减少中间激活的大小，这将在模型训练阶段占据大部分内存占用，但在以前的压缩方法中较少关注。在ILSVRC-12基准测试上的实验证明了该方法的有效性。与以往的过滤器重要性评价标准相比，我们的基于熵的方法获得了更好的性能。我们在VGG-16上实现了3.3倍的加速和16.64倍的压缩，在ResNet-50上实现了1.54倍的加速和1.47倍的压缩，两者的前5名精度都降低了约1%。
2017-06-19 cs.CV
Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler
East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Tencent（腾讯）；University of Sheffield（谢菲尔德大学）；University at Buffalo（布法罗大学）
提出知识驱动差分滤波器采样器（KDFS）与掩码滤波器建模框架，基于预训练模型先验知识端到端全局剪枝冗余滤波器，在ImageNet上ResNet-50计算量减55.36%、参数减42.86%，准确率仅降0.35%。
2023-07-01 cs.CV
Filter Pruning via Filters Similarity in Consecutive Layers
Ping An Technology Co. Ltd.（平安科技有限公司）
针对卷积神经网络滤波器剪枝忽视跨层关系的问题，提出FSCL方法，依据连续层间滤波器相似性剪除低价值滤波器，并在多个基准上取得更优压缩加速效果。
2023-04-26 cs.AI cs.CV
ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
Nanjing University（南京大学）；Shanghai Jiao Tong University（上海交通大学）
我们提出了一个有效和统一的框架，即ThiNet，在训练和推理阶段同时加速和压缩CNN模型。我们专注于过滤器级修剪，即，如果整个滤波器不太重要，则将其丢弃。我们的方法不会改变原始网络结构，因此它可以完美地支持任何现成的深度学习库。我们正式建立过滤器修剪作为一个优化问题，并揭示，我们需要修剪过滤器的统计信息计算的基础上，从它的下一层，而不是当前层，这区分ThiNet从现有的方法。实验结果证明了该策略的有效性，并在ILSVRC-12基准测试中验证了ThiNet的性能。ThiNet在VGG-16上实现了3.31 $\times$ FLOP减少和16.63 $\times$压缩，前5名的准确度下降仅为0.52 $\%$。使用ResNet-50进行的类似实验表明，即使对于紧凑的网络，ThiNet也可以减少一半以上的参数和FLOP，代价是大约1个$\%$ top-5精度下降。此外，原始的VGG-16模型可以进一步修剪成一个非常小的模型，只有5.05MB的模型大小，保持AlexNet级别的准确性，但表现出更强的泛化能力。
2017-07-20 cs.CV
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
非结构化修剪非常适合在训练和推理时减少卷积神经网络（CNN）的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪（SP）通过将过滤器元素设置为零来减少CNN的内存占用，从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪，这会导致强烈的偏差。为了克服这一点，我们引入空间修剪（IP），一个通用的工具，以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础（FB）的线性组合。对于IP，FB系数被设置为零，而未修剪的系数和FB被联合训练。在这项工作中，我们提供了数学证据IP的优越性能，并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下，例如ImageNet的修剪或修剪到高稀疏性，IP大大超过SP，具有相同的运行时间和参数成本。最后，我们表明，IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Softer Pruning, Incremental Regularization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
网络修剪被广泛用于压缩深度神经网络（DNN）。Soft Filter Pruning（SFP）方法在训练期间将修剪的滤波器归零，同时在下一个训练时期更新它们。因此，修剪滤波器的训练信息被完全丢弃。为了利用训练好的修剪滤波器，我们提出了一种SofteR滤波器修剪（SRFP）方法及其变体，渐近SofteR滤波器修剪（ASRFP），简单地用单调递减的参数衰减修剪后的权重。我们的方法在各种网络，数据集和修剪率上表现良好，也可转移到权重修剪。在ILSVRC-2012上，ASRFP修剪了ResNet-34上40%的参数，top-1和top-5精度分别提高了1.63%和0.68%。理论上，SRFP和ASRFP是剪枝滤波器的增量正则化。此外，我们注意到，SRFP和ASRFP追求更好的结果，但降低了收敛速度。
2020-10-19 cs.AI cs.CV
CR-SFP: Learning Consistent Representation for Soft Filter Pruning
Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）
针对软滤波器剪枝中训练重构网络与推理剪枝网络表示不一致导致性能下降的问题，提出CR-SFP框架，通过双向KL散度损失对齐二者后验分布，在不增加推理成本的前提下提升剪枝网络准确率，在多种CNN架构及ImageNet上取得显著效果。
2023-12-17 cs.CV
Deep Convolutional Neural Networks Structured Pruning via Gravity Regularization
Frères Mentouri University Constantine（君士坦丁兄弟门图里大学）
本文提出一种受引力启发的结构化剪枝方法，通过将滤波器权重拉向零或非零来同时优化权重并排序重要性，在CIFAR数据集上验证了其无需复杂微调即可获得有竞争力的剪枝效果。
2024-11-25 cs.CV
A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Kharagpur, India（印度理工学院，Khargpur，印度）
提出一种基于线性近似的两层层次化贪婪剪枝算法，通过低层滤波器选择和全局剪枝准则高效剪枝，在多个网络上优于现有方法。
2026-05-23 cs.CV cs.LG
Recovering from Random Pruning: On the Plasticity of Deep Convolutional Neural Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Robert Bosch Centre for Data Science and AI (RBC-DSAI)（罗伯特·博世数据科学与人工智能中心（RBC-DSAI））；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近，为了减少计算，已经有大量关于从深度卷积神经网络（CNN）中修剪滤波器的工作。关键思想是根据特定标准（例如，$l_1$ -范数、零的平均百分比等）对过滤器进行排名，并仅保留排名最高的过滤器。一旦低评分滤波器被修剪掉，网络的其余部分就被微调，并且显示出与原始未修剪网络相当的性能。在这项工作中，我们报告的实验表明，修剪网络的可比性能不是由于所选择的特定标准，而是由于深层神经网络的固有可塑性，一旦其余的过滤器被微调，它们就可以从修剪过滤器的损失中恢复过来。具体来说，我们展示了反直观的结果，其中通过从深度CNN随机修剪25- 50%的过滤器，我们能够获得与使用最先进的修剪方法获得的性能相同的性能。我们通过对VGG-16和ResNet-50进行详尽的评估来验证我们的说法。此外，我们还评估了一个真实世界的场景，其中在所有1000个ImageNet类上训练的CNN在测试时只需要在一小部分类上进行测试（例如，只有动物）。我们从ImageNet创建了一个新的基准数据集来评估这种类特定的修剪，并表明即使在这里，随机修剪策略也可以提供接近最先进的性能。最后，不同于现有的方法，主要集中在图像分类的任务，在这项工作中，我们还报告结果目标检测。我们表明，使用简单的随机修剪策略，我们可以在目标检测中实现显着的速度提高（fps提高74 $\%$），同时保持与原始Faster RCNN模型相同的准确性。
2018-01-31 cs.CV
Entropy Induced Pruning Framework for Convolutional Neural Networks
结构化剪枝技术在卷积神经网络上实现了很好的压缩性能，用于图像分类任务。然而，大多数现有的方法都是面向权重的，当原始模型训练得不好时，它们的剪枝结果可能不令人满意。也就是说，需要一个经过充分训练的模型来提供有用的体重信息。这可能是耗时的，并且修剪结果对模型参数的更新过程敏感。在本文中，我们提出了一个度量称为平均过滤器信息熵（AFIE）来衡量每个过滤器的重要性。它通过三个主要步骤计算，即，每个卷积层的“输入-输出”矩阵的低秩分解、所获得的特征值的归一化、以及基于信息熵的滤波器重要性的计算。通过利用所提出的AFIE，所提出的框架能够对每个过滤器产生稳定的重要性评估，无论原始模型是否经过充分训练。我们基于AlexNet，VGG-16和ResNet-50实现了我们的AFIE，并分别在MNIST，CIFAR-10和ImageNet上进行了测试。实验结果令人鼓舞。我们惊讶地观察到，对于我们的方法，即使原始模型仅用一个epoch训练，每个滤波器的重要性评估也与模型完全训练时的结果相同。这表明，所提出的修剪策略可以有效地执行在初始阶段的原始模型的训练过程。
2022-08-13 cs.CV
Functionality-Oriented Convolutional Filter Pruning
卷积神经网络（CNN）的复杂结构允许出色的性能，但以密集的计算为代价。由于这种结构中不可避免地存在大量冗余，因此已经提出了许多工作来修剪卷积滤波器以降低计算成本。虽然非常有效，但大多数作品仅基于卷积滤波器的定量特征，并且高度忽略了对单个滤波器的特定功能的定性解释。本文从不同的角度对卷积滤波器的功能性和冗余性进行了解释，提出了一种面向功能性的滤波器剪枝方法。通过大量的实验结果，我们证明了卷积滤波器的定性意义，证明了由于重复的滤波器函数导致的显著的神经网络冗余，并分析了在不适当的再训练过程中滤波器功能的缺陷。这种可解释的过滤器剪枝方法不仅提供了出色的计算成本优化比以前的过滤器剪枝方法，但也解释过滤器剪枝过程。
2019-09-12 cs.CV cs.LG stat.ML
HRank: Filter Pruning using High-Rank Feature Map
Xiamen University（厦门大学）；Peng Cheng Laboratory（鹏城实验室）；Pinterest（品趣志）；Beihang University（北京航空航天大学）；Peking University（北京大学）；Inception Institute of Artificial Intelligence（人工智能创想研究院）
神经网络修剪为在资源有限的设备上部署深度神经网络提供了一个有前途的前景。然而，现有的方法仍然受到挑战的训练效率和劳动力成本修剪设计，由于缺乏非显着的网络组件的理论指导。在本文中，我们提出了一种新的过滤器修剪方法，通过探索高排名的特征图（HRank）。我们的HRank受到这样一个发现的启发：无论CNN接收的图像批次数量如何，单个过滤器生成的多个特征图的平均排名总是相同的。基于HRank，我们开发了一种方法，该方法在数学上用低秩特征映射来修剪过滤器。我们修剪背后的原则是，低秩特征映射包含的信息较少，因此修剪后的结果可以很容易地重现。此外，我们的实验表明，具有高秩特征映射的权重包含更重要的信息，即使部分不更新，对模型性能的损害也很小。在不引入任何额外约束的情况下，HRank在FLOP和参数减少方面比现有技术有了显着改进，具有类似的精度。例如，使用ResNet-110，我们通过删除59.2%的参数实现了58.2%的FLOP减少，CIFAR-10的top-1准确度仅损失0.14%。使用Res-50，我们通过删除36.7%的参数实现了43.8%的FLOPs减少，ImageNet上的top-1准确率仅损失1.17%。这些代码可以在https://github.com/lmbxmu/HRank上获得。
2020-03-16 cs.CV
Rank-Based Filter Pruning for Real-Time UAV Tracking
Guilin University of Technology（桂林理工大学）；Southern University of Science and Technology（南方科技大学）；Sichuan University（四川大学）
无人机跟踪在农业、航海、公共安全等领域有着广泛的应用前景。然而，无人机的计算资源、电池容量和最大载荷的限制阻碍了基于深度学习的跟踪算法在无人机上的部署。因此，判别相关滤波器（DCF）跟踪器脱颖而出，在无人机跟踪社区，因为他们的高效率。然而，它们的精度通常远低于基于深度学习的跟踪器。模型压缩是一种有希望缩小间隙的方法（即，基于DCF和深度学习的跟踪器之间的效率，精度），这在无人机跟踪中没有引起太多的关注。在本文中，我们提出了P-SiamFC++跟踪器，这是第一个使用基于秩的过滤器修剪压缩SiamFC++模型，实现了效率和精度之间的显着平衡。该方法具有一定的通用性，对进一步研究基于模型压缩的无人机跟踪问题具有一定的参考价值。在UAV123@10fps、DTB 70、UAVDT和Vistrone 2018等四个无人机基准上进行的大量实验表明，P-SiamFC++跟踪器的性能明显优于最先进的无人机跟踪方法。
2022-07-05 cs.CV
B-FPGM: Lightweight Face Detection via Bayesian-Optimized Soft FPGM Pruning
CERTH-ITI（希腊研究与技术中心信息技术研究所）
提出一种结合FPGM、SFP和贝叶斯优化的轻量级人脸检测剪枝流程B-FPGM，通过优化各层剪枝率，在WIDER FACE数据集上实现了模型规模与性能的更优折中。
2025-01-28 cs.CV
Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced Medical Image Analysis
The University of Hong Kong（香港大学）；Boston University（波士顿大学）
针对深度网络在资源受限设备上难以处理不平衡医学数据的问题，提出Beta-Rank滤波器剪枝方法，通过结合滤波器输入输出与权重值评估重要性，在大幅减少FLOPs和参数的同时保持或提升基线模型性能，并经手机应用验证了内存与预测时间的显著降低。
2023-06-26 cs.CV
Iterative Filter Pruning for Concatenation-based CNN Architectures
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；University of Tübingen（蒂宾根大学）
本文针对YOLOv7等含拼接层的CNN目标检测器，提出基于连接图的迭代滤波器剪枝方法，在保持精度的同时显著降低参数量和FLOPs，并在FPGA上实现2倍加速与14 FPS实时运行。
2024-05-04 cs.CV
Electrostatic Force Regularization for Neural Structured Pruning
Université Polytechnique Hauts-de-France（上法兰西理工大学）；Université de Lille（里尔大学）；Université Paris Est Créteil（巴黎东克雷泰伊大学）；National Higher School of Biotechnology（国家高等生物技术学校）
本文首次将物理学的电荷与静电力概念引入深度卷积神经网络训练，提出一种无需修改架构和大量微调的结构化剪枝方法，通过吸引或排斥滤波器实现权重优化与重要性排序，在多个数据集上取得有竞争力的性能。
2024-11-17 cs.CV
OrthoReg: Robust Network Pruning Using Orthonormality Regularization
University of Michigan（密歇根大学）
近年来，卷积神经网络（CNN）中的网络修剪得到了广泛的研究。为了确定修剪一组滤波器对网络准确性的影响，最先进的修剪方法始终假设CNN的滤波器是独立的。这允许将一组过滤器的重要性估计为各个过滤器的重要性之和。然而，现代网络中的过度参数化会导致高度相关的过滤器使这一假设无效，从而导致不正确的重要性估计。为了解决这个问题，我们提出了OrthoReg，这是一种原则性的正则化策略，可以在网络的过滤器上强制执行正交规范性，以减少过滤器间的相关性，从而允许可靠，有效地确定组重要性估计，提高修剪网络的可训练性，以及高效，同时修剪大型过滤器组。当用于VGG-13、MobileNet-V1和ResNet-34上的迭代修剪时，OrthoReg始终优于五种基线技术，包括CIFAR-100和Tiny-ImageNet上的最新技术。对于最近提出的Early-Bird Ticket假设，该假设声称网络在训练的早期变得易于修剪，并且可以在几个时期后修剪以最大限度地减少训练支出，我们发现OrthoReg显着优于先前的工作。代码可在https://github.com/EkdeepSLubana/OrthoReg获得。
2020-09-10 cs.CV cs.LG
Sub-network Multi-objective Evolutionary Algorithm for Filter Pruning
Shenzhen University（深圳大学）
过滤器修剪是深度神经网络（DNN）中实现模型压缩和加速的常用方法，一些研究将过滤器修剪视为组合优化问题，从而使用进化算法（EA）对DNN的过滤器进行修剪。然而，由于解空间搜索的复杂性，很难在合理的时间内找到令人满意的折衷解。为了解决这个问题，我们首先制定了一个多目标优化问题的基础上的一个子网络的完整模型，并提出了一个子网络多目标进化算法（SMOEA）的过滤器修剪。SMOEA算法通过逐组地对卷积层进行剪枝，可以获得性能更好的轻量级剪枝结果，并在CIFAR-10的VGG-14模型上进行了实验，验证了SMOEA算法的有效性。具体而言，修剪后的模型的准确性与16.56%的参数仅下降了0.28%，这是优于广泛使用的流行的过滤器修剪标准。
2022-10-22 cs.AI cs.CV cs.NE
Weight-dependent Gates for Network Pruning
University of Science and Technology of China（中国科学技术大学）；Hong Kong University of Science and Technology（香港科技大学）；Chongqing University（重庆大学）；Megvii Inc.（旷视科技）
提出了一种简单有效的网络剪枝框架，同时解决了剪枝指标、剪枝率和效率约束等问题。本文认为，修剪决策应取决于卷积权重，因此提出了新的权重依赖门（W-Gates）从滤波器权重中学习信息，并获得二进制门来自动修剪或保留滤波器。为了在效率约束下对网络进行修剪，构建了一个可切换的效率模块来预测候选修剪网络的硬件延迟或FLOP。结合所提出的效率模块，W-Gates可以以效率感知的方式执行过滤器修剪，并实现具有更好的准确性-效率权衡的紧凑网络。我们已经在ResNet 34，ResNet 50和MobileNet V2上证明了所提出的方法的有效性，分别在ImageNet上实现了高达1.33/1.28/1.1的高Top-1准确性和较低的硬件延迟。与最先进的方法相比，W-Gates还实现了优越的性能。
2022-05-14 cs.CV
Asymptotic Soft Cluster Pruning for Deep Neural Networks
Beijing University of Posts and Telecommunications（北京邮电大学）
过滤器修剪方法通过去除选定的过滤器来引入结构稀疏性，因此对于降低复杂度特别有效。以前的工作经验修剪网络的角度来看，过滤器与较小的范数有助于减少最终的结果。然而，这样的标准已被证明是敏感的过滤器的分布，和准确性可能难以恢复，因为容量差距是固定的，一旦修剪。本文提出了一种新的过滤器剪枝方法--渐近软簇剪枝（ASCP），根据过滤器的相似性来识别网络的冗余度。该方法首先对过参数化网络中的滤波器进行聚类分析，然后通过人工引入冗余度对滤波器进行重构，并提出了几种聚类准则，以更好地保留特征提取能力。在重构后，允许更新滤波器，以消除误选滤波器带来的影响。此外，采用不同的剪枝率衰减策略，稳定剪枝过程，提高最终性能。通过在每个集群内逐渐生成更多相同的过滤器，ASCP可以通过通道添加操作来删除它们，几乎没有精度下降。在CIFAR-10和ImageNet数据集上的大量实验表明，与许多最先进的算法相比，我们的方法可以获得有竞争力的结果。
2022-06-16 cs.AI cs.CV
Cluster Pruning: An Efficient Filter Pruning Method for Edge AI Vision Applications
Singapore University of Technology and Design（新加坡科技设计大学）
尽管卷积神经网络（CNN）在计算机视觉领域已经显示出优异的结果，但在边缘实时实现计算机视觉算法仍然是一项具有挑战性的任务，特别是由于CNN中的高存储器消耗和计算复杂性而使用低成本IoT设备。网络压缩的方法，如权重修剪，过滤器修剪，和量化是用来克服上述问题。即使滤波器修剪方法与其他技术相比已经显示出更好的性能，但是在CNN的不同层上修剪的滤波器的数量的不规则性可能不符合大多数神经计算硬件架构。在本文中，提出了一种新的贪婪的方法，称为集群修剪，它提供了一种结构化的方式来删除过滤器在CNN通过考虑过滤器的重要性和底层的硬件架构。所提出的方法相比，传统的过滤器修剪算法的Pascal-VOC开放数据集，和人头计数数据集，这是我们自己的数据集开发的检测和计数进入房间的人。我们在三种硬件架构上对我们提出的方法进行了基准测试，即CPU，GPU和英特尔Movidius神经计算机棒（NCS），使用流行的SSD-MobileNet和SSD-SqueezeNet神经网络架构用于边缘AI视觉应用。结果表明，我们的方法优于传统的过滤器修剪方法，使用上述硬件架构上的两个数据集。此外，还提出了一种由英特尔Movidius-NCS组成的低成本物联网硬件设置，用于使用我们提出的修剪方法部署边缘AI应用程序。
2020-03-05 cs.CV cs.LG eess.IV
