Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks
Peking University（北京大学）；Xidian University（西安电子科技大学）
为了在资源有限的设备上部署深度卷积神经网络（CNN），已经开发了许多用于滤波器和权重的模型修剪方法，而只有少数用于层修剪。然而，与过滤器剪枝和权重剪枝相比，在相同的FLOP和参数个数下，层剪枝得到的精简模型由于在内存中移动的数据较少，推理时间和运行时内存占用量更少。在本文中，我们提出了一种简单的层修剪方法，使用可融合的残留卷积块（ResConv），这是通过插入一个可训练的信息控制参数的快捷连接到一个单一的卷积层。在训练中使用ResConv结构可以提高网络精度和训练深层网络，并且在推理过程中不增加额外的计算，因为ResConv在训练后被融合为普通的卷积层。对于层修剪，我们将网络的卷积层转换为具有层缩放因子的ResConv。在训练过程中，采用L1正则化使尺度因子稀疏化，从而自动识别并去除不重要的层，得到一个层约简模型。我们的剪枝方法在不同的数据集上取得了优异的压缩和加速性能，并且在低剪枝率的情况下不需要重新训练。例如，使用ResNet-110，我们通过删除55.5%的参数实现了65.5%的FLOP减少，CIFAR-10的top-1准确度仅损失0.13%。
2020-11-29 cs.CV
AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）；Nanjing（南京）；China（中国）
通道修剪是加速深度模型推理的一种重要方法。以往的滤波器修剪算法将信道修剪和模型微调视为两个独立的步骤。本文认为，将它们组合成一个端到端的可训练系统将带来更好的结果。我们提出了一个有效的信道选择层，即AutoPruner，以联合训练的方式自动找到不太重要的滤波器。我们的AutoPruner将以前的激活响应作为输入，并生成一个真正的二进制索引代码进行修剪。因此，在训练之后，可以安全地移除对应于零索引值的所有滤波器。我们的经验表明，该通道选择层的梯度信息也有助于整个模型的训练。通过逐渐删除几个弱过滤器，我们可以防止模型精度的过度下降。与以前最先进的修剪算法（包括从头开始训练）相比，AutoPruner实现了更好的性能。此外，消融实验表明，所提出的新的小批量池和二值化操作是至关重要的过滤器修剪的成功。
2019-01-17 cs.CV
Towards thinner convolutional neural networks through Gradually Global Pruning
University of Electronic Science and Technology of China（电子科技大学）
深度网络剪枝是将深度神经网络应用于资源有限的设备时降低其存储和计算成本的有效方法。在许多修剪粒度中，神经元级修剪将删除模型中的冗余神经元和滤波器，从而导致网络更薄。在本文中，我们提出了一个渐进的全球修剪计划的神经元级修剪。在每个修剪步骤中，选择一小部分神经元并将其丢弃在模型的所有层中。我们还提出了一种简单的方法来消除在评估神经元的重要性，使该计划可行的偏见。与分层剪枝方案相比，该方案避免了确定每层冗余度的困难，对深度网络更有效。该方案在给定性能的情况下，能自动在原网络中找到一个较细的子网络。
2017-03-29 cs.CV
DBP: Discrimination Based Block-Level Pruning for Deep Model Acceleration
Zhejiang University（浙江大学）；Fabu Inc.（Fabu公司）
神经网络修剪是加速深度卷积神经网络（CNN）推理的最流行方法之一。主要的剪枝方法，过滤器级剪枝方法，通过计算的减少率来评估它们的性能，并认为更高的计算减少率相当于在推理时间方面更高的加速率。然而，我们认为，如果并行计算被认为是不等价的。考虑到过滤器级修剪仅修剪层中的过滤器，并且层中的计算通常并行运行，因此通过过滤器级修剪减少的大多数计算通常与未减少的计算并行运行。因此，过滤器级修剪的加速比是有限的。为了获得更高的加速比，最好修剪冗余层，因为不同层的计算不能并行运行。在本文中，我们提出了我们的歧视基于块级剪枝方法（DBP）。具体地，DBP采用连续层的序列（例如，Conv-BN-ReLu）作为块，并根据其输出特征的区分度去除冗余块。因此，DBP通过减少CNN的深度来实现相当大的加速比。大量的实验表明，DBP已经超过了国家的最先进的过滤器级修剪方法的准确性和加速比。我们的代码将很快提供。
2019-12-21 cs.CV
PFGDF: Pruning Filter via Gaussian Distribution Feature for Deep Neural Networks Acceleration
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Faculty of Information Technology, Beijing University of Technology（北京工业大学信息技术学院）
深度学习在很多领域都取得了骄人的成绩，但边缘智能设备的部署仍然非常缓慢。针对这一问题，提出了一种基于数据分布特征的深度神经网络压缩加速方法，即基于高斯分布特征的剪枝滤波器（Pruning Filter via Gaussian Distribution Feature，PFGDF）。与以往的改进剪枝方法相比，PFGDF利用分布不显著的滤波器对模型进行压缩，而不考虑卷积滤波器的贡献和灵敏度信息。PFGDF与权值稀疏化剪枝有很大的不同，因为它不需要专门的加速库来处理稀疏权值矩阵，也没有引入更多的额外参数。PFGDF的修剪过程是自动化的。此外，PFGDF压缩后的模型可以恢复与未压缩模型相同的性能。我们通过大量的实验对PFGDF进行了评估，在CIFAR-10上，PFGDF将VGG-16上的卷积滤波器压缩了66.62%，参数减少了90%以上，而在华为MATE 10上的推理时间加快了83.73%。
2022-05-26 cs.CV
Task dependent Deep LDA pruning of neural networks
McGill University（麦吉尔大学）
随着深度学习的成功，有限数量的流行深度网络已被广泛用于各种视觉任务。然而，这通常会导致不必要的高复杂性和可能的低任务效用的许多功能。在本文中，我们通过引入基于Fisher线性判别分析（LDA）的任务相关深度剪枝框架来解决这个问题。该方法可以应用于卷积、全连接和基于模块的深度网络结构，在所有情况下都利用了在预决策空间中发现的神经元基序的高度去相关性和跨层去卷积依赖性。此外，我们研究了我们的方法在网络架构搜索特定任务的潜力，并分析了我们的修剪模型对噪声和对抗攻击的鲁棒性的影响。通用对象（ImageNet，CIFAR 100）以及特定领域任务（Adience和LFWA）的数据集上的实验结果表明，我们的框架比最先进的修剪方法和固定的紧凑网络（例如SqueezeNet，MobileNet）具有更好的性能。即使在丢弃大多数参数（VGG 16为98%-99%，已经紧凑的InceptionNet高达82%）和显着降低FLOP（VGG 16为83%，InceptionNet高达64%）之后，所提出的方法也成功地保持了相当的精度。通过修剪，我们还可以获得更小，但更准确，更强大的模型适合于任务。
2020-11-24 cs.CV
Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）；Fudan University（复旦大学）
提出了一种软滤波器剪枝（SFP）方法来加速深度卷积神经网络（CNN）的推理过程。具体来说，所提出的SFP使修剪后的过滤器进行更新时，训练模型修剪后。SFP具有两个优点：（1）较大的模型容量。更新先前修剪的过滤器为我们的方法提供了更大的优化空间，而不是将过滤器固定为零。因此，我们的方法训练的网络具有更大的模型容量，从训练数据学习。(2)减少对预训练模型的依赖。大容量使SFP能够从头开始训练并同时修剪模型。相比之下，以前的过滤器修剪方法应该在预训练模型的基础上进行，以保证其性能。经验上，SFP从头开始优于以前的过滤器修剪方法。此外，我们的方法已被证明是有效的许多先进的CNN架构。值得注意的是，在ILSCRC-2012上，SFP在ResNet-101上减少了42%以上的FLOP，甚至前5名的准确性提高了0.2%，这推进了最先进的技术。代码在GitHub上公开：https://github.com/he-y/soft-filter-pruning
2018-08-21 cs.CV
Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks
University of Technology Sydney（悉尼科技大学）；Fudan University（复旦大学）；Hangdian University（杭州电子科技大学）
更深更宽的卷积神经网络（CNN）虽然具有更好的性能，但计算代价昂贵。加速这种过度参数化的神经网络已经受到越来越多的关注。典型的修剪算法是三级流水线，即，培训、修剪和再培训。现有的方法在再训练期间将修剪的滤波器固定为零，从而显著减小优化空间。此外，他们直接修剪大量的过滤器，这将导致不可恢复的信息丢失。为了解决这些问题，我们提出了一种渐进软滤波器剪枝（ASFP）方法来加速深层神经网络的推理过程。首先，我们在再训练阶段更新修剪的过滤器。结果表明，修剪后的模型的优化空间不会减小，而是与原模型的优化空间相同。这样，模型就有足够的能力从训练数据中学习。其次，我们渐进地修剪网络。我们首先修剪一些过滤器，然后在训练过程中渐进地修剪更多的过滤器。渐近剪枝使训练集的信息逐渐集中到剩余的滤波器中，从而保证后续训练和剪枝过程的稳定性。实验表明，我们的ASFP的有效性图像分类基准。值得注意的是，在ILSVRC-2012上，我们的ASFP在ResNet-50上减少了40%以上的FLOP，而前5名的准确性仅下降了0.14%，比软过滤器修剪（SFP）高出8%。
2019-11-11 cs.CV
Effective Model Compression via Stage-wise Pruning
College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）；Hang Zhou, People’s Republic of China（杭州市（中华人民共和国））
自动机器学习（Auto-ML）修剪方法旨在自动搜索修剪策略，以降低深度卷积神经网络（深度CNN）的计算复杂性。然而，一些先前的工作发现，许多自动ML修剪方法的结果甚至不能超过均匀修剪方法的结果。本文分析了超网训练不充分和不公平导致的自动ML剪枝的无效性。一个深度超网会因为包含太多的候选者而遭受不充分的训练。为了克服训练不充分的问题，提出了一种分阶段剪枝（SWP）方法，该方法将一个深度超网分成若干个分阶段的超网，以减少候选超网的数量，并利用原地蒸馏来监督阶段训练。此外，由于每个通道的采样概率不相等，宽超网受到不公平训练的打击。因此，在每次训练迭代中对fullnet和tinynet进行采样，以确保每个通道都可以过训练。值得注意的是，使用SWP训练的机器学习的代理性能比大多数以前的Auto-ML修剪工作更接近实际性能。实验表明，在移动环境下，SWP在CIFAR-10和ImageNet上都达到了最先进的水平。
2021-09-22 cs.CV
CUP: Cluster Pruning for Compressing Deep Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；IQVIA（艾昆纬）
我们提出了集群修剪（CUP）来压缩和加速深度神经网络。我们的方法通过基于来自传入和传出权重连接的特征对其进行聚类来修剪类似的过滤器。利用CUP，我们克服了先前工作的两个限制-（1）非均匀修剪：CUP可以有效地确定神经网络的每一层中要修剪的过滤器的理想数量。这与现有方法形成对比，现有方法均匀地修剪所有层或以其他方式使用资源密集型方法，例如手动灵敏度分析或强化学习来确定理想数量。(2)单次操作：我们将CUP扩展到CUP-SS（用于CUP Single Shot），从而将修剪集成到初始训练阶段本身。与传统的修剪管道相比，这可以节省大量的训练时间。通过对多个数据集（MNIST，CIFAR-10和Imagenet）和模型（VGG-16，Resnets-18/34/56）的广泛评估，我们表明CUP优于最新技术水平。具体来说，CUP-SS在Imagenet上训练的Resnet-50模型实现了2.2倍的浮点数减少，同时保持在0.9%的前5名准确度内。与原始Resnet-50相比，它节省了超过14小时的培训时间。代码再现结果是可用的。
2019-11-19 cs.CV
Channel Pruning for Accelerating Very Deep Neural Networks
Megvii Inc.（旷视科技）
本文介绍了一种新的通道修剪方法来加速非常深的卷积神经网络。给定一个训练好的CNN模型，我们提出了一个迭代的两步算法，通过基于LASSO回归的通道选择和最小二乘重建来有效地修剪每一层。我们进一步推广该算法到多层和多分支的情况。我们的方法减少了累积误差，提高了与各种架构的兼容性。我们的修剪VGG-16实现了最先进的结果，速度提高了5倍，误差仅增加了0.3%。更重要的是，我们的方法能够加速ResNet，Xception等现代网络，并且在2倍加速下分别仅损失1.4%和1.0%的准确性，这是非常重要的。代码已公开。
2017-08-21 cs.CV
AutoPruning for Deep Neural Network with Dynamic Channel Masking
Baidu Research（百度研究院）；Baidu Incorporation（百度公司）
现代深度神经网络模型是大型的且计算密集型的。这个问题的一个典型解决方案是模型修剪。然而，目前大多数剪枝算法依赖于手工制作的规则或领域的专业知识。为了克服这个问题，我们提出了一种基于学习的深度神经网络自动剪枝算法，该算法受到最近的自动机器学习（AutoML）的启发。首先建立了一个两目标问题，即每层的权值和最佳信道。然后，提出了一种替代的优化方法，同时获得最佳的信道数和权重。在剪枝过程中，我们利用一个可搜索的超参数剩余比来表示每个卷积层中的通道数，然后提出一个动态掩蔽过程来描述相应的通道演化。为了控制模型的准确性和浮点运算的剪枝率之间的折衷，进一步引入了一种新的损失函数。基准数据集上的初步实验结果表明，我们的计划取得了竞争力的结果神经网络修剪。
2020-11-02 cs.CV
Multi-loss-aware Channel Pruning of Deep Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
通道修剪（Channel pruning）通过删除冗余通道来减小模型大小，是深度网络压缩的一种流行解决方案。现有的通道修剪方法通常通过直接最小化基线模型和修剪模型之间的特征映射的重构误差来进行逐层通道选择。然而，它们忽略了特征图中的特征和语义分布以及通道对整体性能的真正贡献。在本文中，我们提出了一种新的通道修剪方法，明确使用的基线模型的中间输出和分类损失的修剪模型来监督逐层的通道选择。特别是，我们引入了一个额外的损失编码的特征和语义分布之间的基线模型和修剪的特征图的差异。通过同时考虑重建误差、附加损失和分类损失，该方法可以显著提高剪枝模型的性能。在基准数据集上的综合实验证明了该方法的有效性。
2019-02-27 cs.CV
Automated Pruning for Deep Neural Network Compression
Strategic Analytics — lastminute.com group（战略分析——lastminute.com集团）；DISCo — Università degli Studi di Milano Bicocca（米兰比可卡大学数据信息系统与通信系）
在这项工作中，我们提出了一种方法来改善修剪步骤的当前国家的最先进的方法来压缩神经网络。所提出的修剪技术的新颖性在于其可微性，这允许在网络训练的反向传播阶段执行修剪。这实现了端到端学习，并大大缩短了训练时间。该技术是基于一个家庭的可微修剪功能和一个新的正则化专门设计来执行修剪。实验结果表明，阈值和网络权值的联合优化允许达到更高的压缩率，与当前最先进的技术相比，修剪网络的权值数量进一步减少了14%至33%。我们相信，这是第一个研究，在迁移学习任务的泛化能力的特征提取的修剪网络分析了为了实现这一目标，我们表明，使用所提出的修剪方法学习的表示保持相同的有效性和通用性的学习相应的非压缩网络上的一组不同的识别任务。
2019-01-06 cs.CV
HCPM: Hierarchical Candidates Pruning for Efficient Detector-Free Matching
Tencent YouTu Lab（腾讯优图实验室）；Duke University（杜克大学）；The Hong Kong Polytechnic University（香港理工大学）
HCPM通过层级剪枝优化无检测器特征匹配，减少计算候选，提升速度并保持高精度。
2024-03-19 cs.CV
Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration
University of Technology Sydney（悉尼科技大学）；CETC（中国电子科技集团公司）；Huawei（华为）；Baidu Research（百度研究院）
以前的工作利用“smaller-norm-less-important”准则来修剪卷积神经网络中具有较小范数值的滤波器。在本文中，我们分析了这种基于范数的准则，并指出其有效性取决于两个要求，并不总是满足：（1）的范数偏差的过滤器应该是大的;（2）的最小范数的过滤器应该是小的。为了解决这个问题，我们提出了一种新的过滤器修剪方法，即通过几何中位数的过滤器修剪（FPGM），来压缩模型，而无论这两个要求如何。与以前的方法不同，FPGM通过修剪具有冗余的过滤器来压缩CNN模型，而不是那些具有“相对较低”重要性的过滤器。当应用于两个图像分类基准，我们的方法验证了它的有用性和优势。值得注意的是，在CIFAR-10上，FPGM在ResNet-110上降低了52%以上的FLOP，相对精度甚至提高了2.69%。此外，在ILSVRC-2012上，FPGM在ResNet-101上减少了超过42%的FLOP，而没有前5名的准确性下降，这已经推进了最先进的水平。代码在GitHub上公开：https://github.com/he-y/filter-pruning-geometric-median
2019-07-14 cs.CV
AutoLR: Layer-wise Pruning and Auto-tuning of Learning Rates in Fine-tuning of Deep Networks
Seoul National University（首尔国立大学）；Samsung SDS（三星SDS）
现有的微调方法在所有层上使用单个学习率。在本文中，首先，我们讨论了通过使用单个学习率进行微调的逐层权重变化的趋势与众所周知的概念不匹配，即较低级别的层提取一般特征，而较高级别的层提取特定特征。基于我们的讨论，我们提出了一种算法，提高微调性能，降低网络的复杂性，通过逐层修剪和自动调整逐层学习率。该算法在图像检索基准数据集（CUB-200、Cars-196、Stanford在线产品和Inshop）上实现了最先进的性能，验证了其有效性。代码可在https://github.com/youngminPIL/AutoLR上获得。
2021-01-04 cs.CV
Discrimination-aware Channel Pruning for Deep Neural Networks
South China University of Technology（华南理工大学）；University of Texas at Arlington（得克萨斯大学阿灵顿分校）；Tencent AI Lab（腾讯人工智能实验室）；The University of Adelaide（阿德莱德大学）
通道修剪是深度模型压缩的主要方法之一。现有的修剪方法要么是在通道上进行稀疏约束的情况下从头开始训练，要么是最小化预训练特征图和压缩特征图之间的重构误差。这两种策略都有一定的局限性：前者计算量大，难以收敛，而后者优化了重建误差，但忽略了通道的鉴别能力。为了克服这些缺点，我们研究了一种简单而有效的方法，称为歧视感知信道修剪，选择那些真正有助于区分能力的信道。为此，我们引入额外的损失到网络中，以增加中间层的鉴别能力，然后通过考虑额外的损失和重建误差，为每一层选择最具鉴别力的通道。最后，我们提出了一种贪心算法，以迭代的方式进行信道选择和参数优化。大量的实验证明了我们的方法的有效性。例如，在ILSVRC-12上，我们修剪的ResNet-50减少了30%的通道，甚至在top-1准确度上比原始模型高出0.39%。
2019-01-14 cs.CV
Stability Based Filter Pruning for Accelerating Deep CNNs
IIT Kanpur（印度理工学院坎普尔分校）；Samsung R&D Institute（三星研发院）
卷积神经网络（CNN）在各种任务（分类，检测等）上取得了令人印象深刻的性能。以高计算和存储器要求为代价跨越多个域。因此，将CNN用于实时应用需要模型压缩方法，不仅减少参数的总数，而且还减少整体计算。在这项工作中，我们提出了一种基于稳定性的CNN过滤器级修剪方法。我们在不同的架构（LeNet，VGG-16，ResNet和Faster RCNN）和数据集上评估了我们提出的方法，并通过广泛的实验证明了其通用性。此外，我们的压缩模型可以在运行时使用，而不需要任何特殊的库或硬件。我们的模型压缩方法将FLOPS的数量减少了6.03倍，GPU内存占用量减少了17倍以上，显著优于其他最先进的过滤器修剪方法。
2018-11-20 cs.CV
Recovering from Random Pruning: On the Plasticity of Deep Convolutional Neural Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Robert Bosch Centre for Data Science and AI (RBC-DSAI)（罗伯特·博世数据科学与人工智能中心（RBC-DSAI））；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近，为了减少计算，已经有大量关于从深度卷积神经网络（CNN）中修剪滤波器的工作。关键思想是根据特定标准（例如，$l_1$ -范数、零的平均百分比等）对过滤器进行排名，并仅保留排名最高的过滤器。一旦低评分滤波器被修剪掉，网络的其余部分就被微调，并且显示出与原始未修剪网络相当的性能。在这项工作中，我们报告的实验表明，修剪网络的可比性能不是由于所选择的特定标准，而是由于深层神经网络的固有可塑性，一旦其余的过滤器被微调，它们就可以从修剪过滤器的损失中恢复过来。具体来说，我们展示了反直观的结果，其中通过从深度CNN随机修剪25- 50%的过滤器，我们能够获得与使用最先进的修剪方法获得的性能相同的性能。我们通过对VGG-16和ResNet-50进行详尽的评估来验证我们的说法。此外，我们还评估了一个真实世界的场景，其中在所有1000个ImageNet类上训练的CNN在测试时只需要在一小部分类上进行测试（例如，只有动物）。我们从ImageNet创建了一个新的基准数据集来评估这种类特定的修剪，并表明即使在这里，随机修剪策略也可以提供接近最先进的性能。最后，不同于现有的方法，主要集中在图像分类的任务，在这项工作中，我们还报告结果目标检测。我们表明，使用简单的随机修剪策略，我们可以在目标检测中实现显着的速度提高（fps提高74 $\%$），同时保持与原始Faster RCNN模型相同的准确性。
2018-01-31 cs.CV
Pruning Very Deep Neural Network Channels for Efficient Inference
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）
在本文中，我们引入了一种新的通道修剪方法来加速非常深的卷积神经网络。给定一个训练好的CNN模型，我们提出了一个迭代的两步算法，通过基于LASSO回归的通道选择和最小二乘重建来有效地修剪每一层。我们进一步推广该算法到多层和多分支的情况。我们的方法减少了累积误差，提高了与各种架构的兼容性。我们的修剪VGG-16实现了最先进的结果，速度提高了5倍，误差仅增加了0.3%。更重要的是，我们的方法能够加速ResNet，Xception等现代网络，并且在2倍加速下分别仅损失1.4%和1.0%的准确性，这是非常重要的。我们的代码已公开发布。
2022-11-14 cs.CV
Layer Pruning for Accelerating Very Deep Neural Networks
Cloudwalk Technology（云从科技）
在本文中，我们提出了一种自适应修剪方法。该方法能够自适应地截断信道和层。自适应地学习待切割的层和通道的比例。本文提出的剪枝方法可以减少一半的参数，并且精度不会下降甚至高于基线。
2019-10-28 cs.CV cs.LG
Archtree: on-the-fly tree-structured exploration for latency-aware pruning of deep neural networks
Datakalab（达塔卡拉布）；Sorbonne Université（索邦大学）
Archtree提出一种延迟驱动的深度神经网络结构化剪枝方法，通过树状并行探索多个候选子模型并在目标硬件上即时估计延迟，在保持精度的同时更好地满足延迟预算。
2023-11-17 cs.CV
SCSP: Spectral Clustering Filter Pruning with Soft Self-adaption Manners
深度卷积神经网络（CNN）在计算机视觉领域取得了巨大的成功。然而，深度复杂模型的高计算成本阻碍了在具有有限内存和计算资源的边缘设备上的部署。提出了一种新的卷积神经网络压缩滤波器剪枝方法--软自适应谱聚类滤波器剪枝（SCSP）。我们首先逐层对过滤器应用谱聚类，以探索它们的内在联系，并只依赖于有效的组。通过自适应的方式，可以在较少的时期内完成剪枝操作，使网络逐渐选择有意义的组。根据该策略，我们不仅实现了模型压缩，同时保持相当的性能，而且找到了一个新的角度来解释模型压缩过程。
2018-06-14 cs.CV
Efficient Joint Optimization of Layer-Adaptive Weight Pruning in Deep Neural Networks
Institute for Infocomm Research (IR), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）信息通信研究院（IR））；Nanyang Technological University, Singapore（新加坡南洋理工大学）
本研究提出一种基于动态规划的DNN层自适应权重剪枝方法，利用多层剪枝失真可加性实现线性时间复杂度优化，在ImageNet和CIFAR-10上的多种模型top-1准确率显著优于现有方法。
2023-08-24 cs.CV
LinDeps: A Fine-tuning Free Post-Pruning Method to Remove Layer-Wise Linear Dependencies with Guaranteed Performance Preservation
Montefiore Institute, University of Liège（蒙特福院、列日大学）
针对现有CNN剪枝方法忽略层内特征图结构依赖、剪枝效果欠佳的问题，提出无需微调的后剪枝方法LinDeps，通过带主元QR分解识别冗余滤波器并结合信号恢复机制保性能，在多个数据集和主干网络上实现更优压缩与加速效果。
2025-07-29 cs.CV
Pruning Deep Neural Networks using Partial Least Squares
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
现代模式识别方法基于卷积网络，因为它们能够学习有利于分类的复杂模式。然而，卷积网络在计算上是昂贵的，并且需要大量的内存，这限制了它们在低功耗和资源受限系统上的部署。为了处理这些问题，最近的方法已经提出了发现并移除不重要的神经元（即，过滤器）在这些网络中。尽管取得了显着的效果，但现有的修剪方法是无效的，因为原始网络的准确性会降低。在这项工作中，我们提出了一种新的方法来有效地从卷积网络中删除滤波器。我们的方法估计过滤器的重要性的基础上，它与类标签的低维空间。该关系使用偏最小二乘（PLS）和变量投影重要性（VIP）来计算。我们的方法能够减少高达67%的浮点运算（FLOPs），而不会影响网络的准确性。在精度下降可以忽略不计的情况下，我们可以减少高达90%的FLOP。此外，有时该方法甚至能够与原始的未修剪网络相比提高准确性。我们表明，采用PLS+VIP作为标准检测的过滤器被删除是优于最近的特征选择技术，已采用国家的最先进的修剪方法。最后，我们表明，所提出的方法实现了最高的FLOPs减少和最小的准确性下降相比，国家的最先进的修剪方法。代码可在以下网址获得：https://github.com/arturjordao/PruningNeuralNetworks
2019-09-19 cs.CV
Hierarchical Pruning of Deep Ensembles with Focal Diversity
Florida International University（佛罗里达国际大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出层次化深度集成剪枝方法（HQ），利用焦点多样性指标高效识别高质量小子集，提升集成准确性、鲁棒性与效率。
2023-11-17 cs.CV cs.LG
Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural Networks
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（金山大学）
深度神经网络（DNN）有许多参数和激活数据，而这两者的实现成本都很高。减少DNN大小的一种方法是通过使用权重和激活的低位表达式来优化预训练模型，使用微调来恢复准确性的下降。然而，通常难以训练使用低位表达式的神经网络。一个原因是DNN的中间层中的权重具有宽的动态范围，并且因此当将宽的动态范围量化为几个比特时，步长变大，这导致大的量化误差并且最终导致精度的大的劣化。为了解决这个问题，本文在不使用任何额外的学习参数和超参数的情况下做出了以下三个贡献。首先，我们分析导致上述问题的批量归一化如何干扰量化DNN的微调。其次，基于这些结果，我们提出了一种新的修剪方法，称为量化修剪（PfQ），它去除了干扰DNN微调的滤波器，同时尽可能不影响推断结果。第三，我们提出了一个使用所提出的修剪方法（PfQ）对量化DNN进行微调的工作流程。使用知名的模型和数据集的实验证实，所提出的方法实现了更高的性能与类似的模型大小比传统的量化方法，包括微调。
2020-11-25 cs.CV
Evolving Transferable Neural Pruning Functions
Princeton University（普林斯顿大学）
神经网络的结构设计对于深度学习的成功至关重要。虽然进化学习中的大多数先前工作旨在直接搜索网络的结构，但很少有人尝试另一个有前途的轨道，通道修剪，最近在设计有效的深度学习模型方面取得了重大进展。事实上，现有的剪枝方法采用人为的剪枝函数来评估通道的重要性，这需要领域知识，并且可能是次优的。为此，我们开创性地使用遗传编程（GP）自动发现强大的修剪指标。具体来说，我们设计了一个新的设计空间来表达高质量和可转移的剪枝函数，这确保了端到端的进化过程，在进化后的函数上不需要手动修改它们的可转移性。与以前的方法不同，我们的方法可以提供紧凑的修剪网络进行有效的推理和新的封闭形式的修剪度量，这是数学上可解释的，因此可推广到不同的修剪任务。虽然进化是在小数据集上进行的，但我们的函数在应用于更具挑战性的数据集时显示出有希望的结果，与进化过程中使用的数据集不同。例如，在ILSVRC-2012上，一个进化的函数实现了最先进的修剪结果。
2022-08-04 cs.CV
Fine-Pruning: Joint Fine-Tuning and Compression of a Convolutional Network with Bayesian Optimization
Simon Fraser University（西蒙弗雷泽大学）
当在专门的图像领域中处理新的视觉识别问题时，一种常见的策略是从预先训练的深度神经网络开始，并将其微调到专门的领域。如果目标域覆盖的视觉空间小于用于预训练的源域（例如ImageNet），则微调后的网络可能会过度参数化。然而，应用网络修剪作为后处理步骤以减少存储器需求具有缺点：微调和修剪是独立执行的;修剪参数设置一次并且不能随着时间的推移而适应;并且最先进的修剪方法的高度参数化性质使得禁止手动搜索深度网络的修剪参数空间，从而导致粗略近似。我们提出了一种原则性的方法，用于联合微调和压缩预训练的卷积网络，以克服这些限制。在两个专业图像领域（遥感图像和可描述纹理）上的实验证明了所提出方法的有效性。
2017-07-28 cs.CV
Differentiable Transportation Pruning
Axelera AI（阿克塞拉人工智能公司）；TU Delft（代尔夫特理工大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出一种基于可微最优传输方案的剪枝技术，通过端到端可微和自动调节探索-利用行为来精确控制网络规模并寻找稀疏子网络，在多数据集和模型上达到最先进性能。
2023-07-31 cs.CV
RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging
Datakalab（Datakalab公司）；ISIR（智能系统与机器人研究所）；Sorbonne Université（索邦大学）
修剪深度神经网络（DNN）是以推理运行时加速为目标的一个重要研究领域。在本文中，我们介绍了一种新的无数据剪枝协议RED++。只需要一个训练有素的神经网络，而不是特定于DNN架构，我们利用自适应无数据标量哈希表现出冗余的神经元权重值。我们研究的理论和经验的保证，从散列的准确性，以及预期的修剪率所产生的利用说冗余的保存。我们提出了一种新的DNN层的无数据修剪技术，该技术去除了输入方面的冗余操作。该算法简单，可并行化，并通过将大计算的负担转移到有效的内存访问和分配来提供DNN修剪的新视角。我们为RED++的性能提供了理论保证，并通过经验证明了其优于其他无数据修剪方法的优势，以及与ResNets，MobileNets和EfficientNets上的数据驱动方法的竞争力。
2021-09-30 cs.CV cs.LG
A Deeper Look into Convolutions via Eigenvalue-based Pruning
Middle East Technical University（中东技术大学）
卷积神经网络（CNN）由于其参数共享原则，尽管具有更少的参数，但仍能够获得比全连接神经网络更好的视觉识别性能。现代架构通常包含少量完全连接的层，通常在多层卷积之后的最后。在某些情况下，可以消除大多数卷积，而不会损失识别性能。然而，没有可靠的方法来检测负责大部分识别工作的卷积神经元的隐藏子集。在这项工作中，我们制定了这作为一个修剪问题，其目的是修剪尽可能多的内核，同时保持香草泛化性能。为此，我们使用基于特征值的矩阵特征进行修剪，与内核的平均绝对权重相比，内核的平均绝对权重是文献中评估单个卷积内核重要性的事实标准，以阐明广泛使用的CNN家族的内部机制，即残差神经网络（ResNets），用于使用CIFAR-10的图像分类问题，CIFAR-100和Tiny ImageNet数据集。
2022-10-18 cs.CV
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego（加州大学圣地亚哥分校）
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而，修剪通常仅应用于网络的权重。在这项工作中，我们联合应用新的均匀量化和非结构化修剪方法，在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法，我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例，并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察，我们提出了非交换性假设：对于一个为特定任务训练的给定深度神经网络，存在一个精确的训练时间表，其中可以引入量化和修剪来优化网络性能。我们确定，这种最佳顺序不仅存在，而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划，我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep Convolutional Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Portland State University（波特兰州立大学）
卷积神经网络在深度学习任务中占主导地位。然而，当在移动设备上工作时，它们遭受巨大的成本问题。网络剪枝是解决这类问题的一种有效的模型压缩方法。本文提出了一种新的结构化网络剪枝方法，该方法采用辅助门控结构，以主干网络中各块的重要性标记作为剪枝的依据。然后，分块修剪实现提出的投票策略，这是不同于流行的方法，修剪模型在小粒度，如通道。我们进一步开发了一个三阶段的训练调度建议的架构，结合知识蒸馏，以获得更好的性能。我们的实验表明，我们的方法可以实现国家的最先进的压缩性能的分类任务。此外，我们的方法可以集成协同与其他修剪方法提供预训练的模型，从而实现了更好的性能比unpruned模型超过93\%的FLOPs减少。
2022-05-07 cs.AI cs.CV
A Survey on Deep Neural Network Pruning-Taxonomy, Comparison, Analysis, and Recommendations
University of Adelaide（阿德莱德大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文系统综述深度神经网络剪枝，按加速范围、时机、方法及与其他压缩技术融合分类，比较八组设置并梳理大模型剪枝等前沿方向，同时提供数据集资源与方法选择建议。
2024-08-09 cs.CV cs.LG
Mitigating Vanishing Activations in Deep CapsNets Using Channel Pruning
University of Leeds（利兹大学）
本文针对深度胶囊网络中深层胶囊激活消失导致的可扩展性不足问题，提出利用通道剪枝减少非活跃胶囊，并通过不同剪枝比例实验验证该方法能提升模型准确率。
2024-10-22 cs.AI cs.CV
ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via Fine-Grained Architecture-Preserving Pruning
Washington State University（华盛顿州立大学）；Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；University of Sydney（悉尼大学）；University of Alabama（阿拉巴马大学）
由于对预测精度和分析质量的需求不断增长，卷积神经网络（CNN）正变得越来越深、越来越宽和越来越非线性。然而，广泛而深入的CNN需要大量的计算资源和处理时间。许多先前的工作已经研究了模型修剪，以提高推理性能，但很少做的工作，有效地降低训练成本。在本文中，我们提出了ClickTrain：一个高效准确的CNN端到端训练和修剪框架。与现有的训练过程中的修剪工作不同，ClickTrain通过细粒度的结构保留修剪提供更高的模型精度和压缩比。通过利用基于模式的修剪与我们提出的新的准确的权重重要性估计，动态模式生成和选择，以及编译器辅助的计算优化，ClickTrain生成高度准确和快速修剪的CNN模型，用于直接部署，与基线训练相比，没有任何额外的时间开销。ClickTrain还将训练后修剪方法的端到端时间成本降低了2.3倍，同时具有相当的精度和压缩比。此外，与最先进的训练期间修剪方法相比，ClickTrain在测试的CNN模型和数据集上，在类似的有限训练时间下，提供了显着的准确性和压缩比的改善。
2021-05-01 cs.CV cs.DC
Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation
University of Connecticut（康涅狄格大学）
网络修剪是一种广泛使用的技术，用于降低深度神经网络的计算成本和模型大小。然而，典型的三级流水线，即，训练、修剪和再训练（微调）显著地增加了总体训练路径。在本文中，我们开发了一个系统的重量修剪优化方法的基础上替代拉格朗日松弛（SLR），这是量身定制的，以克服困难所造成的离散性质的重量修剪问题，同时确保快速收敛。我们进一步加快收敛的SLR通过使用二次处罚。与其他最先进的方法相比，在训练阶段通过SLR获得的模型参数更接近其最优值。我们评估所提出的方法对图像分类任务，即，使用ImageNet的ResNet-18和ResNet-50，以及使用CIFAR-10的ResNet-18、ResNet-50和VGG-16，以及目标检测任务，即，使用COCO 2014的YOLOv 3和YOLOv 3-tiny以及使用TuSimple车道检测数据集的Ultra-Fast-Lane-Detection。实验结果表明，我们的基于SLR的权重修剪优化方法实现了更高的压缩率比国家的艺术在相同的精度要求。它还实现了高的模型精度，即使在硬修剪阶段没有再训练（减少了传统的三阶段修剪到两个阶段）。考虑到再训练时期的预算有限，我们的方法可以快速恢复模型的准确性。
2021-03-25 cs.CV cs.LG
ICE-Pruning: An Iterative Cost-Efficient Pruning Pipeline for Deep Neural Networks
School of Computing Science University of Glasgow（计算科学学院格拉斯哥大学）
针对现有迭代剪枝流水线反复微调导致计算成本高的问题，本文提出ICE-Pruning迭代剪枝流水线，通过自动微调判定、冻结策略和剪枝感知学习率调度器，在保持精度的同时最高将剪枝速度提升9.61倍。
2025-06-15 cs.CV cs.LG stat.ML
Advanced deep architecture pruning using single filter performance
Bar-Ilan University（巴伊兰大学）
本研究基于单滤波器性能测量的深度学习机制认知，提出AFCC方法实现卷积层高比例无损剪枝，性能优于同幅度其他剪枝技术，且可拓展至全连接层，助力降低过参数化AI任务复杂度。
2025-06-12 cs.CV cs.LG
Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning
University of Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
深度无监督领域自适应（UDA）近年来受到越来越多的研究者的关注。然而，现有的方法是计算密集的，由于计算成本的卷积神经网络（CNN）采用的大多数工作。到目前为止，还没有有效的网络压缩方法来加速这些模型。在本文中，我们提出了一个统一的传输通道修剪（TCP）的方法来加速UDA模型。TCP能够通过修剪不太重要的通道来压缩深度UDA模型，同时通过减少跨域分布发散来学习可转移特征。因此，它减少了负迁移的影响，保持了目标任务的竞争力。据我们所知，TCP是第一种旨在加速深度UDA模型的方法。TCP在两个基准交换机Office-31和ImageCLEF-DA上进行了验证，两个基准交换机具有两个公共骨干网络VGG 16和ResNet 50。实验结果表明，TCP实现可比或更好的分类精度比其他比较方法，同时显着降低计算成本。更具体地说，在VGG 16中，我们在修剪26%的浮点运算（FLOPs）后获得了更高的准确率;在ResNet 50中，我们在修剪12%的FLOPs后也获得了一半的任务的更高准确率。我们希望TCP将为未来加速迁移学习模型的研究打开一扇新的大门。
2019-03-25 cs.CV cs.LG
Pruning and Quantization for Deep Neural Network Acceleration: A Survey
University of Science and Technology Beijing（北京科技大学）；Hua Xia General Processor Technologies（华夏通用处理器技术公司）；General Processor Technologies（通用处理器技术公司）
深度神经网络已经应用于在计算机视觉领域中表现出非凡能力的许多应用中。然而，复杂的网络架构对高效的实时部署提出了挑战，并需要大量的计算资源和能源成本。这些挑战可以通过网络压缩等优化来克服。网络压缩通常可以在精度损失很小的情况下实现。在某些情况下，准确性甚至可以提高。本文综述了两种网络压缩方法：剪枝和量化。修剪可以被分类为静态的（如果它是离线执行的）或动态的（如果它是在运行时执行的）。我们比较修剪技术，并描述用于删除冗余计算的标准。我们讨论了在元素方面，通道方面，形状方面，过滤器方面，层方面，甚至网络方面的修剪的权衡。量化通过降低数据类型的精度来减少计算。权重、偏置和激活通常可以被量化为8位整数，尽管还讨论了包括二进制神经网络的较低位宽实现。修剪和量化可以独立使用或组合使用。我们比较了当前的技术，分析了它们的优缺点，在一些框架上展示了压缩网络的准确性结果，并为压缩网络提供了实用的指导。
2021-06-15 cs.AI cs.CV
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei University of Technology（合肥工业大学安全关键工业测量与控制技术教育部工程研究中心）
为了将深度CNN应用于移动终端和便携式设备，许多学者最近致力于压缩和加速深度卷积神经网络。在此基础上，我们提出了一种新的均匀信道修剪（UCP）方法来修剪深度CNN，并使用修改的挤压和激励块（MSEB）来衡量卷积层中信道的重要性。不重要的通道，包括与它们相关的卷积核，直接被修剪，这大大降低了存储成本和计算次数。ResNet中有两种类型的残差块。对于存在瓶颈的ResNet，我们使用传统CNN的修剪方法来修剪块中间的3x 3卷积层。对于具有基本残差块的ResNet，我们提出了一种在同一阶段一致地修剪所有残差块的方法，以确保紧凑的网络结构在维度上是正确的。考虑到网络在剪枝后会丢失大量的信息，而且剪枝幅度越大，丢失的信息就越多，所以我们没有选择微调，而是从头开始重新训练，以恢复剪枝后网络的准确性。最后，在CIFAR-10、CIFAR-100和ILSVRC-2012图像分类器上进行了图像分类的实验验证。结果表明，当剪枝率较小时，从头训练后的紧致网络的性能优于原始网络。即使当修剪幅度较大时，也可以保持或略微降低精度。在CIFAR-100上，当将参数和FLOP分别减少到82%和62%时，VGG-19的准确度在重新训练后甚至提高了0.54%。
2020-10-03 cs.AI cs.CV
Efficient Model-Based Deep Learning via Network Pruning and Fine-Tuning
Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出通过结构化剪枝减少MBDL网络参数，并提供三种微调策略以缓解性能损失，使基于DEQ和DU的图像重建分别加速50%和32%且几乎无性能损失。
2025-04-02 cs.CV eess.IV
Systematic Characterization of Minimal Deep Learning Architectures: A Unified Analysis of Convergence, Pruning, and Quantization
School of Computing, Newcastle University（新castle大学计算机学院）；VSB-Technical University of Ostrava（奥斯特拉瓦技术大学）；Queen Mary University of London（伦敦女王玛丽大学）；University of Florida（佛罗里达大学）；University of Catania（卡塔尼亚大学）
本文通过系统分析深度学习架构的收敛性、剪枝和量化特性，揭示了最小可学习参数与模型稳定性之间的关系，为图像分类任务中的紧凑模型设计提供了指导。
2026-01-25 cs.CV cs.LG
PCAS: Pruning Channels with Attention Statistics for Deep Network Compression
Oki Electric Industry Co., Ltd.（冲电气工业株式会社）
深度神经网络的压缩技术对于在小型嵌入式设备上实现它们非常重要。特别是，信道修剪是实现紧凑网络的有用技术。然而，许多常规方法需要手动设置每层中的压缩比。很难分析所有层之间的关系，特别是对于更深的模型。为了解决这些问题，我们提出了一个简单的通道修剪技术的基础上注意力统计，使评估渠道的重要性。我们通过自动通道选择的标准改进了该方法，对整个模型使用单个压缩比代替逐层模型分析。所提出的方法在精度和计算成本方面优于传统方法，用于各种模型和数据集。我们提供了不同数据集上所提出的标准的行为的分析结果，以证明其良好的性能，通道修剪。
2019-08-20 cs.CV cs.LG stat.ML
Progressive Weight Pruning of Deep Neural Networks using ADMM
Syracuse University（雪城大学）；Northeastern University（东北大学）；George Mason University（乔治梅森大学）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院MIT-IBM沃森人工智能实验室）
深度神经网络（DNN）虽然在许多领域实现了人类水平的性能，但具有非常大的模型大小，这阻碍了它们在边缘计算设备上的更广泛应用。已经对DNN模型压缩或修剪进行了广泛的研究工作。然而，大多数以前的工作采取启发式的方法。本文提出了一种基于ADMM（Alternating Direction Method of Multipliers，交替方向乘法）的渐进式权重剪枝方法，该方法是处理具有潜在组合约束的非凸优化问题的一种强有力的技术。该方法受动态规划的启发，通过使用具有中等剪枝率的部分剪枝，达到了极高的剪枝率。因此，它解决了精度下降和收敛时间长的问题时，追求极高的剪枝率。它对ImageNet数据集的剪枝率高达34倍，对MNIST数据集的剪枝率高达167倍，显著高于文献工作所达到的剪枝率。在相同的迭代次数下，该方法具有更快的收敛速度和更高的压缩比。代码和修剪的DNN模型在链接bit.ly/2zxdlss中发布
2018-11-04 cs.CV cs.LG cs.NE
Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer
University of Maryland, College Park（马里兰大学帕克分校）
当有大规模训练数据时，可以通过量化和修剪来获得紧凑而准确的网络，以有效地部署在资源受限的环境中。然而，由于隐私问题，训练数据通常受到保护，并且在没有数据的情况下获得紧凑的网络具有挑战性。我们通过将知识从训练好的大型网络转移到紧凑网络来研究无数据量化和修剪。辅助生成器与目标紧凑网络同时进行对抗训练，以生成最大化给定大型网络与其量化或修剪版本之间差异的合成输入。我们从理论上表明，交替优化的基本极大极小问题收敛在温和的条件下修剪和量化。我们的无数据紧凑型网络与使用训练数据训练和微调的网络相比，具有竞争力的准确性。我们的量化和修剪网络实现了良好的性能，同时更加紧凑和轻量级。此外，我们证明了彩票假说的紧凑结构和相应的初始化也有助于无数据训练。
2020-10-14 cs.CV cs.LG
Asymptotic Soft Cluster Pruning for Deep Neural Networks
Beijing University of Posts and Telecommunications（北京邮电大学）
过滤器修剪方法通过去除选定的过滤器来引入结构稀疏性，因此对于降低复杂度特别有效。以前的工作经验修剪网络的角度来看，过滤器与较小的范数有助于减少最终的结果。然而，这样的标准已被证明是敏感的过滤器的分布，和准确性可能难以恢复，因为容量差距是固定的，一旦修剪。本文提出了一种新的过滤器剪枝方法--渐近软簇剪枝（ASCP），根据过滤器的相似性来识别网络的冗余度。该方法首先对过参数化网络中的滤波器进行聚类分析，然后通过人工引入冗余度对滤波器进行重构，并提出了几种聚类准则，以更好地保留特征提取能力。在重构后，允许更新滤波器，以消除误选滤波器带来的影响。此外，采用不同的剪枝率衰减策略，稳定剪枝过程，提高最终性能。通过在每个集群内逐渐生成更多相同的过滤器，ASCP可以通过通道添加操作来删除它们，几乎没有精度下降。在CIFAR-10和ImageNet数据集上的大量实验表明，与许多最先进的算法相比，我们的方法可以获得有竞争力的结果。
2022-06-16 cs.AI cs.CV
AutoDFP: Automatic Data-Free Pruning via Channel Similarity Reconstruction
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学 cyber 系统与控制研究所）
本文提出AutoDFP，一种无需微调和手工调参的自动无数据剪枝方法，通过强化学习利用通道相似性信息指导剪枝与重建，在多个数据集上显著降低精度损失并提升压缩效果。
2024-03-13 cs.CV cs.LG
EDropout: Energy-Based Dropout and Pruning of Deep Neural Networks
University of Toronto（多伦多大学）
Dropout是一种众所周知的正则化方法，它从一个更大的深度神经网络中采样一个子网络，并在不同的数据子集上训练不同的子网络。受dropout概念的启发，我们提出EDropout作为一个基于能量的框架，用于在分类任务中修剪神经网络。在这种方法中，一组二进制修剪状态向量（种群）表示来自任意提供的原始神经网络的一组对应的子网络。能量损失函数为每个修剪状态分配标量能量损失值。基于能量的模型随机演化人口，以找到具有较低能量损失的状态。然后选择最佳修剪状态并应用于原始网络。与dropout类似，在概率模型中使用反向传播更新保留的权重。基于能量的模型再次搜索更好的修剪状态，并且循环连续。实际上，该过程实际上是在每次迭代中在管理修剪状态的能量模型和更新暂时未修剪的权重的概率模型之间切换。种群可以动态地收敛到剪枝状态。这可以被解释为导致修剪网络的dropout。从实现的角度来看，EDropout可以修剪典型的神经网络，而无需修改网络架构。我们在Kuzushiji，Fashion，CIFAR-10，CIFAR-100和Flowers数据集上对ResNets，AlexNet和SqueezeNet的不同风格进行了评估，并比较了模型的剪枝率和分类性能。平均而言，使用EDropout训练的网络实现了超过可训练参数的$50\%$的修剪率，分别具有近似$<5\%$和$<1\%$的Top-1和Top-5分类准确度下…
2022-03-07 cs.CV cs.LG cs.NE
Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures
HKUST（香港科技大学）；SenseTime Group Limited（商汤集团有限公司）
最先进的神经网络正变得越来越深入和广泛。虽然它们的性能随着层数和神经元数量的增加而增加，但设计一个有效的深度架构以降低计算和内存成本至关重要。然而，设计一个有效的神经网络是劳动密集型的，需要许多实验和微调。在本文中，我们介绍了网络修剪，它通过修剪不重要的神经元来迭代优化网络，基于对它们在大型数据集上的输出的分析。我们的算法受到一个观察的启发，即大型网络中相当一部分神经元的输出大多为零，无论网络接收到什么输入。这些零激活神经元是冗余的，可以在不影响网络整体精度的情况下删除。在修剪零激活神经元之后，我们使用修剪之前的权重作为初始化来重新训练网络。我们交替进行修剪和再训练，以进一步减少网络中的零激活。我们在LeNet和VGG-16上的实验表明，我们可以实现高压缩比的参数，而不会损失甚至达到比原始网络更高的精度。
2016-07-12 cs.CV cs.LG cs.NE
