Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks
Purdue University(普渡大学);Yale University(耶鲁大学)
现代深度网络具有数百万到数十亿个参数,这导致在训练期间以及在资源受限的边缘设备上进行推理期间对内存和能量的要求很高。因此,已经提出了删除深度网络中不太重要的权重的修剪技术,从而减少了它们的内存和计算需求。修剪通常在训练原始网络之后执行,然后进行进一步的再训练以补偿修剪期间发生的准确性损失。反复重复修剪和重新训练过程,直到达到准确性和效率之间的最佳折衷。然而,这种迭代再训练增加了网络的整体训练复杂性。在这项工作中,我们提出了一个动态修剪同时训练过程,其中我们在训练过程中修剪深度网络的卷积层的过滤器,从而排除了单独重新训练的需要。我们使用三种不同的预先存在的修剪策略来评估我们的动态修剪,即基于激活的修剪,随机修剪和基于L1归一化的修剪。我们在CIFAR 10上训练的VGG-16的结果表明,L1归一化在本工作中探索的所有技术中提供了最佳性能,与原始网络相比,在修剪80%的过滤器后,准确度下降不到1%。我们进一步评估了CIFAR 100上基于L1归一化的剪枝机制。结果表明,在训练时进行修剪会产生一个压缩的网络,与原始网络相比,在修剪50%的过滤器后几乎没有准确性损失,并且在高修剪率(>80%)下损失约5%。与10个epochs的再训练相比,CIFAR 10,CIFAR 100和ImageNet训练期间的计算和内存访问数量减少了41%。
2020-03-05 cs.LG stat.ML
OrthoReg: Robust Network Pruning Using Orthonormality Regularization
University of Michigan(密歇根大学)
近年来,卷积神经网络(CNN)中的网络修剪得到了广泛的研究。为了确定修剪一组滤波器对网络准确性的影响,最先进的修剪方法始终假设CNN的滤波器是独立的。这允许将一组过滤器的重要性估计为各个过滤器的重要性之和。然而,现代网络中的过度参数化会导致高度相关的过滤器使这一假设无效,从而导致不正确的重要性估计。为了解决这个问题,我们提出了OrthoReg,这是一种原则性的正则化策略,可以在网络的过滤器上强制执行正交规范性,以减少过滤器间的相关性,从而允许可靠,有效地确定组重要性估计,提高修剪网络的可训练性,以及高效,同时修剪大型过滤器组。当用于VGG-13、MobileNet-V1和ResNet-34上的迭代修剪时,OrthoReg始终优于五种基线技术,包括CIFAR-100和Tiny-ImageNet上的最新技术。对于最近提出的Early-Bird Ticket假设,该假设声称网络在训练的早期变得易于修剪,并且可以在几个时期后修剪以最大限度地减少训练支出,我们发现OrthoReg显着优于先前的工作。代码可在https://github.com/EkdeepSLubana/OrthoReg获得。
2020-09-10 cs.CV cs.LG
Catalyst: a Novel Regularizer for Structured Pruning with Auxiliary Extension of Parameter Space
本文提出 Catalyst 正则化器,在扩展参数空间中利用辅助变量实现零幅值偏置和宽裕度分叉的结构化剪枝,并在多种数据集和模型上验证其公平性、鲁棒性及优于现有方法的性能。
2025-07-10 cs.AI cs.LG
Cluster Pruning: An Efficient Filter Pruning Method for Edge AI Vision Applications
Singapore University of Technology and Design(新加坡科技设计大学)
尽管卷积神经网络(CNN)在计算机视觉领域已经显示出优异的结果,但在边缘实时实现计算机视觉算法仍然是一项具有挑战性的任务,特别是由于CNN中的高存储器消耗和计算复杂性而使用低成本IoT设备。网络压缩的方法,如权重修剪,过滤器修剪,和量化是用来克服上述问题。即使滤波器修剪方法与其他技术相比已经显示出更好的性能,但是在CNN的不同层上修剪的滤波器的数量的不规则性可能不符合大多数神经计算硬件架构。在本文中,提出了一种新的贪婪的方法,称为集群修剪,它提供了一种结构化的方式来删除过滤器在CNN通过考虑过滤器的重要性和底层的硬件架构。所提出的方法相比,传统的过滤器修剪算法的Pascal-VOC开放数据集,和人头计数数据集,这是我们自己的数据集开发的检测和计数进入房间的人。我们在三种硬件架构上对我们提出的方法进行了基准测试,即CPU,GPU和英特尔Movidius神经计算机棒(NCS),使用流行的SSD-MobileNet和SSD-SqueezeNet神经网络架构用于边缘AI视觉应用。结果表明,我们的方法优于传统的过滤器修剪方法,使用上述硬件架构上的两个数据集。此外,还提出了一种由英特尔Movidius-NCS组成的低成本物联网硬件设置,用于使用我们提出的修剪方法部署边缘AI应用程序。
2020-03-05 cs.CV cs.LG eess.IV
Efficient CNNs via Passive Filter Pruning
Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心)
针对现有被动滤波器剪枝方法在高剪枝率下性能下降的问题,提出基于算子范数的被动剪枝方法,在VGGish等多种CNN架构上泛化性更优,计算速度比主动方法快至少4.5倍且性能相当。
2023-04-05 cs.AI cs.CV cs.LG
Provable Filter Pruning for Efficient Neural Networks
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);University of Haifa(海法大学)
我们提出了一种可证明的,基于采样的方法,通过识别和删除冗余滤波器从过参数化网络生成紧凑的卷积神经网络(CNN)。我们的算法使用一小批输入数据点分配一个显着性得分到每个过滤器,并构造一个重要性采样分布,高度影响输出的过滤器,相应的高概率采样。与现有的过滤器修剪方法相比,我们的方法是同时数据通知,表现出可证明的保证修剪网络的大小和性能,并广泛适用于不同的网络架构和数据集。我们的分析界限桥接了网络结构的可压缩性和重要性的概念,这产生了一个全自动的过程,用于识别和保留对网络性能至关重要的层中的过滤器。我们流行的架构和数据集上的实验评估表明,我们的算法始终生成稀疏和更有效的模型比现有的过滤器修剪方法。
2020-03-23 cs.LG stat.ML
Pruning Convolutional Filters via Reinforcement Learning with Entropy Minimization
Transilvania University of Braşov(布拉索夫特兰西瓦尼亚大学);Central Washington University(中央华盛顿大学)
本文提出一种以卷积激活空间熵最小化为奖励的强化学习结构化剪枝方法,在多种网络上将 FLOPS 降低 5–10 倍且性能基本无损。
2023-12-08 cs.LG
GHFP: Gradually Hard Filter Pruning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
过滤器修剪被广泛用于减少深度学习的计算,从而使深度神经网络(DNN)能够在资源有限的设备中部署。传统的硬滤波器剪枝(HFP)方法将剪枝后的滤波器归零并停止更新,从而减小了模型的搜索空间。相反,Soft Filter Pruning(SFP)简单地将修剪的过滤器归零,在接下来的训练时期中不断更新它们,从而保持网络的容量。然而,SFP及其变体由于其更大的搜索空间而收敛得比HFP慢得多。我们的问题是基于SFP的方法和HFP是否可以结合起来,以实现更好的性能和加速收敛。首先,我们概括了基于SFP的方法和HFP,分析了它们的特点。然后提出了一种渐进式硬过滤剪枝(GHFP)方法,在训练和剪枝过程中从基于SFP的方法平滑切换到基于HFP的方法,从而首先保持较大的搜索空间,然后逐渐减小模型的容量,以保证适度的收敛速度。在CIFAR-10/100上的实验结果表明,该方法达到了最先进的性能。
2020-11-06 cs.CV cs.LG eess.IV
Play and Prune: Adaptive Filter Pruning for Deep Model Compression
IIT Kanpur(印度理工学院坎普尔分校)
虽然卷积神经网络(CNN)在各种分类/识别任务上取得了令人印象深刻的性能,但它们通常由大量参数组成。这导致显著的存储器需求以及计算开销。因此,越来越需要用于压缩基于CNN的模型的滤波器级修剪方法,其不仅减少参数的总数,而且还减少总体计算。我们提出了一个新的最小-最大框架,用于CNN的过滤器级修剪。我们的框架称为Play and Prune(PP),它通过自适应修剪率联合修剪和微调CNN模型参数,同时保持模型的预测性能。我们的框架由两个模块组成:(1)自适应过滤器修剪(AFP)模块,它最大限度地减少模型中的过滤器数量;(2)修剪速率控制器(PRC)模块,它最大限度地提高修剪过程中的准确性。此外,与大多数以前的方法不同,我们的方法允许直接指定所需的容错性,而不是修剪水平。我们的压缩模型可以在运行时部署,而不需要任何特殊的库或硬件。我们的方法将VGG-16的参数数量减少了17.5倍,FLOPS数量减少了6.43倍,并且没有损失准确性,显著优于其他最先进的过滤器修剪方法。
2019-05-11 cs.AI cs.CV cs.LG
IPPRO: Importance-based Pruning with PRojective Offset for Magnitude-indifferent Structural Pruning
针对现有结构化剪枝依赖滤波器幅值的尺度不变性缺陷,提出基于投影几何的IPPRO框架,定义PROscore并关联$L_0$松弛,在多类模型上均优于现有方法,为神经网络压缩提供鲁棒架构无关范式。
2026-08-05 cs.AI cs.LG
Convolutional Neural Network Pruning with Structural Redundancy Reduction
The University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Sun Yat-sen University(中山大学)
卷积神经网络(CNN)剪枝是近年来最成功的网络压缩方法之一。现有的网络修剪工作通常集中在删除网络中最不重要的过滤器,以实现紧凑的架构。在这项研究中,我们声称,识别结构冗余起着更重要的作用,比发现不重要的过滤器,理论和经验。我们首先从冗余减少的角度对网络修剪问题进行统计建模,发现在具有最多结构冗余的层中进行修剪优于在所有层中修剪最不重要的过滤器。基于这一发现,我们提出了一种网络修剪方法,该方法识别CNN的结构冗余,并修剪具有最大冗余的选定层中的滤波器。在各种基准网络架构和数据集上的实验表明,我们提出的方法显着优于以前的最先进的。
2021-04-08 cs.CV cs.LG
Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks
Peking University(北京大学);Momenta
滤波器修剪是加速和压缩卷积神经网络(CNN)的最有效方法之一。在这项工作中,我们提出了一种称为Gate Decorator的全局过滤器修剪算法,该算法通过将其输出乘以通道缩放因子(即门)来转换香草CNN模块。当比例因子设置为零时,相当于删除相应的滤波器。我们使用泰勒展开来估计由将比例因子设置为零引起的损失函数的变化,并将该估计用于全局滤波器重要性排名。然后我们通过删除那些不重要的过滤器来修剪网络。修剪后,我们将所有的缩放因子合并到其原始模块中,因此没有引入特殊的操作或结构。此外,我们提出了一个迭代修剪框架称为滴答,以提高修剪精度。大量的实验证明了我们的方法的有效性。例如,我们在ResNet-56上实现了最先进的剪枝率,减少了70%的FLOP,而没有明显的准确性损失。对于ImageNet上的ResNet-50,我们的修剪模型具有40%的FLOP减少,在top-1准确度方面优于基线模型0.31%。使用各种数据集,包括CIFAR-10,CIFAR-100,CUB-200,ImageNet ILSVRC-12和PASCAL VOC 2011。代码可在github.com/youzhonghui/gate-decorator-pruning上获得
2019-09-18 cs.CV cs.LG eess.IV
Pruning Filters for Efficient ConvNets
University of Maryland(马里兰大学);NEC Labs America(NEC美国实验室)
CNN在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近为减少这些开销所做的努力包括修剪和压缩各个层的权重,而不会损害原始精度。然而,基于幅度的权重修剪减少了来自全连接层的大量参数,并且由于修剪后的网络中的不规则稀疏性,可能无法充分降低卷积层中的计算成本。我们提出了一种用于CNN的加速方法,其中我们从CNN中修剪被识别为对输出准确性影响较小的滤波器。通过删除网络中的整个过滤器及其连接的特征图,计算成本显着降低。与修剪权重相比,这种方法不会导致稀疏连接模式。因此,它不需要稀疏卷积库的支持,并且可以与现有的高效BLAS库一起用于密集矩阵乘法。我们发现,即使是简单的过滤器修剪技术,也可以在CIFAR 10上将VGG-16和ResNet-110的推理成本降低高达34%和38%,同时通过重新训练网络恢复接近原始的准确性。
2017-03-10 cs.CV cs.LG
D-Score: A Synapse-Inspired Approach for Filter Pruning
INTHESMART Co., Ltd.(INTHESMART株式会社);Seoul National University College of Medicine(首尔大学医学院);Seoul National University Graduate School(首尔大学研究生院);XAIMED
本研究受突触系统神经递质机制启发,提出D-Score滤波器剪枝方法,通过分别评估滤波器正负权重的独立重要性排序并剪枝低影响滤波器,在CIFAR-10和ImageNet上实现了无显著准确率下降的大幅模型压缩。
2023-08-08 cs.LG cs.NE
Approximated Oracle Filter Pruning for Destructive CNN Width Optimization
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心(BNRist));Tsinghua University(清华大学);University of Warwick(华威大学);Hangzhou Dianzi University(杭州电子科技大学)
设计和运行卷积神经网络(CNN)并不容易,这是由于:1)找到滤波器的最佳数量(即,在给定架构的情况下,每层的宽度)是棘手的;以及2)CNN的计算强度阻碍了在计算受限的设备上的部署。Oracle Pruning的目的是从训练良好的CNN中去除不重要的过滤器,它通过依次去除过滤器并评估模型来估计过滤器的重要性,从而提供了高精度,但遭受无法忍受的时间复杂度,并且需要给定的结果宽度但不能自动找到它。其以二分搜索方式保持搜索最不重要的过滤器,通过随机屏蔽过滤器来进行修剪尝试,累积所产生的错误,并且经由多路径框架来微调模型。由于AOFP可以在多个层上同时修剪,因此我们可以以可接受的时间成本、可忽略的准确性下降和没有启发式知识来修剪现有的非常深的CNN,或者重新设计一个具有更高准确性和更快推理的模型。
2019-05-12 cs.CV cs.LG stat.ML
Self Similarity Matrix based CNN Filter Pruning
Samsung R & D Institute(三星研发研究院)
近年来,大多数深度学习解决方案都以部署在移动设备中为目标。这使得开发轻量级模型的需求更加迫切。另一种解决方案是优化和修剪常规的深度学习模型。在本文中,我们解决了CNN模型修剪的问题,从二维CNN滤波器计算的自相似矩阵(SSM)的帮助下。我们提出了两种新的算法来排名和修剪冗余的过滤器,有助于类似的激活地图的输出。我们的方法的一个关键特征是在训练模型后不需要微调。训练和修剪过程是同时完成的。我们在两个最流行的CNN模型- ResNet和VGG上对我们的方法进行了基准测试,并在CIFAR-10数据集上记录了它们的性能。
2022-11-03 cs.CV cs.LG
Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University(广岛大学)
由于卷积神经网络经常用冗余参数训练,因此可以减少冗余核或滤波器以获得紧凑的网络而不降低分类精度。在本文中,我们提出了一种过滤器修剪方法使用层次组稀疏正则化。在我们以前的工作中,层次组稀疏正则化是有效的,在获得稀疏网络中,连接到不必要的通道的过滤器自动接近零。在对卷积神经网络进行层次群稀疏正则化训练后,根据随机选取的训练样本分类损失的增加情况选取不必要的滤波器,得到一个紧凑的网络。结果表明,该方法可以减少CIFAR-10的ResNet参数的50%以上,而测试样本的准确性仅下降0.3%。此外,TinyImageNet-200的ResNet参数减少了34%,精度高于基线网络。
2020-11-04 cs.CV cs.LG
Advanced deep architecture pruning using single filter performance
Bar-Ilan University(巴伊兰大学)
本研究基于单滤波器性能测量的深度学习机制认知,提出AFCC方法实现卷积层高比例无损剪枝,性能优于同幅度其他剪枝技术,且可拓展至全连接层,助力降低过参数化AI任务复杂度。
2025-06-12 cs.CV cs.LG
End-to-End Sensitivity-Based Filter Pruning
Technical University of Vienna(维也纳技术大学);MIT(麻省理工学院)
在本文中,我们提出了一种新的敏感性为基础的过滤器修剪算法(SbF-Pruner)学习的重要性得分的每一层的端到端。我们的方法从过滤器权重中学习分数,使其能够考虑每层过滤器之间的相关性。此外,通过同时训练所有层的修剪分数,我们的方法可以考虑层间的相互依赖性,这对于找到一个高性能的稀疏子网络至关重要。我们提出的方法可以训练和从头开始生成一个修剪网络在一个简单的,一个阶段的训练过程中,而不需要一个预先训练的网络。最终,我们不需要特定于层的超参数和预定义的层预算,因为SbF-Pruner可以隐式确定每个层中适当的通道数量。我们在不同网络架构上的实验结果表明,SbF-Pruner优于高级剪枝方法。值得注意的是,在CIFAR-10上,不需要预先训练的基线网络,与最先进的修剪算法报告的基线相比,我们在ResNet 56和ResNet 110上获得了1.02%和1.19%的准确率增益。SbF-Pruner将参数计数减少了52.3%(对于ResNet 56)和54%(对于ResNet 101),这比最先进的剪枝算法更好,具有9.5%和6.6%的高裕度。
2022-04-15 cs.AI cs.CV cs.LG
Efficient Similarity-based Passive Filter Pruning for Compressing CNNs
Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音与信号处理中心(CVSSP));University of Surrey(萨里大学)
卷积神经网络(CNN)在各种应用中取得了巨大的成功。然而,CNN的计算复杂性和内存存储是其在资源受限设备上部署的瓶颈。最近减少CNN的计算成本和内存开销的努力涉及基于相似性的无源滤波器修剪方法。基于相似性的被动滤波器修剪方法计算滤波器的成对相似性矩阵,并消除一些相似的滤波器以获得小的修剪的CNN。然而,计算成对相似性矩阵的计算复杂性很高,特别是当卷积层具有许多滤波器时。为了减少在获得成对相似性矩阵的计算复杂性,我们建议使用一种有效的方法,其中完整的成对相似性矩阵是近似从只有几个列,通过使用Nyström近似方法。与计算完整的成对相似性矩阵的基于相似性的修剪方法相比,所提出的有效的基于相似性的被动过滤器修剪方法的速度快3倍,并且在CNN计算的相同减少量下具有相同的准确性。除此之外,所提出的有效的基于相似性的修剪方法执行类似或优于现有的基于范数的修剪方法。提出的修剪方法的有效性进行评估CNN,如DCASE 2021任务1A基线网络和VGGish网络设计的声学场景分类。
2022-10-27 cs.AI cs.CV cs.LG
COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level Pruning
Zhejiang University(浙江大学);Fabu Inc.(法布公司);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);GAC R&D Center(广汽研究院)
神经网络压缩使有效但笨重的深度卷积神经网络(CNN)能够部署在资源受限的场景中。大多数最先进的方法修剪过滤器的过滤器级别根据过滤器的“重要性”的模型。尽管他们的成功,我们注意到他们遭受至少两个以下问题:1)过滤器之间的冗余没有考虑,因为重要性是独立评估。2)跨层过滤器比较是无法实现的,因为重要性是在每个层内局部定义的。因此,我们必须手动指定逐层修剪比率。3)它们容易产生次优解,因为它们忽略了减少参数和减少计算成本之间的不平等。减少网络中不同位置的相同数量的参数可以减少不同的计算成本。为了解决上述问题,我们提出了一种新的算法COP(correlation-based pruning),它可以有效地检测冗余滤波器。我们通过全局标准化启用跨层滤波器比较。我们增加了参数数量和计算成本正则化条款的重要性,这使得用户能够定制的压缩,根据自己的喜好(更小或更快)。大量的实验表明,COP明显优于其他算法。该代码在https://github.com/ZJULearning/COP上发布。
2019-06-25 cs.CV cs.LG
Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning
SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学);Sun Yat-Sen University(中山大学);The Chinese University of Hong Kong(香港中文大学)
通道修剪是一种用于压缩卷积神经网络(CNN)的流行技术,其中已经提出了各种修剪标准来去除冗余滤波器。通过综合实验,我们发现了剪枝准则研究中的两个盲点:(1)相似性:被广泛引用和比较的几种主要剪枝准则之间存在着很强的相似性。根据这些标准,过滤器的重要性分数的排名几乎是相同的,导致类似的修剪结构。(2)适用性:某些剪枝标准所测量的过滤器的重要性得分太接近,无法很好地区分网络冗余。在本文中,我们分析了这两个盲点上不同类型的修剪标准与分层修剪或全局修剪。分析基于经验实验和我们的假设(卷积权重分布假设),即每层经过良好训练的卷积滤波器近似遵循高斯分布。这一假设已通过系统和广泛的统计测试得到验证。
2021-10-25 cs.CV cs.LG stat.ML
Holistic Filter Pruning for Efficient Deep Neural Networks
Robert Bosch GmbH(罗伯特·博世公司);University of Freiburg(弗莱堡大学);Institute for Autonomous Intelligent Systems(自主智能系统研究所)
深度神经网络(DNN)通常被过度参数化,以增加通过随机初始化获得足够初始权重的可能性。因此,经过训练的DNN具有许多冗余,可以从模型中删除这些冗余,以降低复杂性并提高泛化能力。通过过滤器修剪实现的结构稀疏性直接减少了权重和激活的张量大小,因此对于降低复杂性特别有效。我们提出了“整体滤波器修剪”(HFP),这是一种用于常见DNN训练的新方法,易于实现,并且能够为参数和乘法的数量指定准确的修剪率。在每次向前传递之后,计算当前模型复杂度并将其与所需目标大小进行比较。通过梯度下降,可以找到全局解,该全局解在各个层上分配修剪预算,使得满足期望的目标大小。在各种实验中,我们对训练进行了深入分析,并在CIFAR-10和ImageNet上实现了最先进的性能(HFP在ImageNet上修剪了ResNet-50的60%乘法,准确性没有显著损失)。我们相信,我们简单而强大的修剪方法将为DNN用户在低成本应用中做出宝贵的贡献。
2020-09-17 cs.CV cs.LG stat.ML
A pruning method based on the dissimilarity of angle among channels and filters
Changsha University of Science and Technology(长沙理工大学);Hunan Provincial Key Laboratory of Intelligent Processing of Big Data on Transp(湖南省交通大数据智能处理重点实验室)
卷积神经网络(CNN)在各个领域的应用越来越广泛,其计算量和存储量也在不断增加。为了使其适用于嵌入式应用等有限的环境,网络压缩技术应运而生。其中,网络剪枝技术受到了研究者的广泛关注。本文通过对卷积网络进行编码,获得不同编码节点的相似度,并在此基础上评估卷积核之间的连通性。然后根据不同的连通性-功率施加不同程度的惩罚。同时,提出了基于角度不相似度的信道剪枝算法。首先,我们训练一个稀疏模型GL惩罚,并施加一个角度相异性约束的通道和卷积网络的滤波器,以获得一个更稀疏的结构。最后通过实验验证了该方法的有效性。在CIFAR-10上,我们在VGG-16上减少了66.86%的FLOP,修剪后的准确率为93.31%,其中FLOP表示模型每秒的浮点运算次数。此外,在ResNet-32上,我们将FLOPs减少了58.46%,这使得修剪后的准确率达到91.76%。
2022-10-29 cs.CV cs.LG
Protective Self-Adaptive Pruning to Better Compress DNNs
自适应网络剪枝方法由于其能够识别层和过滤器的重要性和冗余性,并定制合适的剪枝方案,近年来引起了人们的广泛关注。然而,它仍然不令人满意,因为目前的自适应修剪方法主要依赖于一个额外的监视器来评分层和过滤器的重要性,因此面临着高复杂性和弱解释性。针对这些问题,本文深入研究了迭代剪枝训练过程中的权值重构过程,提出了一种保护性自适应剪枝方法。首先,PSAP可以利用自己的信息,权重稀疏比,自适应调整修剪率的层之前,每一步的修剪。此外,我们提出了一个保护性的重建机制,以防止重要的过滤器被修剪,通过监督梯度,以避免不可恢复的信息丢失。我们的PSAP是方便和明确的,因为它只依赖于模型本身的权重和梯度,而不是像早期的作品中需要一个额外的监视器。在ImageNet和CIFAR-10上的实验也证明了它在精度和压缩比方面都优于当前的作品,特别是在高压缩比或从头开始修剪方面。
2023-03-21 cs.CV cs.LG
Layer-compensated Pruning for Resource-constrained Convolutional Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软)
资源高效的卷积神经网络不仅可以实现边缘设备上的智能,还可以实现系统级优化,如调度。在这项工作中,我们的目标是通过合并两个通常考虑的子问题,即,(i)对于每一层要修剪多少过滤器,以及(ii)在给定每层修剪预算的情况下要修剪哪些过滤器。我们的框架需要一种新的算法,称为层补偿修剪,其中涉及元学习,以确定更好的解决方案。我们的经验表明,该算法是优于现有技术的有效性和效率。具体来说,我们将修剪后的网络和原始网络之间的准确性差距从0.9%减少到0.7%,元学习所需的时间减少了8倍,即,从1小时缩短到7分钟。为此,我们在CIFAR-10、ImageNet和Bird-200数据集下使用ResNet和MobileNetV 2网络证明了我们算法的有效性。
2018-10-18 cs.CV cs.LG
Pruning CNN's with linear filter ensembles
Babeş-Bolyai University(巴比什-波雅依大学);Robert Bosch SRL(罗伯特·博世有限公司)
尽管卷积神经网络(CNN)的结果很有希望,但它们在资源有限的设备上的应用仍然是一个很大的挑战;这主要是由于CNN的巨大内存和计算需求。为了克服网络大小的限制,我们使用修剪来减少网络大小和-隐式-浮点运算(FLOP)的数量。相反的过滤器规范的方法-使用在``传统的``网络修剪-基于假设,一个较小的规范意味着``不太重要'',其相关的组件,我们开发了一种新的过滤器的重要性规范,是基于经验损失的变化所造成的存在或删除的组件从网络架构。由于滤波器配置有太多的可能性,我们反复从这些架构组件中采样,并测量组件处于活动或禁用状态时的系统性能。结果是过滤器集合(过滤器掩码)和相关性能值的集合。我们根据线性和加法模型对过滤器进行排名,并删除最不重要的过滤器,以使网络准确性的下降最小。我们在完全连接的网络上以及在CIFAR-10数据集上训练的ResNet架构上评估了我们的方法。使用我们的修剪方法,我们设法从ResNet中删除参数的$60\%$和FLOP的$64\%$,精度下降小于$0.6\%$。
2020-03-03 cs.CV cs.LG stat.ML
Structured Pruning for Multi-Task Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文研究多任务深度神经网络的结构化剪枝,提出基于多任务学习的滤波器重要性评估准则,并通过实验表明不同剪枝方法在参数相近时性能差异不大,且随机初始化重训练优于极端迭代剪枝。
2023-04-13 cs.AI cs.LG
Comprehensive Online Network Pruning via Learnable Scaling Factors
Lahore University of Management Sciences(拉合尔管理科学大学)
部署深度神经网络架构的主要挑战之一是它们的大小,这对它们的推理时间和内存需求有不利影响。深度CNN可以通过根据其重要性删除过滤器来进行宽度修剪,也可以通过删除层和块来进行深度修剪。宽度修剪(过滤器修剪)通常通过可学习的门或开关和稀疏正则化器来执行,而层的修剪迄今为止通过手动设计通常称为学生网络的较小网络来任意执行。我们提出了一个全面的修剪策略,可以执行宽度以及深度明智的修剪。这是通过引入不同粒度的门(神经元,滤波器,层,块)来实现的,然后通过目标函数来控制这些门,该目标函数在每个前向传递期间以不同粒度同时执行修剪。我们的方法适用于各种各样的架构,没有任何限制的空间维度或连接类型(顺序,残留,并行或inception)。我们的方法在基准数据集上进行评估时,压缩率为70%至90%,而准确性没有明显损失。
2020-10-06 cs.CV cs.LG
Progressive Gradient Pruning for Classification, Detection and DomainAdaptation
LIVIA, Dept. of Systems Engineering(LIVIA系统工程系);Ecole de Technologie Superieur(高等技术学院);Genetec Inc.(杰纳泰克公司)
尽管深度神经网络(NN)在许多视觉识别任务中具有最先进的准确性,但网络的日益增长的计算复杂性和能耗仍然是一个问题,特别是对于资源有限且需要实时处理的平台上的应用。滤波器修剪技术最近在卷积神经网络(CNN)的压缩和加速方面显示出了很好的效果。然而,这些技术涉及众多的步骤和复杂的优化,因为一些只修剪后训练CNN,而其他修剪从头开始在训练过程中,通过集成稀疏约束或修改损失函数。本文提出了一种新的渐进式修剪(PGP)技术迭代过滤器修剪在训练过程中。与以往的渐进式剪枝技术相比,该方法依赖于一种新的滤波器选择准则,该准则衡量滤波器权重的变化,采用一种新的软硬剪枝策略,并在后向传播过程中有效地自适应动量张量。在图像数据上训练各种CNN进行分类,目标检测和域自适应基准测试后获得的实验结果表明,与PSFP和其他最先进的过滤器修剪技术相比,PGP技术可以在分类精度和网络(时间和内存)复杂度之间取得更好的平衡。
2020-02-25 cs.CV cs.LG stat.ML
Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning
University of Maryland(马里兰大学);Shandong University(山东大学)
网络压缩对于使深度网络更高效,更快,并可推广到低端硬件至关重要。目前的网络压缩方法存在两个问题:第一,缺乏一个理论框架来估计最大压缩率;第二,某些层可能会被过度修剪,导致网络性能显著下降。针对这两个问题,提出了一种基于梯度矩阵奇异性分析的网络最大冗余度估计方法。在此基础上,提出了一种新的高效的分层网络剪枝算法,在不牺牲网络性能的前提下,最大限度地压缩神经元网络结构。大量的实验证明了新方法修剪几个先进的卷积神经网络(CNN)架构的有效性。与现有的剪枝方法相比,本文提出的剪枝算法达到了最先进的性能。在相同或相似的压缩比下,与其他方法相比,新方法提供了最高的网络预测准确度。
2022-06-07 cs.CV cs.LG eess.IV
Adaptive Structured Pruning of Convolutional Neural Networks for Time Series Classification
Monash University(墨尔本大学)
本文提出动态结构化剪枝方法,通过实例级稀疏损失和全局激活分析实现卷积神经网络在时间序列分类中的高效压缩,保持分类精度并提升部署效率。
2026-02-13 cs.LG
CHIP: CHannel Independence-based Pruning for Compact Neural Networks
Rutgers University(罗格斯大学)
过滤器修剪已被广泛用于神经网络压缩,因为它使实际的加速。迄今为止,大多数现有的过滤器修剪工作探索过滤器的重要性,通过使用通道内的信息。在本文中,从通道间的角度出发,我们建议使用通道独立性来执行有效的过滤器修剪,通道独立性是一种度量不同特征图之间的相关性的度量。独立性较差的特征映射被解释为包含较少有用信息的$/$知识,因此可以修剪其相应的过滤器而不影响模型容量。本文系统地研究了滤波器剪枝条件下信道独立性的量化度量、测量方案和$/$可靠性的敏感性。我们对不同数据集上不同模型的评估结果显示了我们方法的优越性能。值得注意的是,在CIFAR-10数据集上,我们的解决方案可以使$0.90\%$和$0.94\%$的准确性分别高于基线ResNet-56和ResNet-110模型,同时模型大小和FLOP分别减少了$42.8\%$和$47.4\%$(对于ResNet-56)以及$48.3\%$和$52.1\%$(对于ResNet-110)。在ImageNet数据集上,我们的方法可以分别实现$40.8\%$和$44.8\%$的存储和计算减少,$0.15\%$的准确性高于基线ResNet-50模型。该代码可在https://github.com/Eclipsess/CHIP_NeurIPS2021上获得。
2022-04-03 cs.AI cs.CV cs.LG
Towards Compact ConvNets via Structure-Sparsity Regularized Filter Pruning
Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室);Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学)
卷积神经网络(CNN)在计算机视觉应用中的成功伴随着计算和存储器成本的显著增加,这禁止其在资源有限的环境(例如移动或嵌入式设备)上的使用。为此,对CNN压缩的研究最近才开始兴起。在本文中,我们提出了一种新的过滤器修剪方案,称为结构化稀疏正则化(SSR),同时加速计算并减少CNN的内存开销,这可以很好地支持各种现成的深度学习库。具体地说,该方案将两种不同的结构化稀疏正则化子引入到滤波器剪枝的原始目标函数中,充分协调全局输出和局部剪枝操作,自适应地对滤波器进行剪枝。我们进一步提出了一个替代更新与拉格朗日乘子(AULM)计划,以有效地解决其优化。AULM遵循ADMM的原则,在促进CNN的结构化稀疏性和优化识别损失之间交替,这导致了一个非常有效的求解器(2.5倍于直接解决基于组稀疏性的正则化的最新工作)。此外,通过施加结构化稀疏性,在线推理是非常内存轻,因为过滤器的数量和输出特征图同时减少。所提出的方案已部署到各种最先进的CNN结构,包括LeNet,AlexNet,VGG,ResNet和GoogLeNet在不同的数据集。定量结果表明,该方案实现了优越的性能比国家的最先进的方法。我们进一步展示了所提出的用于迁移学习任务的压缩方案,包括领域自适应和目标检测,这也显示了令人兴奋的性能增益。
2019-03-22 cs.CV cs.LG
DropNet: Reducing Neural Network Complexity via Iterative Pruning
National University of Singapore(新加坡国立大学)
现代深度神经网络需要大量的计算时间和能力来进行训练和部署,这限制了它们在边缘设备上的使用。受彩票假设中迭代权重修剪的启发,我们提出了DropNet,一种迭代修剪方法,它修剪节点/过滤器以降低网络复杂度。DropNet迭代地删除所有训练样本中具有最低平均激活后值的节点/过滤器。从经验上讲,我们证明了DropNet在不同的场景下都是强大的,包括使用MNIST、CIFAR-10和Tiny ImageNet数据集的MLP和CNN。我们表明,高达90%的节点/过滤器可以被删除,而没有任何显着的准确性损失。即使重新初始化权重和偏置,最终修剪的网络也表现良好。DropNet也具有与Oracle类似的准确性,它一次删除一个节点/过滤器,以最大限度地减少训练损失,突出其有效性。
2022-07-14 cs.AI cs.LG
SCOP: Scientific Control for Reliable Neural Network Pruning
Peking University(北京大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);University of Sydney(悉尼大学)
通过建立科学的控制机制,提出了一种可靠的神经网络剪枝算法。现有的修剪方法已经开发了各种假设来近似过滤器对网络的重要性,然后相应地执行过滤器修剪。为了提高结果的可靠性,我们更倾向于采用更严格的研究设计,包括一个科学的控制组作为重要组成部分,以尽量减少除过滤器和预期网络输出之间的关联之外的所有因素的影响。作为一个控制组,仿制品功能产生模仿网络过滤器产生的特征图,但它们是有条件的独立于给定的真实特征图的示例标签。我们从理论上认为,敲除条件可以近似保持给定的网络层的信息传播。除了中间层上的真实特征图之外,还引入相应的仿制品特征作为后续层的另一辅助输入信号。冗余过滤器可以在不同特征的对抗过程中发现。通过实验,我们证明了所提出的算法的优越性比国家的最先进的方法。例如,我们的方法可以减少ResNet-101的57.8%参数和60.2% FLOP,而ImageNet上的top-1精度损失仅为0.01%。该代码可在https://github.com/huawei-noah/Pruning/tree/master/SCOP_NeurIPS2020上获得。
2021-01-11 cs.CV cs.LG
Pruning by Active Attention Manipulation
Technical University of Vienna(维也纳技术大学);MIT(麻省理工学院)
CNN的滤波器修剪通常通过在训练后对CNN的滤波器权重或激活图应用离散掩码来实现。在这里,我们提出了一个新的过滤器重要性评分概念,称为主动注意力操作(PAAM)修剪,在训练期间通过特定的注意力机制稀疏化CNN的过滤器集。PAAM通过优化由分数中的加法项正则化的成本函数,从滤波器权重学习模拟滤波器分数。由于过滤器不是独立的,我们使用注意力来动态学习它们的相关性。此外,通过同时训练所有层的修剪分数,PAAM可以考虑层间的相互依赖性,这对于找到高性能的稀疏子网络至关重要。PAAM还可以在简单的一阶段训练过程中从头开始训练和生成修剪网络,而不需要预先训练的网络。最后,PAAM不需要特定于层的超参数和预定义的层预算,因为它可以隐式地确定每个层中适当的过滤器数量。我们在不同网络架构上的实验结果表明,PAAM优于最先进的结构化剪枝方法(SOTA)。在CIFAR-10数据集上,不需要预先训练的基线网络,我们在ResNet 56和ResNet 110上分别获得了1.02%和1.19%的准确率增益以及52.3%和54%的参数减少。同样,在ImageNet数据集上,PAAM实现了1.06%的准确率增益,同时在ResNet 50上修剪了51.1%的参数。对于Cifar-10,这比SOTA好,分别为9.5%和6.6%,ImageNet的利润率为11%。
2022-10-20 cs.AI cs.CV cs.LG
A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification
Centre for Vision, Speech;Signal Processing (CVSSP) University of Surrey, UK
我们提出了一种开发低复杂度卷积神经网络(CNN)用于声学场景分类(ASC)的方法。典型CNN的大尺寸和高计算复杂度是其在资源受限设备上部署的瓶颈。我们提出了一个被动过滤器修剪框架,其中CNN中的一些卷积过滤器被消除以产生压缩的CNN。我们的假设是,类似的过滤器产生类似的响应,并提供冗余的信息,允许这样的过滤器从网络中删除。为了识别相似滤波器,提出了一种基于余弦距离的贪婪算法。然后执行微调过程以恢复由于滤波器消除而损失的大部分性能。为了进行有效的微调,我们分析了性能如何随着微调训练样本数量的变化而变化。建议的框架进行实验评估上公开可用的DCASE 2021任务1A基线网络训练ASC。所提出的方法很简单,每次推理的计算量减少了27%,参数减少了25%,精度下降不到1%。
2022-03-29 cs.AI cs.CC cs.LG
KCP: Kernel Cluster Pruning for Dense Labeling Neural Networks
National Taiwan University(国立台湾大学)
剪枝已经成为一种很有前途的压缩和加速神经网络的技术。现有的方法主要是评估备用标签的应用。然而,密集标记应用程序是那些更接近现实世界的问题,需要在资源受限的移动设备上实时处理。密集标签应用的剪枝仍然是一个未开发的领域。流行的滤波器通道修剪方法移除整个滤波器通道。因此,一个滤波器通道中的每个内核之间的交互被忽略。在这项研究中,我们提出了核簇修剪(KCP)修剪密集标记网络。我们开发了一种聚类技术来识别每层中最不具代表性的内核。通过迭代删除这些内核,可以更好地代表整个网络的参数被保留下来;因此,我们可以实现更好的准确性,同时减少模型大小和计算量。当评估立体匹配和语义分割神经网络,我们的方法可以减少超过70%的FLOP小于1%的准确率下降。此外,对于ILSVRC-2012上的ResNet-50,我们的KCP可以在0.13%的Top-1精度增益下减少超过50%的FLOP减少。因此,KCP实现了最先进的剪枝结果。
2021-01-17 cs.CV cs.LG
Cut Inner Layers: A Structured Pruning Strategy for Efficient U-Net GANs
Nota Inc.(Nota公司)
剪枝有效地压缩了过度参数化的模型。尽管成功的修剪方法的歧视性模型,将它们应用于生成模型已经相对较少。本文对条件GANs的U-Net生成器进行了结构化剪枝。每层的敏感性分析证实,许多不必要的过滤器存在于最内层的瓶颈附近,可以大幅修剪。基于这一观察,我们从多个内层中修剪这些过滤器,或者通过完全消除这些层来建议替代架构。我们使用Pix 2 Pix进行图像到图像的翻译,使用Wav 2Lip进行语音驱动的说话人脸生成。我们的方法优于全局修剪基线,证明了正确考虑U-Net生成器修剪位置的重要性。
2022-06-29 cs.CV cs.LG
Centripetal SGD for Pruning Very Deep Convolutional Networks with Complicated Structure
Tsinghua University(清华大学);Lancaster University(兰卡斯特大学)
冗余在卷积神经网络(CNN)中被广泛认可,其使得能够从卷积层中移除不重要的滤波器,以便在可接受的性能下降的情况下精简网络。受卷积的线性和组合性质的启发,我们试图使一些滤波器越来越接近,最终相同的网络瘦身。为此,我们提出了向心SGD(C-SGD),一种新的优化方法,它可以训练多个过滤器崩溃到一个点的参数超空间。当训练完成时,删除相同的滤波器可以在没有性能损失的情况下修剪网络,因此不需要微调。通过这样做,我们已经部分解决了一个开放的问题,约束过滤器修剪CNN具有复杂的结构,其中一些层必须修剪后,其他。我们在CIFAR-10和ImageNet上的实验结果证明了基于C-SGD的过滤器修剪的有效性。此外,我们还为深度神经网络中的冗余有助于训练收敛的假设提供了经验证据,表明使用C-SGD训练的冗余CNN优于具有相同宽度的正常训练的对应物。
2019-04-08 cs.CV cs.LG stat.ML
FGFP: A Fractional Gaussian Filter and Pruning for Deep Neural Networks Compression
Graduate School of Advanced Technology, National Taiwan University, Taipei, Taiwan(国家台湾大学高级科技研究所);Graduate Institute of Electronics Engineering, National Taiwan University, Taipei, Taiwan(国家台湾大学电子工程研究所)
针对深度神经网络边缘部署负载高的问题,提出融合分数高斯滤波器与自适应非结构化剪枝的FGFP压缩框架,在多个基准数据集上实现了高压缩比下的低精度损失。
2025-07-30 cs.CV cs.LG
Blending Pruning Criteria for Convolutional Neural Networks
Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);Northwestern University(西北大学);Purdue University(普渡大学)
卷积神经网络(CNN)在各种视觉应用中的进步引起了人们的广泛关注。然而,大多数CNN无法满足实际部署的严格要求。为了克服这一问题,近年来流行的网络剪枝是一种有效的方法来减少模型的冗余。然而,根据过滤器在不同修剪标准上的“重要性”对过滤器的排名可能不一致。一个过滤器可能根据某个标准是重要的,而根据另一个标准是不必要的,这表明每个标准只是全面“重要性”的一部分。从这个动机,我们提出了一个新的框架来整合现有的过滤器修剪标准,探索标准的多样性。该框架包括两个阶段:标准聚类和过滤器重要性校准。首先,我们通过基于“重要性”得分的等级的分层聚类来浓缩修剪标准。其次,在每个聚类中,我们提出了一个校准因子来调整它们对每个选定的混合候选者的重要性,并通过进化算法搜索最佳的混合标准。CIFAR-100和ImageNet基准测试的定量结果表明,我们的框架优于最先进的基线,在修剪后重新分级为紧凑模型性能。
2021-07-11 cs.AI cs.CV cs.LG
An accuracy-aware extension to LRP-based pruning for CNNs to prevent cascading accuracy degradation in data-scarce transfer learning
Mathematics and Computer Science National Defense Academy of Japan(日本防卫大学校数学与计算机科学系)
针对数据稀缺迁移学习中预训练CNN剪枝导致的级联精度下降问题,提出一种精度感知的剪枝控制机制,通过动态调整剪枝率和顺序来抑制精度下降,提升模型压缩后的分类性能。
2026-05-28 cs.AI cs.CV cs.LG
A "Network Pruning Network" Approach to Deep Model Compression
IIT Kanpur(印度理工学院坎普尔分校)
我们提出了一个过滤器修剪方法,深度模型压缩,使用多任务网络。我们的方法是基于学习一个修剪器网络来修剪一个预先训练好的目标网络。修剪器本质上是一个多任务深度神经网络,具有二进制输出,有助于识别原始网络每层中对模型没有任何显著贡献的过滤器,因此可以修剪。修剪器网络具有与原始网络相同的架构,除了它具有包含二进制值输出(每个过滤器一个)的多任务/多输出最后一层,这表明哪些过滤器必须被修剪。修剪器的目标是通过为相应的输出特征图分配零权重来最小化原始网络中的过滤器数量。与大多数现有方法相比,我们的方法不依赖于迭代修剪,而是可以一次性修剪网络(原始网络),而且不需要指定每层的修剪程度(并且可以学习它)。我们的方法产生的压缩模型是通用的,不需要任何特殊的硬件/软件支持。此外,增加其他方法,如知识蒸馏,量化,连接修剪可以增加所提出的方法的压缩程度。我们展示了我们所提出的方法分类和目标检测任务的有效性。
2020-01-15 cs.CV cs.LG stat.ML
Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN
Tsinghua University(清华大学);Aberystwyth University(阿伯里斯特威斯大学)
卷积神经网络(CNN)中冗余的存在使我们能够在可接受的性能下降的情况下去除一些滤波器/通道。然而,CNN的训练目标通常倾向于最小化与准确性相关的损失函数,而不关注冗余,使得冗余随机分布在所有滤波器上,使得移除它们中的任何一个都可能触发信息丢失和准确性下降,需要后续的微调步骤来恢复。在本文中,我们建议在训练过程中操纵冗余以促进网络修剪。为此,我们提出了一种新的向心SGD(C-SGD)来使一些过滤器相同,从而产生理想的冗余模式,因为这些过滤器由于其重复而变得纯粹冗余;因此删除它们不会损害网络。如CIFAR和ImageNet所示,与现有方法相比,C-SGD提供了更好的性能,因为冗余更好地组织起来。效率也是C-SGD的特征,因为它与常规SGD一样快,不需要微调,并且即使在非常深的CNN中也可以在所有层上同时进行。此外,C-SGD可以通过首先训练具有相同架构但更宽层的模型,然后将其压缩到原始宽度来提高CNN的准确性。
2021-07-30 cs.CV cs.LG
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities
非结构化神经网络剪枝算法已经取得了令人印象深刻的压缩率。然而,所得到的通常不规则的稀疏矩阵妨碍了有效的硬件实现,导致额外的存储器使用和复杂的控制逻辑,这减少了非结构化修剪的好处。这刺激了结构化粗粒度修剪解决方案,修剪整个过滤器甚至层,以降低灵活性为代价实现高效实现。在这里,我们提出了一种灵活的新的修剪机制,便于在不同的粒度(权重,内核,过滤器/特征映射)修剪,同时保持有效的内存组织(例如,修剪每个输出神经元的k-out-of-n权重,或修剪每个特征映射的k-out-of-n内核)。我们将该算法称为动态概率剪枝(DPP)。DPP利用Gumbel-softmax松弛进行可微的n取k采样,促进端到端优化。我们表明,DPP在修剪在不同基准数据集上训练的用于图像分类的常见深度学习模型时,可以实现具有竞争力的压缩率和分类准确性。相关地,DPP的非基于幅度的性质允许修剪和权重量化的联合优化,以便进一步压缩网络,我们也展示了这一点。最后,我们提出了新的信息理论指标,显示了一个层内的修剪掩模的信心和修剪多样性。
2021-05-26 cs.CV cs.LG
Pruning Convolutional Filters using Batch Bridgeout
University of Saskatchewan(萨斯喀彻温大学)
最先进的计算机视觉模型的容量正在迅速增加,其中参数的数量远远超过拟合训练集所需的数量。这将导致更好的优化和泛化性能。然而,当代模型的巨大规模导致了巨大的推理成本,并限制了它们在资源有限的设备上的使用。为了降低推理成本,可以修剪训练的神经网络中的卷积滤波器,以减少推理期间的运行时存储器和计算需求。然而,如果训练算法导致密集的权重向量,则严重的训练后修剪会导致性能下降。我们提出了使用批量桥接,稀疏诱导随机正则化计划,训练神经网络,使他们可以有效地修剪性能下降最小。我们在CIFAR图像分类任务上对常见的计算机视觉模型VGGNet,ResNet和Wide-ResNet进行了评估。对于所有网络,实验结果表明,与Dropout和权重衰减正则化相比,Batch Bridgeout训练的网络在广泛的修剪强度范围内实现了更高的准确性。
2020-09-23 cs.AI cs.CV cs.LG
LEAN: graph-based pruning for convolutional neural networks by extracting longest chains
Centrum Wiskunde & Informatica(数学与计算机科学中心);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
神经网络修剪技术可以显著降低应用卷积神经网络(CNN)的计算成本。常见的修剪方法通过对滤波器单独排序来确定要移除哪些卷积滤波器,即,而不考虑它们的相互依赖性。在本文中,我们主张修剪应该考虑连续算子序列之间的相互依赖性的观点。我们提出了LongEst-chAiN(LEAN)方法,该方法通过使用基于图的算法来选择相关的卷积链来修剪CNN。CNN被解释为一个图,每个算子的算子范数作为边缘的距离度量。LEAN剪枝迭代地从图中提取最高值路径以保留。在我们的实验中,我们在几个图像到图像的任务上测试了LEAN修剪,包括著名的CamVid数据集和真实世界的X射线CT数据集。结果表明,LEAN修剪可以产生具有类似精度的网络,而使用的卷积滤波器比现有方法少1.7- 12倍。
2022-06-23 cs.CV cs.LG cs.NE
Pruning Deep Convolutional Neural Networks Architectures with Evolution Strategy
University of São Paulo(圣保罗大学);Oklahoma State University(俄克拉荷马州立大学)
目前,深度卷积神经网络(DCNN)由于其学习和适应能力而被用于解决机器学习和人工智能领域中的各种问题。然而,大多数成功的DCNN模型具有高计算复杂性,使得它们难以部署在移动或嵌入式平台上。这个问题促使许多研究人员开发算法和方法,以帮助减少这种模型的计算复杂性。其中之一被称为滤波器修剪,其中卷积滤波器被消除以减少参数的数量,从而减少给定模型的计算复杂性。在目前的工作中,我们提出了一种新的算法来执行过滤器修剪使用多目标演化策略(ES)算法,称为DeepPruningES。我们的方法避免了在修剪过程中使用任何知识的需要,并通过返回三个修剪后的CNN模型来帮助决策者,这些模型在性能和计算复杂性之间具有不同的权衡。我们表明,DeepPruningES可以通过在三种DCNN架构上进行测试来显着降低模型的计算复杂性:卷积神经网络(CNN),残差神经网络(ResNets)和密集连接神经网络(DenseNets)。
2020-11-30 cs.LG cs.NE
Studying the Plasticity in Deep Convolutional Neural Networks using Random Pruning
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近,为了减少计算量,人们对深度卷积神经网络(CNN)中的过滤器进行了大量的修剪工作。其关键思想是根据一定的标准(例如,l1范数)对过滤器进行排名,并只保留排名最高的过滤器。一旦低评分滤波器被修剪掉,网络的其余部分就被微调,并且显示出与原始未修剪网络相当的性能。在这项工作中,我们报告的实验表明,修剪网络的可比性能不是由于所选择的特定标准,而是由于深层神经网络的固有可塑性,一旦其余的过滤器被微调,它们就可以从修剪过滤器的损失中恢复过来。具体来说,我们展示了反直观的结果,其中通过从深度CNN中随机修剪25-50%的过滤器,我们能够获得与使用最先进的修剪方法相同的性能。我们通过对VGG-16和ResNet-50进行详尽的评估来验证我们的说法。我们还评估了一个真实世界的场景,其中在所有1000个ImageNet类上训练的CNN在测试时只需要在一小组类上进行测试(例如,只有动物)。我们从ImageNet创建了一个新的基准数据集来评估这种类特定的修剪,并表明即使在这种情况下,随机修剪策略也可以提供接近最先进的性能。与现有的方法,主要集中在图像分类的任务,在这项工作中,我们还报告结果目标检测和图像分割。我们表明,使用简单的随机修剪策略,我们可以在目标检测中实现显着的速度提高(fps提高74%),同时保持与原始Faster RCNN模型相同的准确性。同样,我们证明了修剪的分割网络(SegNet)的…
2018-12-26 cs.CV cs.LG cs.NE
IDAP++: Advancing Divergence-Based Pruning via Filter-Level and Layer-Level Optimization
Wayy LLC(Wayy公司);Miami, FL 33132, USA(美国佛罗里达州迈阿密33132)
IDAP++通过滤波器级和层级优化提升基于分歧的神经网络剪枝,实现高效模型压缩与保持性能。
2025-11-25 cs.AI cs.LG
CPOT: Channel Pruning via Optimal Transport
New Jersey Institute of Technology(新泽西理工学院);Tencent AI Lab(腾讯人工智能实验室)
深度神经网络(DNN)的最新进展导致网络参数急剧增长,使得在资源有限的平台上部署DNN变得极其困难。因此,已经开发了各种修剪方法来压缩深度网络架构并加速推理过程。大多数现有的信道修剪方法根据精心设计的滤波器排序标准丢弃不太重要的滤波器。然而,由于深度学习模型的可解释性有限,设计一个合适的排序标准来区分冗余过滤器是困难的。为了解决这样一个具有挑战性的问题,我们提出了一种新的技术,通过最优传输,被称为CPOT的信道修剪。具体来说,我们在深度模型中定位每层信道的Wasserstein重心,这是最佳传输度量下的一组概率分布的平均值。然后,我们修剪Wasserstein重心定位的冗余信息。最后,我们实证证明,对于分类任务,CPOT在修剪ResNet-20,ResNet-32,ResNet-56和ResNet-110方面优于最先进的方法。此外,我们还证明了所提出的CPOT技术在更困难的图像到图像翻译任务的情况下,通过修剪来压缩StarGAN模型是很好的。
2020-05-21 cs.CV cs.LG stat.ML
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST(香港科技大学)
剪枝是一种模型压缩方法,可在保持准确性的同时去除深度神经网络(DNN)中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理,例如迭代修剪,特征统计/排名或训练过程中的额外优化设计。在本文中,我们从特征演化的新角度提出了一种简单有效的正则化策略,我们称之为特征流正则化(FFR),用于改善DNN中的结构稀疏性和过滤器修剪。具体而言,FFR对沿神经网络的特征流的梯度和曲率施加控制,这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets,ResNets进行的实验表明,FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG