Pruning Deep Convolutional Neural Networks Architectures with Evolution Strategy
University of São Paulo(圣保罗大学);Oklahoma State University(俄克拉荷马州立大学)
目前,深度卷积神经网络(DCNN)由于其学习和适应能力而被用于解决机器学习和人工智能领域中的各种问题。然而,大多数成功的DCNN模型具有高计算复杂性,使得它们难以部署在移动或嵌入式平台上。这个问题促使许多研究人员开发算法和方法,以帮助减少这种模型的计算复杂性。其中之一被称为滤波器修剪,其中卷积滤波器被消除以减少参数的数量,从而减少给定模型的计算复杂性。在目前的工作中,我们提出了一种新的算法来执行过滤器修剪使用多目标演化策略(ES)算法,称为DeepPruningES。我们的方法避免了在修剪过程中使用任何知识的需要,并通过返回三个修剪后的CNN模型来帮助决策者,这些模型在性能和计算复杂性之间具有不同的权衡。我们表明,DeepPruningES可以通过在三种DCNN架构上进行测试来显着降低模型的计算复杂性:卷积神经网络(CNN),残差神经网络(ResNets)和密集连接神经网络(DenseNets)。
2020-11-30 cs.LG cs.NE
Convolutional Neural Network with Pruning Method for Handwritten Digit Recognition
Australian National University(澳大利亚国立大学)
CNN模型是一种常用的图像分析方法,可以用于基于MNIST数据集的手写数字识别。为了获得更高的识别精度,利用具有不同全连接层大小的各种CNN模型来计算CNN全连接层大小与识别精度之间的关系。受前人剪枝工作的启发,我们对CNN模型进行了区别性剪枝,并与NN模型进行了比较。为了提高CNN的剪枝性能,研究了角度阈值对剪枝性能的影响.评价结果表明:对于全连通层的大小,存在一个阈值,当层的大小增加时,小于阈值的识别精度增加,大于阈值的识别精度下降;在CNN上进行剪枝的性能比NN差;随着剪枝角度阈值的增加,全连通层的大小和识别精度降低。本文还表明,对于由MNIST数据集训练的CNN模型,它们能够进行手写数字识别,并在全连接层大小为400时达到最高的识别准确率。此外,对于相同的数据集MNIST,CNN模型比发表的论文中的大,深,简单的NN模型更好。
2021-01-15 cs.CV cs.NE
Pruning Convolutional Neural Networks with Self-Supervision
Facebook AI Research(脸书人工智能研究院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
在没有监督的情况下训练的卷积神经网络接近于有监督的预训练的性能,但有时会以更高数量的参数为代价。从这些大型无监督convnets中提取子网络并保持性能是特别感兴趣的,以使它们的计算强度更低。典型的修剪方法在任务的训练期间操作,同时试图保持修剪后的网络在同一任务上的性能。然而,在自监督特征学习中,训练目标对下游任务的表示可转移性是不可知的。因此,为这个目标保留性能并不能确保修剪后的子网络仍然有效地解决下游任务。在这项工作中,我们研究了使用标准的修剪方法,主要是为监督学习,网络训练没有标签(即自我监督任务)。我们发现,在标签上重新训练时,使用或不使用标签获得的修剪掩码达到了相当的性能,这表明修剪对于自监督学习和监督学习的操作类似。有趣的是,我们还发现修剪保留了自监督子网络表示的传输性能。
2020-01-10 cs.CV cs.LG cs.NE
Quantized Guided Pruning for Efficient Hardware Implementations of Convolutional Neural Networks
Université de Montréal(蒙特利尔大学);MILA;IMT Atlantique(IMT大西洋高等矿业学院);Lab-STICC(STICC实验室);ISCAS 2019(ISCAS 2019(会议名称,不提取))
卷积神经网络(CNN)在许多计算机视觉任务(例如对象分类和检测)中是最先进的。然而,它们包含的大量参数导致高的计算复杂性,并且强烈限制了它们在诸如嵌入式设备之类的受限设备中的可用性。在本文中,我们提出了一种新的修剪技术和量化方案的组合,有效地降低了CNN卷积层的复杂性和内存使用,并通过低成本的多路复用器取代复杂的卷积操作。我们在CIFAR10,CIFAR100和SVHN上进行了实验,结果表明,所提出的方法几乎达到了最先进的精度,同时大大减少了计算和内存占用。我们还提出了一个有效的硬件架构,以加速CNN的操作。所提出的硬件架构是一个流水线,并容纳在同一时间工作,以加快推理过程的多个层。
2018-12-29 cs.CV cs.LG cs.NE
Reliable Identification of Redundant Kernels for Convolutional Neural Network Compression
针对深度卷积神经网络(CNN)内存占用量大、推理时间长的问题,提出了一种基于特征映射层Ln-norm的剪枝准则.与现有的主要基于卷积核L1范数的剪枝准则不同,该方法利用非线性激活后输出特征图的Ln范数,其中n是变量,从第一个卷积层的1增加到最后一个卷积层的inf。该方法能够准确识别不重要的卷积核,在模型大小和推理精度之间取得了很好的平衡。在ImageNet上的实验和在铁路监控系统中的成功应用表明,该方法优于现有的基于核范数的方法,并且普遍适用于任何具有卷积运算的深度神经网络。
2018-12-10 cs.NE
Structured Pruning of Deep Convolutional Neural Networks
Seoul National University(首尔大学)
深度学习算法的实时的应用经常受到高计算复杂性和频繁的存储器访问的阻碍。网络剪枝是解决这一问题的一种很有前途的技术。然而,修剪通常会导致不规则的网络连接,不仅需要额外的表示工作,而且不适合并行计算。我们介绍了卷积神经网络在不同尺度下的结构稀疏性,包括通道稀疏性、核稀疏性和核内稀疏性。这种结构化稀疏性对于嵌入式计算机、并行计算环境和基于硬件的系统上的直接计算资源节省是非常有利的。为了确定网络连接和路径的重要性,所提出的方法使用粒子滤波方法。每个粒子的重要性权重分配通过计算相应的连接模式的错误分类率。修剪后的网络被重新训练,以补偿由于修剪而造成的损失。在实现卷积矩阵产品,我们特别表明,内核内跨越稀疏与一个简单的约束,可以显着降低内核和特征映射矩阵的大小。最终对修剪后的网络进行定点优化,降低了字长精度。这导致总存储大小的显著减小,从而为基于片上存储器的深度神经网络的实现提供优势。
2015-12-29 cs.LG cs.NE stat.ML
Coarse and fine-grained automatic cropping deep convolutional neural network
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
现有的卷积神经网络剪枝算法可以分为粗粒度剪枝和细粒度剪枝两大类。提出了一种粗粒度和细粒度的自动剪枝算法,可以实现对卷积神经网络更高效、更准确的压缩加速。首先对卷积神经网络的中间特征图进行聚类,得到粗粒度裁剪后的网络结构,然后使用粒子群优化算法对结构进行迭代搜索和优化。最后得到了最优的网络裁剪子结构。
2020-10-14 cs.CV cs.NE
Multi-Objective Pruning for CNNs Using Genetic Algorithm
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
在这项工作中,我们提出了一种启发式遗传算法(GA)修剪卷积神经网络(CNN)根据误差,计算和稀疏性之间的多目标权衡。在我们的实验中,我们应用我们的方法在MNIST数据集上修剪预训练的LeNet,这减少了95.42%的参数大小,并通过分别强调稀疏性和计算,实现了卷积层计算的16个$\times$加速,精度损失很小。我们的实证研究表明,遗传算法是一种替代修剪方法,获得有竞争力的压缩性能。此外,与最先进的方法相比,GA能够通过预定义的适应度函数基于多目标重要性自动修剪CNN。
2019-07-04 cs.LG cs.NE
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks
Purdue University(普渡大学)
深度神经网络的巨大推理成本可以通过网络压缩来缩小。修剪是用于深度网络压缩的主要方法之一。然而,现有的修剪技术具有以下限制中的一个或多个:1)由于修剪和微调阶段,在计算繁重的训练阶段之上的额外能量成本,2)基于特定的统计的逐层修剪,忽略网络中的误差传播的影响,3)缺乏用于全局地确定重要信道的有效估计,4)非结构化修剪需要专门的硬件来有效使用。为了解决上述所有问题,我们提出了一种简单而有效的渐进通道修剪,同时使用一种新的数据驱动的度量(称为特征相关性得分)进行训练。所提出的技术摆脱了额外的再训练周期,修剪最不重要的通道,在实际的训练阶段在固定的时间间隔,在一个结构化的方式。特征相关性分数有助于有效地评估每个通道对网络区分能力的贡献。我们使用CIFAR-10、CIFAR-100和ImageNet等数据集证明了所提出的方法在VGG和ResNet等架构上的有效性,并成功实现了显著的模型压缩,同时权衡了低于$1\%$的准确性。值得注意的是,在ResNet-110上训练的CIFAR-10数据集上,我们的方法实现了$2.4\times$压缩和FLOP中的$56\%$减少,与未修剪的网络相比,准确度下降了$0.01\%$。
2020-04-29 cs.CV cs.LG cs.NE
Studying the Plasticity in Deep Convolutional Neural Networks using Random Pruning
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近,为了减少计算量,人们对深度卷积神经网络(CNN)中的过滤器进行了大量的修剪工作。其关键思想是根据一定的标准(例如,l1范数)对过滤器进行排名,并只保留排名最高的过滤器。一旦低评分滤波器被修剪掉,网络的其余部分就被微调,并且显示出与原始未修剪网络相当的性能。在这项工作中,我们报告的实验表明,修剪网络的可比性能不是由于所选择的特定标准,而是由于深层神经网络的固有可塑性,一旦其余的过滤器被微调,它们就可以从修剪过滤器的损失中恢复过来。具体来说,我们展示了反直观的结果,其中通过从深度CNN中随机修剪25-50%的过滤器,我们能够获得与使用最先进的修剪方法相同的性能。我们通过对VGG-16和ResNet-50进行详尽的评估来验证我们的说法。我们还评估了一个真实世界的场景,其中在所有1000个ImageNet类上训练的CNN在测试时只需要在一小组类上进行测试(例如,只有动物)。我们从ImageNet创建了一个新的基准数据集来评估这种类特定的修剪,并表明即使在这种情况下,随机修剪策略也可以提供接近最先进的性能。与现有的方法,主要集中在图像分类的任务,在这项工作中,我们还报告结果目标检测和图像分割。我们表明,使用简单的随机修剪策略,我们可以在目标检测中实现显着的速度提高(fps提高74%),同时保持与原始Faster RCNN模型相同的准确性。同样,我们证明了修剪的分割网络(SegNet)的…
2018-12-26 cs.CV cs.LG cs.NE
Neural Network Pruning as Spectrum Preserving Process
New Jersey Institute of Technology(新泽西理工学院)
针对神经网络剪枝缺乏统一理论基础的问题,该研究提出权重剪枝本质是保持矩阵谱的稀疏化过程,设计了专用剪枝算法并通过实验验证,为剪枝提供了统一视角并提升了模型可解释性。
2023-07-18 cs.LG cs.NE
Trainability Preserving Neural Pruning
Northeastern University(东北大学);AInnovation Labs, Inc.(创新奇智实验室有限公司)
最近的许多研究表明,可训练性在神经网络修剪中起着核心作用--无人看管的可训练性受损可能导致严重的性能低下,并无意中放大了再训练学习率的影响,导致有偏见的(甚至是误解的)基准测试结果。本文介绍了可训练性保持修剪(TPP),这是一种可扩展的方法,用于保持网络的可训练性以防止修剪,旨在提高修剪性能,并对重新训练超参数(例如,学习率)。具体来说,我们建议惩罚卷积滤波器的gram矩阵,以将修剪的滤波器与保留的滤波器解相关。除了卷积层之外,为了保持整个网络的可训练性,我们还建议正则化批量归一化参数(规模和偏差)。对线性MLP网络的实证研究表明,TPP可以与Oracle可训练性恢复方案相提并论。在CIFAR10/100上的非线性ConvNets(ResNet56/VGG19)上,TPP的性能明显优于其他对应方法。此外,使用ResNets的ImageNet-1K的结果表明,TPP始终比其他性能最佳的结构化修剪方法表现得更好。代码:www.example.com.
2023-03-03 cs.AI cs.CV cs.LG
Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy(广东省人工智能与数字经济实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Centre for Systems Engineering and Innovation, Imperial College London(伦敦帝国理工学院系统工程与创新中心)
针对深度脉冲神经网络冗余结构导致的压缩需求,提出基于卷积核活动水平的结构化剪枝框架SCA,通过训练中动态剪枝与再生优化网络架构,在保持性能的同时降低计算负载并加速推理。
2024-06-03 cs.AI cs.NE
Sub-network Multi-objective Evolutionary Algorithm for Filter Pruning
Shenzhen University(深圳大学)
过滤器修剪是深度神经网络(DNN)中实现模型压缩和加速的常用方法,一些研究将过滤器修剪视为组合优化问题,从而使用进化算法(EA)对DNN的过滤器进行修剪。然而,由于解空间搜索的复杂性,很难在合理的时间内找到令人满意的折衷解。为了解决这个问题,我们首先制定了一个多目标优化问题的基础上的一个子网络的完整模型,并提出了一个子网络多目标进化算法(SMOEA)的过滤器修剪。SMOEA算法通过逐组地对卷积层进行剪枝,可以获得性能更好的轻量级剪枝结果,并在CIFAR-10的VGG-14模型上进行了实验,验证了SMOEA算法的有效性。具体而言,修剪后的模型的准确性与16.56%的参数仅下降了0.28%,这是优于广泛使用的流行的过滤器修剪标准。
2022-10-22 cs.AI cs.CV cs.NE
Towards Learning of Filter-Level Heterogeneous Compression of Convolutional Neural Networks
Technion(以色列理工学院)
最近,深度学习已经成为机器学习的事实上的标准,卷积神经网络(CNN)在各种任务上都取得了惊人的成功。然而,CNN在推理时通常对计算要求非常高。减轻某些硬件平台上的这种负担的方法之一是量化,其依赖于对权重和激活使用低精度算术表示。另一种流行的方法是修剪每层中的过滤器数量。虽然主流的深度学习方法训练神经网络权重,同时保持网络架构固定,但新兴的神经架构搜索(NAS)技术使后者也易于训练。在本文中,我们制定了最佳的算术位长分配和神经网络修剪作为NAS问题,寻找满足计算复杂性预算的配置,同时最大限度地提高精度。我们使用基于Liu等人(arXiv:1806.09055)提出的搜索空间的连续松弛的可微搜索方法。我们表明,通过网格搜索,异构量化网络遭受高方差,这使得搜索的好处值得怀疑。对于修剪,可以改进同质情况,但使用所提出的方法找到这些配置仍然具有挑战性。该代码可在https://github.com/yochaiz/Slimmable和https://github.com/yochaiz/darts-UNIQ上公开获取
2019-09-26 cs.CV cs.LG cs.NE
RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices
William & Mary(威廉玛丽学院);Northeastern University(东北大学);North Carolina State University(北卡罗来纳州立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
移动设备正在成为深度学习任务的重要载体,因为它们配备了强大的高端移动CPU和GPU。然而,除了高推理精度之外,执行以实时的【形】性能为目标的3D卷积神经网络(CNN)仍然是一项具有挑战性的任务。原因是更复杂的模型结构和更高的模型维度压倒了移动设备上可用的计算/存储资源。一种自然的方法可能是转向深度学习权重修剪技术。然而,将现有的2D CNN权重修剪方法直接推广到3D CNN对于充分利用移动并行性同时实现高推理精度来说并不理想。本文提出了RT 3D,一个3D CNN的模型压缩和移动加速框架,无缝集成了神经网络权重修剪和编译器代码生成技术。我们提出并研究了两种结构化稀疏方案,即,vanilla结构稀疏性和内核组结构(KGS)稀疏性是移动加速友好的。vanilla sparsity删除了整个内核组,而KGS sparsity是一种更细粒度的结构化稀疏,具有更高的灵活性,同时充分利用设备上的并行性。我们提出了一个重新加权的正则化修剪算法来实现所提出的稀疏计划。由于稀疏性的推理时间加速接近整个模型FLOP(浮点运算)的修剪率。与当前支持3D CNN的移动框架相比,RT 3D在端到端推理时间上的加速高达29.1 $\times$,准确率损失为1%-1.5%。当在手机上执行代表性的C3 D和R(2+1)D模型时,16个视频帧的端到端推断时间可以在150 ms内。这是第一次在现成的移动设备上实现3…
2021-01-03 cs.CV cs.LG cs.NE
Network Pruning via Annealing and Direct Sparsity Control
Florida State University(佛罗里达州立大学)
人工神经网络(ANN)尤其是深度卷积网络目前非常流行,并且已被证明成功地为许多视觉问题提供了非常可靠的解决方案。然而,深度神经网络的使用受到其密集的计算和存储成本的广泛阻碍。在本文中,我们提出了一种新的有效的网络修剪方法,适用于非结构化和结构化的通道级修剪。我们提出的方法收紧稀疏性约束,逐渐删除网络参数或过滤器通道的基础上的标准和时间表。网络大小在整个迭代过程中不断下降的吸引人的事实使其适合于修剪任何未经训练或预先训练的网络。因为我们的方法使用$L_0$约束而不是$L_1$惩罚,所以它不会在训练参数或滤波器通道中引入任何偏差。此外,$L_0$约束使得在网络修剪过程中容易直接指定期望的稀疏水平。最后,在大量的合成和真实视觉数据集上进行了实验验证,结果表明,与其他现有的网络剪枝方法相比,该方法具有更好的性能。
2020-07-27 cs.LG cs.NE stat.ML
Efficient Sparse-Winograd Convolutional Neural Networks
Stanford University(斯坦福大学);NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院);Google Brain(谷歌大脑)
卷积神经网络(CNN)是计算密集型的,这限制了其在移动设备上的应用。它们的能量主要取决于执行卷积所需的乘法次数。Winograd的最小过滤算法(Lavin,2015)和网络修剪(Han et al.,2015)可以减少操作计数,但是这两种方法不能直接组合$-$,应用Winograd变换填充权重和激活两者中的稀疏性。我们对基于Winograd的CNN提出了两个修改,以使这些方法能够利用稀疏性。首先,我们将ReLU操作移动到Winograd域中,以增加转换激活的稀疏性。其次,我们修剪Winograd域中的权重,以利用静态权重稀疏性。对于CIFAR-10,CIFAR-100和ImageNet数据集上的模型,我们的方法分别将乘法次数减少了$10.4\times$,$6.8\times$和$10.8\times$,准确性损失小于$0.1\%$,优于之前的基线$2.0\times$ - $3.0\times$。我们还表明,将ReLU移动到Winograd域可以进行更积极的修剪。
2018-02-18 cs.CV cs.LG cs.NE