DARB: A Density-Aware Regular-Block Pruning for Deep Neural Networks
Alibaba DAMO Academy(阿里巴巴达摩院);Northeastern University(东北大学)
深度神经网络(DNN)参数量的快速增长阻碍了人工智能在资源受限设备(如移动和可穿戴设备)上的应用。神经网络剪枝作为模型压缩的主流技术之一,以减少模型参数和计算量而受到广泛研究。与导致高索引存储和解码开销的不规则修剪相反,结构化修剪技术已被提出作为有前途的解决方案。然而,以往的结构化剪枝研究主要从便于硬件实现的角度出发,没有分析稀疏神经网络的特点。由于对稀疏神经网络研究的忽视,使得稀疏神经网络的正则性和剪枝率之间的权衡效率很低。因此,结构性修剪神经网络的潜力没有得到充分挖掘。在这项工作中,我们研究了不规则修剪的权重矩阵的结构特征,如不同的行的不同冗余度,不同的行修剪的敏感性,以及保留的权重的位置特征。通过利用所获得的见解作为指导,我们首先提出了新的块最大权重掩蔽(BMWM)方法,该方法可以有效地保留显着权重,同时对权重矩阵施加高规则性。作为进一步的优化,我们提出了一种密度自适应规则块(DARB)修剪,优于以前的结构化修剪工作,具有高修剪率和解码效率。我们的实验结果表明,DARB可以实现13 $\times$到25 $\times$的修剪比,这是2.8 $\times$到4.3 $\times$的国家的最先进的同行在多个神经网络模型和任务的改进。此外,DARB可以达到14.3 $\times$解码效率比块修剪具有更高的修剪率。
2019-11-20 cs.LG cs.NE
Compact Deep Convolutional Neural Networks With Coarse Pruning
Seoul National University(首尔大学)
神经网络的学习能力随着深度的增加以更高的计算成本而提高。具有密集内核连接模式的较宽层进一步增加了此成本,并且可能妨碍实时推理。我们提出了特征映射和核级剪枝来降低深度卷积神经网络的计算复杂性。修剪特征图可以减少层的宽度,因此不需要任何稀疏表示。此外,核修剪将密集连接模式转换为稀疏连接模式。由于粗糙的性质,这些修剪粒度可以被基于GPU和VLSI的实现所利用。我们提出了一个简单而通用的策略来选择两个粒度的最小对抗性修剪掩码。修剪后的网络被重新训练,以补偿准确性的损失。我们得到最佳的修剪率时,我们修剪一个网络与两个粒度。使用CIFAR-10数据集的实验表明,在基线网络的误分类率增加不到1%的情况下,可以在卷积层中诱导超过85%的稀疏性。
2016-10-30 cs.LG cs.NE
Neural Network Pruning as Spectrum Preserving Process
New Jersey Institute of Technology(新泽西理工学院)
针对神经网络剪枝缺乏统一理论基础的问题,该研究提出权重剪枝本质是保持矩阵谱的稀疏化过程,设计了专用剪枝算法并通过实验验证,为剪枝提供了统一视角并提升了模型可解释性。
2023-07-18 cs.LG cs.NE
The Incredible Shrinking Neural Network: New Perspectives on Learning Representations Through The Lens of Pruning
Carnegie Mellon University(卡内基梅隆大学)
修剪算法能教会我们多少关于神经网络学习表示的基本知识?在设计新的修剪技术时,这些基本原理能有多大帮助?很多,事实证明。神经网络剪枝是近年来研究的热点问题,人们提出了许多不同的技术来解决这个问题。修剪什么和什么时候修剪的决定必然迫使我们面对我们关于神经网络实际上如何学习表示数据模式的假设。在这项工作中,我们开始测试几个长期持有的假设,关于神经网络学习表示,修剪方法和一个在另一个上下文中的相关性。为了实现这一点,我们主张修剪整个神经元,而不是从最佳训练的网络中修剪权重的传统方法。我们首先回顾了历史文献,指出了一些共同的假设,并提出了方法来证明这些假设的固有缺陷。然后,我们提出了新的修剪方法,并开始分析它所做的决策的质量。我们的分析使我们质疑修剪算法背后许多广泛持有的假设的有效性,以及我们为了降低计算复杂性而经常做出的权衡。我们发现,有一种简单的方法,无论多么昂贵,都可以连续地修剪训练网络中40-70%的神经元,对学习表示的影响最小,并且无需任何重新训练。这里需要注意的是,这项工作背后的动机并不是提出一种优于所有现有方法的算法,而是揭示这些方法中的一些固有缺陷可以教我们学习表示,以及如何引导我们获得更好的修剪技术。
2017-11-25 cs.LG cs.NE
Recent Advances on Neural Network Pruning at Initialization
Northeastern University(东北大学);ETH Zürich(苏黎世联邦理工学院)
神经网络修剪通常会从预训练的收敛模型中删除连接或神经元;而一种新的修剪范式,即初始化修剪(PaI),尝试修剪随机初始化的网络。本文首次对这一新兴的修剪方式进行了综述。我们首先介绍了一个通用的制定神经网络修剪,其次是主要的经典修剪主题。然后,作为本文的主体,一个彻底的和结构化的文献综述的PaI方法,包括两个主要的轨道(稀疏训练和稀疏选择)。最后,我们总结了PaI相比PaT的激增,并讨论了开放的问题。除了专门的文献综述,本文还提供了一个代码库,便于健全检查和基准测试不同的PaI方法。
2022-05-23 cs.AI cs.CV cs.LG
Verification of Neural Networks: Enhancing Scalability through Pruning
University of Genoa(热那亚大学);Imperial College London(伦敦帝国理工学院);University of Sassari(萨萨里大学)
深度神经网络的验证最近引起了人们的兴趣,这是由不同领域的成功案例以及对设想应用中安全性的关注所推动的。这种网络的复杂性和庞大的规模对于自动化形式化验证技术来说是具有挑战性的,另一方面,自动化验证技术可以在安全和安全关键的上下文中简化深度网络的采用。在本文中,我们专注于使国家的最先进的验证工具来处理神经网络的一些实际利益。我们提出了一种基于网络修剪的新训练管道,目标是在保持准确性和鲁棒性之间取得平衡,同时使所得网络适合形式化分析。我们的实验结果与组合的修剪算法和验证工具表明,我们的方法是成功的,我们考虑的网络和一些组合的修剪和验证技术,从而使深神经网络更接近正式接地方法的范围。
2020-03-17 cs.LG cs.NE
Accelerator-Aware Pruning for Convolutional Neural Networks
Korea University of Technology and Education(韩国技术教育大学)
卷积神经网络在计算机视觉任务中表现出了巨大的性能能力,但其过多的权重存储和算术运算使其无法在嵌入式环境中被采用。其中一个解决方案涉及修剪,其中某些不重要的权重被强制为零。已经提出了许多修剪方案,但这些方案主要集中在修剪权重的数量上。以前的修剪方案很少考虑ASIC或FPGA加速器架构。当这些修剪过的网络在加速器上运行时,缺乏对架构的考虑会导致一些效率低下的问题,包括内部缓冲区不对齐和负载不平衡。本文提出了一种新的修剪方案,反映加速器架构。在所提出的方案中,执行修剪,使得相同数量的权重保持对应于同时获取的激活的每个权重组。通过这种方式,修剪方案解决了效率低下的问题,使加速器性能加倍。即使有这种约束,所提出的修剪方案也达到了与以前的无约束修剪方案相似的修剪率,不仅在AlexNet和VGG16上,而且在最先进的非常深的网络(如ResNet)上。此外,所提出的方案在紧凑网络(如MobileNet)和已经以信道方式修剪的精简网络上表现出相当的修剪率。除了提高以前的稀疏加速器的效率之外,还将表明所提出的修剪方案可以用于降低稀疏加速器的逻辑复杂度。修剪的模型可以在https://github.com/HyeongjuKang/accelerator-aware-pruning上公开获得。
2020-09-05 cs.CV cs.NE
EDropout: Energy-Based Dropout and Pruning of Deep Neural Networks
University of Toronto(多伦多大学)
Dropout是一种众所周知的正则化方法,它从一个更大的深度神经网络中采样一个子网络,并在不同的数据子集上训练不同的子网络。受dropout概念的启发,我们提出EDropout作为一个基于能量的框架,用于在分类任务中修剪神经网络。在这种方法中,一组二进制修剪状态向量(种群)表示来自任意提供的原始神经网络的一组对应的子网络。能量损失函数为每个修剪状态分配标量能量损失值。基于能量的模型随机演化人口,以找到具有较低能量损失的状态。然后选择最佳修剪状态并应用于原始网络。与dropout类似,在概率模型中使用反向传播更新保留的权重。基于能量的模型再次搜索更好的修剪状态,并且循环连续。实际上,该过程实际上是在每次迭代中在管理修剪状态的能量模型和更新暂时未修剪的权重的概率模型之间切换。种群可以动态地收敛到剪枝状态。这可以被解释为导致修剪网络的dropout。从实现的角度来看,EDropout可以修剪典型的神经网络,而无需修改网络架构。我们在Kuzushiji,Fashion,CIFAR-10,CIFAR-100和Flowers数据集上对ResNets,AlexNet和SqueezeNet的不同风格进行了评估,并比较了模型的剪枝率和分类性能。平均而言,使用EDropout训练的网络实现了超过可训练参数的$50\%$的修剪率,分别具有近似$<5\%$和$<1\%$的Top-1和Top-5分类准确度下…
2022-03-07 cs.CV cs.LG cs.NE
Pruning Deep Convolutional Neural Networks Architectures with Evolution Strategy
University of São Paulo(圣保罗大学);Oklahoma State University(俄克拉荷马州立大学)
目前,深度卷积神经网络(DCNN)由于其学习和适应能力而被用于解决机器学习和人工智能领域中的各种问题。然而,大多数成功的DCNN模型具有高计算复杂性,使得它们难以部署在移动或嵌入式平台上。这个问题促使许多研究人员开发算法和方法,以帮助减少这种模型的计算复杂性。其中之一被称为滤波器修剪,其中卷积滤波器被消除以减少参数的数量,从而减少给定模型的计算复杂性。在目前的工作中,我们提出了一种新的算法来执行过滤器修剪使用多目标演化策略(ES)算法,称为DeepPruningES。我们的方法避免了在修剪过程中使用任何知识的需要,并通过返回三个修剪后的CNN模型来帮助决策者,这些模型在性能和计算复杂性之间具有不同的权衡。我们表明,DeepPruningES可以通过在三种DCNN架构上进行测试来显着降低模型的计算复杂性:卷积神经网络(CNN),残差神经网络(ResNets)和密集连接神经网络(DenseNets)。
2020-11-30 cs.LG cs.NE
CCSRP: Robust Pruning of Spiking Neural Networks through Cooperative Coevolution
本文提出CCSRP方法,通过协同协同进化将SNNs鲁棒剪枝建模为三目标优化问题,在保持精度与鲁棒性的同时自动实现紧凑化,并在CIFAR-10和SVHN上达到或超越现有方法性能。
2024-07-18 cs.AI cs.CV cs.NE
Pruning Neural Networks at Initialization: Why are We Missing the Mark?
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Element AI(Element AI公司);University of Toronto(多伦多大学);Vector Institute(矢量研究院)
最近的工作探索了在初始化时修剪神经网络的可能性。我们评估这样做的建议:SNIP(Lee等人,2019),GraSP(Wang et al.,2020)、SynFlow(Tanaka等人,2020年)和幅度修剪。尽管这些方法超越了随机修剪的平凡基线,但它们在训练后仍然低于幅度修剪的准确性,我们试图理解为什么。我们表明,与训练后修剪不同,随机打乱这些方法在每层中修剪的权重或采样新的初始值可以保留或提高准确性。因此,由这些方法做出的每权重修剪决策可以由要修剪的权重的分数的每层选择来代替。此属性表明了底层修剪算法、在初始化时修剪的愿望或两者的更广泛挑战。
2021-03-21 cs.CV cs.LG cs.NE
Methods for Pruning Deep Neural Networks
University of Salford(索尔福德大学)
本文综述了深度神经网络的剪枝方法。它首先根据所使用的基本方法对150多项研究进行分类,然后集中在三类:使用基于幅度的修剪的方法,利用聚类识别冗余的方法,以及使用敏感性分析评估修剪效果的方法。在这些类别中的一些关键影响的研究,提出了突出的基本方法和取得的成果。大多数研究的结果分布在文献中,因为新的架构,算法和数据集随着时间的推移而发展,使得不同研究之间的比较变得困难。因此,本文为社区提供了一个资源,可用于快速比较各种数据集和一系列架构(包括AlexNet,ResNet,DenseNet和VGG)上许多不同方法的结果。通过比较ImageNet上的AlexNet和ResNet50以及CIFAR10数据上的ResNet56和VGG16的剪枝结果来说明该资源,以揭示哪些剪枝方法在保持准确性的同时实现良好的压缩率。本文最后确定了一些有前途的方向,为未来的研究。
2021-07-30 cs.LG cs.NE
LEAN: graph-based pruning for convolutional neural networks by extracting longest chains
Centrum Wiskunde & Informatica(数学与计算机科学中心);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
神经网络修剪技术可以显著降低应用卷积神经网络(CNN)的计算成本。常见的修剪方法通过对滤波器单独排序来确定要移除哪些卷积滤波器,即,而不考虑它们的相互依赖性。在本文中,我们主张修剪应该考虑连续算子序列之间的相互依赖性的观点。我们提出了LongEst-chAiN(LEAN)方法,该方法通过使用基于图的算法来选择相关的卷积链来修剪CNN。CNN被解释为一个图,每个算子的算子范数作为边缘的距离度量。LEAN剪枝迭代地从图中提取最高值路径以保留。在我们的实验中,我们在几个图像到图像的任务上测试了LEAN修剪,包括著名的CamVid数据集和真实世界的X射线CT数据集。结果表明,LEAN修剪可以产生具有类似精度的网络,而使用的卷积滤波器比现有方法少1.7- 12倍。
2022-06-23 cs.CV cs.LG cs.NE
On Compression of Unsupervised Neural Nets by Pruning Weak Connections
无监督的神经网络,如限制玻尔兹曼机(RBM)和深度Belif网络(DBN),是强大的自动特征提取,无监督的权重初始化和密度估计。在本文中,我们证明了这些神经网络的参数可以显着减少,而不影响其性能。我们描述了一种方法来减少RBM所需的参数,RBM是深度架构的基本构建块。进一步,我们提出了一种无监督的稀疏深度结构选择算法来构造稀疏深度神经网络,实验结果表明,该算法在生成和区分性能上几乎没有损失。
2021-05-08 cs.CV cs.NE
Convolutional Neural Network with Pruning Method for Handwritten Digit Recognition
Australian National University(澳大利亚国立大学)
CNN模型是一种常用的图像分析方法,可以用于基于MNIST数据集的手写数字识别。为了获得更高的识别精度,利用具有不同全连接层大小的各种CNN模型来计算CNN全连接层大小与识别精度之间的关系。受前人剪枝工作的启发,我们对CNN模型进行了区别性剪枝,并与NN模型进行了比较。为了提高CNN的剪枝性能,研究了角度阈值对剪枝性能的影响.评价结果表明:对于全连通层的大小,存在一个阈值,当层的大小增加时,小于阈值的识别精度增加,大于阈值的识别精度下降;在CNN上进行剪枝的性能比NN差;随着剪枝角度阈值的增加,全连通层的大小和识别精度降低。本文还表明,对于由MNIST数据集训练的CNN模型,它们能够进行手写数字识别,并在全连接层大小为400时达到最高的识别准确率。此外,对于相同的数据集MNIST,CNN模型比发表的论文中的大,深,简单的NN模型更好。
2021-01-15 cs.CV cs.NE
Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance
ÉTS, University of Quebec(魁北克大学 ÉTS);Google(谷歌)
本文提出一种基于激活统计和信息论的神经网络剪枝方法,通过构建权重贡献分布识别并移除低贡献权重,并结合剪枝感知训练策略,在多个数据集和架构上优于现有剪枝技术。
2024-10-21 cs.AI cs.LG cs.NE
Dynamical Isometry: The Missing Ingredient for Neural Network Pruning
Northeastern University(东北大学)
最近的几项工作[40,24]在神经网络修剪中观察到一个有趣的现象:较大的微调学习率可以显着提高最终性能。不幸的是,其背后的原因至今仍然难以捉摸。本文试图通过动力学等距透镜来解释它[42]。具体来说,我们从一个不寻常的角度研究神经网络修剪:修剪作为微调的初始化,并询问继承的权重是否作为微调的良好初始化?从动力等距的见解提出了一个否定的答案。尽管这一问题发挥着关键作用,但迄今为止,社会尚未充分认识到这一问题。在本文中,我们将展示对这个问题的理解是非常重要的-在解释前面提到的关于更大的微调率的奥秘的同时,它也揭开了关于修剪值的奥秘[5,30]。除了对剪枝有更清晰的理论认识外,解决这个问题还可以在实践中带来可观的性能收益。
2021-05-12 cs.AI cs.CV cs.LG
Neural Pruning via Growing Regularization
Northeastern University(东北大学)
长期以来,正则化一直被用于在深度神经网络修剪中学习稀疏性。但其作用主要是在小刑度制度中探讨的。在这项工作中,我们将其应用扩展到一个新的场景,其中正则化逐渐变大,以解决修剪的两个核心问题:修剪时间表和权重重要性评分。(1)前一个主题是新提出的这项工作,我们发现关键的修剪性能,而很少受到研究的关注。具体来说,我们提出了一个L2正则化变体,其惩罚因子不断增加,并表明即使在删除相同权重的情况下,与单次正则化变体相比,它也可以带来显着的准确性增益。(2)增长惩罚方案还为我们提供了一种方法,可以利用Hessian信息进行更精确的修剪,而无需知道它们的具体值,因此不会受到常见的Hessian近似问题的困扰。从经验上讲,所提出的算法易于实现,并且在结构化和非结构化修剪中可扩展到大型数据集和网络。在CIFAR和ImageNet数据集上使用现代深度神经网络证明了它们的有效性,与许多最先进的算法相比,取得了有竞争力的结果。我们的代码和训练模型可在https://github.com/mingsuntse/regularization-pruning上公开获取。
2021-04-05 cs.AI cs.CV cs.LG
Progressive Weight Pruning of Deep Neural Networks using ADMM
Syracuse University(雪城大学);Northeastern University(东北大学);George Mason University(乔治梅森大学);MIT-IBM Watson AI Lab, IBM Research(IBM研究院MIT-IBM沃森人工智能实验室)
深度神经网络(DNN)虽然在许多领域实现了人类水平的性能,但具有非常大的模型大小,这阻碍了它们在边缘计算设备上的更广泛应用。已经对DNN模型压缩或修剪进行了广泛的研究工作。然而,大多数以前的工作采取启发式的方法。本文提出了一种基于ADMM(Alternating Direction Method of Multipliers,交替方向乘法)的渐进式权重剪枝方法,该方法是处理具有潜在组合约束的非凸优化问题的一种强有力的技术。该方法受动态规划的启发,通过使用具有中等剪枝率的部分剪枝,达到了极高的剪枝率。因此,它解决了精度下降和收敛时间长的问题时,追求极高的剪枝率。它对ImageNet数据集的剪枝率高达34倍,对MNIST数据集的剪枝率高达167倍,显著高于文献工作所达到的剪枝率。在相同的迭代次数下,该方法具有更快的收敛速度和更高的压缩比。代码和修剪的DNN模型在链接bit.ly/2zxdlss中发布
2018-11-04 cs.CV cs.LG cs.NE
Compression of Neural Machine Translation Models via Pruning
Stanford University(斯坦福大学)
神经机器翻译(NMT)与许多其他深度学习领域一样,通常会受到过度参数化的影响,从而导致存储空间过大。本文研究了三个简单的基于幅度的修剪方案来压缩NMT模型,即类盲,类均匀,类分布,不同的修剪阈值是如何计算的NMT架构中的不同类别的权重。我们证明了一个国家的最先进的NMT系统的压缩技术的权重修剪的功效。我们发现,一个拥有超过2亿个参数的NMT模型可以被修剪40%,而在WMT'14英语-德语翻译任务上测得的性能损失非常小。这揭示了NMT架构中冗余的分布。我们的主要结果是,通过再训练,我们可以恢复甚至超过原始性能,并将模型修剪80%。
2016-06-29 cs.AI cs.CL cs.NE
Pruning Randomly Initialized Neural Networks with Iterative Randomization
NTT Computer and Data Science Laboratories, NTT Corporation(NTT公司NTT计算机与数据科学实验室);NTT Social Informatics Laboratories, NTT Corporation(NTT公司NTT社会信息学实验室)
随机初始化神经网络的权值修剪在彩票假设中起着重要的作用。Ramanujan等人(2020)的经验表明,只有修剪权重才能实现显着的性能,而不是优化权重值。然而,为了实现与权重优化相同的性能水平,修剪方法在修剪之前需要网络中的更多参数,从而需要更多的存储空间。为了克服这种参数效率低下,我们引入了一种新的框架,修剪随机初始化的神经网络与迭代随机权值(IteRand)。理论上,我们证明了一个近似定理,在我们的框架,这表明随机化操作是可证明有效的,以减少所需的参数的数量。我们还在CIFAR-10和ImageNet上的多个实验中实证了参数效率。代码可在以下网址获得:https://github.com/dchiji-ntt/iterand
2022-04-05 cs.AI cs.LG cs.NE
Pruning Convolutional Neural Networks with Self-Supervision
Facebook AI Research(脸书人工智能研究院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
在没有监督的情况下训练的卷积神经网络接近于有监督的预训练的性能,但有时会以更高数量的参数为代价。从这些大型无监督convnets中提取子网络并保持性能是特别感兴趣的,以使它们的计算强度更低。典型的修剪方法在任务的训练期间操作,同时试图保持修剪后的网络在同一任务上的性能。然而,在自监督特征学习中,训练目标对下游任务的表示可转移性是不可知的。因此,为这个目标保留性能并不能确保修剪后的子网络仍然有效地解决下游任务。在这项工作中,我们研究了使用标准的修剪方法,主要是为监督学习,网络训练没有标签(即自我监督任务)。我们发现,在标签上重新训练时,使用或不使用标签获得的修剪掩码达到了相当的性能,这表明修剪对于自监督学习和监督学习的操作类似。有趣的是,我们还发现修剪保留了自监督子网络表示的传输性能。
2020-01-10 cs.CV cs.LG cs.NE
Pruning artificial neural networks: a way to find well-generalizing, high-entropy sharp minima
University of Torino(都灵大学)
最近,一场简化深度网络的竞赛已经开始,这表明在最小或没有性能损失的情况下减少这些模型的大小是有效的。然而,人们普遍缺乏理解为什么这些修剪策略是有效的。在这项工作中,我们将比较和分析修剪的解决方案与两种不同的修剪方法,一杆和逐步,显示后者的更高的有效性。特别是,我们发现,逐步修剪允许访问狭窄的,以及概括的最小值,这是通常被忽略时,使用一次性的方法。在这项工作中,我们还提出了PSP-熵,一种理解给定神经元如何与某些特定学习类相关的度量。有趣的是,我们观察到迭代修剪模型提取的特征与特定类的相关性较低,这可能使这些模型更适合迁移学习方法。
2020-04-30 cond-mat.dis-nn cs.LG cs.NE
Trainability Preserving Neural Pruning
Northeastern University(东北大学);AInnovation Labs, Inc.(创新奇智实验室有限公司)
最近的许多研究表明,可训练性在神经网络修剪中起着核心作用--无人看管的可训练性受损可能导致严重的性能低下,并无意中放大了再训练学习率的影响,导致有偏见的(甚至是误解的)基准测试结果。本文介绍了可训练性保持修剪(TPP),这是一种可扩展的方法,用于保持网络的可训练性以防止修剪,旨在提高修剪性能,并对重新训练超参数(例如,学习率)。具体来说,我们建议惩罚卷积滤波器的gram矩阵,以将修剪的滤波器与保留的滤波器解相关。除了卷积层之外,为了保持整个网络的可训练性,我们还建议正则化批量归一化参数(规模和偏差)。对线性MLP网络的实证研究表明,TPP可以与Oracle可训练性恢复方案相提并论。在CIFAR10/100上的非线性ConvNets(ResNet56/VGG19)上,TPP的性能明显优于其他对应方法。此外,使用ResNets的ImageNet-1K的结果表明,TPP始终比其他性能最佳的结构化修剪方法表现得更好。代码:www.example.com.
2023-03-03 cs.AI cs.CV cs.LG
Learning Digital Circuits: A Journey Through Weight Invariant Self-Pruning Neural Networks
Qubole India(Qubole印度)
最近,在论文“权重不可知神经网络“中,Gaier和Ha利用架构搜索来找到拓扑结构完全编码知识的网络。然而,在拓扑空间中搜索体系结构是昂贵的。我们使用现有的二值化网络的框架,通过将权重限制为零或一来找到高性能的拓扑。我们表明,这样的拓扑结构实现了类似于标准网络的性能,同时修剪超过99%的权重。我们进一步证明,这些拓扑结构可以执行任务,使用恒定的权重没有任何显式的调整。最后,我们发现,在我们的设置中,每个神经元都像一个“或非”门,实际上是在学习一个数字电路。我们证明了我们的方法在计算机视觉数据集上的有效性。
2020-05-03 cs.CV cs.LG cs.NE
Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks
Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);Sensetime Research(商汤科技研究院)
本文受神经科学临界脑假说启发,提出基于特征信息熵的神经元临界性度量及剪枝-再生方法,在降低高达95.26%剪枝成本的同时超越现有SOTA性能。
2024-11-21 cs.AI cs.CV cs.LG