Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
非结构化修剪非常适合在训练和推理时减少卷积神经网络（CNN）的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪（SP）通过将过滤器元素设置为零来减少CNN的内存占用，从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪，这会导致强烈的偏差。为了克服这一点，我们引入空间修剪（IP），一个通用的工具，以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础（FB）的线性组合。对于IP，FB系数被设置为零，而未修剪的系数和FB被联合训练。在这项工作中，我们提供了数学证据IP的优越性能，并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下，例如ImageNet的修剪或修剪到高稀疏性，IP大大超过SP，具有相同的运行时间和参数成本。最后，我们表明，IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Pruning at Initialization -- A Sketching Perspective
Tel Aviv University（特拉维夫大学）
该研究从草图视角分析线性设置下神经网络初始化剪枝问题，证明稀疏掩码寻找等价于草图问题，理论界定剪枝模型近似误差并支持稀疏网络搜索的数据无关性，还提出数据无关场景下的算法通用改进。
2025-11-11 cs.CV cs.LG
Filter Pruning by Switching to Neighboring CNNs with Good Attributes
University of Technology Sydney（悉尼科技大学）；A*STAR Centre for Frontier AI Research (CFAR)（新加坡科技研究局前沿人工智能研究中心）；Zhejiang University（浙江大学）
滤波器剪枝是降低神经网络计算量的有效方法。现有的方法表明，更新以前的修剪过滤器将使大的模型容量和实现更好的性能。然而，在迭代修剪过程中，即使网络权重被更新为新值，修剪准则也保持不变。此外，在评估滤波器重要性时，仅考虑滤波器的幅度信息。然而，在神经网络中，滤波器不能单独工作，但它们会影响其他滤波器。结果，仅反映单个滤波器本身的信息的每个滤波器的幅度信息不足以判断滤波器重要性。为了解决上述问题，我们提出了基于元属性的过滤修剪（MFP）。首先，为了扩展现有的基于幅度信息的剪枝准则，我们引入了一组新的准则来考虑滤波器的几何距离。此外，为了明确评估网络的当前状态，我们通过元属性（神经网络在当前状态下的属性）自适应地选择最合适的标准进行修剪。在两个图像分类基准上的实验验证了该方法的有效性。对于ILSVRC-2012上的ResNet-50，我们可以减少超过50%的FLOP，而前5名的准确性损失仅为0.44%。
2022-02-11 cs.CV
Performance-aware Approximation of Global Channel Pruning for Multitask CNNs
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
全局通道修剪（GCP）旨在从深度模型中删除跨不同层的通道（过滤器）子集，而不会影响性能。以往的工作主要集中在单任务模型的剪枝或简单地将其应用于多任务场景，但在处理多任务剪枝时仍然面临以下问题：1）由于任务不匹配，一个良好的分类任务剪枝主干集中在保留能够提取类别敏感信息的过滤器上，导致可能对其他任务有用的过滤器在主干剪枝阶段被剪枝; 2）对于多任务预测，层内或层间的不同过滤器比单任务预测更紧密相关和相互作用，使得多任务修剪更困难。因此，针对多任务模型压缩，我们提出了一个性能感知的全局通道修剪（PAGCP）框架。我们首先从理论上提出了实现卓越GCP的目标，通过考虑层内和层间滤波器的联合显着性。然后提出了一种顺序贪婪剪枝策略来优化目标，其中开发了性能感知的预言标准来评估过滤器对每个任务的敏感性，并保留全局最多的任务相关的过滤器。在多个多任务数据集上的实验表明，提出的PAGCP在性能下降较小的情况下，可以将FLOP和参数减少60%以上，并在云和移动平台上实现1.2倍$\sim$ 3.3倍的加速。
2023-03-21 cs.CV
Modeling of Pruning Techniques for Deep Neural Networks Simplification
Isfahan University of Technology（伊斯法罕理工大学）
卷积神经网络（CNN）存在不同的问题，例如计算复杂性和参数的数量。近年来，修剪技术被用来减少CNN中的操作数量和模型大小。提出了不同的剪枝方法，这些方法基于对连接、通道和过滤器的剪枝。各种技术和技巧伴随着修剪方法，并且没有一个统一的框架来建模所有的修剪方法。本文对剪枝方法进行了研究，提出了一个包含大多数剪枝技术的通用模型。通过该模型可以识别出各种剪枝方法的优缺点，并将其归纳总结。该模型的最终目标是为所有具有不同结构和应用的剪枝方法提供一种通用的方法。
2020-01-13 cs.CV
A Signal Propagation Perspective for Pruning Neural Networks at Initialization
University of Oxford（牛津大学）；Australian National University（澳大利亚国立大学）
网络修剪是压缩深度神经网络的一种有前途的途径。一种典型的修剪方法首先训练模型，然后删除冗余参数，同时最大限度地减少对学习内容的影响。或者，最近的一种方法表明，修剪可以在训练之前的初始化中完成，基于称为连接敏感性的显着性标准。然而，目前还不清楚为什么修剪一个未经训练的、随机初始化的神经网络是有效的。在这项工作中，通过注意到连接敏感性作为一种形式的梯度，我们正式表征初始化条件，以确保可靠的连接敏感性测量，这反过来又产生有效的修剪结果。此外，我们分析了由此产生的修剪网络的信号传播特性，并引入了一个简单的，无数据的方法来提高其可训练性。我们修改现有的修剪在初始化方法导致所有测试的网络模型的图像分类任务的改进结果。此外，我们实证研究监督修剪的效果，并证明我们的信号传播的角度来看，结合无监督修剪，可以在各种情况下，修剪应用于非标准的任意设计的架构是有用的。
2020-02-16 cs.CV cs.LG stat.ML
Pruning Neural Networks at Initialization: Why are We Missing the Mark?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Element AI（Element AI公司）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
最近的工作探索了在初始化时修剪神经网络的可能性。我们评估这样做的建议：SNIP（Lee等人，2019），GraSP（Wang et al.，2020）、SynFlow（Tanaka等人，2020年）和幅度修剪。尽管这些方法超越了随机修剪的平凡基线，但它们在训练后仍然低于幅度修剪的准确性，我们试图理解为什么。我们表明，与训练后修剪不同，随机打乱这些方法在每层中修剪的权重或采样新的初始值可以保留或提高准确性。因此，由这些方法做出的每权重修剪决策可以由要修剪的权重的分数的每层选择来代替。此属性表明了底层修剪算法、在初始化时修剪的愿望或两者的更广泛挑战。
2021-03-21 cs.CV cs.LG cs.NE
Dynamic Structure Pruning for Compressing CNNs
Korea University（高丽大学）
结构剪枝是压缩和加速神经网络的一种有效方法。虽然滤波器和信道修剪在实际加速和硬件兼容性方面优于其他结构修剪方法，但是具有更细粒度的修剪方法（诸如信道内修剪）被期望能够产生更紧凑和计算效率更高的网络。由于大的搜索空间，典型的通道内修剪方法利用静态和手工修剪粒度，这为其修剪性能留下了改进的空间。在这项工作中，我们引入了一种新的结构修剪方法，称为动态结构修剪，以确定最佳的修剪粒度内通道修剪。与现有的通道内剪枝方法相比，所提出的方法在训练深度神经网络的同时自动优化每层的动态剪枝粒度。为了实现这一目标，我们提出了一种可微组学习方法，旨在有效地学习基于过滤器组的梯度学习的修剪粒度。实验结果表明，动态结构修剪实现了最先进的修剪性能和更好的真实感加速在GPU上相比，通道修剪。特别是，它将ResNet50的FLOP降低了71.85%，而不会降低ImageNet数据集的准确性。我们的代码可在www.example.com上获得。
2023-03-17 cs.AI cs.CV
Recursive Least Squares for Training and Pruning Convolutional Neural Networks
Hainan University（海南大学）
卷积神经网络（CNN）在许多实际应用中取得了成功。然而，它们的高计算和存储要求通常使它们难以部署在资源受限的设备上。为了解决这个问题，已经提出了许多针对CNN的剪枝算法，但大多数都不能将CNN修剪到合理的水平。在本文中，我们提出了一种新的算法训练和修剪CNN的基础上递归最小二乘（RLS）优化。在训练CNN一些时期后，我们的算法结合逆输入自相关矩阵和权重矩阵来逐层评估和修剪不重要的输入通道或节点。然后，我们的算法将继续训练修剪后的网络，并不会做下一个修剪，直到修剪后的网络恢复旧网络的全部性能。除了CNN，该算法可以用于前馈神经网络（FNN）。在MNIST、CIFAR-10和SVHN数据集上的实验结果表明，该算法能够实现更合理的剪枝，并且具有更高的学习效率。
2022-01-13 cs.CV cs.LG
Robust Pruning at Initialization
University of Oxford（牛津大学）
过参数化神经网络（NN）表现出最先进的性能。然而，越来越需要更小、节能的神经网络，以便能够在计算资源有限的设备上使用机器学习应用程序。一个流行的方法包括使用修剪技术。虽然这些技术传统上集中于修剪预训练的NN（LeCun等人，1990; Hassibi等人，1993），Lee等人（2018）最近的工作在初始化时修剪时显示出有希望的结果。然而，对于深度NN，这样的过程仍然不能令人满意，因为所得到的修剪网络可能难以训练，并且例如，它们不能防止一层被完全修剪。在本文中，我们提供了一个全面的理论分析幅度和梯度的修剪在初始化和训练稀疏架构。这使我们能够提出新的原则性方法，并在各种NN架构上进行实验验证。
2021-05-19 cs.CV cs.LG stat.ML
A Second-Order Perspective on Pruning at Initialization and Knowledge Transfer
Politecnico di Torino（托斯托纳理工大学）
针对下游任务未知时预训练视觉模型剪枝依赖任务数据的问题，研究发现单任务剪枝可保留跨任务零样本能力，微调还能恢复未见任务性能。
2025-09-28 cs.AI cs.CV
Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment
University of Maryland College Park（马里兰大学帕克分校）；University of Pittsburgh（匹兹堡大学）
本文提出一种基于强化学习智能体的CNN结构化剪枝方法，通过联合训练权重与剪枝策略，并利用可学习环境表示应对动态奖励，在CIFAR-10和ImageNet上验证了其有效性。
2024-03-28 cs.CV
RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Microsoft Research（微软研究院）；Data61, CSIRO（联邦科学与工业研究组织Data61）；Amazon（亚马逊）
虽然3D卷积神经网络对于涉及密集3D数据的大多数基于学习的应用是必不可少的，但是由于过多的存储器和计算要求，它们的适用性受到限制。因此，通过修剪来压缩这样的网络变得非常可取。然而，修剪3D CNN在很大程度上尚未探索，可能是因为典型修剪算法的复杂性，该算法将修剪嵌入到迭代优化范式中。在这项工作中，我们引入了一种资源感知神经元修剪（RANP）算法，该算法在初始化时将3D CNN修剪到高稀疏水平。具体来说，核心思想是根据每个神经元对损失函数的敏感度来获得每个神经元的重要性分数。然后，根据与FLOP或存储器相关的神经元资源消耗来重新加权该神经元重要性。我们证明了我们的修剪方法在ShapeNet和BraTS'18数据集上广泛使用的3D-UNets的3D语义分割，UCF 101数据集上的MobileNetV 2和I3 D的视频分类，以及SceneFlow数据集上的金字塔立体匹配（PSM）网络的双视图立体匹配上的有效性。在这些实验中，与未修剪的网络相比，我们的RANP导致FLOPs减少了大约50%-95%，内存减少了35%-80%，准确性损失可以忽略不计。这显著减少了训练3D CNN所需的计算资源。通过我们的算法获得的修剪网络也可以很容易地扩展并转移到另一个数据集进行训练。
2021-02-09 cs.AI cs.CV
One-shot Network Pruning at Initialization with Discriminative Image Patches
Ritsumeikan University（立命馆大学）；Hitotsubashi University（一桥大学）；Nagoya University（名古屋大学）；Dalian University of Technology（大连理工大学）
单次网络剪枝（One-shotNetworkPruningatThreshold，OPaI）是一种有效降低网络剪枝代价的方法。最近，越来越多的人认为数据在OPaI中是不必要的。然而，我们得到了相反的结论，烧蚀实验中的两个代表性的OPaI方法，SNIP和GraSP。具体来说，我们发现，信息丰富的数据是至关重要的，以提高修剪性能。在本文中，我们提出了两种新的方法，区分单次网络修剪（DOP）和超级缝合，修剪网络的高层次的视觉区分图像补丁。我们的贡献如下。(1)大量的实验表明，OPaI是数据依赖的。(2)Super Stitching在基准ImageNet上的表现明显优于原始的OPaI方法，特别是在高度压缩的模型中。
2022-10-04 cs.AI cs.CV cs.LG
RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Microsoft Research（微软研究院）
虽然3D卷积神经网络（CNN）对于涉及密集3D数据的大多数基于学习的应用是必不可少的，但是由于过多的存储器和计算要求，它们的适用性受到限制。因此，通过修剪来压缩这样的网络变得非常可取。然而，修剪3D CNN在很大程度上尚未探索，可能是因为典型修剪算法的复杂性，该算法将修剪嵌入到迭代优化范式中。在这项工作中，我们引入了一种资源感知神经元修剪（RANP）算法，该算法在初始化时将3D CNN修剪到高稀疏水平。具体来说，核心思想是根据每个神经元对损失函数的敏感度来获得每个神经元的重要性分数。然后，根据与FLOP或存储器相关的神经元资源消耗来重新加权该神经元重要性。我们证明了我们的修剪方法在ShapeNet和BraTS'18上广泛使用的3D-UNets的3D语义分割上以及在UCF 101数据集上使用MobileNetV 2和I3 D的视频分类上的有效性。在这些实验中，与未修剪的网络相比，我们的RANP导致FLOPs减少了大约50-95，内存减少了35-80，准确性损失可以忽略不计。这显著减少了训练3D CNN所需的计算资源。通过我们的算法获得的修剪网络也可以很容易地扩展并转移到另一个数据集进行训练。
2020-10-25 cs.AI cs.CV cs.LG
Recent Advances on Neural Network Pruning at Initialization
Northeastern University（东北大学）；ETH Zürich（苏黎世联邦理工学院）
神经网络修剪通常会从预训练的收敛模型中删除连接或神经元;而一种新的修剪范式，即初始化修剪（PaI），尝试修剪随机初始化的网络。本文首次对这一新兴的修剪方式进行了综述。我们首先介绍了一个通用的制定神经网络修剪，其次是主要的经典修剪主题。然后，作为本文的主体，一个彻底的和结构化的文献综述的PaI方法，包括两个主要的轨道（稀疏训练和稀疏选择）。最后，我们总结了PaI相比PaT的激增，并讨论了开放的问题。除了专门的文献综述，本文还提供了一个代码库，便于健全检查和基准测试不同的PaI方法。
2022-05-23 cs.AI cs.CV cs.LG
Efficient Similarity-based Passive Filter Pruning for Compressing CNNs
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））；University of Surrey（萨里大学）
卷积神经网络（CNN）在各种应用中取得了巨大的成功。然而，CNN的计算复杂性和内存存储是其在资源受限设备上部署的瓶颈。最近减少CNN的计算成本和内存开销的努力涉及基于相似性的无源滤波器修剪方法。基于相似性的被动滤波器修剪方法计算滤波器的成对相似性矩阵，并消除一些相似的滤波器以获得小的修剪的CNN。然而，计算成对相似性矩阵的计算复杂性很高，特别是当卷积层具有许多滤波器时。为了减少在获得成对相似性矩阵的计算复杂性，我们建议使用一种有效的方法，其中完整的成对相似性矩阵是近似从只有几个列，通过使用Nyström近似方法。与计算完整的成对相似性矩阵的基于相似性的修剪方法相比，所提出的有效的基于相似性的被动过滤器修剪方法的速度快3倍，并且在CNN计算的相同减少量下具有相同的准确性。除此之外，所提出的有效的基于相似性的修剪方法执行类似或优于现有的基于范数的修剪方法。提出的修剪方法的有效性进行评估CNN，如DCASE 2021任务1A基线网络和VGGish网络设计的声学场景分类。
2022-10-27 cs.AI cs.CV cs.LG
Efficient CNNs via Passive Filter Pruning
Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
针对现有被动滤波器剪枝方法在高剪枝率下性能下降的问题，提出基于算子范数的被动剪枝方法，在VGGish等多种CNN架构上泛化性更优，计算速度比主动方法快至少4.5倍且性能相当。
2023-04-05 cs.AI cs.CV cs.LG
Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler
East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Tencent（腾讯）；University of Sheffield（谢菲尔德大学）；University at Buffalo（布法罗大学）
提出知识驱动差分滤波器采样器（KDFS）与掩码滤波器建模框架，基于预训练模型先验知识端到端全局剪枝冗余滤波器，在ImageNet上ResNet-50计算量减55.36%、参数减42.86%，准确率仅降0.35%。
2023-07-01 cs.CV
LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from Scratch
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；Guangdong University of Finance（广东金融学院）
本文提出 LAPP 框架，通过逐层可学习阈值、FLOPs 约束和轻量旁路，在从零训练中渐进确定各层剪枝率，并在 CIFAR-10 与 ImageNet 上实现高压缩且精度无损或提升。
2023-09-25 cs.CV
A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Kharagpur, India（印度理工学院，Khargpur，印度）
提出一种基于线性近似的两层层次化贪婪剪枝算法，通过低层滤波器选择和全局剪枝准则高效剪枝，在多个网络上优于现有方法。
2026-05-23 cs.CV cs.LG
SR-init: An interpretable layer pruning method
Zhejiang University of Technology（浙江工业大学）
尽管深度神经网络（DNN）在许多领域得到普及，但由于高计算开销，将最先进的模型部署到资源受限的设备仍然具有挑战性。模型修剪为上述挑战提供了可行的解决方案。然而，现有的修剪标准的解释总是被忽视。针对这个问题，我们提出了一种新的层修剪方法，通过探索随机重新初始化。我们的SR-init方法的灵感来自于发现由于层参数的随机重新初始化而导致的准确度下降在各个层中不同。在此观察的基础上，我们提出了一个层修剪标准，即，对随机重新初始化不敏感的那些层（低精度下降）对模型产生较少的贡献，并且可以以可接受的损失被修剪。之后，我们通过特征可视化实验验证了SR-init的可解释性。直观的解释表明，SR-init在理论上是可行的，因此，我们比较它与国家的最先进的方法，以进一步评估其实用性。至于CIFAR-10和CIFAR-100上的ResNet56，SR-init实现了参数的大幅减少（63.98%和37.71%），同时top-1准确度下降（-0.56%和0.8%）。在ImageNet上使用ResNet50，我们通过删除39.29%的参数实现了15.59%的FLOPs减少，而top-1准确率仅下降了0.6%。我们的代码可在www.example.com上获得。
2023-03-17 cs.CV
Pruning for Feature-Preserving Circuits in CNNs
Harvard University（哈佛大学）
本文提出利用基于显著性的剪枝方法从深度CNN中提取仅保留目标特征相关卷积核的“特征保持电路”，比较了三种显著性准则，并开发了电路图可视化工具，以提升CNN图像滤波过程的可解释性。
2023-04-17 cs.CV cs.LG
Learning effective pruning at initialization from iterative pruning
State Key Laboratory of Robotics and Systems（机器人系统国家重点实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Technical University of Munich（慕尼黑技术大学）；University of Liverpool（利物浦大学）
本文提出了一种基于神经网络的初始化剪枝方法，通过学习初始特征与存活分数的关系来提高高稀疏度下的剪枝性能。
2025-12-09 cs.CV cs.LG
Investigating Calibration and Corruption Robustness of Post-hoc Pruned Perception CNNs: An Image Classification Benchmark Study
Continental AG（大陆集团）；University of Lübeck（吕贝克大学）；TU Dortmund（多特蒙德工业大学）
本文研究了图像分类中事后CNN剪枝在性能、不确定性校准与自然损坏鲁棒性之间的权衡，发现剪枝能同步提升这三项指标，证明安全性与鲁棒性可兼得。
2024-05-31 cs.AI cs.CV
Pruning neural networks without any data by iteratively conserving synaptic flow
Stanford University（斯坦福大学）
修剪深度神经网络的参数已经产生了强烈的兴趣，因为在训练和测试期间可能节省时间，内存和能量。最近的工作已经确定，通过一个昂贵的序列的训练和修剪周期，中奖彩票或稀疏可训练的子网络在初始化的存在。这就提出了一个基本问题：我们能否在初始化时识别出高度稀疏的可训练子网络，而不需要训练，甚至不需要查看数据？我们通过理论驱动的算法设计对这个问题给出了肯定的回答。我们首先从数学上制定和实验验证的守恒定律，解释了为什么现有的基于梯度的修剪算法在初始化遭受层崩溃，过早修剪整个层呈现网络不可训练。该理论还阐明了如何完全避免层崩溃，激发了一种新的修剪算法迭代突触流修剪（SynFlow）。该算法可以被解释为在初始化时保持通过网络的突触强度的总流量受到稀疏性约束。值得注意的是，该算法没有参考训练数据，并且在初始化时在一系列模型（VGG和ResNet），数据集（CIFAR-10/100和Tiny ImageNet）和稀疏约束（高达99.99%）上始终与现有的最先进的修剪算法竞争或优于现有的修剪算法。因此，我们的数据无关的修剪算法挑战现有的范式，在初始化，数据必须被用来量化哪些突触是重要的。
2020-11-19 cond-mat.dis-nn cs.CV cs.LG
DBP: Discrimination Based Block-Level Pruning for Deep Model Acceleration
Zhejiang University（浙江大学）；Fabu Inc.（Fabu公司）
神经网络修剪是加速深度卷积神经网络（CNN）推理的最流行方法之一。主要的剪枝方法，过滤器级剪枝方法，通过计算的减少率来评估它们的性能，并认为更高的计算减少率相当于在推理时间方面更高的加速率。然而，我们认为，如果并行计算被认为是不等价的。考虑到过滤器级修剪仅修剪层中的过滤器，并且层中的计算通常并行运行，因此通过过滤器级修剪减少的大多数计算通常与未减少的计算并行运行。因此，过滤器级修剪的加速比是有限的。为了获得更高的加速比，最好修剪冗余层，因为不同层的计算不能并行运行。在本文中，我们提出了我们的歧视基于块级剪枝方法（DBP）。具体地，DBP采用连续层的序列（例如，Conv-BN-ReLu）作为块，并根据其输出特征的区分度去除冗余块。因此，DBP通过减少CNN的深度来实现相当大的加速比。大量的实验表明，DBP已经超过了国家的最先进的过滤器级修剪方法的准确性和加速比。我们的代码将很快提供。
2019-12-21 cs.CV
2PFPCE: Two-Phase Filter Pruning Based on Conditional Entropy
University of Pittsburgh（匹兹堡大学）；SUNY at Buffalo（纽约州立大学布法罗分校）；Duke University（杜克大学）；Midea Corporate Research Center（美的集团研究院）
深度卷积神经网络~（CNN）在许多高维问题中具有出色的分类和回归性能，已被广泛应用于现实世界的认知应用。然而，CNN的高计算成本极大地阻碍了其在资源受限的应用，实时系统和边缘计算平台中的部署。为了克服这一挑战，我们提出了一种新的过滤器修剪框架，基于条件熵的两阶段过滤器修剪，即\textit{2PFPCE}，以压缩CNN模型，减少推理时间，边际性能下降。在我们提出的方法中，我们制定过滤器修剪过程作为一个优化问题，并提出了一种新的过滤器选择标准的条件熵。基于神经元的表示应均匀分布的假设，我们还开发了一种最大熵滤波器冻结技术，可以减少过拟合。两个过滤器修剪策略-全局和逐层策略，进行了比较。实验结果表明，在相同的精度下降阈值下，将这两种策略相结合，可以获得比只使用其中一种更高的神经网络压缩比。两阶段剪枝，即结合全局和分层策略，在VGG-16上实现了10倍的FLOPs减少和46%的推理时间减少，精度下降2%。
2018-09-06 cs.CV
Structured Pruning for Deep Convolutional Neural Networks: A survey
Centre for Frontier AI Research (CFAR), Agency for Science Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）；Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）
本文综述了深度CNN结构化剪枝的最新进展，系统比较了滤波器排序、正则化、动态执行、神经架构搜索、彩票票假设等方法，并展望了未来研究方向。
2023-11-30 cs.CV
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）
参数修剪是CNN压缩和加速的一种有前途的方法，通过消除冗余的模型参数，具有可容忍的性能损失。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN的表达能力是脆弱的，并且需要更温和的正则化方式来使网络在修剪过程中适应。为了解决这个问题，我们提出了一种新的基于正则化的修剪方法（名为IncReg），根据其相对重要性将不同的正则化因子递增地分配给不同的权重组，与最先进的方法相比，其有效性在流行的CNN上得到了证明。
2018-12-18 cs.CV cs.LG
REPrune: Channel Pruning via Kernel Representative Selection
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology（韩国科学技术研究院）；Hyundai MOBIS（现代摩比斯）
针对传统通道剪枝粒度大、精度下降明显的问题，提出模拟核剪枝的REPrune方法，通过层次凝聚聚类选核代表并优化簇覆盖，结合同步训练剪枝实现渐进剪枝，在视觉任务上兼顾加速比与性能。
2024-03-08 cs.AI cs.CV
An accuracy-aware extension to LRP-based pruning for CNNs to prevent cascading accuracy degradation in data-scarce transfer learning
Mathematics and Computer Science National Defense Academy of Japan（日本防卫大学校数学与计算机科学系）
针对数据稀缺迁移学习中预训练CNN剪枝导致的级联精度下降问题，提出一种精度感知的剪枝控制机制，通过动态调整剪枝率和顺序来抑制精度下降，提升模型压缩后的分类性能。
2026-05-28 cs.AI cs.CV cs.LG
Does "Deep Learning on a Data Diet" reproduce? Overall yes, but GraNd at Initialization does not
University of Oxford（牛津大学）
本文复现了Paul等人的数据修剪研究，证实EL2N分数有效，但发现初始化时的GraNd分数不优于随机修剪，且其与输入范数强相关，无法复现CIFAR-10结果归因于底层代码bug。
2023-03-26 cs.CV cs.LG
A Deeper Look into Convolutions via Eigenvalue-based Pruning
Middle East Technical University（中东技术大学）
卷积神经网络（CNN）由于其参数共享原则，尽管具有更少的参数，但仍能够获得比全连接神经网络更好的视觉识别性能。现代架构通常包含少量完全连接的层，通常在多层卷积之后的最后。在某些情况下，可以消除大多数卷积，而不会损失识别性能。然而，没有可靠的方法来检测负责大部分识别工作的卷积神经元的隐藏子集。在这项工作中，我们制定了这作为一个修剪问题，其目的是修剪尽可能多的内核，同时保持香草泛化性能。为此，我们使用基于特征值的矩阵特征进行修剪，与内核的平均绝对权重相比，内核的平均绝对权重是文献中评估单个卷积内核重要性的事实标准，以阐明广泛使用的CNN家族的内部机制，即残差神经网络（ResNets），用于使用CIFAR-10的图像分类问题，CIFAR-100和Tiny ImageNet数据集。
2022-10-18 cs.CV
Pruning Filters for Efficient ConvNets
University of Maryland（马里兰大学）；NEC Labs America（NEC美国实验室）
CNN在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近为减少这些开销所做的努力包括修剪和压缩各个层的权重，而不会损害原始精度。然而，基于幅度的权重修剪减少了来自全连接层的大量参数，并且由于修剪后的网络中的不规则稀疏性，可能无法充分降低卷积层中的计算成本。我们提出了一种用于CNN的加速方法，其中我们从CNN中修剪被识别为对输出准确性影响较小的滤波器。通过删除网络中的整个过滤器及其连接的特征图，计算成本显着降低。与修剪权重相比，这种方法不会导致稀疏连接模式。因此，它不需要稀疏卷积库的支持，并且可以与现有的高效BLAS库一起用于密集矩阵乘法。我们发现，即使是简单的过滤器修剪技术，也可以在CIFAR 10上将VGG-16和ResNet-110的推理成本降低高达34%和38%，同时通过重新训练网络恢复接近原始的准确性。
2017-03-10 cs.CV cs.LG
Less is More: The Influence of Pruning on the Explainability of CNNs
Innsbruck University（因斯布鲁克大学）；MCI – The Entrepreneurial School（MCI创业学院）；Josef Ressel Centre for Security Analysis of IoT Devices（约瑟夫·雷瑟尔物联网设备安全分析中心）
该研究探讨网络剪枝带来的模型复杂度降低是否能提升CNN的感知可解释性，通过预研究及两项人类实验测试不同压缩率的影响，发现低压缩率有正向作用，还找到了可同时提升可解释性与性能的平衡点。
2025-01-14 cs.AI cs.CV
ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via Fine-Grained Architecture-Preserving Pruning
Washington State University（华盛顿州立大学）；Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；University of Sydney（悉尼大学）；University of Alabama（阿拉巴马大学）
由于对预测精度和分析质量的需求不断增长，卷积神经网络（CNN）正变得越来越深、越来越宽和越来越非线性。然而，广泛而深入的CNN需要大量的计算资源和处理时间。许多先前的工作已经研究了模型修剪，以提高推理性能，但很少做的工作，有效地降低训练成本。在本文中，我们提出了ClickTrain：一个高效准确的CNN端到端训练和修剪框架。与现有的训练过程中的修剪工作不同，ClickTrain通过细粒度的结构保留修剪提供更高的模型精度和压缩比。通过利用基于模式的修剪与我们提出的新的准确的权重重要性估计，动态模式生成和选择，以及编译器辅助的计算优化，ClickTrain生成高度准确和快速修剪的CNN模型，用于直接部署，与基线训练相比，没有任何额外的时间开销。ClickTrain还将训练后修剪方法的端到端时间成本降低了2.3倍，同时具有相当的精度和压缩比。此外，与最先进的训练期间修剪方法相比，ClickTrain在测试的CNN模型和数据集上，在类似的有限训练时间下，提供了显着的准确性和压缩比的改善。
2021-05-01 cs.CV cs.DC
Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning
Kyungpook National University（庆北国立大学）
卷积神经网络（CNN）具有大量参数，并且需要大量硬件资源来计算，因此边缘设备很难运行高级网络。本文提出了一种新的方法来减少参数和FLOP，以提高深度学习模型的计算效率。我们引入准确性和效率系数来控制网络的准确性和计算效率之间的权衡。所提出的奖励元修剪算法训练网络生成修剪模型的权重，该修剪模型基于最终模型的近似参数通过使用奖励函数控制交互来选择。奖励函数允许对最终修剪模型的度量进行更多控制。大量的实验表明，所提出的方法在修剪ResNet-50，MobileNetV 1和MobileNetV 2网络方面优于最先进的方法。
2023-01-26 cs.CV
Model Pruning Based on Quantified Similarity of Feature Maps
University of Science and Technology Beijing（北京科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
卷积神经网络（CNN）已经应用于许多物联网（IoT）设备中，用于各种下游任务。然而，随着边缘设备上的数据量越来越大，CNN在有限的计算和存储资源下很难及时完成一些任务。近年来，滤波器修剪被认为是压缩和加速CNN的有效技术，但现有方法很少从压缩高维张量的角度对CNN进行修剪。在本文中，我们提出了一种新的理论来发现冗余信息的三维张量，即量化特征映射之间的相似性（QSFM），并利用该理论来指导过滤器修剪过程。通过对数据集（CIFAR-10、CIFAR-100和ILSVRC-12）和边缘设备的QSFM测试，证明了该方法能够有效地发现神经网络中的冗余信息，并且具有相当的压缩率和可容忍的精度下降。在没有任何微调操作的情况下，QSFM可以在CIFAR-10上显着压缩ResNet-56（减少48.7%的FLOP和57.9%的参数），而前1精度仅损失0.54%。对于边缘设备的实际应用，QSFM可以在ILSVRC-12 top-1准确率仅损失1.23%的情况下，将MobileNet-V2的推理速度加快1.53倍。
2022-08-10 cs.CV cs.LG
ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN
Hefei University of Technology（合肥工业大学）；Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education（教育部安全关键工业测控技术工程研究中心）
近年来，随着卷积神经网络（CNN）的深入和广泛，对数据量和硬件资源的要求也逐渐提高。同时，CNN也揭示了一些任务中的显著冗余。现有的基于幅度的剪枝方法是有效的，但压缩网络的性能是不可预测的。基于结构灵敏度的剪枝算法精度损失较小，但剪枝过程耗时且算法复杂度较高。在这篇文章中，我们提出了一种新的自动通道修剪方法（ACP）。具体来说，我们首先通过特征图的相似性进行逐层通道聚类，以对网络进行初步修剪。然后引入种群初始化方法，将剪枝后的结构转化为候选种群。最后，我们进行搜索和优化迭代粒子群优化（PSO）的基础上找到最佳的压缩结构。然后重新训练紧凑网络以减轻修剪造成的准确性损失。我们的方法在三个不同的分类数据集CIFAR-10/100和ILSVRC-2012上针对几种最先进的CNN进行了评估。在ILSVRC-2012上，当去除ResNet-50的64.36%参数和63.34%浮点运算（FLOP）时，Top-1和Top-5的准确率下降不到0.9%。此外，我们证明了在不损害整体性能的情况下，可以在目标检测数据集PASCAL VOC上将SSD压缩50%以上。进一步验证了所提出的方法也可以应用于其他CNN和应用场景。
2021-01-16 cs.CV
Demystifying Neural Network Filter Pruning
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
基于滤波器大小排序（如L1范数）的传统卷积神经网络（CNN）滤波器剪枝方法已被证明在降低计算量方面具有很好的效果。虽然这些方法有效，但很少从过滤器功能的角度进行分析。在这项工作中，我们探索过滤器修剪和再培训，通过定性过滤器功能的解释。我们发现基于滤波器幅度的方法无法消除具有重复功能的滤波器。而再训练阶段实际上是用来重建剩余的过滤器，以补偿错误修剪的关键过滤器的功能。利用提出的面向功能的剪枝方法，我们进一步证明，通过精确地解决滤波器功能冗余，CNN可以在没有相当大的准确性下降的情况下被剪枝，并且重新训练阶段是不必要的。
2018-10-29 cs.CV
Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning
Massachusetts Institute of Technology（麻省理工学院）
深度卷积神经网络（CNN）对于最先进的计算机视觉算法是不可或缺的。然而，它们仍然很少部署在电池供电的移动设备上，例如智能手机和可穿戴设备，其中视觉算法可以实现许多革命性的现实世界应用。关键的限制因素是由于其高计算复杂性而导致的CNN处理的高能耗。虽然之前有许多努力试图减少CNN模型的大小或计算量，但我们发现它们不一定会导致更低的能耗，因此不能作为能源成本估计的良好指标。为了缩小CNN设计和能耗优化之间的差距，我们提出了一种CNN的能量感知修剪算法，该算法直接使用CNN的能耗估计来指导修剪过程。能量估计方法使用从针对实际电池供电系统设置的实际硬件测量中推断的参数。所提出的逐层修剪算法还通过最小化输出特征图而不是过滤器权重中的误差来比先前提出的修剪方法更积极地修剪。对于每一层，权重首先被修剪，然后用封闭形式的最小二乘解进行局部微调，以快速恢复精度。在所有层都被修剪之后，整个网络使用反向传播进行进一步的全局微调。使用所提出的剪枝方法，AlexNet和GoogLeNet的能耗分别降低了3.7倍和1.6倍，而前5名的准确率损失不到1%。最后，我们证明了用减少的目标类修剪AlexNet可以大大减少权重的数量，但能量减少是有限的。能源建模工具和能源感知修剪模型可在http://eyeriss.mit.edu/energy.html上获得
2017-04-18 cs.CV
When to Prune? A Policy towards Early Structural Pruning
NVIDIA（英伟达）
修剪可以显著减少网络内存占用和时间复杂度。传统的训练后修剪技术倾向于有效的推理，而忽略了训练的繁重计算。最近的探索预训练修剪在初始化提示训练成本降低通过修剪，但遭受显着的性能下降。我们试图结合这两个方向的好处，并提出了一个政策，修剪尽可能早地在训练过程中，而不损害性能。我们的方法不是在初始化时进行修剪，而是利用几个时期的初始密集训练来快速指导架构，同时通过神经元重要性排名不断评估主导子网络。这揭示了结构变得稳定的主导子网络，允许将传统的修剪更早地推进到训练中。为了尽早做到这一点，我们进一步引入了早期修剪指标（EPI），它依赖于子网络架构的相似性，并在子网络架构稳定时快速触发修剪。通过在ImageNet上进行的大量实验，我们表明EPI能够快速跟踪适合修剪的早期训练时期，提供与其他“预言机”网格搜索相同的功效，该网格搜索扫描时期并需要多几个数量级的计算。我们的方法产生$1.4\%$ top-1精度提升超过国家的最先进的修剪同行，减少了$2.4\times$在GPU上的训练成本，因此提供了一个新的效率-精度边界的网络修剪在训练过程中。
2021-10-22 cs.CV cs.LG
Soft Masking for Cost-Constrained Channel Pruning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
结构化通道修剪已被证明可以显著加快现代硬件上卷积神经网络（CNN）的推理时间，而网络准确性损失相对较小。最近的工作是在训练过程中永久地将这些通道归零，我们观察到这会严重影响最终的准确性，特别是当网络被修剪的比例增加时。我们提出了软屏蔽成本约束的信道修剪（SMCP），允许修剪的信道自适应地返回到网络，同时修剪对目标成本约束。通过从移除输入通道的角度添加权重的软掩码重新参数化和通道修剪，我们允许对先前修剪的通道进行梯度更新，并允许通道稍后返回到网络。然后，我们制定输入通道修剪作为一个全球性的资源分配问题。我们的方法在ImageNet分类和PASCAL VOC检测数据集上的性能优于之前的工作。
2022-11-04 cs.CV
Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因茨·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
本文提出通过优化可解释AI归因方法的超参数来剪枝CNN和Transformer，在VGG、ResNet、ViT上实现更高压缩率并保持ImageNet高性能，同时发现Transformer过度参数化程度更高。
2024-10-23 cs.AI cs.CV cs.LG
Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN
Tsinghua University（清华大学）；Aberystwyth University（阿伯里斯特威斯大学）
卷积神经网络（CNN）中冗余的存在使我们能够在可接受的性能下降的情况下去除一些滤波器/通道。然而，CNN的训练目标通常倾向于最小化与准确性相关的损失函数，而不关注冗余，使得冗余随机分布在所有滤波器上，使得移除它们中的任何一个都可能触发信息丢失和准确性下降，需要后续的微调步骤来恢复。在本文中，我们建议在训练过程中操纵冗余以促进网络修剪。为此，我们提出了一种新的向心SGD（C-SGD）来使一些过滤器相同，从而产生理想的冗余模式，因为这些过滤器由于其重复而变得纯粹冗余;因此删除它们不会损害网络。如CIFAR和ImageNet所示，与现有方法相比，C-SGD提供了更好的性能，因为冗余更好地组织起来。效率也是C-SGD的特征，因为它与常规SGD一样快，不需要微调，并且即使在非常深的CNN中也可以在所有层上同时进行。此外，C-SGD可以通过首先训练具有相同架构但更宽层的模型，然后将其压缩到原始宽度来提高CNN的准确性。
2021-07-30 cs.CV cs.LG
Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks
Chengdu Union Big Data Technology Co. Ltd.（成都联合大数据科技有限公司）；University of Electronic Science and Technology of China（电子科技大学）
通道修剪是一种很有前途的压缩深度卷积神经网络（DCNN）参数和加快推理速度的技术。本文旨在解决长期存在的效率低下的渠道修剪。大多数通道修剪方法通过从剩余参数重新训练修剪后的模型或随机初始化来恢复预测精度。这种重新训练过程严重依赖于计算资源、训练数据和人为干扰（调整训练策略）的充足性。本文提出了一种高效的剪枝方法，大大降低了DCNN的剪枝成本。我们的方法的主要贡献包括：1）修剪补偿，一个快速和数据有效的重新训练的替代品，以最大限度地减少修剪后的重建损失的功能，2）补偿感知修剪（CaP），一种新的修剪算法，以消除冗余或低权重的通道，通过最大限度地减少信息的损失，和3）二进制结构搜索与步骤约束，以最大限度地减少人为干扰。在包括CIFAR-10/100和ImageNet在内的基准测试中，我们的方法在最先进的基于再训练的修剪方法中表现出了具有竞争力的修剪性能，更重要的是，将处理时间减少了95%，数据使用量减少了90%。
2021-08-31 cs.CV
Crossbar-aware neural network pruning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Tsinghua University（清华大学）
基于交叉开关结构的器件由于其在向量矩阵乘法（VMM）运算上的高效性而被广泛应用于神经网络加速器中。然而，在卷积神经网络（CNN）的情况下，由于大量的数据重用，效率受到极大的损害。虽然已经设计了一些映射方法来实现执行吞吐量和资源开销之间的平衡，但在保持吞吐量的同时，资源消耗成本仍然很大。网络修剪是一种有前途的和广泛研究的杠杆，以缩小模型的大小。然而，以前的工作没有考虑交叉结构和相应的映射方法，这不能直接利用基于交叉的神经网络加速器。本文紧密结合交叉结构及其映射，提出了一种基于L0范数约束优化问题的交叉感知剪枝框架。具体来说，我们设计了一个L0-范数约束的梯度下降（LGD）与松弛概率投影（RPP）来解决这个问题。成功地实现了两种粒度的稀疏性：i）直观的纵横粒度稀疏性和ii）输出重组的列粒度稀疏性，在此基础上，我们进一步提出了一种输入特征图（FM）重新排序方法来提高模型的准确性。我们在中等规模的CIFAR 10数据集和具有VGG和ResNet模型的大规模ImageNet数据集上评估了我们的crossbar感知修剪框架。我们的方法是能够减少44%-72%的交叉开关开销，几乎没有精度下降。这项工作大大节省了资源和相关的能源成本，这为将CNN映射到各种交叉开关设备提供了一种新的协同设计解决方案，效率显著提高。
2018-12-06 cs.CV
Bridging The Gaps Between Token Pruning and Full Pre-training via Masked Fine-tuning
National Key Labratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出掩码微调方法，通过掩码图像块并基于未掩码块预测类别，弥合预训练基础模型与令牌剪枝动态视觉Transformer之间的差距，提升初始化质量，使Dynamic ViT在大剪枝比例下获得更高准确率并具备更强泛化能力。
2023-10-26 cs.AI cs.CV
Recovering from Random Pruning: On the Plasticity of Deep Convolutional Neural Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Robert Bosch Centre for Data Science and AI (RBC-DSAI)（罗伯特·博世数据科学与人工智能中心（RBC-DSAI））；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近，为了减少计算，已经有大量关于从深度卷积神经网络（CNN）中修剪滤波器的工作。关键思想是根据特定标准（例如，$l_1$ -范数、零的平均百分比等）对过滤器进行排名，并仅保留排名最高的过滤器。一旦低评分滤波器被修剪掉，网络的其余部分就被微调，并且显示出与原始未修剪网络相当的性能。在这项工作中，我们报告的实验表明，修剪网络的可比性能不是由于所选择的特定标准，而是由于深层神经网络的固有可塑性，一旦其余的过滤器被微调，它们就可以从修剪过滤器的损失中恢复过来。具体来说，我们展示了反直观的结果，其中通过从深度CNN随机修剪25- 50%的过滤器，我们能够获得与使用最先进的修剪方法获得的性能相同的性能。我们通过对VGG-16和ResNet-50进行详尽的评估来验证我们的说法。此外，我们还评估了一个真实世界的场景，其中在所有1000个ImageNet类上训练的CNN在测试时只需要在一小部分类上进行测试（例如，只有动物）。我们从ImageNet创建了一个新的基准数据集来评估这种类特定的修剪，并表明即使在这里，随机修剪策略也可以提供接近最先进的性能。最后，不同于现有的方法，主要集中在图像分类的任务，在这项工作中，我们还报告结果目标检测。我们表明，使用简单的随机修剪策略，我们可以在目标检测中实现显着的速度提高（fps提高74 $\%$），同时保持与原始Faster RCNN模型相同的准确性。
2018-01-31 cs.CV
LEAN: graph-based pruning for convolutional neural networks by extracting longest chains
Centrum Wiskunde & Informatica（数学与计算机科学中心）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
神经网络修剪技术可以显著降低应用卷积神经网络（CNN）的计算成本。常见的修剪方法通过对滤波器单独排序来确定要移除哪些卷积滤波器，即，而不考虑它们的相互依赖性。在本文中，我们主张修剪应该考虑连续算子序列之间的相互依赖性的观点。我们提出了LongEst-chAiN（LEAN）方法，该方法通过使用基于图的算法来选择相关的卷积链来修剪CNN。CNN被解释为一个图，每个算子的算子范数作为边缘的距离度量。LEAN剪枝迭代地从图中提取最高值路径以保留。在我们的实验中，我们在几个图像到图像的任务上测试了LEAN修剪，包括著名的CamVid数据集和真实世界的X射线CT数据集。结果表明，LEAN修剪可以产生具有类似精度的网络，而使用的卷积滤波器比现有方法少1.7- 12倍。
2022-06-23 cs.CV cs.LG cs.NE
Dynamical Isometry: The Missing Ingredient for Neural Network Pruning
Northeastern University（东北大学）
最近的几项工作[40，24]在神经网络修剪中观察到一个有趣的现象：较大的微调学习率可以显着提高最终性能。不幸的是，其背后的原因至今仍然难以捉摸。本文试图通过动力学等距透镜来解释它[42]。具体来说，我们从一个不寻常的角度研究神经网络修剪：修剪作为微调的初始化，并询问继承的权重是否作为微调的良好初始化？从动力等距的见解提出了一个否定的答案。尽管这一问题发挥着关键作用，但迄今为止，社会尚未充分认识到这一问题。在本文中，我们将展示对这个问题的理解是非常重要的-在解释前面提到的关于更大的微调率的奥秘的同时，它也揭开了关于修剪值的奥秘[5，30]。除了对剪枝有更清晰的理论认识外，解决这个问题还可以在实践中带来可观的性能收益。
2021-05-12 cs.AI cs.CV cs.LG
Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps
University of Pittsburgh（匹兹堡大学）
卷积神经网络（CNN）压缩对于在资源有限的边缘设备中部署这些模型至关重要。现有的CNN信道修剪算法在复杂模型上取得了很大的成功。他们从不同的角度来处理修剪问题，并使用不同的指标来指导修剪过程。然而，这些衡量标准主要侧重于模型的“产出”或“权重”，而忽略了其“解释”信息。为了填补这一空白，我们建议从一个新的角度来解决通道修剪问题，利用模型的解释来引导修剪过程，从而利用模型的输入和输出的信息。然而，现有的解释方法不能得到部署，以实现我们的目标，因为它们要么是低效的修剪或可能预测不连贯的解释。我们通过引入一个选择器模型来解决这个挑战，该模型可以预测修剪模型的实时平滑显着性掩模。我们通过径向基函数（RBF）类函数将解释性掩模的分布参数化，以将自然图像的几何先验纳入我们的选择器模型的归纳偏差中。因此，我们可以获得紧凑的表示的解释，以减少我们的修剪方法的计算成本。我们利用我们的选择器模型，通过最大化修剪后的模型和原始模型的解释性表示的相似性来引导网络修剪。在CIFAR-10和ImageNet基准数据集上的大量实验证明了我们所提出的方法的有效性。我们的实现可从\url{https://github.com/Alii-Ganjj/InterpretationsSteeredPruning}获得
2022-09-07 cs.CV cs.LG
Comparative Analysis of Lightweight CNNs for Resource-Constrained Devices: Predictive Performance, Efficiency Trade-offs, and Initialization Effects
Independent Researcher（独立研究员）
在统一微调协议下，对七种轻量级CNN在三个数据集上进行基准测试，评估准确性、效率及预训练初始化影响，发现EfficientNetV2-S准确率最高，EfficientNet-B0在性能与计算需求间平衡最佳，MobileNetV3-Small适合超低资源场景。
2026-07-03 cs.AI cs.CV
