Efficient Similarity-based Passive Filter Pruning for Compressing CNNs
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））；University of Surrey（萨里大学）
卷积神经网络（CNN）在各种应用中取得了巨大的成功。然而，CNN的计算复杂性和内存存储是其在资源受限设备上部署的瓶颈。最近减少CNN的计算成本和内存开销的努力涉及基于相似性的无源滤波器修剪方法。基于相似性的被动滤波器修剪方法计算滤波器的成对相似性矩阵，并消除一些相似的滤波器以获得小的修剪的CNN。然而，计算成对相似性矩阵的计算复杂性很高，特别是当卷积层具有许多滤波器时。为了减少在获得成对相似性矩阵的计算复杂性，我们建议使用一种有效的方法，其中完整的成对相似性矩阵是近似从只有几个列，通过使用Nyström近似方法。与计算完整的成对相似性矩阵的基于相似性的修剪方法相比，所提出的有效的基于相似性的被动过滤器修剪方法的速度快3倍，并且在CNN计算的相同减少量下具有相同的准确性。除此之外，所提出的有效的基于相似性的修剪方法执行类似或优于现有的基于范数的修剪方法。提出的修剪方法的有效性进行评估CNN，如DCASE 2021任务1A基线网络和VGGish网络设计的声学场景分类。
2022-10-27 cs.AI cs.CV cs.LG
Efficient CNNs via Passive Filter Pruning
Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
针对现有被动滤波器剪枝方法在高剪枝率下性能下降的问题，提出基于算子范数的被动剪枝方法，在VGGish等多种CNN架构上泛化性更优，计算速度比主动方法快至少4.5倍且性能相当。
2023-04-05 cs.AI cs.CV cs.LG
Multi-layer Pruning Framework for Compressing Single Shot MultiBox Detector
IIT Kanpur（印度理工学院坎普尔分校）；R&D Center, Hitachi India Pvt. Ltd.（日立印度私人有限公司研发中心）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们提出了一个框架，用于压缩国家的最先进的Single Shot MultiBox检测器（SSD）。该框架在以下阶段解决压缩问题：稀疏归纳、过滤器选择和过滤器修剪。在稀疏归纳阶段，通过改进的全局阈值对目标检测器模型进行稀疏化。在过滤器选择和修剪阶段，我们使用两个连续卷积层中过滤器权重的稀疏统计来选择和删除过滤器。这导致模型的尺寸小于大多数现有的紧凑架构。我们使用多个数据集评估我们的框架的性能，并比较多种方法。实验结果表明，我们的方法实现了最先进的压缩6.7倍和4.9倍的PASCAL VOC数据集模型SSD 300和SSD 512分别。我们进一步表明，该方法在德国交通标志检测基准（GTSDB）上使用SSD512产生26倍的最大压缩。此外，我们还经验表明，我们的方法的适应性分类为基础的架构VGG16的数据集CIFAR和德国交通标志识别基准（GTSRB）实现了125倍和200倍的压缩率，减少了90.50%和96.6%的浮点数分别没有损失的准确性。除此之外，我们的方法不需要任何特殊的库或硬件支持的压缩模型。
2018-11-20 cs.CV
Variance-Based Pruning for Accelerating and Compressing Trained Networks
Automated Driving Research, Robert Bosch GmbH（罗伯特·博世有限公司自动驾驶研究）；Institute for Signal Processing, University of Lübeck（吕贝克大学信号处理研究所）
本文提出基于方差的剪枝方法，通过激活统计信息选择神经元进行剪枝，减少训练成本并保持性能，实验显示在ImageNet-1k任务中DeiT-Base模型剪枝后性能仍达70%以上，仅需10轮微调即可恢复99%精度，同时降低MACs和模型大小。
2026-04-01 cs.CV cs.LG
Compressing Multi-Task Model for Autonomous Driving via Pruning and Knowledge Distillation
University of Windsor（温莎大学）；Hokkaido University（北海道大学）；Toyota Motor Corporation（丰田汽车公司）
本文提出一种结合任务感知安全剪枝与特征级知识蒸馏的多任务模型压缩框架，在BDD100K上实现参数减少32.7%且保持实时性能，为自动驾驶全景感知部署提供有效方案。
2025-11-03 cs.CV
REPrune: Channel Pruning via Kernel Representative Selection
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology（韩国科学技术研究院）；Hyundai MOBIS（现代摩比斯）
针对传统通道剪枝粒度大、精度下降明显的问题，提出模拟核剪枝的REPrune方法，通过层次凝聚聚类选核代表并优化簇覆盖，结合同步训练剪枝实现渐进剪枝，在视觉任务上兼顾加速比与性能。
2024-03-08 cs.AI cs.CV
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
非结构化修剪非常适合在训练和推理时减少卷积神经网络（CNN）的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪（SP）通过将过滤器元素设置为零来减少CNN的内存占用，从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪，这会导致强烈的偏差。为了克服这一点，我们引入空间修剪（IP），一个通用的工具，以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础（FB）的线性组合。对于IP，FB系数被设置为零，而未修剪的系数和FB被联合训练。在这项工作中，我们提供了数学证据IP的优越性能，并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下，例如ImageNet的修剪或修剪到高稀疏性，IP大大超过SP，具有相同的运行时间和参数成本。最后，我们表明，IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Stability Based Filter Pruning for Accelerating Deep CNNs
IIT Kanpur（印度理工学院坎普尔分校）；Samsung R&D Institute（三星研发院）
卷积神经网络（CNN）在各种任务（分类，检测等）上取得了令人印象深刻的性能。以高计算和存储器要求为代价跨越多个域。因此，将CNN用于实时应用需要模型压缩方法，不仅减少参数的总数，而且还减少整体计算。在这项工作中，我们提出了一种基于稳定性的CNN过滤器级修剪方法。我们在不同的架构（LeNet，VGG-16，ResNet和Faster RCNN）和数据集上评估了我们提出的方法，并通过广泛的实验证明了其通用性。此外，我们的压缩模型可以在运行时使用，而不需要任何特殊的库或硬件。我们的模型压缩方法将FLOPS的数量减少了6.03倍，GPU内存占用量减少了17倍以上，显著优于其他最先进的过滤器修剪方法。
2018-11-20 cs.CV
EAPruning: Evolutionary Pruning for Vision Transformers and CNNs
Meituan（美团）
结构化修剪极大地简化了资源受限环境中大型神经网络的部署。然而，目前的方法要么涉及强大的领域专业知识，需要额外的超参数调整，或仅限于特定类型的网络，这阻止了普遍的工业应用。在本文中，我们进行了一个简单而有效的方法，可以很容易地应用到视觉Transformer和卷积神经网络。具体来说，我们认为修剪子网络结构，通过重建技术继承权重的演变过程。ResNet 50和MobileNetV 1的FLOPS减少了50%，分别带来了1.37倍和1.34倍的加速。对于DeiT-Base，我们达到了近40%的FLOPs减少和1.4倍的加速。我们的代码将提供。
2022-10-01 cs.CV
Faster CNNs with Direct Sparse Convolutions and Guided Pruning
Intel Labs（英特尔实验室）；University of Pittsburgh（匹兹堡大学）；Duke University（杜克大学）
卷积神经网络（CNN）在实际推理问题中取得了惊人的成功，被广泛部署在移动设备、数据中心甚至超级计算机中。然而，CNN中所需的参数数量通常很大并且不受欢迎。因此，已经开发了各种方法来在CNN被训练后对其进行修剪。然而，由此产生的CNN提供的好处有限。虽然修剪完全连接的层大大减少了CNN的大小，但它并没有显著提高推理速度，因为计算繁重的部分在于卷积。以提高推理速度的方式修剪CNN通常会强加特定的稀疏结构，从而限制可实现的稀疏水平。我们提出了一种方法，同时实现规模经济和速度的提高，同时修剪CNN。我们成功的最重要的是一个有效的一般稀疏与密集矩阵乘法实现，适用于卷积的特征映射与内核的任意稀疏模式。作为补充，我们开发了一个性能模型，该模型可以预测不同层和不同计算机体系结构上稀疏水平的最佳点。这两者结合在一起，使我们能够在AlexNet中，在英特尔Atom，Xeon和Xeon Phi处理器上，展示3.1- 7.3 $\times$卷积加速，涵盖从移动设备到超级计算机的范围。我们还在https://github.com/IntelLabs/SkimCaffe上开源了我们的项目。
2017-07-28 cs.CV
Less is More: The Influence of Pruning on the Explainability of CNNs
Innsbruck University（因斯布鲁克大学）；MCI – The Entrepreneurial School（MCI创业学院）；Josef Ressel Centre for Security Analysis of IoT Devices（约瑟夫·雷瑟尔物联网设备安全分析中心）
该研究探讨网络剪枝带来的模型复杂度降低是否能提升CNN的感知可解释性，通过预研究及两项人类实验测试不同压缩率的影响，发现低压缩率有正向作用，还找到了可同时提升可解释性与性能的平衡点。
2025-01-14 cs.AI cs.CV
Efficient Inference of CNNs via Channel Pruning
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
卷积神经网络（CNN）在移动设备和嵌入式系统等资源受限的平台上的部署受到其高实现成本的极大阻碍，从而激发了大量对训练的CNN模型进行压缩和加速的研究兴趣。在众多的修剪技术中，结构化修剪技术，尤其是通道修剪技术，由于其在内存、计算量和能耗方面的优越性能以及对现有硬件和软件库的友好性而受到广泛关注。在本文中，我们研究了卷积层的中间结果，并提出了一种新的基于枢轴QR分解的通道修剪技术，可以修剪任何层的任何指定数量的输入通道。我们还通过对我们的技术进行两次调整，在类似ResNet的架构中探索更多的修剪机会。使用ImageNet ILSVRC 2012数据集对VGG-16和ResNet-50模型进行的实验结果非常令人印象深刻，计算量减少了4.29倍和2.84倍，而仅牺牲了约1.40\%的前5名精度。与许多先前的工作相比，修剪模型所产生的我们的技术需要高达47.7%的计算，同时仍然达到更高的精度。
2019-08-08 cs.CV
SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Zhejiang University of Technology（浙江工业大学）；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Southwest University（西南大学）；The City College of New York（纽约城市学院）；Shenzhen University of Advanced Technology（深圳大学）
针对现有层剪枝方法忽略层间依赖易损失预训练模型核心特征的问题，提出SGLP相似度引导层分区剪枝框架，结合CKA相似度计算、Fisher最优分割与GradNorm免微调评估，在图像分类和LLM任务上实现了更优的压缩精度与效率。
2025-11-14 cs.CV cs.LG
LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from Scratch
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；Guangdong University of Finance（广东金融学院）
本文提出 LAPP 框架，通过逐层可学习阈值、FLOPs 约束和轻量旁路，在从零训练中渐进确定各层剪枝率，并在 CIFAR-10 与 ImageNet 上实现高压缩且精度无损或提升。
2023-09-25 cs.CV
Efficient Hardware Realization of Convolutional Neural Networks using Intra-Kernel Regular Pruning
University of Waterloo（滑铁卢大学）
最近的趋势是越来越深的卷积神经网络（CNN），这导致了对计算能力和存储器存储的更高需求。因此，CNN在硬件中的部署变得更具挑战性。在本文中，我们提出了一种核内正则（IKR）剪枝方案，通过在细粒度级别上去除冗余权重来降低CNN的大小和计算复杂性。与其他修剪方法（如细粒度修剪）不同，IKR修剪维护可在硬件加速器中利用的规则内核结构。实验结果表明，高达10倍的参数减少和7倍的计算减少的成本小于1%的精度下降与未修剪的情况下。
2018-03-15 cs.CV
An accuracy-aware extension to LRP-based pruning for CNNs to prevent cascading accuracy degradation in data-scarce transfer learning
Mathematics and Computer Science National Defense Academy of Japan（日本防卫大学校数学与计算机科学系）
针对数据稀缺迁移学习中预训练CNN剪枝导致的级联精度下降问题，提出一种精度感知的剪枝控制机制，通过动态调整剪枝率和顺序来抑制精度下降，提升模型压缩后的分类性能。
2026-05-28 cs.AI cs.CV cs.LG
Recursive Least Squares for Training and Pruning Convolutional Neural Networks
Hainan University（海南大学）
卷积神经网络（CNN）在许多实际应用中取得了成功。然而，它们的高计算和存储要求通常使它们难以部署在资源受限的设备上。为了解决这个问题，已经提出了许多针对CNN的剪枝算法，但大多数都不能将CNN修剪到合理的水平。在本文中，我们提出了一种新的算法训练和修剪CNN的基础上递归最小二乘（RLS）优化。在训练CNN一些时期后，我们的算法结合逆输入自相关矩阵和权重矩阵来逐层评估和修剪不重要的输入通道或节点。然后，我们的算法将继续训练修剪后的网络，并不会做下一个修剪，直到修剪后的网络恢复旧网络的全部性能。除了CNN，该算法可以用于前馈神经网络（FNN）。在MNIST、CIFAR-10和SVHN数据集上的实验结果表明，该算法能够实现更合理的剪枝，并且具有更高的学习效率。
2022-01-13 cs.CV cs.LG
Accelerate CNNs from Three Dimensions: A Comprehensive Pruning Framework
Zhejiang University（浙江大学）；Tencent（腾讯）；Columbia University（哥伦比亚大学）
大多数神经网络修剪方法，例如过滤器级和层级修剪，仅沿一维（深度，宽度或分辨率）修剪网络模型以满足计算预算。然而，这样的修剪策略往往会导致该维度的过度减少，从而导致巨大的准确性损失。为了缓解这个问题，我们认为修剪应该沿着三个维度进行全面。为此，我们的修剪框架制定修剪作为一个优化问题。具体来说，它首先将某一模型的精度与深度/宽度/分辨率之间的关系转换为多项式回归，然后最大化多项式以获得三维的最佳值。最后，沿着三个最优维度相应地修剪模型。在这个框架中，由于收集太多的数据来训练回归是非常耗时的，我们提出了两种方法来降低成本：1）专门的多项式，以确保准确的回归，即使在更少的训练数据; 2）采用迭代修剪和微调，以更快地收集数据。大量的实验表明，我们提出的算法优于国家的最先进的修剪算法，甚至神经结构搜索为基础的算法。
2021-06-15 cs.CV
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；College of Computer Science, Sichuan University（四川大学计算机学院）；Nanyang Technological University（南洋理工大学）
由于深度神经网络（DNN）通常被过度参数化并且具有数百万个权重参数，因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的，例如，智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小，其中关键是找到合适的压缩分配（例如，修剪稀疏性和量化码本）。现有的解决方案以迭代/手动的方式获得压缩分配，同时微调压缩模型，因此存在效率问题。与现有技术不同的是，本文提出了一种新的单次剪枝量化（OPQ）算法，该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间，压缩模块是固定的，并且仅更新权重参数。据我们所知，OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作，而无需在微调阶段进行任何复杂的迭代/手动优化。此外，我们提出了一个统一的信道级量化方法，强制每一层的所有通道共享一个共同的码本，这导致低比特率分配，而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明，与现有技术相比，我们的方法提高了准确性和训练效率，同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；NVIDIA（英伟达）
神经网络是计算密集型和存储密集型的，这使得它们难以在硬件资源有限的嵌入式系统上部署。为了解决这一限制，我们引入了“深度压缩”，这是一个三级管道：修剪，训练量化和霍夫曼编码，它们共同工作，将神经网络的存储需求减少了35倍至49倍，而不影响其准确性。我们的方法首先通过只学习重要的连接来修剪网络。接下来，我们对权重进行加权以加强权重共享，最后，我们应用霍夫曼编码。在前两步之后，我们重新训练网络，以微调剩余的连接和量化的质心。修剪将连接的数量减少了9倍到13倍;量化则将表示每个连接的位数从32减少到5。在ImageNet数据集上，我们的方法将AlexNet所需的存储空间减少了35倍，从240 MB减少到6.9MB，而不损失准确性。我们的方法将VGG-16的大小从552 MB减少到11.3MB，并且没有损失准确性。这允许将模型适配到片上SRAM缓存中，而不是片外DRAM存储器中。我们的压缩方法也有利于复杂的神经网络在移动应用程序中的应用程序的大小和下载带宽的限制。以CPU、GPU和移动GPU为基准，压缩网络具有3倍至4倍的分层加速和3倍至7倍的能效。
2016-02-15 cs.CV cs.NE
Filter Pruning by Switching to Neighboring CNNs with Good Attributes
University of Technology Sydney（悉尼科技大学）；A*STAR Centre for Frontier AI Research (CFAR)（新加坡科技研究局前沿人工智能研究中心）；Zhejiang University（浙江大学）
滤波器剪枝是降低神经网络计算量的有效方法。现有的方法表明，更新以前的修剪过滤器将使大的模型容量和实现更好的性能。然而，在迭代修剪过程中，即使网络权重被更新为新值，修剪准则也保持不变。此外，在评估滤波器重要性时，仅考虑滤波器的幅度信息。然而，在神经网络中，滤波器不能单独工作，但它们会影响其他滤波器。结果，仅反映单个滤波器本身的信息的每个滤波器的幅度信息不足以判断滤波器重要性。为了解决上述问题，我们提出了基于元属性的过滤修剪（MFP）。首先，为了扩展现有的基于幅度信息的剪枝准则，我们引入了一组新的准则来考虑滤波器的几何距离。此外，为了明确评估网络的当前状态，我们通过元属性（神经网络在当前状态下的属性）自适应地选择最合适的标准进行修剪。在两个图像分类基准上的实验验证了该方法的有效性。对于ILSVRC-2012上的ResNet-50，我们可以减少超过50%的FLOP，而前5名的准确性损失仅为0.44%。
2022-02-11 cs.CV
A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Kharagpur, India（印度理工学院，Khargpur，印度）
提出一种基于线性近似的两层层次化贪婪剪枝算法，通过低层滤波器选择和全局剪枝准则高效剪枝，在多个网络上优于现有方法。
2026-05-23 cs.CV cs.LG
Performance-aware Approximation of Global Channel Pruning for Multitask CNNs
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
全局通道修剪（GCP）旨在从深度模型中删除跨不同层的通道（过滤器）子集，而不会影响性能。以往的工作主要集中在单任务模型的剪枝或简单地将其应用于多任务场景，但在处理多任务剪枝时仍然面临以下问题：1）由于任务不匹配，一个良好的分类任务剪枝主干集中在保留能够提取类别敏感信息的过滤器上，导致可能对其他任务有用的过滤器在主干剪枝阶段被剪枝; 2）对于多任务预测，层内或层间的不同过滤器比单任务预测更紧密相关和相互作用，使得多任务修剪更困难。因此，针对多任务模型压缩，我们提出了一个性能感知的全局通道修剪（PAGCP）框架。我们首先从理论上提出了实现卓越GCP的目标，通过考虑层内和层间滤波器的联合显着性。然后提出了一种顺序贪婪剪枝策略来优化目标，其中开发了性能感知的预言标准来评估过滤器对每个任务的敏感性，并保留全局最多的任务相关的过滤器。在多个多任务数据集上的实验表明，提出的PAGCP在性能下降较小的情况下，可以将FLOP和参数减少60%以上，并在云和移动平台上实现1.2倍$\sim$ 3.3倍的加速。
2023-03-21 cs.CV
Structured Pruning Adapters
Aarhus University（奥胡斯大学）；Cactus Communications（仙人掌通信）
适配器是一种参数高效的微调替代方案，它增强了冻结的基础网络以学习新任务。然而，自适应模型的推理通常比相应的微调模型慢。为了改善这一点，我们提出了结构化修剪适配器（SPAs），一个家庭的压缩，任务切换网络适配器，加速和专门使用微小的参数集和结构化修剪网络。具体来说，我们提出了一个基于通道的SPA和评估它与一套修剪方法在多个计算机视觉基准。与常规的结构化修剪和微调相比，我们的通道SPA平均提高了6.9%的准确性，同时在90%的修剪权重下使用一半的参数。或者，它们可以在70%的修剪下以1.6%的低精度学习17倍的参数。类似地，我们的块SPA需要的参数比微调修剪少得多。我们的实验代码和适配器的Python库可以在github.com/lukashedegaard/structured-pruning-adapters上找到。
2023-02-02 cs.AI cs.CV
UPop: Unified and Progressive Pruning for Compressing Vision-Language Transformers
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
提出UPop框架，通过统一搜索多模态子网自动分配剪枝率并渐进式搜索重训，实现视觉-语言Transformer的高效压缩。
2023-06-30 cs.CL cs.CV cs.LG
Modeling of Pruning Techniques for Deep Neural Networks Simplification
Isfahan University of Technology（伊斯法罕理工大学）
卷积神经网络（CNN）存在不同的问题，例如计算复杂性和参数的数量。近年来，修剪技术被用来减少CNN中的操作数量和模型大小。提出了不同的剪枝方法，这些方法基于对连接、通道和过滤器的剪枝。各种技术和技巧伴随着修剪方法，并且没有一个统一的框架来建模所有的修剪方法。本文对剪枝方法进行了研究，提出了一个包含大多数剪枝技术的通用模型。通过该模型可以识别出各种剪枝方法的优缺点，并将其归纳总结。该模型的最终目标是为所有具有不同结构和应用的剪枝方法提供一种通用的方法。
2020-01-13 cs.CV
Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Language Models: An Empirical Study
Technical University of Munich, Germany（慕尼黑技术大学，德国）；Helmholtz Munich, Munich Center for Machine Learning, Germany（海德堡慕尼黑，慕尼黑机器学习中心，德国）；University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国）；University of Trento, Italy（特伦托大学，意大利）；Beijing University of Posts and Telecommunications, China（北京邮电大学，中国）
本文实证比较 MLLM 的逐层与宽度结构化剪枝及恢复训练，发现宽度剪枝更适合低资源场景，监督微调结合隐藏状态蒸馏可用 5% 数据恢复逾 95% 性能。
2025-07-28 cs.CL cs.CV
Pruning for Feature-Preserving Circuits in CNNs
Harvard University（哈佛大学）
本文提出利用基于显著性的剪枝方法从深度CNN中提取仅保留目标特征相关卷积核的“特征保持电路”，比较了三种显著性准则，并开发了电路图可视化工具，以提升CNN图像滤波过程的可解释性。
2023-04-17 cs.CV cs.LG
Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因茨·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
本文提出通过优化可解释AI归因方法的超参数来剪枝CNN和Transformer，在VGG、ResNet、ViT上实现更高压缩率并保持ImageNet高性能，同时发现Transformer过度参数化程度更高。
2024-10-23 cs.AI cs.CV cs.LG
Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment
University of Maryland College Park（马里兰大学帕克分校）；University of Pittsburgh（匹兹堡大学）
本文提出一种基于强化学习智能体的CNN结构化剪枝方法，通过联合训练权重与剪枝策略，并利用可学习环境表示应对动态奖励，在CIFAR-10和ImageNet上验证了其有效性。
2024-03-28 cs.CV
Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning
Rochester Institute of Technology（罗切斯特理工学院）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出一种基于动态参数秩剪枝的 CNN 压缩方法，利用 SVD 分解和正则化技术实现端到端训练，在多个 ResNet 模型和数据集上验证了其在保持或提升分类性能的同时显著节省存储。
2024-01-15 cs.AI cs.CV
Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler
East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Tencent（腾讯）；University of Sheffield（谢菲尔德大学）；University at Buffalo（布法罗大学）
提出知识驱动差分滤波器采样器（KDFS）与掩码滤波器建模框架，基于预训练模型先验知识端到端全局剪枝冗余滤波器，在ImageNet上ResNet-50计算量减55.36%、参数减42.86%，准确率仅降0.35%。
2023-07-01 cs.CV
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）
参数修剪是CNN压缩和加速的一种有前途的方法，通过消除冗余的模型参数，具有可容忍的性能损失。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN的表达能力是脆弱的，并且需要更温和的正则化方式来使网络在修剪过程中适应。为了解决这个问题，我们提出了一种新的基于正则化的修剪方法（名为IncReg），根据其相对重要性将不同的正则化因子递增地分配给不同的权重组，与最先进的方法相比，其有效性在流行的CNN上得到了证明。
2018-12-18 cs.CV cs.LG
Channel Pruning Guided by Spatial and Channel Attention for DNNs in Intelligent Edge Computing
Beijing Jiaotong University（北京交通大学）；Tianjin University（天津大学）；Beijing Wuzi University（北京物资学院）
深度神经网络（DNN）近年来在许多计算机视觉任务中取得了显著的成功，但其庞大的参数数量和高计算开销阻碍了其在资源受限的边缘设备上的部署。值得注意的是，通道修剪是压缩DNN模型的有效方法。一个关键的挑战是确定哪些通道将被删除，以便模型的准确性不会受到负面影响。在本文中，我们首先提出了空间和通道注意力（SCA），一个新的注意力模块相结合的空间和通道的注意力，分别侧重于“在哪里”和“什么”是最丰富的信息部分。在SCA产生的衡量信道重要性的尺度值的指导下，我们进一步提出了一种新的信道修剪方法，称为空间和信道注意引导的信道修剪（CPSCA）。实验结果表明，SCA实现了最好的推理精度，而引起的额外资源消耗可以忽略不计，相比其他国家的最先进的注意力模块。我们对两个基准数据集的评估表明，在SCA的指导下，我们的CPSCA方法实现了更高的推理精度比其他国家的最先进的剪枝方法在相同的剪枝率。
2021-06-21 cs.AI cs.CV
Blending Pruning Criteria for Convolutional Neural Networks
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；Purdue University（普渡大学）
卷积神经网络（CNN）在各种视觉应用中的进步引起了人们的广泛关注。然而，大多数CNN无法满足实际部署的严格要求。为了克服这一问题，近年来流行的网络剪枝是一种有效的方法来减少模型的冗余。然而，根据过滤器在不同修剪标准上的“重要性”对过滤器的排名可能不一致。一个过滤器可能根据某个标准是重要的，而根据另一个标准是不必要的，这表明每个标准只是全面“重要性”的一部分。从这个动机，我们提出了一个新的框架来整合现有的过滤器修剪标准，探索标准的多样性。该框架包括两个阶段：标准聚类和过滤器重要性校准。首先，我们通过基于“重要性”得分的等级的分层聚类来浓缩修剪标准。其次，在每个聚类中，我们提出了一个校准因子来调整它们对每个选定的混合候选者的重要性，并通过进化算法搜索最佳的混合标准。CIFAR-100和ImageNet基准测试的定量结果表明，我们的框架优于最先进的基线，在修剪后重新分级为紧凑模型性能。
2021-07-11 cs.AI cs.CV cs.LG
Pruning Filters for Efficient ConvNets
University of Maryland（马里兰大学）；NEC Labs America（NEC美国实验室）
CNN在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近为减少这些开销所做的努力包括修剪和压缩各个层的权重，而不会损害原始精度。然而，基于幅度的权重修剪减少了来自全连接层的大量参数，并且由于修剪后的网络中的不规则稀疏性，可能无法充分降低卷积层中的计算成本。我们提出了一种用于CNN的加速方法，其中我们从CNN中修剪被识别为对输出准确性影响较小的滤波器。通过删除网络中的整个过滤器及其连接的特征图，计算成本显着降低。与修剪权重相比，这种方法不会导致稀疏连接模式。因此，它不需要稀疏卷积库的支持，并且可以与现有的高效BLAS库一起用于密集矩阵乘法。我们发现，即使是简单的过滤器修剪技术，也可以在CIFAR 10上将VGG-16和ResNet-110的推理成本降低高达34%和38%，同时通过重新训练网络恢复接近原始的准确性。
2017-03-10 cs.CV cs.LG
Pruning and Quantization for Deep Neural Network Acceleration: A Survey
University of Science and Technology Beijing（北京科技大学）；Hua Xia General Processor Technologies（华夏通用处理器技术公司）；General Processor Technologies（通用处理器技术公司）
深度神经网络已经应用于在计算机视觉领域中表现出非凡能力的许多应用中。然而，复杂的网络架构对高效的实时部署提出了挑战，并需要大量的计算资源和能源成本。这些挑战可以通过网络压缩等优化来克服。网络压缩通常可以在精度损失很小的情况下实现。在某些情况下，准确性甚至可以提高。本文综述了两种网络压缩方法：剪枝和量化。修剪可以被分类为静态的（如果它是离线执行的）或动态的（如果它是在运行时执行的）。我们比较修剪技术，并描述用于删除冗余计算的标准。我们讨论了在元素方面，通道方面，形状方面，过滤器方面，层方面，甚至网络方面的修剪的权衡。量化通过降低数据类型的精度来减少计算。权重、偏置和激活通常可以被量化为8位整数，尽管还讨论了包括二进制神经网络的较低位宽实现。修剪和量化可以独立使用或组合使用。我们比较了当前的技术，分析了它们的优缺点，在一些框架上展示了压缩网络的准确性结果，并为压缩网络提供了实用的指导。
2021-06-15 cs.AI cs.CV
Filter Pruning via Filters Similarity in Consecutive Layers
Ping An Technology Co. Ltd.（平安科技有限公司）
针对卷积神经网络滤波器剪枝忽视跨层关系的问题，提出FSCL方法，依据连续层间滤波器相似性剪除低价值滤波器，并在多个基准上取得更优压缩加速效果。
2023-04-26 cs.AI cs.CV
WHC: Weighted Hybrid Criterion for Filter Pruning on Convolutional Neural Networks
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
滤波器剪枝由于其在压缩和加速卷积神经网络方面的能力，近年来受到越来越多的关注。各种数据无关的标准，包括范数为基础的和关系为基础的，提出了修剪最不重要的过滤器。然而，这些国家的最先进的标准，未能充分考虑到过滤器的相异性，因此可能会导致性能下降。本文首先通过实例分析了基于关系准则的局限性，然后提出了一种新的与数据无关的准则-加权混合准则（WHC），以解决基于范数准则和基于关系准则的问题。通过考虑每个滤波器的大小和滤波器之间的线性相关性，WHC可以鲁棒地识别最冗余的滤波器，这些滤波器可以被安全地修剪而不会对网络引入严重的性能下降。大量的修剪实验，在一个简单的一次性的方式证明了建议的WHC的有效性。特别是，WHC可以在ImageNet上修剪ResNet-50，减少超过42%的浮点运算，而不会在前5名的准确性方面造成任何性能损失。
2023-02-16 cs.AI cs.CV
ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via Fine-Grained Architecture-Preserving Pruning
Washington State University（华盛顿州立大学）；Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；University of Sydney（悉尼大学）；University of Alabama（阿拉巴马大学）
由于对预测精度和分析质量的需求不断增长，卷积神经网络（CNN）正变得越来越深、越来越宽和越来越非线性。然而，广泛而深入的CNN需要大量的计算资源和处理时间。许多先前的工作已经研究了模型修剪，以提高推理性能，但很少做的工作，有效地降低训练成本。在本文中，我们提出了ClickTrain：一个高效准确的CNN端到端训练和修剪框架。与现有的训练过程中的修剪工作不同，ClickTrain通过细粒度的结构保留修剪提供更高的模型精度和压缩比。通过利用基于模式的修剪与我们提出的新的准确的权重重要性估计，动态模式生成和选择，以及编译器辅助的计算优化，ClickTrain生成高度准确和快速修剪的CNN模型，用于直接部署，与基线训练相比，没有任何额外的时间开销。ClickTrain还将训练后修剪方法的端到端时间成本降低了2.3倍，同时具有相当的精度和压缩比。此外，与最先进的训练期间修剪方法相比，ClickTrain在测试的CNN模型和数据集上，在类似的有限训练时间下，提供了显着的准确性和压缩比的改善。
2021-05-01 cs.CV cs.DC
Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning
Shanghai Jiao Tong University（上海交通大学）
提出熵感知密集剪枝（EADP）框架，通过熵过滤文本噪声并利用子模最大化选择令牌，在严格预算下保留细粒度视觉线索，提升VLM精度-效率权衡。
2026-07-03 cs.AI cs.CV
RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出RL-Pruner，一种利用强化学习自动学习CNN层级间最优不均匀剪枝分布的结构化剪枝方法，无需特定模型实现即可有效压缩并加速模型。
2024-11-10 cs.AI cs.CV
DANCE: Dynamic 3D CNN Pruning: Joint Frame, Channel, and Feature Adaptation for Energy Efficiency on the Edge
School of Electrical and Computer Engineering, Georgia Tech（佐治亚理工学院电气与计算机工程学院）
本文提出DANCE框架，通过动态剪枝提升3D CNN在边缘计算中的能效，通过激活方差放大和自适应激活剪枝实现高效资源利用，实验显示在Jetson Nano和Snapdragon 8 Gen 1平台达到1.37X和2.22X的速度提升。
2026-03-18 cs.AI cs.CV
Model Pruning Based on Quantified Similarity of Feature Maps
University of Science and Technology Beijing（北京科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
卷积神经网络（CNN）已经应用于许多物联网（IoT）设备中，用于各种下游任务。然而，随着边缘设备上的数据量越来越大，CNN在有限的计算和存储资源下很难及时完成一些任务。近年来，滤波器修剪被认为是压缩和加速CNN的有效技术，但现有方法很少从压缩高维张量的角度对CNN进行修剪。在本文中，我们提出了一种新的理论来发现冗余信息的三维张量，即量化特征映射之间的相似性（QSFM），并利用该理论来指导过滤器修剪过程。通过对数据集（CIFAR-10、CIFAR-100和ILSVRC-12）和边缘设备的QSFM测试，证明了该方法能够有效地发现神经网络中的冗余信息，并且具有相当的压缩率和可容忍的精度下降。在没有任何微调操作的情况下，QSFM可以在CIFAR-10上显着压缩ResNet-56（减少48.7%的FLOP和57.9%的参数），而前1精度仅损失0.54%。对于边缘设备的实际应用，QSFM可以在ILSVRC-12 top-1准确率仅损失1.23%的情况下，将MobileNet-V2的推理速度加快1.53倍。
2022-08-10 cs.CV cs.LG
DBP: Discrimination Based Block-Level Pruning for Deep Model Acceleration
Zhejiang University（浙江大学）；Fabu Inc.（Fabu公司）
神经网络修剪是加速深度卷积神经网络（CNN）推理的最流行方法之一。主要的剪枝方法，过滤器级剪枝方法，通过计算的减少率来评估它们的性能，并认为更高的计算减少率相当于在推理时间方面更高的加速率。然而，我们认为，如果并行计算被认为是不等价的。考虑到过滤器级修剪仅修剪层中的过滤器，并且层中的计算通常并行运行，因此通过过滤器级修剪减少的大多数计算通常与未减少的计算并行运行。因此，过滤器级修剪的加速比是有限的。为了获得更高的加速比，最好修剪冗余层，因为不同层的计算不能并行运行。在本文中，我们提出了我们的歧视基于块级剪枝方法（DBP）。具体地，DBP采用连续层的序列（例如，Conv-BN-ReLu）作为块，并根据其输出特征的区分度去除冗余块。因此，DBP通过减少CNN的深度来实现相当大的加速比。大量的实验表明，DBP已经超过了国家的最先进的过滤器级修剪方法的准确性和加速比。我们的代码将很快提供。
2019-12-21 cs.CV
Isomorphic Pruning for Vision Models
National University of Singapore（新加坡国立大学）；Huawei Technologies Ltd.（华为技术有限公司）
本文提出同构剪枝方法，针对视觉模型中异构子结构难以比较重要性的问题，通过按子结构类型隔离排序与比较实现更可靠的剪枝，在ViT和CNN上均取得优于专用剪枝基线的性能。
2024-07-05 cs.AI cs.CV cs.LG
BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method
Northeastern University（东北大学）；Syracuse University（雪城大学）；College of William and Mary（威廉与玛丽学院）；DiDi AI Labs（滴滴人工智能实验室）
在各种资源有限的计算平台上加速DNN执行一直是一个长期存在的问题。先前的工作利用基于l1的组套索或动态正则化（如ADMM）来对DNN模型执行结构化修剪，以利用并行计算架构。然而，修剪维度和修剪方法都缺乏通用性，导致性能下降和适用性有限。为了解决这个问题，我们提出了一个新的基于块的修剪框架，包括一个通用的和灵活的结构化修剪尺寸以及一个强大的和有效的重加权正则化方法。我们的框架是通用的，可以应用于CNN和RNN，这意味着完全支持两种主要的计算密集型层（即，CONV和FC层）。为了完成加速任务的所有方面，我们还将基于编译器的代码优化集成到我们的框架中，该框架可以实时执行DNN推理。据我们所知，这是权重修剪框架第一次实现CNN和RNN的普遍覆盖，具有实时移动加速，并且没有准确性妥协。
2020-02-22 cs.AI cs.CV cs.LG
2PFPCE: Two-Phase Filter Pruning Based on Conditional Entropy
University of Pittsburgh（匹兹堡大学）；SUNY at Buffalo（纽约州立大学布法罗分校）；Duke University（杜克大学）；Midea Corporate Research Center（美的集团研究院）
深度卷积神经网络~（CNN）在许多高维问题中具有出色的分类和回归性能，已被广泛应用于现实世界的认知应用。然而，CNN的高计算成本极大地阻碍了其在资源受限的应用，实时系统和边缘计算平台中的部署。为了克服这一挑战，我们提出了一种新的过滤器修剪框架，基于条件熵的两阶段过滤器修剪，即\textit{2PFPCE}，以压缩CNN模型，减少推理时间，边际性能下降。在我们提出的方法中，我们制定过滤器修剪过程作为一个优化问题，并提出了一种新的过滤器选择标准的条件熵。基于神经元的表示应均匀分布的假设，我们还开发了一种最大熵滤波器冻结技术，可以减少过拟合。两个过滤器修剪策略-全局和逐层策略，进行了比较。实验结果表明，在相同的精度下降阈值下，将这两种策略相结合，可以获得比只使用其中一种更高的神经网络压缩比。两阶段剪枝，即结合全局和分层策略，在VGG-16上实现了10倍的FLOPs减少和46%的推理时间减少，精度下降2%。
2018-09-06 cs.CV
Structured Pruning for Deep Convolutional Neural Networks: A survey
Centre for Frontier AI Research (CFAR), Agency for Science Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）；Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）
本文综述了深度CNN结构化剪枝的最新进展，系统比较了滤波器排序、正则化、动态执行、神经架构搜索、彩票票假设等方法，并展望了未来研究方向。
2023-11-30 cs.CV
Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN
Tsinghua University（清华大学）；Aberystwyth University（阿伯里斯特威斯大学）
卷积神经网络（CNN）中冗余的存在使我们能够在可接受的性能下降的情况下去除一些滤波器/通道。然而，CNN的训练目标通常倾向于最小化与准确性相关的损失函数，而不关注冗余，使得冗余随机分布在所有滤波器上，使得移除它们中的任何一个都可能触发信息丢失和准确性下降，需要后续的微调步骤来恢复。在本文中，我们建议在训练过程中操纵冗余以促进网络修剪。为此，我们提出了一种新的向心SGD（C-SGD）来使一些过滤器相同，从而产生理想的冗余模式，因为这些过滤器由于其重复而变得纯粹冗余;因此删除它们不会损害网络。如CIFAR和ImageNet所示，与现有方法相比，C-SGD提供了更好的性能，因为冗余更好地组织起来。效率也是C-SGD的特征，因为它与常规SGD一样快，不需要微调，并且即使在非常深的CNN中也可以在所有层上同时进行。此外，C-SGD可以通过首先训练具有相同架构但更宽层的模型，然后将其压缩到原始宽度来提高CNN的准确性。
2021-07-30 cs.CV cs.LG
LEAN: graph-based pruning for convolutional neural networks by extracting longest chains
Centrum Wiskunde & Informatica（数学与计算机科学中心）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
神经网络修剪技术可以显著降低应用卷积神经网络（CNN）的计算成本。常见的修剪方法通过对滤波器单独排序来确定要移除哪些卷积滤波器，即，而不考虑它们的相互依赖性。在本文中，我们主张修剪应该考虑连续算子序列之间的相互依赖性的观点。我们提出了LongEst-chAiN（LEAN）方法，该方法通过使用基于图的算法来选择相关的卷积链来修剪CNN。CNN被解释为一个图，每个算子的算子范数作为边缘的距离度量。LEAN剪枝迭代地从图中提取最高值路径以保留。在我们的实验中，我们在几个图像到图像的任务上测试了LEAN修剪，包括著名的CamVid数据集和真实世界的X射线CT数据集。结果表明，LEAN修剪可以产生具有类似精度的网络，而使用的卷积滤波器比现有方法少1.7- 12倍。
2022-06-23 cs.CV cs.LG cs.NE
Fine-Pruning: Joint Fine-Tuning and Compression of a Convolutional Network with Bayesian Optimization
Simon Fraser University（西蒙弗雷泽大学）
当在专门的图像领域中处理新的视觉识别问题时，一种常见的策略是从预先训练的深度神经网络开始，并将其微调到专门的领域。如果目标域覆盖的视觉空间小于用于预训练的源域（例如ImageNet），则微调后的网络可能会过度参数化。然而，应用网络修剪作为后处理步骤以减少存储器需求具有缺点：微调和修剪是独立执行的;修剪参数设置一次并且不能随着时间的推移而适应;并且最先进的修剪方法的高度参数化性质使得禁止手动搜索深度网络的修剪参数空间，从而导致粗略近似。我们提出了一种原则性的方法，用于联合微调和压缩预训练的卷积网络，以克服这些限制。在两个专业图像领域（遥感图像和可描述纹理）上的实验证明了所提出方法的有效性。
2017-07-28 cs.CV
Play and Prune: Adaptive Filter Pruning for Deep Model Compression
IIT Kanpur（印度理工学院坎普尔分校）
虽然卷积神经网络（CNN）在各种分类/识别任务上取得了令人印象深刻的性能，但它们通常由大量参数组成。这导致显著的存储器需求以及计算开销。因此，越来越需要用于压缩基于CNN的模型的滤波器级修剪方法，其不仅减少参数的总数，而且还减少总体计算。我们提出了一个新的最小-最大框架，用于CNN的过滤器级修剪。我们的框架称为Play and Prune（PP），它通过自适应修剪率联合修剪和微调CNN模型参数，同时保持模型的预测性能。我们的框架由两个模块组成：（1）自适应过滤器修剪（AFP）模块，它最大限度地减少模型中的过滤器数量;（2）修剪速率控制器（PRC）模块，它最大限度地提高修剪过程中的准确性。此外，与大多数以前的方法不同，我们的方法允许直接指定所需的容错性，而不是修剪水平。我们的压缩模型可以在运行时部署，而不需要任何特殊的库或硬件。我们的方法将VGG-16的参数数量减少了17.5倍，FLOPS数量减少了6.43倍，并且没有损失准确性，显著优于其他最先进的过滤器修剪方法。
2019-05-11 cs.AI cs.CV cs.LG
A Deeper Look into Convolutions via Eigenvalue-based Pruning
Middle East Technical University（中东技术大学）
卷积神经网络（CNN）由于其参数共享原则，尽管具有更少的参数，但仍能够获得比全连接神经网络更好的视觉识别性能。现代架构通常包含少量完全连接的层，通常在多层卷积之后的最后。在某些情况下，可以消除大多数卷积，而不会损失识别性能。然而，没有可靠的方法来检测负责大部分识别工作的卷积神经元的隐藏子集。在这项工作中，我们制定了这作为一个修剪问题，其目的是修剪尽可能多的内核，同时保持香草泛化性能。为此，我们使用基于特征值的矩阵特征进行修剪，与内核的平均绝对权重相比，内核的平均绝对权重是文献中评估单个卷积内核重要性的事实标准，以阐明广泛使用的CNN家族的内部机制，即残差神经网络（ResNets），用于使用CIFAR-10的图像分类问题，CIFAR-100和Tiny ImageNet数据集。
2022-10-18 cs.CV
