TT-MPD: Test Time Model Pruning and Distillation
The University of Melbourne（墨尔本大学）
针对测试时无训练数据且剪枝微调成本高的问题，本文提出TT-MPD，通过近似微调准确率、感知延迟节省的剪枝和一次性伪标签蒸馏，实现更优准确率-延迟权衡并减少32%耗时。
2024-12-10 cs.CV
ICE-Pruning: An Iterative Cost-Efficient Pruning Pipeline for Deep Neural Networks
School of Computing Science University of Glasgow（计算科学学院格拉斯哥大学）
针对现有迭代剪枝流水线反复微调导致计算成本高的问题，本文提出ICE-Pruning迭代剪枝流水线，通过自动微调判定、冻结策略和剪枝感知学习率调度器，在保持精度的同时最高将剪枝速度提升9.61倍。
2025-06-15 cs.CV cs.LG stat.ML
LinDeps: A Fine-tuning Free Post-Pruning Method to Remove Layer-Wise Linear Dependencies with Guaranteed Performance Preservation
Montefiore Institute, University of Liège（蒙特福院、列日大学）
针对现有CNN剪枝方法忽略层内特征图结构依赖、剪枝效果欠佳的问题，提出无需微调的后剪枝方法LinDeps，通过带主元QR分解识别冗余滤波器并结合信号恢复机制保性能，在多个数据集和主干网络上实现更优压缩与加速效果。
2025-07-29 cs.CV
Unified Data-Free Compression: Pruning and Quantization without Fine-Tuning
Zhejiang University（浙江大学）
针对无训练数据且不能微调的神经网络压缩问题，提出 UDFC 框架，通过通道线性组合重建与闭式解同时完成剪枝和量化，并在 ImageNet 上显著优于现有方法。
2023-08-14 cs.CV cs.LG eess.IV
Structured Pruning Adapters
Aarhus University（奥胡斯大学）；Cactus Communications（仙人掌通信）
适配器是一种参数高效的微调替代方案，它增强了冻结的基础网络以学习新任务。然而，自适应模型的推理通常比相应的微调模型慢。为了改善这一点，我们提出了结构化修剪适配器（SPAs），一个家庭的压缩，任务切换网络适配器，加速和专门使用微小的参数集和结构化修剪网络。具体来说，我们提出了一个基于通道的SPA和评估它与一套修剪方法在多个计算机视觉基准。与常规的结构化修剪和微调相比，我们的通道SPA平均提高了6.9%的准确性，同时在90%的修剪权重下使用一半的参数。或者，它们可以在70%的修剪下以1.6%的低精度学习17倍的参数。类似地，我们的块SPA需要的参数比微调修剪少得多。我们的实验代码和适配器的Python库可以在github.com/lukashedegaard/structured-pruning-adapters上找到。
2023-02-02 cs.AI cs.CV
Weight Reparametrization for Budget-Aware Network Pruning
Netatmo
剪枝试图通过去除过度参数化网络中的冗余权重来设计轻量级架构。大多数现有技术首先移除结构化子网络（滤波器、信道等）。然后微调得到的网络以保持高精度。然而，移除整个结构是强拓扑先验，并且通过微调来恢复精度是非常麻烦的。在本文中，我们介绍了一种“端到端”的轻量级网络设计，它可以同时实现训练和修剪，而无需微调。我们的方法的设计原理依赖于重新参数化，不仅学习权重，而且还学习轻量级子网络的拓扑结构。这种重新参数化充当先验（或正则化器），其从底层网络的权重隐式地定义修剪掩码，而不增加训练参数的数量。稀疏性是由提供精确修剪的预算损失引起的。在CIFAR10和TinyImageNet数据集上进行的大量实验，使用标准架构（即Conv4，VGG19和ResNet18），在没有微调的情况下显示出令人信服的结果。
2021-07-27 cs.CV
Learning Coarse-to-Fine Pruning of Graph Convolutional Networks for Skeleton-based Recognition
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（LIP6实验室）
提出一种由粗到细的图卷积网络剪枝方法，通过多级参数化掩码结合结构化与非结构化剪枝优势，在骨架识别任务上实现高效且有效的网络压缩。
2024-12-17 cs.CV
Speeding-up Graphical Model Optimization via a Coarse-to-fine Cascade of Pruning Classifiers
California Institute of Technology（加州理工学院）；Ecole des Ponts ParisTech（巴黎高科路桥学院）
我们提出了一个通用和通用的框架，显着加快图形模型优化，同时保持良好的解决方案的准确性。所提出的方法依赖于一个多尺度的修剪方案，能够逐步减少解决方案的空间，通过使用一种新的策略的基础上，从粗到细级联的学习分类器。我们彻底实验与经典的计算机视觉相关的MRF问题，其中我们的框架不断产生显着的时间加速（相对于最有效的推理方法），并获得比直接优化MRF更准确的解决方案。
2014-09-15 cs.CV
Zero-TPrune: Zero-Shot Token Pruning through Leveraging of the Attention Graph in Pre-Trained Transformers
Princeton University（普林斯顿大学）
本文提出零样本 token 剪枝方法 Zero-TPrune，利用预训练 Transformer 注意力图和 WPR 算法综合评估 token 重要性与相似性，无需微调即可显著降低视觉 Transformer 的 FLOPs 并提升吞吐量。
2024-04-07 cs.AI cs.CV cs.LG
Structured Pruning is All You Need for Pruning CNNs at Initialization
Cornell University（康奈尔大学）
剪枝是一种用于减小卷积神经网络（CNN）的模型大小和计算成本的流行技术。然而，通常需要缓慢的重新训练或微调过程来恢复由修剪引起的准确性损失。最近，提出了一种关于权重修剪的新研究方向，即初始化修剪（PAI），在训练之前直接修剪CNN，从而可以避免微调或重新训练。虽然PAI在减少模型大小方面显示出有希望的结果，但现有的方法依赖于细粒度的权重修剪，这需要非结构化的稀疏矩阵计算，除非稀疏度非常高，否则难以在实践中实现真正的加速。这项工作是第一次表明，细粒度的重量修剪实际上是没有必要的PAI。相反，逐层压缩比是确定在初始化时修剪的CNN模型的准确性的主要关键因素。基于这一关键的观察，我们提出了预裁剪，结构化的硬件高效的模型压缩计划。预裁剪按照逐层压缩比在通道级别直接压缩模型。与权值修剪相比，该方案在不牺牲精度的前提下，在存储和计算上都具有规则性和密集性。此外，由于PreCropping在初始化时压缩了CNN，因此在商品硬件上进行训练和推理时，CNN的计算和内存成本都有所降低。我们在几个现代CNN架构上实证了我们的方法，包括CIFAR-10和ImageNet的ResNet，ShuffleNet和MobileNet。
2022-05-31 cs.CV
Equivariant-Aware Structured Pruning for Efficient Edge Deployment: A Comprehensive Framework with Adaptive Fine-Tuning
Faculty of Computers and Information Technology, University of Tabuk（计算机与信息科技学院，塔布克大学）；Artificial Intelligence and Sensing Technologies (AIST) Research Center, University of Tabuk（人工智能与传感技术（AIST）研究中心，塔布克大学）
本文提出一种结合等变卷积网络与结构化剪枝的框架，通过自适应微调和动态量化实现高效边缘部署，有效压缩模型并保持几何鲁棒性。
2025-11-21 cs.CV cs.LG
Bridging The Gaps Between Token Pruning and Full Pre-training via Masked Fine-tuning
National Key Labratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出掩码微调方法，通过掩码图像块并基于未掩码块预测类别，弥合预训练基础模型与令牌剪枝动态视觉Transformer之间的差距，提升初始化质量，使Dynamic ViT在大剪枝比例下获得更高准确率并具备更强泛化能力。
2023-10-26 cs.AI cs.CV
Walk and Read Less: Improving the Efficiency of Vision-and-Language Navigation via Tuning-Free Multimodal Token Pruning
Boston University（波士顿大学）
本文提出导航感知剪枝NAP，通过前景/背景令牌预过滤、LLM提取导航相关指令及移除低重要性节点来抑制回溯，在保持更高VLN成功率的同时节省超过50%的FLOPS。
2025-09-22 cs.AI cs.CV
LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning
Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）；Ant Group（蚂蚁集团）
本文提出LoRAPrune框架，利用LoRA权重与梯度设计剪枝准则，以内存高效方式对LLMs进行结构化剪枝，在LLaMA系列上优于现有方法并显著降低内存占用。
2024-08-07 cs.CV cs.LG
Shapley Value as Principled Metric for Structured Network Pruning
ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
结构化修剪是一种众所周知的减少神经网络的存储大小和推理成本的技术。通常的修剪管道包括根据网络内部过滤器和激活对网络性能的贡献对它们进行排名，删除贡献最低的单元，并微调网络以减少修剪引起的危害。最近的结果表明，如果有足够的微调资源，随机修剪的性能与其他指标相当。在这项工作中，我们表明，这是不正确的低数据制度时，微调是不可能的或无效的。在这种情况下，减少修剪造成的危害对于保持网络的性能至关重要。首先，我们分析的问题，估计隐藏单元的贡献与合作博弈论提出的工具，并提出Shapley值作为这项任务的原则性排名度量。我们比较了文献中提出的几种替代方案，并讨论了Shapley值在理论上是如何更可取的。最后，我们比较了低数据修剪的挑战性场景中的所有排名指标，在那里我们展示了Shapley值如何优于其他算法。
2020-06-02 cs.CV cs.LG cs.NE
Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning
Inha University（仁荷大学）
传统的基于NAS的剪枝算法旨在找到具有最佳验证性能的子网络。但是，确认性能不能成功代表测试性能，即，潜力表现。此外，虽然微调修剪网络以恢复性能下降是一个不可避免的过程，但很少有研究处理这个问题。本文提出了一种新的包围知识引导（EKG），以解决这两个问题。首先，我们通过实验证明了损失景观的波动可以作为评估潜在性能的有效指标。为了以低成本搜索具有最平滑损失景观的子网络，我们采用EKG作为搜索奖励。用于以下搜索迭代的EKG由临时子网络的总体知识组成，即，子网络评估的副产品。接下来，我们重用EKG来为修剪后的网络提供温和而信息丰富的指导，同时微调修剪后的网络。由于EKG在两个阶段中都被实现为存储体，因此其需要的成本可以忽略不计。例如，当修剪和训练ResNet-50时，仅需要315个GPU小时就可以去除大约45.04%的FLOPS，而不会降低任何性能，即使在低规格的工作站上也可以运行。所实现的代码可在https://github.com/sseung0703/EKG上获得。
2022-07-08 cs.AI cs.CV cs.LG
Optimal Brain Connection: Towards Efficient Structural Pruning
本文提出最优脑连接框架，通过雅可比准则评估结构参数显著性并利用等价剪枝机制保留连接贡献，实现高效结构化剪枝。
2025-08-07 cs.CV
Efficient Hardware Realization of Convolutional Neural Networks using Intra-Kernel Regular Pruning
University of Waterloo（滑铁卢大学）
最近的趋势是越来越深的卷积神经网络（CNN），这导致了对计算能力和存储器存储的更高需求。因此，CNN在硬件中的部署变得更具挑战性。在本文中，我们提出了一种核内正则（IKR）剪枝方案，通过在细粒度级别上去除冗余权重来降低CNN的大小和计算复杂性。与其他修剪方法（如细粒度修剪）不同，IKR修剪维护可在硬件加速器中利用的规则内核结构。实验结果表明，高达10倍的参数减少和7倍的计算减少的成本小于1%的精度下降与未修剪的情况下。
2018-03-15 cs.CV
Neural Network Pruning with Residual-Connections and Limited-Data
Nanjing University（南京大学）
滤波器级剪枝是加快深度CNN模型推理速度的有效方法。虽然已经提出了许多剪枝算法，但仍然存在两个问题。第一个问题是如何修剪剩余连接。我们建议通过基于KL发散的标准来修剪残留连接内部和外部的通道。第二个问题是用有限的数据进行修剪。我们观察到一个有趣的现象：直接在小数据集上修剪通常比在大数据集上从头开始修剪或训练的小模型更糟糕。知识蒸馏是弥补有限数据不足的有效途径。然而，教师模型的logits可能是嘈杂的。为了避免标签噪声的影响，我们提出了一种标签细化方法来解决这个问题。实验证明了我们的方法（卷曲，使用剩余连接和有限的数据压缩）的有效性。CURL在ImageNet上的表现明显优于以前的最先进方法。更重要的是，当对小数据集进行修剪时，CURL实现了与微调预训练的小模型相当或更好的性能。
2020-04-25 cs.CV
ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via Fine-Grained Architecture-Preserving Pruning
Washington State University（华盛顿州立大学）；Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；University of Sydney（悉尼大学）；University of Alabama（阿拉巴马大学）
由于对预测精度和分析质量的需求不断增长，卷积神经网络（CNN）正变得越来越深、越来越宽和越来越非线性。然而，广泛而深入的CNN需要大量的计算资源和处理时间。许多先前的工作已经研究了模型修剪，以提高推理性能，但很少做的工作，有效地降低训练成本。在本文中，我们提出了ClickTrain：一个高效准确的CNN端到端训练和修剪框架。与现有的训练过程中的修剪工作不同，ClickTrain通过细粒度的结构保留修剪提供更高的模型精度和压缩比。通过利用基于模式的修剪与我们提出的新的准确的权重重要性估计，动态模式生成和选择，以及编译器辅助的计算优化，ClickTrain生成高度准确和快速修剪的CNN模型，用于直接部署，与基线训练相比，没有任何额外的时间开销。ClickTrain还将训练后修剪方法的端到端时间成本降低了2.3倍，同时具有相当的精度和压缩比。此外，与最先进的训练期间修剪方法相比，ClickTrain在测试的CNN模型和数据集上，在类似的有限训练时间下，提供了显着的准确性和压缩比的改善。
2021-05-01 cs.CV cs.DC
Dynamical Isometry: The Missing Ingredient for Neural Network Pruning
Northeastern University（东北大学）
最近的几项工作[40，24]在神经网络修剪中观察到一个有趣的现象：较大的微调学习率可以显着提高最终性能。不幸的是，其背后的原因至今仍然难以捉摸。本文试图通过动力学等距透镜来解释它[42]。具体来说，我们从一个不寻常的角度研究神经网络修剪：修剪作为微调的初始化，并询问继承的权重是否作为微调的良好初始化？从动力等距的见解提出了一个否定的答案。尽管这一问题发挥着关键作用，但迄今为止，社会尚未充分认识到这一问题。在本文中，我们将展示对这个问题的理解是非常重要的-在解释前面提到的关于更大的微调率的奥秘的同时，它也揭开了关于修剪值的奥秘[5，30]。除了对剪枝有更清晰的理论认识外，解决这个问题还可以在实践中带来可观的性能收益。
2021-05-12 cs.AI cs.CV cs.LG
Speeding up convolutional networks pruning with coarse ranking
University of Tennessee（田纳西大学）；Sun Yat-Sen University（中山大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
基于神经元的剪枝在加速深度卷积神经网络方面取得了显著的成功，其流水线是一个迭代的三步过程：排序，剪枝和微调。然而，这种迭代过程在计算上是昂贵的。在这项研究中，我们提出了一种新的计算效率高的通道修剪方法的基础上的粗排名，利用中间结果在微调排名过滤器的重要性，建立在国家的最先进的作品与数据驱动的排名标准。这项工作的目标是不提出一个单一的改进方法建立在一个特定的通道修剪方法，但引入一个新的通用框架，适用于一系列的通道修剪方法。利用各种基准图像数据集（CIFAR-10、ImageNet、Birds-200和Flowers-102）和网络架构（AlexNet和VGG-16）来评估所提出的用于对象分类目的的方法。实验结果表明，该方法可以实现几乎相同的性能与相应的国家的最先进的作品（基线），而我们的排名时间是可以忽略不计的短。具体而言，使用所提出的方法，在CIFAR-10上的AlexNet和ImageNet上的VGG-16中，整个剪枝过程的总计算时间分别减少了75%和54%。我们的方法将大大促进修剪实践，特别是在资源受限的平台上。
2019-02-18 cs.CV
Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy
Nota AI GmbH（Nota AI 有限公司）
神经网络的性能在过去几年中得到了显著的提高，但代价是每秒浮点运算（FLOP）的数量不断增加。然而，当计算资源有限时，更多的FLOP可能是一个问题。作为解决这个问题的一种尝试，修剪滤波器是一种常见的解决方案，但大多数现有的修剪方法不能有效地保持模型的准确性，因此需要大量的微调时期。在本文中，我们提出了一种自动修剪方法，该方法可以学习保留哪些神经元，以保持模型的准确性，同时将FLOP减少到预定义的目标。为了完成这项任务，我们引入了一个可训练的瓶颈，只需要一个单一的epoch，25.6%（CIFAR-10）或7.49%（ILSVRC 2012）的数据集来学习哪些过滤器要修剪。在不同结构和数据集上的实验表明，该方法不仅可以保持剪枝后的准确性，而且在微调后优于现有方法。我们在ResNet-50上实现了52.00%的FLOPs减少，修剪后的Top-1准确率为47.51%，在ILSVRC 2012上进行微调后的最先进（SOTA）准确率为76.63%。代码可在https://github.com/nota-github/autobot_AAAI23获得。
2022-12-07 cs.CV
A Study of Designing Compact Audio-Visual Wake Word Spotting System Based on Iterative Fine-Tuning in Neural Network Pruning
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）；iFlytek Research（科大讯飞研究院）
由于信号传输中的环境干扰，仅基于音频的唤醒字定位（WWS）在噪声条件下具有挑战性。在本文中，我们研究设计一个紧凑的视听WWS系统，利用视觉信息，以减轻退化。具体来说，为了使用视觉信息，我们首先使用MobileNet将检测到的嘴唇编码为固定大小的向量，并将它们与声学特征连接起来，然后使用WWS的融合网络。然而，基于神经网络的视听模型需要大的足迹和高的计算复杂性。为了满足应用需求，我们引入了一个神经网络修剪策略，通过彩票假设在迭代微调的方式（LTH-IF），单模态和多模态模型，分别。测试我们的内部语料库的视听WWS在家庭电视场景中，建议的视听系统实现了显着的性能改善，在不同的噪声条件下的单模态（音频或视频）系统。此外，LTH-IF修剪可以在不降低WWS性能的情况下大大减少网络参数和计算，从而为TV唤醒场景提供潜在的产品解决方案。
2022-02-17 cs.AI cs.CV cs.LG
Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning
IBM Research – Almaden Research Center（IBM研究院——阿尔马登研究中心）；McMaster University（麦克马斯特大学）
本文提出基缩放与双重剪枝方法，通过奇异值分解分解卷积层，结合泰勒重要性评估，无需微调即可高效剪枝，在保持准确率下降小于1%时，实现CIFAR-10和MNIST上高达74.6%和98.9%的参数剪枝率。
2023-12-20 cs.CV
Network Automatic Pruning: Start NAP and Take a Nap
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）
网络修剪可以显著减少大型神经网络的计算量和内存占用。为了在模型大小和性能之间实现良好的平衡，流行的修剪技术通常依赖于手工制作的算法，并需要手动设置每个层的压缩比。这个过程通常很耗时，需要专业知识才能取得良好的效果。在本文中，我们提出了NAP，一个统一的和自动的细粒度和结构化的剪枝框架。它可以找出网络中不重要的组件，并根据理论上合理的标准自动决定不同层的适当压缩比。为了实现这一目标，NAP使用了一个有效的近似的Hessian的组件的重要性进行评估，基于克罗内克因子近似曲率方法。尽管它使用简单，NAP比以前的修剪方法有很大的优势。对于细粒度修剪，NAP可以将AlexNet和VGG 16压缩25倍，将ResNet-50压缩6.7倍，而不会损失ImageNet的准确性。对于结构化修剪（例如通道修剪），它可以将VGG 16的触发器减少5.4倍，将ResNet-50的触发器减少2.3倍，精度仅下降1%。更重要的是，该方法几乎不需要超参数调整，并且不需要专家知识。你可以开始午睡，然后小睡一会儿！
2021-01-17 cs.CV
Pruning Convolutional Neural Networks for Image Instance Retrieval
Institute for Infocomm Research（资讯通信研究院）；Peking University（北京大学）；MIT（麻省理工学院）
在这项工作中，我们专注于从修剪卷积神经网络（CNN）提取的深度描述符的图像实例检索的问题。目标是在保持检索性能的同时大量修剪卷积边缘。为此，我们引入了数据独立和数据依赖的算法来修剪卷积边缘，并在几个基准数据集上使用不同的深度描述符评估它们在各种压缩率下的性能。此外，我们提出了一个端到端的框架来微调修剪网络，一个三重损失函数专门设计的检索任务。我们发现，启发式修剪和微调的组合提供了5倍的压缩率，而不会有相当大的损失检索性能。
2017-07-18 cs.CV
Backdoor Mitigation via Invertible Pruning Masks
Queensland University of Technology（昆士兰理工大学）；Data61, CSIRO（Data61，CSIRO）
本文提出一种基于可逆剪枝掩码的后门防御方法，通过双层优化联合学习选择变量和掩码，在消除后门任务的同时保留主任务性能，实验证明优于现有剪枝方法并与微调方法竞争力相当。
2025-10-14 cs.CV
Reassessing Layer Pruning in LLMs: New Insights and Methods
Zhejiang University of Technology（浙江工业大学）；HKUST-GZ（香港科技大学（广州））
本文通过大规模基准测试重新评估大语言模型层剪枝，发现简单剪掉最后25%层并微调lm_head和末三层的策略效果优异，剪枝后的Llama-3.1-8B-It超越多个同规模流行模型。
2024-11-23 cs.CV cs.LG
Channel Pruning via Optimal Thresholding
Intel（英特尔）
结构化剪枝，尤其是通道剪枝，由于其计算量小，与现有硬件设备兼容，被广泛应用。在现有的作品中，通常使用预定义的全局阈值或从预定义的度量计算的阈值来去除权重。基于预定义全局阈值的设计忽略了不同层和权重分布之间的变化，因此，它们通常会导致由过度修剪或修剪不足引起的次优性能。在本文中，我们提出了一种简单而有效的方法，称为最佳的保留（OT），修剪通道层相关的阈值，最佳地分离重要的可忽略的通道。通过使用OT，大多数可忽略或不重要的信道被修剪以实现高稀疏性，同时最大限度地降低性能。由于保留了最重要的权重，因此修剪后的模型可以进一步微调，并以非常少的迭代快速收敛。我们的方法表现出优越的性能，特别是当与最先进的设计在高水平的稀疏性。在CIFAR-100上，使用OT进行修剪和微调的DenseNet-121仅用1.46e8 FLOP和0.71M参数就达到了75.99%的准确率。
2020-09-10 cs.CV
Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed
Tsinghua University（清华大学）；Nuctech AI R&D Center（Nuctech人工智能研发中心）
由于资源受限的平台需要更紧凑的模型来部署，过滤器修剪引起了更多的关注。然而，目前的剪枝方法要么受到一次性方法的性能较差，要么受到迭代训练方法的昂贵时间成本的影响。在本文中，我们提出了一个平衡的过滤器修剪方法的性能和修剪速度。基于过滤器的重要性标准，我们的方法是能够修剪一个层近似逐层的最佳修剪率在预设的损失变化。该网络采用分层修剪的方式进行修剪，避免了耗时的修剪-再训练迭代。如果给定整个网络的一个预定义的修剪率，我们还介绍了一种方法来找到相应的损失变化阈值，收敛速度快。此外，我们提出了层组修剪和信道选择机制，在网络中的信道对齐短连接。所提出的修剪方法广泛适用于常见的架构，除了最后的微调，不涉及任何额外的训练。综合实验表明，我们的方法优于许多国家的最先进的方法。
2020-10-14 cs.CV
A Closer Look at Structured Pruning for Neural Network Compression
University of Edinburgh（爱丁堡大学）
结构化修剪是压缩神经网络的一种流行方法：给定一个大型训练网络，在删除通道连接和微调之间交替;减少网络的整体宽度。然而，结构化修剪的功效在很大程度上逃避了审查。在本文中，我们研究了通过结构化修剪和调整获得的ResNets和DenseNets，并进行了两个有趣的观察：（i）简化网络-从头开始训练的原始网络的较小版本-始终优于修剪网络;（ii）如果采用修剪网络的架构，然后从头开始训练它，它会显着更具竞争力。此外，这些架构很容易近似：我们可以修剪一次并获得一系列新的可扩展的网络架构，这些架构可以简单地从头开始训练。最后，我们在硬件上比较了简化和修剪网络的推理速度，并表明简化网络的速度明显更快。代码可在https://github.com/BayesWatch/pytorch-prunes上获得。
2019-06-07 cs.CV cs.LG stat.ML
CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Visa Research（Visa研究院）；The Ohio State University（俄亥俄州立大学）
卷积神经网络（CNN）在许多计算机视觉任务中表现出非常好的性能。然而，CNN模型的增加的大小阻止它们被广泛部署到具有有限计算资源的设备，例如，移动/嵌入式设备。模型修剪的新兴主题致力于通过删除不太重要的神经元并微调修剪后的网络来解决这个问题，以最大限度地减少准确性损失。然而，现有的自动修剪解决方案往往依赖于修剪标准的数值阈值，缺乏灵活性，以最佳地平衡模型大小和准确性之间的权衡。此外，神经元修剪和模型微调阶段之间的复杂相互作用使得这个过程不透明，因此难以优化。在本文中，我们通过一种名为CNNPruner的可视化分析方法来解决这些挑战。它通过不稳定性和敏感性来考虑卷积滤波器的重要性，并允许用户根据模型大小或准确性的期望目标交互式地创建修剪计划。此外，CNNPruner集成了最先进的过滤器可视化技术，以帮助用户了解不同过滤器所扮演的角色，并改进其修剪计划。通过对具有真实世界大小的CNN进行全面的案例研究，我们验证了CNNPruner的有效性。
2020-09-08 cs.CV cs.GR
Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning
Shanghai Jiao Tong University（上海交通大学）
提出熵感知密集剪枝（EADP）框架，通过熵过滤文本噪声并利用子模最大化选择令牌，在严格预算下保留细粒度视觉线索，提升VLM精度-效率权衡。
2026-07-03 cs.AI cs.CV
Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks
Chengdu Union Big Data Technology Co. Ltd.（成都联合大数据科技有限公司）；University of Electronic Science and Technology of China（电子科技大学）
通道修剪是一种很有前途的压缩深度卷积神经网络（DCNN）参数和加快推理速度的技术。本文旨在解决长期存在的效率低下的渠道修剪。大多数通道修剪方法通过从剩余参数重新训练修剪后的模型或随机初始化来恢复预测精度。这种重新训练过程严重依赖于计算资源、训练数据和人为干扰（调整训练策略）的充足性。本文提出了一种高效的剪枝方法，大大降低了DCNN的剪枝成本。我们的方法的主要贡献包括：1）修剪补偿，一个快速和数据有效的重新训练的替代品，以最大限度地减少修剪后的重建损失的功能，2）补偿感知修剪（CaP），一种新的修剪算法，以消除冗余或低权重的通道，通过最大限度地减少信息的损失，和3）二进制结构搜索与步骤约束，以最大限度地减少人为干扰。在包括CIFAR-10/100和ImageNet在内的基准测试中，我们的方法在最先进的基于再训练的修剪方法中表现出了具有竞争力的修剪性能，更重要的是，将处理时间减少了95%，数据使用量减少了90%。
2021-08-31 cs.CV
Vision Transformer Pruning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Peking University（北京大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
视觉Transformer在各种计算机视觉应用中取得了有竞争力的性能。然而，它们的存储、运行时内存和计算需求阻碍了移动设备的部署。在这里，我们提出了一个视觉Transformer修剪方法，该方法识别维度在Transformer的每一层中的影响，然后相应地执行修剪。通过鼓励Transformer中的维度稀疏性，重要的维度会自动出现。可以丢弃大量重要性分数小的维度，以实现高修剪率，而不会显着损害准确性。用于视觉Transformer修剪的流水线如下：1）使用稀疏正则化进行训练; 2）修剪线性投影的维度; 3）微调。在ImageNet数据集上对所提出的算法的参数和FLOPs比率进行了很好的评估和分析，以证明我们所提出的方法的有效性。
2021-08-14 cs.CV
EAPruning: Evolutionary Pruning for Vision Transformers and CNNs
Meituan（美团）
结构化修剪极大地简化了资源受限环境中大型神经网络的部署。然而，目前的方法要么涉及强大的领域专业知识，需要额外的超参数调整，或仅限于特定类型的网络，这阻止了普遍的工业应用。在本文中，我们进行了一个简单而有效的方法，可以很容易地应用到视觉Transformer和卷积神经网络。具体来说，我们认为修剪子网络结构，通过重建技术继承权重的演变过程。ResNet 50和MobileNetV 1的FLOPS减少了50%，分别带来了1.37倍和1.34倍的加速。对于DeiT-Base，我们达到了近40%的FLOPs减少和1.4倍的加速。我们的代码将提供。
2022-10-01 cs.CV
Boosting Pruned Networks with Linear Over-parameterization
Peking University（北京大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
针对剪枝后网络参数过少导致微调恢复精度困难的问题，提出线性过参数化方法，通过扩展紧凑层增加微调参数并利用知识蒸馏保持特征学习，在CIFAR-10和ImageNet上显著优于普通微调，尤其在大剪枝比例下。
2023-12-29 cs.CV
A Unified Framework for Soft Threshold Pruning
Peking University（北京大学）；National Engineering Research Center of Visual Technology（视觉技术国家工程研究中心）；Peng Cheng Laboratory（鹏城实验室）
软阈值剪枝是一种性能先进的剪枝方法。然而，以前的方法要么执行漫无目的的搜索阈值调度器或简单地设置阈值可训练，缺乏从统一的角度理论解释。在这项工作中，我们重新制定软阈值修剪作为一个隐式的优化问题，使用迭代收缩保持算法（ISTA），稀疏恢复和压缩感知领域的经典方法解决。在此理论框架下，将以往软阈值修剪研究中提出的阈值调整策略归结为调整$L_1$-正则化项的不同风格。我们进一步推导出一个最佳的阈值调度器，通过深入研究阈值调度的基础上，我们的框架。该调度器保持$L_1$正则化系数稳定，从优化的角度来看，这意味着一个时不变的目标函数。原则上，导出的剪枝算法可以稀疏任何通过SGD训练的数学模型。我们进行了广泛的实验，并在ImageNet数据集上的人工神经网络（ResNet-50和MobileNet-V1）和脉冲神经网络（SEW ResNet-18）上验证了其最先进的性能。在此框架的基础上，我们得到了一个家庭的修剪方法，包括稀疏训练期间，早期修剪，修剪在初始化。该代码可在www.example.com上获得。
2023-02-25 cs.AI cs.CV cs.LG
APQF: Agentic Profiling-Guided Structured Pruning and Mixed-Precision Quantization with Adaptive Fine-Tuning
Iowa State University（爱荷华州立大学）
APQF是结合LLM引导与分析支撑的自动化剪枝量化框架，在ImageNet等数据集上实现高压缩比且精度接近基线，优于现有联合剪枝量化方法。
2026-08-07 cs.AI cs.CV cs.LG
A Layer Decomposition-Recomposition Framework for Neuron Pruning towards Accurate Lightweight Networks
Hikvision Research Institute（海康威视研究院）
神经元修剪是一种有效的方法，可以将网络压缩成一个更苗条的网络，以减少计算成本和存储开销。大多数最先进的结果是在逐层优化模式下获得的。该算法丢弃不重要的输入神经元，用幸存的神经元逐层重构输出神经元，逼近原神经元。然而，出现了一个未被注意的问题，即随着层的增加，信息丢失会累积，因为幸存的神经元仍然不像以前那样编码整个信息。一个更好的选择是传播整个有用的信息来重建修剪层，而不是直接丢弃不太重要的神经元。为此，我们提出了一种新的层分解-重组框架（LDRF）的神经元修剪，通过该框架，每层的输出信息被恢复在一个嵌入空间中，然后传播到重建以下修剪层保留有用的信息。我们主要使用VGG-16和ResNet-50在ILSVRC-12基准上进行实验。值得强调的是，由于我们提出的框架的信息保持特性，我们在端到端微调之前的结果是显著优越的。通过端到端微调，我们实现了5.13倍和3倍的最先进的结果，而前5名的准确率分别仅下降0.5%和0.65%，优于现有的神经元修剪方法。
2018-12-17 cs.CV
REPrune: Channel Pruning via Kernel Representative Selection
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology（韩国科学技术研究院）；Hyundai MOBIS（现代摩比斯）
针对传统通道剪枝粒度大、精度下降明显的问题，提出模拟核剪枝的REPrune方法，通过层次凝聚聚类选核代表并优化簇覆盖，结合同步训练剪枝实现渐进剪枝，在视觉任务上兼顾加速比与性能。
2024-03-08 cs.AI cs.CV
TransTailor: Pruning the Pre-trained Model for Improved Transfer Learning
Peking University（北京大学）
预训练模型的增加显著促进了迁移学习在有限数据任务上的性能。然而，迁移学习的进展主要集中在优化预训练模型的权重，忽略了模型和目标任务之间的结构失配。本文旨在从另一个角度来提高传输性能-除了调整权重外，我们还调整预训练模型的结构，以便更好地匹配目标任务。为此，我们提出了TransTailor，旨在修剪预训练模型以改进迁移学习。与传统的剪枝流水线不同，我们根据目标感知的权重重要性对预训练模型进行剪枝和微调，生成针对特定目标任务量身定制的最优子模型。通过这种方式，我们转移了一个更合适的子结构，可以在微调期间应用，以有利于最终的性能。在多个预训练模型和数据集上进行的大量实验表明，TransTailor优于传统的剪枝方法，并且在使用较小模型的同时，实现了与其他最先进的迁移学习方法相比具有竞争力甚至更好的性能。值得注意的是，在Stanford Dogs数据集上，TransTailor可以比其他传输方法提高2.7%的准确性，而FLOP减少20%。
2021-03-02 cs.CV cs.LG
SIMPLER: Efficient Foundation Model Adaptation via Similarity-Guided Layer Pruning for Earth Observation
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela, Spain（智能技术研究中心（CiTIUS），圣地亚哥-德孔波斯特拉大学，西班牙）；Departmento de Electrónica e Computación, Universidade de Santiago de Compostela, Spain（电子与计算系，圣地亚哥-德孔波斯特拉大学，西班牙）；IBM Research Europe, Zurich, Switzerland（IBM欧洲研究院，瑞士苏黎世）
SIMPLER通过在适应前选择有效的模型深度，减少推理和部署成本，同时在无需梯度、幅度启发式或超参数调优的情况下，通过预训练视觉变换器中更深层的表示稳定性，选择冗余层，实现参数减少79%且性能保留94%，提升训练和推理速度。
2026-08-28 cs.CV
Rethinking the Value of Network Pruning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Tsinghua University（清华大学）
网络修剪被广泛用于在低资源设置中降低深度模型的沉重推理成本。典型的修剪算法是三级流水线，即，训练（大型模型）、修剪和微调。在剪枝过程中，根据一定的准则，冗余的权重被删除，重要的权重被保留，以最大限度地保持精度。在这项工作中，我们提出了一些令人惊讶的观察结果，这些观察结果与普遍的看法相矛盾。对于我们研究的所有最先进的结构化修剪算法，微调修剪后的模型只能提供与使用随机初始化权重训练该模型相当或更差的性能。对于假设预定义目标网络架构的修剪算法，可以摆脱完整的流水线并直接从头开始训练目标网络。我们的观察结果对于多个网络架构，数据集和任务是一致的，这意味着：1）训练大的、过度参数化的模型通常不是获得有效的最终模型所必需的，2）学习的大模型的“重要”权重通常对小的修剪模型没有用，3）修剪的体系结构本身，而不是一组继承的“重要”权重，对于最终模型的效率更重要，这表明在某些情况下修剪可以作为架构搜索范例。我们的研究结果表明，需要更仔细的基线评估，在未来的研究结构化修剪方法。我们还与“彩票假设”（Frankle & Carbin 2019）进行了比较，发现在最佳学习率下，Frankle & Carbin（2019）中使用的“中奖彩票”初始化并没有带来随机初始化的改进。
2019-03-05 cs.CV cs.LG stat.ML
Trained Rank Pruning for Efficient Deep Neural Networks
Shanghai Jiao Tong University（上海交通大学）；Qualcomm AI Research（高通人工智能研究）；Duke University（杜克大学）
近年来，随着网络深度和宽度的增加，深度神经网络（DNN）的性能不断提升。为了在手机等边缘设备上启用DNN，研究人员提出了几种网络压缩方法，包括修剪、量化和因子分解。在基于因子分解的方法中，低秩近似由于其坚实的理论基础和高效的实现而被广泛采用。之前的几项工作试图通过低秩分解直接近似预训练模型;然而，参数中的小近似误差可能会导致大的预测损失。因此，性能通常会显着下降，并且需要进行复杂的微调才能恢复准确性。我们认为，这是不是最佳的分离低秩近似从训练。与以往的工作，本文集成了低秩近似和正则化的训练。我们提出了训练秩修剪（TRP），它迭代低秩近似和训练。TRP在保持原网络容量的同时，在训练过程中施加低秩约束。利用随机次梯度下降优化的核正则化来进一步鼓励TRP中的低秩。TRP训练的网络本质上具有低秩结构，并且可以以可忽略的性能损失进行近似，从而消除了低秩近似之后的微调。在CIFAR-10和ImageNet上对该方法进行了综合评估，优于以前使用低秩近似的压缩方法。代码可用：https://github.com/yuhuixu1993/Trained-Rank-Pruning
2020-01-23 cs.CV
AutoDFP: Automatic Data-Free Pruning via Channel Similarity Reconstruction
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学 cyber 系统与控制研究所）
本文提出AutoDFP，一种无需微调和手工调参的自动无数据剪枝方法，通过强化学习利用通道相似性信息指导剪枝与重建，在多个数据集上显著降低精度损失并提升压缩效果。
2024-03-13 cs.CV cs.LG
Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Language Models: An Empirical Study
Technical University of Munich, Germany（慕尼黑技术大学，德国）；Helmholtz Munich, Munich Center for Machine Learning, Germany（海德堡慕尼黑，慕尼黑机器学习中心，德国）；University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国）；University of Trento, Italy（特伦托大学，意大利）；Beijing University of Posts and Telecommunications, China（北京邮电大学，中国）
本文实证比较 MLLM 的逐层与宽度结构化剪枝及恢复训练，发现宽度剪枝更适合低资源场景，监督微调结合隐藏状态蒸馏可用 5% 数据恢复逾 95% 性能。
2025-07-28 cs.CL cs.CV
Towards Meta-Pruning via Optimal Transport
ETH Zurich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
本文提出Intra-Fusion剪枝方法，利用模型融合和最优传输重新定义剪枝过程，无需微调即可恢复准确率，并在多个数据集上验证了其高效性。
2024-02-13 cs.CV cs.LG
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；College of Computer Science, Sichuan University（四川大学计算机学院）；Nanyang Technological University（南洋理工大学）
由于深度神经网络（DNN）通常被过度参数化并且具有数百万个权重参数，因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的，例如，智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小，其中关键是找到合适的压缩分配（例如，修剪稀疏性和量化码本）。现有的解决方案以迭代/手动的方式获得压缩分配，同时微调压缩模型，因此存在效率问题。与现有技术不同的是，本文提出了一种新的单次剪枝量化（OPQ）算法，该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间，压缩模块是固定的，并且仅更新权重参数。据我们所知，OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作，而无需在微调阶段进行任何复杂的迭代/手动优化。此外，我们提出了一个统一的信道级量化方法，强制每一层的所有通道共享一个共同的码本，这导致低比特率分配，而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明，与现有技术相比，我们的方法提高了准确性和训练效率，同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；Michigan State University（密歇根州立大学）；University of Pittsburgh（匹兹堡大学）
权重修剪是一种有效的模型压缩技术，可以解决在移动设备上实现实时的【形】深度神经网络（DNN）推理的挑战。然而，现有的修剪方案由于准确性降级、难以利用硬件加速和/或对某些类型的DNN层的限制而具有有限的应用场景。在本文中，我们提出了一个通用的，细粒度的结构化修剪方案和相应的编译器优化，适用于任何类型的DNN层，同时实现高精度和硬件推理性能。我们的编译器优化使不同层次的应用不同的修剪方案的灵活性，我们进一步探讨了新的问题，确定最适合的修剪方案，考虑不同的加速和准确性性能的各种修剪方案。提出了两种剪枝方案映射方法，一种是基于搜索的，另一种是基于规则的，自动推导出最适合的剪枝规则和块大小为任何给定的DNN的每一层。实验结果表明，我们的剪枝方案映射方法，以及一般的细粒度结构化剪枝方案，优于最先进的DNN优化框架，在CIFAR-10和ImageNet数据集上具有高达2.48 $\times$和1.73 $\times$ DNN推理加速，而不会损失准确性。
2021-11-22 cs.AI cs.CV cs.DC
Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出Instant Soup剪枝（ISP），通过弱掩码生成与聚合在单次遍历中低成本生成彩票质量子网络，在CLIP和BERT上验证有效性。
2023-06-18 cs.CV cs.LG
Pruning-aware Sparse Regularization for Network Pruning
University of Chinese Academy of Sciences（中国科学院大学）
本文提出名为MaskSparsity的剪枝感知稀疏正则化方法，仅对剪枝掩码选定的滤波器施加细粒度稀疏正则化，避免未剪枝通道受不必要限制，在CIFAR-10和ILSVRC-2012上实现高FLOPs减少且精度损失极小。
2023-10-20 cs.AI cs.CV
Dynamic Structure Pruning for Compressing CNNs
Korea University（高丽大学）
结构剪枝是压缩和加速神经网络的一种有效方法。虽然滤波器和信道修剪在实际加速和硬件兼容性方面优于其他结构修剪方法，但是具有更细粒度的修剪方法（诸如信道内修剪）被期望能够产生更紧凑和计算效率更高的网络。由于大的搜索空间，典型的通道内修剪方法利用静态和手工修剪粒度，这为其修剪性能留下了改进的空间。在这项工作中，我们引入了一种新的结构修剪方法，称为动态结构修剪，以确定最佳的修剪粒度内通道修剪。与现有的通道内剪枝方法相比，所提出的方法在训练深度神经网络的同时自动优化每层的动态剪枝粒度。为了实现这一目标，我们提出了一种可微组学习方法，旨在有效地学习基于过滤器组的梯度学习的修剪粒度。实验结果表明，动态结构修剪实现了最先进的修剪性能和更好的真实感加速在GPU上相比，通道修剪。特别是，它将ResNet50的FLOP降低了71.85%，而不会降低ImageNet数据集的准确性。我们的代码可在www.example.com上获得。
2023-03-17 cs.AI cs.CV
