Channel-wise pruning of neural networks with tapering resource constraint
Intel Corp.（英特尔公司）
神经网络剪枝是为计算能力有限的边缘设备设计高效神经网络的重要步骤。剪枝是将知识从原网络的权重转移到较小的目标子网络的一种形式。本文提出了一种新的卷积神经网络计算约束结构化通道剪枝方法。该方法迭代地微调网络，同时通过拉格朗日乘子法框架中的完整约束逐渐减少修剪网络可用的计算资源。提供了一种显式的和自适应的自动控制锥度的速度。我们的修剪方法的可训练参数与神经网络的权重分离，这允许我们避免对神经网络求解器的干扰（例如，避免修剪速度对神经网络学习率的直接依赖）。我们的方法结合了“严格”的方法，直接应用约束优化，避免了陷阱的ADMM为基础的方法，如他们需要定义的目标资源量为每个修剪运行，修剪速度和修剪层之间的权重的相对规模的优先级的直接依赖。对于VGG-16@ILSVRC-2012，我们实现了15.47 -> 3.87 GMAC的降低，其中仅1%的前1准确度降低（68.4% -> 67.4%）。对于AlexNet @ ILSVRC-2012，我们实现了0.724 -> 0.411 GMAC，前1个准确度降低了1%（56.8% -> 55.8%）。
2018-12-04 cs.CV cs.LG stat.ML
LPViT: Low-Power Semi-structured Pruning for Vision Transformers
College of Computing and Data Science (CCDS), Nanyang Technological University (NTU)（南洋理工大学计算与数据科学学院）
针对视觉Transformer（ViT）的资源密集问题，本文提出块结构化剪枝方法LPViT，通过硬件感知学习目标和轻量级训练后剪枝算法，在ImageNet实验中实现精度与功耗/加速比的平衡，DeiT-B在专用硬件和GPU上获3.93倍加速比，GPU功耗降1.4倍。
2025-04-15 cs.CV
LinDeps: A Fine-tuning Free Post-Pruning Method to Remove Layer-Wise Linear Dependencies with Guaranteed Performance Preservation
Montefiore Institute, University of Liège（蒙特福院、列日大学）
针对现有CNN剪枝方法忽略层内特征图结构依赖、剪枝效果欠佳的问题，提出无需微调的后剪枝方法LinDeps，通过带主元QR分解识别冗余滤波器并结合信号恢复机制保性能，在多个数据集和主干网络上实现更优压缩与加速效果。
2025-07-29 cs.CV
RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Microsoft Research（微软研究院）
虽然3D卷积神经网络（CNN）对于涉及密集3D数据的大多数基于学习的应用是必不可少的，但是由于过多的存储器和计算要求，它们的适用性受到限制。因此，通过修剪来压缩这样的网络变得非常可取。然而，修剪3D CNN在很大程度上尚未探索，可能是因为典型修剪算法的复杂性，该算法将修剪嵌入到迭代优化范式中。在这项工作中，我们引入了一种资源感知神经元修剪（RANP）算法，该算法在初始化时将3D CNN修剪到高稀疏水平。具体来说，核心思想是根据每个神经元对损失函数的敏感度来获得每个神经元的重要性分数。然后，根据与FLOP或存储器相关的神经元资源消耗来重新加权该神经元重要性。我们证明了我们的修剪方法在ShapeNet和BraTS'18上广泛使用的3D-UNets的3D语义分割上以及在UCF 101数据集上使用MobileNetV 2和I3 D的视频分类上的有效性。在这些实验中，与未修剪的网络相比，我们的RANP导致FLOPs减少了大约50-95，内存减少了35-80，准确性损失可以忽略不计。这显著减少了训练3D CNN所需的计算资源。通过我们的算法获得的修剪网络也可以很容易地扩展并转移到另一个数据集进行训练。
2020-10-25 cs.AI cs.CV cs.LG
Efficient Unstructured Pruning of Mamba State-Space Models for Resource-Constrained Environments
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）；Department of Civil, Construction and Environmental Engineering, Iowa State University（土木、建设与环境工程系，爱荷华州立大学）
针对 Mamba 状态空间模型参数量大、难部署的问题，提出融合梯度幅度、迭代稀疏化与全局分配的非结构化剪枝框架，在多基准上削减最高70%参数并保留95%以上性能。
2025-09-05 cs.CV cs.LG
Towards thinner convolutional neural networks through Gradually Global Pruning
University of Electronic Science and Technology of China（电子科技大学）
深度网络剪枝是将深度神经网络应用于资源有限的设备时降低其存储和计算成本的有效方法。在许多修剪粒度中，神经元级修剪将删除模型中的冗余神经元和滤波器，从而导致网络更薄。在本文中，我们提出了一个渐进的全球修剪计划的神经元级修剪。在每个修剪步骤中，选择一小部分神经元并将其丢弃在模型的所有层中。我们还提出了一种简单的方法来消除在评估神经元的重要性，使该计划可行的偏见。与分层剪枝方案相比，该方案避免了确定每层冗余度的困难，对深度网络更有效。该方案在给定性能的情况下，能自动在原网络中找到一个较细的子网络。
2017-03-29 cs.CV
Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning
Kyungpook National University（庆北国立大学）
卷积神经网络（CNN）具有大量参数，并且需要大量硬件资源来计算，因此边缘设备很难运行高级网络。本文提出了一种新的方法来减少参数和FLOP，以提高深度学习模型的计算效率。我们引入准确性和效率系数来控制网络的准确性和计算效率之间的权衡。所提出的奖励元修剪算法训练网络生成修剪模型的权重，该修剪模型基于最终模型的近似参数通过使用奖励函数控制交互来选择。奖励函数允许对最终修剪模型的度量进行更多控制。大量的实验表明，所提出的方法在修剪ResNet-50，MobileNetV 1和MobileNetV 2网络方面优于最先进的方法。
2023-01-26 cs.CV
Crossbar-aware neural network pruning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Tsinghua University（清华大学）
基于交叉开关结构的器件由于其在向量矩阵乘法（VMM）运算上的高效性而被广泛应用于神经网络加速器中。然而，在卷积神经网络（CNN）的情况下，由于大量的数据重用，效率受到极大的损害。虽然已经设计了一些映射方法来实现执行吞吐量和资源开销之间的平衡，但在保持吞吐量的同时，资源消耗成本仍然很大。网络修剪是一种有前途的和广泛研究的杠杆，以缩小模型的大小。然而，以前的工作没有考虑交叉结构和相应的映射方法，这不能直接利用基于交叉的神经网络加速器。本文紧密结合交叉结构及其映射，提出了一种基于L0范数约束优化问题的交叉感知剪枝框架。具体来说，我们设计了一个L0-范数约束的梯度下降（LGD）与松弛概率投影（RPP）来解决这个问题。成功地实现了两种粒度的稀疏性：i）直观的纵横粒度稀疏性和ii）输出重组的列粒度稀疏性，在此基础上，我们进一步提出了一种输入特征图（FM）重新排序方法来提高模型的准确性。我们在中等规模的CIFAR 10数据集和具有VGG和ResNet模型的大规模ImageNet数据集上评估了我们的crossbar感知修剪框架。我们的方法是能够减少44%-72%的交叉开关开销，几乎没有精度下降。这项工作大大节省了资源和相关的能源成本，这为将CNN映射到各种交叉开关设备提供了一种新的协同设计解决方案，效率显著提高。
2018-12-06 cs.CV
Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed
Tsinghua University（清华大学）；Nuctech AI R&D Center（Nuctech人工智能研发中心）
由于资源受限的平台需要更紧凑的模型来部署，过滤器修剪引起了更多的关注。然而，目前的剪枝方法要么受到一次性方法的性能较差，要么受到迭代训练方法的昂贵时间成本的影响。在本文中，我们提出了一个平衡的过滤器修剪方法的性能和修剪速度。基于过滤器的重要性标准，我们的方法是能够修剪一个层近似逐层的最佳修剪率在预设的损失变化。该网络采用分层修剪的方式进行修剪，避免了耗时的修剪-再训练迭代。如果给定整个网络的一个预定义的修剪率，我们还介绍了一种方法来找到相应的损失变化阈值，收敛速度快。此外，我们提出了层组修剪和信道选择机制，在网络中的信道对齐短连接。所提出的修剪方法广泛适用于常见的架构，除了最后的微调，不涉及任何额外的训练。综合实验表明，我们的方法优于许多国家的最先进的方法。
2020-10-14 cs.CV
Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks
Chengdu Union Big Data Technology Co. Ltd.（成都联合大数据科技有限公司）；University of Electronic Science and Technology of China（电子科技大学）
通道修剪是一种很有前途的压缩深度卷积神经网络（DCNN）参数和加快推理速度的技术。本文旨在解决长期存在的效率低下的渠道修剪。大多数通道修剪方法通过从剩余参数重新训练修剪后的模型或随机初始化来恢复预测精度。这种重新训练过程严重依赖于计算资源、训练数据和人为干扰（调整训练策略）的充足性。本文提出了一种高效的剪枝方法，大大降低了DCNN的剪枝成本。我们的方法的主要贡献包括：1）修剪补偿，一个快速和数据有效的重新训练的替代品，以最大限度地减少修剪后的重建损失的功能，2）补偿感知修剪（CaP），一种新的修剪算法，以消除冗余或低权重的通道，通过最大限度地减少信息的损失，和3）二进制结构搜索与步骤约束，以最大限度地减少人为干扰。在包括CIFAR-10/100和ImageNet在内的基准测试中，我们的方法在最先进的基于再训练的修剪方法中表现出了具有竞争力的修剪性能，更重要的是，将处理时间减少了95%，数据使用量减少了90%。
2021-08-31 cs.CV
SCSP: Spectral Clustering Filter Pruning with Soft Self-adaption Manners
深度卷积神经网络（CNN）在计算机视觉领域取得了巨大的成功。然而，深度复杂模型的高计算成本阻碍了在具有有限内存和计算资源的边缘设备上的部署。提出了一种新的卷积神经网络压缩滤波器剪枝方法--软自适应谱聚类滤波器剪枝（SCSP）。我们首先逐层对过滤器应用谱聚类，以探索它们的内在联系，并只依赖于有效的组。通过自适应的方式，可以在较少的时期内完成剪枝操作，使网络逐渐选择有意义的组。根据该策略，我们不仅实现了模型压缩，同时保持相当的性能，而且找到了一个新的角度来解释模型压缩过程。
2018-06-14 cs.CV
EAPruning: Evolutionary Pruning for Vision Transformers and CNNs
Meituan（美团）
结构化修剪极大地简化了资源受限环境中大型神经网络的部署。然而，目前的方法要么涉及强大的领域专业知识，需要额外的超参数调整，或仅限于特定类型的网络，这阻止了普遍的工业应用。在本文中，我们进行了一个简单而有效的方法，可以很容易地应用到视觉Transformer和卷积神经网络。具体来说，我们认为修剪子网络结构，通过重建技术继承权重的演变过程。ResNet 50和MobileNetV 1的FLOPS减少了50%，分别带来了1.37倍和1.34倍的加速。对于DeiT-Base，我们达到了近40%的FLOPs减少和1.4倍的加速。我们的代码将提供。
2022-10-01 cs.CV
Soft Masking for Cost-Constrained Channel Pruning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
结构化通道修剪已被证明可以显著加快现代硬件上卷积神经网络（CNN）的推理时间，而网络准确性损失相对较小。最近的工作是在训练过程中永久地将这些通道归零，我们观察到这会严重影响最终的准确性，特别是当网络被修剪的比例增加时。我们提出了软屏蔽成本约束的信道修剪（SMCP），允许修剪的信道自适应地返回到网络，同时修剪对目标成本约束。通过从移除输入通道的角度添加权重的软掩码重新参数化和通道修剪，我们允许对先前修剪的通道进行梯度更新，并允许通道稍后返回到网络。然后，我们制定输入通道修剪作为一个全球性的资源分配问题。我们的方法在ImageNet分类和PASCAL VOC检测数据集上的性能优于之前的工作。
2022-11-04 cs.CV
Pruning On-the-Fly: A Recoverable Pruning Method without Fine-tuning
McGill University（麦吉尔大学）
大多数现有的修剪工作是资源密集型的，需要重新训练或微调修剪模型的准确性。我们提出了一种基于超球面学习和损失惩罚项的无再训练剪枝方法。提出的损失惩罚项将一些模型权重推到远离零的位置，而其余权重值被推到接近零的位置，并且可以安全地修剪，无需重新训练，精度下降可以忽略不计。此外，我们提出的方法可以立即恢复修剪模型的准确性，通过替换修剪值与它们的平均值。我们的方法在无再训练剪枝方面获得了最先进的结果，并在ResNet-18/50和MobileNetV 2上使用ImageNet数据集进行了评估。人们可以很容易地得到一个50%修剪的ResNet 18模型，准确率下降了0.47%。实验结果表明，与现有方法相比，该方法可以显著提高剪枝模型的精度。例如，70%修剪（第一卷积层除外）的MobileNetV 2模型的准确度仅下降3.5%，远低于传统方法的7% $\sim$ 10%准确度下降。
2022-12-24 cs.CV
Resource-Aware Federated Mixture-of-Experts with Adaptive Pruning for Onboard Learning in LEO Satellite Constellations
提出COSMIC-FL框架，通过混合专家架构与自适应剪枝，在资源受限的LEO卫星上实现高效联邦学习，降低通信计算能耗达80%。
2026-09-29 cs.CV cs.LG
Differentiable Transportation Pruning
Axelera AI（阿克塞拉人工智能公司）；TU Delft（代尔夫特理工大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出一种基于可微最优传输方案的剪枝技术，通过端到端可微和自动调节探索-利用行为来精确控制网络规模并寻找稀疏子网络，在多数据集和模型上达到最先进性能。
2023-07-31 cs.CV
Automatic Structured Pruning for Efficient Architecture in Federated Learning
INRS-EMT, University of Quebec（魁北克大学国家科学研究院-能源、材料与电信中心）
针对联邦学习客户端设备资源有限、超参数调优受本地数据访问限制的问题，提出动态确定剪枝边界的自动结构化剪枝方案，在保证准确率的同时大幅压缩模型、降低通信开销并提升移动端推理速度。
2024-11-04 cs.CV
Conditional Automated Channel Pruning for Deep Neural Networks
South China University of Technology（华南理工大学）；Monash University（莫纳什大学）
模型压缩旨在减少深度网络的冗余以获得紧凑的模型。最近，通道修剪已经成为在资源受限的设备上部署深度模型的主要压缩方法之一。大多数信道修剪方法通常对模型的所有层使用固定的压缩率，然而，这可能不是最佳的。为了解决这个问题，给定整个模型的目标压缩率，可以搜索每个层的最佳压缩率。然而，这些方法针对特定目标压缩率执行信道修剪。当我们考虑多个压缩率时，他们必须多次重复信道修剪过程，这是非常低效但不必要的。为了解决这个问题，我们提出了一个条件自动通道修剪（CACP）方法，通过单一的通道修剪过程中获得不同压缩率的压缩模型。为此，我们开发了一个条件模型，以任意的压缩率作为输入，并输出相应的压缩模型。在实验中，具有不同压缩率的所得模型始终优于通过针对每个目标压缩率进行通道修剪过程的现有方法压缩的模型。
2020-09-27 cs.CV
Structural Pruning via Latency-Saliency Knapsack
NVIDIA（英伟达）
结构修剪可以简化网络结构，提高推理速度。我们提出了硬件感知的延迟修剪（HALP），制定结构修剪作为一个全球性的资源分配优化问题，旨在最大限度地提高准确性，同时限制延迟下预定义的预算目标设备。对于过滤器重要性排名，HALP利用延迟查找表来跟踪延迟减少潜力和全局显著性分数来衡量准确性下降。这两个指标可以在修剪过程中非常有效地进行评估，使我们能够重新制定全球结构修剪下的奖励最大化问题给定的目标约束。这使得问题可以通过我们的增强背包求解器来解决，使HALP能够在修剪效率和准确性-效率权衡方面超越先前的工作。我们在不同的网络上，在不同的平台上，在ImageNet和VOC数据集上，在分类和检测任务上检查HALP。特别地，对于ImageNet上的ResNet-50/-101修剪，HALP分别通过$1.60\times$ / $1.90\times$以及$+0.3\%$ / $-0.2\%$ top-1准确度变化来提高网络吞吐量。对于VOC上的SSD修剪，HALP将吞吐量提高了$1.94\times$，而仅降低了$0.56$ mAP。HALP的性能始终优于现有技术，有时甚至大幅领先。项目页面https://halp-neurips.github.io/。
2022-10-18 cs.CV
DSA: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
剪枝是指在资源约束下的剪枝问题。在预算修剪中，如何跨层分布资源（即，稀疏分配）是关键问题。传统的方法是通过离散地搜索分层剪枝率来解决这个问题，效率低下。在本文中，我们提出了微分稀疏分配（DSA），一个有效的端到端的预算修剪流。利用一种新的可微修剪过程，DSA发现逐层修剪率与基于梯度的优化。它在连续空间中分配稀疏性，这比基于离散评估和搜索的方法更有效。此外，DSA可以以从头修剪的方式工作，而传统的预算修剪方法应用于预训练的模型。在CIFAR-10和ImageNet上的实验结果表明，DSA可以获得优于当前迭代预算剪枝方法的性能，同时将整个剪枝过程的时间成本缩短至少1.5倍。
2020-07-20 cs.CV cs.LG stat.ML
CAMP-HiVe: Cyclic Pair Merging based Efficient DNN Pruning with Hessian-Vector Approximation for Resource-Constrained Systems
Engineering University of Louisville（工程大学路易斯维尔大学）；School of Computing University of Georgia（计算学院佐治亚大学）；Department of Computer Science（1 计算机科学系）；Engineering, University of Louisville, KY, USA（工程，路易斯维尔大学，美国肯塔基州）；School of Computing, University of Georgia, Athens, GA, USA（2 计算学院，佐治亚大学，美国亚特兰大州）
本文提出CAMP-HiVe剪枝方法，利用Hessian-向量近似和幂迭代获取损失曲率信息，通过循环配对合并权重，在资源受限系统上实现高效DNN压缩并优于现有方法。
2025-11-09 cs.CV cs.LG
Separate, Dynamic and Differentiable (SMART) Pruner for Block/Output Channel Pruning on Computer Vision Tasks
Black Sesame Technology（黑芝麻科技）
针对现有块剪枝算法无法同时满足高精度、资源精确控制和收敛保证的问题，提出SMART剪枝算法，通过结合权重与激活信息、可微分top-k算子及收敛保证，在多模型、数据集和任务上实现了块剪枝的最先进性能。
2024-12-05 cs.CV cs.LG
Channel Pruning Guided by Spatial and Channel Attention for DNNs in Intelligent Edge Computing
Beijing Jiaotong University（北京交通大学）；Tianjin University（天津大学）；Beijing Wuzi University（北京物资学院）
深度神经网络（DNN）近年来在许多计算机视觉任务中取得了显著的成功，但其庞大的参数数量和高计算开销阻碍了其在资源受限的边缘设备上的部署。值得注意的是，通道修剪是压缩DNN模型的有效方法。一个关键的挑战是确定哪些通道将被删除，以便模型的准确性不会受到负面影响。在本文中，我们首先提出了空间和通道注意力（SCA），一个新的注意力模块相结合的空间和通道的注意力，分别侧重于“在哪里”和“什么”是最丰富的信息部分。在SCA产生的衡量信道重要性的尺度值的指导下，我们进一步提出了一种新的信道修剪方法，称为空间和信道注意引导的信道修剪（CPSCA）。实验结果表明，SCA实现了最好的推理精度，而引起的额外资源消耗可以忽略不计，相比其他国家的最先进的注意力模块。我们对两个基准数据集的评估表明，在SCA的指导下，我们的CPSCA方法实现了更高的推理精度比其他国家的最先进的剪枝方法在相同的剪枝率。
2021-06-21 cs.AI cs.CV
A Survey on Deep Neural Network Pruning-Taxonomy, Comparison, Analysis, and Recommendations
University of Adelaide（阿德莱德大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文系统综述深度神经网络剪枝，按加速范围、时机、方法及与其他压缩技术融合分类，比较八组设置并梳理大模型剪枝等前沿方向，同时提供数据集资源与方法选择建议。
2024-08-09 cs.CV cs.LG
Resource Efficient Neural Networks Using Hessian Based Pruning
School of Electrical and Electronic Engineering (EEE), Nanyang Technological University (NTU)（南洋理工大学电子与电气工程学院）；Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局信息通信研究所）；Centre for Information Sciences and Systems (CISS), School of Electrical and Electronic Engineering (EEE), Nanyang Technological University (NTU)（南洋理工大学信息科学与系统中心、电子与电气工程学院）
针对Hessian迹估计耗时长的问题，提出用FP16精度计算的EHAP剪枝方法，在多个图像分类模型上实现17%-44%加速、40%显存降低且精度无损，还结合QAT进一步压缩网络。
2023-06-12 cs.AI cs.CV
Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning
Iowa State University（爱荷华州立大学）；Technical University of Darmstadt（达姆施塔特工业大学）
模型压缩是在功率和内存受限的资源上部署深度神经网络（DNN）的基本技术。然而，现有的模型压缩方法往往依赖于人类的专业知识，并专注于参数的局部重要性，忽略了DNN中丰富的拓扑信息。在本文中，我们提出了一种新的多阶段图嵌入技术的基础上图神经网络（GNNs）识别DNN拓扑结构，并使用强化学习（RL）找到一个合适的压缩策略。我们进行了资源受限（即，FLOPs）通道修剪，并将我们的方法与最先进的模型压缩方法进行了比较。我们在从典型到移动友好网络的各种模型上评估了我们的方法，例如ResNet系列，VGG-16，MobileNet-v1/v2和ShuffleNet。结果表明，我们的方法可以实现更高的压缩比与最小的微调成本，但产生出色的和有竞争力的性能。
2022-07-01 cs.CV cs.LG
HSCP: A Two-Stage Spectral Clustering Framework for Resource-Constrained UAV Identification
College of Computer science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；Institute of Cyberspace Security, College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院网络空间安全研究所）；Department of Intelligent Control, Zhejiang Institute of Communications（浙江通信学院智能控制系）；College of Information and Communication Engineering, Harbin Engineering University（哈尔滨工程大学信息与通信工程学院）；College of Telecommunications and Information Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学通信与信息工程学院）
HSCP通过结合层剪枝和通道剪枝，实现无人机识别的极端压缩和高性能，提升资源受限设备上的推理效率与鲁棒性。
2025-12-05 cs.AI cs.CV
A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Kharagpur, India（印度理工学院，Khargpur，印度）
提出一种基于线性近似的两层层次化贪婪剪枝算法，通过低层滤波器选择和全局剪枝准则高效剪枝，在多个网络上优于现有方法。
2026-05-23 cs.CV cs.LG
Computation Reallocation for Object Detection
SenseTime Research Group（商汤科技研究院）；The University of Sydney（悉尼大学）
在目标检测中，骨干网中计算资源的分配是一个至关重要的问题。然而，分类分配模式通常是直接采用的目标检测器，这被证明是次优的。为了更有效地重新分配所占用的计算资源，提出了CR-NAS（Computation Reallocation Neural Architecture Search）算法，该算法可以直接在目标检测数据集上学习跨不同特征分辨率和空间位置的计算重新分配策略。提出了一个两级再分配空间，用于阶段和空间的再分配。采用一种新的分层搜索过程来处理复杂的搜索空间。我们将CR-NAS应用于多个骨干网，并实现持续改进。我们的CR-ResNet 50和CR-MobileNetV 2在没有任何额外计算预算的情况下，分别比基线COCO AP高出1.9%和1.7%。通过CR-NAS发现的模型可以装备到其他强大的检测颈部/头部，并且可以很容易地转移到其他数据集，例如PASCAL VOC，以及其他视觉任务，例如实例分割。我们的CR-NAS可以作为插件使用，以提高各种网络的性能，这是苛刻的。
2019-12-24 cs.CV cs.LG
Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Language Models: An Empirical Study
Technical University of Munich, Germany（慕尼黑技术大学，德国）；Helmholtz Munich, Munich Center for Machine Learning, Germany（海德堡慕尼黑，慕尼黑机器学习中心，德国）；University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国）；University of Trento, Italy（特伦托大学，意大利）；Beijing University of Posts and Telecommunications, China（北京邮电大学，中国）
本文实证比较 MLLM 的逐层与宽度结构化剪枝及恢复训练，发现宽度剪枝更适合低资源场景，监督微调结合隐藏状态蒸馏可用 5% 数据恢复逾 95% 性能。
2025-07-28 cs.CL cs.CV
HALP: Hardware-Aware Latency Pruning
NVIDIA（英伟达）
结构修剪可以简化网络结构，提高推理速度。我们提出了硬件感知的延迟修剪（HALP），制定结构修剪作为一个全球性的资源分配优化问题，旨在最大限度地提高准确性，同时限制在预定义的预算下的延迟。对于过滤器重要性排名，HALP利用延迟查找表来跟踪延迟减少潜力和全局显著性分数来衡量准确性下降。这两个指标可以在修剪过程中非常有效地进行评估，使我们能够重新制定全球结构修剪下的奖励最大化问题给定的目标约束。这使得问题可以通过我们的增强背包求解器来解决，使HALP能够在修剪效率和准确性-效率权衡方面超越先前的工作。我们在ImageNet和VOC数据集上，通过不同的网络，在分类和检测任务上检查HALP。特别地，对于ImageNet上的ResNet-50/-101修剪，HALP分别通过$1.60\times$ / $1.90\times$以及$+0.3\%$ / $-0.2\%$ top-1准确度变化来提高网络吞吐量。对于VOC上的SSD修剪，HALP将吞吐量提高了$1.94\times$，而仅降低了$0.56$ mAP。HALP的性能始终优于现有技术，有时甚至大幅领先。
2021-10-20 cs.CV cs.LG
Reassessing Layer Pruning in LLMs: New Insights and Methods
Zhejiang University of Technology（浙江工业大学）；HKUST-GZ（香港科技大学（广州））
本文通过大规模基准测试重新评估大语言模型层剪枝，发现简单剪掉最后25%层并微调lm_head和末三层的策略效果优异，剪枝后的Llama-3.1-8B-It超越多个同规模流行模型。
2024-11-23 cs.CV cs.LG
Pruning Compact ConvNets for Efficient Inference
Meta Platforms Inc.（元平台公司）
神经网络修剪经常用于大量压缩过参数化网络，同时仅导致泛化性能的边际下降。然而，修剪对已经高度优化以实现高效推理的网络的影响并没有得到同样程度的关注。在本文中，我们分析了修剪对计算机视觉的影响，并研究了最先进的ConvNets，如FBNetV3系列模型。我们表明，模型修剪方法可以用于进一步优化通过NAS（神经结构搜索）训练的网络。由此产生的修剪模型系列可以在相同的计算级别上始终获得比现有FBNetV3模型更好的性能，从而在ImageNet基准测试中在计算复杂性和泛化性能之间进行权衡时提供最先进的结果。除了更好的泛化性能外，我们还证明了当有限的计算资源可用时，修剪FBNetV3模型只需要运行全面NAS所需的GPU时间的一小部分。
2023-01-11 cs.CV cs.LG
Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks
Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Zhongguancun Laboratory（中关村实验室）；Sensetime Research（商汤科技研究院）
本文受神经科学临界脑假说启发，提出基于特征信息熵的神经元临界性度量及剪枝-再生方法，在降低高达95.26%剪枝成本的同时超越现有SOTA性能。
2024-11-21 cs.AI cs.CV cs.LG
Hybrid Pruning: Thinner Sparse Networks for Fast Inference on Edge Devices
Movidius, AIPG, Intel（英特尔 AIPG 部门 Movidius 团队）
我们引入了混合修剪，它结合了粗粒度通道和细粒度权重修剪，以减少模型大小，计算和功耗需求，并且在准确性方面没有或几乎没有损失，以便在资源受限的设备上实现现代网络部署，例如始终在线的安全摄像头和无人机。此外，为了有效地执行通道修剪，我们提出了一种快速灵敏度测试，可以帮助我们快速识别网络层内和层间对目标乘法器精度（MAC）或精度容差的输出精度的灵敏度。我们的实验显示，与现有工作相比，ImageNet上的ResNet50的结果明显更好，即使有额外的通道限制，也是硬件友好的数量。
2018-11-01 cs.AI cs.CV cs.NE
Recursive Least Squares for Training and Pruning Convolutional Neural Networks
Hainan University（海南大学）
卷积神经网络（CNN）在许多实际应用中取得了成功。然而，它们的高计算和存储要求通常使它们难以部署在资源受限的设备上。为了解决这个问题，已经提出了许多针对CNN的剪枝算法，但大多数都不能将CNN修剪到合理的水平。在本文中，我们提出了一种新的算法训练和修剪CNN的基础上递归最小二乘（RLS）优化。在训练CNN一些时期后，我们的算法结合逆输入自相关矩阵和权重矩阵来逐层评估和修剪不重要的输入通道或节点。然后，我们的算法将继续训练修剪后的网络，并不会做下一个修剪，直到修剪后的网络恢复旧网络的全部性能。除了CNN，该算法可以用于前馈神经网络（FNN）。在MNIST、CIFAR-10和SVHN数据集上的实验结果表明，该算法能够实现更合理的剪枝，并且具有更高的学习效率。
2022-01-13 cs.CV cs.LG
All-in-One: A Highly Representative DNN Pruning Framework for Edge Devices with Dynamic Power Management
Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）；George Mason University（乔治梅森大学）
在边缘设备上部署深度神经网络（DNN）的过程中，许多研究工作都致力于有限的硬件资源。然而，很少有人注意到动态电源管理的影响。由于边缘设备通常只有电池的能量预算（而不是服务器或工作站上几乎无限的能量支持），它们的动态电源管理通常会改变执行频率，如广泛使用的动态电压和频率缩放（DVFS）技术。这导致推理速度性能非常不稳定，特别是对于计算密集型DNN模型，这可能会损害用户体验并浪费硬件资源。我们首先发现这个问题，然后提出了所有功能于一身，一个高度代表性的修剪框架，使用DVFS的动态电源管理。该框架可以只使用一组模型权重和软掩模（连同其他辅助参数的可忽略的存储）来表示多个模型的各种修剪率。通过将模型重新配置为针对特定执行频率（和电压）的对应修剪比率，我们能够实现稳定的推理速度，即，使各种执行频率下的速度性能差异尽可能小。实验结果表明，该方法不仅对不同剪枝率的多个模型具有较高的准确率，而且在仅使用一个模型和一个软掩码的情况下，以最小的内存消耗降低了不同频率下的推理延迟方差。
2022-12-09 cs.AI cs.CV cs.LG
Robust Pruning at Initialization
University of Oxford（牛津大学）
过参数化神经网络（NN）表现出最先进的性能。然而，越来越需要更小、节能的神经网络，以便能够在计算资源有限的设备上使用机器学习应用程序。一个流行的方法包括使用修剪技术。虽然这些技术传统上集中于修剪预训练的NN（LeCun等人，1990; Hassibi等人，1993），Lee等人（2018）最近的工作在初始化时修剪时显示出有希望的结果。然而，对于深度NN，这样的过程仍然不能令人满意，因为所得到的修剪网络可能难以训练，并且例如，它们不能防止一层被完全修剪。在本文中，我们提供了一个全面的理论分析幅度和梯度的修剪在初始化和训练稀疏架构。这使我们能够提出新的原则性方法，并在各种NN架构上进行实验验证。
2021-05-19 cs.CV cs.LG stat.ML
Adaptive Activation-based Structured Pruning
Arizona State University（亚利桑那州立大学）；Facebook（脸书）
修剪是一种很有前途的压缩复杂深度学习模型的方法，以便将它们部署在资源受限的边缘设备上。然而，许多现有的修剪解决方案是基于非结构化修剪，这产生的模型不能有效地运行在商用硬件上，并需要用户手动探索和调整修剪过程，这是耗时的，往往导致次优的结果。为了解决这些限制，本文提出了一种自适应的，基于激活的，结构化的修剪方法，自动和有效地生成小，准确，硬件效率高的模型，满足用户的需求。首先，它提出了使用基于激活的注意力特征图的迭代结构化修剪，以有效地识别和修剪不重要的过滤器。然后，它提出了自适应修剪策略，自动满足修剪目标的精度关键，内存受限，延迟敏感的任务。综合评估表明，该方法在CIFAR-10和ImageNet数据集上的性能大大优于最先进的结构化剪枝工作。例如，在使用CIFAR-10的ResNet-56上，在没有任何准确性下降的情况下，我们的方法实现了最大的参数减少（79.11%），优于相关工作22.81%至66.07%，以及最大的FLOPs减少（70.13%），优于相关工作14.13%至26.53%。
2023-03-09 cs.AI cs.CV cs.LG
Towards Real-Time DNN Inference on Mobile Platforms with Model Pruning and Compiler Optimization
College of William and Mary（威廉与玛丽学院）；Northeastern University（东北大学）
高端移动平台迅速成为广泛的深度神经网络（DNN）应用的主要计算设备。然而，这些设备上受限的计算和存储资源仍然对实时的【形】DNN推理执行提出了重大挑战。为了解决这个问题，我们提出了一组硬件友好的结构化模型修剪和编译器优化技术，以加速DNN在移动设备上的执行。该演示表明，这些优化可以实现多个DNN应用程序的实时的【形】移动执行，包括样式传输，DNN着色和超分辨率。
2020-04-22 cs.CV cs.LG cs.MM
Operation-Aware Soft Channel Pruning using Differentiable Masks
Seoul National University（首尔大学）
本文提出了一种简单有效的数据驱动的通道修剪算法，该算法利用操作的特性，以可微的方式压缩深度神经网络。所提出的方法联合考虑了用于通道修剪的批量归一化（BN）和校正线性单元（ReLU）;它估计两个连续操作停用每个特征图并以高概率修剪通道的可能性。为此，我们学习个别通道的可微掩码，并在整个优化过程中进行软决策，这有助于探索更大的搜索空间和训练更稳定的网络。该框架使我们能够通过模型参数和通道修剪的联合学习来识别压缩模型，而无需额外的微调过程。我们进行了大量的实验，并在输出网络的准确性方面取得了优异的性能，与最先进的方法相比，具有相同的资源量。
2020-07-22 cs.CV cs.LG stat.ML
Shapley Value as Principled Metric for Structured Network Pruning
ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
结构化修剪是一种众所周知的减少神经网络的存储大小和推理成本的技术。通常的修剪管道包括根据网络内部过滤器和激活对网络性能的贡献对它们进行排名，删除贡献最低的单元，并微调网络以减少修剪引起的危害。最近的结果表明，如果有足够的微调资源，随机修剪的性能与其他指标相当。在这项工作中，我们表明，这是不正确的低数据制度时，微调是不可能的或无效的。在这种情况下，减少修剪造成的危害对于保持网络的性能至关重要。首先，我们分析的问题，估计隐藏单元的贡献与合作博弈论提出的工具，并提出Shapley值作为这项任务的原则性排名度量。我们比较了文献中提出的几种替代方案，并讨论了Shapley值在理论上是如何更可取的。最后，我们比较了低数据修剪的挑战性场景中的所有排名指标，在那里我们展示了Shapley值如何优于其他算法。
2020-06-02 cs.CV cs.LG cs.NE
Joint Device-Edge Inference over Wireless Links with Pruning
Imperial College London（伦敦帝国学院）
我们提出了一种联合特征压缩和传输方案，用于在无线网络边缘进行有效的推断。我们的目标是在边缘服务器上实现高效可靠的推理，假设边缘设备上的计算资源有限。以前的工作主要集中在特征压缩，忽略了信道编码的计算成本。我们结合了最近提出的深度联合信源信道编码（DeepJSCC）方案，并将其与旨在降低神经网络冗余复杂度的新型滤波器修剪策略相结合。我们评估了我们的分类任务的方法，并显示在边缘设备的端到端的可靠性和工作负载减少的改进结果。这是第一项将DeepJSCC与网络修剪相结合的工作，并将其应用于无线边缘的图像分类。
2020-10-20 cs.CV cs.IT cs.LG
QBitOpt: Fast and Accurate Bitwidth Reallocation during Training
Qualcomm AI Research（高通人工智能研究院）
QBitOpt 将位宽分配建模为约束优化问题，在量化感知训练中结合快速敏感度计算与高效求解器，生成保证满足资源约束的高性能混合精度网络，并在 ImageNet 上优于现有方法。
2023-07-10 cs.AI cs.CV cs.LG
Visual Saliency-Guided Channel Pruning for Deep Visual Detectors in Autonomous Driving
Bowling Green State University（鲍灵格林州立大学）
深度神经网络（DNN）修剪已经成为部署在资源受限设备上的事实上的组件，因为它可以减少推理期间的存储器需求和计算成本。特别是，通道修剪由于其结构化的性质和直接节省一般硬件而越来越受欢迎。然而，大多数现有的修剪方法利用不直接相关的任务效用的重要性措施。此外，在文献中很少关注视觉检测模型。为了填补这些空白，我们提出了一种新的基于梯度的视觉检测显着性测度，并使用它来指导我们的通道修剪。在KITTI和COCO流量数据集上的实验证明了我们的修剪方法相对于最先进的竞争方法的有效性和优越性。它甚至可以用比原始模型更少的参数实现更好的性能。我们的修剪在处理小规模对象方面也展示了巨大的潜力。
2023-03-04 cs.CV
Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers
OPPO AI Center（OPPO人工智能中心）；Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本研究提出PPCL方法，通过连续层蒸馏和灵活剪枝技术，在保持图像生成质量的同时实现50%的参数压缩，适用于资源受限环境。
2026-02-24 cs.CV
Unified Start, Personalized End: Progressive Pruning for Efficient 3D Medical Image Segmentation
本文提出PSP-Seg渐进式剪枝框架，通过块级剪枝与功能解耦损失实现动态高效3D分割，在五个数据集上以显著降低的GPU内存、训练时间和参数量达到与nnU-Net相当的性能。
2025-09-11 cs.CV
Explainability-Inspired Layer-Wise Pruning of Deep Neural Networks for Efficient Object Detection
Chhattisgarh Swami Vivekanand Technical University（恰特里什甘地技术大学）
本文提出了一种基于可解释性的分层剪枝方法，通过数据驱动的归因评估层重要性，提升目标检测的效率与性能。
2026-02-15 cs.CV
Lightweight Alpha Matting Network Using Distillation-Based Channel Pruning
Chungnam National University（忠南国立大学）；Pusan National University（釜山国立大学）
最近，阿尔法抠图由于其在自拍等移动应用中的实用性而受到了很多关注。因此，由于商业便携式设备的有限计算资源，存在对轻量级阿尔法抠图模型的需求。为此，我们提出了一种基于蒸馏的alpha抠图网络通道修剪方法。在修剪步骤中，我们删除了学生网络的通道，这些通道对模仿教师网络的知识影响较小。然后，用相同的蒸馏损失训练修剪后的轻量级学生网络。一个轻量级的阿尔法抠图模型，从所提出的方法优于现有的轻量级方法。为了显示我们的算法的优越性，我们提供了各种定量和定性的实验进行深入的分析。此外，我们证明了所提出的基于蒸馏的通道修剪方法的通用性，将其应用到语义分割。
2022-10-14 cs.CV
Optimal channel selection with discrete QCQP
Seoul National University（首尔国立大学）；Samsung Advanced Institute of Technology（三星先进技术研究院）
在将网络部署到资源受限的环境中时，降低大型卷积神经网络的高计算成本至关重要。我们首先展示了最近的通道修剪方法的贪婪方法忽略了相邻层中通道之间固有的二次耦合，并且在修剪过程中不能安全地去除不活动的权重。此外，由于这些无效的权重，贪婪方法不能保证满足给定的资源约束，偏离真正的目标。在这方面，我们提出了一种新的信道选择方法，通过离散QCQP，这可证明防止任何不活动的权重，并保证严格满足资源约束方面的FLOP，内存使用量和网络大小的最佳选择通道。我们还提出了一个二次模型，可以准确地估计修剪网络的实际推理时间，这使得我们可以采用推理时间作为资源约束选项。此外，我们推广我们的方法，以扩展选择粒度以外的渠道和处理非顺序连接。我们在CIFAR-10和ImageNet上的实验表明，我们提出的剪枝方法在各种网络架构上的性能优于其他固定重要性通道剪枝方法。
2022-02-24 cs.CV cs.LG
NEURAL: Attention-Guided Pruning for Unified Multimodal Resource-Constrained Clinical Evaluation
BASIRA Lab, Imperial-X (I-X) and Department of Computing, Imperial College London（BASIRA实验室、Imperial-X（I-X）及帝国理工学院计算机系）
本文提出NEURAL框架，利用视觉语言模型的交叉注意力分数对胸部X光片进行结构化剪枝并转化为图表示，在大幅缩减数据量的同时保持了高诊断性能，解决了资源受限环境下的数据存储与传输难题。
2025-08-13 cs.CV cs.LG
