Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）；University of Sydney（悉尼大学）
参数修剪是一种很有前途的CNN压缩和加速方法，通过消除冗余的模型参数与可容忍的性能下降。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN表达能力的脆弱性，因此需要更温和的正则化方案，以便网络可以在修剪过程中适应。为了实现这一目标，我们提出了一种新的基于正则化的修剪方法，名为IncReg，根据其相对重要性将不同的正则化因子递增分配给不同的权重。在CIFAR-10数据集上的实证分析验证了IncReg的优点。在CIFAR-10和ImageNet数据集上使用流行的CNN进行的进一步广泛的实验表明，与最先进的技术相比，IncReg取得了相当甚至更好的结果。我们的源代码和训练模型可以在这里找到：https://github.com/mingsun-tse/caffe_increg。
2019-04-16 cs.LG stat.ML
Structured Pruning of Large Language Models
ASAPP, Inc.（ASAPP公司）
大语言模型最近已经在各种各样的自然语言任务上实现了最先进的性能。与此同时，这些模型的大小和延迟显著增加，这使得它们的使用成本很高，并提出了一个有趣的问题：语言模型需要很大吗？我们从模型压缩的角度来研究这个问题。我们提出了一个通用的，结构化的修剪方法，通过参数化每个权重矩阵使用其低秩分解，并在训练过程中自适应地去除秩1分量。在语言建模任务上，我们的结构化方法在各种压缩级别上都优于其他非结构化和块结构化修剪基线，同时在训练和推理过程中实现了显着的加速。我们还证明，我们的方法可以应用于修剪自适应词嵌入在大语言模型，并修剪BERT模型的几个下游微调分类基准。
2021-03-28 cs.CL cs.LG stat.ML
Structured Compression by Weight Encryption for Unstructured Pruning and Quantization
Samsung Research（三星研究院）；Harvard University（哈佛大学）
模型压缩技术，例如修剪和量化，对于减少存储器占用和计算量变得越来越重要。尽管模型尺寸减小，但是在设备上实现性能增强仍然具有挑战性，主要是由于稀疏矩阵格式的不规则表示。本文提出了一种新的稀疏量化神经网络权值表示方法，具体采用细粒度非结构化剪枝方法实现。该表示被加密在一个结构化的规则格式，它可以有效地解码通过异或门网络在推理过程中以并行的方式。我们展示了各种深度学习模型，这些模型可以通过我们提出的格式进行压缩和表示，具有固定和高压缩比。例如，对于ImageNet数据集上AlexNet的全连接层，我们可以在固定解码速率和完全内存带宽使用的情况下，仅用0.28位/权重表示1位量化和91%修剪率的稀疏权重。通过XOR门网络的解码可以在没有任何模型精度降级的情况下执行，而附加的补丁数据与小的开销相关联。
2020-03-05 cs.LG stat.ML
IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
IrekoGPT通过保留投影矩阵并逐层校准，将预训练大语言模型转化为推理时可调宽度的可瘦身模型，在Llama和Qwen上优于PCA方法，尤其在高压缩率下。
2026-10-02 cs.LG stat.ML
A Closer Look at Structured Pruning for Neural Network Compression
University of Edinburgh（爱丁堡大学）
结构化修剪是压缩神经网络的一种流行方法：给定一个大型训练网络，在删除通道连接和微调之间交替;减少网络的整体宽度。然而，结构化修剪的功效在很大程度上逃避了审查。在本文中，我们研究了通过结构化修剪和调整获得的ResNets和DenseNets，并进行了两个有趣的观察：（i）简化网络-从头开始训练的原始网络的较小版本-始终优于修剪网络;（ii）如果采用修剪网络的架构，然后从头开始训练它，它会显着更具竞争力。此外，这些架构很容易近似：我们可以修剪一次并获得一系列新的可扩展的网络架构，这些架构可以简单地从头开始训练。最后，我们在硬件上比较了简化和修剪网络的推理速度，并表明简化网络的速度明显更快。代码可在https://github.com/BayesWatch/pytorch-prunes上获得。
2019-06-07 cs.CV cs.LG stat.ML
One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression
Jagiellonian University（雅盖隆大学）；ETH Zürich（苏黎世联邦理工学院）；Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）
本文系统比较了一次性剪枝与迭代剪枝两种策略，发现一次性剪枝在低剪枝率下更有效，而迭代剪枝在高剪枝率下表现更好，并提出了混合方法。
2026-07-01 cs.AI cs.LG
Theoretical Guarantees for One-Shot Magnitude Pruning and Compute-Adaptive Early Exit
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文从统一视角研究神经网络计算缩减，证明一次性幅度剪枝的集中定理，并引入条件感知器早退，其泛化误差随计算差距幂次衰减，扩展至深度网络并验证标度律。
2026-09-14 cs.LG
Structured Model Pruning of Convolutional Networks on Tensor Processing Units
Google（谷歌）
卷积神经网络的部署通常受到高计算和存储要求的阻碍。结构化模型修剪是一种很有前途的方法，以减轻这些要求。以VGG-16模型为例，我们测量了张量处理单元（TPU）上各种结构化模型修剪方法和数据集（CIFAR-10和ImageNet）的准确性-效率权衡。为了衡量模型的实际性能，我们为TensorFlow 2开发了一个结构化的模型修剪库，以就地修改模型（而不是添加掩码层）。我们表明，结构化模型修剪可以显着提高TPU上的模型内存使用率和速度，而不会损失准确性，特别是对于小数据集（例如，CIFAR-10）。
2021-07-21 cs.AR cs.LG
Aligned Weight Regularizers for Pruning Pretrained Neural Networks
Huawei Research Center（华为研究中心）
虽然各种途径的研究已经探索了迭代修剪，很少有人知道修剪有什么影响的zero-shot测试性能和修剪标准的选择其潜在的影响。这种修剪设置对于在预训练期间隐式学习语言表示之间的对齐的跨语言模型特别重要，如果通过修剪而扭曲，不仅会导致用于再训练的语言数据的性能较差，而且还会导致评估的zero-shot语言的性能较差。在这项工作中，我们表明，有一个明显的性能差异，在基于幅度的修剪时，比较标准的监督学习的zero-shot设置。根据这一发现，我们提出了两个权重正则化器，旨在最大限度地提高修剪和未修剪网络单元之间的对齐度，以减轻修剪跨语言模型中的对齐失真，并在非zero-shot和zero-shot设置下表现良好。我们提供的实验结果跨语言任务的zero-shot设置使用XLM-RoBERTa $_{\mathrm{Base}}$，我们还发现，修剪有不同程度的代表性退化取决于对应的语言的zero-shot测试集。这也是第一个研究，重点是跨语言的语言模型压缩。
2022-04-05 cs.CL cs.LG
StructPrune: Structured Global Pruning asymptotics with $\mathcal{O}(\sqrt{N})$ GPU Memory
Emory University（埃默里大学）；Amazon（亚马逊）
提出STRUPRUNE，一种基于ADMM的结构化全局剪枝框架，通过分治策略将全局剪枝分解为协调子问题，将内存从O(N)降至O(√N)，并匹配全局剪枝的困惑度，实现十亿参数规模的高效部署。
2025-09-25 cs.AI cs.LG
Sample-aware Adaptive Structured Pruning for Large Language Models
本文提出AdaPruner框架，通过贝叶斯优化自适应选择校准数据与重要性估计指标，在多种剪枝比例下优于现有结构化剪枝方法，并在20%剪枝时保持97%性能。
2025-03-08 cs.AI cs.CL cs.LG
One-shot Network Pruning at Initialization with Discriminative Image Patches
Ritsumeikan University（立命馆大学）；Hitotsubashi University（一桥大学）；Nagoya University（名古屋大学）；Dalian University of Technology（大连理工大学）
单次网络剪枝（One-shotNetworkPruningatThreshold，OPaI）是一种有效降低网络剪枝代价的方法。最近，越来越多的人认为数据在OPaI中是不必要的。然而，我们得到了相反的结论，烧蚀实验中的两个代表性的OPaI方法，SNIP和GraSP。具体来说，我们发现，信息丰富的数据是至关重要的，以提高修剪性能。在本文中，我们提出了两种新的方法，区分单次网络修剪（DOP）和超级缝合，修剪网络的高层次的视觉区分图像补丁。我们的贡献如下。(1)大量的实验表明，OPaI是数据依赖的。(2)Super Stitching在基准ImageNet上的表现明显优于原始的OPaI方法，特别是在高度压缩的模型中。
2022-10-04 cs.AI cs.CV cs.LG
EGGS-PTP: An Expander-Graph Guided Structured Post-training Pruning Method for Large Language Models
Department of Electrical Engineering and Computer Science University of California, Irvine（电气工程与计算机科学系加州大学伊文斯顿分校）
本文提出EGGS-PTP方法，利用扩展图理论指导大型语言模型的结构化训练后剪枝，在确保网络信息流动的同时减小模型规模，实验证明其在加速、内存节省及准确率上均优于现有技术。
2025-08-13 cs.LG
ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models
Massachusetts Institute of Technology（麻省理工学院）
ALPS提出基于算子分裂与预条件共轭梯度的优化剪枝框架，在高度稀疏的LLM上显著降低困惑度并提升零样本性能。
2025-09-08 cs.LG
How to Score Experts for One-Shot MoE Expert Pruning: A Systematic Formulation and Selection Principle
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
提出一次性MoE专家剪枝的统一公式，基于路由频率、门控权重和激活强度三个因素，推导出任务无关剪枝应使用基于激活的准则，任务特定剪枝可保留路由频率和门控信息，并据此提出两种新准则MAN和MSAN，在多个模型和基准上取得最优性能。
2026-11-02 cs.LG
Iterative Activation-based Structured Pruning
Amazon.com Inc.（亚马逊公司）；AWS Arizona State University（亚马逊云服务亚利桑那州立大学）；Arizona State University（亚利桑那州立大学）
在边缘设备上部署复杂的深度学习模型具有挑战性，因为它们具有大量的计算和内存资源需求，而边缘设备的资源预算是有限的。为了解决这个问题，人们提出了广泛的修剪技术来压缩网络。基于彩票假说（LTH）的最新进展表明，迭代模型修剪往往会产生更小，更准确的模型。然而，LTH研究集中在非结构化修剪，这是硬件效率低下，难以在硬件平台上加速。在本文中，我们研究迭代修剪结构化修剪的背景下，因为结构修剪模型映射商品硬件。我们发现，直接应用一个结构化的基于权重的修剪技术迭代，称为迭代L1范数为基础的修剪（ILP），不产生准确的修剪模型。为了解决这个问题，我们提出了两种基于激活的剪枝方法，迭代激活剪枝（IAP）和自适应迭代激活剪枝（AIAP）。我们观察到，只有1%的准确率损失，IAP和AIAP在LeNet-5上实现了7.75倍和15.88倍的压缩，在ResNet-50上实现了1.25倍和1.71倍的压缩，而ILP分别实现了4.77倍和1.13倍。
2022-01-22 cs.AI cs.LG
AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates
Northeastern University（东北大学）；Syracuse University（雪城大学）；DiDi AI Labs（滴滴人工智能实验室）；University of Michigan（密歇根大学）
结构化权重剪枝是DNN的一种典型模型压缩技术，用于减少存储和计算需求并加速推理。由于大量的灵活的超参数，一个自动的超参数确定过程是必要的。本文提出了一种自动结构化剪枝框架AutoCompress，该框架具有以下关键性能改进：（i）有效地将结构化剪枝方案的组合纳入自动过程;（ii）采用最先进的基于ADMM的结构化权重剪枝作为核心算法，并提出了一种创新的额外纯化步骤，以进一步降低权重而不损失准确性;以及（iii）开发有效的启发式搜索方法，并通过基于经验的引导搜索进行增强，以取代现有的深度强化学习技术，该技术与目标修剪问题存在潜在的不兼容性。在CIFAR-10和ImageNet数据集上进行的大量实验表明，AutoCompress是在权重和FLOP数量上实现超高剪枝率的关键。例如，在相同的精度下，AutoCompress在修剪率方面比先前的自动模型压缩工作高出33倍（实际参数计数减少120倍）。在智能手机上的实际测量中，从AutoCompress框架中观察到了显著的推理加速。我们在匿名链接发布本作品的所有模型：http://bit.ly/2VZ63dS。
2019-09-11 cs.AI cs.CV cs.LG
SlimLLM: Accurate Structured Pruning for Large Language Models
针对大型语言模型计算成本高的问题，提出快速结构化剪枝方法SlimLLM，通过整体评估通道与注意力头重要性、线性回归恢复性能及层级剪枝比率分配，在LLaMA基准上达到最优。
2025-05-28 cs.LG
What Matters In The Structured Pruning of Generative Language Models?
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
自回归大语言模型（如GPT-3）需要使用大量的计算资源。传统上，采用结构化剪枝方法来减少资源使用。然而，他们的应用程序和生成语言模型的有效性是严重不足的探索。在本文中，我们进行了一个全面的评价，常见的结构化修剪方法，包括幅度，随机和运动的GPT型模型的前馈层修剪。出乎意料的是，随机修剪的结果是在多个自然语言生成任务的性能是最好的建立的方法。为了理解这些结果，我们提供了一个框架，用于测量通过不同方法修剪的模型的神经元级冗余，并发现已建立的结构化修剪方法没有考虑到神经元的独特性，留下了多余的冗余。有鉴于此，我们引入全局唯一运动（GUM）来改善修剪模型中神经元的唯一性。然后，我们讨论了我们的技术对不同的冗余度量的影响，以解释改进的性能。
2023-02-07 cs.CL cs.LG
Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks
Tongji University（同济大学）
针对基于迭代幅度剪枝的图彩票假设方法计算成本高的问题，提出一次性剪枝去噪框架，实现了更高稀疏度与更快速度的双赢。
2024-12-10 cs.LG
Single-Shot Pruning for Offline Reinforcement Learning
Mila, McGill University（麦吉尔大学 Mila 研究院）；Georgia Institute of Technology（佐治亚理工学院）；Georgia State University（佐治亚州立大学）；DeepMind
深度强化学习（RL）是解决复杂现实问题的强大框架。在框架中采用的大型神经网络传统上与更好的泛化能力相关联，但是它们的增加的大小带来了大量训练时间、大量硬件资源和更长的推理时间的缺点。解决这个问题的一种方法是修剪神经网络，只留下必要的参数。用于施加稀疏性的最先进并发修剪技术在数据分布固定的应用程序中表现出色。然而，它们尚未在RL的背景下进行实质性探索。我们关闭RL和单镜头修剪技术之间的差距，并提出了一个一般的修剪方法离线RL。我们利用固定的数据集在RL训练开始之前修剪神经网络。然后，我们运行的实验，不同的网络稀疏度水平和评估的有效性修剪在连续控制任务的初始化技术。我们的研究结果表明，在95%的网络权重被修剪的情况下，Offline-RL算法在我们的大多数实验中仍然可以保持性能。据我们所知，在RL中使用修剪的先前工作在如此高的稀疏性水平下保留了性能。此外，初始化修剪技术可以很容易地集成到任何现有的离线RL算法，而不改变学习目标。
2021-12-31 cs.LG
Structured Pruning of Deep Convolutional Neural Networks
Seoul National University（首尔大学）
深度学习算法的实时的应用经常受到高计算复杂性和频繁的存储器访问的阻碍。网络剪枝是解决这一问题的一种很有前途的技术。然而，修剪通常会导致不规则的网络连接，不仅需要额外的表示工作，而且不适合并行计算。我们介绍了卷积神经网络在不同尺度下的结构稀疏性，包括通道稀疏性、核稀疏性和核内稀疏性。这种结构化稀疏性对于嵌入式计算机、并行计算环境和基于硬件的系统上的直接计算资源节省是非常有利的。为了确定网络连接和路径的重要性，所提出的方法使用粒子滤波方法。每个粒子的重要性权重分配通过计算相应的连接模式的错误分类率。修剪后的网络被重新训练，以补偿由于修剪而造成的损失。在实现卷积矩阵产品，我们特别表明，内核内跨越稀疏与一个简单的约束，可以显着降低内核和特征映射矩阵的大小。最终对修剪后的网络进行定点优化，降低了字长精度。这导致总存储大小的显著减小，从而为基于片上存储器的深度神经网络的实现提供优势。
2015-12-29 cs.LG cs.NE stat.ML
i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery
Rice University（莱斯大学）
提出了一种新的神经网络结构化剪枝算法--迭代稀疏结构化剪枝算法（i-SpaSP）。受稀疏信号恢复思想的启发，i-SpaSP通过迭代识别更大的重要参数组（例如，过滤器或神经元），然后基于较小的、预定义的修剪比率对这些组进行阈值化。对于具有ReLU激活的两层和多层网络架构，我们显示了i-SpaSP修剪引起的误差多项式衰减，其中该多项式的次数根据密集网络隐藏表示的稀疏性变得任意大。在我们的实验中，i-SpaSP在各种数据集上进行了评估（即，MNIST、ImageNet和XNLI）和架构（即，前馈网络，ResNet 34，MobileNetV 2，和BERT），其中它被证明发现高性能的子网络，并提高了几个数量级的可证明的基线方法的修剪效率。简而言之，i-SpaSP易于使用自动微分实现，获得了强有力的经验结果，具有理论收敛保证，并且效率高，因此成为少数几个计算效率高，实用且可证明的修剪算法之一。
2022-03-29 cs.AI cs.LG math.OC
Non-Structured DNN Weight Pruning -- Is It Beneficial in Any Platform?
大型深度神经网络（DNN）模型对能效提出了关键挑战，因为片外DRAM访问的能耗显著高于算术或SRAM操作。这就从两个方面推动了对模型压缩的深入研究。权重修剪利用了权重数量的冗余，并且可以以非结构化方式执行，其具有更高的灵活性和修剪率，但由于不规则的权重而导致索引访问，或者以结构化方式执行，其以较低的修剪率保留完整的矩阵结构。权重量化利用权重中的位数的冗余。与修剪相比，量化更加硬件友好，并且已经成为FPGA和ASIC实现的“必做”步骤。本文首次对这一问题给出了明确的答案。首先，我们建立ADMM-NN-S扩展和增强ADMM-NN，最近提出的联合权重修剪和量化框架。其次，我们开发了一种方法，公平和基本的比较非结构化和结构化修剪的存储和计算效率。我们的研究结果表明，ADMM-NN-S始终优于现有技术：（i）它在LeNet-5，AlexNet和ResNet-50上分别实现了348倍，36倍和8倍的整体权重修剪，（几乎）零精度损失;（ii）我们证明了第一个完全二进制化的（所有层）DNN在许多情况下可以在精度上无损。这些结果为我们的研究提供了强有力的基线和可信度。基于所提出的比较框架，在相同的精度和量化，结果表明，非结构化剪枝是没有竞争力的存储和计算效率方面。因此，我们得出结论，非结构化修剪被认为是有害的。我们敦促社区不要继续DNN推理加速非结构化稀疏性。
2020-01-07 cs.AI cs.CV cs.LG
FASP: Fast and Accurate Structured Pruning of Large Language Models
The University of Hong Kong（香港大学）；Huawei Cloud（华为云）
针对大语言模型部署的算力与内存瓶颈，本文提出新型结构化剪枝框架FASP，通过关联连续层的剪枝结构、高效剪枝度量与权重恢复机制，在OPT、LLaMA系列模型上实现了更优性能与极快的剪枝速度。
2025-01-16 cs.LG
A One-Shot Reparameterization Method for Reducing the Loss of Tile Pruning on DNNs
Osaka University（大阪大学）；University of Electronic Science and Technology of China（电子科技大学）
最近，瓦片修剪已经被广泛研究以加速深度神经网络（DNN）的推理。然而，我们发现，由于瓦片修剪，可以消除重要元素和不重要元素，在训练的DNN上损失很大。在这项研究中，我们提出了一个一次性的重新参数化方法，称为TileTrans，以减少瓷砖修剪的损失。具体来说，我们重新配置权重矩阵的行或列，使得模型架构在重新参数化后保持不变。这种重新排列实现了DNN模型的重新参数化，而无需任何重新训练。所提出的重新参数化方法将重要元素组合到同一个瓦片中，从而在瓦片修剪后保留重要元素。此外，TileTrans可以无缝集成到现有的瓦片修剪方法中，因为它是在修剪之前执行的预处理方法，这与大多数现有方法正交。实验结果表明，我们的方法是必不可少的减少损失的瓷砖修剪DNN。具体来说，AlexNet的准确性提高了17%，而ResNet-34的准确性提高了5%，其中两个模型都在ImageNet上进行了预训练。
2022-07-29 cs.CV cs.LG
Adaptive Structured Pruning of Convolutional Neural Networks for Time Series Classification
Monash University（墨尔本大学）
本文提出动态结构化剪枝方法，通过实例级稀疏损失和全局激活分析实现卷积神经网络在时间序列分类中的高效压缩，保持分类精度并提升部署效率。
2026-02-13 cs.LG
Progressive Binarization with Semi-Structured Pruning for LLMs
Shanghai Jiao Tong University（上海交通大学）；ETH Zürich（苏黎世联邦理工学院）
针对二值化 LLM 仍有冗余且直接剪枝会严重降质的问题，提出 PBS²P 训练后框架，通过 SPBO 联合优化渐进稀疏与二值化，并以 CFS 分配剪枝比例和细化元素选择，在困惑度及下游任务上优于现有 SOTA 二值 PTQ 方法。
2025-09-27 cs.LG
Structured Pruning for Multi-Task Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究多任务深度神经网络的结构化剪枝，提出基于多任务学习的滤波器重要性评估准则，并通过实验表明不同剪枝方法在参数相近时性能差异不大，且随机初始化重训练优于极端迭代剪枝。
2023-04-13 cs.AI cs.LG
Adaptive Activation-based Structured Pruning
Arizona State University（亚利桑那州立大学）；Facebook（脸书）
修剪是一种很有前途的压缩复杂深度学习模型的方法，以便将它们部署在资源受限的边缘设备上。然而，许多现有的修剪解决方案是基于非结构化修剪，这产生的模型不能有效地运行在商用硬件上，并需要用户手动探索和调整修剪过程，这是耗时的，往往导致次优的结果。为了解决这些限制，本文提出了一种自适应的，基于激活的，结构化的修剪方法，自动和有效地生成小，准确，硬件效率高的模型，满足用户的需求。首先，它提出了使用基于激活的注意力特征图的迭代结构化修剪，以有效地识别和修剪不重要的过滤器。然后，它提出了自适应修剪策略，自动满足修剪目标的精度关键，内存受限，延迟敏感的任务。综合评估表明，该方法在CIFAR-10和ImageNet数据集上的性能大大优于最先进的结构化剪枝工作。例如，在使用CIFAR-10的ResNet-56上，在没有任何准确性下降的情况下，我们的方法实现了最大的参数减少（79.11%），优于相关工作22.81%至66.07%，以及最大的FLOPs减少（70.13%），优于相关工作14.13%至26.53%。
2023-03-09 cs.AI cs.CV cs.LG
WUSPruner: Second-Moment-Optimal Transforms for Structured Pruning
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；ISTA（奥地利科学技术研究所）
WUSPruner是用于大语言模型结构化剪枝的变换框架，通过联合激活与权重统计的WUS变换优化基选择，在多基准测试中优于基线，可降低推理延迟与内存使用。
2026-10-14 cs.LG
Cut Inner Layers: A Structured Pruning Strategy for Efficient U-Net GANs
Nota Inc.（Nota公司）
剪枝有效地压缩了过度参数化的模型。尽管成功的修剪方法的歧视性模型，将它们应用于生成模型已经相对较少。本文对条件GANs的U-Net生成器进行了结构化剪枝。每层的敏感性分析证实，许多不必要的过滤器存在于最内层的瓶颈附近，可以大幅修剪。基于这一观察，我们从多个内层中修剪这些过滤器，或者通过完全消除这些层来建议替代架构。我们使用Pix 2 Pix进行图像到图像的翻译，使用Wav 2Lip进行语音驱动的说话人脸生成。我们的方法优于全局修剪基线，证明了正确考虑U-Net生成器修剪位置的重要性。
2022-06-29 cs.CV cs.LG
Automatic Attention Pruning: Improving and Automating Model Pruning using Attentions
Arizona State University（亚利桑那州立大学）；Meta
修剪是压缩深度学习模型以便将其部署在资源受限的边缘设备上的一种有前途的方法。然而，许多现有的修剪解决方案是基于非结构化修剪，这产生的模型不能有效地运行在商用硬件上;并且它们通常需要用户手动探索和调整修剪过程，这是耗时的，并且通常导致次优结果。为了解决这些限制，本文提出了自动注意力修剪（AAP），一个自适应的，基于注意力的，结构化的修剪方法，自动生成小，准确，硬件效率高的模型，满足用户的目标。首先，它提出了使用基于激活的注意力地图的迭代结构化修剪，以有效地识别和修剪不重要的过滤器。然后，它提出了自适应修剪策略，自动满足修剪目标的精度关键，内存受限，延迟敏感的任务。一个全面的评估表明，AAP大大优于国家的最先进的结构化修剪工程的各种模型架构。我们的代码位于：https://github.com/kaiqi123/Automatic-Attention-Pruning.git。
2023-03-14 cs.LG
Structured Deep Neural Network Pruning via Matrix Pivoting
UC Berkeley（加州大学伯克利分校）；numericcal
深度神经网络（DNN）是最先进的机器视觉、传感器融合和音频/视频信号处理的关键。不幸的是，它们的计算复杂性和边缘上的严格资源限制使得它们很难在移动，嵌入式和物联网设备上利用。由于边缘设备的多样性，DNN设计人员必须在网络培训期间考虑硬件平台和应用需求。在这项工作中，我们通过矩阵旋转引入修剪，通过在架构无关的设计灵活性和架构感知修剪的性能效率之间进行妥协来改善网络修剪，这是获得资源高效DNN的两种主要技术。我们还描述了本地和全局网络优化技术，从而有效地实现修剪网络。在组合中，所提出的修剪和实现导致在修剪期间随着网络系数的减少而接近线性加速。
2017-12-01 cs.LG
Preserving Deep Representations In One-Shot Pruning: A Hessian-Free Second-Order Optimization Framework
MIT（麻省理工学院）；MIT Operations Research Center（麻省理工学院运筹学中心）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；MIT Center for Statistics（麻省理工学院统计中心）
针对现有单次剪枝方法未考虑深层网络表示的问题，提出SNOWS框架，通过优化考虑深层非线性激活的全局重构目标，结合无需海森矩阵的二阶优化高效求解，可适配现有稀疏掩码，在残差网络和ViT等基准上取得SOTA结果。
2024-11-27 cs.LG
Structured Pruning of Recurrent Neural Networks through Neuron Selection
University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）；Peng Cheng Lab（鹏城实验室）
循环神经网络（RNN）最近在许多应用中取得了显著的成功。然而，这些模型的巨大尺寸和计算负担使得它们难以在边缘设备上部署。一种实际有效的方法是通过网络修剪技术来降低RNN的总体存储和计算成本。尽管基于Lasso的剪枝方法得到了成功的应用，但它们要么在权重矩阵中产生不规则的稀疏模式，这对实际加速没有帮助。为了解决这些问题，我们提出了结构化修剪方法，通过神经元选择，可以减少RNN的基本结构的大小。更具体地说，我们引入了两组二进制随机变量，它们可以被解释为输入神经元和隐藏神经元的门或开关。我们证明了相应的优化问题可以通过最小化权矩阵的L0范数来解决。最后，在语言建模和机器阅读理解任务上的实验结果表明，与现有的剪枝算法相比，该方法具有明显的优势.特别是，在Penn TreeBank数据集上，语言模型在推理过程中实现了近20倍的实际加速，而没有损失性能，表明所提出的方法具有良好的性能
2019-12-08 cs.LG cs.NE stat.ML
Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究）
Bonsai通过仅前向传递的扰动剪枝方法，实现了无需反向传播的高效结构化剪枝，显著降低内存和计算成本，同时提升模型压缩效率和性能。
2026-01-22 cs.CL cs.LG
Exploring the Trade-Off Between Structured Pruning and Fault Tolerance in Deep Neural Networks for Space Applications
Magics Technologies；KU Leuven（鲁汶大学）；Flanders Make
本文实证研究深度神经网络宽度与容错性的权衡，发现结构化剪枝虽增加单次推理故障敏感性，但缩短执行时间可抵消风险，实现节能降延迟且不损可靠性，为空间AI系统设计提供指导。
2026-10-19 cs.LG
STUN: Structured-Then-Unstructured Pruning for Scalable MoE Pruning
Snowflake AI Research（Snowflake AI研究院）；Seoul National University（首尔国立大学）
本文提出 STUN 方法，通过先利用专家行为相似性进行 O(1) 复杂度的结构化专家剪枝、再进行非结构化剪枝，在 480B 规模 MoE 上以极低计算成本实现 40% 稀疏度下几乎无损的性能。
2025-07-21 cs.CL cs.LG
CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Transformers
Purdue University（普渡大学）
CORP提出一种闭式单次结构剪枝方法，通过未标记校准数据去除MLP维度和注意力子结构，无需梯度或微调，实现高精度下的高效模型压缩。
2026-05-10 cs.CV cs.LG
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University（东北大学）；IBM Watson Lab（IBM Watson实验室）
结构化权重修剪是DNN的代表性模型压缩技术，用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间，因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制，我们提出了SS-Auto，一个单次，自动结构化修剪框架，可以同时实现行修剪和列修剪。我们采用软约束为基础的配方，以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法，更快的收敛速度和更少的超参数。而不是直接解决问题，提出了一个Primal-Proximal解决方案，以避免惩罚所有权重相等的陷阱，从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明，该框架可以在保持准确性的同时实现超高的剪枝率。此外，通过对智能手机的实际测量，从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
One-Cycle Structured Pruning via Stability-Driven Subnetwork Search
IT Application Research Center, Korea Electronics Technology Institute（韩国电子技术研究所应用信息技术中心）；Department of Intelligent Semiconductors, Soongsil University（顺慈大学智能半导体系）；Department of Computer Science & Engineering, Seoul National University（首尔国立大学计算机科学与工程系）
本文提出了一种高效的单次循环结构化剪枝框架，通过稳定性驱动的子网络搜索提升剪枝效率和准确性。
2025-12-17 cs.AI cs.CV cs.LG
QPruner: Probabilistic Decision Quantization for Structured Pruning in Large Language Models
Fudan University（复旦大学）；JF SmartInvest Holdings（JF智投控股）；Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；Soochow University（苏州大学）
QPruner通过结构化剪枝与逐层混合精度量化及贝叶斯优化，在降低内存消耗的同时保持或提升大型语言模型性能。
2024-12-16 cs.LG
Lightweight and Post-Training Structured Pruning for On-Device Large Lanaguage Models
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
提出轻量级训练后结构化剪枝方法COMP，采用混合粒度策略和矩阵条件度量，通过掩码调整恢复准确率，在LLaMA-2-7B上实现性能提升并大幅降低内存开销。
2025-01-25 cs.AI cs.LG
Rapid Deployment of DNNs for Edge Computing via Structured Pruning at Initialization
School of Computer Science, University of St Andrews（圣安德鲁斯大学计算机学院）；Rakuten Mobile, Inc.（乐天移动公司）
本文提出初始化时结构化剪枝系统Reconvene，通过识别并剪除对结构化剪枝最不敏感的卷积层，在数秒内生成体积缩小最高16.21倍、速度提升2倍且精度不变的边缘部署DNN模型。
2024-04-22 cs.AI cs.LG
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）
参数修剪是CNN压缩和加速的一种有前途的方法，通过消除冗余的模型参数，具有可容忍的性能损失。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN的表达能力是脆弱的，并且需要更温和的正则化方式来使网络在修剪过程中适应。为了解决这个问题，我们提出了一种新的基于正则化的修剪方法（名为IncReg），根据其相对重要性将不同的正则化因子递增地分配给不同的权重组，与最先进的方法相比，其有效性在流行的CNN上得到了证明。
2018-12-18 cs.CV cs.LG
Transfer Learning for Structured Pruning under Limited Task Data
CMU（卡内基梅隆大学）；Apple（苹果公司）
针对结构化剪枝需大量任务数据的问题，提出结合迁移学习的框架，通过探究任务耦合、参数迁移及引入时机，实现剪枝模型泛化性能优于强基线。
2023-11-10 cs.CL cs.LG
TraceNAS: Zero-shot LLM Pruning via Gradient Trace Correlation
TraceNAS通过梯度轨迹相关性实现零样本LLM剪枝，高效发现高保真剪枝模型，减少GPU计算成本并提升模型性能。
2026-02-02 cs.CL cs.LG
SPAP: Structured Pruning via Alternating Optimization and Penalty Methods
Department of Mathematics The University of Hong Kong（数学系香港大学）
本文提出基于交替优化与罚方法的LLM结构化剪枝框架SPAP，通过混合整数优化建模和交替最小化算法，在OPT、LLaMA等模型上实现线性加速与内存降低，同时保持性能。
2025-05-06 cs.AI cs.LG math.OC
Structured vs. Unstructured Pruning: An Exponential Gap
Department of Informatics, King’s College London（伦敦国王学院信息学院）
研究随机初始化网络中剪枝的局限性，证明神经元剪枝需要指数级更大的网络规模才能达到与非结构化剪枝相同的近似精度。
2026-06-12 cs.AI cs.LG
R-TOSS: A Framework for Real-Time Object Detection using Semi-Structured Pruning
Colorado State University（科罗拉多州立大学）
在自动驾驶车辆中使用的物体检测器可能具有高存储器和计算开销。在本文中，我们介绍了一种新的半结构化修剪框架称为R-TOSS，克服了国家的最先进的模型修剪技术的缺点。在JetsonTX 2上的实验结果表明，R-TOSS在YOLOv 5对象检测器上的压缩率为4.4倍，推理时间加速了2.15倍，能耗降低了57.01%。R-TOSS还可以在RetinaNet上实现2.89倍的压缩，推理时间加速1.86倍，能源使用减少56.31%。我们还展示了显着的改进相比，各种国家的最先进的修剪技术。
2023-03-03 cs.AI cs.CV cs.LG
Correlation-Aware Structured Pruning for Large Language Models
Tsinghua University（清华大学）；Huawei Tech. Co. Ltd.（华为技术有限公司）
针对现有结构化剪枝忽略单元间关联的问题，提出关联感知剪枝方法，通过建模依赖的二次规划与贪婪算法优化选择，实现自适应层间稀疏分配，在主流LLMs上取得有竞争力的精度-效率权衡。
2026-09-22 cs.CL cs.LG
Catalyst: a Novel Regularizer for Structured Pruning with Auxiliary Extension of Parameter Space
本文提出 Catalyst 正则化器，在扩展参数空间中利用辅助变量实现零幅值偏置和宽裕度分叉的结构化剪枝，并在多种数据集和模型上验证其公平性、鲁棒性及优于现有方法的性能。
2025-07-10 cs.AI cs.LG
Accelerating DNN Training with Structured Data Gradient Pruning
Franklin & Marshall College（富兰克林与马歇尔学院）
权重修剪是一种通过减少训练过程中模型参数的数量来使深度神经网络（DNN）推理在计算上更高效的技术。然而，大多数权重修剪技术通常不会加速DNN训练，甚至可能需要更多的迭代来达到模型收敛。在这项工作中，我们提出了一种新的结构化数据梯度修剪（SDGP）方法，可以在不影响模型收敛的情况下加快训练速度。这种方法强制执行一个特定的稀疏结构，其中矩阵中的每M个元素中只有N个可以是非零的，使其适合硬件加速。现代加速器（如Nvidia A100 GPU）支持这种类型的结构化稀疏性，即每4个元素中有2个非零。假设硬件支持2：4稀疏度，我们的方法可以实现15- 25%的总训练时间减少，而不会对性能产生显着影响。源代码和预训练模型可在\url{https://github.com/BradMcDanel/sdgp}上获得。
2022-02-01 cs.CV cs.LG
