Structured Deep Neural Network Pruning via Matrix Pivoting
UC Berkeley（加州大学伯克利分校）；numericcal
深度神经网络（DNN）是最先进的机器视觉、传感器融合和音频/视频信号处理的关键。不幸的是，它们的计算复杂性和边缘上的严格资源限制使得它们很难在移动，嵌入式和物联网设备上利用。由于边缘设备的多样性，DNN设计人员必须在网络培训期间考虑硬件平台和应用需求。在这项工作中，我们通过矩阵旋转引入修剪，通过在架构无关的设计灵活性和架构感知修剪的性能效率之间进行妥协来改善网络修剪，这是获得资源高效DNN的两种主要技术。我们还描述了本地和全局网络优化技术，从而有效地实现修剪网络。在组合中，所提出的修剪和实现导致在修剪期间随着网络系数的减少而接近线性加速。
2017-12-01 cs.LG
Exploring the Trade-Off Between Structured Pruning and Fault Tolerance in Deep Neural Networks for Space Applications
Magics Technologies；KU Leuven（鲁汶大学）；Flanders Make
本文实证研究深度神经网络宽度与容错性的权衡，发现结构化剪枝虽增加单次推理故障敏感性，但缩短执行时间可抵消风险，实现节能降延迟且不损可靠性，为空间AI系统设计提供指导。
2026-10-19 cs.LG
QPruner: Probabilistic Decision Quantization for Structured Pruning in Large Language Models
Fudan University（复旦大学）；JF SmartInvest Holdings（JF智投控股）；Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；Soochow University（苏州大学）
QPruner通过结构化剪枝与逐层混合精度量化及贝叶斯优化，在降低内存消耗的同时保持或提升大型语言模型性能。
2024-12-16 cs.LG
Structured Model Pruning of Convolutional Networks on Tensor Processing Units
Google（谷歌）
卷积神经网络的部署通常受到高计算和存储要求的阻碍。结构化模型修剪是一种很有前途的方法，以减轻这些要求。以VGG-16模型为例，我们测量了张量处理单元（TPU）上各种结构化模型修剪方法和数据集（CIFAR-10和ImageNet）的准确性-效率权衡。为了衡量模型的实际性能，我们为TensorFlow 2开发了一个结构化的模型修剪库，以就地修改模型（而不是添加掩码层）。我们表明，结构化模型修剪可以显着提高TPU上的模型内存使用率和速度，而不会损失准确性，特别是对于小数据集（例如，CIFAR-10）。
2021-07-21 cs.AR cs.LG
StructPrune: Structured Global Pruning asymptotics with $\mathcal{O}(\sqrt{N})$ GPU Memory
Emory University（埃默里大学）；Amazon（亚马逊）
提出STRUPRUNE，一种基于ADMM的结构化全局剪枝框架，通过分治策略将全局剪枝分解为协调子问题，将内存从O(N)降至O(√N)，并匹配全局剪枝的困惑度，实现十亿参数规模的高效部署。
2025-09-25 cs.AI cs.LG
Deep Microcompression: Structured Pruning and Bit-packed Quantization for Microcontrollers
PowerLabs Technologies（PowerLabs科技公司）
本文提出面向裸机微控制器的硬件感知深度学习压缩流水线Deep Microcompression，整合结构化剪枝等技术，在LeNet-5上实现高压缩比，还实现了标准CNN在2KB SRAM的ATmega328P上的部署。
2026-09-07 cs.LG
NIRVANA: Structured Pruning Reimagined for Large Language Model Compression
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对大语言模型结构化剪枝中性能下降等问题，提出NIRVANA框架。通过函数空间显著性评估结构重要性，引入全局单元排序等策略，消除随机采样不稳定问题，在多架构上广泛评估，取得新的最优结果，为模型压缩提供实用方法。
2026-07-21 cs.LG
Single Shot Structured Pruning Before Training
University of Oxford（牛津大学）
我们介绍了一种使用在训练前应用的结构化修剪来将深度神经网络中的训练速度加快2倍并将推理速度加快3倍的方法。与以前在训练前修剪单个权重的工作不同，我们的工作开发了一种方法来删除整个通道和隐藏单元，其明确目标是加快训练和推理。我们引入了一个计算感知的评分机制，使修剪单位的灵敏度每FLOP删除，允许更大的速度。我们的方法快速，易于实现，并且在训练开始之前只需要对一批数据进行一次向前/向后传递即可完成修剪。
2020-07-01 cs.LG stat.ML
COEC: Calibrated Orthogonal-Equivalence Compensation for Structured Pruning of Large Language Models
本研究提出无训练补偿框架COEC，将其应用于Llama-3等模型的结构化剪枝，可提升剪枝后模型的困惑度与零样本准确率，在高稀疏度下增益更显著。
2026-08-24 cs.LG
Iterative Activation-based Structured Pruning
Amazon.com Inc.（亚马逊公司）；AWS Arizona State University（亚马逊云服务亚利桑那州立大学）；Arizona State University（亚利桑那州立大学）
在边缘设备上部署复杂的深度学习模型具有挑战性，因为它们具有大量的计算和内存资源需求，而边缘设备的资源预算是有限的。为了解决这个问题，人们提出了广泛的修剪技术来压缩网络。基于彩票假说（LTH）的最新进展表明，迭代模型修剪往往会产生更小，更准确的模型。然而，LTH研究集中在非结构化修剪，这是硬件效率低下，难以在硬件平台上加速。在本文中，我们研究迭代修剪结构化修剪的背景下，因为结构修剪模型映射商品硬件。我们发现，直接应用一个结构化的基于权重的修剪技术迭代，称为迭代L1范数为基础的修剪（ILP），不产生准确的修剪模型。为了解决这个问题，我们提出了两种基于激活的剪枝方法，迭代激活剪枝（IAP）和自适应迭代激活剪枝（AIAP）。我们观察到，只有1%的准确率损失，IAP和AIAP在LeNet-5上实现了7.75倍和15.88倍的压缩，在ResNet-50上实现了1.25倍和1.71倍的压缩，而ILP分别实现了4.77倍和1.13倍。
2022-01-22 cs.AI cs.LG
What Matters In The Structured Pruning of Generative Language Models?
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
自回归大语言模型（如GPT-3）需要使用大量的计算资源。传统上，采用结构化剪枝方法来减少资源使用。然而，他们的应用程序和生成语言模型的有效性是严重不足的探索。在本文中，我们进行了一个全面的评价，常见的结构化修剪方法，包括幅度，随机和运动的GPT型模型的前馈层修剪。出乎意料的是，随机修剪的结果是在多个自然语言生成任务的性能是最好的建立的方法。为了理解这些结果，我们提供了一个框架，用于测量通过不同方法修剪的模型的神经元级冗余，并发现已建立的结构化修剪方法没有考虑到神经元的独特性，留下了多余的冗余。有鉴于此，我们引入全局唯一运动（GUM）来改善修剪模型中神经元的唯一性。然后，我们讨论了我们的技术对不同的冗余度量的影响，以解释改进的性能。
2023-02-07 cs.CL cs.LG
Sample-aware Adaptive Structured Pruning for Large Language Models
本文提出AdaPruner框架，通过贝叶斯优化自适应选择校准数据与重要性估计指标，在多种剪枝比例下优于现有结构化剪枝方法，并在20%剪枝时保持97%性能。
2025-03-08 cs.AI cs.CL cs.LG
Structured Sparsity and Weight-adaptive Pruning for Memory and Compute efficient Whisper models
Indian Institute of Technology Madras, India（印度理工学院马德拉斯分校）；National Institute of Technology Karnataka, Surathkal（卡纳塔克国家理工学院，苏拉特卡尔）
提出结构化稀疏与权重自适应剪枝框架，在保持WER不降的前提下，显著减少Whisper模型参数、内存和FLOPs，并优于现有剪枝方法。
2025-10-14 cs.LG
Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score
Yonsei University（延世大学）
提出一种无需训练的维度级结构化剪枝方法DIET，通过跨任务激活幅度多数投票构建全局掩码，在保持任务感知能力的同时避免高昂训练成本，在Gemma-2模型上显著提升剪枝后准确率。
2026-10-20 cs.LG
ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
ARMOR通过自适应矩阵分解技术，实现高效的半结构化剪枝，保留模型质量的同时提升压缩效率和任务准确性。
2026-04-03 cs.LG
Structured Pruning for Multi-Task Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究多任务深度神经网络的结构化剪枝，提出基于多任务学习的滤波器重要性评估准则，并通过实验表明不同剪枝方法在参数相近时性能差异不大，且随机初始化重训练优于极端迭代剪枝。
2023-04-13 cs.AI cs.LG
Cut Inner Layers: A Structured Pruning Strategy for Efficient U-Net GANs
Nota Inc.（Nota公司）
剪枝有效地压缩了过度参数化的模型。尽管成功的修剪方法的歧视性模型，将它们应用于生成模型已经相对较少。本文对条件GANs的U-Net生成器进行了结构化剪枝。每层的敏感性分析证实，许多不必要的过滤器存在于最内层的瓶颈附近，可以大幅修剪。基于这一观察，我们从多个内层中修剪这些过滤器，或者通过完全消除这些层来建议替代架构。我们使用Pix 2 Pix进行图像到图像的翻译，使用Wav 2Lip进行语音驱动的说话人脸生成。我们的方法优于全局修剪基线，证明了正确考虑U-Net生成器修剪位置的重要性。
2022-06-29 cs.CV cs.LG
BMRS: Bayesian Model Reduction for Structured Pruning
University of Copenhagen（哥本哈根大学）
本文提出一种端到端的贝叶斯结构化剪枝方法BMRS，基于乘性噪声与贝叶斯模型约简，通过不同先验实现高压缩率与准确率，实验证明其性能与效率折衷方案具竞争力。
2024-12-20 cs.LG stat.ML
EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
减少神经网络的测试时间资源需求，同时保持测试准确性，对于在资源受限的设备上运行推理至关重要。为了实现这一目标，我们引入了一种新的网络重新参数化的基础上的克罗内克因子特征基（KFE），然后在此基础上应用基于海森的结构化修剪方法。与现有的基于Hessian的修剪算法在参数坐标中进行修剪不同，我们的方法在KFE中工作，其中不同的权重近似独立，从而实现准确的修剪和快速计算。我们通过大量的实验证明了所提出的方法的有效性。特别是，我们强调这些改进对于更具挑战性的数据集和网络尤为重要。在精度损失可以忽略不计的情况下，迭代修剪版本在宽ResNet 32上将模型大小减少10 $\times$，将FLOP减少8 $\times$。
2019-05-15 cs.LG stat.ML
Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究）
Bonsai通过仅前向传递的扰动剪枝方法，实现了无需反向传播的高效结构化剪枝，显著降低内存和计算成本，同时提升模型压缩效率和性能。
2026-01-22 cs.CL cs.LG
Structured Directional Pruning via Perturbation Orthogonal Projection
Tianjin University（天津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
结构化剪枝是一种有效的压缩神经网络的计算量的技术，通常通过增加扰动来减少网络参数，代价是稍微增加训练损失。更合理的方法是沿着优化器找到的平坦最小谷找到稀疏最小值，即随机梯度下降，保持训练损失恒定。为了实现这一目标，我们提出了结构化的方向修剪的基础上正交投影的扰动到平坦的最小谷。我们还提出了一个快速求解器sDprun，并进一步证明了它在充分训练后渐近地实现了方向修剪。在CIFAR-10和CIFAR-100数据集上使用VGG-Net和ResNet的实验表明，我们的方法在没有重新训练的情况下获得了最先进的修剪准确率（即VGG 16，CIFAR-10任务的93.97%）。使用DNN，VGG-Net和WRN 28 X10在MNIST，CIFAR-10和CIFAR-100数据集上的实验表明，我们的方法执行结构化方向修剪，达到与优化器相同的最小谷。
2021-10-21 cs.LG stat.ML
STUN: Structured-Then-Unstructured Pruning for Scalable MoE Pruning
Snowflake AI Research（Snowflake AI研究院）；Seoul National University（首尔国立大学）
本文提出 STUN 方法，通过先利用专家行为相似性进行 O(1) 复杂度的结构化专家剪枝、再进行非结构化剪枝，在 480B 规模 MoE 上以极低计算成本实现 40% 稀疏度下几乎无损的性能。
2025-07-21 cs.CL cs.LG
CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Transformers
Purdue University（普渡大学）
CORP提出一种闭式单次结构剪枝方法，通过未标记校准数据去除MLP维度和注意力子结构，无需梯度或微调，实现高精度下的高效模型压缩。
2026-05-10 cs.CV cs.LG
MoNE: Replacing Redundant Experts with Lightweight Novices for Structured Pruning of MoE
National University of Singapore（新加坡国立大学）
MoNE通过用轻量级新手替代冗余专家，实现高效且稳健的MoE结构化剪枝，显著提升模型压缩效果。
2026-02-22 cs.LG
PagedEviction: Structured Block-wise KV Cache Pruning for Efficient Large Language Model Inference
针对大语言模型推理中KV缓存随序列长度增长的内存瓶颈问题，提出适配vLLM分页内存的PagedEviction分块KV缓存剪枝方法，无需修改注意力核即可提升长上下文任务的内存效率与准确率。
2025-09-04 cs.LG
Lightweight and Post-Training Structured Pruning for On-Device Large Lanaguage Models
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
提出轻量级训练后结构化剪枝方法COMP，采用混合粒度策略和矩阵条件度量，通过掩码调整恢复准确率，在LLaMA-2-7B上实现性能提升并大幅降低内存开销。
2025-01-25 cs.AI cs.LG
Rapid Deployment of DNNs for Edge Computing via Structured Pruning at Initialization
School of Computer Science, University of St Andrews（圣安德鲁斯大学计算机学院）；Rakuten Mobile, Inc.（乐天移动公司）
本文提出初始化时结构化剪枝系统Reconvene，通过识别并剪除对结构化剪枝最不敏感的卷积层，在数秒内生成体积缩小最高16.21倍、速度提升2倍且精度不变的边缘部署DNN模型。
2024-04-22 cs.AI cs.LG
Structured Pruning of Large Language Models
ASAPP, Inc.（ASAPP公司）
大语言模型最近已经在各种各样的自然语言任务上实现了最先进的性能。与此同时，这些模型的大小和延迟显著增加，这使得它们的使用成本很高，并提出了一个有趣的问题：语言模型需要很大吗？我们从模型压缩的角度来研究这个问题。我们提出了一个通用的，结构化的修剪方法，通过参数化每个权重矩阵使用其低秩分解，并在训练过程中自适应地去除秩1分量。在语言建模任务上，我们的结构化方法在各种压缩级别上都优于其他非结构化和块结构化修剪基线，同时在训练和推理过程中实现了显着的加速。我们还证明，我们的方法可以应用于修剪自适应词嵌入在大语言模型，并修剪BERT模型的几个下游微调分类基准。
2021-03-28 cs.CL cs.LG stat.ML
Structured Probabilistic Pruning for Convolutional Neural Network Acceleration
Zhejiang University（浙江大学）
在本文中，我们提出了一种新的渐进式参数修剪方法的卷积神经网络加速，命名为结构概率修剪（SPP），有效地修剪卷积层的权重概率的方式。与现有的确定性修剪方法不同，其中不重要的权重被永久地消除，SPP为每个权重引入修剪概率，并且通过从修剪概率中采样来指导修剪。设计了一种机制，在训练过程中根据重要性标准增加和减少剪枝概率。实验表明，在4倍加速的情况下，SPP可以加速AlexNet，而ImageNet分类中的前5名准确率仅损失0.3%，VGG-16则损失0.8%。此外，SPP可以直接应用于加速多分支CNN网络，如ResNet，而无需特定的适配。我们的2倍加速ResNet-50在ImageNet上只损失了0.8%的前5名准确率。我们进一步证明了SPP对迁移学习任务的有效性。
2018-09-10 cs.LG stat.ML
Adaptive Activation-based Structured Pruning
Arizona State University（亚利桑那州立大学）；Facebook（脸书）
修剪是一种很有前途的压缩复杂深度学习模型的方法，以便将它们部署在资源受限的边缘设备上。然而，许多现有的修剪解决方案是基于非结构化修剪，这产生的模型不能有效地运行在商用硬件上，并需要用户手动探索和调整修剪过程，这是耗时的，往往导致次优的结果。为了解决这些限制，本文提出了一种自适应的，基于激活的，结构化的修剪方法，自动和有效地生成小，准确，硬件效率高的模型，满足用户的需求。首先，它提出了使用基于激活的注意力特征图的迭代结构化修剪，以有效地识别和修剪不重要的过滤器。然后，它提出了自适应修剪策略，自动满足修剪目标的精度关键，内存受限，延迟敏感的任务。综合评估表明，该方法在CIFAR-10和ImageNet数据集上的性能大大优于最先进的结构化剪枝工作。例如，在使用CIFAR-10的ResNet-56上，在没有任何准确性下降的情况下，我们的方法实现了最大的参数减少（79.11%），优于相关工作22.81%至66.07%，以及最大的FLOPs减少（70.13%），优于相关工作14.13%至26.53%。
2023-03-09 cs.AI cs.CV cs.LG
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）
参数修剪是CNN压缩和加速的一种有前途的方法，通过消除冗余的模型参数，具有可容忍的性能损失。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN的表达能力是脆弱的，并且需要更温和的正则化方式来使网络在修剪过程中适应。为了解决这个问题，我们提出了一种新的基于正则化的修剪方法（名为IncReg），根据其相对重要性将不同的正则化因子递增地分配给不同的权重组，与最先进的方法相比，其有效性在流行的CNN上得到了证明。
2018-12-18 cs.CV cs.LG
Transfer Learning for Structured Pruning under Limited Task Data
CMU（卡内基梅隆大学）；Apple（苹果公司）
针对结构化剪枝需大量任务数据的问题，提出结合迁移学习的框架，通过探究任务耦合、参数迁移及引入时机，实现剪枝模型泛化性能优于强基线。
2023-11-10 cs.CL cs.LG
Structured vs. Unstructured Pruning: An Exponential Gap
Department of Informatics, King’s College London（伦敦国王学院信息学院）
研究随机初始化网络中剪枝的局限性，证明神经元剪枝需要指数级更大的网络规模才能达到与非结构化剪枝相同的近似精度。
2026-06-12 cs.AI cs.LG
Correlation-Aware Structured Pruning for Large Language Models
Tsinghua University（清华大学）；Huawei Tech. Co. Ltd.（华为技术有限公司）
针对现有结构化剪枝忽略单元间关联的问题，提出关联感知剪枝方法，通过建模依赖的二次规划与贪婪算法优化选择，实现自适应层间稀疏分配，在主流LLMs上取得有竞争力的精度-效率权衡。
2026-09-22 cs.CL cs.LG
Catalyst: a Novel Regularizer for Structured Pruning with Auxiliary Extension of Parameter Space
本文提出 Catalyst 正则化器，在扩展参数空间中利用辅助变量实现零幅值偏置和宽裕度分叉的结构化剪枝，并在多种数据集和模型上验证其公平性、鲁棒性及优于现有方法的性能。
2025-07-10 cs.AI cs.LG
Accelerating DNN Training with Structured Data Gradient Pruning
Franklin & Marshall College（富兰克林与马歇尔学院）
权重修剪是一种通过减少训练过程中模型参数的数量来使深度神经网络（DNN）推理在计算上更高效的技术。然而，大多数权重修剪技术通常不会加速DNN训练，甚至可能需要更多的迭代来达到模型收敛。在这项工作中，我们提出了一种新的结构化数据梯度修剪（SDGP）方法，可以在不影响模型收敛的情况下加快训练速度。这种方法强制执行一个特定的稀疏结构，其中矩阵中的每M个元素中只有N个可以是非零的，使其适合硬件加速。现代加速器（如Nvidia A100 GPU）支持这种类型的结构化稀疏性，即每4个元素中有2个非零。假设硬件支持2：4稀疏度，我们的方法可以实现15- 25%的总训练时间减少，而不会对性能产生显着影响。源代码和预训练模型可在\url{https://github.com/BradMcDanel/sdgp}上获得。
2022-02-01 cs.CV cs.LG
Parameterized Structured Pruning for Deep Neural Networks
Ruprecht Karls University, Heidelberg（海德堡鲁普雷希特·卡尔斯大学）；Graz University of Technology（格拉茨工业大学）
由于深度神经网络（DNN）的规模不断增长，在内存和计算方面与硬件能力的差距越来越大。为了有效地压缩DNN，通常考虑量化和连接修剪。然而，无约束的修剪通常会导致非结构化的并行性，这映射到大规模并行处理器，并大大降低了通用处理器的效率。类似的情况也适用于量化，这通常需要专用硬件。我们提出了参数化结构修剪（PSP），这是一种通过结构稀疏性动态学习DNN形状的新方法。PSP在权重张量中参数化结构（例如通道或层），并利用权重衰减来学习重要和不重要结构之间的清晰区别。因此，PSP保持了预测性能，创建了大量的稀疏性，这些稀疏性是结构化的，因此可以轻松有效地映射到各种大规模并行处理器，这对于最大的计算能力和能源效率是必需的。PSP分别使用ResNet和DenseNet架构在流行的CIFAR 10/100和ILSVRC 2012数据集上进行了实验验证。
2019-06-12 cs.LG stat.ML
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation
The Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对LoRA表征能力不足的问题，提出PrunedLoRA框架，通过动态结构化剪枝实现自适应秩分配，在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。
2026-07-30 cs.AI cs.LG
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University（东北大学）；IBM Watson Lab（IBM Watson实验室）
结构化权重修剪是DNN的代表性模型压缩技术，用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间，因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制，我们提出了SS-Auto，一个单次，自动结构化修剪框架，可以同时实现行修剪和列修剪。我们采用软约束为基础的配方，以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法，更快的收敛速度和更少的超参数。而不是直接解决问题，提出了一个Primal-Proximal解决方案，以避免惩罚所有权重相等的陷阱，从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明，该框架可以在保持准确性的同时实现超高的剪枝率。此外，通过对智能手机的实际测量，从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
One-Cycle Structured Pruning via Stability-Driven Subnetwork Search
IT Application Research Center, Korea Electronics Technology Institute（韩国电子技术研究所应用信息技术中心）；Department of Intelligent Semiconductors, Soongsil University（顺慈大学智能半导体系）；Department of Computer Science & Engineering, Seoul National University（首尔国立大学计算机科学与工程系）
本文提出了一种高效的单次循环结构化剪枝框架，通过稳定性驱动的子网络搜索提升剪枝效率和准确性。
2025-12-17 cs.AI cs.CV cs.LG
Receding Neuron Importances for Structured Pruning
Imperial College London（帝国理工学院）
结构化修剪通过识别和删除不重要的神经元来有效地压缩网络。虽然这可以通过在BatchNorm参数上应用稀疏诱导正则化来优雅地实现，但L1惩罚将缩小所有缩放因子，而不仅仅是多余神经元的缩放因子。为了解决这个问题，我们引入了一个简单的BatchNorm变化与有界缩放参数，基于此，我们设计了一个新的正则化项，只抑制低重要性的神经元。在我们的方法下，不必要的神经元的权重有效地减少，产生重要性的两极化双峰分布。我们表明，以这种方式训练的神经网络可以在更大程度上进行修剪，并且恶化程度更低。我们在CIFAR和ImagenNet数据集上以不同的比率一次性修剪VGG和ResNet架构。在VGG风格的网络的情况下，我们的方法显着优于现有的方法，特别是在严重的修剪制度。
2022-04-13 cs.CV cs.LG
SPAP: Structured Pruning via Alternating Optimization and Penalty Methods
Department of Mathematics The University of Hong Kong（数学系香港大学）
本文提出基于交替优化与罚方法的LLM结构化剪枝框架SPAP，通过混合整数优化建模和交替最小化算法，在OPT、LLaMA等模型上实现线性加速与内存降低，同时保持性能。
2025-05-06 cs.AI cs.LG math.OC
R-TOSS: A Framework for Real-Time Object Detection using Semi-Structured Pruning
Colorado State University（科罗拉多州立大学）
在自动驾驶车辆中使用的物体检测器可能具有高存储器和计算开销。在本文中，我们介绍了一种新的半结构化修剪框架称为R-TOSS，克服了国家的最先进的模型修剪技术的缺点。在JetsonTX 2上的实验结果表明，R-TOSS在YOLOv 5对象检测器上的压缩率为4.4倍，推理时间加速了2.15倍，能耗降低了57.01%。R-TOSS还可以在RetinaNet上实现2.89倍的压缩，推理时间加速1.86倍，能源使用减少56.31%。我们还展示了显着的改进相比，各种国家的最先进的修剪技术。
2023-03-03 cs.AI cs.CV cs.LG
Structured Pruning Learns Compact and Accurate Models
Princeton University（普林斯顿大学）
随着神经语言模型规模的不断扩大，模型压缩受到越来越多的关注。两种主要的方法是修剪，逐渐从预训练的模型中删除权重，以及蒸馏，训练较小的紧凑模型以匹配较大的模型。剪枝方法可以显着减少模型的大小，但很难实现大的加速比蒸馏。然而，蒸馏方法需要大量未标记的数据，并且训练昂贵。在这项工作中，我们提出了一种特定于任务的结构化修剪方法CoFi（粗粒度和细粒度修剪），它提供了高度并行化的子网络，并在准确性和延迟方面与蒸馏方法相匹配，而无需诉诸任何未标记的数据。我们的关键见解是联合修剪粗粒度（例如，层）和细粒（例如，头和隐藏单元）模块，该模块用不同粒度的掩码控制每个参数的剪枝决策。我们还设计了一个分层蒸馏策略，在优化过程中从未修剪的模型转移知识。我们在GLUE和SQuAD数据集上的实验表明，CoFi产生的模型具有超过10倍的加速比，精度下降较小，与以前的修剪和蒸馏方法相比，显示出其有效性和效率。
2022-05-02 cs.CL cs.LG
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）；University of Sydney（悉尼大学）
参数修剪是一种很有前途的CNN压缩和加速方法，通过消除冗余的模型参数与可容忍的性能下降。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN表达能力的脆弱性，因此需要更温和的正则化方案，以便网络可以在修剪过程中适应。为了实现这一目标，我们提出了一种新的基于正则化的修剪方法，名为IncReg，根据其相对重要性将不同的正则化因子递增分配给不同的权重。在CIFAR-10数据集上的实证分析验证了IncReg的优点。在CIFAR-10和ImageNet数据集上使用流行的CNN进行的进一步广泛的实验表明，与最先进的技术相比，IncReg取得了相当甚至更好的结果。我们的源代码和训练模型可以在这里找到：https://github.com/mingsun-tse/caffe_increg。
2019-04-16 cs.LG stat.ML
A Closer Look at Structured Pruning for Neural Network Compression
University of Edinburgh（爱丁堡大学）
结构化修剪是压缩神经网络的一种流行方法：给定一个大型训练网络，在删除通道连接和微调之间交替;减少网络的整体宽度。然而，结构化修剪的功效在很大程度上逃避了审查。在本文中，我们研究了通过结构化修剪和调整获得的ResNets和DenseNets，并进行了两个有趣的观察：（i）简化网络-从头开始训练的原始网络的较小版本-始终优于修剪网络;（ii）如果采用修剪网络的架构，然后从头开始训练它，它会显着更具竞争力。此外，这些架构很容易近似：我们可以修剪一次并获得一系列新的可扩展的网络架构，这些架构可以简单地从头开始训练。最后，我们在硬件上比较了简化和修剪网络的推理速度，并表明简化网络的速度明显更快。代码可在https://github.com/BayesWatch/pytorch-prunes上获得。
2019-06-07 cs.CV cs.LG stat.ML
Equivariant-Aware Structured Pruning for Efficient Edge Deployment: A Comprehensive Framework with Adaptive Fine-Tuning
Faculty of Computers and Information Technology, University of Tabuk（计算机与信息科技学院，塔布克大学）；Artificial Intelligence and Sensing Technologies (AIST) Research Center, University of Tabuk（人工智能与传感技术（AIST）研究中心，塔布克大学）
本文提出一种结合等变卷积网络与结构化剪枝的框架，通过自适应微调和动态量化实现高效边缘部署，有效压缩模型并保持几何鲁棒性。
2025-11-21 cs.CV cs.LG
CoCurve: Cross-Module Co-Pruning Curvature for Structured LLM Pruning
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Interdisciplinary Graduate Programme, Nanyang Technological University（南洋理工大学跨学科研究生项目）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
研究针对大语言模型结构化剪枝中独立评分单元不合理的问题，提出CoCurve方法，通过二阶泰勒展开得到Fisher矩阵计算协同剪枝曲率边，联合修剪注意力和FFN单元，仅用M次前向传播求解预算二次规划，无需标签、微调等完成剪枝。
2026-09-29 cs.AI cs.LG
Artificial Structure Function Search: Preserving Artificial Functional Connectivity for Structured Pruning
Intitute for Digital Technologies, Loughborough University London（拉夫堡大学伦敦数字技术研究所）；Center for Neuromorphic Intelligence, Aston University（阿斯顿大学神经形态智能中心）
提出ASF-S结构化剪枝框架，利用基于脑启发的PGI选择标准和AFC功能连接，实现70%参数缩减并无需重训练即可恢复基线准确率。
2026-09-22 cs.AI cs.LG
Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
提出HyWIA方法，通过混合粒度权重重要性评估提升大语言模型剪枝效果，实现更优的性能保留和结构优化。
2026-03-11 cs.AI cs.CL cs.LG
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST（香港科技大学）
剪枝是一种模型压缩方法，可在保持准确性的同时去除深度神经网络（DNN）中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理，例如迭代修剪，特征统计/排名或训练过程中的额外优化设计。在本文中，我们从特征演化的新角度提出了一种简单有效的正则化策略，我们称之为特征流正则化（FFR），用于改善DNN中的结构稀疏性和过滤器修剪。具体而言，FFR对沿神经网络的特征流的梯度和曲率施加控制，这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets，ResNets进行的实验表明，FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG
DarwinLM: Evolutionary Structured Pruning of Large Language Models
MBZUAI；ETH Zurich（苏黎世联邦理工学院）；ISTA；Red Hat AI（红帽人工智能）
研究针对大语言模型计算成本高的问题，提出达尔文语言模型（DarwinLM），基于进化搜索过程，通过变异生成后代模型并经多步训练选择最优者，在多个模型上实验验证，实现结构化剪枝最优性能，压缩后训练所需数据更少。
2026-07-16 cs.CL cs.LG
Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity
University of California San Diego（加州大学圣迭戈分校）
FL中的传统方法试图在中央服务器的编排下，在多个客户端的帮助下协作地学习单个全局模型。然而，在数据异构的情况下，学习单个全局模型可能无法很好地适用于参与FL的所有客户端。因此，全局模型的个性化在处理统计异质性和数据的非IID分布所带来的挑战方面变得至关重要。与以前的作品不同，在这项工作中，我们提出了一种新的方法，从客户端级别的目标获得个性化的模型。这进一步激励了所有客户端即使在统计异质性下也参与联合，以提高其性能，而不仅仅是中央服务器的数据和模型训练的来源。为了实现这种个性化，我们通过应用混合修剪（结构化和非结构化修剪的组合）和非结构化修剪来为每个客户端找到一个小型子网。通过对不同基准测试的一系列实验，我们观察到具有相似数据（标签）的客户端共享相似的个人参数。通过为每个客户端查找子网...
2021-05-10 cs.DC cs.LG
