Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning
Institute for Infocomm Research (I2 R), A*STAR（资讯通信研究院 (I2R)，新加坡科技研究局 (A*STAR)）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文质疑剪枝方法日益复杂的必要性，发现简单的全局幅度剪枝在稀疏度-准确率权衡上全面优于SOTA技术，并通过Minimum Threshold技术解决层崩溃问题，在多种模型和数据集上验证了其有效性。
2024-01-07 cs.CV cs.LG
Beyond One-Way Pruning: Bidirectional Pruning-Regrowth for Extreme Accuracy-Sparsity Tradeoff
University of South Florida（佛罗里达州立大学）
针对高稀疏度下现有剪枝方法导致模型性能骤降、难以满足硬件尺寸约束的问题，提出双向剪枝-再生策略，从极致压缩网络出发选择性再生关键连接，缓解高稀疏度下的精度骤降，实现更优的精度-稀疏度权衡。
2025-11-11 cs.AI cs.LG
Accelerating DNN Training with Structured Data Gradient Pruning
Franklin & Marshall College（富兰克林与马歇尔学院）
权重修剪是一种通过减少训练过程中模型参数的数量来使深度神经网络（DNN）推理在计算上更高效的技术。然而，大多数权重修剪技术通常不会加速DNN训练，甚至可能需要更多的迭代来达到模型收敛。在这项工作中，我们提出了一种新的结构化数据梯度修剪（SDGP）方法，可以在不影响模型收敛的情况下加快训练速度。这种方法强制执行一个特定的稀疏结构，其中矩阵中的每M个元素中只有N个可以是非零的，使其适合硬件加速。现代加速器（如Nvidia A100 GPU）支持这种类型的结构化稀疏性，即每4个元素中有2个非零。假设硬件支持2：4稀疏度，我们的方法可以实现15- 25%的总训练时间减少，而不会对性能产生显着影响。源代码和预训练模型可在\url{https://github.com/BradMcDanel/sdgp}上获得。
2022-02-01 cs.CV cs.LG
LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
Georgia Institute of Technology（佐治亚理工学院）
本文提出 LOTUS 方法，通过数据彩票票选择与稀疏剪枝加速视觉 Transformer 训练，在保持准确率的同时显著降低计算需求。
2024-05-01 cs.AI cs.CV cs.LG
CRISP: Hybrid Structured Sparsity for Class-aware Model Pruning
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究院）
CRISP提出一种混合结构化稀疏剪枝框架，结合N:M与块稀疏，利用梯度类别感知显著性分数，在ImageNet和CIFAR-100上对ResNet-50等模型实现高精度，并降低14倍延迟与能耗。
2024-03-18 cs.AR cs.CV cs.LG
PCONV: The Missing but Desirable Sparsity in DNN Weight Pruning for Real-time Execution on Mobile Devices
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；DiDi AI Labs（滴滴人工智能实验室）；Syracuse University（雪城大学）；Tsinghua University（清华大学）
深度神经网络（DNN）上的模型压缩技术已被广泛认为是在各种平台上实现加速的有效方法，而DNN权重修剪是一种直接有效的方法。目前有两种主流的剪枝方法，代表了两个极端的剪枝规则：非结构化的，细粒度的剪枝可以实现高稀疏性和准确性，但不是硬件友好的;结构化的，粗粒度的剪枝利用硬件有效的结构在剪枝，但遭受准确性下降时，剪枝率高。在本文中，我们介绍PCONV，包括一个新的稀疏维，-细粒度修剪模式内的粗粒度结构。PCONV包括两种类型的稀疏性，稀疏卷积模式（SCP），其从卷积内核修剪生成，以及连接稀疏性，其从卷积间核修剪生成。本质上，SCP由于其特殊的视觉特性而提高了准确性，并且连接稀疏性提高了修剪率，同时保持了过滤器计算的平衡工作量。为了部署PCONV，我们开发了一个新的编译器辅助DNN推理框架，并在实时的【形】执行PCONV模型，而不会影响精度，这在以前的工作中无法实现。我们的实验结果表明，PCONV优于三种最先进的端到端DNN框架，TensorFlow-Lite，TVM和Alibaba Mobile神经网络，加速分别高达39.2倍，11.4倍和6.3倍，并且没有准确性损失。移动设备可以在大规模DNN上实现实时的【形】推理。
2020-03-04 cs.CV cs.DC cs.LG
Mustafar: Promoting Unstructured Sparsity for KV Cache Pruning in LLM Inference
Department of Computer Science, University of Maryland（计算机科学系，马里兰大学）；d-Matrix
Mustafar提出基于非结构化稀疏性的KV缓存剪枝方法，无需微调即可实现高达70%稀疏率，并通过位图格式与自定义注意力内核将吞吐量最高提升2.23倍。
2025-11-06 cs.LG
Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在本文中，我们分析了两个流行的网络压缩技术，即过滤器修剪和低秩分解，在一个统一的意义上。通过简单地改变稀疏正则化的实施方式，可以相应地导出滤波器修剪和低秩分解。这为网络压缩提供了另一种灵活的选择，因为这两种技术可以相互补充。例如，在具有快捷连接的流行网络架构（例如ResNet）中，过滤器修剪无法处理ResBlock中的最后一个卷积层，而低秩分解方法可以。此外，我们建议联合压缩整个网络，而不是以逐层的方式。我们的方法证明了它的潜力，因为它在几个基准上与最先进的方法相比是有利的。
2020-03-19 cs.CV
Getting Away with More Network Pruning: From Sparsity to Geometry and Linear Regions
Bucknell University（巴克内尔大学）；University of Utah（犹他大学）
神经网络的一个令人惊讶的特点是，它们的连接可以在很小程度上被修剪，甚至对准确性没有影响。但是，当我们越过参数稀疏的临界水平时，任何进一步的修剪都会导致准确性的突然下降。这种下降合理地反映了模型复杂性的损失，这是我们的目标。在这项工作中，我们探索稀疏性如何也影响了由神经网络定义的线性区域的几何形状，从而减少了基于架构的线性区域的预期最大数量。我们观察到，修剪影响精度类似于稀疏性如何影响线性区域的数量和我们提出的最大数量的界限。相反，我们发现，与在所有层中使用相同稀疏度进行修剪相比，选择跨层的稀疏度以最大化我们的界限通常会提高准确性，从而为我们提供修剪位置的指导。
2023-01-19 cs.LG math.OC
Studying the impact of magnitude pruning on contrastive learning methods
University of Pisa（比萨大学）；TU Graz（格拉茨工业大学）；CSH Vienna（维也纳复杂科学中心）
我们研究了不同修剪技术对使用对比损失函数训练的深度神经网络学习的表示的影响。我们的工作发现，在高稀疏水平下，相对于传统的交叉熵损失训练的模型，对比学习会导致更多的错误分类示例。为了理解这种明显的差异，我们使用诸如PIE数量的指标（Hooker等人，2019）、Q评分（Kalibhat等人，2022）和PD评分（Baldock等人，2021）来测量修剪对学习的表示质量的影响。我们的分析表明，修剪方法的实施事项的时间表。我们发现，当在训练阶段的早期引入修剪时，稀疏性对学习表示的质量的负面影响是最高的。
2022-07-01 cs.CV cs.LG
Induced Feature Selection by Structured Pruning
University of Mons（蒙斯大学）；IP Paris（巴黎理工学院）；IMT Lille Douai（里尔杜埃国立高等矿业电信学院）
在过去的几年里，神经网络中稀疏性诱导技术的出现有很大的帮助。事实上，这些方法可以找到更轻、更快的网络，能够在移动设备或高请求服务器等资源受限的环境中更有效地执行。这种稀疏性通常施加在神经网络的权重上，从而减少架构的占用空间。在这项工作中，我们更进一步，联合施加稀疏的权重和输入数据。这可以通过以下三步过程来实现：1）对网络的权重施加一定的结构化稀疏性; 2）跟踪对应于零权重块的输入特征; 3）删除无用的权重和输入特征并重新训练网络。在网络和输入数据上执行修剪不仅允许在参数和操作方面的极大减少，而且还可以用作解释过程。事实上，在数据修剪的帮助下，我们现在可以知道哪些输入特征对网络保持其性能有用。在各种架构和数据集上进行的实验：MLP在MNIST，CIFAR 10/100和ConvNets（VGG 16和ResNet 18）上验证，分别在CIFAR 10/100和CALIBU 101上验证，表明通过对输入数据执行修剪，可以在总参数和FLOP方面实现额外的增益，同时还可以提高精度。
2023-03-20 cs.CV cs.LG
Studying the Consistency and Composability of Lottery Ticket Pruning Masks
MIT EECS（麻省理工学院电气工程与计算机科学系）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
幅度修剪是一种常用的，有效的技术，以识别稀疏的子网在很小的成本精度。在这项工作中，我们问一个特定的架构的准确性，稀疏性权衡是否可以通过组合修剪信息在多个运行的训练。从共享的ResNet-20初始化开始，我们使用CIFAR-10上的不同SGD数据命令训练几个网络副本（\emph{siblings}）。虽然兄弟姐妹的修剪掩码并不比偶然性更相似，但在几个共享预训练时期后开始兄弟姐妹训练会显着增加修剪重叠。然后，我们选择一个子网络，要么（1）在任何兄弟（掩码联合）中接受所有幸存的修剪权重，要么（2）只接受所有兄弟（掩码交集）中幸存的修剪权重。得到的子网络被重新训练。引人注目的是，我们发现并集和交集掩码的表现非常相似。这两种方法都匹配单次幅度修剪基线的准确性-稀疏性权衡，即使当我们组合来自多达$k = 10$兄弟的掩码时。
2021-04-30 cs.CV cs.LG
Weight Pruning via Adaptive Sparsity Loss
NTUA（雅典国立技术大学）
近年来，修剪神经网络作为一种压缩最先进的深度神经网络并使其能够在资源受限的设备上部署的手段重新引起了人们的兴趣。在本文中，我们提出了一个鲁棒的压缩学习框架，可以在训练过程中以最小的计算开销有效地修剪网络参数。我们采用快速机制来修剪各个层，并在此基础上在用户定义的预算约束下自动修剪整个网络。我们的端到端网络修剪方法的关键是制定一个直观且易于实现的自适应稀疏性损失，用于在训练期间显式控制稀疏性，从而实现高效的稀疏感知优化。大量的实验证明了CIFAR和ImageNet数据集上使用不同架构（包括AlexNet，ResNets和Wide ResNets）的图像分类框架的有效性。
2020-06-04 cs.LG stat.ML
Relative Repairability: A Calibration-Based Diagnostic for High-Sparsity Post-Pruning Allocation
Marquette University（马凯特大学）；Tongji University（同济大学）；Cornell University（康奈尔大学）；UT Austin（得克萨斯大学奥斯汀分校）
提出相对可修复性（RR）指标，通过校准数据比较层剪枝引起的原始激活失真与通道方差匹配修复后的残余失真，用于诊断高稀疏度下剪枝损伤的可修复性，实验表明其在架构依赖的可恢复性转变区域优于现有分配规则。
2026-05-25 cs.LG
An End-to-End Network Pruning Pipeline with Sparsity Enforcement
Princeton University（普林斯顿大学）
本文提出一种覆盖训练全阶段的端到端剪枝流水线，结合非标准初始化、预剪枝训练与剪枝后优化，在实验中显著超越了现有最先进的神经网络稀疏化方法。
2023-12-04 cs.LG
Maximum Redundancy Pruning: A Principle-Driven Layerwise Sparsity Allocation for LLMs
Beijing Jiaotong University（北京交通大学）；Tsinghua University（清华大学）
针对大语言模型逐层稀疏度分配依赖启发式或搜索的问题，本文提出最大冗余剪枝MRP，依据非均匀性、指标依赖和冗余均匀原则迭代剪枝最高冗余层，实验表明其优于既有方法。
2025-07-25 cs.AI cs.LG
Selection Plateau and a Sparsity-Dependent Hierarchy of Pruning Features
Zaozhuang University（邹庄大学）
本文揭示了一种在单次神经网络剪枝中出现的选择平台现象，提出稀疏性依赖的剪枝特征复杂性谱（SICS）假说，通过不同稀疏性下的特征复杂性分析，展示了非单调特征在剪枝逃逸中的优势。
2026-05-10 cs.LG
Pruning Deep Neural Networks from a Sparsity Perspective
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
针对现有深度网络剪枝方法缺乏可压缩性量化指标、易出现剪枝不足或过度的问题，提出PQ指数衡量可压缩性，并开发稀疏感知自适应剪枝算法，在压缩效率和鲁棒性上优于迭代剪枝方法。
2023-08-23 cs.LG
Network Pruning via Annealing and Direct Sparsity Control
Florida State University（佛罗里达州立大学）
人工神经网络（ANN）尤其是深度卷积网络目前非常流行，并且已被证明成功地为许多视觉问题提供了非常可靠的解决方案。然而，深度神经网络的使用受到其密集的计算和存储成本的广泛阻碍。在本文中，我们提出了一种新的有效的网络修剪方法，适用于非结构化和结构化的通道级修剪。我们提出的方法收紧稀疏性约束，逐渐删除网络参数或过滤器通道的基础上的标准和时间表。网络大小在整个迭代过程中不断下降的吸引人的事实使其适合于修剪任何未经训练或预先训练的网络。因为我们的方法使用$L_0$约束而不是$L_1$惩罚，所以它不会在训练参数或滤波器通道中引入任何偏差。此外，$L_0$约束使得在网络修剪过程中容易直接指定期望的稀疏水平。最后，在大量的合成和真实视觉数据集上进行了实验验证，结果表明，与其他现有的网络剪枝方法相比，该方法具有更好的性能。
2020-07-27 cs.LG cs.NE stat.ML
Spatial-Winograd Pruning Enabling Sparse Winograd Convolution
University of Michigan（密歇根大学）；Facebook Inc.（脸书公司）
深度卷积神经网络（CNN）被部署在各种应用中，但需要巨大的计算需求。剪枝技术和Winograd卷积是减少CNN计算量的两种典型方法。但是，它们不能直接组合，因为Winograd变换填充了修剪产生的稀疏性。Li et al.（2017）提出了稀疏Winograd卷积，其中权重直接在Winograd域中修剪，但这种技术不是很实用，因为Winograd域再训练需要较低的学习率，因此需要更长的训练时间。此外，Liu等人（2018）将ReLU函数移动到Winograd域中，这可以帮助增加权重稀疏性，但需要改变网络结构。为了在不改变网络结构的情况下实现Winograd域的高权值稀疏性，提出了一种新的剪枝方法-空间Winograd剪枝。首先，对空间域权值进行结构化修剪，有效地将空间域稀疏性转移到Winograd域，避免了Winograd域的再训练。对于下一步，我们还直接在Winograd域中执行修剪和再训练，但建议使用重要性因子矩阵来调整权重重要性和权重梯度。这种调整使得在不改变网络结构的情况下有效地重新训练修剪的Winograd-domain网络成为可能。对于CIFAR 10，CIFAR-100和ImageNet数据集上的三个模型，我们提出的方法可以分别实现63%，50%和74%的Winograd域稀疏度。
2019-01-08 cs.CV cs.LG cs.NE
Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity
Eindhoven University of Technology, the Netherlands（埃因霍温理工大学）；University of Surrey（萨里大学）；Google Research, USA（谷歌研究院）；University of Texas at Austin, USA（德克萨斯大学奥斯汀分校）；Clemson University, USA（克莱姆森大学）；University of Washington, USA（华盛顿大学）；University of Oxford, UK（牛津大学）
针对LLM均匀剪枝的局限，本文提出OWL方法，通过设定与各层激活离群值比例成正比的非均匀逐层稀疏比，在70%高稀疏度下显著降低困惑度并实现2.6倍推理加速。
2025-06-30 cs.LG
CP-ViT: Cascade Vision Transformer Pruning via Progressive Sparsity Prediction
Shanghai Jiao Tong University（上海交通大学）
视觉Transformer（ViT）在各种计算机视觉应用上已经实现了具有竞争力的精度，但是其计算成本阻碍了在资源有限的移动设备上的部署。我们探讨的稀疏性在ViT和观察，信息补丁和头部是足够的准确的图像识别。在本文中，我们提出了一个级联修剪框架命名为CP-ViT预测稀疏ViT模型逐步和动态地减少计算冗余，同时最大限度地减少精度损失。具体来说，我们定义了累积分数，以保留整个ViT模型中的信息补丁和头部，以获得更好的准确性。我们还提出了基于层感知注意范围的动态剪枝率调整技术。CP-ViT在实际部署中具有很强的通用性，可应用于各种ViT模型，无论是否进行微调，都能实现卓越的精度。在ImageNet、CIFAR-10和CIFAR-100上使用各种预训练模型进行的大量实验证明了CP-ViT的有效性和效率。通过逐步修剪50%的补丁，我们的CP-ViT方法减少了超过40%的FLOP，同时保持精度损失在1%以内。
2022-03-09 cs.AI cs.CV
SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
Massachusetts Institute of Technology（麻省理工学院）
近年来，在深度神经网络修剪和压缩方面有一系列的研究。早期的方法单独修剪权重。然而，在现代硬件（如GPU）上很难利用由此产生的非结构化稀疏模式。因此，在权重中施加稀疏结构的修剪策略变得更加流行。然而，这些结构化修剪方法通常导致比非结构化修剪更高的准确性损失。在本文中，我们介绍了SparseRT，这是一个代码生成器，它利用非结构化稀疏性来加速GPU上深度学习推理中的稀疏线性代数运算。对于1x 1卷积和全连接层，当在深度学习中对数百个测试用例进行评估时，我们证明了在90%稀疏度下等效密集计算的加速比为3.4倍，在95%稀疏度下为5.4倍的几何平均值。对于稀疏3x 3卷积，我们在ResNet-50中的用例中显示了超过5倍的加速。
2020-08-26 cs.LG stat.ML
StructADMM: A Systematic, High-Efficiency Framework of Structured Weight Pruning for DNNs
Bar-Ilan University（巴伊兰大学）
DNN的权重修剪方法已被证明可以在不损失准确性的情况下实现良好的模型修剪率，从而减轻大规模DNN的显著计算/存储要求。提出了结构化权重修剪方法，以克服不规则网络结构的限制，并展示了实际的GPU加速。然而，在先前的工作中，修剪率（稀疏度）和GPU加速是有限的（小于50%）时，需要保持准确性。在这项工作中，我们通过提出一个统一的，系统的DNN结构化权重修剪框架来克服这些限制。它是一个框架，可用于诱导不同类型的结构化稀疏性，例如滤波器稀疏性、通道稀疏性和形状稀疏性，以及非结构化稀疏性。该框架将随机梯度下降与ADMM相结合，可以理解为一种动态正则化方法，其中正则化目标在每次迭代中解析更新。在不损失AlexNet模型准确性的情况下，我们在两个GPU上实现了2.58倍和3.65倍的平均测量加速，明显优于之前的工作。当允许2%的适度精度损失时，平均加速比达到3.15倍和8.52倍。在这种情况下，卷积层的模型压缩是15.0倍，对应于11.93倍的测量CPU加速。我们在ResNet模型和其他数据集（如UCF 101和CIFAR-10）上的实验证明了我们的框架具有更高的性能。
2019-03-27 cs.CV cs.LG cs.NE
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks
ETH Zürich（苏黎世联邦理工学院）；IST Austria（奥地利科学技术研究所）
深度学习不断增长的能源和性能成本促使社区通过选择性地修剪组件来缩小神经网络的规模。类似于它们的生物学对应物，稀疏网络即使不比原始的密集网络更好，也能同样泛化。稀疏性可以减少常规网络的内存占用以适应移动设备，并缩短不断增长的网络的训练时间。在本文中，我们回顾了深度学习中稀疏性的先前工作，并为推理和训练提供了稀疏化的广泛教程。我们描述了删除和添加神经网络元素的方法，实现模型稀疏性的不同训练策略，以及在实践中利用稀疏性的机制。我们的工作从300多篇研究论文中提炼出思想，并为今天希望利用稀疏性的从业者以及旨在推动前沿研究的研究人员提供指导。我们包括必要的数学方法在稀疏化的背景，描述的现象，如早期的结构自适应，稀疏性和训练过程之间的错综复杂的关系，并显示技术实现加速在真正的硬件。我们还定义了一个修剪参数效率的度量，可以作为比较不同稀疏网络的基线。最后，我们推测稀疏性如何改善未来的工作量，并概述了该领域的主要开放问题。
2021-01-31 cs.AI cs.AR cs.CV
AdapMTL: Adaptive Pruning Framework for Multitask Learning Model
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出 AdapMTL 自适应剪枝框架，通过共享主干与任务头的可学习软阈值及任务损失自适应加权，在 NYU-v2 和 Tiny-Taskonomy 上实现优于现有方法的多任务精度与稀疏性平衡。
2024-08-07 cs.CV cs.LG
FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning
MIT（麻省理工学院）
针对现有剪枝方法忽略FLOPs相关部署成本的问题，提出兼顾准确率、FLOPs与稀疏度约束的FALCON剪枝框架，通过近似求解整数线性规划实现高效剪枝，在固定FLOP预算及渐进剪枝场景下均取得更优性能。
2024-03-11 cs.LG
Sparse Double Descent: Where Network Pruning Aggravates Overfitting
Beihang University（北京航空航天大学）；The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
人们通常认为，网络修剪不仅可以降低深度网络的计算成本，还可以通过降低模型容量来防止过拟合。然而，我们的工作令人惊讶地发现，网络修剪有时甚至会消除过拟合。我们报告了一种意想不到的稀疏双下降现象，即当我们通过网络修剪增加模型稀疏性时，测试性能首先变得更差（由于过拟合），然后变得更好（由于过拟合得到缓解），最后变得更差（由于忘记有用的信息）。虽然最近的研究集中在模型过度参数化方面的深度双下降，但他们未能认识到稀疏性也可能导致双下降。在本文中，我们有三个主要贡献。首先，我们通过大量的实验报告了新的稀疏双下降现象。其次，针对这一现象，我们提出了一种新的学习距离解释，即稀疏模型的$\ell_{2}$学习距离曲线（从初始参数到最终参数）可以与稀疏双下降曲线很好地相关，并且比最小平坦性更好地反映泛化能力。第三，在稀疏双下降的背景下，彩票假设中的中奖彩票令人惊讶地可能不总是中奖。
2022-06-17 cs.CV cs.LG
Sparse by Rule: Probability-Based N:M Pruning for Spiking Neural Networks
Nanyang Technological University（南洋理工大学）
针对现有SNN剪枝方法难以兼顾精度、硬件友好性与灵活性的问题，提出首个面向SNN的半结构化N:M剪枝框架SpikeNM，搭配资格启发蒸馏方法，可在2:4稀疏度下保持甚至提升精度，生成适配硬件的稀疏模式。
2025-11-15 cs.CV
Post-training deep neural network pruning via layer-wise calibration
Intel Corporation（英特尔公司）
我们提出了一种用于深度神经网络的训练后权重修剪方法，该方法可以达到生产设置所能容忍的准确度水平，并且速度足够快，可以在台式机CPU或边缘设备等商用硬件上运行。我们提出了一个无数据的扩展方法的计算机视觉模型的基础上自动生成的合成分形图像。我们获得了无数据神经网络修剪的最新结果，在ImageNet上的ResNet 50在50%稀疏率下的top@1精度下降约1.5%。当使用真实数据时，我们能够在ImageNet上获得具有65%稀疏率的ResNet 50模型，8位精度，在训练后设置中具有约1%的top@1精度下降。我们将代码作为OpenVINO（TM）Post-Training Optimization工具的一部分发布。
2021-04-30 cs.AI cs.CV cs.LG
Faster CNNs with Direct Sparse Convolutions and Guided Pruning
Intel Labs（英特尔实验室）；University of Pittsburgh（匹兹堡大学）；Duke University（杜克大学）
卷积神经网络（CNN）在实际推理问题中取得了惊人的成功，被广泛部署在移动设备、数据中心甚至超级计算机中。然而，CNN中所需的参数数量通常很大并且不受欢迎。因此，已经开发了各种方法来在CNN被训练后对其进行修剪。然而，由此产生的CNN提供的好处有限。虽然修剪完全连接的层大大减少了CNN的大小，但它并没有显著提高推理速度，因为计算繁重的部分在于卷积。以提高推理速度的方式修剪CNN通常会强加特定的稀疏结构，从而限制可实现的稀疏水平。我们提出了一种方法，同时实现规模经济和速度的提高，同时修剪CNN。我们成功的最重要的是一个有效的一般稀疏与密集矩阵乘法实现，适用于卷积的特征映射与内核的任意稀疏模式。作为补充，我们开发了一个性能模型，该模型可以预测不同层和不同计算机体系结构上稀疏水平的最佳点。这两者结合在一起，使我们能够在AlexNet中，在英特尔Atom，Xeon和Xeon Phi处理器上，展示3.1- 7.3 $\times$卷积加速，涵盖从移动设备到超级计算机的范围。我们还在https://github.com/IntelLabs/SkimCaffe上开源了我们的项目。
2017-07-28 cs.CV
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine（加利福尼亚大学尔湾分校）；Department of Mathematics（数学系）
我们提出了一种自适应投影-梯度下降-收缩分裂方法（APGDSSM），将基于惩罚的通道修剪集成到量化感知训练（QAT）中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重，以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外，我们提出了一种新的互补变换l1惩罚，以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
Pruning Pre-trained Language Models Without Fine-Tuning
Beihang University（北京航空航天大学）；Tencent（腾讯）；Zhongguancun Laboratory（中关村实验室）
针对预训练语言模型剪枝中微调冗余的问题，提出静态模型剪枝（SMP），仅利用第一阶信息进行剪枝以适配下游任务，并设计新掩码函数和训练目标，在多稀疏度下显著优于基线且参数效率更高。
2023-05-16 cs.CL cs.LG
Vision Transformer Pruning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Peking University（北京大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
视觉Transformer在各种计算机视觉应用中取得了有竞争力的性能。然而，它们的存储、运行时内存和计算需求阻碍了移动设备的部署。在这里，我们提出了一个视觉Transformer修剪方法，该方法识别维度在Transformer的每一层中的影响，然后相应地执行修剪。通过鼓励Transformer中的维度稀疏性，重要的维度会自动出现。可以丢弃大量重要性分数小的维度，以实现高修剪率，而不会显着损害准确性。用于视觉Transformer修剪的流水线如下：1）使用稀疏正则化进行训练; 2）修剪线性投影的维度; 3）微调。在ImageNet数据集上对所提出的算法的参数和FLOPs比率进行了很好的评估和分析，以证明我们所提出的方法的有效性。
2021-08-14 cs.CV
GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity
William & Mary（威廉与玛丽学院）；Northeastern University（东北大学）；University of Southern California（南加州大学）
在移动设备上实现实时的【形】深度神经网络（DNN）推理是有吸引力但具有挑战性的，因为即使是功能强大的现代移动设备在执行大规模DNN时也被认为是“资源受限的”。它需要通过权重修剪进行稀疏模型推理，即，DNN权重稀疏性，并且期望设计一种新的DNN权重稀疏性方案，其可以促进移动设备上的实时的【形】推理，同时保持高稀疏模型精度。本文设计了一种新的移动推理加速框架GRIM，该框架通用于卷积神经网络（CNN）和递归神经网络（RNN），并实现了实时的【形】执行和高精度，利用细粒度结构化稀疏模型推理和编译器优化。首先，我们提出了一个新的细粒度结构稀疏方案，通过基于块的列行（BCR）修剪。基于这种新的细粒度结构稀疏性，GRIM框架由两部分组成：（a）用于实时的【形】移动推理的编译器优化和代码生成;（b）用于确定剪枝超参数和执行权重剪枝的BCR剪枝优化。我们将GRIM与Alibaba MNN，TVM，TensorFlow-Lite，基于CSR，PatDNN和ESE（RNN的代表性FPGA推理加速框架）的稀疏实现进行了比较，并实现了高达14.08倍的加速比。
2021-08-25 cs.AI cs.LG
One-Cycle Pruning: Pruning ConvNets Under a Tight Training Budget
University of Mons（蒙斯大学）；IP Paris（巴黎理工学院）
在神经网络中引入稀疏性是一种有效的方法，可以降低其复杂性，同时保持其性能几乎不变。大多数情况下，稀疏性是使用三阶段流水线引入的：1）训练模型以使其收敛，2）根据某些标准修剪模型，3）微调修剪后的模型以恢复性能。最后两个步骤通常迭代执行，从而产生合理的结果，但也导致耗时且复杂的过程。在我们的工作中，我们建议摆脱管道的第一步，并将其他两个步骤结合在一个修剪训练周期中，允许模型在修剪的同时联合学习最佳权重。我们通过引入一种新的修剪时间表来实现这一点，称为单周期修剪，该时间表从训练开始时开始修剪，直到训练结束。采用这样的时间表不仅可以提高修剪模型的性能，还可以大大减少修剪模型所需的训练预算。实验在各种架构（VGG-16和ResNet-18）和数据集（CIFAR-10，CIFAR-100和Caltech-101）上进行，并针对相对较高的稀疏值（去除80%，90%，95%的权重）。我们的研究结果表明，单周期修剪始终优于常用的修剪时间表，如一次性修剪，迭代修剪和自动渐进修剪，在固定的训练预算。
2022-07-03 cs.AI cs.CV
SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；Datakalab（Datakalab公司）
最先进的计算机视觉方法性能的飞跃归功于深度神经网络的发展。然而，它通常以可能阻碍其部署的计算代价来实现。为了减轻这种限制，结构化修剪是一种众所周知的技术，其包括去除通道、神经元或滤波器，并且通常被应用以产生更紧凑的模型。在大多数情况下，基于相对重要性标准来选择要移除的计算。与此同时，对可解释的预测模型的需求急剧上升，并推动了强大的归因方法的发展，这些方法突出了输入图像或特征图像素的相对重要性。在这项工作中，我们讨论了现有的修剪算法的局限性，其中幅度和梯度为基础的方法。我们从归因方法中获得灵感，设计了一种新的集成梯度修剪标准，其中每个神经元的相关性被定义为朝向该神经元去除的路径上的梯度变化的积分。此外，我们提出了一个嵌入式DNN修剪和微调流程图，以更好地保持DNN的准确性，同时删除参数。我们通过对几个数据集，架构以及修剪场景的广泛验证表明，所提出的方法（称为SInGE）显着优于现有的最先进的DNN修剪方法。
2022-07-08 cs.CV
Pruning's Effect on Generalization Through the Lens of Training and Regularization
MIT（麻省理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；MosaicML（MosaicML公司）；Google Research（谷歌研究院）
实践者经常观察到修剪可以提高模型的泛化能力。一个长期存在的假设的基础上的偏差方差权衡属性，这种泛化的改进模型大小的减少。然而，最近的研究过参数化的特点是一个新的模型大小制度，其中较大的模型实现更好的泛化。在这种过度参数化的情况下修剪模型会导致一个矛盾--虽然理论预测减小模型大小会损害泛化，但修剪到一定范围的稀疏性却会改善泛化。我们发现，尺寸减小不能完全解释标准剪枝算法的泛化改进效果。相反，我们发现修剪导致在特定稀疏度下更好的训练，改善了密集模型的训练损失。我们发现，修剪还导致在其他稀疏性下的额外正则化，减少了由于密集模型上的噪声示例而导致的准确性下降。剪枝延长了模型训练时间，减小了模型大小。这两个因素分别改善了训练和增加了正则化。我们的经验表明，这两个因素是必不可少的，以充分解释修剪的影响泛化。
2022-10-25 cs.LG stat.ML
Pruning for Better Domain Generalizability
Stanford University（斯坦福大学）
本文提出一种名为DSS的新颖剪枝评分方法，旨在直接增强模型鲁棒性而非维持源域准确率，实验证明其与MIRO等方法结合可显著提升模型在MNIST-M和DomainBed等基准上的域泛化性能。
2023-06-22 cs.AI cs.CV cs.LG
One-Cycle Structured Pruning via Stability-Driven Subnetwork Search
IT Application Research Center, Korea Electronics Technology Institute（韩国电子技术研究所应用信息技术中心）；Department of Intelligent Semiconductors, Soongsil University（顺慈大学智能半导体系）；Department of Computer Science & Engineering, Seoul National University（首尔国立大学计算机科学与工程系）
本文提出了一种高效的单次循环结构化剪枝框架，通过稳定性驱动的子网络搜索提升剪枝效率和准确性。
2025-12-17 cs.AI cs.CV cs.LG
Mix-and-Match Pruning: Globally Guided Layer-Wise Sparsification of DNNs
1 Brandenburg Technical University, Cottbus, Germany；2 University of Zanjan, Iran；3 Tallinn University of Technology, Estonia；4 Leibniz Institute for High Performance Microelectronics, Frankfurt Oder, Germany
本文提出混合匹配剪枝方法，通过全局引导分层稀疏化DNNs，在不同层和架构对剪枝响应不同的情况下，生成多样化高质量剪枝配置，实现部署-ready的精度-稀疏度平衡。
2026-03-17 cs.AR cs.CV cs.LG
Structured Pruning of Deep Convolutional Neural Networks
Seoul National University（首尔大学）
深度学习算法的实时的应用经常受到高计算复杂性和频繁的存储器访问的阻碍。网络剪枝是解决这一问题的一种很有前途的技术。然而，修剪通常会导致不规则的网络连接，不仅需要额外的表示工作，而且不适合并行计算。我们介绍了卷积神经网络在不同尺度下的结构稀疏性，包括通道稀疏性、核稀疏性和核内稀疏性。这种结构化稀疏性对于嵌入式计算机、并行计算环境和基于硬件的系统上的直接计算资源节省是非常有利的。为了确定网络连接和路径的重要性，所提出的方法使用粒子滤波方法。每个粒子的重要性权重分配通过计算相应的连接模式的错误分类率。修剪后的网络被重新训练，以补偿由于修剪而造成的损失。在实现卷积矩阵产品，我们特别表明，内核内跨越稀疏与一个简单的约束，可以显着降低内核和特征映射矩阵的大小。最终对修剪后的网络进行定点优化，降低了字长精度。这导致总存储大小的显著减小，从而为基于片上存储器的深度神经网络的实现提供优势。
2015-12-29 cs.LG cs.NE stat.ML
Fast as CHITA: Neural Network Pruning with Combinatorial Optimization
MIT（麻省理工学院）；Google Research（谷歌研究院）
现代神经网络的庞大规模使得模型服务成为一个严重的计算挑战。一种流行的压缩技术通过修剪或稀疏化预训练网络的权重来克服这一挑战。虽然有用，这些技术往往面临严重的计算要求和压缩质量之间的权衡。在这项工作中，我们提出了一种新的基于优化的修剪框架，认为修剪（和更新）的组合效果的稀疏约束下的多个权重。我们的方法，CHITA，扩展了经典的最佳脑外科医生框架，并在速度，内存和性能方面显着改善现有的基于优化的网络修剪方法。CHITA的主要主力对损失函数的局部二次近似的内存友好表示进行组合优化更新。在预训练模型和数据集的标准基准上，CHITA比竞争方法具有更好的稀疏性-准确性权衡。例如，对于仅保留2%权重的MLPNet，我们的方法相对于最先进的方法将准确度提高了63%。此外，当与微调SGD步骤结合使用时，我们的方法实现了比最先进方法显著的准确度增益。
2023-02-28 cs.CV cs.LG math.OC
Pushing the Limits of Sparsity: A Bag of Tricks for Extreme Pruning
Department of Computing Science University of Aberdeen, UK（计算科学系阿伯丁大学，英国）；Department of Computing Science & Interdisciplinary Institute University of Aberdeen, UK（计算科学系与跨学科研究所阿伯丁大学，英国）；Department of Computer Science University of Exeter, UK（计算机科学系埃克塞特大学，英国）；Intel Labs, USA（英特尔实验室，美国）；Department of Computer Science University of North Carolina at Chapel Hill, US（计算机科学系北卡罗来纳大学教堂山分校，美国）；School of Computer Science and Electronic Engineering University of Surrey, UK（计算机科学与电子工程学院 Surrey大学，英国）
本文提出EAST方法，通过动态ReLU相位、权重共享和循环稀疏性技术，在极端稀疏性下实现稳定训练和性能提升。
2025-12-01 cs.CV
Layer-wise Model Pruning based on Mutual Information
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Zhejiang University（浙江大学）；Computer Center of Peking University（北京大学计算中心）；Peng Cheng Laboratory（鹏城实验室）
与基于权重的剪枝技术相比，本文提出的剪枝策略具有以下优点：（1）由于表示和矩阵可以压缩成较小但密集的对应部分，避免了不规则的内存访问，从而提高了加速比;（2）以自顶向下修剪的方式，所提出的方法基于顶层中的训练信号从更全局的角度操作，并且通过将全局信号的效果传播通过层来修剪每一层，从而在相同的稀疏度水平下产生更好的性能。大量的实验表明，在相同的稀疏水平下，所提出的策略比基于权重的修剪方法（例如，幅度修剪、运动修剪）。
2021-08-28 cs.AI cs.CL cs.LG
Automatic Pruning Discovery for Large Language Models
Northeastern University, Shenyang, China（东北大学（沈阳））；Hebei Key Laboratory of Marine Perception Network and Data Processing, Northeastern University at Qinhuangdao 066004, Hebei Province, China（河北省海洋感知网络与数据处理重点实验室，秦皇岛东北大学066004，河北省）；Sun Yat-sen University, Shenzhen, China（深圳大学）；Hong Kong Baptist University, Hongkong, China（香港 Baptist 大学）；Xidian University, Xian, China（西安电子科技大学）
提出AutoPrune方法，利用LLMs自动设计剪枝算法，并通过图驱动思维链优化提示，结合偏态感知动态稀疏分配解决高剪枝率下的异常值问题，在主流基准上超越现有方法。
2026-05-27 cs.CV
Accurate Neural Network Pruning Requires Rethinking Sparse Optimization
Skoltech（斯科尔科沃科技学院）；Yandex（扬德克斯）；IST Austria（奥地利科学技术研究所）；Neural Magic（神经魔法）
本文研究了高稀疏性对神经网络训练的影响，发现使用稠密训练方案进行稀疏训练是次优的，并提出了针对视觉模型预训练和语言模型微调的新方法，在高稀疏度下实现了最先进的精度。
2023-09-08 cs.AI cs.LG
PRUNIX: Non-Ideality Aware Convolutional Neural Network Pruning for Memristive Accelerators
University of Toronto（多伦多大学）；York University（约克大学）
在这项工作中，PRUNIX，一个框架，用于训练和修剪卷积神经网络提出了部署在忆阻器交叉杆为基础的加速器。PRUNIX考虑了忆阻器交叉杆的许多非理想效应，包括权重量化、状态漂移、老化和故障固定。PRUNIX利用一种新的组锯齿正则化，旨在提高非理想性容限以及稀疏性，以及一种新的自适应修剪算法（APA），旨在通过考虑CNN的不同层对修剪的敏感性来最大限度地减少准确性损失。我们将我们的正则化和修剪方法与多个CNN架构上的其他标准进行了比较，并观察到当量化和其他非理想效应被占时，测试精度提高了13%，总体稀疏度为85%，这与其他方法相似
2022-02-03 cs.AR cs.LG
Channel Pruning via Optimal Thresholding
Intel（英特尔）
结构化剪枝，尤其是通道剪枝，由于其计算量小，与现有硬件设备兼容，被广泛应用。在现有的作品中，通常使用预定义的全局阈值或从预定义的度量计算的阈值来去除权重。基于预定义全局阈值的设计忽略了不同层和权重分布之间的变化，因此，它们通常会导致由过度修剪或修剪不足引起的次优性能。在本文中，我们提出了一种简单而有效的方法，称为最佳的保留（OT），修剪通道层相关的阈值，最佳地分离重要的可忽略的通道。通过使用OT，大多数可忽略或不重要的信道被修剪以实现高稀疏性，同时最大限度地降低性能。由于保留了最重要的权重，因此修剪后的模型可以进一步微调，并以非常少的迭代快速收敛。我们的方法表现出优越的性能，特别是当与最先进的设计在高水平的稀疏性。在CIFAR-100上，使用OT进行修剪和微调的DenseNet-121仅用1.46e8 FLOP和0.71M参数就达到了75.99%的准确率。
2020-09-10 cs.CV
Pivoting Factorization: A Compact Meta Low-Rank Representation of Sparsity for Efficient Inference in Large Language Models
Center for Complex Network Intelligence (CCNI), Tsinghua Laboratory of Brain and Intelligence (THBI), Department of Psychological and Cognitive Sciences（复杂网络智能中心（CCNI）、清华脑智能实验室（THBI）、心理与认知科学系）；Department of Computer Science（计算机科学系）；Department of Biomedical Engineering, Tsinghua University, China（生物医学工程系，清华大学，中国）
本文提出PIFA，一种无损元低秩表示方法，通过识别枢轴行并线性组合非枢轴行，消除冗余信息，实现额外内存节省和推理加速，并结合无需重训练的重构方法MPIFA，显著优于现有低秩剪枝，性能媲美半结构化剪枝。
2025-08-13 cs.LG
Twilight: Adaptive Attention Sparsity with Hierarchical Top-$p$ Pruning
Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
针对长上下文LLM加速中固定稀疏预算无法适应动态场景的问题，提出Twilight框架，利用分层Top-$p$剪枝实现自适应注意力稀疏化，在不损失精度的前提下最多剪枝98%冗余token，显著提升推理速度。
2025-11-04 cs.CL cs.LG
Dependency Aware Filter Pruning
Nankai University（南开大学）
卷积神经网络（CNN）通常是过参数化的，在推理中带来相当大的计算开销和内存占用。修剪一部分不重要的过滤器是一种有效的方法，以减轻推理成本。为此，识别不重要的卷积滤波器是有效滤波器修剪的关键。以前的工作修剪过滤器根据其权重范数或相应的批量范数缩放因子，而忽略相邻层之间的顺序依赖性。在本文中，我们进一步发展的范数为基础的重要性估计考虑相邻层之间的依赖关系。此外，我们提出了一种新的机制来动态控制稀疏诱导正则化，以达到所需的稀疏性。通过这种方式，我们可以识别不重要的过滤器，并以更有原则的方式在某些资源预算内搜索最佳网络架构。综合实验结果表明，该方法在CIFAR，SVHN和ImageNet数据集上对现有的强基线表现良好。培训来源将在审查进程结束后公开提供。
2020-05-06 cs.CV
Multi-layer Pruning Framework for Compressing Single Shot MultiBox Detector
IIT Kanpur（印度理工学院坎普尔分校）；R&D Center, Hitachi India Pvt. Ltd.（日立印度私人有限公司研发中心）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们提出了一个框架，用于压缩国家的最先进的Single Shot MultiBox检测器（SSD）。该框架在以下阶段解决压缩问题：稀疏归纳、过滤器选择和过滤器修剪。在稀疏归纳阶段，通过改进的全局阈值对目标检测器模型进行稀疏化。在过滤器选择和修剪阶段，我们使用两个连续卷积层中过滤器权重的稀疏统计来选择和删除过滤器。这导致模型的尺寸小于大多数现有的紧凑架构。我们使用多个数据集评估我们的框架的性能，并比较多种方法。实验结果表明，我们的方法实现了最先进的压缩6.7倍和4.9倍的PASCAL VOC数据集模型SSD 300和SSD 512分别。我们进一步表明，该方法在德国交通标志检测基准（GTSDB）上使用SSD512产生26倍的最大压缩。此外，我们还经验表明，我们的方法的适应性分类为基础的架构VGG16的数据集CIFAR和德国交通标志识别基准（GTSRB）实现了125倍和200倍的压缩率，减少了90.50%和96.6%的浮点数分别没有损失的准确性。除此之外，我们的方法不需要任何特殊的库或硬件支持的压缩模型。
2018-11-20 cs.CV
Membership Inference Attacks and Defenses in Neural Network Pruning
Michigan Technological University（密歇根理工大学）
神经网络修剪是一种重要的技术，用于减少将深度神经网络用于资源受限设备的计算和存储器需求。大多数现有的研究主要集中在平衡的稀疏性和准确性的修剪神经网络，通过战略性地删除无关紧要的参数和重新训练修剪模型。这种重复使用训练样本的努力由于增加记忆而造成严重的隐私风险，然而，尚未进行调查。本文首先对神经网络剪枝中的隐私风险进行了分析。具体来说，我们研究了神经网络修剪对训练数据隐私的影响，即，成员推断攻击。我们首先探讨了神经网络修剪对预测发散的影响，其中修剪过程不成比例地影响修剪模型的成员和非成员行为。同时，分歧的影响甚至在不同的类之间以细粒度的方式变化。受此启发，提出了一种针对剪枝后的神经网络的自注意成员推断攻击.进行了大量的实验，严格评估隐私的影响，不同的修剪方法，稀疏水平，和对手的知识。与现有的8种成员推断攻击相比，该攻击在剪枝模型上表现出更高的攻击性能。此外，我们提出了一种新的防御机制，以保护修剪过程中，通过减轻基于KL-发散距离的预测分歧，其有效性已被实验证明，有效地减轻隐私风险，同时保持稀疏性和准确性的修剪模型。
2022-08-03 cs.CR cs.LG stat.ML
