Mustafar: Promoting Unstructured Sparsity for KV Cache Pruning in LLM Inference
Department of Computer Science, University of Maryland(计算机科学系,马里兰大学);d-Matrix
Mustafar提出基于非结构化稀疏性的KV缓存剪枝方法,无需微调即可实现高达70%稀疏率,并通过位图格式与自定义注意力内核将吞吐量最高提升2.23倍。
2025-11-06 cs.LG
Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity
University of California San Diego(加州大学圣迭戈分校)
FL中的传统方法试图在中央服务器的编排下,在多个客户端的帮助下协作地学习单个全局模型。然而,在数据异构的情况下,学习单个全局模型可能无法很好地适用于参与FL的所有客户端。因此,全局模型的个性化在处理统计异质性和数据的非IID分布所带来的挑战方面变得至关重要。与以前的作品不同,在这项工作中,我们提出了一种新的方法,从客户端级别的目标获得个性化的模型。这进一步激励了所有客户端即使在统计异质性下也参与联合,以提高其性能,而不仅仅是中央服务器的数据和模型训练的来源。为了实现这种个性化,我们通过应用混合修剪(结构化和非结构化修剪的组合)和非结构化修剪来为每个客户端找到一个小型子网。通过对不同基准测试的一系列实验,我们观察到具有相似数据(标签)的客户端共享相似的个人参数。通过为每个客户端查找子网...
2021-05-10 cs.DC cs.LG
Can Unstructured Pruning Reduce the Depth in Deep Neural Networks?
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院LTCI实验室)
本研究提出熵引导剪枝算法EGP,通过优先剪枝低熵层连接以完全移除层,在ResNet-18和Swin-T上验证了其能有效压缩网络并保持性能,揭示了非结构化剪枝的机制。
2023-08-18 cs.AI cs.LG
UnIT: Scalable Unstructured Inference-Time Pruning for MAC-efficient Neural Inference on MCUs
Worcester Polytechnic Institute(沃斯特理工学院);Syracuse University(Syracuse大学);Arizona State University(亚利桑那州立大学)
UnIT提出一种非结构化推理时剪枝方法,通过动态跳过不必要的MAC操作,在MCU上实现免重训练的高效推理,显著降低计算和能耗。
2025-07-10 cs.AI cs.LG
Revisiting the Effectiveness of LLM Pruning for Test-Time Scaling
Bellini College of AI, Cybersecurity, and Computing(人工智能、网络安全与计算学院)
本文研究非结构化剪枝对推理型大语言模型测试时缩放性能的影响,发现其优于结构化剪枝甚至有时超过未剪枝模型,并探讨了层间稀疏分配策略的作用。
2026-08-25 cs.AI cs.CL cs.LG
When deep learning models on GPU can be accelerated by taking advantage of unstructured sparsity
AGH University of Science and Technology(AGH科技大学)
本文主要研究如何提高稀疏卷积神经网络(CNN)层在图形处理器(GPU)上的效率。Nvidia深度神经网络(cuDnn)库为GPU提供了最有效的深度学习(DL)算法实现。GPU是深度学习计算中最有效和最常用的加速器之一。现代CNN模型需要兆字节的系数,需要数百万次MAC操作来执行卷积。压缩CNN模型的最常见技术之一是权重修剪。修剪主要有两种类型:结构性(基于删除整个权重通道)和非结构性(删除单个权重)。第一种方法可以更容易地加速,但这种方法很难达到第二种方法所达到的稀疏度和精确度。在某些深度CNN模型中,具有再训练的非结构性修剪可以生成高达$\sim90\%$或更高稀疏度的矩阵权重。这项工作显示了何时值得使用直接稀疏操作来加速卷积层的计算。来自ResNet模型的VGG-16,CNN非静态和1x 1层被用作基准。此外,我们提出了使用降低精度对时间效率的影响。
2021-04-17 cs.LG stat.ML
Efficient Unstructured Pruning of Mamba State-Space Models for Resource-Constrained Environments
Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学);Department of Civil, Construction and Environmental Engineering, Iowa State University(土木、建设与环境工程系,爱荷华州立大学)
针对 Mamba 状态空间模型参数量大、难部署的问题,提出融合梯度幅度、迭代稀疏化与全局分配的非结构化剪枝框架,在多基准上削减最高70%参数并保留95%以上性能。
2025-09-05 cs.CV cs.LG
Revisiting Gradient Pruning: A Dual Realization for Defending against Gradient Attacks
Huazhong University of Science and Technology(华中科技大学);Griffith University(格里菲斯大学);Union Hospital, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属协和医院);Lehigh University(理海大学)
针对协同学习中梯度反转攻击的隐私威胁及现有防御方法隐私、效用、效率权衡不佳的问题,提出双重梯度剪枝方法,可在保障模型效用与隐私的同时提升通信效率,有效抵御强梯度反转攻击。
2024-01-30 cs.CR cs.LG
On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks
Facebook AI Research(脸书人工智能研究院);Brown University(布朗大学)
我们研究了最近记录的,受修剪的深度学习模型中的基本现象如何受到修剪过程中的变化的影响。具体来说,我们分析了通过一组常见的迭代修剪技术发现的修剪模型的连接结构和学习动态的差异,以解决可训练的高稀疏性子网络的唯一性问题,以及它们对所选修剪方法的依赖性。在卷积层中,我们记录了由基于幅度的非结构化修剪结合权重回卷引起的结构的出现,这类似于结构化修剪的效果。我们还表明,经验证据表明,重量稳定,可以自动实现通过适当的修剪技术。
2020-01-14 cs.LG stat.ML
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
非结构化修剪非常适合在训练和推理时减少卷积神经网络(CNN)的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪(SP)通过将过滤器元素设置为零来减少CNN的内存占用,从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪,这会导致强烈的偏差。为了克服这一点,我们引入空间修剪(IP),一个通用的工具,以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础(FB)的线性组合。对于IP,FB系数被设置为零,而未修剪的系数和FB被联合训练。在这项工作中,我们提供了数学证据IP的优越性能,并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下,例如ImageNet的修剪或修剪到高稀疏性,IP大大超过SP,具有相同的运行时间和参数成本。最后,我们表明,IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning
Amazon Web Services(亚马逊网络服务);EPFL(洛桑联邦理工学院);University of Freiburg(弗赖堡大学)
本文提出任务感知剪枝技术UNCURL,通过离线减少SMoE模型每层专家数量,揭示剪枝阈值与预训练专家数的关系,为任务特定推理优化和SMoE架构设计提供指导。
2024-09-02 cs.CL cs.LG
A Free Lunch in LLM Compression: Revisiting Retraining after Pruning
Department for AI in Society, Science, and Technology, Zuse Institute Berlin(人工智能社会、科学与技术系,柏林Zuse研究所);Institute of Mathematics, Technische Universität Berlin(数学系,柏林技术大学)
本文研究了在剪枝后通过局部重建进行适应的方法,发现其在减少数据和计算成本的同时能有效提升模型性能,并揭示了在不同粒度下重建参数窗口对最终质量的影响,挑战了LLM剪枝后适应不可行的主流观点。
2026-05-20 cs.AI cs.LG
Speedup deep learning models on GPU by taking advantage of efficient unstructured pruning and bit-width reduction
Institute of Electronics(电子研究所);AGH-UST(AGH科技大学);Institute of Computer Science(计算机科学研究所)
本文主要研究了对某些卷积神经网络(CNN)进行剪枝,并利用直接稀疏算法提高其在图形处理单元(GPU)上的效率。Nvidia深度神经网络(cuDnn)库是用于GPU的深度学习(DL)算法的最有效实现。GPU是深度学习计算最常用的加速器。提高CNN模型效率的最常见技术之一是权重修剪和量化。修剪主要有两种类型:结构性修剪和非结构性修剪。第一种方法可以在许多类型的加速器上实现更容易的加速,但是使用这种类型的加速器很难实现与使用第二种类型的加速器一样高的稀疏度和准确度。在某些深度CNN模型中,具有再训练的非结构性修剪可以生成高达90%或更多稀疏度的权重张量。在这篇文章中的修剪算法,这使得它可以实现高稀疏性水平,而不降低精度。在下一阶段中,线性和非线性量化适于进一步减少时间和占用空间。本文是以前发表的关于有效修剪技术的论文的扩展,并提出了具有高稀疏性和降低精度的修剪真实模型,可以实现比CuDnn库更好的性能。
2022-08-26 cs.AI cs.LG cs.PF
LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models
University of Maryland(马里兰大学)
本文提出LEAP,一种可学习的端到端无结构剪枝方法,通过伯努利-戈姆贝茨松弛替代传统参数化,提高了无结构剪枝的端到端准确率,实验表明在多个LLM家族上平均提升了零样本准确率。
2026-06-07 cs.AI cs.LG
A Framework for Neural Network Pruning Using Gibbs Distributions
University of Toronto(多伦多大学)
现代深度神经网络通常太大,无法在许多实际场景中使用。神经网络剪枝是减少模型规模和加速推理的重要技术。Gibbs剪枝是一种表达和设计神经网络剪枝方法的新框架。它结合了统计物理和随机正则化方法,可以同时训练和修剪网络,使得学习的权重和修剪掩码彼此适应。它可以用于结构化或非结构化的修剪,我们提出了一些具体的方法。我们比较我们提出的方法,一些当代神经网络修剪方法,并发现吉布斯修剪优于他们。特别是,我们使用CIFAR-10数据集对ResNet-56进行修剪,获得了一个新的最先进的结果。
2021-12-28 cs.LG stat.ML
DARE the Extreme: Revisiting Delta-Parameter Pruning For Fine-Tuned Models
The University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
针对增量参数剪枝(DPP)中DARE方法在高剪枝率或大增量参数下失效的问题,提出DAREx算法(含DAREx-q和DAREx-L2改进),显著提升性能,并验证其与LoRA兼容及重要性剪枝的优越性。
2025-04-20 cs.AI cs.CL cs.LG
Tight Compression: Compressing CNN Through Fine-Grained Pruning and Weight Permutation for Efficient Implementation
ACCESS - AI Chip Center for Emerging Smart Systems(ACCESS——新兴智能系统人工智能芯片中心);Hong Kong University of Science and Technology (HKUST)(香港科技大学);NVIDIA Corporation(英伟达公司)
本文提出基于权重置换的CNN压缩方法,结合非结构化剪枝与更细粒度的子词级剪枝,将稀疏权重压缩为密集格式,显著提升矩阵压缩率、吞吐量和能效。
2021-04-03 cs.LG
QK-Wanda: Coupling Queries and Keys for Unstructured Pruning
KAUST(阿卜杜拉国王科技大学)
QK-Wanda通过耦合查询与键的删除成本进行非结构化剪枝,无需梯度更新,在多个大模型上降低QK重建误差并提升下游性能,同时揭示局部重建预测模型质量的局限。
2026-10-02 cs.CL cs.LG
From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);DreamSoul;University of Minnesota(明尼苏达大学);Intel Corporation(英特尔公司)
本文提出GISP,一种基于全局重要性度量的迭代结构剪枝方法,通过去除注意力头和MLP通道提升模型效率和下游任务性能。
2026-04-27 cs.AI cs.CL cs.LG
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities
非结构化神经网络剪枝算法已经取得了令人印象深刻的压缩率。然而,所得到的通常不规则的稀疏矩阵妨碍了有效的硬件实现,导致额外的存储器使用和复杂的控制逻辑,这减少了非结构化修剪的好处。这刺激了结构化粗粒度修剪解决方案,修剪整个过滤器甚至层,以降低灵活性为代价实现高效实现。在这里,我们提出了一种灵活的新的修剪机制,便于在不同的粒度(权重,内核,过滤器/特征映射)修剪,同时保持有效的内存组织(例如,修剪每个输出神经元的k-out-of-n权重,或修剪每个特征映射的k-out-of-n内核)。我们将该算法称为动态概率剪枝(DPP)。DPP利用Gumbel-softmax松弛进行可微的n取k采样,促进端到端优化。我们表明,DPP在修剪在不同基准数据集上训练的用于图像分类的常见深度学习模型时,可以实现具有竞争力的压缩率和分类准确性。相关地,DPP的非基于幅度的性质允许修剪和权重量化的联合优化,以便进一步压缩网络,我们也展示了这一点。最后,我们提出了新的信息理论指标,显示了一个层内的修剪掩模的信心和修剪多样性。
2021-05-26 cs.CV cs.LG
Exploring the Performance of Pruning Methods in Neural Networks: An Empirical Study of the Lottery Ticket Hypothesis
University of Cambridge(剑桥大学)
在本文中,我们探讨了不同的修剪方法的彩票假设的背景下的性能。我们比较了L1非结构化修剪,Fisher修剪和随机修剪在不同网络架构和修剪场景下的性能。实验包括一次和迭代修剪的评价,在修剪过程中的网络中的权重移动的检查,不同宽度的网络上的修剪方法的比较,以及当网络变得非常稀疏的方法的性能分析。此外,我们提出并评估了一种新的方法,有效地计算Fisher剪枝,称为批量Fisher剪枝。
2023-03-26 cs.LG
SuperSAM: Crafting a SAM Supernetwork via Structured Pruning and Unstructured Parameter Prioritization
Iowa State University(爱荷华州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Intel Labs(英特尔实验室)
本研究针对一次性NAS搜索空间设计难题,提出通过逐层结构化剪枝与参数优先级排序将SAM转化为超网络SuperSAM的策略,所得子网络比原SAM ViT-B小30%-70%且性能更优,为ViT NAS搜索空间设计提供了新方法。
2025-01-15 cs.CV cs.LG
The Optimal BERT Surgeon: Scalable and Accurate Second-Order Pruning for Large Language Models
Institute of Science and Technology Austria(奥地利科学技术研究所);Neural Magic Inc.(Neural Magic公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于转换器的语言模型已经成为自然语言处理的关键构件。虽然这些模型非常准确,但它们可能太大且计算密集,无法在标准部署上运行。已知各种压缩方法,包括蒸馏、量化、结构化和非结构化修剪,以减小模型大小并提高推理速度,同时具有低精度损失。在这方面,本文的贡献是双重的。我们对BERT模型的非结构化权重修剪的精度-压缩权衡进行了深入研究。我们介绍了最佳BERT外科医生(oBERT),一个有效的和准确的权重修剪方法的基础上近似二阶信息,我们表明,产生国家的最先进的结果在两个阶段的语言任务:预训练和微调。具体而言,oBERT扩展了现有的工作,非结构化的二阶修剪,允许修剪块的权重,并适用于在BERT规模。其次,我们研究了这种修剪方法在复合压缩方法时的影响,以获得高度压缩但准确的模型,用于在边缘设备上部署。这些模型在所有指标方面都大大突破了当前最先进的稀疏BERT模型的界限:模型大小、推理速度和任务准确性。例如,相对于密集BERT库,我们获得了10倍的模型大小压缩(MB),精度下降< 1%,10倍的CPU推理加速,精度下降< 2%,29倍的CPU推理加速,精度下降< 7.5%。我们的代码与Transformers和SparseML完全集成,可以在https://github.com/neuralmagic/sparseml/tree/main/research/optimal_BERT_surgeon_…
2022-10-17 cs.CL cs.LG
SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning
针对LLM长上下文推理的KV缓存瓶颈,SparK提出查询感知的通道级非结构化稀疏剪枝方法,动态恢复剪枝条目,在保持精度的同时减少内存开销,且可与现有压缩技术集成,提升长序列处理效率。
2025-11-12 cs.AI cs.CL cs.LG
Parameterized Structured Pruning for Deep Neural Networks
Ruprecht Karls University, Heidelberg(海德堡鲁普雷希特·卡尔斯大学);Graz University of Technology(格拉茨工业大学)
由于深度神经网络(DNN)的规模不断增长,在内存和计算方面与硬件能力的差距越来越大。为了有效地压缩DNN,通常考虑量化和连接修剪。然而,无约束的修剪通常会导致非结构化的并行性,这映射到大规模并行处理器,并大大降低了通用处理器的效率。类似的情况也适用于量化,这通常需要专用硬件。我们提出了参数化结构修剪(PSP),这是一种通过结构稀疏性动态学习DNN形状的新方法。PSP在权重张量中参数化结构(例如通道或层),并利用权重衰减来学习重要和不重要结构之间的清晰区别。因此,PSP保持了预测性能,创建了大量的稀疏性,这些稀疏性是结构化的,因此可以轻松有效地映射到各种大规模并行处理器,这对于最大的计算能力和能源效率是必需的。PSP分别使用ResNet和DenseNet架构在流行的CIFAR 10/100和ILSVRC 2012数据集上进行了实验验证。
2019-06-12 cs.LG stat.ML
Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning
KAIST(韩国科学技术院);AITRICS
随着深度神经网络的规模不断增长,并且越来越多地被部署到资源有限的设备上,最近对网络修剪方法的兴趣激增,该方法旨在去除给定网络的不太重要的权重或激活。大多数现有修剪技术的一个共同限制是,它们需要在修剪之前至少对网络进行一次预训练,因此我们只能在推理时从内存和计算的减少中受益。然而,通过快速结构修剪来降低神经网络的训练成本可以有益于利用云计算来最小化货币成本或者使得能够在资源有限的设备上进行设备上学习。最近引入的随机权重修剪方法可以消除预训练的需要,但它们通常比传统的修剪技术获得次优性能,并且由于它们执行非结构化修剪,因此也不允许更快的训练。为了克服它们的局限性,我们提出了基于集合的任务自适应Meta剪枝(STAMP),该任务自适应地剪枝在大型参考数据集上预训练的网络,通过在其上生成剪枝掩码作为目标数据集的函数。为了确保目标任务的最大性能改进,我们在参考数据集的不同子集上元学习掩码生成器,这样它就可以在几个梯度训练步骤内很好地推广到任何看不见的数据集。我们在基准数据集上验证了STAMP与最近的高级修剪方法的对比,在基准数据集上,它不仅在相似的精度下获得了比基线显著提高的压缩率,而且训练速度也快了几个数量级。
2020-06-22 cs.LG stat.ML
On the Predictability of Pruning Across Scales
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们表明,迭代幅度修剪网络的错误经验遵循缩放定律与可解释的系数,取决于架构和任务。我们在功能上近似修剪网络的错误,表明它是可预测的,在一个不变的捆绑宽度,深度和修剪水平,这样的网络有很大的不同修剪密度是可互换的。我们证明了这种近似在深度,宽度,数据集大小和密度的数量级上的准确性。我们表明,函数形式持有(推广)大规模数据(例如,ImageNet)和架构(例如,ResNets)。随着神经网络变得越来越大,训练成本越来越高,我们的研究结果提出了一个框架,用于从概念上和分析上推理非结构化修剪的标准方法。
2021-07-04 cs.CV cs.LG stat.ML
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
Lahore University of Management Sciences(拉合尔管理科学大学)
针对极度稀疏剪枝中的表征崩溃问题,提出BaCP方法,通过对比对齐预训练等模型来正则化嵌入空间,在90种设置下显著提升极度稀疏时的准确率。
2026-10-05 cs.LG
DiffPrune: Neural Network Pruning with Deterministic Approximate Binary Gates and $L_0$ Regularization
现代神经网络架构通常具有数百万个参数,并且可以在有效性没有实质性损失的情况下显著修剪,这表明它们是过度参数化的。这项工作的贡献是双重的。第一种方法是通过任意实值多元随机变量的确定性和可微变换来近似多元伯努利随机变量。第二种方法是模型选择的元素乘参数与近似二进制门,可以计算确定性或随机,并采取精确的零值。通过对$L_0$损失的替代正则化来鼓励稀疏性。由于该方法是可微的,它可以通过随机梯度下降的经验风险最小化过程直接有效地学习模型架构,并且理论上可以在训练期间进行条件计算。该方法还支持任意组稀疏参数或激活,因此提供了一个框架,非结构化或灵活的结构化模型修剪。最后通过实验验证了该方法的有效性.
2021-03-06 cs.LG stat.ML
Learned Threshold Pruning
Qualcomm Technologies, Inc.(高通技术公司);Amazon.com, Inc.(亚马逊公司);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司)
本文提出了一种新的可微方法,用于深度神经网络的非结构化权重修剪。我们的学习阈值修剪(LTP)方法通过梯度下降来学习每层阈值,而不像传统方法那样将它们设置为输入。使阈值可训练也使LTP计算效率高,因此可扩展到更深的网络。例如,LTP在ImageNet上修剪ResNet 50需要$30$ epoch,因子为$9.1$。这与通过计算密集型迭代修剪和微调过程搜索每层阈值的其他方法形成对比。此外,通过新的可微分$L_0$正则化,LTP能够在具有批归一化的架构上有效地操作。这一点很重要,因为$L_1$和$L_2$惩罚在具有批量归一化的网络中失去了正则化效果。最后,LTP生成一系列逐渐稀疏的网络,可以根据稀疏性和性能要求从中挑选所需的修剪网络。这些功能使LTP能够在ImageNet网络上实现有竞争力的压缩率,例如AlexNet($26.4\times$压缩,$79.1\%$ Top-5精度)和ResNet 50($9.1\times$压缩,$92.0\%$ Top-5精度)。我们还表明,LTP有效地修剪现代\textit{compact}架构,如EfficientNet,MobileNetV 2和MixNet。
2021-03-19 cs.LG stat.ML
Exploring Vision Neural Network Pruning via Screening Methodology
Department of Statistics(统计学系);Florida State University(佛罗里达州立大学);GPU ML Accelerator Team(GPU ML 加速器团队);Qualcomm Inc.(高通公司)
本文提出一种通过统计分析组件显著性进行剪枝的框架,减少存储和计算需求,同时保持模型精度,适用于全连接网络和卷积网络。
2026-04-29 cs.LG stat.ML
TENP: Trapezoidal Expert Neuron Pruning For Mixture-of-Experts
TJUNLP Lab, School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院 TJUNLP实验室)
提出TENP框架,通过识别重要专家并对其余专家进行神经元剪枝,保留梯形参数模式,在40%路由专家稀疏度和平均63.76%激活参数下,DeepSeek模型准确率仅下降1点,代码生成任务提升10%。
2026-06-03 cs.LG stat.ML
Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot
Yuanpei College, Peking University(北京大学元培学院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Department of Electrical Engineering, Princeton University(普林斯顿大学电气工程系);Zhongguancun Haihua Institute for Frontier Information Technology(中关村海华前沿信息技术研究院);Key Laboratory of Machine Perception, MOE, School of EECS, Peking University(北京大学信息科学技术学院机器感知教育部重点实验室)
网络修剪是一种以最小的性能下降来减少测试时计算资源需求的方法。修剪算法的传统智慧表明:(1)修剪方法利用来自训练数据的信息来找到好的子网络;(2)修剪网络的架构对于良好的性能至关重要。在本文中,我们对最近几种非结构化剪枝方法进行了上述信念的健全性检查,并惊讶地发现:(1)一组旨在找到随机初始化网络的良好子网络的方法(我们称之为“初始票”),几乎不利用来自训练数据的任何信息;(2)对于这些方法得到的剪枝网络,在保持每层保留权值总数不变的同时,随机改变每层保留权值,并不影响最终性能。这些发现启发我们为每一层选择一系列简单的\emph{data-independent}修剪比率,并相应地随机修剪每一层以获得一个子网(我们称之为“随机票”)。实验结果表明,我们的zero-shot随机票优于或达到类似的性能相比,现有的“初始票”。此外,我们确定了一个现有的修剪方法,通过我们的健全性检查。我们将随机票中的比率与该方法混合,提出了一种新的方法,称为“混合票”,实现了进一步的改进。(Our代码可在https://github.com/JingtongSu/sanity-checking-pruning上公开获取)
2020-10-22 cs.LG stat.ML
Winning the Lottery Ahead of Time: Efficient Early Network Pruning
Technical University Munich(慕尼黑工业大学)
修剪,稀疏化深度神经网络的任务,最近受到越来越多的关注。虽然最先进的修剪方法提取高度稀疏的模型,但它们忽略了两个主要挑战:(1)寻找这些稀疏模型的过程通常非常昂贵;(2)非结构化修剪在GPU内存,训练时间或碳排放方面没有提供好处。我们提出了通过梯度流保留的早期压缩(EarlyCroP),它在训练解决挑战(1)之前或早期有效地提取了最先进的稀疏模型,并且可以以结构化的方式应用于解决挑战(2)。这使我们能够在密集版本太大的商用GPU上训练稀疏网络,从而节省成本并降低硬件要求。我们的经验表明,EarlyCroP在许多任务(包括:分类,回归)和域(包括计算机视觉、自然语言处理、以及语音学习)。EarlyCroP导致与密集训练相当的准确性,同时优于修剪基线。
2022-06-21 cs.LG
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
Stanford University(斯坦福大学);NVIDIA(英伟达);Tsinghua University(清华大学)
稀疏性通过跳过零来帮助降低深度神经网络的计算复杂性。利用稀疏性被列为下一代DNN加速器(如TPU)的高优先级。稀疏性的结构,即,修剪的粒度影响硬件加速器设计的效率以及预测的准确性。粗粒度修剪创建规则的稀疏模式,使其更适合硬件加速,但保持相同的精度更具挑战性。在本文中,我们定量地衡量稀疏规律性和预测精度之间的权衡,提供了如何保持准确性,同时有更多的结构化稀疏模式的见解。我们的实验结果表明,粗粒度的修剪可以实现类似于非结构化修剪的稀疏率,而不会损失准确性。此外,由于索引节省效果,粗粒度修剪能够获得比细粒度稀疏在相同的精度阈值更好的压缩比。基于最近的稀疏卷积神经网络加速器(SCNN),我们的实验进一步证明,与细粒度稀疏相比,粗粒度稀疏节省了约2倍的内存引用。由于存储器访问比算术运算贵两个数量级以上,稀疏结构的规则性导致更有效的硬件设计。
2017-06-05 cs.LG stat.ML
Pruning and Quantization Impact on Graph Neural Networks
本研究实证评估了三种剪枝和三种量化方法对多种GNN模型及任务的影响,发现非结构化细粒度全局剪枝可显著减小模型规模(50%)并保持或提升精度,而量化影响因数据集而异。
2025-10-24 cs.LG
Edge AI: Evaluation of Model Compression Techniques for Convolutional Neural Networks
University of Bath(巴斯大学)
本文在CIFAR-10上评估ConvNeXt模型的结构化剪枝、非结构化剪枝和动态量化等压缩技术,结合OTOV3与动态量化实现规模缩减89.7%、参数和MACs缩减95%且准确率提升3.8%,并在边缘设备上验证了高准确率和低推理延迟。
2024-09-02 cs.AI cs.CV cs.LG
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression
Tencent Media Lab(腾讯媒体实验室);Northeastern University(东北大学)
压缩深度神经网络(DNN)模型以减轻存储和计算需求对于实际应用至关重要,尤其是对于资源有限的设备。虽然能够减少合理数量的模型参数,以前的非结构化或结构化的权重修剪方法很难真正加速推理,无论是由于非结构化稀疏性的硬件兼容性差,还是由于结构修剪网络的稀疏率低。为了减少存储和计算,以及保持原有的任务性能,我们提出了一个广义的重量统一框架,在硬件兼容的微结构化水平,以实现高量的压缩和加速。所选微结构块的权重系数被统一以减少块的存储和计算而不改变神经元连接,当所有统一系数被设置为零时,这变成微结构修剪特殊情况,其中神经元连接(因此存储和计算)被完全去除。此外,我们开发了一个有效的训练框架的基础上交替方向的乘法器(ADMM),它将我们的复杂约束优化到单独可解的子问题。通过迭代优化子问题,可以确保所需的微结构,高压缩比和低性能退化。我们使用各种基准模型和不同应用程序的数据集广泛评估了我们的方法。实验结果表明,国家的最先进的性能。
2021-06-16 cs.AI cs.CV cs.LG
One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression
Jagiellonian University(雅盖隆大学);ETH Zürich(苏黎世联邦理工学院);Wrocław University of Science and Technology(弗罗茨瓦夫科技大学)
本文系统比较了一次性剪枝与迭代剪枝两种策略,发现一次性剪枝在低剪枝率下更有效,而迭代剪枝在高剪枝率下表现更好,并提出了混合方法。
2026-07-01 cs.AI cs.LG
Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach
Wayne State University(韦恩州立大学)
由于深度学习模型通常包含数百万个可训练权重,因此对具有减少的存储空间和提高的运行时效率的更高效的网络结构的需求不断增长。剪枝是最流行的网络压缩技术之一。在本文中,我们提出了一种新的非结构化修剪管道,基于注意力的同时稀疏结构和权重学习(ASWL)。与传统的通道式或权值式注意力机制不同,ASWL提出了一种有效的算法,通过对每一层进行逐层注意来计算剪枝率,并跟踪密集网络和稀疏网络的权值,从而从随机初始化的权值中同时学习剪枝后的结构。我们在MNIST,Cifar10和ImageNet上的实验表明,与最先进的网络剪枝方法相比,ASWL在准确性,剪枝率和运行效率方面取得了优异的剪枝结果。
2022-06-08 cs.CV cs.LG
Towards Optimal Compression: Joint Pruning and Quantization
University of Cambridge(剑桥大学);University of Zürich(苏黎世大学);Princeton University(普林斯顿大学);CERN(欧洲核子研究中心);CEVA. Inc(CEVA公司)
针对深度神经网络压缩中量化与剪枝策略确定难、现有方法压缩-性能权衡不佳的问题,提出整合混合精度量化与非结构化剪枝的FITCompress方法,利用Fisher信息度量和路径规划实现最优压缩配置,在多任务基准上表现优于现有方法。
2023-06-11 cs.LG
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks
Purdue University(普渡大学)
深度神经网络的巨大推理成本可以通过网络压缩来缩小。修剪是用于深度网络压缩的主要方法之一。然而,现有的修剪技术具有以下限制中的一个或多个:1)由于修剪和微调阶段,在计算繁重的训练阶段之上的额外能量成本,2)基于特定的统计的逐层修剪,忽略网络中的误差传播的影响,3)缺乏用于全局地确定重要信道的有效估计,4)非结构化修剪需要专门的硬件来有效使用。为了解决上述所有问题,我们提出了一种简单而有效的渐进通道修剪,同时使用一种新的数据驱动的度量(称为特征相关性得分)进行训练。所提出的技术摆脱了额外的再训练周期,修剪最不重要的通道,在实际的训练阶段在固定的时间间隔,在一个结构化的方式。特征相关性分数有助于有效地评估每个通道对网络区分能力的贡献。我们使用CIFAR-10、CIFAR-100和ImageNet等数据集证明了所提出的方法在VGG和ResNet等架构上的有效性,并成功实现了显著的模型压缩,同时权衡了低于$1\%$的准确性。值得注意的是,在ResNet-110上训练的CIFAR-10数据集上,我们的方法实现了$2.4\times$压缩和FLOP中的$56\%$减少,与未修剪的网络相比,准确度下降了$0.01\%$。
2020-04-29 cs.CV cs.LG cs.NE
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego(加州大学圣地亚哥分校)
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而,修剪通常仅应用于网络的权重。在这项工作中,我们联合应用新的均匀量化和非结构化修剪方法,在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法,我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例,并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察,我们提出了非交换性假设:对于一个为特定任务训练的给定深度神经网络,存在一个精确的训练时间表,其中可以引入量化和修剪来优化网络性能。我们确定,这种最佳顺序不仅存在,而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划,我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
Post-Pruning Accuracy Recovery via Data-Free Knowledge Distillation
本文提出无数据知识蒸馏方法,通过合成隐私保护图像实现模型剪枝后的精度恢复,无需访问原始训练数据。
2025-11-24 cs.AI cs.LG
Investigating the Effect of Network Pruning on Performance and Interpretability
AI Center, Neural Information Processing Group University of Tübingen(人工智能中心、神经信息处理组 汤姆森大学)
本文通过系统应用非结构化、结构化剪枝及连接稀疏方法,研究不同剪枝技术对GoogLeNet在ImageNet验证集上的分类性能和可解释性的影响,发现充分重训练后性能可接近甚至超越原始网络,且可解释性评分与剪枝率无显著关联。
2026-05-23 cs.CV cs.LG
SHUFFLESPARSE: Learned Shuffles for Structured Sparse Networks
Department of Computer Science(计算机科学系);The Institute of Optics(光学研究所)
研究针对结构化权重稀疏性在准确性上落后于非结构化动态稀疏训练的问题,提出SHUFFLESPARSE方法,通过学习排列矩阵缩小精度差距,在多种结构上验证有效,还能提升预训练语言模型剪枝的零样本精度,确立学习排列为恢复精度的通用工具。
2026-07-22 cs.LG
A Comparative Study of Pruning Methods in Transformer-based Time Series Forecasting
Scientific Computing Center, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院科学计算中心);Helmholtz AI(亥姆霍兹人工智能)
本研究对基于Transformer的时间序列预测模型进行非结构化与结构化剪枝的比较基准测试,发现某些模型在高稀疏度下性能更优,但需微调,且结构化剪枝难以显著节省时间。
2024-12-17 cs.AI cs.LG
The State of Sparsity in Deep Neural Networks
Google Brain(谷歌大脑);DeepMind(深度思维)
我们严格评估了三种最先进的技术,用于在两个大规模学习任务中诱导深度神经网络的稀疏性:在WMT 2014英语到德语上训练的Transformer和在ImageNet上训练的ResNet-50。通过数千次实验,我们证明了复杂的技术(Molchanov等人,2017; Louizos等人,2017年b)显示,在较小的数据集上产生高压缩率的性能不一致,并且简单的幅度修剪方法可以实现相当或更好的结果。此外,我们重复了(Frankle & Carbin,2018)和(Liu et al.,2018年),并表明通过修剪学习的非结构化稀疏架构不能从头开始训练到与联合稀疏化和优化训练的模型相同的测试集性能。总之,这些结果强调了在模型压缩领域需要大规模基准。我们开源了我们的代码,最高性能的模型检查点,以及所有超参数配置的结果,为未来的压缩和稀疏化工作建立严格的基线。
2019-02-25 cs.LG stat.ML
Neural Pruning via Growing Regularization
Northeastern University(东北大学)
长期以来,正则化一直被用于在深度神经网络修剪中学习稀疏性。但其作用主要是在小刑度制度中探讨的。在这项工作中,我们将其应用扩展到一个新的场景,其中正则化逐渐变大,以解决修剪的两个核心问题:修剪时间表和权重重要性评分。(1)前一个主题是新提出的这项工作,我们发现关键的修剪性能,而很少受到研究的关注。具体来说,我们提出了一个L2正则化变体,其惩罚因子不断增加,并表明即使在删除相同权重的情况下,与单次正则化变体相比,它也可以带来显着的准确性增益。(2)增长惩罚方案还为我们提供了一种方法,可以利用Hessian信息进行更精确的修剪,而无需知道它们的具体值,因此不会受到常见的Hessian近似问题的困扰。从经验上讲,所提出的算法易于实现,并且在结构化和非结构化修剪中可扩展到大型数据集和网络。在CIFAR和ImageNet数据集上使用现代深度神经网络证明了它们的有效性,与许多最先进的算法相比,取得了有竞争力的结果。我们的代码和训练模型可在https://github.com/mingsuntse/regularization-pruning上公开获取。
2021-04-05 cs.AI cs.CV cs.LG
Squeeze-Release: Iterative Pruning with Exact Structural Minimization
Uppsala University(乌普萨拉大学)
提出Squeeze-Release循环,通过精确结构重写将掩码网络转化为更小密集网络,并引入CompensatedLayerNorm扩展至残差流,实现高达39倍压缩。
2026-06-15 cs.AI cs.LG
Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models
University of Rome Tor Vergata(罗马第二大学);Campus Bio-Medico University of Rome(罗马生物医学大学校园大学)
本文提出基于核密度估计的非参数剪枝算法KEN,通过保留关键参数并恢复其余参数至预训练状态,在至少减少25%参数的情况下保持或提升大语言模型性能,并配套可视化工具KEN$_{viz}$。
2024-06-09 cs.CL cs.LG
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST(香港科技大学)
剪枝是一种模型压缩方法,可在保持准确性的同时去除深度神经网络(DNN)中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理,例如迭代修剪,特征统计/排名或训练过程中的额外优化设计。在本文中,我们从特征演化的新角度提出了一种简单有效的正则化策略,我们称之为特征流正则化(FFR),用于改善DNN中的结构稀疏性和过滤器修剪。具体而言,FFR对沿神经网络的特征流的梯度和曲率施加控制,这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets,ResNets进行的实验表明,FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG
Revisiting Structured Dropout
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学);SIAT(中国科学院深圳先进技术研究院)
大型神经网络通常是过参数化的,容易出现过拟合,Dropout是一种广泛使用的正则化技术,用于对抗过拟合和提高模型泛化能力。然而,非结构化Dropout对于特定的网络架构并不总是有效的,这导致了多种结构化Dropout方法的形成,以提高模型性能,有时还减少了推理所需的计算资源。在这项工作中,我们重新审视结构化Dropout,比较不同的Dropout方法,以自然语言处理和计算机视觉任务,用于多个最先进的网络。此外,我们设计了一种方法,我们称之为\textbf{\emph{ProbDropBlock}}的结构化丢弃,从特征图中删除相邻块的概率由归一化的特征显着值。我们发现,通过一个简单的调度策略,与基线和其他Dropout方法相比,所提出的结构化Dropout方法在各种任务和模型上持续提高了模型性能。特别是,我们表明\textbf{\emph{ProbDropBlock}}通过$0.22\%$改进了MNLI上的RoBERTa微调,并通过$0.28\%$在ImageNet上训练ResNet 50。
2022-10-05 cs.AI cs.CL cs.LG
Pruning at Initialisation through the lens of Graphon Limit: Convergence, Expressivity, and Generalisation
University of Warwick(沃里克大学)
本文通过图本理论分析初始化剪枝方法,揭示稀疏网络的拓扑结构和理论机制,推导出通用逼近定理和泛化界。
2026-02-06 cs.LG