DarwinLM: Evolutionary Structured Pruning of Large Language Models
MBZUAI；ETH Zurich（苏黎世联邦理工学院）；ISTA；Red Hat AI（红帽人工智能）
研究针对大语言模型计算成本高的问题，提出达尔文语言模型（DarwinLM），基于进化搜索过程，通过变异生成后代模型并经多步训练选择最优者，在多个模型上实验验证，实现结构化剪枝最优性能，压缩后训练所需数据更少。
2026-07-16 cs.CL cs.LG
P$^2$ Law: Scaling Law for Post-Training After Model Pruning
Engineering Research Center of Database and Business Intelligence, MOE, China（数据库与商业智能工程研究中心，教育部，中国）；School of Information, Renmin University of China,Beijing, China（信息学院，中国人民大学，北京，中国）；Key Laboratory of Data Engineering and Knowledge Engineering, MOE, China（数据工程与知识工程重点实验室，教育部，中国）；Zhipu AI, China（智谱AI，中国）
本研究提出P$^2$定律，基于Llama-3和Qwen-2.5系列实验，揭示模型剪枝后训练损失与剪枝前模型规模、后训练token数、剪枝率及剪枝前损失的关系，并推广至更大规模，指导剪枝LLM的后训练数据量选择。
2025-05-26 cs.AI cs.CL cs.LG
APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Apple（苹果公司）
本文提出APT框架，通过在微调早期动态添加显著微调参数并丢弃不重要参数，同时提升大型语言模型的训练和推理效率，在大幅减少参数和内存占用的同时保持高任务性能。
2024-06-04 cs.CL cs.LG
Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks
Purdue University（普渡大学）；Yale University（耶鲁大学）
现代深度网络具有数百万到数十亿个参数，这导致在训练期间以及在资源受限的边缘设备上进行推理期间对内存和能量的要求很高。因此，已经提出了删除深度网络中不太重要的权重的修剪技术，从而减少了它们的内存和计算需求。修剪通常在训练原始网络之后执行，然后进行进一步的再训练以补偿修剪期间发生的准确性损失。反复重复修剪和重新训练过程，直到达到准确性和效率之间的最佳折衷。然而，这种迭代再训练增加了网络的整体训练复杂性。在这项工作中，我们提出了一个动态修剪同时训练过程，其中我们在训练过程中修剪深度网络的卷积层的过滤器，从而排除了单独重新训练的需要。我们使用三种不同的预先存在的修剪策略来评估我们的动态修剪，即基于激活的修剪，随机修剪和基于L1归一化的修剪。我们在CIFAR 10上训练的VGG-16的结果表明，L1归一化在本工作中探索的所有技术中提供了最佳性能，与原始网络相比，在修剪80%的过滤器后，准确度下降不到1%。我们进一步评估了CIFAR 100上基于L1归一化的剪枝机制。结果表明，在训练时进行修剪会产生一个压缩的网络，与原始网络相比，在修剪50%的过滤器后几乎没有准确性损失，并且在高修剪率（>80%）下损失约5%。与10个epochs的再训练相比，CIFAR 10，CIFAR 100和ImageNet训练期间的计算和内存访问数量减少了41%。
2020-03-05 cs.LG stat.ML
Sparse Training via Boosting Pruning Plasticity with Neuroregeneration
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Twente（特文特大学）；University of Leeds（利兹大学）；JD Explore Academy（京东探索研究院）；University of Jyväskylä（于韦斯屈莱大学）
彩票假设（LTH）和单次网络剪枝（SNIP）的研究目前在训练后剪枝（迭代幅度剪枝）和训练前剪枝（初始化剪枝）方面引起了广泛的关注。前一种方法具有极大的计算成本，而后者通常与性能不足作斗争。相比之下，在训练期间修剪，一类修剪方法，同时享有的训练/推理效率和可比的性能，暂时，一直较少探索。为了更好地理解训练过程中的修剪，我们从修剪可塑性（修剪网络恢复原始性能的能力）的角度定量研究了整个训练过程中修剪的效果。修剪可塑性可以帮助解释文献中关于神经网络修剪的其他几个经验观察。我们进一步发现，通过注入一种被称为神经再生的大脑启发机制，重新生成与修剪相同数量的连接。我们设计了一种新的渐进幅度修剪（GMP）方法，称为渐进修剪与零成本神经再生（\textbf{GraNet}），这是最先进的。也许最令人印象深刻的是，它的稀疏到稀疏版本首次在ImageNet上使用ResNet-50在不延长训练时间的情况下提高了各种密集到稀疏方法的稀疏到稀疏训练性能。我们在https://github.com/Shiweiliuiiiiiii/GraNet发布所有代码。
2022-02-06 cs.CV cs.LG
Single Shot Structured Pruning Before Training
University of Oxford（牛津大学）
我们介绍了一种使用在训练前应用的结构化修剪来将深度神经网络中的训练速度加快2倍并将推理速度加快3倍的方法。与以前在训练前修剪单个权重的工作不同，我们的工作开发了一种方法来删除整个通道和隐藏单元，其明确目标是加快训练和推理。我们引入了一个计算感知的评分机制，使修剪单位的灵敏度每FLOP删除，允许更大的速度。我们的方法快速，易于实现，并且在训练开始之前只需要对一批数据进行一次向前/向后传递即可完成修剪。
2020-07-01 cs.LG stat.ML
Adapt-Pruner: Adaptive Structural Pruning for Efficient Small Language Model Training
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；HKUST（香港科技大学）
针对小语言模型（SLM）训练的计算成本或性能下降问题，提出分层自适应剪枝方法Adapt-Pruner，结合增量剪枝与训练，在常识基准上准确率超传统方法1%-7%，还能恢复小模型性能并发现更优1B模型。
2025-11-14 cs.AI cs.CL cs.LG
When to Prune? A Policy towards Early Structural Pruning
NVIDIA（英伟达）
修剪可以显著减少网络内存占用和时间复杂度。传统的训练后修剪技术倾向于有效的推理，而忽略了训练的繁重计算。最近的探索预训练修剪在初始化提示训练成本降低通过修剪，但遭受显着的性能下降。我们试图结合这两个方向的好处，并提出了一个政策，修剪尽可能早地在训练过程中，而不损害性能。我们的方法不是在初始化时进行修剪，而是利用几个时期的初始密集训练来快速指导架构，同时通过神经元重要性排名不断评估主导子网络。这揭示了结构变得稳定的主导子网络，允许将传统的修剪更早地推进到训练中。为了尽早做到这一点，我们进一步引入了早期修剪指标（EPI），它依赖于子网络架构的相似性，并在子网络架构稳定时快速触发修剪。通过在ImageNet上进行的大量实验，我们表明EPI能够快速跟踪适合修剪的早期训练时期，提供与其他“预言机”网格搜索相同的功效，该网格搜索扫描时期并需要多几个数量级的计算。我们的方法产生$1.4\%$ top-1精度提升超过国家的最先进的修剪同行，减少了$2.4\times$在GPU上的训练成本，因此提供了一个新的效率-精度边界的网络修剪在训练过程中。
2021-10-22 cs.CV cs.LG
Pruning's Effect on Generalization Through the Lens of Training and Regularization
MIT（麻省理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；MosaicML（MosaicML公司）；Google Research（谷歌研究院）
实践者经常观察到修剪可以提高模型的泛化能力。一个长期存在的假设的基础上的偏差方差权衡属性，这种泛化的改进模型大小的减少。然而，最近的研究过参数化的特点是一个新的模型大小制度，其中较大的模型实现更好的泛化。在这种过度参数化的情况下修剪模型会导致一个矛盾--虽然理论预测减小模型大小会损害泛化，但修剪到一定范围的稀疏性却会改善泛化。我们发现，尺寸减小不能完全解释标准剪枝算法的泛化改进效果。相反，我们发现修剪导致在特定稀疏度下更好的训练，改善了密集模型的训练损失。我们发现，修剪还导致在其他稀疏性下的额外正则化，减少了由于密集模型上的噪声示例而导致的准确性下降。剪枝延长了模型训练时间，减小了模型大小。这两个因素分别改善了训练和增加了正则化。我们的经验表明，这两个因素是必不可少的，以充分解释修剪的影响泛化。
2022-10-25 cs.LG stat.ML
An End-to-End Network Pruning Pipeline with Sparsity Enforcement
Princeton University（普林斯顿大学）
本文提出一种覆盖训练全阶段的端到端剪枝流水线，结合非标准初始化、预剪枝训练与剪枝后优化，在实验中显著超越了现有最先进的神经网络稀疏化方法。
2023-12-04 cs.LG
Efficient Adversarial Training With Data Pruning
University of Cambridge（剑桥大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）
神经网络容易受到对抗性样本的影响--小的输入扰动会导致模型失败。对抗性训练是停止对抗性示例的解决方案之一;模型在训练期间暴露于攻击，并学会对它们具有弹性。然而，这样一个过程目前是昂贵的，它需要很长的时间来生产和训练模型与敌对的样本，更糟糕的是，它偶尔会失败。在本文中，我们展示了数据修剪-一种通过数据子采样提高对抗训练效率的方法。我们的经验表明，数据修剪导致对抗训练的收敛性和可靠性的改善，尽管有不同程度的效用退化。例如，我们观察到，使用CIFAR 10的随机子采样来丢弃40%的数据，我们会损失8%的对抗准确性，而使用20%的数据，我们会损失14%的对抗准确性，并将运行时间减少3倍。有趣的是，我们发现在某些情况下，数据修剪可以从两个方面带来好处-它既提高了对抗准确性又提高了训练时间。
2022-07-01 cs.LG
Pruning Before Training May Improve Generalization, Provably
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Ohio State University（俄亥俄州立大学）；IBM Thomas.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Pinterest
实践表明，将初始化剪枝方法应用于神经网络并训练稀疏化后的网络，不仅可以保持原稠密模型的测试性能，有时甚至可以略微提高泛化性能。对这种实验观测的理论理解尚待发展。这项工作首次尝试研究不同的修剪分数如何影响模型的梯度下降动力学和泛化。具体来说，这项工作考虑了超参数化的两层神经网络的分类任务，其中网络是随机修剪，根据不同的利率在初始化。结果表明，只要剪枝率低于一定的阈值，梯度下降可以使训练损失趋于零，网络具有良好的泛化性能。更令人惊讶的是，随着修剪分数变大，泛化界变得更好。为了补充这个积极的结果，这项工作进一步显示了一个消极的结果：存在一个大的修剪分数，使得虽然梯度下降仍然能够将训练损失推向零（通过记忆噪声），但泛化性能并不比随机猜测更好。这进一步表明，修剪可以改变特征学习过程，这导致修剪后的神经网络的性能下降。
2023-01-29 cs.LG
Mutual Information Preserving Neural Network Pruning
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
本文提出互信息保持剪枝（MIPP），通过保持相邻层激活间的互信息来选择节点，适用于训练前或训练后，并证明剪枝模型具有可重训练性，实验表明其性能始终优于现有最先进方法。
2025-02-03 cs.LG
COPS: Controlled Pruning Before Training Starts
Robert Bosch GmbH（罗伯特·博世有限公司）；Lübeck University（吕贝克大学）
最先进的深度神经网络（DNN）修剪技术，在训练开始前一次性应用，借助一个称为修剪分数的标准来评估稀疏架构。基于单独得分的修剪权重对于某些架构和修剪率很有效，但对于其他架构和修剪率也可能失败。作为修剪分数的共同基线，我们引入了广义突触分数（GSS）的概念。在这项工作中，我们不集中在一个单一的修剪标准，但提供了一个框架，结合任意GSS创建更强大的修剪策略。这些组合剪枝分数（COPS）是通过求解约束优化问题获得的。优化多个分数可以防止稀疏网络过度专注于单个任务，因此在训练开始前控制修剪。将COPS给出的组合优化问题松弛到线性规划上。这个LP解析求解，并确定COPS的解决方案。此外，一个算法来计算它的两个分数数值提出和评估。以这种方式求解COPS比最好的一般LP求解器具有更低的复杂度。在我们的实验中，我们比较了修剪与COPS对不同的网络架构和图像分类任务的最先进的方法，并获得了改进的结果。
2021-07-27 cs.CV cs.LG
SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
Qwen Team, Alibaba Inc.（通义实验室，阿里公司）；MBZUAI；KAUST（卡士大学）
本文研究了在大规模预训练中如何应用剪枝和知识蒸馏技术，探讨了剪枝在初始化方面的优势、专家压缩对最终模型的影响以及训练策略的有效性，最终将Qwen3-Next-80A3B压缩到23A2B模型并保持竞争力。
2026-05-18 cs.AI cs.CL cs.LG
Dataset Pruning: Reducing Training Data by Examining Generalization Influence
University of Technology Sydney（悉尼科技大学）；Baidu Research（百度研究院）
深度学习的巨大成功在很大程度上依赖于越来越大的训练数据，这是以巨大的计算和基础设施成本为代价的。这就提出了一个关键问题，即所有的训练数据是否都对模型的性能有贡献？每个单独的训练样本或子训练集对模型的泛化有多大影响，以及如何从整个训练数据中构造最小子集作为代理训练集，而不会显着牺牲模型的性能？为了解决这些问题，我们提出了数据集修剪，一种基于优化的样本选择方法，可以（1）检查删除一组特定的训练样本对模型的泛化能力的影响，并具有理论保证，（2）构建最小的训练数据子集，产生严格约束的泛化差距。经验观察到的数据集修剪的泛化差距与我们的理论预期基本一致。此外，该方法在CIFAR-10数据集上修剪了40%的训练样本，收敛时间减半，测试精度仅下降1.3%，优于以往基于分数的样本选择方法。
2023-02-27 cs.LG
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
非结构化修剪非常适合在训练和推理时减少卷积神经网络（CNN）的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪（SP）通过将过滤器元素设置为零来减少CNN的内存占用，从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪，这会导致强烈的偏差。为了克服这一点，我们引入空间修剪（IP），一个通用的工具，以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础（FB）的线性组合。对于IP，FB系数被设置为零，而未修剪的系数和FB被联合训练。在这项工作中，我们提供了数学证据IP的优越性能，并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下，例如ImageNet的修剪或修剪到高稀疏性，IP大大超过SP，具有相同的运行时间和参数成本。最后，我们表明，IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Enhancing Vision-Language Model Pre-training with Image-text Pair Pruning Based on Word Frequency
Radboud University（拉德堡德大学）
提出无需元数据、依据词频剪枝高频词图文对的 WFPP 方法，通过均衡词频分布并结合全量数据微调，提升 CLIP 等 VLM 的下游性能与预训练效率。
2024-12-10 cs.AI cs.CL cs.CV
Large-Scale Dataset Pruning in Adversarial Training through Data Importance Extrapolation
Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Technical University Munich（慕尼黑工业大学）
针对对抗训练耗时随数据规模增长的问题，提出基于数据重要性外推的剪枝策略，可在维持模型鲁棒性的同时高效缩减训练数据集规模。
2024-07-11 cs.LG
Post-Training Probability Manifold Correction via Structured SVD Pruning and Self-Referential Distillation
SparseTech
SparseKD通过结构化SVD剪枝与自参考知识蒸馏，在训练后实现模型压缩，有效提升模型质量并减少参数量。
2026-01-30 cs.AI cs.CL cs.LG
Accelerating DNN Training with Structured Data Gradient Pruning
Franklin & Marshall College（富兰克林与马歇尔学院）
权重修剪是一种通过减少训练过程中模型参数的数量来使深度神经网络（DNN）推理在计算上更高效的技术。然而，大多数权重修剪技术通常不会加速DNN训练，甚至可能需要更多的迭代来达到模型收敛。在这项工作中，我们提出了一种新的结构化数据梯度修剪（SDGP）方法，可以在不影响模型收敛的情况下加快训练速度。这种方法强制执行一个特定的稀疏结构，其中矩阵中的每M个元素中只有N个可以是非零的，使其适合硬件加速。现代加速器（如Nvidia A100 GPU）支持这种类型的结构化稀疏性，即每4个元素中有2个非零。假设硬件支持2：4稀疏度，我们的方法可以实现15- 25%的总训练时间减少，而不会对性能产生显着影响。源代码和预训练模型可在\url{https://github.com/BradMcDanel/sdgp}上获得。
2022-02-01 cs.CV cs.LG
Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning
KAIST（韩国科学技术院）；AITRICS
随着深度神经网络的规模不断增长，并且越来越多地被部署到资源有限的设备上，最近对网络修剪方法的兴趣激增，该方法旨在去除给定网络的不太重要的权重或激活。大多数现有修剪技术的一个共同限制是，它们需要在修剪之前至少对网络进行一次预训练，因此我们只能在推理时从内存和计算的减少中受益。然而，通过快速结构修剪来降低神经网络的训练成本可以有益于利用云计算来最小化货币成本或者使得能够在资源有限的设备上进行设备上学习。最近引入的随机权重修剪方法可以消除预训练的需要，但它们通常比传统的修剪技术获得次优性能，并且由于它们执行非结构化修剪，因此也不允许更快的训练。为了克服它们的局限性，我们提出了基于集合的任务自适应Meta剪枝（STAMP），该任务自适应地剪枝在大型参考数据集上预训练的网络，通过在其上生成剪枝掩码作为目标数据集的函数。为了确保目标任务的最大性能改进，我们在参考数据集的不同子集上元学习掩码生成器，这样它就可以在几个梯度训练步骤内很好地推广到任何看不见的数据集。我们在基准数据集上验证了STAMP与最近的高级修剪方法的对比，在基准数据集上，它不仅在相似的精度下获得了比基线显著提高的压缩率，而且训练速度也快了几个数量级。
2020-06-22 cs.LG stat.ML
Recursive Least Squares for Training and Pruning Convolutional Neural Networks
Hainan University（海南大学）
卷积神经网络（CNN）在许多实际应用中取得了成功。然而，它们的高计算和存储要求通常使它们难以部署在资源受限的设备上。为了解决这个问题，已经提出了许多针对CNN的剪枝算法，但大多数都不能将CNN修剪到合理的水平。在本文中，我们提出了一种新的算法训练和修剪CNN的基础上递归最小二乘（RLS）优化。在训练CNN一些时期后，我们的算法结合逆输入自相关矩阵和权重矩阵来逐层评估和修剪不重要的输入通道或节点。然后，我们的算法将继续训练修剪后的网络，并不会做下一个修剪，直到修剪后的网络恢复旧网络的全部性能。除了CNN，该算法可以用于前馈神经网络（FNN）。在MNIST、CIFAR-10和SVHN数据集上的实验结果表明，该算法能够实现更合理的剪枝，并且具有更高的学习效率。
2022-01-13 cs.CV cs.LG
Accelerating Deep Learning with Dynamic Data Pruning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
深度学习的成功归功于在大量数据上训练大型的、过度参数化的模型。随着这一趋势的继续，模型训练已经变得成本过高，需要访问强大的计算系统来训练最先进的网络。大量的研究致力于通过各种模型压缩技术（如修剪和量化）来解决每次迭代训练的成本。在迭代次数上花费的精力更少。以前的工作，如遗忘分数和GraNd/EL 2N分数，通过识别完整数据集中的重要样本并修剪剩余样本来解决这个问题，从而减少每个时期的迭代次数。虽然这些方法减少了训练时间，但它们在训练之前使用昂贵的静态评分算法。当考虑到评分机制时，总运行时间常常增加。在这项工作中，我们解决这个缺点与动态数据修剪算法。令人惊讶的是，我们发现，均匀随机动态修剪可以优于以前的工作在积极的修剪率。我们将此归因于“有时”样本的存在--仅在某些训练时间内对学习到的决策边界重要的点。为了更好地利用有时样本的微妙之处，我们提出了两种算法，基于强化学习技术，动态修剪样本，实现更高的精度比随机动态方法。我们针对完整的数据集基线和之前在CIFAR-10和CIFAR-100上的工作测试了我们所有的方法，我们可以将训练时间减少多达2倍，而不会显着降低性能。我们的研究结果表明，数据修剪应该被理解为一个与模型的训练轨迹密切相关的动态过程，而不是仅仅基于数据集的静态步骤。
2021-11-24 cs.LG
Beware of Calibration Data for Pruning Large Language Models
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Key Laboratory of Data Intelligence and Advanced Computing, Soochow University（苏州大学数据智能与先进计算重点实验室）；Huawei Cloud, China（华为云（中国））
本文系统探究了校准数据对大语言模型训练后剪枝的影响，发现少量且与预训练数据相似的校准数据能显著提升性能，并提出自生成校准数据合成策略，在多个开源模型上大幅提升了现有剪枝方法的表现。
2025-06-29 cs.AI cs.CL cs.LG
Optimal Brain Compression: A Framework for Accurate Post-Training Quantization and Pruning
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Neural Magic（神经魔法公司）
我们考虑在具有挑战性的一次性/后训练设置中深度神经网络（DNN）的模型压缩问题，在这种情况下，我们得到了一个精确的训练模型，并且必须仅基于少量校准输入数据在没有任何重新训练的情况下对其进行压缩。这个问题已经变得流行，鉴于新兴的软件和硬件支持执行模型压缩通过修剪和/或量化与加速，以及性能良好的解决方案已经提出了独立的两种压缩方法。在本文中，我们介绍了一个新的压缩框架，它涵盖了重量修剪和量化在一个统一的设置，是时间和空间效率，并大大提高了现有的后训练方法的实际性能。在技术层面上，我们的方法是基于[LeCun，Denker和Solla，1990]的经典最佳脑外科医生（OBS）框架的精确和有效实现，该框架扩展到现代DNN规模的权重量化。从实际的角度来看，我们的实验结果表明，它可以显着改善现有的后训练方法的压缩精度的权衡，它可以使精确的修剪和量化的复合应用在后训练设置。
2023-01-08 cs.LG
Neural Network Panning: Screening the Optimal Sparse Network Before Training
Changsha University of Science and Technology（长沙理工大学）；Xidian University（西安电子科技大学）
在训练前对神经网络进行剪枝，不仅压缩了原始模型，而且加快了网络的训练速度，具有实际的应用价值。目前的工作重点是细粒度的修剪，它使用度量来计算权重得分的权重筛选，并从最初的单阶修剪扩展到迭代修剪。通过这些工作，我们认为，网络修剪可以概括为一个表现力转移过程的权重，其中保留的权重将采取的表现力从删除的，以保持原网络的性能。为了实现表达力的最优调度，提出了一种训练前的剪枝策略--神经网络平移，通过多指标、多步骤的方式引导表达力的传递，并设计了一种基于强化学习的平移代理，实现了过程的自动化。实验结果表明，Panning方法优于现有的各种训练前剪枝方法。
2022-09-27 cs.CV cs.LG
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego（加州大学圣地亚哥分校）
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而，修剪通常仅应用于网络的权重。在这项工作中，我们联合应用新的均匀量化和非结构化修剪方法，在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法，我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例，并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察，我们提出了非交换性假设：对于一个为特定任务训练的给定深度神经网络，存在一个精确的训练时间表，其中可以引入量化和修剪来优化网络性能。我们确定，这种最佳顺序不仅存在，而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划，我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
本研究提出定向结构化剪枝与动态批次加载技术，将LLaMA2-7B剪枝为1.3B/2.7B参数的Sheared-LLaMA系列，性能优于同等规模开源模型，算力仅为从头训练的3%，为低成本构建高性能小模型提供新路径。
2024-04-11 cs.AI cs.CL cs.LG
One-Cycle Structured Pruning via Stability-Driven Subnetwork Search
IT Application Research Center, Korea Electronics Technology Institute（韩国电子技术研究所应用信息技术中心）；Department of Intelligent Semiconductors, Soongsil University（顺慈大学智能半导体系）；Department of Computer Science & Engineering, Seoul National University（首尔国立大学计算机科学与工程系）
本文提出了一种高效的单次循环结构化剪枝框架，通过稳定性驱动的子网络搜索提升剪枝效率和准确性。
2025-12-17 cs.AI cs.CV cs.LG
EGGS-PTP: An Expander-Graph Guided Structured Post-training Pruning Method for Large Language Models
Department of Electrical Engineering and Computer Science University of California, Irvine（电气工程与计算机科学系加州大学伊文斯顿分校）
本文提出EGGS-PTP方法，利用扩展图理论指导大型语言模型的结构化训练后剪枝，在确保网络信息流动的同时减小模型规模，实验证明其在加速、内存节省及准确率上均优于现有技术。
2025-08-13 cs.LG
Structured Pruning of Large Language Models
ASAPP, Inc.（ASAPP公司）
大语言模型最近已经在各种各样的自然语言任务上实现了最先进的性能。与此同时，这些模型的大小和延迟显著增加，这使得它们的使用成本很高，并提出了一个有趣的问题：语言模型需要很大吗？我们从模型压缩的角度来研究这个问题。我们提出了一个通用的，结构化的修剪方法，通过参数化每个权重矩阵使用其低秩分解，并在训练过程中自适应地去除秩1分量。在语言建模任务上，我们的结构化方法在各种压缩级别上都优于其他非结构化和块结构化修剪基线，同时在训练和推理过程中实现了显着的加速。我们还证明，我们的方法可以应用于修剪自适应词嵌入在大语言模型，并修剪BERT模型的几个下游微调分类基准。
2021-03-28 cs.CL cs.LG stat.ML
PAODING: A High-fidelity Data-free Pruning Toolkit for Debloating Pre-trained Neural Networks
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research (I2R)（信息通信研究所）；The University of Queensland（昆士兰大学）；Southern University of Science（南方科技大学）
PAODING是一个无数据剪枝工具包，通过迭代评估神经元影响来精简预训练神经网络，在显著减小模型规模的同时保持测试准确率和对抗鲁棒性。
2025-06-18 cs.LG
Code Less, Align More: Efficient LLM Fine-tuning for Code Generation with Data Pruning
NVIDIA（英伟达）
本文针对代码 LLM 合成训练数据冗余问题，提出结合聚类与剪枝指标的数据筛选方法，仅用 10% 数据即可保持基准性能，适度剪枝还能提升生成质量并降低计算开销。
2024-07-06 cs.LG cs.SE
Convolutional Network Fabric Pruning With Label Noise
CNRS（法国国家科学研究中心）
提出了一种卷积网络结构（CNF）在训练和测试数据中的迭代剪枝策略。随着神经网络模型规模的不断增加，许多作者已经开发了修剪方法来构建更紧凑的网络结构，需要更少的资源，同时保持性能。正如我们在本文中所展示的，由于其内在的结构和功能，卷积网络结构是修剪的理想候选者。我们提出了一系列修剪策略，可以通过修剪整个卷积滤波器或单个权重来显着减少最终网络大小和所需的训练时间，从而使网格保持视觉上可理解，但整体执行质量保持在可控范围内。我们的方法可以在训练过程中迭代应用，从而使网络复杂度迅速降低，节省计算时间。本文讨论了数据依赖和数据依赖的策略，并通过实验建立了当训练或测试数据包含注释错误时最有效的方法。
2022-02-15 cs.LG cs.NE
Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training
JPMorgan Chase（摩根大通）
针对现有网络剪枝方案开销大的问题，提出结合二值门控模块与极化损失的单次训练剪枝策略，可同步完成剪枝与训练，在多数据集上实现50%剪枝率下准确率下降不足1%，兼顾能耗降低与性能保持。
2025-01-10 cs.CV cs.LG
Training-Free Dataset Pruning for Instance Segmentation
Agency for Science, Technology and Research（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
针对实例分割任务中像素级标注、实例面积变化和类别不平衡三大挑战，提出免训练数据集剪枝方法TFDP，利用形状复杂度评分（SCS）及其改进版本实现无需模型训练的高效剪枝，在多个数据集上取得SOTA结果并实现1349倍加速。
2025-03-02 cs.CV cs.LG
MosaicDiff: Training-free Structural Pruning for Diffusion Model Acceleration Reflecting Pretraining Dynamics
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出MosaicDiff框架，通过轨迹感知的结构化剪枝，根据扩散预训练各阶段学习速度自适应调整剪枝力度，实现免训练加速，在DiT和SDXL上大幅提升采样速度且不损质量。
2025-10-13 cs.CV cs.LG
Distilling the Knowledge in Data Pruning
Amazon（亚马逊公司）
针对高剪枝比例下数据剪枝易损失模型准确率的问题，提出在剪枝数据训练中结合知识蒸馏的方法，验证了其跨数据集与剪枝方法的有效性，还揭示了剪枝因子与蒸馏权重、教师模型规模的关联规律。
2024-08-14 cs.CV cs.LG
LNPT: Label-free Network Pruning and Training
School of Computer and Communication Engineering（计算机与通信工程学院）；Changsha University of Science and Technology（长沙理工大学）
本文提出LNPT框架，利用云端成熟网络通过无标签数据在线指导智能设备网络剪枝与学习，引入与泛化准确相关的学习差距概念，表现优于监督训练。
2025-09-15 cs.LG
DRIVE: Dual Gradient-Based Rapid Iterative Pruning
School of Computer Science, University of St Andrews（圣安德鲁斯大学计算机学院）
本文提出 DRIVE，通过初期稠密训练与双重梯度参数排序实现快速迭代剪枝，在保持高稀疏度准确率的同时，较 IMP 提速 43–869 倍。
2024-04-01 cs.CV cs.LG
Finding Dynamics Preserving Adversarial Winning Tickets
Nanjing University（南京大学）；Tencent AI Lab（腾讯人工智能实验室）；Hongkong University of Science and Technology（香港科技大学）
现代深度神经网络（DNN）容易受到对抗攻击的攻击，对抗训练已被证明是提高DNN对抗鲁棒性的一种有前途的方法。在对抗背景下，已经考虑了剪枝方法，以在训练中同时降低模型容量并提高对抗鲁棒性。现有的对抗性剪枝方法通常模仿自然训练的经典剪枝方法，遵循三个阶段的“训练-剪枝-微调”管道。我们观察到，这种修剪方法不一定能保持密集网络的动态性，这使得它可能很难被微调，以补偿修剪中的准确性下降。基于\textit{Neural Tangent Kernel}（NTK）最近的工作，我们系统地研究了对抗训练的动力学，证明了初始化时存在可训练的稀疏子网络，可以从头开始训练到对抗鲁棒性。这从理论上验证了\textit{lottery ticket hypothesis}在对抗环境中的作用，我们将这种子网络结构称为\textit{Adversarial Winning Ticket}（AWT）。我们还展示了经验证据，AWT保留了对抗训练的动态性，并实现了与密集对抗训练相同的性能。
2022-03-06 cs.LG
Effective Data Pruning through Score Extrapolation
Technical University of Munich, School of Computation, Information and Technology（慕尼黑技术大学，计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；BMW Group（宝马集团）；Pontificia Universidad Católica de Valparaíso（瓦尔帕莱索天主教大学）；Pruna AI；Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）
提出一种仅需在数据子集上训练即可预测全数据集样本重要性的分数外推框架，通过k近邻和图神经网络实现，在多种剪枝方法、数据集和训练范式下验证了其有效性。
2025-06-18 cs.LG
Post-training deep neural network pruning via layer-wise calibration
Intel Corporation（英特尔公司）
我们提出了一种用于深度神经网络的训练后权重修剪方法，该方法可以达到生产设置所能容忍的准确度水平，并且速度足够快，可以在台式机CPU或边缘设备等商用硬件上运行。我们提出了一个无数据的扩展方法的计算机视觉模型的基础上自动生成的合成分形图像。我们获得了无数据神经网络修剪的最新结果，在ImageNet上的ResNet 50在50%稀疏率下的top@1精度下降约1.5%。当使用真实数据时，我们能够在ImageNet上获得具有65%稀疏率的ResNet 50模型，8位精度，在训练后设置中具有约1%的top@1精度下降。我们将代码作为OpenVINO（TM）Post-Training Optimization工具的一部分发布。
2021-04-30 cs.AI cs.CV cs.LG
Winning the Lottery Ahead of Time: Efficient Early Network Pruning
Technical University Munich（慕尼黑工业大学）
修剪，稀疏化深度神经网络的任务，最近受到越来越多的关注。虽然最先进的修剪方法提取高度稀疏的模型，但它们忽略了两个主要挑战：（1）寻找这些稀疏模型的过程通常非常昂贵;（2）非结构化修剪在GPU内存，训练时间或碳排放方面没有提供好处。我们提出了通过梯度流保留的早期压缩（EarlyCroP），它在训练解决挑战（1）之前或早期有效地提取了最先进的稀疏模型，并且可以以结构化的方式应用于解决挑战（2）。这使我们能够在密集版本太大的商用GPU上训练稀疏网络，从而节省成本并降低硬件要求。我们的经验表明，EarlyCroP在许多任务（包括：分类，回归）和域（包括计算机视觉、自然语言处理、以及语音学习）。EarlyCroP导致与密集训练相当的准确性，同时优于修剪基线。
2022-06-21 cs.LG
Lightweight and Post-Training Structured Pruning for On-Device Large Lanaguage Models
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
提出轻量级训练后结构化剪枝方法COMP，采用混合粒度策略和矩阵条件度量，通过掩码调整恢复准确率，在LLaMA-2-7B上实现性能提升并大幅降低内存开销。
2025-01-25 cs.AI cs.LG
AdaDeDup: Adaptive Hybrid Data Pruning for Efficient Large-Scale Object Detection Training
Virginia Tech（弗吉尼亚理工学院）；NVIDIA（英伟达）；University of Ottawa（Ottawa 大学）
AdaDeDup提出一种结合密度剪枝与模型反馈的聚类自适应混合数据剪枝框架，在大规模目标检测中剪枝20%数据仍保持接近原始性能，显著优于现有基线。
2025-06-24 cs.CV cs.LG
Cyclic Sparse Training: Is it Enough?
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出SCULPT-ing方法，通过反复循环训练任意稀疏掩码后执行单次剪枝来耦合参数与掩码，以更低计算成本在高稀疏度下达到最先进迭代剪枝方法的性能。
2024-06-07 cs.CV cs.LG
Concurrent Training and Layer Pruning of Deep Neural Networks
University of California, Irvine（加州大学欧文分校）
本文提出一种基于变分推断和残差连接的并发训练与层级剪枝算法，通过“展平”超先验和投影SGD实现早期自动识别并移除不相关层，在多个数据集和架构上以更低计算成本达到领先的层级剪枝性能。
2024-06-06 cs.LG
Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Samsung AI Center（三星人工智能中心）
在初始化时修剪神经网络将使我们能够找到保留原始网络准确性的稀疏模型，同时消耗更少的训练和推理计算资源。然而，目前的方法不足以实现这种优化，并导致模型性能大幅下降。在本文中，我们确定了当前方法的一个基本限制，即它们的显着性标准在训练开始时只考虑单步的，而没有考虑网络的可训练性。虽然修剪迭代和逐步已被证明可以提高修剪性能，但到目前为止，显着性标准的计算中还没有明确考虑修剪之后立即进行的训练阶段。为了克服现有方法的短视，我们提出了前景修剪（ProsPr），它通过优化的前几步使用元梯度来确定要修剪的权重。ProsPr结合了修剪对损失的高阶影响的估计和优化轨迹来识别可训练的子网络。与现有的初始化修剪方法相比，我们的方法在各种视觉分类任务上实现了最先进的修剪性能，具有更少的数据和Single Shot。
2022-04-05 cs.LG
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine（加利福尼亚大学尔湾分校）；Department of Mathematics（数学系）
我们提出了一种自适应投影-梯度下降-收缩分裂方法（APGDSSM），将基于惩罚的通道修剪集成到量化感知训练（QAT）中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重，以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外，我们提出了一种新的互补变换l1惩罚，以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
Lightweight Dataset Pruning without Full Training via Example Difficulty and Prediction Uncertainty
Kim Jaechul Graduate School of AI, KAIST, Seoul, South Korea（金 Jaechul人工智能研究生院，韩国科学技术院，首尔）
针对现有数据集剪枝需全量预训练成本过高的问题，提出结合样本难度与预测不确定性的DUAL分数及Beta分布比例自适应采样方法，在多个数据集上以更低时间成本实现SOTA剪枝性能。
2025-06-12 cs.AI cs.LG
Activation Density driven Energy-Efficient Pruning in Training
Department of Electrical Engineering Yale University（耶鲁大学电气工程系）
神经网络修剪和适当的再训练可以产生比原始网络具有相当少的参数的网络，并且具有相当的准确度。典型的修剪方法需要大型的、经过充分训练的网络作为起点，从这个起点开始，它们执行时间密集型的迭代修剪和再训练过程，以恢复原始的准确性。我们提出了一种新的修剪方法，在训练过程中实时修剪网络，减少整体训练时间，以实现高效的压缩网络。我们引入了基于激活密度的分析，以确定网络每层的最佳相对大小或压缩。我们的方法是架构不可知的，允许它被用于各种各样的系统。对于CIFAR-10，CIFAR-100和TinyImageNet上的VGG-19和ResNet 18，我们获得了非常稀疏的网络（在最好的情况下，参数减少到$200 \times$，推理计算操作减少到$60 \times$以上），其准确度与基线网络相当。通过在训练过程中定期减少网络大小，我们实现了比以前提出的修剪方法更短的总训练时间。此外，与完全从头开始训练的基线网络相比，使用我们提出的方法在不同时期训练压缩网络在接近等精度下产生训练计算复杂度的显著降低（$1.6\times$到$3.2\times$更低）。
2020-10-12 cs.CV cs.LG cs.NE
RCAP: Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）
提出RCAP算法，通过闭式解估计每类样本保留比例并自适应调整，结合高损失样本优先采样策略，在多种数据集和训练范式下优于现有方法，仅用10%数据即可提升类别不平衡数据集性能1%以上。
2026-06-11 cs.LG
