Structural Pruning for Diffusion Models
National University of Singapore（新加坡国立大学）
针对扩散概率模型训练推理计算开销大的问题，提出Diff-Pruning结构化剪枝方法，通过剪枝时间步泰勒展开筛选重要权重，仅用10%-20%原训练开销即可削减约50% FLOPs且保留原模型生成特性。
2023-09-30 cs.AI cs.CV cs.LG
Not All Prompts Are Made Equal: Prompt-based Pruning of Text-to-Image Diffusion Models
University of Maryland（马里兰大学）；Florida State University（佛罗里达州立大学）
针对文本到图像扩散模型剪枝中静态方法忽略提示词容量差异、动态方法阻碍批处理并行性的问题，提出自适应提示词定制剪枝（APTP），通过提示词路由器和架构代码实现提示词感知剪枝，在SD V2.1上验证其优于基线且能发现挑战性提示词。
2025-02-11 cs.CV cs.LG
Just Leaf It: Accelerating Diffusion Classifiers with Hierarchical Class Pruning
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）
本文提出层次扩散分类器（HDC），利用标签层次结构剪枝无关高层类别，仅在相关子类别内细化预测，从而在保持或提升分类准确率的同时将推理速度提升多达60%，为大规模应用提供了速度与精度可调的控制机制。
2025-03-08 cs.AI cs.CV cs.LG
LD-Pruner: Efficient Pruning of Latent Diffusion Models using Task-Agnostic Insights
Nota AI
LD-Pruner利用任务无关的潜在空间洞察，对潜在扩散模型进行结构化剪枝，在保持性能的同时减少推理时间和参数，实验显示SD推理时间降低34.9%，FID提升5.2%。
2024-04-18 cs.AI cs.CV cs.LG
ConceptPrune: Concept Editing in Diffusion Models via Skilled Neuron Pruning
University of Edinburgh（爱丁堡大学）；Samsung AI Research Centre, Cambridge（三星剑桥人工智能研究中心）
本文提出免训练方法ConceptPrune，通过识别并剪枝扩散模型中负责生成不良概念的关键神经元区域实现概念遗忘，仅需剪枝约0.12%权重即可高效擦除多概念并抵御对抗性攻击。
2024-05-29 cs.AI cs.CV cs.LG
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
Lahore University of Management Sciences（拉合尔管理科学大学）
针对极度稀疏剪枝中的表征崩溃问题，提出BaCP方法，通过对比对齐预训练等模型来正则化嵌入空间，在90种设置下显著提升极度稀疏时的准确率。
2026-10-05 cs.LG
When Pruning Meets Interpretability: Preserving Sparse Autoencoder Robustness in LLMs
The Ohio State University（俄亥俄州立大学）
本研究探讨剪枝对大语言模型稀疏自编码器的影响，提出扰动能量理论，指出激活感知剪枝方法更鲁棒，发现中间层更敏感，提出分层稀疏策略并经多模型实验验证。
2026-08-27 cs.LG
SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization
Google Research（谷歌研究院）
该研究结合可微分剪枝与组合优化，提出SequentialAttention++框架，理论证明其非凸正则化特性与近似最优性，在ImageNet和Criteo数据集上实现块剪枝任务的SOTA性能。
2025-02-10 cs.LG
Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data
University of Texas, Austin（得克萨斯大学奥斯汀分校）；Facebook Inc.（脸书公司）
大规模深度学习通过采用更广泛和更深入的模型来提高内容推荐系统的质量，但这在现代数据中心中带来了巨大的基础设施成本和碳足迹。剪枝是一种有效的技术，可以减少模型推理的内存和计算需求。然而，在线推荐系统的修剪是具有挑战性的，由于连续的数据分布偏移（又名非平稳数据）。虽然完整模型上的增量训练能够适应非平稳数据，但直接将其应用于修剪模型会导致准确性损失。这是因为修剪后的稀疏模式需要调整以学习新的模式。据我们所知，这是第一项深入分析和讨论将修剪应用于具有非平稳数据分布的在线推荐系统的工作。总体而言，本文的工作主要有以下几个方面的贡献：1）提出了一种自适应的密集到稀疏的模式，并结合一种新的剪枝算法，用于对具有非平稳数据分布的大规模推荐系统进行剪枝; 2）设计了自动学习层间稀疏度的剪枝算法，避免了重复手工调整，这对于修剪用非平稳数据训练的推荐系统的异构体系结构是至关重要的。
2020-10-21 cs.LG
Winning the Lottery Ahead of Time: Efficient Early Network Pruning
Technical University Munich（慕尼黑工业大学）
修剪，稀疏化深度神经网络的任务，最近受到越来越多的关注。虽然最先进的修剪方法提取高度稀疏的模型，但它们忽略了两个主要挑战：（1）寻找这些稀疏模型的过程通常非常昂贵;（2）非结构化修剪在GPU内存，训练时间或碳排放方面没有提供好处。我们提出了通过梯度流保留的早期压缩（EarlyCroP），它在训练解决挑战（1）之前或早期有效地提取了最先进的稀疏模型，并且可以以结构化的方式应用于解决挑战（2）。这使我们能够在密集版本太大的商用GPU上训练稀疏网络，从而节省成本并降低硬件要求。我们的经验表明，EarlyCroP在许多任务（包括：分类，回归）和域（包括计算机视觉、自然语言处理、以及语音学习）。EarlyCroP导致与密集训练相当的准确性，同时优于修剪基线。
2022-06-21 cs.LG
Why Random Pruning Is All We Need to Start Sparse
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文从理论上证明随机掩码网络在按逆稀疏度对数因子加宽后能近似任意目标网络，并据此提出将稠密到稀疏训练转化为更高效的稀疏到稀疏训练的方法。
2023-05-31 cs.LG
ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models
Massachusetts Institute of Technology（麻省理工学院）
ALPS提出基于算子分裂与预条件共轭梯度的优化剪枝框架，在高度稀疏的LLM上显著降低困惑度并提升零样本性能。
2025-09-08 cs.LG
A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文提出首个可证明高效的微调MoE模型专家剪枝方法，通过优先剪枝路由器l2范数变化较小的专家，在保证测试准确率的同时显著减少模型规模与计算需求，并在VMoE等大型视觉模型上验证有效。
2024-05-30 cs.LG
Sparse Training via Boosting Pruning Plasticity with Neuroregeneration
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Twente（特文特大学）；University of Leeds（利兹大学）；JD Explore Academy（京东探索研究院）；University of Jyväskylä（于韦斯屈莱大学）
彩票假设（LTH）和单次网络剪枝（SNIP）的研究目前在训练后剪枝（迭代幅度剪枝）和训练前剪枝（初始化剪枝）方面引起了广泛的关注。前一种方法具有极大的计算成本，而后者通常与性能不足作斗争。相比之下，在训练期间修剪，一类修剪方法，同时享有的训练/推理效率和可比的性能，暂时，一直较少探索。为了更好地理解训练过程中的修剪，我们从修剪可塑性（修剪网络恢复原始性能的能力）的角度定量研究了整个训练过程中修剪的效果。修剪可塑性可以帮助解释文献中关于神经网络修剪的其他几个经验观察。我们进一步发现，通过注入一种被称为神经再生的大脑启发机制，重新生成与修剪相同数量的连接。我们设计了一种新的渐进幅度修剪（GMP）方法，称为渐进修剪与零成本神经再生（\textbf{GraNet}），这是最先进的。也许最令人印象深刻的是，它的稀疏到稀疏版本首次在ImageNet上使用ResNet-50在不延长训练时间的情况下提高了各种密集到稀疏方法的稀疏到稀疏训练性能。我们在https://github.com/Shiweiliuiiiiiii/GraNet发布所有代码。
2022-02-06 cs.CV cs.LG
The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models
University of Tulsa（塔尔萨大学）；Clemson University（克莱姆斯大学）；The University of Arizona（亚利桑那大学）
本文提出'无剪枝'方法，用于稀疏模型中消除删除数据对剪枝拓扑的影响，并设计新指标评估其有效性。
2025-12-02 cs.AI cs.LG
Generalization Bounds for Magnitude-Based Pruning via Sparse Matrix Sketching
Georgia Institute of Technology（佐治亚理工学院）
本文针对过参数化神经网络，提出基于稀疏矩阵素描的幅值剪枝压缩算法，推导出依赖剪枝近似误差和参数数量的新泛化界，并扩展至迭代剪枝，在MNIST和CIFAR10上验证有效。
2023-06-24 cs.LG
ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning
Westlake University（西湖大学）
ROSE通过重新排序稀疏GPT方法，优先剪枝潜在误差大的权重，提升一次性大语言模型剪枝的准确性。
2026-03-06 cs.CL cs.LG
Cyclical Pruning for Sparse Neural Networks
Idiap Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；Qualcomm AI Research（高通人工智能研究院）
用于修剪神经网络权重的当前方法迭代地对模型权重应用基于幅度的修剪，并重新训练所得到的模型以恢复丢失的准确性。在这项工作中，我们表明，这种策略不允许错误修剪的权重的恢复。为了使权重恢复，我们提出了一个简单的策略称为\textit{cyclical pruning}，它需要定期修剪时间表，并允许在一个周期中错误修剪的权重在随后的恢复。在线性模型和大规模深度神经网络上的实验结果表明，循环剪枝优于现有的剪枝算法，特别是在高稀疏率下。我们的方法很容易调整，可以很容易地纳入现有的修剪管道，以提高性能。
2022-02-02 cs.CV cs.LG
S-STE: Continuous Pruning Function for Efficient 2:4 Sparse Pre-training
Tsinghua University（清华大学）
本文提出S-STE方法，通过连续剪枝函数和固定缩放因子解决传统2:4稀疏训练中因不连续性导致的优化困难，并结合最小方差无偏估计与FP8量化，实现了超越以往2:4预训练方案且媲美全参数模型的高效稀疏预训练。
2024-12-27 cs.LG
Renormalized Sparse Neural Network Pruning
Pacific Northwest National Lab（太平洋西北国家实验室）；University of Maryland at College Park（马里兰大学帕克分校）
大型神经网络是严重过度参数化的。这样做是因为它提高了训练的最优性。然而，一旦网络被训练，这意味着许多参数可以被归零或修剪，留下一个等效的稀疏神经网络。我们提出重新规范化稀疏神经网络，以提高精度。我们证明了当网络参数聚类或集中时，我们的方法的误差收敛到零。我们证明了，没有重整化，误差一般不收敛到零。我们在真实世界的数据集MNIST，Fashion MNIST和CIFAR-10上实验了我们的方法，并证实了重正化与标准修剪相比在准确性上有很大的提高。
2022-07-08 cs.LG stat.ML
Pruning at Initialisation through the lens of Graphon Limit: Convergence, Expressivity, and Generalisation
University of Warwick（沃里克大学）
本文通过图本理论分析初始化剪枝方法，揭示稀疏网络的拓扑结构和理论机制，推导出通用逼近定理和泛化界。
2026-02-06 cs.LG
Sparse Double Descent: Where Network Pruning Aggravates Overfitting
Beihang University（北京航空航天大学）；The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
人们通常认为，网络修剪不仅可以降低深度网络的计算成本，还可以通过降低模型容量来防止过拟合。然而，我们的工作令人惊讶地发现，网络修剪有时甚至会消除过拟合。我们报告了一种意想不到的稀疏双下降现象，即当我们通过网络修剪增加模型稀疏性时，测试性能首先变得更差（由于过拟合），然后变得更好（由于过拟合得到缓解），最后变得更差（由于忘记有用的信息）。虽然最近的研究集中在模型过度参数化方面的深度双下降，但他们未能认识到稀疏性也可能导致双下降。在本文中，我们有三个主要贡献。首先，我们通过大量的实验报告了新的稀疏双下降现象。其次，针对这一现象，我们提出了一种新的学习距离解释，即稀疏模型的$\ell_{2}$学习距离曲线（从初始参数到最终参数）可以与稀疏双下降曲线很好地相关，并且比最小平坦性更好地反映泛化能力。第三，在稀疏双下降的背景下，彩票假设中的中奖彩票令人惊讶地可能不总是中奖。
2022-06-17 cs.CV cs.LG
Modality-Aware Zero-Shot Pruning and Sparse Attention for Efficient Multimodal Edge Inference
Northwestern University（西北大学）
本文提出SentryFuse框架，通过模态感知的剪枝和稀疏注意力机制，在无需微调的情况下提升多模态边缘推断的效率与准确性，实现12.7%的平均精度提升和28.2%的内存减少。
2026-04-10 cs.LG
Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
本文提出结合稀疏解码器与动态剪枝的新框架，通过稀疏潜在特征实现头部剪枝的可解释和可控，提升ViTs的效率和可解释性。
2026-03-23 cs.AI cs.CV cs.LG
EvoESAP: Non-Uniform Expert Pruning for Sparse MoE
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出EvoESAP，通过非均匀层间稀疏分配提升稀疏MoE模型的生成能力，同时保持多选准确率。
2026-04-11 cs.LG
Enhancing One-shot Pruned Pre-trained Language Models through Sparse-Dense-Sparse Mechanism
Advanced Micro Devices, Inc.（超威半导体公司）；University of Science and Technology Beijing（北京科技大学）
针对一次性剪枝导致预训练语言模型性能下降的问题，提出SDS稀疏-稠密-稀疏剪枝框架，通过优化权重分布，在相同稀疏度下优于SparseGPT和Wanda，显著降低困惑度并提升准确率。
2024-08-20 cs.CL cs.LG
C2S2: Cost-aware Channel Sparse Selection for Progressive Network Pruning
本文描述了一种简化深度神经网络的通道选择方法。具体来说，我们提出了一种新型的通用网络层，称为修剪层，以无缝地增强给定的预训练模型进行压缩。包括$1 \times 1$深度方向内核的每个修剪层用双重格式表示：一个是实值，另一个是二进制。前者使网络修剪的两阶段优化过程能够与端到端可微分网络一起操作，而后者产生用于信道选择的掩码信息。我们的方法逐步执行修剪任务逐层，并根据稀疏性标准实现通道选择，以利于修剪更多的通道。我们还开发了一个成本感知机制，以防止压缩牺牲预期的网络性能。我们在图像分类和语义分割上压缩几个基准深度网络的结果与最先进的结果相当。
2019-04-06 cs.CV cs.LG
Adaptive Signal Resuscitation: Channel-wise Post-Pruning Repair for Sparse Vision Networks
Department of Mathematical and Statistical Sciences, Marquette University（马歇尔大学数学与统计科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell Ann S. Bowers College of Computing and Information Science, Cornell University（康奈尔大学安·S·博尔斯计算与信息科学学院）
本文提出了一种无需训练的通道级修复方法ASR，用于解决高稀疏度下因后剪枝修复粒度不匹配导致的精度下降问题，通过估计每个输出通道的方差匹配修正并结合数据驱动的收缩规则，提升稀疏视觉网络的性能。
2026-05-20 cs.LG
Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning
KAIST AI（韩国科学技术院人工智能学院）；AITRICS（AITRICS公司）
针对大规模神经网络的剪枝问题，提出多粒子稀疏权重平均（SWAMP）方法，通过并行训练多个稀疏模型并权重平均生成单一掩码，在不同稀疏度下持续优于现有基线。
2024-04-26 cs.AI cs.LG
Sparse Additive Model Pruning for Order-Based Causal Structure Learning
本文提出基于稀疏加法模型的因果结构学习剪枝方法，通过高效算法提升剪枝效率并保持高准确性。
2026-02-17 cs.LG stat.ML
SAFE: Finding Sparse and Flat Minima to Improve Pruning
针对神经网络稀疏化后性能下降的问题，提出通过增广拉格朗日对偶法与广义投影操作寻找兼具稀疏性与平坦性的子网络的SAFE及SAFE$^+$剪枝方法，在多任务上性能优于基线且抗噪声能力强。
2025-06-16 cs.AI cs.LG
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
非结构化修剪非常适合在训练和推理时减少卷积神经网络（CNN）的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪（SP）通过将过滤器元素设置为零来减少CNN的内存占用，从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪，这会导致强烈的偏差。为了克服这一点，我们引入空间修剪（IP），一个通用的工具，以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础（FB）的线性组合。对于IP，FB系数被设置为零，而未修剪的系数和FB被联合训练。在这项工作中，我们提供了数学证据IP的优越性能，并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下，例如ImageNet的修剪或修剪到高稀疏性，IP大大超过SP，具有相同的运行时间和参数成本。最后，我们表明，IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University（广岛大学）
由于卷积神经网络经常用冗余参数训练，因此可以减少冗余核或滤波器以获得紧凑的网络而不降低分类精度。在本文中，我们提出了一种过滤器修剪方法使用层次组稀疏正则化。在我们以前的工作中，层次组稀疏正则化是有效的，在获得稀疏网络中，连接到不必要的通道的过滤器自动接近零。在对卷积神经网络进行层次群稀疏正则化训练后，根据随机选取的训练样本分类损失的增加情况选取不必要的滤波器，得到一个紧凑的网络。结果表明，该方法可以减少CIFAR-10的ResNet参数的50%以上，而测试样本的准确性仅下降0.3%。此外，TinyImageNet-200的ResNet参数减少了34%，精度高于基线网络。
2020-11-04 cs.CV cs.LG
The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；JD Explore Academy（京东探索研究院）；University of Twente（特文特大学）
随机修剪可以说是在神经网络中获得稀疏性的最简单的方法，但无论是训练后修剪还是稀疏训练都被认为是没有竞争力的。在本文中，我们专注于稀疏训练，并强调了一个可能违反直觉的发现，即初始化时的随机修剪对于现代神经网络的稀疏训练可能非常强大。在没有任何精细的修剪标准或仔细追求稀疏结构的情况下，我们凭经验证明，从头开始稀疏训练随机修剪的网络可以匹配其密集等价物的性能。有两个关键因素促成了这种复兴：（i）网络大小很重要：随着原始密集网络变得更宽更深，训练随机修剪的稀疏网络的性能将迅速增长，即使在高稀疏率下也能与其密集网络相匹配;（ii）可以为稀疏训练预先选择适当的逐层稀疏率，这是另一个重要的性能提升器。虽然看起来很简单，但Wide ResNet-50的随机修剪子网络可以在ImageNet上进行稀疏训练，以超过密集的Wide ResNet-50。我们还观察到，这种随机修剪的网络在其他有利方面优于密集网络，例如分布外检测，不确定性估计和对抗鲁棒性。总的来说，我们的研究结果强烈表明，稀疏训练在规模上有比预期更大的空间，稀疏性的好处可能比精心设计的修剪更普遍。我们的源代码可以在https://github.com/VITA-Group/Random_Pruning上找到。
2022-02-05 cs.AI cs.CV cs.LG
Reproducing Kernel Hilbert Space Pruning for Sparse Hyperspectral Abundance Prediction
Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对高光谱分析受高分辨率限制且现有方法易受非线性效应影响的问题，提出基于希尔伯特空间变换的稀疏表示剪枝方法与最大似然压缩向量，在光谱重建误差和压缩率上优于传统及深度学习方法。
2023-10-09 cs.LG eess.SP
Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文提出 Sparse Model Soups (SMS) 方法，通过以上一阶段平均模型启动每个剪枝-重训练周期来合并共享相同稀疏连接性的模型，在保持稀疏性的同时显著提升了泛化能力和 OOD 性能。
2024-03-23 cs.AI cs.LG
Efficient Expert Pruning for Sparse Mixture-of-Experts Language Models: Enhancing Performance and Reducing Inference Costs
Cranberry-Lemon University（蔓越莓柠檬大学）
本文提出无梯度进化剪枝策略EEP，仅靠模型推理即可大幅减少SMoE模型的专家总数和激活专家数，在节省GPU内存、加速推理的同时保持甚至提升下游任务性能，挑战了传统剪枝认知。
2024-07-01 cs.LG
Adaptive Sharpness-Aware Pruning for Robust Sparse Networks
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
AdaSAP通过锐度感知剪枝统一鲁棒性与紧凑性，生成对未见输入变化鲁棒的稀疏网络，在图像分类和目标检测上显著提升鲁棒准确率。
2024-03-13 cs.CV cs.LG
Cyclic Sparse Training: Is it Enough?
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出SCULPT-ing方法，通过反复循环训练任意稀疏掩码后执行单次剪枝来耦合参数与掩码，以更低计算成本在高稀疏度下达到最先进迭代剪枝方法的性能。
2024-06-07 cs.CV cs.LG
Gradual Capacity Growth for Sparse Network Discovery
Georgia Institute of Technology（佐治亚理工学院）；The Cyprus Institute（塞浦路斯研究所）
提出渐进容量增长（GCG）框架，通过路径增长规则在训练中逐步分配网络容量，无需预训练或预设稀疏度，以较低成本发现接近稠密性能的稀疏网络。
2026-06-23 cs.LG
The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis
University of Warwick（沃里克大学）；CSIRO’s Data61（CSIRO数据61部门）；CISPA Helmholtz Center for Information Security（信息安全海德堡研究中心）
本文提出基于 graphon 的无限宽度理论框架，用 Graphon NTK 刻画剪枝诱导的连接结构及其训练动态，解释不同剪枝方法在同等稀疏度下的可训练性差异。
2025-10-20 cs.AI cs.LG
Physics-Informed Foresight Pruning for Sparse PINN Solvers of Nonlinear PDEs
针对非线性PDE稀疏PINN求解器，提出PI-SAP剪枝方法，其利用PDE残差灵敏度分配显著性，在高稀疏度下保留Gray-Scott残差保真度，平衡解侧与残差侧训练动态。
2026-08-27 cs.AI cs.LG
Learning Sparse Structured Ensembles with SG-MCMC and Network Pruning
Speech Processing and Machine Intelligence (SPMI) Lab（语音处理与机器智能（SPMI）实验室）；Tsinghua University（清华大学）
已知神经网络的集合比单个网络更鲁棒和准确，然而通常在训练和测试中具有线性增加的成本。在这项工作中，我们提出了一个两阶段的方法来学习稀疏结构集成（SSE）的神经网络。在第一阶段中，我们运行具有组稀疏先验的SG-MCMC，以从网络参数的后验分布中提取样本的集合。在第二阶段，我们对每个采样网络进行权重修剪，然后对剩余的连接进行再训练。在这种使用SG-MCMC和修剪学习SSE的方式中，由于SG-MCMC增强了对模型参数空间的探索，我们不仅实现了高预测精度，而且在神经网络集成的训练和测试中显着降低了内存和计算成本。这在学习FNN和LSTM的SSE集成的实验中得到了彻底的评估。例如，在基于LSTM的语言建模（LM）中，我们通过学习4个大型LSTM模型的SSE，与基线大型LSTM LM相比，它总共只有30%的模型参数和70%的计算，从而获得了21%的LM困惑相对减少。据我们所知，这项工作是第一个方法和实证研究集成SG-MCMC，组稀疏先验和网络修剪一起学习NN集成。
2018-05-23 cs.LG stat.ML
SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference
Snowflake AI Research（Snowflake AI研究）；Seoul National University（首尔大学）
提出Spense混合稀疏-稠密格式，将权重矩阵分为2:4稀疏和稠密区域，结合一次性剪枝方法SpenseGPT，在B200 GPU上实现高达1.2倍端到端解码加速，同时保持模型精度。
2026-06-09 cs.CL cs.LG
Neural Network Panning: Screening the Optimal Sparse Network Before Training
Changsha University of Science and Technology（长沙理工大学）；Xidian University（西安电子科技大学）
在训练前对神经网络进行剪枝，不仅压缩了原始模型，而且加快了网络的训练速度，具有实际的应用价值。目前的工作重点是细粒度的修剪，它使用度量来计算权重得分的权重筛选，并从最初的单阶修剪扩展到迭代修剪。通过这些工作，我们认为，网络修剪可以概括为一个表现力转移过程的权重，其中保留的权重将采取的表现力从删除的，以保持原网络的性能。为了实现表达力的最优调度，提出了一种训练前的剪枝策略--神经网络平移，通过多指标、多步骤的方式引导表达力的传递，并设计了一种基于强化学习的平移代理，实现了过程的自动化。实验结果表明，Panning方法优于现有的各种训练前剪枝方法。
2022-09-27 cs.CV cs.LG
BnBERT-iPET: Sparse Few-Shot Language Modeling for Bengali via Lottery Ticket Pruning
North South University（北南大学）
本研究提出BnBERT-iPET，一种基于彩票剪枝的孟加拉语稀疏少样本语言建模方法，仅保留初始模型10%边、实现90%稀疏度，在孟加拉语下游任务中性能可与多个最先进语言模型媲美。
2026-08-06 cs.LG
Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization
Faculty of Mathematics, Physics and Informatics, Comenius University（数学、物理与信息学系，科门纽斯大学）；Powerful Medical（强力医疗）；GrizzlyTech（灰熊科技）
本文提出双重稀疏分解（DSF），将权重矩阵分解为两个稀疏矩阵，并基于ADMM交替最小化实现高效求解，在LLaMA2-13B等模型上实现50%稀疏化且性能优于稠密小模型，超越现有逐层剪枝方法。
2025-06-04 cs.LG
SparseSSM: Efficient Selective Structured State Space Models Can Be Pruned in One-Shot
Tongji University（同济大学）；Westlake University（西湖大学）
本文提出无需训练的 SparseSSM 框架，通过二阶显著性与组件敏感性分析对 Mamba 等状态空间模型进行一次性剪枝，在零样本准确率无损下剪掉 50% SSM 权重。
2025-06-11 cs.LG
i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery
Rice University（莱斯大学）
提出了一种新的神经网络结构化剪枝算法--迭代稀疏结构化剪枝算法（i-SpaSP）。受稀疏信号恢复思想的启发，i-SpaSP通过迭代识别更大的重要参数组（例如，过滤器或神经元），然后基于较小的、预定义的修剪比率对这些组进行阈值化。对于具有ReLU激活的两层和多层网络架构，我们显示了i-SpaSP修剪引起的误差多项式衰减，其中该多项式的次数根据密集网络隐藏表示的稀疏性变得任意大。在我们的实验中，i-SpaSP在各种数据集上进行了评估（即，MNIST、ImageNet和XNLI）和架构（即，前馈网络，ResNet 34，MobileNetV 2，和BERT），其中它被证明发现高性能的子网络，并提高了几个数量级的可证明的基线方法的修剪效率。简而言之，i-SpaSP易于使用自动微分实现，获得了强有力的经验结果，具有理论收敛保证，并且效率高，因此成为少数几个计算效率高，实用且可证明的修剪算法之一。
2022-03-29 cs.AI cs.LG math.OC
Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts
University of Rochester（罗切斯特大学）；Microsoft Research（微软研究院）
针对稀疏 MoE 大模型中专家知识冗余、内存占用高的问题，提出基于相似专家分组与剪枝的任务无关方法，并在 Mixtral、Deepseek-MoE 和 Qwen 上验证其优于现有剪枝方法。
2025-06-08 cs.CL cs.LG
Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning
KAUST（沙特阿卜杜拉国王科技大学）；ISTA（奥地利科学技术研究所）；Yandex Research（Yandex 研究院）
研究大型语言模型微调成本高的问题，提出Super和Supra方法，利用剪枝显著性信号，结合Wanda分数与LoRA，通过预算分配规则保持参数预算，在算术实验中取得高准确率，证明简单排序可为PEFT提供支持。
2026-07-13 cs.CL cs.LG
SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
Massachusetts Institute of Technology（麻省理工学院）
近年来，在深度神经网络修剪和压缩方面有一系列的研究。早期的方法单独修剪权重。然而，在现代硬件（如GPU）上很难利用由此产生的非结构化稀疏模式。因此，在权重中施加稀疏结构的修剪策略变得更加流行。然而，这些结构化修剪方法通常导致比非结构化修剪更高的准确性损失。在本文中，我们介绍了SparseRT，这是一个代码生成器，它利用非结构化稀疏性来加速GPU上深度学习推理中的稀疏线性代数运算。对于1x 1卷积和全连接层，当在深度学习中对数百个测试用例进行评估时，我们证明了在90%稀疏度下等效密集计算的加速比为3.4倍，在95%稀疏度下为5.4倍的几何平均值。对于稀疏3x 3卷积，我们在ResNet-50中的用例中显示了超过5倍的加速。
2020-08-26 cs.LG stat.ML
Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations
本文发现剪枝网络性能下降的根源是信号坍缩，提出REFLOW方法在不更新权重的情况下缓解该问题，使幅度剪枝在ImageNet上以20%权重将ResNeXt101精度从4.1%提升至78.9%，超越现有方法。
2025-02-18 cs.AI cs.CV cs.LG
Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
Rochester Institute of Technology（罗切斯特技术学院）；Toyota InfoTech Labs（丰田信息科技实验室）
本研究探究基于幅值的剪枝结合微调对神经网络可解释性的影响，发现轻中度剪枝可提升显著性图质量与概念一致性，使表征更贴合人类注意力模式，而过度剪枝会损害可解释性。
2025-10-05 cs.AI cs.CV cs.LG
