Data-Independent Structured Pruning of Neural Networks via Coresets
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
模型压缩对于在计算和存储资源有限的设备上部署神经网络至关重要。许多不同的方法显示出压缩模型的可比精度和相似的压缩率。然而，大多数压缩方法都是基于近似的，并且对于任意新样本，在压缩率和近似误差之间的权衡上没有提供最坏情况的保证。我们提出了第一个有效的结构化修剪算法，其压缩率和任何未来的测试样本的近似误差之间的可证明的权衡。我们的方法是基于coreset框架，它近似的输出层的神经元/过滤器的coreset的神经元/过滤器在前一层和丢弃其余的。我们从下到上以逐层的方式应用这个框架。与以前的作品不同，我们的coreset是数据独立的，这意味着它可以证明保证任何输入$x\in \mathbb{R}^d$的函数的准确性，包括对抗性的。
2020-08-19 cs.AI cs.LG stat.ML
Synthesis and Pruning as a Dynamic Compression Strategy for Efficient Deep Neural Networks
University of Surrey（萨里大学）
大脑是一个高度可重构的机器，能够进行特定任务的适应。大脑不断地重新布线，以获得更优化的配置来解决问题。我们提出了一种新的策略合成算法的前馈网络，直接从大脑的行为时学习。所提出的方法分析网络并根据其大小对权重进行排名。与现有的方法，提倡随机选择，我们选择高性能的节点作为新的边缘的起点，并利用高斯分布的权重来选择相应的端点。该策略的目的只是为了产生有用的连接，并导致一个较小的剩余网络结构。该方法是补充修剪进一步压缩。我们展示了深度前馈网络的技术。在这项工作中，从合成方法形成的剩余子网络形成了相似性高达~ 90%的公共子网络。使用修剪作为战略合成方法的补充，我们观察到压缩的改进。
2020-11-23 cs.AI
SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
Qwen Team, Alibaba Inc.（通义实验室，阿里公司）；MBZUAI；KAUST（卡士大学）
本文研究了在大规模预训练中如何应用剪枝和知识蒸馏技术，探讨了剪枝在初始化方面的优势、专家压缩对最终模型的影响以及训练策略的有效性，最终将Qwen3-Next-80A3B压缩到23A2B模型并保持竞争力。
2026-05-18 cs.AI cs.CL cs.LG
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression
Tencent Media Lab（腾讯媒体实验室）；Northeastern University（东北大学）
压缩深度神经网络（DNN）模型以减轻存储和计算需求对于实际应用至关重要，尤其是对于资源有限的设备。虽然能够减少合理数量的模型参数，以前的非结构化或结构化的权重修剪方法很难真正加速推理，无论是由于非结构化稀疏性的硬件兼容性差，还是由于结构修剪网络的稀疏率低。为了减少存储和计算，以及保持原有的任务性能，我们提出了一个广义的重量统一框架，在硬件兼容的微结构化水平，以实现高量的压缩和加速。所选微结构块的权重系数被统一以减少块的存储和计算而不改变神经元连接，当所有统一系数被设置为零时，这变成微结构修剪特殊情况，其中神经元连接（因此存储和计算）被完全去除。此外，我们开发了一个有效的训练框架的基础上交替方向的乘法器（ADMM），它将我们的复杂约束优化到单独可解的子问题。通过迭代优化子问题，可以确保所需的微结构，高压缩比和低性能退化。我们使用各种基准模型和不同应用程序的数据集广泛评估了我们的方法。实验结果表明，国家的最先进的性能。
2021-06-16 cs.AI cs.CV cs.LG
C-SWAP: Explainability-Aware Structured Pruning for Efficient Neural Networks Compression
Thales cortAIx Lab Montreal, QC, Canada（泰雷兹 cortAIx 实验室，加拿大魁北克省蒙特利尔）
针对现有一次性结构化剪枝易导致性能大幅下降的问题，提出基于可解释深度学习的C-SWAP因果感知剪枝框架，在无需微调的情况下实现了模型体积大幅缩减与性能的最优权衡。
2025-10-21 cs.AI cs.CV cs.LG
From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression
Alibaba（阿里巴巴）；Peking University（北京大学）
预训练语言模型（Pre-trained Language Models，PLM）在预训练和微调的范式下在各种自然语言处理（Natural Language Processing，NLP）任务中取得了巨大的成功。PLM具有大量的参数，计算密集型和资源消耗型。因此，模型修剪已被引入到压缩大规模PLM。然而，大多数已有的方法在剪枝时只考虑任务相关的知识，而忽略了任务无关的基本知识，这可能会导致灾难性遗忘问题，从而导致泛化能力差。为了在我们的修剪模型中保持任务不可知和任务特定的知识，我们提出了预训练和微调范式下的主动修剪（CAP）。它被设计为一个通用框架，兼容结构化和非结构化修剪。CAP与对比学习相结合，使修剪后的模型能够从预训练的模型中学习任务不可知的知识，并对任务特定的知识进行微调。此外，为了更好地保持修剪模型的性能，快照（即，在每次修剪迭代的中间模型）也用作修剪的有效监督。我们广泛的实验表明，采用CAP一贯产生显着的改善，特别是在极高的稀疏性的情况下。仅保留3%的模型参数（即，97%稀疏性），CAP成功地实现了99.2%和96.3%的原始BERT性能在QQP和MNLI任务。此外，我们的探测实验表明，CAP修剪的模型倾向于实现更好的泛化能力。
2021-12-14 cs.AI cs.CL
OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators
Microsoft（微软）；The Ohio State of University（俄亥俄州立大学）
针对现有DNN压缩方法流程复杂、需大量专业知识的问题，提出OTOv3框架，通过依赖图分析、DHSPG/H2SPG算法等实现免微调的自动训练压缩，性能达SOTA。
2023-12-15 cs.AI cs.CL cs.CV
Adaptive Sparse Structure Development with Pruning and Regeneration for Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
脉冲神经网络（SNN）在生物学上更合理，计算效率更高。因此，SNN具有天然的优势，能够汲取大脑发育的稀疏结构可塑性，以缓解深层神经网络因结构复杂、固定而带来的能量问题。然而，以往的SNNs压缩工作缺乏来自大脑发育可塑性机制的深入启发。提出了一种新的SNN自适应结构发育方法（SD-SNN），引入了基于树突棘可塑性的突触约束、神经元修剪和突触再生。我们发现，突触约束和神经元修剪可以检测和去除SNN中的大量冗余，再加上突触再生可以有效地防止和修复过度修剪。此外，受神经营养假说的启发，在边学习边修剪的过程中，神经元修剪速率和突触再生速率自适应调整，最终导致SNN的结构稳定性。在空间（MNIST，CIFAR-10）和时间神经形态（N-MNIST，DVS-Gesture）数据集上的实验结果表明，我们的方法可以灵活地学习各种任务的适当压缩率，并有效地实现卓越的性能，同时大大降低了网络能耗。具体而言，对于空间MNIST数据集，我们的SD-SNN在修剪率49.83%时达到99.51%的准确率，与未压缩的基线相比，准确率提高了0.05%。对于神经形态的DVS手势数据集，当压缩率达到55.50%时，该方法的准确率达到98.20%，提高了1.09%.
2023-02-03 cs.AI cs.NE
Pruning and Quantization for Deep Neural Network Acceleration: A Survey
University of Science and Technology Beijing（北京科技大学）；Hua Xia General Processor Technologies（华夏通用处理器技术公司）；General Processor Technologies（通用处理器技术公司）
深度神经网络已经应用于在计算机视觉领域中表现出非凡能力的许多应用中。然而，复杂的网络架构对高效的实时部署提出了挑战，并需要大量的计算资源和能源成本。这些挑战可以通过网络压缩等优化来克服。网络压缩通常可以在精度损失很小的情况下实现。在某些情况下，准确性甚至可以提高。本文综述了两种网络压缩方法：剪枝和量化。修剪可以被分类为静态的（如果它是离线执行的）或动态的（如果它是在运行时执行的）。我们比较修剪技术，并描述用于删除冗余计算的标准。我们讨论了在元素方面，通道方面，形状方面，过滤器方面，层方面，甚至网络方面的修剪的权衡。量化通过降低数据类型的精度来减少计算。权重、偏置和激活通常可以被量化为8位整数，尽管还讨论了包括二进制神经网络的较低位宽实现。修剪和量化可以独立使用或组合使用。我们比较了当前的技术，分析了它们的优缺点，在一些框架上展示了压缩网络的准确性结果，并为压缩网络提供了实用的指导。
2021-06-15 cs.AI cs.CV
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei University of Technology（合肥工业大学安全关键工业测量与控制技术教育部工程研究中心）
为了将深度CNN应用于移动终端和便携式设备，许多学者最近致力于压缩和加速深度卷积神经网络。在此基础上，我们提出了一种新的均匀信道修剪（UCP）方法来修剪深度CNN，并使用修改的挤压和激励块（MSEB）来衡量卷积层中信道的重要性。不重要的通道，包括与它们相关的卷积核，直接被修剪，这大大降低了存储成本和计算次数。ResNet中有两种类型的残差块。对于存在瓶颈的ResNet，我们使用传统CNN的修剪方法来修剪块中间的3x 3卷积层。对于具有基本残差块的ResNet，我们提出了一种在同一阶段一致地修剪所有残差块的方法，以确保紧凑的网络结构在维度上是正确的。考虑到网络在剪枝后会丢失大量的信息，而且剪枝幅度越大，丢失的信息就越多，所以我们没有选择微调，而是从头开始重新训练，以恢复剪枝后网络的准确性。最后，在CIFAR-10、CIFAR-100和ILSVRC-2012图像分类器上进行了图像分类的实验验证。结果表明，当剪枝率较小时，从头训练后的紧致网络的性能优于原始网络。即使当修剪幅度较大时，也可以保持或略微降低精度。在CIFAR-100上，当将参数和FLOP分别减少到82%和62%时，VGG-19的准确度在重新训练后甚至提高了0.54%。
2020-10-03 cs.AI cs.CV
Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning
Rochester Institute of Technology（罗切斯特理工学院）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出一种基于动态参数秩剪枝的 CNN 压缩方法，利用 SVD 分解和正则化技术实现端到端训练，在多个 ResNet 模型和数据集上验证了其在保持或提升分类性能的同时显著节省存储。
2024-01-15 cs.AI cs.CV
Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep Convolutional Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Portland State University（波特兰州立大学）
卷积神经网络在深度学习任务中占主导地位。然而，当在移动设备上工作时，它们遭受巨大的成本问题。网络剪枝是解决这类问题的一种有效的模型压缩方法。本文提出了一种新的结构化网络剪枝方法，该方法采用辅助门控结构，以主干网络中各块的重要性标记作为剪枝的依据。然后，分块修剪实现提出的投票策略，这是不同于流行的方法，修剪模型在小粒度，如通道。我们进一步开发了一个三阶段的训练调度建议的架构，结合知识蒸馏，以获得更好的性能。我们的实验表明，我们的方法可以实现国家的最先进的压缩性能的分类任务。此外，我们的方法可以集成协同与其他修剪方法提供预训练的模型，从而实现了更好的性能比unpruned模型超过93\%的FLOPs减少。
2022-05-07 cs.AI cs.CV
One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression
Jagiellonian University（雅盖隆大学）；ETH Zürich（苏黎世联邦理工学院）；Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）
本文系统比较了一次性剪枝与迭代剪枝两种策略，发现一次性剪枝在低剪枝率下更有效，而迭代剪枝在高剪枝率下表现更好，并提出了混合方法。
2026-07-01 cs.AI cs.LG
EPSD: Early Pruning with Self-Distillation for Efficient Model Compression
Midea Group（美的集团）
针对传统剪枝结合知识蒸馏效率低的问题，提出EPSD框架，通过两步流程融合早期剪枝与自蒸馏，保留可蒸馏权重提升剪枝网络训练效果，在多个基准上优于现有先进方法。
2024-01-31 cs.AI cs.CV cs.LG
RAP: KV-Cache Compression via RoPE-Aligned Pruning
RAP通过RoPE对齐剪枝技术，有效压缩KV缓存、注意力参数和FLOPs，同时保持模型精度，显著降低推理延迟。
2026-08-04 cs.AI cs.LG
Locality-Aware Redundancy Pruning for LLM Depth Compression
University of Southern California（美国南加州大学）；Neural Superintelligence Lab, MODULABS（MODULABS神经超级智能实验室）；Seoul National University（首尔国立大学）；Inha University（釜山大学）
提出LoRP，一种基于表示局部性的无训练单次深度剪枝框架，通过引入表示局部性分数（RLS）来识别和剪除冗余层，在多种LLM上提升了困惑度和下游任务准确率。
2026-09-01 cs.AI cs.LG
Shapley Pruning for Neural Network Compression
ETH Zürich（苏黎世联邦理工学院）
本研究将留一剪枝和oracle剪枝等概念发展为基于Shapley值的通用卷积神经网络压缩框架，提出Shapley值近似方法并在新基准Oracle rank上评估，实现了最先进的网络压缩表现。
2024-07-19 cs.CV cs.LG
Towards Optimal Compression: Joint Pruning and Quantization
University of Cambridge（剑桥大学）；University of Zürich（苏黎世大学）；Princeton University（普林斯顿大学）；CERN（欧洲核子研究中心）；CEVA. Inc（CEVA公司）
针对深度神经网络压缩中量化与剪枝策略确定难、现有方法压缩-性能权衡不佳的问题，提出整合混合精度量化与非结构化剪枝的FITCompress方法，利用Fisher信息度量和路径规划实现最优压缩配置，在多任务基准上表现优于现有方法。
2023-06-11 cs.LG
Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness
Université Paris-Saclay（巴黎萨克雷大学）；University of Bristol（布里斯托尔大学）
针对传统神经网络剪枝易牺牲对抗鲁棒性的问题，提出量化层级对抗扰动敏感度的MRS指标及自适应剪枝算法MRPF，在多数据集和架构上实现了压缩率、准确率与鲁棒性的更优平衡。
2025-03-19 cs.LG
Thanos: A Block-wise Pruning Algorithm for Efficient Large Language Model Compression
GenAI Center of Excellence, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学GenAI卓越中心）
Thanos提出一种基于自适应掩码的分块权重剪枝算法，通过灵活的结构化与$n:m$稀疏模式压缩大语言模型，在保持精度的同时降低内存占用并提升计算效率，在结构化和非结构化剪枝中均取得领先性能。
2025-04-06 cs.AI cs.CL cs.LG
An Information-Theoretic Justification for Model Pruning
Stanford University（斯坦福大学）；Hongik University（弘益大学）
本文从率失真理论的角度研究了神经网络的压缩问题，考察了压缩比与神经网络性能之间的矛盾。我们选择一个失真度量，反映了NN压缩对模型输出的影响，并得出率（压缩）和失真之间的权衡。除了表征NN压缩的理论极限之外，该公式还表明，\emph{pruning}（隐式或显式）必须是良好压缩算法的一部分。这一观察弥合了有关NN和数据压缩的文献部分之间的差距，分别提供洞察模型修剪的经验成功。最后，我们提出了一种新的修剪策略，该策略来自我们的信息理论公式，并表明它在CIFAR-10和ImageNet数据集上的性能优于相关基线。
2022-02-09 cs.IT cs.LG eess.SP
Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning
University of Maryland（马里兰大学）；Shandong University（山东大学）
网络压缩对于使深度网络更高效，更快，并可推广到低端硬件至关重要。目前的网络压缩方法存在两个问题：第一，缺乏一个理论框架来估计最大压缩率;第二，某些层可能会被过度修剪，导致网络性能显著下降。针对这两个问题，提出了一种基于梯度矩阵奇异性分析的网络最大冗余度估计方法。在此基础上，提出了一种新的高效的分层网络剪枝算法，在不牺牲网络性能的前提下，最大限度地压缩神经元网络结构。大量的实验证明了新方法修剪几个先进的卷积神经网络（CNN）架构的有效性。与现有的剪枝方法相比，本文提出的剪枝算法达到了最先进的性能。在相同或相似的压缩比下，与其他方法相比，新方法提供了最高的网络预测准确度。
2022-06-07 cs.CV cs.LG eess.IV
Encoding Weights of Irregular Sparsity for Fixed-to-Fixed Model Compression
NAVER CLOVA；Samsung Research（三星研究院）
即使细粒度修剪技术实现了高压缩比，与不规则稀疏性相关的传统稀疏表示（如CSR）显着降低并行性。因此，实际的修剪方法通常会降低修剪率（通过结构化修剪）以提高并行性。在本文中，我们研究固定到固定（无损）编码架构/算法，以支持细粒度的修剪方法，稀疏神经网络可以存储在一个高度规则的结构。我们首先使用熵估计基于编码的压缩的最大压缩比。然后，作为一种努力，以推动压缩比的理论最大值（熵），我们提出了一个顺序固定到固定的编码方案。我们证明，我们提出的压缩方案几乎达到了最大压缩比的Transformer和ResNet-50修剪各种细粒度的修剪方法。
2022-01-31 cs.IT cs.LG math.IT
Reproducing Kernel Hilbert Space Pruning for Sparse Hyperspectral Abundance Prediction
Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对高光谱分析受高分辨率限制且现有方法易受非线性效应影响的问题，提出基于希尔伯特空间变换的稀疏表示剪枝方法与最大似然压缩向量，在光谱重建误差和压缩率上优于传统及深度学习方法。
2023-10-09 cs.LG eess.SP
Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；State University of Rio de Janeiro（里约热内卢州立大学）
近年来，深度神经网络（DNN）应用的流行和成功激发了对DNN压缩的研究，例如修剪和量化。这些技术加速了模型推理，降低了功耗，并降低了运行DNN所需硬件的大小和复杂性，所有这些都几乎没有准确性损失。然而，由于DNN容易受到对抗性输入的影响，因此重要的是要考虑压缩和对抗性鲁棒性之间的关系。在这项工作中，我们研究了几个不规则的修剪方案和8位量化产生的模型的对抗鲁棒性。此外，虽然传统的修剪去除了DNN中最不重要的参数，但我们研究了非传统修剪方法的效果：基于对抗性输入的梯度去除最重要的模型参数。我们称这种方法为贪婪对抗修剪（GAP），我们发现这种修剪方法可以使模型抵抗来自未压缩副本的传输攻击。
2022-06-15 cs.CR cs.LG
Effective Network Compression Using Simulation-Guided Iterative Pruning
KAIST（韩国科学技术院）；NOTA Incorporated（NOTA公司）
现有的高性能深度学习模型需要非常密集的计算。因此，很难将深度学习模型嵌入到资源有限的系统中。在本文中，我们提出了一种新的想法，网络压缩作为一种方法来解决这个限制。该思想的原理是通过模拟简化后的网络，使迭代剪枝更加有效和复杂。通过一个简单的实验对该方法进行了评价，结果表明，在相同的剪枝水平下，该方法比现有方法具有更高的性能。
2019-02-12 cs.LG stat.ML
AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates
Northeastern University（东北大学）；Syracuse University（雪城大学）；DiDi AI Labs（滴滴人工智能实验室）；University of Michigan（密歇根大学）
结构化权重剪枝是DNN的一种典型模型压缩技术，用于减少存储和计算需求并加速推理。由于大量的灵活的超参数，一个自动的超参数确定过程是必要的。本文提出了一种自动结构化剪枝框架AutoCompress，该框架具有以下关键性能改进：（i）有效地将结构化剪枝方案的组合纳入自动过程;（ii）采用最先进的基于ADMM的结构化权重剪枝作为核心算法，并提出了一种创新的额外纯化步骤，以进一步降低权重而不损失准确性;以及（iii）开发有效的启发式搜索方法，并通过基于经验的引导搜索进行增强，以取代现有的深度强化学习技术，该技术与目标修剪问题存在潜在的不兼容性。在CIFAR-10和ImageNet数据集上进行的大量实验表明，AutoCompress是在权重和FLOP数量上实现超高剪枝率的关键。例如，在相同的精度下，AutoCompress在修剪率方面比先前的自动模型压缩工作高出33倍（实际参数计数减少120倍）。在智能手机上的实际测量中，从AutoCompress框架中观察到了显著的推理加速。我们在匿名链接发布本作品的所有模型：http://bit.ly/2VZ63dS。
2019-09-11 cs.AI cs.CV cs.LG
Quantisation and Pruning for Neural Network Compression and Regularisation
University of the Witwatersrand（威特沃特斯兰德大学）
深度神经网络通常在计算上过于昂贵，无法在消费级硬件和低功耗设备上实时运行。在本文中，我们研究通过网络修剪和量化减少神经网络的计算和内存需求。我们研究了它们在AlexNet等大型网络上的功效，并与最近的紧凑架构：ShuffleNet和MobileNet进行了比较。我们的研究结果表明，修剪和量化将这些网络压缩到原始大小的一半以下，并提高了它们的效率，特别是在MobileNet上，速度提高了7倍。我们还证明了修剪，除了减少网络中的参数数量，可以帮助纠正过拟合。
2020-01-14 cs.LG stat.ML
Play and Prune: Adaptive Filter Pruning for Deep Model Compression
IIT Kanpur（印度理工学院坎普尔分校）
虽然卷积神经网络（CNN）在各种分类/识别任务上取得了令人印象深刻的性能，但它们通常由大量参数组成。这导致显著的存储器需求以及计算开销。因此，越来越需要用于压缩基于CNN的模型的滤波器级修剪方法，其不仅减少参数的总数，而且还减少总体计算。我们提出了一个新的最小-最大框架，用于CNN的过滤器级修剪。我们的框架称为Play and Prune（PP），它通过自适应修剪率联合修剪和微调CNN模型参数，同时保持模型的预测性能。我们的框架由两个模块组成：（1）自适应过滤器修剪（AFP）模块，它最大限度地减少模型中的过滤器数量;（2）修剪速率控制器（PRC）模块，它最大限度地提高修剪过程中的准确性。此外，与大多数以前的方法不同，我们的方法允许直接指定所需的容错性，而不是修剪水平。我们的压缩模型可以在运行时部署，而不需要任何特殊的库或硬件。我们的方法将VGG-16的参数数量减少了17.5倍，FLOPS数量减少了6.43倍，并且没有损失准确性，显著优于其他最先进的过滤器修剪方法。
2019-05-11 cs.AI cs.CV cs.LG
Beyond One-Way Pruning: Bidirectional Pruning-Regrowth for Extreme Accuracy-Sparsity Tradeoff
University of South Florida（佛罗里达州立大学）
针对高稀疏度下现有剪枝方法导致模型性能骤降、难以满足硬件尺寸约束的问题，提出双向剪枝-再生策略，从极致压缩网络出发选择性再生关键连接，缓解高稀疏度下的精度骤降，实现更优的精度-稀疏度权衡。
2025-11-11 cs.AI cs.LG
Dirichlet Pruning for Neural Network Compression
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）；University of Tübingen（蒂宾根大学）
我们介绍了狄利克雷修剪，一种新的后处理技术，将一个大的神经网络模型压缩。狄利克雷剪枝是一种结构化剪枝的形式，它在卷积层（或全连接层中的神经元）的每层通道上分配狄利克雷分布，并使用变分推理估计这些单元上的分布参数。学习的分布允许我们删除不重要的单元，从而产生一个紧凑的架构，只包含手头任务的关键功能。新引入的狄利克雷参数的数量仅与通道数量呈线性关系，这允许快速训练，只需一个历元即可收敛。我们进行了广泛的实验，特别是在VGG和ResNet（压缩率分别为45%和58%）等大型架构上，我们的方法实现了最先进的压缩性能，并提供了可解释的副产品特征。
2021-03-08 cs.LG stat.ML
Optimal Brain Compression: A Framework for Accurate Post-Training Quantization and Pruning
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Neural Magic（神经魔法公司）
我们考虑在具有挑战性的一次性/后训练设置中深度神经网络（DNN）的模型压缩问题，在这种情况下，我们得到了一个精确的训练模型，并且必须仅基于少量校准输入数据在没有任何重新训练的情况下对其进行压缩。这个问题已经变得流行，鉴于新兴的软件和硬件支持执行模型压缩通过修剪和/或量化与加速，以及性能良好的解决方案已经提出了独立的两种压缩方法。在本文中，我们介绍了一个新的压缩框架，它涵盖了重量修剪和量化在一个统一的设置，是时间和空间效率，并大大提高了现有的后训练方法的实际性能。在技术层面上，我们的方法是基于[LeCun，Denker和Solla，1990]的经典最佳脑外科医生（OBS）框架的精确和有效实现，该框架扩展到现代DNN规模的权重量化。从实际的角度来看，我们的实验结果表明，它可以显着改善现有的后训练方法的压缩精度的权衡，它可以使精确的修剪和量化的复合应用在后训练设置。
2023-01-08 cs.LG
PCAS: Pruning Channels with Attention Statistics for Deep Network Compression
Oki Electric Industry Co., Ltd.（冲电气工业株式会社）
深度神经网络的压缩技术对于在小型嵌入式设备上实现它们非常重要。特别是，信道修剪是实现紧凑网络的有用技术。然而，许多常规方法需要手动设置每层中的压缩比。很难分析所有层之间的关系，特别是对于更深的模型。为了解决这些问题，我们提出了一个简单的通道修剪技术的基础上注意力统计，使评估渠道的重要性。我们通过自动通道选择的标准改进了该方法，对整个模型使用单个压缩比代替逐层模型分析。所提出的方法在精度和计算成本方面优于传统方法，用于各种模型和数据集。我们提供了不同数据集上所提出的标准的行为的分析结果，以证明其良好的性能，通道修剪。
2019-08-20 cs.CV cs.LG stat.ML
Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation
The Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对LoRA表征能力不足的问题，提出PrunedLoRA框架，通过动态结构化剪枝实现自适应秩分配，在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。
2026-07-30 cs.AI cs.LG
Deep Neural Compression Via Concurrent Pruning and Self-Distillation
University of Liverpool（利物浦大学）；Huawei Ireland Research Center（华为爱尔兰研究中心）
修剪的目的是减少参数的数量，同时保持性能接近原始网络。这项工作提出了一种新的\emph{self-distillation}为基础的修剪策略，从而修剪和未修剪的版本相同的网络之间的代表相似性最大化。与以前单独处理蒸馏和修剪的方法不同，我们使用蒸馏来通知修剪标准，而不需要像知识蒸馏那样使用单独的学生网络。我们表明，所提出的{ \em互相关目标自蒸馏修剪}隐含地鼓励稀疏的解决方案，自然补充幅度为基础的修剪标准。在GLUE和XGLUE基准测试上的实验表明，自提炼剪枝提高了单语言和跨语言语言模型的性能。自蒸馏修剪模型也优于具有相同数量参数的较小Transformers，并且与（6倍）较大的蒸馏网络竞争。我们还观察到自蒸馏（1）最大化类可分性，（2）提高信噪比，（3）在修剪步骤后收敛得更快，为自蒸馏修剪改善泛化提供了进一步的见解。
2021-09-30 cs.CL cs.LG
Tight Compression: Compressing CNN Through Fine-Grained Pruning and Weight Permutation for Efficient Implementation
ACCESS - AI Chip Center for Emerging Smart Systems（ACCESS——新兴智能系统人工智能芯片中心）；Hong Kong University of Science and Technology (HKUST)（香港科技大学）；NVIDIA Corporation（英伟达公司）
本文提出基于权重置换的CNN压缩方法，结合非结构化剪枝与更细粒度的子词级剪枝，将稀疏权重压缩为密集格式，显著提升矩阵压缩率、吞吐量和能效。
2021-04-03 cs.LG
Beyond Single-Dimensional Compression: The Compound Sparsity Frontier of Large Language Models
Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究院，东方理工大学）
研究大语言模型压缩，提出复合稀疏框架，结合静态参数剪枝和动态令牌级计算，通过低秩近似、通道剪枝及引入轻量级路由器实现。实验表明其在相同总稀疏度下优于单机制压缩，揭示跨维度干扰及有效分配方式，为改进压缩提供实用途径。
2026-07-22 cs.AI cs.LG
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics（LG电子）
随着卷积神经网络（CNN）模型大小不断增加的总体趋势，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中，我们提供了一个全面的调查修剪，一个主要的压缩策略，从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机，不同的策略和标准，它们的优点和缺点，以及主要修剪技术的汇编。最后，我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation
网络修剪是降低深度神经网络沉重的推理成本的最主要方法之一。现有的方法通常迭代修剪网络，以获得高压缩比，而不会导致显着的性能损失。然而，我们认为，用于重新训练修剪网络的传统方法（即，使用小的、固定的学习率）是不够的，因为它们完全忽略了来自迭代修剪的快照的益处。在这项工作中，我们表明，强大的合奏可以构建从快照的迭代修剪，实现竞争力的性能和不同的网络结构。此外，我们提出了简单，通用和有效的流水线，产生强大的合奏网络在修剪与大学习率重新启动，并利用知识蒸馏与这些合奏，以提高预测能力的紧凑型模型。在标准的图像分类基准测试中，如CIFAR和Tiny-Imagenet，我们通过将简单的l1范数滤波器修剪集成到我们的流水线中，提高了结构化修剪的最先进的修剪率。具体来说，我们减少了75-80%的总参数和65-70%的ResNet架构变体的MAC，同时具有与原始网络相当或更好的性能。与本文相关的代码可在https://github.com/lehduong/kesi上公开获取。
2020-08-14 cs.CV cs.LG
Scalable Neural Network Compression and Pruning Using Hard Clustering and L1 Regularization
University of Texas at Dallas（德克萨斯大学达拉斯分校）
我们提出了一个简单，易于实现的神经网络压缩算法，实现了更复杂的国家的最先进的方法的竞争力的结果。其关键思想是通过在网络参数上添加K个独立的高斯先验（对应于k-means目标）来修改原始优化问题，以实现参数量化，以及L1惩罚来实现修剪。与许多现有的基于量化的方法不同，我们的方法使用网络参数的硬聚类分配，这对标准网络训练增加了最小的变化或开销。我们还通过实验证明，捆绑神经网络参数比完全改变网络架构和连接模式在泛化性能方面提供的增益更少。
2018-06-14 cs.LG stat.ML
Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization
National School of Artificial Intelligence (ENSIA)（国立人工智能学院（ENSIA））；Cosys-Grettia, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学 Cosys-Grettia 实验室）
提出HiReLC框架，通过层次强化学习实现深度神经网络的联合量化和结构化剪枝，利用Fisher信息引导的集成投票协调全局预算分配，在Vision Transformer和CNN上实现5.99-6.72倍压缩比，精度损失可控。
2026-06-25 cs.AI cs.LG math.OC
Structured Compression by Weight Encryption for Unstructured Pruning and Quantization
Samsung Research（三星研究院）；Harvard University（哈佛大学）
模型压缩技术，例如修剪和量化，对于减少存储器占用和计算量变得越来越重要。尽管模型尺寸减小，但是在设备上实现性能增强仍然具有挑战性，主要是由于稀疏矩阵格式的不规则表示。本文提出了一种新的稀疏量化神经网络权值表示方法，具体采用细粒度非结构化剪枝方法实现。该表示被加密在一个结构化的规则格式，它可以有效地解码通过异或门网络在推理过程中以并行的方式。我们展示了各种深度学习模型，这些模型可以通过我们提出的格式进行压缩和表示，具有固定和高压缩比。例如，对于ImageNet数据集上AlexNet的全连接层，我们可以在固定解码速率和完全内存带宽使用的情况下，仅用0.28位/权重表示1位量化和91%修剪率的稀疏权重。通过XOR门网络的解码可以在没有任何模型精度降级的情况下执行，而附加的补丁数据与小的开销相关联。
2020-03-05 cs.LG stat.ML
The Impact of Quantization and Pruning on Deep Reinforcement Learning Models
Metropolitan College, Boston University（波士顿大学大都会学院）；Harvard Medical School（哈佛医学院）；MathWorks（迈斯沃克公司）
本文系统研究了量化和剪枝对深度强化学习模型在平均回报、内存、推理时间和电池使用方面的影响，发现压缩虽减小模型尺寸但通常不提升能效，并为资源受限场景下的高效部署提供了权衡指导。
2024-07-05 cs.AI cs.LG
PQK: Model Compression via Pruning, Quantization, and Knowledge Distillation
Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm AI Research（高通人工智能研究院）
随着边缘设备的普及，在边缘设备上部署深度神经网络（DNN）已成为一个关键问题。然而，DNN需要高计算资源，这对于边缘设备来说是很少可用的。为了解决这一问题，我们提出了一种新的模型压缩方法的设备有限的计算资源，称为PQK的修剪，量化，和知识蒸馏（KD）的过程。与传统的剪枝和KD不同，PQK利用在剪枝过程中修剪的不重要的权重来构建教师网络，用于训练更好的学生网络，而无需预先训练教师模型。PQK有两个阶段。第1阶段利用迭代修剪和量化感知训练来构建轻量级和节能的模型。在第二阶段，我们通过将第一阶段中未使用的不重要权重添加到修剪后的网络来创建教师网络。通过使用这个教师网络，我们训练修剪网络作为一个学生网络。在这样做时，我们不需要KD框架的预先训练的教师网络，因为教师和学生网络共存于同一网络中。我们将我们的方法应用到识别模型中，并验证了PQK在关键字定位（KWS）和图像识别上的有效性。
2021-06-25 cs.LG
PrimeSVT: An Automated Memory-aware Pruning Framework with Prioritized Compression Policy for Spiking Vision Transformers
eBRAIN Lab, Division of Engineering, New York University (NYU) Abu Dhabi（eBRAIN实验室，工程系，纽约大学（NYU）阿布扎克分校）；New York University (NYU) Abu Dhabi, United Arab Emirates (UAE)（纽约大学（NYU）阿布扎克分校，阿拉伯联合酋长国（UAE））
提出PrimeSVT框架，通过自动化结构化剪枝和优先压缩策略，在满足精度和内存约束下压缩脉冲视觉Transformer，实现内存节省26.68%且精度损失小于3%。
2026-06-02 cs.AI cs.LG cs.NE
KVpop -- Key-Value Cache Compression with Predictive Online Pruning
NXAI；Johannes Kepler University Linz（约瑟夫·施密特大学林茨）
研究键值缓存增长瓶颈，介绍KVpop通过直接监督保留或丢弃决策学习固定预算键值逐出策略，有新计分器及延迟内存计分器，在数学推理任务中压缩缓存时性能优于基线。
2026-07-10 cs.AI cs.LG
PRIME: Frequency-Aware Unified Pruning and Merging for MoE Compression
Baidu Inc（百度公司）
针对MoE模型压缩的内存挑战，提出PRIME统一框架，通过频率加权整数线性规划联合剪枝与合并，在Qwen系列模型上实现精度保持并提升内存与吞吐量。
2026-10-14 cs.LG stat.ML
UniComp: A Unified Evaluation of Large Language Model Compression via Pruning, Quantization, and Distillation
University College London（伦敦大学学院）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
提出UniComp框架，统一评估剪枝、量化和知识蒸馏三种压缩方法，从性能、可靠性和效率三个维度在40个数据集上分析，发现知识偏差、性能与可靠性解耦以及任务特定校准可提升推理性能。
2026-08-28 cs.LG
Joint Structural Pruning and Mixed-Precision Quantization for LLM Compression
UiT The Arctic University of Norway（挪威北极大学）；University of Oslo, Norway（挪威奥斯陆大学）
提出端到端框架，通过全局误差最小化的混合精度量化策略和联合优化结构剪枝与量化策略，在超低比特下显著降低困惑度。
2026-06-05 cs.AI cs.LG
A Free Lunch in LLM Compression: Revisiting Retraining after Pruning
Department for AI in Society, Science, and Technology, Zuse Institute Berlin（人工智能社会、科学与技术系，柏林Zuse研究所）；Institute of Mathematics, Technische Universität Berlin（数学系，柏林技术大学）
本文研究了在剪枝后通过局部重建进行适应的方法，发现其在减少数据和计算成本的同时能有效提升模型性能，并揭示了在不同粒度下重建参数窗口对最终质量的影响，挑战了LLM剪枝后适应不可行的主流观点。
2026-05-20 cs.AI cs.LG
Adaptive Pruning of Pretrained Transformer via Differential Inclusions
School of Data Science, Fudan University（复旦大学数据科学学院）
提出基于微分包含的SPP剪枝方法，在单次剪枝阶段内实现任意比例的Transformer剪枝，通过低秩压缩配对模块，兼顾性能与灵活性。
2025-02-28 cs.LG
Towards Efficient VLMs: Information-Theoretic Driven Compression via Adaptive Structural Pruning
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Zhongtai Securities Institute for Financial Studies, Shandong University（山东大学中泰证券金融研究学院）
本文提出InfoPrune框架，通过信息论驱动的自适应结构压缩方法，在保持性能的同时显著提升视觉语言模型的效率。
2025-11-24 cs.AI cs.CV cs.IT
NIRVANA: Structured Pruning Reimagined for Large Language Model Compression
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对大语言模型结构化剪枝中性能下降等问题，提出NIRVANA框架。通过函数空间显著性评估结构重要性，引入全局单元排序等策略，消除随机采样不稳定问题，在多架构上广泛评估，取得新的最优结果，为模型压缩提供实用方法。
2026-07-21 cs.LG
Pruning-aware Loss Functions for STOI-Optimized Pruned Recurrent Autoencoders for the Compression of the Stimulation Patterns of Cochlear Implants at Zero Delay
Leibniz University Hannover（莱比锡大学汉诺威分校）
本文提出剪枝感知损失函数，在训练深度循环自编码器压缩人工耳蜗刺激模式时兼顾模型压缩与语音可懂度，在剪枝率超过45%时显著优于传统幅值剪枝方法。
2025-02-04 cs.LG cs.SD eess.AS
