SLEB: Streamlining LLMs through Redundancy Verification and Elimination of Transformer Blocks
Seoul National University（首尔大学）；SqueezeBits Inc.（SqueezeBits公司）；Sungkyunkwan University（成均馆大学）
针对大语言模型参数量大、部署难且现有剪枝方法端到端推理加速效果有限的问题，提出SLEB方法，以Transformer块为剪枝单元消除冗余块，在提升推理速度的同时保持更优困惑度与准确率。
2024-12-13 cs.CL cs.LG
ReplaceMe: Network Simplification via Depth Pruning and Transformer Block Linearization
MWS AI, ITMO University（MWS AI，ITMO大学）；MWS AI；MWS AI, ITMO University, IITU University（MWS AI，ITMO大学，IITU大学）；University of Crete, IACM-Forth, Archimedes Athena RC（希腊克里特大学，IACM-第四研究机构，Archimedes Athena RC）
ReplaceMe通过深度剪枝和Transformer块线性化实现高效网络简化，无需额外训练即可实现高达25%的剪枝率并保持90%性能。
2026-02-19 cs.AI cs.CL cs.LG
DARB: A Density-Aware Regular-Block Pruning for Deep Neural Networks
Alibaba DAMO Academy（阿里巴巴达摩院）；Northeastern University（东北大学）
深度神经网络（DNN）参数量的快速增长阻碍了人工智能在资源受限设备（如移动和可穿戴设备）上的应用。神经网络剪枝作为模型压缩的主流技术之一，以减少模型参数和计算量而受到广泛研究。与导致高索引存储和解码开销的不规则修剪相反，结构化修剪技术已被提出作为有前途的解决方案。然而，以往的结构化剪枝研究主要从便于硬件实现的角度出发，没有分析稀疏神经网络的特点。由于对稀疏神经网络研究的忽视，使得稀疏神经网络的正则性和剪枝率之间的权衡效率很低。因此，结构性修剪神经网络的潜力没有得到充分挖掘。在这项工作中，我们研究了不规则修剪的权重矩阵的结构特征，如不同的行的不同冗余度，不同的行修剪的敏感性，以及保留的权重的位置特征。通过利用所获得的见解作为指导，我们首先提出了新的块最大权重掩蔽（BMWM）方法，该方法可以有效地保留显着权重，同时对权重矩阵施加高规则性。作为进一步的优化，我们提出了一种密度自适应规则块（DARB）修剪，优于以前的结构化修剪工作，具有高修剪率和解码效率。我们的实验结果表明，DARB可以实现13 $\times$到25 $\times$的修剪比，这是2.8 $\times$到4.3 $\times$的国家的最先进的同行在多个神经网络模型和任务的改进。此外，DARB可以达到14.3 $\times$解码效率比块修剪具有更高的修剪率。
2019-11-20 cs.LG cs.NE
Efficient Transformer-based Large Scale Language Representations using Hardware-friendly Block Structured Pruning
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）；Syracuse University（雪城大学）；Microsoft Corporation（微软公司）；Stevens Institute of Technology（史蒂文斯理工学院）
预训练的大规模语言模型在许多自然语言处理（NLP）任务中越来越显示出高准确性。然而，硬件平台上有限的权重存储和计算速度阻碍了预训练模型的普及，特别是在边缘计算时代。在这项工作中，我们提出了一个有效的基于transformer的大规模语言表示使用硬件友好的块结构修剪。我们将重新加权组Lasso块结构修剪优化。除了显着减少的重量存储和计算，所提出的方法实现了高压缩率。在通用语言理解评估（GLUE）基准任务上对不同模型（BERT、RoBERTa和DistilBERT）的实验结果表明，我们在某些任务上实现了高达5.0倍的准确率，并且准确率为零或轻微下降。我们提出的方法也与现有的紧凑的预训练语言模型正交，例如使用知识蒸馏的DistilBERT，因为在DistilBERT的基础上可以实现进一步的1.79倍平均压缩率，并且精度下降为零或轻微。适合在资源受限的边缘设备上部署最终压缩模型。
2020-11-16 cs.AI cs.CL cs.LG
Forward-Free LLM Depth Pruning via Weight Redundancy
University of Southern California（南加州大学）；Seoul National University（首尔大学）
提出免前向传播的权重冗余剪枝方法，利用检查点权重估计层间冗余选择Transformer块，无需校准数据，性能优于现有免前向传播方法并接近基于激活的方法。
2026-09-16 cs.AI cs.LG cs.PF
Less is More: Data Pruning for Faster Adversarial Training
Northeastern University（东北大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
深度神经网络（DNN）对对抗性样本敏感，导致在现实世界中性能脆弱且不可靠。虽然对抗训练（AT）是目前最有效的方法之一，以鲁棒DNN，它是计算上非常昂贵的（例如，5- 10倍的成本高于标准培训）。为了应对这一挑战，现有的方法专注于单步AT，称为快速AT，减少了对抗性示例生成的开销。不幸的是，这些方法在对付更强大的对手时失败了。为了使AT的计算效率，而不损害鲁棒性，本文采取了不同的观点，有效的AT问题。具体来说，我们建议通过利用数据修剪来最大限度地减少数据级别的冗余。大量的实验表明，基于数据修剪的AT可以实现类似或更好的鲁棒（和清洁）的准确性，其unpruned同行，同时显着更快。例如，所提出的战略将CIFAR-10培训加速到3.44倍，将CIFAR-100培训加速到2.02倍。此外，数据修剪方法可以很容易地与现有的对抗性加速技巧相协调，分别在CIFAR-10上获得5.66 X和5.12 X的惊人加速，在CIFAR-100上获得3.67 X和3.07 X的惊人加速。
2023-02-28 cs.CV cs.LG
Relative Kinetic Utility: Calibrating Cross-Layer Credit for Global Structured LLM Pruning
School of Mathematics, Southeast University（东南大学数学学院）
本文提出相对动能效用框架，通过连续动能积分提升结构剪枝效果，实验证明在高稀疏度下提升模型性能，尤其在GSM8K数据集上表现优异。
2026-09-30 cs.CL cs.LG
Multi-Dimensional Pruning: Joint Channel, Layer and Block Pruning with Latency Constraint
NVIDIA（英伟达）；Stanford University（斯坦福大学）
针对现有通道剪枝难以大幅压缩模型的问题，提出带延迟约束的通道、层、块联合多维剪枝框架，通过延迟建模和混合整数非线性规划实现单次遍历寻优，在分类和3D检测任务上以高剪枝率实现更优的精度与速度表现。
2024-06-17 cs.AI cs.CV cs.LG
Deep Neural Compression Via Concurrent Pruning and Self-Distillation
University of Liverpool（利物浦大学）；Huawei Ireland Research Center（华为爱尔兰研究中心）
修剪的目的是减少参数的数量，同时保持性能接近原始网络。这项工作提出了一种新的\emph{self-distillation}为基础的修剪策略，从而修剪和未修剪的版本相同的网络之间的代表相似性最大化。与以前单独处理蒸馏和修剪的方法不同，我们使用蒸馏来通知修剪标准，而不需要像知识蒸馏那样使用单独的学生网络。我们表明，所提出的{ \em互相关目标自蒸馏修剪}隐含地鼓励稀疏的解决方案，自然补充幅度为基础的修剪标准。在GLUE和XGLUE基准测试上的实验表明，自提炼剪枝提高了单语言和跨语言语言模型的性能。自蒸馏修剪模型也优于具有相同数量参数的较小Transformers，并且与（6倍）较大的蒸馏网络竞争。我们还观察到自蒸馏（1）最大化类可分性，（2）提高信噪比，（3）在修剪步骤后收敛得更快，为自蒸馏修剪改善泛化提供了进一步的见解。
2021-09-30 cs.CL cs.LG
Scalable iterative pruning of large language and vision models using block coordinate descent
Amazon Quantum Solutions Lab（亚马逊量子解决方案实验室）；AWS Center for Quantum Computing（AWS量子计算中心）；Fidelity Center for Applied Technology（富达应用技术中心）；AI Center of Excellence, FMR LLC（FMR LLC卓越人工智能中心）
针对大型语言和视觉模型剪枝问题，提出基于块坐标下降的迭代组合脑外科医生（iCBS）方法，可扩展至超大型模型，在相同密度下性能优于现有方法，还支持质量-时间权衡与硬件加速，具量子适用性。
2024-11-26 cs.LG math.OC quant-ph
LLM-Barber: Block-Aware Rebuilder for Sparsity Mask in One-Shot for Large Language Models
School of Microelectronics, Southern University of Science and Technology（微电子学院，南方科技大学）；Department of Electrical and Electronic Engineering, University of Hong Kong（电气与电子工程系，香港大学）
LLM-Barber 是一种新型单次剪枝框架，通过块感知误差优化提升大语言模型剪枝效率，实现高性能与低计算复杂性。
2025-07-26 cs.AI cs.CL cs.LG
BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method
Northeastern University（东北大学）；Syracuse University（雪城大学）；College of William and Mary（威廉与玛丽学院）；DiDi AI Labs（滴滴人工智能实验室）
在各种资源有限的计算平台上加速DNN执行一直是一个长期存在的问题。先前的工作利用基于l1的组套索或动态正则化（如ADMM）来对DNN模型执行结构化修剪，以利用并行计算架构。然而，修剪维度和修剪方法都缺乏通用性，导致性能下降和适用性有限。为了解决这个问题，我们提出了一个新的基于块的修剪框架，包括一个通用的和灵活的结构化修剪尺寸以及一个强大的和有效的重加权正则化方法。我们的框架是通用的，可以应用于CNN和RNN，这意味着完全支持两种主要的计算密集型层（即，CONV和FC层）。为了完成加速任务的所有方面，我们还将基于编译器的代码优化集成到我们的框架中，该框架可以实时执行DNN推理。据我们所知，这是权重修剪框架第一次实现CNN和RNN的普遍覆盖，具有实时移动加速，并且没有准确性妥协。
2020-02-22 cs.AI cs.CV cs.LG
Weight, Block or Unit? Exploring Sparsity Tradeoffs for Speech Enhancement on Tiny Neural Accelerators
Bose Corp.（博士音响公司）；University of Oldenburg（奥尔登堡大学）
我们探索网络稀疏化策略，目的是将神经语音增强（SE）压缩到新一代基于低功耗微控制器的神经加速器（microNPU）的最佳配置。我们研究了三种独特的稀疏结构：权重修剪，块修剪和单元修剪，并讨论了它们的优点和缺点时，适用于SE。我们专注于计算吞吐量，内存占用和模型质量之间的相互作用。我们的方法支持上述所有三种结构，并联合学习整数量化权重和稀疏性。此外，我们展示了离线幅度为基础的修剪整数量化模型作为性能基线。虽然有效的语音增强是一个活跃的研究领域，我们的工作是第一个应用块修剪SE和第一个解决SE模型压缩的microNPU的上下文中。使用权重修剪，我们表明我们能够将已经紧凑的模型的内存占用从3.7MB压缩到87kB，同时仅损失0.1 dB SDR的性能。我们还显示了6.7倍的计算加速比，使用块修剪时相应的SDR下降仅为0.59 dB SDR。
2021-11-09 cs.LG cs.SD eess.AS
From Pruning to Grafting: Dynamic Knowledge Redistribution via Learnable Layer Fusion
The Chinese University of Hong Kong, Hong Kong SAR（香港中文大学）；Noah’s Ark Lab, Huawei, Hong Kong SAR（华为诺亚实验室，香港）
FuseGPT通过动态知识再分配和可学习层融合，实现更高效的模型压缩与性能提升。
2025-12-15 cs.AI cs.CL cs.LG
IntraSlice: Towards High-Performance Structural Pruning with Block-Intra PCA for LLMs
Nanjing University of Science and Technology（南京理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology（北京信息科学研究院）
IntraSlice通过块内PCA实现高效结构剪枝，提升大语言模型的压缩性能与推理效率。
2026-02-02 cs.AI cs.LG
FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing
Samsung Research America（三星美国研究院）；Florida State University（佛罗里达州立大学）
提出基于低秩权重共享的LLM剪枝与扩展方法，通过重要性评分剪除模型块并利用低秩适配器替换，在30%和40%压缩率下实现SOTA，且能以极低参数和训练成本扩展小模型。
2025-01-31 cs.CL cs.LG
PagedEviction: Structured Block-wise KV Cache Pruning for Efficient Large Language Model Inference
针对大语言模型推理中KV缓存随序列长度增长的内存瓶颈问题，提出适配vLLM分页内存的PagedEviction分块KV缓存剪枝方法，无需修改注意力核即可提升长上下文任务的内存效率与准确率。
2025-09-04 cs.LG
Tiered Pruning for Efficient Differentialble Inference-Aware Neural Architecture Search
NVIDIA（英伟达）
我们提出了三种新的修剪技术，以提高成本和结果的推理感知可区分神经架构搜索（DNAS）。首先，我们介绍了Prunode，一个随机的双路径构建块的DNAS，它可以搜索内部隐藏的维度与O（1）的内存和计算复杂度。其次，我们提出了一种算法，在搜索过程中修剪块的随机层的超网。第三，我们描述了一种新的技术，修剪不必要的随机层在搜索过程中。通过搜索得到的优化模型称为PruNet，它为NVIDIA V100在ImageNet Top-1图像分类准确度的推理延迟方面建立了一个新的最先进的Pareto边界。PruNet作为主干，在COCO目标检测任务中，相对于平均精度（mAP）的推理延迟也优于GPUNet和EfficientNet。
2023-01-05 cs.LG
MultiPruner: Balanced Structure Removal in Foundation Models
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
本研究针对大型预训练模型免训练剪枝问题，在BlockPruner基础上提出MultiPruner，通过残差块、MLP通道、注意力头三维迭代细粒度剪枝恢复结构平衡，兼顾压缩率与下游零样本准确率，在多类模型上验证了优势。
2025-01-17 cs.AI cs.LG
Using Topological Framework for the Design of Activation Function and Model Pruning in Deep Neural Networks
Samsung India Research Bangalore（三星印度班加罗尔研究所）；International Institute of Information Technology（国际信息技术学院）
深度神经网络在计算机视觉、语音识别和自然语言处理领域的不同任务中的成功，需要了解训练过程的动态以及训练模型的工作。本文的两个独立的贡献是1）新的激活函数，以加快训练收敛2）系统修剪的过滤器的模型训练无关的激活函数。我们通过改变激活函数，分析了训练样本空间在训练过程中被每个连续层变换时的拓扑变换。针对二进制分类任务，报告了在训练过程中改变激活函数对收敛的影响。提出了一种新的激活函数，旨在加快分类任务的收敛速度。在这里，贝蒂数用于量化数据的拓扑复杂性。报告了使用MLP在具有大Betti数（>150）的流行合成二进制分类数据集上的实验结果。结果表明，所提出的激活函数的结果在更快的收敛需要更少的时期的一个因素的1.5至2，因为贝蒂数减少更快的跨层与所提出的激活函数。所提出的方法在基准图像数据集上进行了验证：时尚MNIST，CIFAR-10和猫对狗图像，使用CNN。基于经验结果，我们提出了一种新的方法来修剪训练模型。通过消除将数据转换到具有大Betti数的拓扑空间的过滤器来修剪训练模型。从每一层中去除贝蒂数大于300的所有滤波器，而不显著降低精度。这导致了更快的预测时间和减少模型的内存大小。
2021-09-03 cs.CG cs.CV cs.LG
ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
ARMOR通过自适应矩阵分解技术，实现高效的半结构化剪枝，保留模型质量的同时提升压缩效率和任务准确性。
2026-04-03 cs.LG
End-to-end fully-binarized network design: from Generic Learned Thermometer to Block Pruning
Smart Integrated Circuits for Imaging Laboratory, CEA-LETI（智能成像实验室，CEA-LETI）
针对现有二值神经网络忽略输入原始数据的问题，提出通用学习温度计编码技术与结合块剪枝、知识蒸馏的紧凑拓扑，实现了精度提升且尺寸不足1Mb的轻量全二值化模型，适用于传感器内始终开启的推理场景。
2025-05-05 cs.AR cs.CV cs.LG
The silence of the weights: a structural pruning strategy for attention-based audio signal architectures with second order metrics
本文提出一种针对注意力机制的通道剪枝技术，通过二阶指标评估参数重要性，验证在AST和Whisper模型中50%参数剪枝后性能仍保持良好。
2026-03-16 cs.LG cs.SD
A Fast Post-Training Pruning Framework for Transformers
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）；Samsung Semiconductor, Inc.（三星半导体公司）
剪枝是减少Transformer模型巨大推理开销的有效方法。然而，修剪Transformers的先前工作需要重新训练模型。这可能会给模型部署增加高培训成本和高复杂性，使其难以在许多实际情况下使用。为了解决这个问题，我们提出了一个快速的训练后修剪框架Transformers，不需要任何再培训。给定资源约束和样本数据集，我们的框架使用结构化稀疏方法自动修剪Transformer模型。为了保持高精度而无需重新训练，我们引入了三种新技术：（i）轻量级掩码搜索算法，该算法根据Fisher信息找到要修剪的头部和过滤器;（ii）补充搜索算法的掩码重排;以及（iii）重建每层输出激活的掩码调整。我们将我们的方法应用于BERT基础和DistilBERT，并在GLUE和SQuAD基准测试中评估其有效性。我们的框架实现了高达2.0倍的FLOP减少和1.56倍的推理延迟加速，同时保持了< 1%的准确性损失。重要的是，我们的框架在单个GPU上不到3分钟就可以修剪Transformers，这比现有的重新训练模型的修剪方法快了两个数量级。
2022-10-17 cs.CL cs.LG
SIMD-size aware weight regularization for fast neural vocoding on CPU
NTT Corporation（日本电报电话公司）
本文提出了一种更快的神经声码器的权重正则化。修剪耗时的DNN模块是在CPU上实现实时声码器（例如WaveRNN，LPCNet）的一种有前途的方法。鼓励稀疏性的正则化也可以有效地避免修剪造成的质量下降。然而，为了快速声码化，权重矩阵的阶数在SIMD大小上必须是连续的。为了确保这个顺序，我们提出了明确的SIMD大小感知正则化。我们所提出的方法将权重矩阵重塑为张量，以便预先按组大小对齐权重，然后计算组Lasso正则化损失。在70%稀疏子带WaveRNN上的实验表明，传统Lasso和列分组Lasso中的剪枝降低了合成语音的自然度。具有所提出的正则化的声码器1）实现了与没有修剪的声码器相当的自然度，并且2）比使用正则化的其他传统声码器执行得更快。
2022-11-02 cs.CL cs.LG cs.SD
SPViT: Enabling Faster Vision Transformers via Soft Token Pruning
Northeastern University（东北大学）；Clemson University（克莱姆森大学）；Peking University（北京大学）；College of William and Mary（威廉与玛丽学院）；ETH Zürich（苏黎世联邦理工学院）
最近，视觉Transformer（ViT）在计算机视觉领域不断树立新的里程碑，而高昂的计算和内存成本使其在工业生产中的传播困难重重。剪枝是一种用于硬件效率的传统模型压缩范例，已广泛应用于各种DNN结构中。然而，它仍然模糊不清如何执行排他性修剪的ViT结构。考虑三个关键点：ViT的结构特征、内部数据模式以及相关的边缘设备部署，我们利用输入令牌稀疏性并提出了一种计算感知的软修剪框架，该框架可以建立在平坦和CNN类型结构的普通Transformers上，例如基于池的ViT（PiT）。更具体地说，我们设计了一个动态的注意力为基础的多头令牌选择器，这是一个轻量级的模块，自适应的实例明智的令牌选择。我们进一步引入了一种软修剪技术，它将选择器模块生成的信息量较少的令牌集成到一个包令牌中，该包令牌将参与后续的计算，而不是被完全丢弃。通过我们提出的计算感知训练策略，我们的框架必然会在特定边缘设备的准确性和计算约束之间进行权衡。实验结果表明，我们的框架显着降低了计算成本的ViTs，同时保持相当的性能图像分类。此外，我们的框架可以保证识别的模型，以满足移动设备和FPGA的资源规格，甚至实现DeiT-T在移动平台上的实时执行。例如，我们的方法将DeiT-T在移动终端上的延迟降低到26 ms（比现有作品高出26% $\sim $ 41%），在ImageNet上的前1名准确率高出0.25% $\sim $ 4…
2022-09-20 cs.AI cs.AR cs.CV
Hybrid Dynamic Pruning: A Pathway to Efficient Transformer Inference
针对Transformer推理计算和内存开销大的问题，提出混合动态剪枝（HDP）算法-架构协同设计，利用头部与块稀疏性及近似方法加速，并配套协处理器架构。
2024-07-17 cs.AI cs.LG
A Generic Layer Pruning Method for Signal Modulation Recognition Deep Learning Models
Zhejiang University of Technology（浙江工业大学）；Binjiang Institute of Artificial Intelligence, Zhejiang University of Technology（浙江工业大学滨江人工智能研究院）；Institute of Cyberspace Security, College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院网络空间安全研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Harbin Engineering University（哈尔滨工程大学）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室PCL网络与通信研究中心）；Utron Technology Company Ltd.（优创科技有限公司）；Science and Technology on Communication Information Security Control Laboratory（通信信息安全控制重点实验室）
针对信号调制识别深度模型计算复杂、体积庞大的问题，提出按语义连续分块、依据层贡献剪枝并重组微调的通用层剪枝方法，在五个数据集上优于多种现有剪枝基线。
2024-06-12 cs.AI cs.LG
oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neural Magic Inc.（神经魔法公司）
本文提出 oBERTa 稀疏语言模型系列，通过冻结嵌入、改进蒸馏初始化与剪枝量化流程，让无压缩经验者获得高准确率且推理提速 3.8–24.3 倍的模型。
2023-06-06 cs.AI cs.CL cs.LG
Compressing the Backward Pass of Large-Scale Neural Architectures by Structured Activation Pruning
Heidelberg University（海德堡大学）
本文提出基于BSR格式和幅值准则的结构化激活剪枝方法，并设计高效GPU块稀疏算子，在ResMLP图像分类训练中实现最高32%的内存降低且保持准确率。
2023-11-29 cs.LG cs.PF
A deeper look at depth pruning of LLMs
University of Cambridge（剑桥大学）；NVIDIA Research（英伟达研究院）
本文探讨了 LLM 的深度剪枝，引入 Shapley value 等自适应指标分析模块重要性，发现任务间存在性能权衡；扩展至自注意力与 FFN 层，移除 33% 自注意力层无性能损失并降低 KV-cache 成本；最后用轻量级偏置或低秩适配器恢复性能，MMLU 绝对提升达 5%。
2024-07-23 cs.AI cs.LG
Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block Regularization of Activation Maps
National Chiao Tung University（国立交通大学）
本地缓冲区和外部DRAM之间的大量内存带宽已经成为CNN硬件加速器的加速瓶颈，特别是对于激活图。为了减少内存带宽，我们提出了学习修剪不重要的块动态零块正则化的激活映射（斑马）。该策略计算量小，易于与其他剪枝方法集成，提高了性能。实验结果表明，该方法结合网络瘦身技术，在精度下降1%，精度提高2%的情况下，可以将Tiny-Imagenet上Resnet-18的内存带宽减少70%.
2022-05-02 cs.AR cs.CV cs.LG
SUBP: Soft Uniform Block Pruning for 1xN Sparse CNNs Multithreading Acceleration
Zhejiang University（浙江大学）；State Grid Corporation of China（国家电网有限公司）
本文提出软均匀块剪枝（SUBP）方法，从头训练均匀1×N稀疏CNN，通过块重生长实现均衡负载，在ImageNet上优于现有稀疏方法。
2023-10-10 cs.AI cs.LG
Algorithm to Compilation Co-design: An Integrated View of Neural Network Sparsity
Fidelity Investments（富达投资）
减少神经网络的计算成本、推理延迟和内存占用经常被引用作为修剪和稀疏的研究动机。然而，操作这些好处和理解算法设计和正则化对运行时执行的端到端影响并不经常深入研究。在这里，我们应用结构化和非结构化修剪注意权的Transformer块的BERT语言模型，同时还扩展块稀疏表示（BSR）的TVM编译器中的操作。BSR操作的集成使得TVM运行时执行能够利用由模型正则化引起的结构化模式稀疏性。这种修剪算法的综合视图使我们能够研究建模决策及其对稀疏增强执行的直接影响之间的关系。我们的主要发现是：1）我们验证了结构化稀疏块正则化的性能优势必须通过对TVM的BSR增强来实现，相对于vanilla PyTorch的加速是4倍，相对于标准TVM编译的加速是2.2倍（没有扩展的BSR支持）。2)对于BERT注意力权重，在该CPU推断上下文中的端到端最优块稀疏形状不是正方形块（如在\cite{gray2017gpu}中），而是线性32 × 1块。3）性能和块大小/形状之间的关系暗示了模型正则化参数如何与任务调度器优化相互作用，从而导致观察到的端到端性能。
2021-06-17 cs.AI cs.CL cs.LG
MI-to-Mid Distilled Compression (M2M-DC): An Hybrid-Information-Guided-Block Pruning with Progressive Inner Slicing Approach to Model Compression
Department of Computer Science UCLA（计算机科学系，UCLA）；Department of Electrical and Computer Engineering UCSB（电气与计算机工程系，UCSB）
本文提出双尺度形状安全的模型压缩框架M2M-DC，融合信息引导块剪枝、渐进内部切片与分阶段知识蒸馏，在CIFAR-100上对多类残差CNN实现高压缩率下精度持平甚至超越教师模型的效果。
2025-11-18 cs.LG
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks
University of Technology Sydney（悉尼科技大学）；University of Maryland（马里兰大学）
随着一些大规模的预训练模型成为各种应用的主要选择，模型修剪出现了新的挑战，例如，我们是否可以避免为每个下游任务从头开始修剪相同的模型？如何重用以前任务的剪枝结果来加速新任务的剪枝？为了应对这些挑战，我们从相似任务的修剪模型中为新任务创建了一个小模型。我们表明，这个模型上的一些微调步骤足以产生一个有前途的修剪模型的新任务。我们在有限的修剪迭代预算下，从两类主要的预训练模型（卷积神经网络（CNN）和视觉Transformer（ViT））上的最近任务中研究这种“元修剪”。我们的研究首先调查了相似任务的修剪模型的重叠，以及重叠在不同层和块上的变化。受这些发现的启发，我们开发了一种简单但有效的“元投票剪枝（MVP剪枝）”方法，该方法通过从最近任务的剪枝模型初始化子网络来显著减少新任务的剪枝迭代。在实验中，我们证明了MVP的准确性，效率和推广的优势，通过广泛的实证研究和比较流行的修剪方法在几个数据集。
2023-01-27 cs.LG
VTrans: Accelerating Transformer Compression with Variational Information Bottleneck based Pruning
Indian Institute of Technology, Delhi（印度德里理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出由 VIB 指导的迭代剪枝框架 VTrans，可压缩嵌入、注意力头和层，并通过 Fast/Faster 变体以少量数据和最高 25 倍加速实现更高压缩率。
2024-06-11 cs.LG
DRoP: Distributionally Robust Data Pruning
Rockefeller University（洛克菲勒大学）；Meta FAIR；New York University（纽约大学）
本文首次系统研究数据剪枝对分类偏差的影响，提出分布鲁棒的剪枝方法DRoP，通过理论分析类别剪枝比例并结合类内随机剪枝，在标准视觉基准上实现以较小平均性能损失持续提升最差类别性能。
2025-02-09 cs.CV cs.LG
A Closer Look at Structured Pruning for Neural Network Compression
University of Edinburgh（爱丁堡大学）
结构化修剪是压缩神经网络的一种流行方法：给定一个大型训练网络，在删除通道连接和微调之间交替;减少网络的整体宽度。然而，结构化修剪的功效在很大程度上逃避了审查。在本文中，我们研究了通过结构化修剪和调整获得的ResNets和DenseNets，并进行了两个有趣的观察：（i）简化网络-从头开始训练的原始网络的较小版本-始终优于修剪网络;（ii）如果采用修剪网络的架构，然后从头开始训练它，它会显着更具竞争力。此外，这些架构很容易近似：我们可以修剪一次并获得一系列新的可扩展的网络架构，这些架构可以简单地从头开始训练。最后，我们在硬件上比较了简化和修剪网络的推理速度，并表明简化网络的速度明显更快。代码可在https://github.com/BayesWatch/pytorch-prunes上获得。
2019-06-07 cs.CV cs.LG stat.ML
Clustering and Token Denoising for Faster and More Robust VLMs
Université Paris-Saclay（巴黎-萨克雷大学）；Univ. Rennes（雷恩大学）；Vsora（沃索拉公司）
本研究提出无需训练的ClustRS算法，通过聚类与残差收缩剪枝VLM的视觉令牌，在基准测试中实现显著性能提升，为高效抗噪VLM部署提供新方案。
2026-08-21 cs.CV cs.LG
