Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression
Microsoft（微软）；Lehigh University（利哈伊大学）
针对现有联合剪枝与量化方法的工程复杂、黑盒优化和泛化不足问题，提出GETA框架，通过量化感知依赖图、部分投影随机梯度及联合学习策略，在CNN和Transformer上实现更优的压缩性能。
2025-02-23 cs.AI cs.CV cs.LG
Using Topological Framework for the Design of Activation Function and Model Pruning in Deep Neural Networks
Samsung India Research Bangalore（三星印度班加罗尔研究所）；International Institute of Information Technology（国际信息技术学院）
深度神经网络在计算机视觉、语音识别和自然语言处理领域的不同任务中的成功，需要了解训练过程的动态以及训练模型的工作。本文的两个独立的贡献是1）新的激活函数，以加快训练收敛2）系统修剪的过滤器的模型训练无关的激活函数。我们通过改变激活函数，分析了训练样本空间在训练过程中被每个连续层变换时的拓扑变换。针对二进制分类任务，报告了在训练过程中改变激活函数对收敛的影响。提出了一种新的激活函数，旨在加快分类任务的收敛速度。在这里，贝蒂数用于量化数据的拓扑复杂性。报告了使用MLP在具有大Betti数（>150）的流行合成二进制分类数据集上的实验结果。结果表明，所提出的激活函数的结果在更快的收敛需要更少的时期的一个因素的1.5至2，因为贝蒂数减少更快的跨层与所提出的激活函数。所提出的方法在基准图像数据集上进行了验证：时尚MNIST，CIFAR-10和猫对狗图像，使用CNN。基于经验结果，我们提出了一种新的方法来修剪训练模型。通过消除将数据转换到具有大Betti数的拓扑空间的过滤器来修剪训练模型。从每一层中去除贝蒂数大于300的所有滤波器，而不显著降低精度。这导致了更快的预测时间和减少模型的内存大小。
2021-09-03 cs.CG cs.CV cs.LG
FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning
Beijing University of Posts and Telecommunications（北京邮电大学）；Li Auto（利亚自动化）
本文提出FastMMoE，一种无需训练的加速框架，通过动态专家激活和路由感知标记剪枝，显著降低计算量并保持性能，优于现有基线方法。
2026-03-20 cs.CV cs.LG
CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Transformers
Purdue University（普渡大学）
CORP提出一种闭式单次结构剪枝方法，通过未标记校准数据去除MLP维度和注意力子结构，无需梯度或微调，实现高精度下的高效模型压缩。
2026-05-10 cs.CV cs.LG
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression
Tencent Media Lab（腾讯媒体实验室）；Northeastern University（东北大学）
压缩深度神经网络（DNN）模型以减轻存储和计算需求对于实际应用至关重要，尤其是对于资源有限的设备。虽然能够减少合理数量的模型参数，以前的非结构化或结构化的权重修剪方法很难真正加速推理，无论是由于非结构化稀疏性的硬件兼容性差，还是由于结构修剪网络的稀疏率低。为了减少存储和计算，以及保持原有的任务性能，我们提出了一个广义的重量统一框架，在硬件兼容的微结构化水平，以实现高量的压缩和加速。所选微结构块的权重系数被统一以减少块的存储和计算而不改变神经元连接，当所有统一系数被设置为零时，这变成微结构修剪特殊情况，其中神经元连接（因此存储和计算）被完全去除。此外，我们开发了一个有效的训练框架的基础上交替方向的乘法器（ADMM），它将我们的复杂约束优化到单独可解的子问题。通过迭代优化子问题，可以确保所需的微结构，高压缩比和低性能退化。我们使用各种基准模型和不同应用程序的数据集广泛评估了我们的方法。实验结果表明，国家的最先进的性能。
2021-06-16 cs.AI cs.CV cs.LG
AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates
Northeastern University（东北大学）；Syracuse University（雪城大学）；DiDi AI Labs（滴滴人工智能实验室）；University of Michigan（密歇根大学）
结构化权重剪枝是DNN的一种典型模型压缩技术，用于减少存储和计算需求并加速推理。由于大量的灵活的超参数，一个自动的超参数确定过程是必要的。本文提出了一种自动结构化剪枝框架AutoCompress，该框架具有以下关键性能改进：（i）有效地将结构化剪枝方案的组合纳入自动过程;（ii）采用最先进的基于ADMM的结构化权重剪枝作为核心算法，并提出了一种创新的额外纯化步骤，以进一步降低权重而不损失准确性;以及（iii）开发有效的启发式搜索方法，并通过基于经验的引导搜索进行增强，以取代现有的深度强化学习技术，该技术与目标修剪问题存在潜在的不兼容性。在CIFAR-10和ImageNet数据集上进行的大量实验表明，AutoCompress是在权重和FLOP数量上实现超高剪枝率的关键。例如，在相同的精度下，AutoCompress在修剪率方面比先前的自动模型压缩工作高出33倍（实际参数计数减少120倍）。在智能手机上的实际测量中，从AutoCompress框架中观察到了显著的推理加速。我们在匿名链接发布本作品的所有模型：http://bit.ly/2VZ63dS。
2019-09-11 cs.AI cs.CV cs.LG
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）
参数修剪是CNN压缩和加速的一种有前途的方法，通过消除冗余的模型参数，具有可容忍的性能损失。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN的表达能力是脆弱的，并且需要更温和的正则化方式来使网络在修剪过程中适应。为了解决这个问题，我们提出了一种新的基于正则化的修剪方法（名为IncReg），根据其相对重要性将不同的正则化因子递增地分配给不同的权重组，与最先进的方法相比，其有效性在流行的CNN上得到了证明。
2018-12-18 cs.CV cs.LG
GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer
Samsung Research America（三星美国研究院）
最近提出的视觉Transformer（ViTs）在各种计算机视觉任务中表现出非常令人印象深刻的经验性能，它们被视为一种重要的基础模型。然而，ViT通常构造有大规模的尺寸，这严重阻碍了它们在许多实际资源受限的应用中的潜在部署。为了缓解这个具有挑战性的问题，结构化修剪是一个很有前途的解决方案，以压缩模型大小，并实现实际效率。然而，与目前CNN和RNN的流行不同，ViT模型的结构化修剪很少被探索。在本文中，我们提出了GOHSP，一个统一的框架图和优化为基础的结构化修剪的ViT模型。我们首先开发了一个基于图的排名测量的重要性的注意头，和提取的重要性信息进一步整合到一个基于优化的程序施加异构结构稀疏模式的ViT模型。实验结果表明，我们提出的GOHSP表现出良好的压缩性能。在CIFAR-10数据集上，我们的方法可以使ViT-Small模型的参数减少40%而不损失精度。在ImageNet数据集上，DeiT-Tiny和DeiT-Small模型的稀疏率分别为30%和35%，我们的方法比现有的结构化修剪方法分别提高了1.65%和0.76%的准确率。
2023-02-07 cs.AI cs.CV
Accelerating DNN Training with Structured Data Gradient Pruning
Franklin & Marshall College（富兰克林与马歇尔学院）
权重修剪是一种通过减少训练过程中模型参数的数量来使深度神经网络（DNN）推理在计算上更高效的技术。然而，大多数权重修剪技术通常不会加速DNN训练，甚至可能需要更多的迭代来达到模型收敛。在这项工作中，我们提出了一种新的结构化数据梯度修剪（SDGP）方法，可以在不影响模型收敛的情况下加快训练速度。这种方法强制执行一个特定的稀疏结构，其中矩阵中的每M个元素中只有N个可以是非零的，使其适合硬件加速。现代加速器（如Nvidia A100 GPU）支持这种类型的结构化稀疏性，即每4个元素中有2个非零。假设硬件支持2：4稀疏度，我们的方法可以实现15- 25%的总训练时间减少，而不会对性能产生显着影响。源代码和预训练模型可在\url{https://github.com/BradMcDanel/sdgp}上获得。
2022-02-01 cs.CV cs.LG
Non-Structured DNN Weight Pruning -- Is It Beneficial in Any Platform?
大型深度神经网络（DNN）模型对能效提出了关键挑战，因为片外DRAM访问的能耗显著高于算术或SRAM操作。这就从两个方面推动了对模型压缩的深入研究。权重修剪利用了权重数量的冗余，并且可以以非结构化方式执行，其具有更高的灵活性和修剪率，但由于不规则的权重而导致索引访问，或者以结构化方式执行，其以较低的修剪率保留完整的矩阵结构。权重量化利用权重中的位数的冗余。与修剪相比，量化更加硬件友好，并且已经成为FPGA和ASIC实现的“必做”步骤。本文首次对这一问题给出了明确的答案。首先，我们建立ADMM-NN-S扩展和增强ADMM-NN，最近提出的联合权重修剪和量化框架。其次，我们开发了一种方法，公平和基本的比较非结构化和结构化修剪的存储和计算效率。我们的研究结果表明，ADMM-NN-S始终优于现有技术：（i）它在LeNet-5，AlexNet和ResNet-50上分别实现了348倍，36倍和8倍的整体权重修剪，（几乎）零精度损失;（ii）我们证明了第一个完全二进制化的（所有层）DNN在许多情况下可以在精度上无损。这些结果为我们的研究提供了强有力的基线和可信度。基于所提出的比较框架，在相同的精度和量化，结果表明，非结构化剪枝是没有竞争力的存储和计算效率方面。因此，我们得出结论，非结构化修剪被认为是有害的。我们敦促社区不要继续DNN推理加速非结构化稀疏性。
2020-01-07 cs.AI cs.CV cs.LG
Activation Density driven Energy-Efficient Pruning in Training
Department of Electrical Engineering Yale University（耶鲁大学电气工程系）
神经网络修剪和适当的再训练可以产生比原始网络具有相当少的参数的网络，并且具有相当的准确度。典型的修剪方法需要大型的、经过充分训练的网络作为起点，从这个起点开始，它们执行时间密集型的迭代修剪和再训练过程，以恢复原始的准确性。我们提出了一种新的修剪方法，在训练过程中实时修剪网络，减少整体训练时间，以实现高效的压缩网络。我们引入了基于激活密度的分析，以确定网络每层的最佳相对大小或压缩。我们的方法是架构不可知的，允许它被用于各种各样的系统。对于CIFAR-10，CIFAR-100和TinyImageNet上的VGG-19和ResNet 18，我们获得了非常稀疏的网络（在最好的情况下，参数减少到$200 \times$，推理计算操作减少到$60 \times$以上），其准确度与基线网络相当。通过在训练过程中定期减少网络大小，我们实现了比以前提出的修剪方法更短的总训练时间。此外，与完全从头开始训练的基线网络相比，使用我们提出的方法在不同时期训练压缩网络在接近等精度下产生训练计算复杂度的显著降低（$1.6\times$到$3.2\times$更低）。
2020-10-12 cs.CV cs.LG cs.NE
Structured Pruning for Deep Convolutional Neural Networks: A survey
Centre for Frontier AI Research (CFAR), Agency for Science Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）；Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）
本文综述了深度CNN结构化剪枝的最新进展，系统比较了滤波器排序、正则化、动态执行、神经架构搜索、彩票票假设等方法，并展望了未来研究方向。
2023-11-30 cs.CV
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University（东北大学）；IBM Watson Lab（IBM Watson实验室）
结构化权重修剪是DNN的代表性模型压缩技术，用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间，因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制，我们提出了SS-Auto，一个单次，自动结构化修剪框架，可以同时实现行修剪和列修剪。我们采用软约束为基础的配方，以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法，更快的收敛速度和更少的超参数。而不是直接解决问题，提出了一个Primal-Proximal解决方案，以避免惩罚所有权重相等的陷阱，从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明，该框架可以在保持准确性的同时实现超高的剪枝率。此外，通过对智能手机的实际测量，从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出RL-Pruner，一种利用强化学习自动学习CNN层级间最优不均匀剪枝分布的结构化剪枝方法，无需特定模型实现即可有效压缩并加速模型。
2024-11-10 cs.AI cs.CV
Receding Neuron Importances for Structured Pruning
Imperial College London（帝国理工学院）
结构化修剪通过识别和删除不重要的神经元来有效地压缩网络。虽然这可以通过在BatchNorm参数上应用稀疏诱导正则化来优雅地实现，但L1惩罚将缩小所有缩放因子，而不仅仅是多余神经元的缩放因子。为了解决这个问题，我们引入了一个简单的BatchNorm变化与有界缩放参数，基于此，我们设计了一个新的正则化项，只抑制低重要性的神经元。在我们的方法下，不必要的神经元的权重有效地减少，产生重要性的两极化双峰分布。我们表明，以这种方式训练的神经网络可以在更大程度上进行修剪，并且恶化程度更低。我们在CIFAR和ImagenNet数据集上以不同的比率一次性修剪VGG和ResNet架构。在VGG风格的网络的情况下，我们的方法显着优于现有的方法，特别是在严重的修剪制度。
2022-04-13 cs.CV cs.LG
HRel: Filter Pruning based on High Relevance between Activation Maps and Class Labels
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）；Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）；DryvAmigo（DryvAmigo公司）
本文提出了一种基于信息瓶颈理论的过滤器剪枝方法，该方法使用一种称为互信息（MI）的统计度量。过滤器和类标签之间的MI，也称为\textit{Relevance}，使用过滤器的激活图和注释计算。具有高相关性（HRel）的滤波器被认为是更重要的。因此，最不重要的过滤器，具有较低的互信息与类标签，被修剪。与现有的基于MI的剪枝方法不同，所提出的方法纯粹基于它们对应的激活图与类标签的关系来确定过滤器的重要性。诸如LeNet-5、VGG-16、ResNet-56 \textcolor{myblue}{, ResNet-110 and ResNet-50 are utilized to demonstrate the efficacy of the proposed pruning method over MNIST, CIFAR-10 and ImageNet datasets. The proposed method shows the state-of-the-art pruning results for LeNet-5, VGG-16, ResNet-56, ResNet-110 and ResNet-50 architectures. In the experiments, we prune 97.98 \%, 84.85 \%, 76.89\%, 76.95\%, and 63.…
2022-02-22 cs.CV
Enhanced Structured Lasso Pruning with Class-wise Information
本文提出基于信息瓶颈理论的改进结构化Lasso剪枝方法，通过类级信息保留统计信息，实现模型轻量化与高精度。
2026-03-23 cs.AI cs.CV
ResNet Can Be Pruned 60x: Introducing Network Purification and Unused Path Removal (P-RM) after Weight Pruning
Northeastern University（东北大学）
最新的DNN结构涉及高计算量和对内存存储的巨大需求，这对DNN框架资源提出了强烈的挑战。为了减轻这些挑战，已经研究了权重修剪技术。然而，由于DNN网络中的权重大大降低，结合了不同类型的结构稀疏性的极端结构化修剪的高精度解决方案仍在等待解开。在本文中，我们提出了一个DNN框架，它结合了两种不同类型的结构化权重修剪（过滤器和列修剪），通过结合交替方向乘法器（ADMM）算法，以获得更好的修剪性能。我们是第一个发现ADMM过程的非最优性和未使用的权重在结构化修剪模型，并进一步设计了一个优化框架，其中包含第一个提出的网络净化和未使用的路径删除算法，专门用于后处理ADMM步骤后的结构化修剪模型。一些亮点显示，我们在LeNet-5上实现了232倍压缩，在ResNet-18 CIFAR-10上实现了60倍压缩，在AlexNet上实现了超过5倍压缩。我们在匿名链接http://bit.ly/2VJ5ktv上分享我们的模型。
2019-04-30 cs.AI cs.CV cs.LG
Equivariant-Aware Structured Pruning for Efficient Edge Deployment: A Comprehensive Framework with Adaptive Fine-Tuning
Faculty of Computers and Information Technology, University of Tabuk（计算机与信息科技学院，塔布克大学）；Artificial Intelligence and Sensing Technologies (AIST) Research Center, University of Tabuk（人工智能与传感技术（AIST）研究中心，塔布克大学）
本文提出一种结合等变卷积网络与结构化剪枝的框架，通过自适应微调和动态量化实现高效边缘部署，有效压缩模型并保持几何鲁棒性。
2025-11-21 cs.CV cs.LG
A Closer Look at Structured Pruning for Neural Network Compression
University of Edinburgh（爱丁堡大学）
结构化修剪是压缩神经网络的一种流行方法：给定一个大型训练网络，在删除通道连接和微调之间交替;减少网络的整体宽度。然而，结构化修剪的功效在很大程度上逃避了审查。在本文中，我们研究了通过结构化修剪和调整获得的ResNets和DenseNets，并进行了两个有趣的观察：（i）简化网络-从头开始训练的原始网络的较小版本-始终优于修剪网络;（ii）如果采用修剪网络的架构，然后从头开始训练它，它会显着更具竞争力。此外，这些架构很容易近似：我们可以修剪一次并获得一系列新的可扩展的网络架构，这些架构可以简单地从头开始训练。最后，我们在硬件上比较了简化和修剪网络的推理速度，并表明简化网络的速度明显更快。代码可在https://github.com/BayesWatch/pytorch-prunes上获得。
2019-06-07 cs.CV cs.LG stat.ML
Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures
HKUST（香港科技大学）；SenseTime Group Limited（商汤集团有限公司）
最先进的神经网络正变得越来越深入和广泛。虽然它们的性能随着层数和神经元数量的增加而增加，但设计一个有效的深度架构以降低计算和内存成本至关重要。然而，设计一个有效的神经网络是劳动密集型的，需要许多实验和微调。在本文中，我们介绍了网络修剪，它通过修剪不重要的神经元来迭代优化网络，基于对它们在大型数据集上的输出的分析。我们的算法受到一个观察的启发，即大型网络中相当一部分神经元的输出大多为零，无论网络接收到什么输入。这些零激活神经元是冗余的，可以在不影响网络整体精度的情况下删除。在修剪零激活神经元之后，我们使用修剪之前的权重作为初始化来重新训练网络。我们交替进行修剪和再训练，以进一步减少网络中的零激活。我们在LeNet和VGG-16上的实验表明，我们可以实现高压缩比的参数，而不会损失甚至达到比原始网络更高的精度。
2016-07-12 cs.CV cs.LG cs.NE
Shapley Value as Principled Metric for Structured Network Pruning
ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
结构化修剪是一种众所周知的减少神经网络的存储大小和推理成本的技术。通常的修剪管道包括根据网络内部过滤器和激活对网络性能的贡献对它们进行排名，删除贡献最低的单元，并微调网络以减少修剪引起的危害。最近的结果表明，如果有足够的微调资源，随机修剪的性能与其他指标相当。在这项工作中，我们表明，这是不正确的低数据制度时，微调是不可能的或无效的。在这种情况下，减少修剪造成的危害对于保持网络的性能至关重要。首先，我们分析的问题，估计隐藏单元的贡献与合作博弈论提出的工具，并提出Shapley值作为这项任务的原则性排名度量。我们比较了文献中提出的几种替代方案，并讨论了Shapley值在理论上是如何更可取的。最后，我们比较了低数据修剪的挑战性场景中的所有排名指标，在那里我们展示了Shapley值如何优于其他算法。
2020-06-02 cs.CV cs.LG cs.NE
DANCE: Dynamic 3D CNN Pruning: Joint Frame, Channel, and Feature Adaptation for Energy Efficiency on the Edge
School of Electrical and Computer Engineering, Georgia Tech（佐治亚理工学院电气与计算机工程学院）
本文提出DANCE框架，通过动态剪枝提升3D CNN在边缘计算中的能效，通过激活方差放大和自适应激活剪枝实现高效资源利用，实验显示在Jetson Nano和Snapdragon 8 Gen 1平台达到1.37X和2.22X的速度提升。
2026-03-18 cs.AI cs.CV
StructADMM: A Systematic, High-Efficiency Framework of Structured Weight Pruning for DNNs
Bar-Ilan University（巴伊兰大学）
DNN的权重修剪方法已被证明可以在不损失准确性的情况下实现良好的模型修剪率，从而减轻大规模DNN的显著计算/存储要求。提出了结构化权重修剪方法，以克服不规则网络结构的限制，并展示了实际的GPU加速。然而，在先前的工作中，修剪率（稀疏度）和GPU加速是有限的（小于50%）时，需要保持准确性。在这项工作中，我们通过提出一个统一的，系统的DNN结构化权重修剪框架来克服这些限制。它是一个框架，可用于诱导不同类型的结构化稀疏性，例如滤波器稀疏性、通道稀疏性和形状稀疏性，以及非结构化稀疏性。该框架将随机梯度下降与ADMM相结合，可以理解为一种动态正则化方法，其中正则化目标在每次迭代中解析更新。在不损失AlexNet模型准确性的情况下，我们在两个GPU上实现了2.58倍和3.65倍的平均测量加速，明显优于之前的工作。当允许2%的适度精度损失时，平均加速比达到3.15倍和8.52倍。在这种情况下，卷积层的模型压缩是15.0倍，对应于11.93倍的测量CPU加速。我们在ResNet模型和其他数据集（如UCF 101和CIFAR-10）上的实验证明了我们的框架具有更高的性能。
2019-03-27 cs.CV cs.LG cs.NE
OSSCAR: One-Shot Structured Pruning in Vision and Language Models with Combinatorial Optimization
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
本文提出OSSCAR，一种基于组合优化的高效一次性结构化剪枝框架，通过逐层重建与低秩更新实现高效局部搜索，在视觉与语言模型上显著降低困惑度并提升推理速度，支持数百亿参数规模。
2024-03-02 cs.CV cs.LG
Deep Neural Networks pruning via the Structured Perspective Regularization
CERC, Polytechnique Montréal（蒙特利尔理工学院计算与工程研究中心）；University of Pisa（比萨大学）；Huawei Montreal Research Centre（华为蒙特利尔研究中心）；Jacobs Technion-Cornell Institute（雅各布斯泰克尼翁-康奈尔研究所）；Cornell Tech（康奈尔理工学院）；Technion - IIT（以色列理工学院）
在机器学习中，人工神经网络（ANN）是一种非常强大的工具，广泛应用于许多应用中。通常，所选择的（深度）架构包括许多层，因此包含大量参数，这使得训练、存储和推理变得昂贵。这激发了一系列关于在不过度牺牲性能的情况下将原始网络压缩成更小网络的研究。在提出的许多压缩方法中，最流行的方法之一是\emph{pruning}，其中ANN的整个元素（链路、节点、信道、\ldots）和相应的权重被删除。由于问题的本质是固有的组合（什么元素修剪，什么不），我们提出了一个新的修剪方法的基础上运筹学工具。我们从一个自然的混合规划模型的问题，我们使用的透视重构技术，以加强其连续松弛。从这个重新表述中投射出指示变量会产生一个新的正则化项，我们称之为结构化透视正则化，它会导致初始架构的结构化修剪。我们在CIFAR-10、CIFAR-100和ImageNet数据集上测试了一些ResNet架构，获得了具有竞争力的性能。结构化修剪的最新技术。
2022-06-28 cs.CV cs.LG math.OC
SNP: Structured Neuron-level Pruning to Preserve Attention Scores
Nota Inc（诺塔公司）
针对ViT中MSA模块传统头剪枝粒度粗的问题，提出图感知的结构化神经元级剪枝方法SNP，通过剪枝低信息量注意力分数的神经元实现高效压缩加速，可兼容传统剪枝方案，在多个模型与硬件上取得优异性能。
2024-04-18 cs.AI cs.CV
Structured Network Pruning by Measuring Filter-wise Interactions
Beihang University（北京航空航天大学）
本文提出SNPFI剪枝方法，通过引入滤波器交互的冗余标准（包含滤波器重要性和利用强度）自动分配稀疏度并消除无用滤波器，无需迭代训练即可恢复性能，在多个CNN模型上实现近60%计算减少且保持分类精度。
2023-07-03 cs.CV
CRISP: Hybrid Structured Sparsity for Class-aware Model Pruning
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究院）
CRISP提出一种混合结构化稀疏剪枝框架，结合N:M与块稀疏，利用梯度类别感知显著性分数，在ImageNet和CIFAR-100上对ResNet-50等模型实现高精度，并降低14倍延迟与能耗。
2024-03-18 cs.AR cs.CV cs.LG
Designing Semi-Structured Pruning of Graph Convolutional Networks for Skeleton-based Recognition
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学信息学实验室）
针对基于骨架识别的图卷积网络，提出一种结合带阻、权重共享和门控机制的可微分级联参数化半结构化剪枝方法，在动作和手势识别任务上优于单独的结构化或非结构化剪枝。
2024-12-16 cs.CV
GoPrune: Accelerated Structured Pruning with $\ell_{2,p}$-Norm Optimization
School of Mechatronic Engineering and Automation（机械电子工程与自动化学院）；Shanghai University（上海大学）
GoPrune通过引入ℓ_{2,p}-范数优化，提出了一种高效结构化剪枝方法，提升网络压缩效率。
2025-11-27 cs.CV
Automatic Structured Pruning for Efficient Architecture in Federated Learning
INRS-EMT, University of Quebec（魁北克大学国家科学研究院-能源、材料与电信中心）
针对联邦学习客户端设备资源有限、超参数调优受本地数据访问限制的问题，提出动态确定剪枝边界的自动结构化剪枝方案，在保证准确率的同时大幅压缩模型、降低通信开销并提升移动端推理速度。
2024-11-04 cs.CV
Structured Pruning is All You Need for Pruning CNNs at Initialization
Cornell University（康奈尔大学）
剪枝是一种用于减小卷积神经网络（CNN）的模型大小和计算成本的流行技术。然而，通常需要缓慢的重新训练或微调过程来恢复由修剪引起的准确性损失。最近，提出了一种关于权重修剪的新研究方向，即初始化修剪（PAI），在训练之前直接修剪CNN，从而可以避免微调或重新训练。虽然PAI在减少模型大小方面显示出有希望的结果，但现有的方法依赖于细粒度的权重修剪，这需要非结构化的稀疏矩阵计算，除非稀疏度非常高，否则难以在实践中实现真正的加速。这项工作是第一次表明，细粒度的重量修剪实际上是没有必要的PAI。相反，逐层压缩比是确定在初始化时修剪的CNN模型的准确性的主要关键因素。基于这一关键的观察，我们提出了预裁剪，结构化的硬件高效的模型压缩计划。预裁剪按照逐层压缩比在通道级别直接压缩模型。与权值修剪相比，该方案在不牺牲精度的前提下，在存储和计算上都具有规则性和密集性。此外，由于PreCropping在初始化时压缩了CNN，因此在商品硬件上进行训练和推理时，CNN的计算和内存成本都有所降低。我们在几个现代CNN架构上实证了我们的方法，包括CIFAR-10和ImageNet的ResNet，ShuffleNet和MobileNet。
2022-05-31 cs.CV
Loss-Aware Automatic Selection of Structured Pruning Criteria for Deep Neural Network Acceleration
Platform Lab, College of Information Technology, Soongsil University, Seoul, South Korea（平台实验室，信息科技学院，顺斯大学，首尔，韩国）；Computing Systems Lab, College of Information Technology, Soongsil University, Seoul, South Korea（计算系统实验室，信息科技学院，顺斯大学，首尔，韩国）
本文提出LAASP方法，通过边训练边剪枝并根据网络损失自动选择剪枝准则与层，实现深度神经网络的高效压缩与加速，在CIFAR-10和ImageNet上显著降低FLOPs且保持高精度。
2025-06-25 cs.AI cs.CV eess.IV
Vision Transformer Compression with Structured Pruning and Low Rank Approximation
University of California, Los Angeles（加州大学洛杉矶分校）
Transformer架构由于其能够随大型数据集扩展而受到欢迎。因此，需要减少模型大小和延迟，特别是对于设备上部署。我们专注于为图像识别任务提出的视觉Transformer（Dosovitskiy等人，2021），并探索为此目的应用不同的压缩技术，例如低秩近似和修剪。具体来说，我们研究了最近在Zhu等人（2021）中提出的结构化修剪方法，并发现大多数前馈块都是用这种方法修剪的，准确性也严重下降。我们提出了一种混合压缩方法来缓解这种情况，其中我们使用低秩近似来压缩注意力块，并使用先前提到的修剪，其中每个Transformer层中的前馈块的速率较低。我们的技术结果在50%的压缩与14%的相对增加的分类错误，而我们得到44%的压缩与20%的相对增加的错误时，只有修剪应用。我们提出了进一步的改进，以弥补准确性差距，但把它作为一个未来的工作。
2022-03-25 cs.CV
Efficient Structured Pruning and Architecture Searching for Group Convolution
Imperial College London（帝国理工学院）
卷积神经网络的高效推理是近年来研究的热点。当部署预训练模型时，希望在给定的推理预算约束下实现最大的测试准确度。网络修剪是一种常用的技术，但它可能会产生不规则的稀疏模型，很难获得实际的加速。由于其规则的结构，组卷积是一个有前途的修剪目标;然而，将这种结构纳入修剪过程是具有挑战性的。这是因为结构性约束很难描述，并且可能使修剪难以解决。需要配置组卷积架构，即，使测试准确性最大化的组的数量也增加了难度。本文提出了一种有效的方法来应对这一挑战。我们将组卷积剪枝公式化为寻找最佳信道置换来施加结构约束，并通过算法有效地解决它。我们还应用本地搜索探索组配置的基础上估计修剪成本，以最大限度地提高测试精度。与以前的工作相比，结果表明，我们的方法产生竞争力的组卷积模型的各种任务在一个较短的修剪周期，使快速组配置探索推理预算约束。
2019-10-28 cs.CV
A Generalization of Continuous Relaxation in Structured Pruning
Thermo Fisher Scientific（赛默飞世尔科技）；UC San Diego（加州大学圣迭戈分校）；NVIDIA Corporation（英伟达公司）
该研究推广了结构化剪枝技术，提出包含网络增强、剪枝等步骤的算法，结合连续松弛实现高稀疏度下的精度保持，提升了CNN在GPU上的运行效率，在多个视觉数据集和网络架构上验证了效果。
2023-08-28 cs.CV
Denoised Variance-Based Pruning with Optimal Brain Bias Compensation
KAIST AI（韩国科学技术院人工智能学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对ViTs剪枝的精度下降或需再训练的问题，提出DVBP + OB²C方法，结合随机矩阵理论去噪与最优大脑偏差补偿，在50% MLP剪枝时保留超90%原Top-1精度，优于VBP。
2026-08-19 cs.CV
Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models
BCML, Heriot-Watt University（赫瑞瓦德大学BCML中心）
Script通过图结构和查询条件的语义令牌修剪，提升多模态大语言模型的效率和准确性，实现显著的性能提升。
2025-12-01 cs.CV
Towards Optimal Structured CNN Pruning via Generative Adversarial Learning
Xiamen University（厦门大学）；Beihang University（北京航空航天大学）；University of Chinese Academy of Sciences（中国科学院大学）；BestImage, Tencent Technology (Shanghai) Co.,Ltd（腾讯科技（上海）有限公司贝思图）
滤波器或神经元的结构化修剪已经受到越来越多的关注，用于压缩卷积神经网络。大多数现有方法依赖于以逐层方式进行的多阶段优化，用于迭代地修剪和重新训练，这可能不是最佳的并且可能是计算密集的。此外，这些方法被设计用于修剪特定的结构，例如过滤器或块结构，而不联合修剪异构结构。在本文中，我们提出了一种有效的结构化修剪方法，可以以端到端的方式联合修剪过滤器和其他结构。为了实现这一点，我们首先引入一个软掩模来缩放这些结构的输出，方法是定义一个新的目标函数，用稀疏正则化来将基线和网络的输出与这个掩模对齐。然后，我们通过生成对抗学习（GAL）有效地解决了优化问题，该学习以无标签和端到端的方式学习稀疏软掩码。通过将软掩模中的更多缩放因子强制为零，可以利用快速迭代收缩阈值算法（FISTA）来快速且可靠地去除相应的结构。大量的实验证明了GAL在不同数据集上的有效性，包括MNIST，CIFAR-10和ImageNet ILSVRC 2012。例如，在ImageNet ILSVRC 2012上，修剪后的ResNet-50实现了10.88\%的Top-5错误，并导致了3.7倍的加速。这明显优于最先进的方法。
2019-03-22 cs.CV
Archtree: on-the-fly tree-structured exploration for latency-aware pruning of deep neural networks
Datakalab（达塔卡拉布）；Sorbonne Université（索邦大学）
Archtree提出一种延迟驱动的深度神经网络结构化剪枝方法，通过树状并行探索多个候选子模型并在目标硬件上即时估计延迟，在保持精度的同时更好地满足延迟预算。
2023-11-17 cs.CV
LPViT: Low-Power Semi-structured Pruning for Vision Transformers
College of Computing and Data Science (CCDS), Nanyang Technological University (NTU)（南洋理工大学计算与数据科学学院）
针对视觉Transformer（ViT）的资源密集问题，本文提出块结构化剪枝方法LPViT，通过硬件感知学习目标和轻量级训练后剪枝算法，在ImageNet实验中实现精度与功耗/加速比的平衡，DeiT-B在专用硬件和GPU上获3.93倍加速比，GPU功耗降1.4倍。
2025-04-15 cs.CV
R-TOSS: A Framework for Real-Time Object Detection using Semi-Structured Pruning
Colorado State University（科罗拉多州立大学）
在自动驾驶车辆中使用的物体检测器可能具有高存储器和计算开销。在本文中，我们介绍了一种新的半结构化修剪框架称为R-TOSS，克服了国家的最先进的模型修剪技术的缺点。在JetsonTX 2上的实验结果表明，R-TOSS在YOLOv 5对象检测器上的压缩率为4.4倍，推理时间加速了2.15倍，能耗降低了57.01%。R-TOSS还可以在RetinaNet上实现2.89倍的压缩，推理时间加速1.86倍，能源使用减少56.31%。我们还展示了显着的改进相比，各种国家的最先进的修剪技术。
2023-03-03 cs.AI cs.CV cs.LG
AP: Selective Activation for De-sparsifying Pruned Neural Networks
National University of Singapore（新加坡国立大学）
整流线性单元（ReLU）是神经网络中非常成功的激活函数，因为它允许网络轻松获得稀疏表示，从而减少过参数化网络中的过拟合。然而，在网络修剪中，我们发现ReLU引入的稀疏性（我们用动态死亡神经元率（DNR）来量化）对修剪后的网络没有好处。有趣的是，网络修剪得越多，在优化过程中动态DNR变得越小。这促使我们提出一种方法来显式地减少修剪网络的动态DNR，即，去稀疏化网络。我们将我们的方法称为Activating-while-Pruning（AP）。我们注意到，AP不作为一个独立的方法，因为它不评估权重的重要性。相反，它与现有的修剪方法协同工作，旨在通过选择性激活节点来减少动态DNR来提高它们的性能。我们使用流行的网络（例如，ResNet，VGG）通过两个经典的和三个国家的最先进的修剪方法。公共数据集上的实验结果（例如，CIFAR-10/100）表明，AP与现有的修剪方法，并提高了3% -4%的性能。对于更大规模的数据集（例如，ImageNet）和最先进的网络（例如，视觉Transformer），我们观察到与没有AP相比，有2% - 3%的改善。最后，我们进行了消融研究，以检查组成AP的组件的有效性。
2022-12-09 cs.AI cs.CV cs.LG
Cut Inner Layers: A Structured Pruning Strategy for Efficient U-Net GANs
Nota Inc.（Nota公司）
剪枝有效地压缩了过度参数化的模型。尽管成功的修剪方法的歧视性模型，将它们应用于生成模型已经相对较少。本文对条件GANs的U-Net生成器进行了结构化剪枝。每层的敏感性分析证实，许多不必要的过滤器存在于最内层的瓶颈附近，可以大幅修剪。基于这一观察，我们从多个内层中修剪这些过滤器，或者通过完全消除这些层来建议替代架构。我们使用Pix 2 Pix进行图像到图像的翻译，使用Wav 2Lip进行语音驱动的说话人脸生成。我们的方法优于全局修剪基线，证明了正确考虑U-Net生成器修剪位置的重要性。
2022-06-29 cs.CV cs.LG
HiPP-Prune: Hierarchical Preference-Conditioned Structured Pruning for Vision-Language Models
Université Paris-Saclay（巴黎萨克雷大学）；University of Bristol（布里斯托大学）
HiPP-Prune通过层次化偏好条件的结构化剪枝框架，在视觉-语言模型中实现高效部署，通过多目标优化提供可控的鲁棒性与效用权衡。
2026-03-06 cs.AI cs.CV
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST（香港科技大学）
剪枝是一种模型压缩方法，可在保持准确性的同时去除深度神经网络（DNN）中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理，例如迭代修剪，特征统计/排名或训练过程中的额外优化设计。在本文中，我们从特征演化的新角度提出了一种简单有效的正则化策略，我们称之为特征流正则化（FFR），用于改善DNN中的结构稀疏性和过滤器修剪。具体而言，FFR对沿神经网络的特征流的梯度和曲率施加控制，这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets，ResNets进行的实验表明，FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG
FedASAP: Activation Statistics-driven Structured Adaptive Pruning for Efficient Personalized Federated Learning for Lesion Segmentation on brain MRI
Indian Institute of Science（印度科学研究所）
针对联邦学习中数据异质性和资源限制，提出基于激活统计的结构化自适应剪枝方法FedASAP，生成紧凑个性化分割模型，在脑病变数据集上优于现有方法并大幅减少参数。
2026-09-17 cs.CV eess.IV
Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block Regularization of Activation Maps
National Chiao Tung University（国立交通大学）
本地缓冲区和外部DRAM之间的大量内存带宽已经成为CNN硬件加速器的加速瓶颈，特别是对于激活图。为了减少内存带宽，我们提出了学习修剪不重要的块动态零块正则化的激活映射（斑马）。该策略计算量小，易于与其他剪枝方法集成，提高了性能。实验结果表明，该方法结合网络瘦身技术，在精度下降1%，精度提高2%的情况下，可以将Tiny-Imagenet上Resnet-18的内存带宽减少70%.
2022-05-02 cs.AR cs.CV cs.LG
StaticSegFormer: An Efficient High-Performance Semantic Segmentation Based on Static Structured Pruning
该研究针对动态结构化剪枝在GPU上帧率低的问题，提出StaticSegFormer静态结构化剪枝方法，使SegFormer在Cityscapes上帧率提升最高34%且无mIoU下降，适配小型编码器与大图像场景。
2026-08-06 cs.CV
RED : Looking for Redundancies for Data-Free Structured Compression of Deep Neural Networks
Datakalab；ISIR（智能系统与机器人研究所）；Lip6（巴黎第六大学计算机科学实验室）
深度神经网络（DNN）在当今的计算机视觉领域中无处不在，尽管涉及相当大的计算成本。运行时加速的主流方法包括修剪连接（非结构化修剪）或更好的过滤器（结构化修剪），这两种方法通常都需要数据来重新训练模型。在本文中，我们提出了RED，一个无数据的结构化，统一的方法来解决结构化修剪。首先，我们提出了一种新的标量DNN权重分布密度的自适应散列，以增加由其权重向量表示的相同神经元的数量。其次，我们通过基于它们的相对相似性（由它们的距离定义）合并冗余神经元来修剪网络。第三，我们提出了一种新的不均匀分离技术来进一步修剪卷积层。我们通过大量的基准测试证明，RED在很大程度上优于其他无数据修剪方法，通常达到与无约束数据驱动方法相似的性能。
2021-05-31 cs.CV eess.IV
SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models
SlimVLM是一种结构化剪枝框架，通过自适应视觉token选择和感知敏感性动态剪枝机制，在压缩视觉-语言模型的同时保持性能，在多模态基准测试中达到最优。
2026-08-05 cs.CV
