BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method
Northeastern University（东北大学）；Syracuse University（雪城大学）；College of William and Mary（威廉与玛丽学院）；DiDi AI Labs（滴滴人工智能实验室）
在各种资源有限的计算平台上加速DNN执行一直是一个长期存在的问题。先前的工作利用基于l1的组套索或动态正则化（如ADMM）来对DNN模型执行结构化修剪，以利用并行计算架构。然而，修剪维度和修剪方法都缺乏通用性，导致性能下降和适用性有限。为了解决这个问题，我们提出了一个新的基于块的修剪框架，包括一个通用的和灵活的结构化修剪尺寸以及一个强大的和有效的重加权正则化方法。我们的框架是通用的，可以应用于CNN和RNN，这意味着完全支持两种主要的计算密集型层（即，CONV和FC层）。为了完成加速任务的所有方面，我们还将基于编译器的代码优化集成到我们的框架中，该框架可以实时执行DNN推理。据我们所知，这是权重修剪框架第一次实现CNN和RNN的普遍覆盖，具有实时移动加速，并且没有准确性妥协。
2020-02-22 cs.AI cs.CV cs.LG
Three Dimensional Convolutional Neural Network Pruning with Regularization-Based Method
Zhejiang University（浙江大学）；SUTD-ZJU IDEA（新加坡科技设计大学-浙江大学 信息与数据科学联合实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
三维卷积神经网络（3D CNN）在视频分析中有着广泛的应用，但由于其计算量大、存储量大等特点，限制了其在视频分析中的应用。为了解决这个问题，我们提出了一个三维正则化为基础的神经网络修剪方法来分配不同的正则化参数，不同的权重组的基础上，他们的重要性的网络。此外，我们分析了每一层的冗余和计算成本，以确定不同的剪枝率。实验表明，基于我们的方法修剪可以导致2倍的理论加速比，只有0.41%的准确率损失3DResNet18和3.28%的准确率损失C3D。与其他流行的模型压缩和加速方法相比，该方法具有良好的性能。
2019-05-20 cs.CV cs.LG stat.ML
Hybrid Pruning: Thinner Sparse Networks for Fast Inference on Edge Devices
Movidius, AIPG, Intel（英特尔 AIPG 部门 Movidius 团队）
我们引入了混合修剪，它结合了粗粒度通道和细粒度权重修剪，以减少模型大小，计算和功耗需求，并且在准确性方面没有或几乎没有损失，以便在资源受限的设备上实现现代网络部署，例如始终在线的安全摄像头和无人机。此外，为了有效地执行通道修剪，我们提出了一种快速灵敏度测试，可以帮助我们快速识别网络层内和层间对目标乘法器精度（MAC）或精度容差的输出精度的灵敏度。我们的实验显示，与现有工作相比，ImageNet上的ResNet50的结果明显更好，即使有额外的通道限制，也是硬件友好的数量。
2018-11-01 cs.AI cs.CV cs.NE
OrthoReg: Robust Network Pruning Using Orthonormality Regularization
University of Michigan（密歇根大学）
近年来，卷积神经网络（CNN）中的网络修剪得到了广泛的研究。为了确定修剪一组滤波器对网络准确性的影响，最先进的修剪方法始终假设CNN的滤波器是独立的。这允许将一组过滤器的重要性估计为各个过滤器的重要性之和。然而，现代网络中的过度参数化会导致高度相关的过滤器使这一假设无效，从而导致不正确的重要性估计。为了解决这个问题，我们提出了OrthoReg，这是一种原则性的正则化策略，可以在网络的过滤器上强制执行正交规范性，以减少过滤器间的相关性，从而允许可靠，有效地确定组重要性估计，提高修剪网络的可训练性，以及高效，同时修剪大型过滤器组。当用于VGG-13、MobileNet-V1和ResNet-34上的迭代修剪时，OrthoReg始终优于五种基线技术，包括CIFAR-100和Tiny-ImageNet上的最新技术。对于最近提出的Early-Bird Ticket假设，该假设声称网络在训练的早期变得易于修剪，并且可以在几个时期后修剪以最大限度地减少训练支出，我们发现OrthoReg显着优于先前的工作。代码可在https://github.com/EkdeepSLubana/OrthoReg获得。
2020-09-10 cs.CV cs.LG
Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University（广岛大学）
由于卷积神经网络经常用冗余参数训练，因此可以减少冗余核或滤波器以获得紧凑的网络而不降低分类精度。在本文中，我们提出了一种过滤器修剪方法使用层次组稀疏正则化。在我们以前的工作中，层次组稀疏正则化是有效的，在获得稀疏网络中，连接到不必要的通道的过滤器自动接近零。在对卷积神经网络进行层次群稀疏正则化训练后，根据随机选取的训练样本分类损失的增加情况选取不必要的滤波器，得到一个紧凑的网络。结果表明，该方法可以减少CIFAR-10的ResNet参数的50%以上，而测试样本的准确性仅下降0.3%。此外，TinyImageNet-200的ResNet参数减少了34%，精度高于基线网络。
2020-11-04 cs.CV cs.LG
Sparse Training via Boosting Pruning Plasticity with Neuroregeneration
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Twente（特文特大学）；University of Leeds（利兹大学）；JD Explore Academy（京东探索研究院）；University of Jyväskylä（于韦斯屈莱大学）
彩票假设（LTH）和单次网络剪枝（SNIP）的研究目前在训练后剪枝（迭代幅度剪枝）和训练前剪枝（初始化剪枝）方面引起了广泛的关注。前一种方法具有极大的计算成本，而后者通常与性能不足作斗争。相比之下，在训练期间修剪，一类修剪方法，同时享有的训练/推理效率和可比的性能，暂时，一直较少探索。为了更好地理解训练过程中的修剪，我们从修剪可塑性（修剪网络恢复原始性能的能力）的角度定量研究了整个训练过程中修剪的效果。修剪可塑性可以帮助解释文献中关于神经网络修剪的其他几个经验观察。我们进一步发现，通过注入一种被称为神经再生的大脑启发机制，重新生成与修剪相同数量的连接。我们设计了一种新的渐进幅度修剪（GMP）方法，称为渐进修剪与零成本神经再生（\textbf{GraNet}），这是最先进的。也许最令人印象深刻的是，它的稀疏到稀疏版本首次在ImageNet上使用ResNet-50在不延长训练时间的情况下提高了各种密集到稀疏方法的稀疏到稀疏训练性能。我们在https://github.com/Shiweiliuiiiiiii/GraNet发布所有代码。
2022-02-06 cs.CV cs.LG
Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations
本文发现剪枝网络性能下降的根源是信号坍缩，提出REFLOW方法在不更新权重的情况下缓解该问题，使幅度剪枝在ImageNet上以20%权重将ResNeXt101精度从4.1%提升至78.9%，超越现有方法。
2025-02-18 cs.AI cs.CV cs.LG
Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
Rochester Institute of Technology（罗切斯特技术学院）；Toyota InfoTech Labs（丰田信息科技实验室）
本研究探究基于幅值的剪枝结合微调对神经网络可解释性的影响，发现轻中度剪枝可提升显著性图质量与概念一致性，使表征更贴合人类注意力模式，而过度剪枝会损害可解释性。
2025-10-05 cs.AI cs.CV cs.LG
SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in Spiking Transformer
Sun Yat-sen University（中山大学）
针对Spikformer的冗余参数与计算开销，提出SparseSpikformer协同框架，结合彩票假说权重剪枝与基于脉冲率的令牌选择，实现90%参数缩减和20%GFLOPs降低，保持原模型精度。
2023-11-15 cs.AI cs.CV
Deep Neural Networks pruning via the Structured Perspective Regularization
CERC, Polytechnique Montréal（蒙特利尔理工学院计算与工程研究中心）；University of Pisa（比萨大学）；Huawei Montreal Research Centre（华为蒙特利尔研究中心）；Jacobs Technion-Cornell Institute（雅各布斯泰克尼翁-康奈尔研究所）；Cornell Tech（康奈尔理工学院）；Technion - IIT（以色列理工学院）
在机器学习中，人工神经网络（ANN）是一种非常强大的工具，广泛应用于许多应用中。通常，所选择的（深度）架构包括许多层，因此包含大量参数，这使得训练、存储和推理变得昂贵。这激发了一系列关于在不过度牺牲性能的情况下将原始网络压缩成更小网络的研究。在提出的许多压缩方法中，最流行的方法之一是\emph{pruning}，其中ANN的整个元素（链路、节点、信道、\ldots）和相应的权重被删除。由于问题的本质是固有的组合（什么元素修剪，什么不），我们提出了一个新的修剪方法的基础上运筹学工具。我们从一个自然的混合规划模型的问题，我们使用的透视重构技术，以加强其连续松弛。从这个重新表述中投射出指示变量会产生一个新的正则化项，我们称之为结构化透视正则化，它会导致初始架构的结构化修剪。我们在CIFAR-10、CIFAR-100和ImageNet数据集上测试了一些ResNet架构，获得了具有竞争力的性能。结构化修剪的最新技术。
2022-06-28 cs.CV cs.LG math.OC
Cyclical Pruning for Sparse Neural Networks
Idiap Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；Qualcomm AI Research（高通人工智能研究院）
用于修剪神经网络权重的当前方法迭代地对模型权重应用基于幅度的修剪，并重新训练所得到的模型以恢复丢失的准确性。在这项工作中，我们表明，这种策略不允许错误修剪的权重的恢复。为了使权重恢复，我们提出了一个简单的策略称为\textit{cyclical pruning}，它需要定期修剪时间表，并允许在一个周期中错误修剪的权重在随后的恢复。在线性模型和大规模深度神经网络上的实验结果表明，循环剪枝优于现有的剪枝算法，特别是在高稀疏率下。我们的方法很容易调整，可以很容易地纳入现有的修剪管道，以提高性能。
2022-02-02 cs.CV cs.LG
Sparse Double Descent: Where Network Pruning Aggravates Overfitting
Beihang University（北京航空航天大学）；The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
人们通常认为，网络修剪不仅可以降低深度网络的计算成本，还可以通过降低模型容量来防止过拟合。然而，我们的工作令人惊讶地发现，网络修剪有时甚至会消除过拟合。我们报告了一种意想不到的稀疏双下降现象，即当我们通过网络修剪增加模型稀疏性时，测试性能首先变得更差（由于过拟合），然后变得更好（由于过拟合得到缓解），最后变得更差（由于忘记有用的信息）。虽然最近的研究集中在模型过度参数化方面的深度双下降，但他们未能认识到稀疏性也可能导致双下降。在本文中，我们有三个主要贡献。首先，我们通过大量的实验报告了新的稀疏双下降现象。其次，针对这一现象，我们提出了一种新的学习距离解释，即稀疏模型的$\ell_{2}$学习距离曲线（从初始参数到最终参数）可以与稀疏双下降曲线很好地相关，并且比最小平坦性更好地反映泛化能力。第三，在稀疏双下降的背景下，彩票假设中的中奖彩票令人惊讶地可能不总是中奖。
2022-06-17 cs.CV cs.LG
Enabling Sparse Winograd Convolution by Native Pruning
Google（谷歌）；Facebook（脸书）；Intel Labs（英特尔研究院）
稀疏方法和Winograd卷积的使用是两种正交方法，每种方法都可以显著加速现代CNN中的卷积计算。Sparse Winograd融合了这两者，因此有可能提供综合的性能优势。然而，训练卷积层，使产生的Winograd内核是稀疏的，迄今为止还不是很成功。通过引入Winograd层代替标准卷积层，我们可以“原生”学习和修剪Winograd系数，并在ImageNet数据集上使用AlexNet获得超过90%的稀疏度，而准确率损失仅为0.1%。此外，我们提出了一个稀疏Winograd卷积算法和实现，利用稀疏性，在最新的Intel Xeon CPU上以32位精度实现高达31.7有效TFLOP/s，这相当于最先进的密集卷积实现的5.4倍加速。
2017-10-13 cs.CV
C2S2: Cost-aware Channel Sparse Selection for Progressive Network Pruning
本文描述了一种简化深度神经网络的通道选择方法。具体来说，我们提出了一种新型的通用网络层，称为修剪层，以无缝地增强给定的预训练模型进行压缩。包括$1 \times 1$深度方向内核的每个修剪层用双重格式表示：一个是实值，另一个是二进制。前者使网络修剪的两阶段优化过程能够与端到端可微分网络一起操作，而后者产生用于信道选择的掩码信息。我们的方法逐步执行修剪任务逐层，并根据稀疏性标准实现通道选择，以利于修剪更多的通道。我们还开发了一个成本感知机制，以防止压缩牺牲预期的网络性能。我们在图像分类和语义分割上压缩几个基准深度网络的结果与最先进的结果相当。
2019-04-06 cs.CV cs.LG
SaiT: Sparse Vision Transformers through Adaptive Token Pruning
Samsung Semiconductor Inc.（三星半导体公司）
虽然视觉Transformer已经取得了令人印象深刻的结果，有效和高效地加速这些模型可以进一步提高性能。在这项工作中，我们提出了一个密集/稀疏的训练框架，以获得一个统一的模型，使不同的令牌密度的权重共享。因此，一个模型为不同的应用提供了一系列的准确性和吞吐量权衡。此外，我们引入自适应标记修剪，以优化基于输入图像的补丁标记稀疏度。此外，我们研究知识蒸馏，以提高令牌选择能力的早期Transformer模块。稀疏自适应图像Transformer（SaiT）仅通过动态改变令牌稀疏度来提供不同级别的模型加速。具体而言，SaiT将计算复杂度（FLOPs）降低了39% - 43%，并将吞吐量提高了67% - 91%，而各种视觉Transformer模型的准确性损失小于0.5%。同时，同一模型还通过跳过稀疏化步骤提供了零精度下降选项。SaiT实现了比最先进的Transformer和卷积模型更好的精度和计算权衡。
2022-10-11 cs.CV
One-Cycle Structured Pruning via Stability-Driven Subnetwork Search
IT Application Research Center, Korea Electronics Technology Institute（韩国电子技术研究所应用信息技术中心）；Department of Intelligent Semiconductors, Soongsil University（顺慈大学智能半导体系）；Department of Computer Science & Engineering, Seoul National University（首尔国立大学计算机科学与工程系）
本文提出了一种高效的单次循环结构化剪枝框架，通过稳定性驱动的子网络搜索提升剪枝效率和准确性。
2025-12-17 cs.AI cs.CV cs.LG
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
非结构化修剪非常适合在训练和推理时减少卷积神经网络（CNN）的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪（SP）通过将过滤器元素设置为零来减少CNN的内存占用，从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪，这会导致强烈的偏差。为了克服这一点，我们引入空间修剪（IP），一个通用的工具，以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础（FB）的线性组合。对于IP，FB系数被设置为零，而未修剪的系数和FB被联合训练。在这项工作中，我们提供了数学证据IP的优越性能，并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下，例如ImageNet的修剪或修剪到高稀疏性，IP大大超过SP，具有相同的运行时间和参数成本。最后，我们表明，IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Deep Convolutional Neural Networks Structured Pruning via Gravity Regularization
Frères Mentouri University Constantine（君士坦丁兄弟门图里大学）
本文提出一种受引力启发的结构化剪枝方法，通过将滤波器权重拉向零或非零来同时优化权重并排序重要性，在CIFAR数据集上验证了其无需复杂微调即可获得有竞争力的剪枝效果。
2024-11-25 cs.CV
Adaptive Sharpness-Aware Pruning for Robust Sparse Networks
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
AdaSAP通过锐度感知剪枝统一鲁棒性与紧凑性，生成对未见输入变化鲁棒的稀疏网络，在图像分类和目标检测上显著提升鲁棒准确率。
2024-03-13 cs.CV cs.LG
Sparse by Rule: Probability-Based N:M Pruning for Spiking Neural Networks
Nanyang Technological University（南洋理工大学）
针对现有SNN剪枝方法难以兼顾精度、硬件友好性与灵活性的问题，提出首个面向SNN的半结构化N:M剪枝框架SpikeNM，搭配资格启发蒸馏方法，可在2:4稀疏度下保持甚至提升精度，生成适配硬件的稀疏模式。
2025-11-15 cs.CV
Faster CNNs with Direct Sparse Convolutions and Guided Pruning
Intel Labs（英特尔实验室）；University of Pittsburgh（匹兹堡大学）；Duke University（杜克大学）
卷积神经网络（CNN）在实际推理问题中取得了惊人的成功，被广泛部署在移动设备、数据中心甚至超级计算机中。然而，CNN中所需的参数数量通常很大并且不受欢迎。因此，已经开发了各种方法来在CNN被训练后对其进行修剪。然而，由此产生的CNN提供的好处有限。虽然修剪完全连接的层大大减少了CNN的大小，但它并没有显著提高推理速度，因为计算繁重的部分在于卷积。以提高推理速度的方式修剪CNN通常会强加特定的稀疏结构，从而限制可实现的稀疏水平。我们提出了一种方法，同时实现规模经济和速度的提高，同时修剪CNN。我们成功的最重要的是一个有效的一般稀疏与密集矩阵乘法实现，适用于卷积的特征映射与内核的任意稀疏模式。作为补充，我们开发了一个性能模型，该模型可以预测不同层和不同计算机体系结构上稀疏水平的最佳点。这两者结合在一起，使我们能够在AlexNet中，在英特尔Atom，Xeon和Xeon Phi处理器上，展示3.1- 7.3 $\times$卷积加速，涵盖从移动设备到超级计算机的范围。我们还在https://github.com/IntelLabs/SkimCaffe上开源了我们的项目。
2017-07-28 cs.CV
Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention
Peking University（北京大学）；Baidu Research（百度研究院）
本文提出自适应稀疏ViT框架，利用注意力头重要性加权评分与可学习阈值实现分层令牌剪枝，在DeiT-S上吞吐量提升50%且准确率仅下降0.2%。
2023-07-06 cs.CV
Recent Advances on Neural Network Pruning at Initialization
Northeastern University（东北大学）；ETH Zürich（苏黎世联邦理工学院）
神经网络修剪通常会从预训练的收敛模型中删除连接或神经元;而一种新的修剪范式，即初始化修剪（PaI），尝试修剪随机初始化的网络。本文首次对这一新兴的修剪方式进行了综述。我们首先介绍了一个通用的制定神经网络修剪，其次是主要的经典修剪主题。然后，作为本文的主体，一个彻底的和结构化的文献综述的PaI方法，包括两个主要的轨道（稀疏训练和稀疏选择）。最后，我们总结了PaI相比PaT的激增，并讨论了开放的问题。除了专门的文献综述，本文还提供了一个代码库，便于健全检查和基准测试不同的PaI方法。
2022-05-23 cs.AI cs.CV cs.LG
Electrostatic Force Regularization for Neural Structured Pruning
Université Polytechnique Hauts-de-France（上法兰西理工大学）；Université de Lille（里尔大学）；Université Paris Est Créteil（巴黎东克雷泰伊大学）；National Higher School of Biotechnology（国家高等生物技术学校）
本文首次将物理学的电荷与静电力概念引入深度卷积神经网络训练，提出一种无需修改架构和大量微调的结构化剪枝方法，通过吸引或排斥滤波器实现权重优化与重要性排序，在多个数据集上取得有竞争力的性能。
2024-11-17 cs.CV
A Unified Framework for Soft Threshold Pruning
Peking University（北京大学）；National Engineering Research Center of Visual Technology（视觉技术国家工程研究中心）；Peng Cheng Laboratory（鹏城实验室）
软阈值剪枝是一种性能先进的剪枝方法。然而，以前的方法要么执行漫无目的的搜索阈值调度器或简单地设置阈值可训练，缺乏从统一的角度理论解释。在这项工作中，我们重新制定软阈值修剪作为一个隐式的优化问题，使用迭代收缩保持算法（ISTA），稀疏恢复和压缩感知领域的经典方法解决。在此理论框架下，将以往软阈值修剪研究中提出的阈值调整策略归结为调整$L_1$-正则化项的不同风格。我们进一步推导出一个最佳的阈值调度器，通过深入研究阈值调度的基础上，我们的框架。该调度器保持$L_1$正则化系数稳定，从优化的角度来看，这意味着一个时不变的目标函数。原则上，导出的剪枝算法可以稀疏任何通过SGD训练的数学模型。我们进行了广泛的实验，并在ImageNet数据集上的人工神经网络（ResNet-50和MobileNet-V1）和脉冲神经网络（SEW ResNet-18）上验证了其最先进的性能。在此框架的基础上，我们得到了一个家庭的修剪方法，包括稀疏训练期间，早期修剪，修剪在初始化。该代码可在www.example.com上获得。
2023-02-25 cs.AI cs.CV cs.LG
Pruning Convolutional Filters using Batch Bridgeout
University of Saskatchewan（萨斯喀彻温大学）
最先进的计算机视觉模型的容量正在迅速增加，其中参数的数量远远超过拟合训练集所需的数量。这将导致更好的优化和泛化性能。然而，当代模型的巨大规模导致了巨大的推理成本，并限制了它们在资源有限的设备上的使用。为了降低推理成本，可以修剪训练的神经网络中的卷积滤波器，以减少推理期间的运行时存储器和计算需求。然而，如果训练算法导致密集的权重向量，则严重的训练后修剪会导致性能下降。我们提出了使用批量桥接，稀疏诱导随机正则化计划，训练神经网络，使他们可以有效地修剪性能下降最小。我们在CIFAR图像分类任务上对常见的计算机视觉模型VGGNet，ResNet和Wide-ResNet进行了评估。对于所有网络，实验结果表明，与Dropout和权重衰减正则化相比，Batch Bridgeout训练的网络在广泛的修剪强度范围内实现了更高的准确性。
2020-09-23 cs.AI cs.CV cs.LG
Magnitude Attention-based Dynamic Pruning
NAVER WEBTOON AI（NAVER WEBTOON人工智能）；Kookmin University（国民大学）
针对现有剪枝方法训练中未利用权重重要性的问题，提出基于幅值注意力的动态剪枝MAP方法，全程利用权重重要性动态探索稀疏结构，训练后期转向利用关键权重，性能媲美稠密模型且优于以往剪枝方法。
2023-06-08 cs.CV cs.LG
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine（加利福尼亚大学尔湾分校）；Department of Mathematics（数学系）
我们提出了一种自适应投影-梯度下降-收缩分裂方法（APGDSSM），将基于惩罚的通道修剪集成到量化感知训练（QAT）中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重，以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外，我们提出了一种新的互补变换l1惩罚，以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
Spatial-Winograd Pruning Enabling Sparse Winograd Convolution
University of Michigan（密歇根大学）；Facebook Inc.（脸书公司）
深度卷积神经网络（CNN）被部署在各种应用中，但需要巨大的计算需求。剪枝技术和Winograd卷积是减少CNN计算量的两种典型方法。但是，它们不能直接组合，因为Winograd变换填充了修剪产生的稀疏性。Li et al.（2017）提出了稀疏Winograd卷积，其中权重直接在Winograd域中修剪，但这种技术不是很实用，因为Winograd域再训练需要较低的学习率，因此需要更长的训练时间。此外，Liu等人（2018）将ReLU函数移动到Winograd域中，这可以帮助增加权重稀疏性，但需要改变网络结构。为了在不改变网络结构的情况下实现Winograd域的高权值稀疏性，提出了一种新的剪枝方法-空间Winograd剪枝。首先，对空间域权值进行结构化修剪，有效地将空间域稀疏性转移到Winograd域，避免了Winograd域的再训练。对于下一步，我们还直接在Winograd域中执行修剪和再训练，但建议使用重要性因子矩阵来调整权重重要性和权重梯度。这种调整使得在不改变网络结构的情况下有效地重新训练修剪的Winograd-domain网络成为可能。对于CIFAR 10，CIFAR-100和ImageNet数据集上的三个模型，我们提出的方法可以分别实现63%，50%和74%的Winograd域稀疏度。
2019-01-08 cs.CV cs.LG cs.NE
Layer-Aware Position Embeddings for Visual Token Pruning in Multimodal Large Language Models
Tongji University（同济大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；East China Normal University（华东师范大学）；Shanghai Eye Disease Prevention and Treatment Center（上海市眼病防治中心）
针对多模态大语言模型视觉令牌剪枝中位置嵌入的局限，提出层感知位置嵌入策略，在定位敏感层用稀疏嵌入、其余层用连续嵌入，提升剪枝模型的综合多模态性能。
2026-09-22 cs.CV
Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Jeddah（吉达大学）；King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）；King Saud University（沙特国王大学）
提出渐进式幅度剪枝方法，在单训练周期内线性增加稀疏度，基于权重幅度更新掩码，在CIFAR-10和MNIST上优于LTH、SNIP和GraSP等基线。
2026-06-11 cs.CV cs.LG
Domain Adaptation Regularization for Spectral Pruning
DENSO CORPORATION（电装公司）；The University of Tokyo（东京大学）；AIP-RIKEN（AIP-理化学研究所）
深度神经网络（DNN）最近在各种计算机视觉相关任务上实现了最先进的性能。然而，它们的计算成本限制了它们在具有有限资源或严格延迟约束的嵌入式系统中实现的能力。因此，模型压缩已成为克服该问题的活跃研究领域。此外，DNN通常需要大量的标记数据进行训练。这是其部署的第二个限制。领域自适应（DA）通过允许在一个标记的源分布上学习的知识被转移到可能未标记的目标分布来解决这个问题。在本文中，我们调查可能的改进压缩方法在DA设置。我们专注于一个压缩方法，以前开发的背景下，一个单一的数据分布，并表明，在压缩过程中使用的数据和额外的正则化项直接相关的DA目标的仔细选择，它是可能的，以改善压缩结果。我们还表明，我们的方法优于现有的压缩方法研究的DA设置的大幅度高压缩率。虽然我们的工作是基于一个特定的压缩方法，我们也概述了一些一般性的指导方针，以提高压缩DA设置。
2020-08-25 cs.CV cs.LG stat.ML
RS$^3$-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation
Attentive AI（注意力人工智能公司）；Indian Institute of Technology Delhi（印度德里理工学院）
该研究提出无需训练的RS$^3$-Prune令牌剪枝方法，通过限制VOS流水线中跨帧注意力查询及内存库令牌范围，实现最高38.8% FPS加速、13.1%峰值内存降低，且保持竞争力的J&F指标。
2026-08-25 cs.CV
Trained Rank Pruning for Efficient Deep Neural Networks
为了加速DNN的推理，低秩近似由于其坚实的理论基础和有效的实现而被广泛采用。之前的几项工作试图通过低秩分解直接近似预训练模型;然而，参数中的小近似误差可能会导致大的预测损失。显然，将低秩近似从训练中分离出来并不是最佳的。与以往的工作，本文集成了低秩近似和正则化的训练过程。我们提出了训练秩修剪（TRP），它交替之间的低秩近似和训练。TRP保持了原始网络的容量，同时在训练期间施加低秩约束。通过随机次梯度下降优化的核正则化被用来进一步提升TRP中的低秩。用TRP训练的网络本质上具有低秩结构，并且以可忽略的性能损失进行近似，从而消除了低秩近似后的微调。该方法在CIFAR-10和ImageNet上进行了综合评估，优于以前使用低秩近似的压缩方法。我们的代码可在https://github.com/yuhuixu1993/Trained-Rank-Pruning上获得。
2020-01-23 cs.CV
Fire Together Wire Together: A Dynamic Pruning Approach with Self-Supervised Mask Prediction
University of Alberta（阿尔伯塔大学）；Huawei（华为）
动态模型修剪是最近的一个方向，它允许在部署期间为每个输入样本推断不同的子网络。然而，目前的动态方法依赖于通过诱导稀疏性损失通过正则化来学习连续的通道门控。这个公式在平衡不同损失（例如任务损失、正则化损失）方面引入了复杂性。此外，基于正则化的方法缺乏透明的权衡超参数选择来实现计算预算。我们的贡献是双重的：1）解耦任务和修剪损失。2)简单的超参数选择，在训练前实现FLOP减少估计。受神经科学中Hebbian理论的启发：“一起发射的神经元连接在一起”，我们提出预测一个掩码，以基于其前一层的激活来处理层中的k个过滤器。我们提出的问题作为一个自我监督的二进制分类问题。每个掩码预测器模块被训练为预测当前层中的每个滤波器的对数似然是否属于前k个激活的滤波器。基于使用大量热图的新标准，针对每个输入动态地估计值k。我们在几种神经架构上进行了实验，例如VGG，ResNet和MobileNet在CIFAR和ImageNet数据集上。在CIFAR上，我们达到了与SOTA方法相似的精度，FLOPs降低了15%和24%。同样，在ImageNet中，我们实现了更低的准确率下降，FLOPs减少了13%。
2022-06-29 cs.CV cs.LG
WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning
University of Washington（华盛顿大学）；New York University（纽约大学）；Unipart Group（优尼帕特集团）
深度神经网络已被广泛用于各种应用，并取得了显著的成功。然而，由于包含数百万个参数，它们的高度复杂性导致在低延迟要求的管道中部署时出现问题。因此，更期望获得在推理时间期间具有相同性能的轻量级神经网络。在这项工作中，我们提出了一个基于权重的修剪方法，其中的权重修剪逐渐基于他们的动量以前的迭代。神经网络的每一层都根据它们的相对稀疏性分配一个重要性值，然后是先前迭代中的权重大小。我们在AlexNet、VGG 16和ResNet 50等网络上使用CIFAR-10和CIFAR-100等图像分类数据集评估了我们的方法。我们发现，结果优于以前的方法在精度和压缩比。我们的方法能够在两个数据集上获得15%的压缩，而精度下降相同。
2022-08-11 cs.CV cs.LG
SNIP: Single-shot Network Pruning based on Connection Sensitivity
University of Oxford（牛津大学）
修剪大型神经网络，同时保持其性能往往是可取的，由于减少的空间和时间复杂度。在现有的方法中，修剪是在迭代优化过程中完成的，其中使用的是按时间顺序设计的修剪时间表或附加的超参数，这削弱了它们的效用。在这项工作中，我们提出了一种新的方法，在训练之前的初始化阶段修剪给定的网络。为了实现这一目标，我们引入了一个显着性标准的基础上连接的敏感性，确定结构上重要的连接在网络中的给定任务。这消除了对预训练和复杂修剪时间表的需要，同时使其对架构变化具有鲁棒性。修剪后，稀疏网络以标准方式进行训练。我们的方法在MNIST、CIFAR-10和Tiny-ImageNet分类任务上获得了与参考网络几乎相同的精度，并且广泛适用于各种架构，包括卷积、残差和递归网络。与现有的方法不同，我们的方法使我们能够证明保留的连接确实与给定的任务相关。
2019-02-23 cs.CV cs.LG
Pruning at Initialization -- A Sketching Perspective
Tel Aviv University（特拉维夫大学）
该研究从草图视角分析线性设置下神经网络初始化剪枝问题，证明稀疏掩码寻找等价于草图问题，理论界定剪枝模型近似误差并支持稀疏网络搜索的数据无关性，还提出数据无关场景下的算法通用改进。
2025-11-11 cs.CV cs.LG
COPS: Controlled Pruning Before Training Starts
Robert Bosch GmbH（罗伯特·博世有限公司）；Lübeck University（吕贝克大学）
最先进的深度神经网络（DNN）修剪技术，在训练开始前一次性应用，借助一个称为修剪分数的标准来评估稀疏架构。基于单独得分的修剪权重对于某些架构和修剪率很有效，但对于其他架构和修剪率也可能失败。作为修剪分数的共同基线，我们引入了广义突触分数（GSS）的概念。在这项工作中，我们不集中在一个单一的修剪标准，但提供了一个框架，结合任意GSS创建更强大的修剪策略。这些组合剪枝分数（COPS）是通过求解约束优化问题获得的。优化多个分数可以防止稀疏网络过度专注于单个任务，因此在训练开始前控制修剪。将COPS给出的组合优化问题松弛到线性规划上。这个LP解析求解，并确定COPS的解决方案。此外，一个算法来计算它的两个分数数值提出和评估。以这种方式求解COPS比最好的一般LP求解器具有更低的复杂度。在我们的实验中，我们比较了修剪与COPS对不同的网络架构和图像分类任务的最先进的方法，并获得了改进的结果。
2021-07-27 cs.CV cs.LG
Global Sparse Momentum SGD for Pruning Very Deep Neural Networks
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；School of Software, Tsinghua University（清华大学软件学院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Automation, Tsinghua University（清华大学自动化系）；Institute for Brain and Cognitive Sciences, Tsinghua University（清华大学脑与认知科学研究院）；WMG Data Science, University of Warwick（华威大学制造工程学院数据科学系）；Kwai Seattle AI Lab, Kwai FeDA Lab, Kwai AI platform（快手西雅图人工智能实验室、快手联邦与分布式人工智能实验室、快手人工智能平台）
深度神经网络（DNN）功能强大，但计算昂贵且内存密集，因此阻碍了其在资源受限的前端设备上的实际使用。DNN剪枝是深度模型压缩的一种方法，其目的是在可容忍的性能下降的情况下消除一些参数。在本文中，我们提出了一种新的动量SGD为基础的优化方法，以降低网络的复杂性，在飞行修剪。具体地说，给定一个全局压缩比，我们在每次训练迭代中将所有参数分为两部分，使用不同的规则更新。通过这种方式，我们逐渐将冗余参数归零，因为我们仅使用普通的权重衰减而不使用从目标函数导出的梯度来更新它们。与需要大量人工工作来调整逐层稀疏比、通过解决复杂的不可微问题来修剪或在修剪后微调模型的现有方法不同，我们的方法的特征在于：1）全局压缩，自动找到适当的每层稀疏比; 2）端到端训练; 3）修剪后不需要耗时的重新训练过程;以及4）找到赢得初始化彩票的更好的中奖彩票的优越能力。
2019-10-25 cs.CV cs.LG stat.ML
Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University（广岛大学）
在深度神经网络（DNN）中，为了获得高的学习性能，参数的数量通常是巨大的。由于这个原因，它需要大量的内存和大量的计算资源，并且还会导致过拟合。众所周知，一些参数是冗余的，可以从网络中删除，而不会降低性能。许多稀疏正则化准则已经被提出来解决这个问题。在卷积神经网络（CNN）中，组稀疏正则化通常用于去除不必要的权重子集，例如滤波器或通道。当我们对作为一个组连接到神经元的权重应用组稀疏正则化时，每个卷积滤波器在正则化中不被视为目标组。在本文中，我们引入层次分组的概念来解决这个问题，我们提出了几个层次组稀疏正则化标准的CNN。我们提出的分层组稀疏正则化可以将输入神经元或输出神经元的权重视为一个组，并将卷积滤波器视为同一组中的一个组，以修剪不必要的权重子集。因此，我们可以根据网络的结构和保持高性能的通道数量来更充分地修剪权重。在实验中，我们通过在几种网络架构的公共数据集上进行密集的比较实验来研究所提出的稀疏正则化的有效性。代码可以在GitHub上找到：“https://github.com/K-Mitsuno/hierarchical-group-sparse-regularization“
2020-04-09 cs.CV cs.LG
CAP: Correlation-Aware Pruning for Highly-Accurate Sparse Vision Models
Skoltech（斯科尔科沃科学技术研究所）；Yandex（央捷科斯）；IST Austria（奥地利科学技术研究所）；Neural Magic（神经魔法）
本文提出相关性感知剪枝框架 CAP，通过理论支撑的权重相关性处理与高效微调，首次将 ViT、现代 CNN 及混合模型剪枝至高稀疏度且准确率损失极小，并兼容结构化剪枝与量化。
2023-05-31 cs.CV cs.LG
StructADMM: A Systematic, High-Efficiency Framework of Structured Weight Pruning for DNNs
Bar-Ilan University（巴伊兰大学）
DNN的权重修剪方法已被证明可以在不损失准确性的情况下实现良好的模型修剪率，从而减轻大规模DNN的显著计算/存储要求。提出了结构化权重修剪方法，以克服不规则网络结构的限制，并展示了实际的GPU加速。然而，在先前的工作中，修剪率（稀疏度）和GPU加速是有限的（小于50%）时，需要保持准确性。在这项工作中，我们通过提出一个统一的，系统的DNN结构化权重修剪框架来克服这些限制。它是一个框架，可用于诱导不同类型的结构化稀疏性，例如滤波器稀疏性、通道稀疏性和形状稀疏性，以及非结构化稀疏性。该框架将随机梯度下降与ADMM相结合，可以理解为一种动态正则化方法，其中正则化目标在每次迭代中解析更新。在不损失AlexNet模型准确性的情况下，我们在两个GPU上实现了2.58倍和3.65倍的平均测量加速，明显优于之前的工作。当允许2%的适度精度损失时，平均加速比达到3.15倍和8.52倍。在这种情况下，卷积层的模型压缩是15.0倍，对应于11.93倍的测量CPU加速。我们在ResNet模型和其他数据集（如UCF 101和CIFAR-10）上的实验证明了我们的框架具有更高的性能。
2019-03-27 cs.CV cs.LG cs.NE
The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；JD Explore Academy（京东探索研究院）；University of Twente（特文特大学）
随机修剪可以说是在神经网络中获得稀疏性的最简单的方法，但无论是训练后修剪还是稀疏训练都被认为是没有竞争力的。在本文中，我们专注于稀疏训练，并强调了一个可能违反直觉的发现，即初始化时的随机修剪对于现代神经网络的稀疏训练可能非常强大。在没有任何精细的修剪标准或仔细追求稀疏结构的情况下，我们凭经验证明，从头开始稀疏训练随机修剪的网络可以匹配其密集等价物的性能。有两个关键因素促成了这种复兴：（i）网络大小很重要：随着原始密集网络变得更宽更深，训练随机修剪的稀疏网络的性能将迅速增长，即使在高稀疏率下也能与其密集网络相匹配;（ii）可以为稀疏训练预先选择适当的逐层稀疏率，这是另一个重要的性能提升器。虽然看起来很简单，但Wide ResNet-50的随机修剪子网络可以在ImageNet上进行稀疏训练，以超过密集的Wide ResNet-50。我们还观察到，这种随机修剪的网络在其他有利方面优于密集网络，例如分布外检测，不确定性估计和对抗鲁棒性。总的来说，我们的研究结果强烈表明，稀疏训练在规模上有比预期更大的空间，稀疏性的好处可能比精心设计的修剪更普遍。我们的源代码可以在https://github.com/VITA-Group/Random_Pruning上找到。
2022-02-05 cs.AI cs.CV cs.LG
On the Effect of Pruning on Adversarial Robustness
University of Campinas（坎皮纳斯州立大学）
修剪是一种众所周知的降低深度卷积网络计算成本的机制。然而，研究表明修剪作为一种正则化形式的潜力，它可以减少过拟合并提高泛化能力。我们证明，这一系列的战略提供了额外的好处超出计算性能和泛化。我们的分析表明，从卷积网络中修剪结构（过滤器和/或层）不仅可以提高泛化能力，还可以提高对抗图像（修改内容的自然图像）的鲁棒性。这些成就是可能的，因为修剪减少了网络容量并提供了正则化，这已被证明是对抗对抗性图像的有效工具。与需要使用对抗图像和仔细正则化进行训练的有希望的防御机制相比，我们证明了修剪仅考虑自然图像（例如，标准和低成本培训）。我们在几种对抗攻击和架构上证实了这些发现;从而表明修剪作为对抗图像的新型防御机制的潜力。
2021-11-24 cs.CV
The Role of Regularization in Shaping Weight and Node Pruning Dependency and Dynamics
Ben-Gurion University（本-古里安大学）；Bar-Ilan University（巴伊兰大学）
降低深度神经网络容量的迫切需求刺激了网络稀释方法及其分析的发展。虽然经常提到$L_1$和$L_0$正则化鼓励稀疏性的能力，但在此上下文中很少讨论$L_2$正则化。我们提出了一个新的框架，重量修剪采样的概率函数，有利于零较小的权重。此外，我们研究的贡献，$L_1$和$L_2$正则化的动态节点修剪，同时优化权重修剪。然后，我们证明了所提出的随机框架的有效性，当与流行的分类模型上的权重衰减正则化器一起使用时，在MNIST分类的MLP中去除50%的节点，在VGG-16中去除60%的过滤器用于CIFAR 10分类，以及在医学图像模型上，在U-Net中去除60%的通道，例如分割，在CNN模型中去除50%的通道，用于COVID-19检测。对于这些节点修剪的网络，我们还提出了具有竞争力的权重修剪结果，其准确性仅略低于原始的密集网络。
2020-12-07 cs.CV cs.LG eess.IV
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya（布劳爪哇大学）
针对视觉Transformer计算负担重的问题，提出先稀疏正则化再剪枝的优化方法，在多个图像分类数据集上实现了准确率提升，兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST（香港科技大学）
剪枝是一种模型压缩方法，可在保持准确性的同时去除深度神经网络（DNN）中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理，例如迭代修剪，特征统计/排名或训练过程中的额外优化设计。在本文中，我们从特征演化的新角度提出了一种简单有效的正则化策略，我们称之为特征流正则化（FFR），用于改善DNN中的结构稀疏性和过滤器修剪。具体而言，FFR对沿神经网络的特征流的梯度和曲率施加控制，这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets，ResNets进行的实验表明，FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG
AutoAdversary: A Pixel Pruning Method for Sparse Adversarial Attack
Nanjing University（南京大学）
深度神经网络（DNN）已被证明容易受到对抗性示例的影响。对抗性示例的一个特殊分支，即稀疏对抗性示例，可以通过仅扰动几个像素来欺骗目标DNN。然而，现有的稀疏对抗攻击多采用探试法选择待扰动像素，将像素选择和对抗攻击视为两个独立的步骤。从神经网络剪枝的角度出发，提出了一种新的端到端稀疏对抗攻击方法AutoAdwords，该方法将像素选择融入到对抗攻击中，自动寻找最重要的像素。具体来说，我们的方法利用可训练的神经网络来生成用于像素选择的二进制掩码。在联合优化对抗性扰动和神经网络之后，仅扰动掩模中与值1相对应的像素。实验表明，我们提出的方法优于几个国家的最先进的方法。此外，由于AutoAdWorth不需要启发式像素选择过程，因此当图像大小增加时，它不会像其他方法那样过度减慢。
2022-03-18 cs.AI cs.CV cs.LG
Joint Pruning & Quantization for Extremely Sparse Neural Networks
National Taiwan University（台湾大学）
我们研究了深度神经网络的修剪和量化。我们的目标是实现量化网络的极高稀疏性，以实现低成本和低功耗的加速器硬件。在实际场景中，密集预测任务的应用特别多，因此我们选择立体深度估计作为目标。我们提出了一个两阶段的修剪和量化流水线，并引入了一个泰勒分数旁边的一个新的微调模式，以实现极端的稀疏性，而不牺牲性能。我们的评估不仅表明，修剪和量化应联合调查，但也表明，几乎99%的内存需求可以削减，而硬件成本可以降低高达99.9%。此外，为了与其他作品进行比较，我们证明了当应用于CIFAR10和ImageNet上的ResNet时，我们的剪枝阶段单独击败了最先进的技术。
2020-10-05 cs.CV
Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training
JPMorgan Chase（摩根大通）
针对现有网络剪枝方案开销大的问题，提出结合二值门控模块与极化损失的单次训练剪枝策略，可同步完成剪枝与训练，在多数据集上实现50%剪枝率下准确率下降不足1%，兼顾能耗降低与性能保持。
2025-01-10 cs.CV cs.LG
Cyclic Sparse Training: Is it Enough?
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出SCULPT-ing方法，通过反复循环训练任意稀疏掩码后执行单次剪枝来耦合参数与掩码，以更低计算成本在高稀疏度下达到最先进迭代剪枝方法的性能。
2024-06-07 cs.CV cs.LG
A Unified DNN Weight Compression Framework Using Reweighted Optimization Methods
Syracuse University（雪城大学）；Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）；Alibaba Group（阿里巴巴集团）
为了解决深度神经网络（DNN）的大模型尺寸和密集计算需求，已经提出了权重修剪技术，并且权重修剪技术通常分为两类，即，基于静态正则化的修剪和基于动态正则化的修剪。然而，前一种方法目前遭受复杂的工作负载或精度下降，而后者需要很长的时间来调整参数，以实现所需的修剪率而不损失精度。在本文中，我们提出了一个统一的DNN权重修剪框架，动态更新的正则化项由指定的约束，它可以生成非结构化稀疏和不同类型的结构化稀疏。我们还将我们的方法扩展到一个集成框架，用于组合不同的DNN压缩任务。
2020-04-12 cs.CV cs.LG cs.NE
Neural Network Panning: Screening the Optimal Sparse Network Before Training
Changsha University of Science and Technology（长沙理工大学）；Xidian University（西安电子科技大学）
在训练前对神经网络进行剪枝，不仅压缩了原始模型，而且加快了网络的训练速度，具有实际的应用价值。目前的工作重点是细粒度的修剪，它使用度量来计算权重得分的权重筛选，并从最初的单阶修剪扩展到迭代修剪。通过这些工作，我们认为，网络修剪可以概括为一个表现力转移过程的权重，其中保留的权重将采取的表现力从删除的，以保持原网络的性能。为了实现表达力的最优调度，提出了一种训练前的剪枝策略--神经网络平移，通过多指标、多步骤的方式引导表达力的传递，并设计了一种基于强化学习的平移代理，实现了过程的自动化。实验结果表明，Panning方法优于现有的各种训练前剪枝方法。
2022-09-27 cs.CV cs.LG
