Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
本文提出结合稀疏解码器与动态剪枝的新框架，通过稀疏潜在特征实现头部剪枝的可解释和可控，提升ViTs的效率和可解释性。
2026-03-23 cs.AI cs.CV cs.LG
Magnitude Attention-based Dynamic Pruning
NAVER WEBTOON AI（NAVER WEBTOON人工智能）；Kookmin University（国民大学）
针对现有剪枝方法训练中未利用权重重要性的问题，提出基于幅值注意力的动态剪枝MAP方法，全程利用权重重要性动态探索稀疏结构，训练后期转向利用关键权重，性能媲美稠密模型且优于以往剪枝方法。
2023-06-08 cs.CV cs.LG
Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Jeddah（吉达大学）；King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）；King Saud University（沙特国王大学）
提出渐进式幅度剪枝方法，在单训练周期内线性增加稀疏度，基于权重幅度更新掩码，在CIFAR-10和MNIST上优于LTH、SNIP和GraSP等基线。
2026-06-11 cs.CV cs.LG
Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations
本文发现剪枝网络性能下降的根源是信号坍缩，提出REFLOW方法在不更新权重的情况下缓解该问题，使幅度剪枝在ImageNet上以20%权重将ResNeXt101精度从4.1%提升至78.9%，超越现有方法。
2025-02-18 cs.AI cs.CV cs.LG
Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
Rochester Institute of Technology（罗切斯特技术学院）；Toyota InfoTech Labs（丰田信息科技实验室）
本研究探究基于幅值的剪枝结合微调对神经网络可解释性的影响，发现轻中度剪枝可提升显著性图质量与概念一致性，使表征更贴合人类注意力模式，而过度剪枝会损害可解释性。
2025-10-05 cs.AI cs.CV cs.LG
WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning
University of Washington（华盛顿大学）；New York University（纽约大学）；Unipart Group（优尼帕特集团）
深度神经网络已被广泛用于各种应用，并取得了显著的成功。然而，由于包含数百万个参数，它们的高度复杂性导致在低延迟要求的管道中部署时出现问题。因此，更期望获得在推理时间期间具有相同性能的轻量级神经网络。在这项工作中，我们提出了一个基于权重的修剪方法，其中的权重修剪逐渐基于他们的动量以前的迭代。神经网络的每一层都根据它们的相对稀疏性分配一个重要性值，然后是先前迭代中的权重大小。我们在AlexNet、VGG 16和ResNet 50等网络上使用CIFAR-10和CIFAR-100等图像分类数据集评估了我们的方法。我们发现，结果优于以前的方法在精度和压缩比。我们的方法能够在两个数据集上获得15%的压缩，而精度下降相同。
2022-08-11 cs.CV cs.LG
Spatial-Winograd Pruning Enabling Sparse Winograd Convolution
University of Michigan（密歇根大学）；Facebook Inc.（脸书公司）
深度卷积神经网络（CNN）被部署在各种应用中，但需要巨大的计算需求。剪枝技术和Winograd卷积是减少CNN计算量的两种典型方法。但是，它们不能直接组合，因为Winograd变换填充了修剪产生的稀疏性。Li et al.（2017）提出了稀疏Winograd卷积，其中权重直接在Winograd域中修剪，但这种技术不是很实用，因为Winograd域再训练需要较低的学习率，因此需要更长的训练时间。此外，Liu等人（2018）将ReLU函数移动到Winograd域中，这可以帮助增加权重稀疏性，但需要改变网络结构。为了在不改变网络结构的情况下实现Winograd域的高权值稀疏性，提出了一种新的剪枝方法-空间Winograd剪枝。首先，对空间域权值进行结构化修剪，有效地将空间域稀疏性转移到Winograd域，避免了Winograd域的再训练。对于下一步，我们还直接在Winograd域中执行修剪和再训练，但建议使用重要性因子矩阵来调整权重重要性和权重梯度。这种调整使得在不改变网络结构的情况下有效地重新训练修剪的Winograd-domain网络成为可能。对于CIFAR 10，CIFAR-100和ImageNet数据集上的三个模型，我们提出的方法可以分别实现63%，50%和74%的Winograd域稀疏度。
2019-01-08 cs.CV cs.LG cs.NE
Pruning-aware Sparse Regularization for Network Pruning
University of Chinese Academy of Sciences（中国科学院大学）
本文提出名为MaskSparsity的剪枝感知稀疏正则化方法，仅对剪枝掩码选定的滤波器施加细粒度稀疏正则化，避免未剪枝通道受不必要限制，在CIFAR-10和ILSVRC-2012上实现高FLOPs减少且精度损失极小。
2023-10-20 cs.AI cs.CV
SNIP: Single-shot Network Pruning based on Connection Sensitivity
University of Oxford（牛津大学）
修剪大型神经网络，同时保持其性能往往是可取的，由于减少的空间和时间复杂度。在现有的方法中，修剪是在迭代优化过程中完成的，其中使用的是按时间顺序设计的修剪时间表或附加的超参数，这削弱了它们的效用。在这项工作中，我们提出了一种新的方法，在训练之前的初始化阶段修剪给定的网络。为了实现这一目标，我们引入了一个显着性标准的基础上连接的敏感性，确定结构上重要的连接在网络中的给定任务。这消除了对预训练和复杂修剪时间表的需要，同时使其对架构变化具有鲁棒性。修剪后，稀疏网络以标准方式进行训练。我们的方法在MNIST、CIFAR-10和Tiny-ImageNet分类任务上获得了与参考网络几乎相同的精度，并且广泛适用于各种架构，包括卷积、残差和递归网络。与现有的方法不同，我们的方法使我们能够证明保留的连接确实与给定的任务相关。
2019-02-23 cs.CV cs.LG
Pruning at Initialization -- A Sketching Perspective
Tel Aviv University（特拉维夫大学）
该研究从草图视角分析线性设置下神经网络初始化剪枝问题，证明稀疏掩码寻找等价于草图问题，理论界定剪枝模型近似误差并支持稀疏网络搜索的数据无关性，还提出数据无关场景下的算法通用改进。
2025-11-11 cs.CV cs.LG
COPS: Controlled Pruning Before Training Starts
Robert Bosch GmbH（罗伯特·博世有限公司）；Lübeck University（吕贝克大学）
最先进的深度神经网络（DNN）修剪技术，在训练开始前一次性应用，借助一个称为修剪分数的标准来评估稀疏架构。基于单独得分的修剪权重对于某些架构和修剪率很有效，但对于其他架构和修剪率也可能失败。作为修剪分数的共同基线，我们引入了广义突触分数（GSS）的概念。在这项工作中，我们不集中在一个单一的修剪标准，但提供了一个框架，结合任意GSS创建更强大的修剪策略。这些组合剪枝分数（COPS）是通过求解约束优化问题获得的。优化多个分数可以防止稀疏网络过度专注于单个任务，因此在训练开始前控制修剪。将COPS给出的组合优化问题松弛到线性规划上。这个LP解析求解，并确定COPS的解决方案。此外，一个算法来计算它的两个分数数值提出和评估。以这种方式求解COPS比最好的一般LP求解器具有更低的复杂度。在我们的实验中，我们比较了修剪与COPS对不同的网络架构和图像分类任务的最先进的方法，并获得了改进的结果。
2021-07-27 cs.CV cs.LG
CAP: Correlation-Aware Pruning for Highly-Accurate Sparse Vision Models
Skoltech（斯科尔科沃科学技术研究所）；Yandex（央捷科斯）；IST Austria（奥地利科学技术研究所）；Neural Magic（神经魔法）
本文提出相关性感知剪枝框架 CAP，通过理论支撑的权重相关性处理与高效微调，首次将 ViT、现代 CNN 及混合模型剪枝至高稀疏度且准确率损失极小，并兼容结构化剪枝与量化。
2023-05-31 cs.CV cs.LG
Enabling Sparse Winograd Convolution by Native Pruning
Google（谷歌）；Facebook（脸书）；Intel Labs（英特尔研究院）
稀疏方法和Winograd卷积的使用是两种正交方法，每种方法都可以显著加速现代CNN中的卷积计算。Sparse Winograd融合了这两者，因此有可能提供综合的性能优势。然而，训练卷积层，使产生的Winograd内核是稀疏的，迄今为止还不是很成功。通过引入Winograd层代替标准卷积层，我们可以“原生”学习和修剪Winograd系数，并在ImageNet数据集上使用AlexNet获得超过90%的稀疏度，而准确率损失仅为0.1%。此外，我们提出了一个稀疏Winograd卷积算法和实现，利用稀疏性，在最新的Intel Xeon CPU上以32位精度实现高达31.7有效TFLOP/s，这相当于最先进的密集卷积实现的5.4倍加速。
2017-10-13 cs.CV
SaiT: Sparse Vision Transformers through Adaptive Token Pruning
Samsung Semiconductor Inc.（三星半导体公司）
虽然视觉Transformer已经取得了令人印象深刻的结果，有效和高效地加速这些模型可以进一步提高性能。在这项工作中，我们提出了一个密集/稀疏的训练框架，以获得一个统一的模型，使不同的令牌密度的权重共享。因此，一个模型为不同的应用提供了一系列的准确性和吞吐量权衡。此外，我们引入自适应标记修剪，以优化基于输入图像的补丁标记稀疏度。此外，我们研究知识蒸馏，以提高令牌选择能力的早期Transformer模块。稀疏自适应图像Transformer（SaiT）仅通过动态改变令牌稀疏度来提供不同级别的模型加速。具体而言，SaiT将计算复杂度（FLOPs）降低了39% - 43%，并将吞吐量提高了67% - 91%，而各种视觉Transformer模型的准确性损失小于0.5%。同时，同一模型还通过跳过稀疏化步骤提供了零精度下降选项。SaiT实现了比最先进的Transformer和卷积模型更好的精度和计算权衡。
2022-10-11 cs.CV
Hybrid Pruning: Thinner Sparse Networks for Fast Inference on Edge Devices
Movidius, AIPG, Intel（英特尔 AIPG 部门 Movidius 团队）
我们引入了混合修剪，它结合了粗粒度通道和细粒度权重修剪，以减少模型大小，计算和功耗需求，并且在准确性方面没有或几乎没有损失，以便在资源受限的设备上实现现代网络部署，例如始终在线的安全摄像头和无人机。此外，为了有效地执行通道修剪，我们提出了一种快速灵敏度测试，可以帮助我们快速识别网络层内和层间对目标乘法器精度（MAC）或精度容差的输出精度的灵敏度。我们的实验显示，与现有工作相比，ImageNet上的ResNet50的结果明显更好，即使有额外的通道限制，也是硬件友好的数量。
2018-11-01 cs.AI cs.CV cs.NE
Pruning Filters for Efficient ConvNets
University of Maryland（马里兰大学）；NEC Labs America（NEC美国实验室）
CNN在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近为减少这些开销所做的努力包括修剪和压缩各个层的权重，而不会损害原始精度。然而，基于幅度的权重修剪减少了来自全连接层的大量参数，并且由于修剪后的网络中的不规则稀疏性，可能无法充分降低卷积层中的计算成本。我们提出了一种用于CNN的加速方法，其中我们从CNN中修剪被识别为对输出准确性影响较小的滤波器。通过删除网络中的整个过滤器及其连接的特征图，计算成本显着降低。与修剪权重相比，这种方法不会导致稀疏连接模式。因此，它不需要稀疏卷积库的支持，并且可以与现有的高效BLAS库一起用于密集矩阵乘法。我们发现，即使是简单的过滤器修剪技术，也可以在CIFAR 10上将VGG-16和ResNet-110的推理成本降低高达34%和38%，同时通过重新训练网络恢复接近原始的准确性。
2017-03-10 cs.CV cs.LG
A pruning method based on the dissimilarity of angle among channels and filters
Changsha University of Science and Technology（长沙理工大学）；Hunan Provincial Key Laboratory of Intelligent Processing of Big Data on Transp（湖南省交通大数据智能处理重点实验室）
卷积神经网络（CNN）在各个领域的应用越来越广泛，其计算量和存储量也在不断增加。为了使其适用于嵌入式应用等有限的环境，网络压缩技术应运而生。其中，网络剪枝技术受到了研究者的广泛关注。本文通过对卷积网络进行编码，获得不同编码节点的相似度，并在此基础上评估卷积核之间的连通性。然后根据不同的连通性-功率施加不同程度的惩罚。同时，提出了基于角度不相似度的信道剪枝算法。首先，我们训练一个稀疏模型GL惩罚，并施加一个角度相异性约束的通道和卷积网络的滤波器，以获得一个更稀疏的结构。最后通过实验验证了该方法的有效性。在CIFAR-10上，我们在VGG-16上减少了66.86%的FLOP，修剪后的准确率为93.31%，其中FLOP表示模型每秒的浮点运算次数。此外，在ResNet-32上，我们将FLOPs减少了58.46%，这使得修剪后的准确率达到91.76%。
2022-10-29 cs.CV cs.LG
Sparse by Rule: Probability-Based N:M Pruning for Spiking Neural Networks
Nanyang Technological University（南洋理工大学）
针对现有SNN剪枝方法难以兼顾精度、硬件友好性与灵活性的问题，提出首个面向SNN的半结构化N:M剪枝框架SpikeNM，搭配资格启发蒸馏方法，可在2:4稀疏度下保持甚至提升精度，生成适配硬件的稀疏模式。
2025-11-15 cs.CV
Global Sparse Momentum SGD for Pruning Very Deep Neural Networks
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；School of Software, Tsinghua University（清华大学软件学院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Automation, Tsinghua University（清华大学自动化系）；Institute for Brain and Cognitive Sciences, Tsinghua University（清华大学脑与认知科学研究院）；WMG Data Science, University of Warwick（华威大学制造工程学院数据科学系）；Kwai Seattle AI Lab, Kwai FeDA Lab, Kwai AI platform（快手西雅图人工智能实验室、快手联邦与分布式人工智能实验室、快手人工智能平台）
深度神经网络（DNN）功能强大，但计算昂贵且内存密集，因此阻碍了其在资源受限的前端设备上的实际使用。DNN剪枝是深度模型压缩的一种方法，其目的是在可容忍的性能下降的情况下消除一些参数。在本文中，我们提出了一种新的动量SGD为基础的优化方法，以降低网络的复杂性，在飞行修剪。具体地说，给定一个全局压缩比，我们在每次训练迭代中将所有参数分为两部分，使用不同的规则更新。通过这种方式，我们逐渐将冗余参数归零，因为我们仅使用普通的权重衰减而不使用从目标函数导出的梯度来更新它们。与需要大量人工工作来调整逐层稀疏比、通过解决复杂的不可微问题来修剪或在修剪后微调模型的现有方法不同，我们的方法的特征在于：1）全局压缩，自动找到适当的每层稀疏比; 2）端到端训练; 3）修剪后不需要耗时的重新训练过程;以及4）找到赢得初始化彩票的更好的中奖彩票的优越能力。
2019-10-25 cs.CV cs.LG stat.ML
Faster CNNs with Direct Sparse Convolutions and Guided Pruning
Intel Labs（英特尔实验室）；University of Pittsburgh（匹兹堡大学）；Duke University（杜克大学）
卷积神经网络（CNN）在实际推理问题中取得了惊人的成功，被广泛部署在移动设备、数据中心甚至超级计算机中。然而，CNN中所需的参数数量通常很大并且不受欢迎。因此，已经开发了各种方法来在CNN被训练后对其进行修剪。然而，由此产生的CNN提供的好处有限。虽然修剪完全连接的层大大减少了CNN的大小，但它并没有显著提高推理速度，因为计算繁重的部分在于卷积。以提高推理速度的方式修剪CNN通常会强加特定的稀疏结构，从而限制可实现的稀疏水平。我们提出了一种方法，同时实现规模经济和速度的提高，同时修剪CNN。我们成功的最重要的是一个有效的一般稀疏与密集矩阵乘法实现，适用于卷积的特征映射与内核的任意稀疏模式。作为补充，我们开发了一个性能模型，该模型可以预测不同层和不同计算机体系结构上稀疏水平的最佳点。这两者结合在一起，使我们能够在AlexNet中，在英特尔Atom，Xeon和Xeon Phi处理器上，展示3.1- 7.3 $\times$卷积加速，涵盖从移动设备到超级计算机的范围。我们还在https://github.com/IntelLabs/SkimCaffe上开源了我们的项目。
2017-07-28 cs.CV
Pruning for Feature-Preserving Circuits in CNNs
Harvard University（哈佛大学）
本文提出利用基于显著性的剪枝方法从深度CNN中提取仅保留目标特征相关卷积核的“特征保持电路”，比较了三种显著性准则，并开发了电路图可视化工具，以提升CNN图像滤波过程的可解释性。
2023-04-17 cs.CV cs.LG
Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention
Peking University（北京大学）；Baidu Research（百度研究院）
本文提出自适应稀疏ViT框架，利用注意力头重要性加权评分与可学习阈值实现分层令牌剪枝，在DeiT-S上吞吐量提升50%且准确率仅下降0.2%。
2023-07-06 cs.CV
Recent Advances on Neural Network Pruning at Initialization
Northeastern University（东北大学）；ETH Zürich（苏黎世联邦理工学院）
神经网络修剪通常会从预训练的收敛模型中删除连接或神经元;而一种新的修剪范式，即初始化修剪（PaI），尝试修剪随机初始化的网络。本文首次对这一新兴的修剪方式进行了综述。我们首先介绍了一个通用的制定神经网络修剪，其次是主要的经典修剪主题。然后，作为本文的主体，一个彻底的和结构化的文献综述的PaI方法，包括两个主要的轨道（稀疏训练和稀疏选择）。最后，我们总结了PaI相比PaT的激增，并讨论了开放的问题。除了专门的文献综述，本文还提供了一个代码库，便于健全检查和基准测试不同的PaI方法。
2022-05-23 cs.AI cs.CV cs.LG
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine（加利福尼亚大学尔湾分校）；Department of Mathematics（数学系）
我们提出了一种自适应投影-梯度下降-收缩分裂方法（APGDSSM），将基于惩罚的通道修剪集成到量化感知训练（QAT）中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重，以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外，我们提出了一种新的互补变换l1惩罚，以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
Layer-Aware Position Embeddings for Visual Token Pruning in Multimodal Large Language Models
Tongji University（同济大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；East China Normal University（华东师范大学）；Shanghai Eye Disease Prevention and Treatment Center（上海市眼病防治中心）
针对多模态大语言模型视觉令牌剪枝中位置嵌入的局限，提出层感知位置嵌入策略，在定位敏感层用稀疏嵌入、其余层用连续嵌入，提升剪枝模型的综合多模态性能。
2026-09-22 cs.CV
End-to-End Supermask Pruning: Learning to Prune Image Captioning Models
Universiti Malaya（马来亚大学）
随着深度模型的发展，在过去十年中，对图像描述的研究工作在原始性能方面取得了显着的进步，同时增加了模型复杂性和计算成本。然而，令人惊讶的是，用于图像描述任务的深度网络压缩工作几乎没有受到关注。对于第一次在图像描述研究，我们提供了一个广泛的比较各种非结构化的权重修剪方法在三个不同的流行的图像描述架构，即软注意，上下和对象关系Transformer。在此之后，我们提出了一种新的端到端的权重修剪方法，该方法基于权重对训练损失的敏感性进行渐进稀疏化。然后，修剪方案扩展与编码器修剪，在那里我们表明，同时进行解码器修剪和训练之前的编码器修剪提供了良好的整体性能。从经验上讲，我们证明了80%到95%的稀疏网络（模型大小减少了75%）可以匹配或优于其密集网络。Up-Down和Object Relation Transformer的代码和预训练模型能够在MS-COCO数据集上实现CIDER分数>120，但模型大小仅为8.7 MB和14.5 MB（与密集版本相比，大小分别减少了96%和94%），可在https://github.com/jiahuei/sparse-image-captioning上公开获得。
2021-10-07 cs.CL cs.CV cs.LG
RS$^3$-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation
Attentive AI（注意力人工智能公司）；Indian Institute of Technology Delhi（印度德里理工学院）
该研究提出无需训练的RS$^3$-Prune令牌剪枝方法，通过限制VOS流水线中跨帧注意力查询及内存库令牌范围，实现最高38.8% FPS加速、13.1%峰值内存降低，且保持竞争力的J&F指标。
2026-08-25 cs.CV
Pushing the Efficiency Limit Using Structured Sparse Convolutions
Duke University（杜克大学）；Shanghai International Studies University（上海外国语大学）；KAUST（阿卜杜拉国王科技大学）
权重修剪是压缩深度卷积神经网络的最流行方法之一。最近的研究表明，在随机初始化的深度神经网络中，存在稀疏的子网络，其性能与原始网络相当。不幸的是，找到这些子网络涉及训练和修剪的迭代阶段，这可能是计算上昂贵的。我们提出了结构化稀疏卷积（SSC），它利用图像中的固有结构来减少卷积滤波器中的参数。与在初始化时执行修剪的现有方法相比，这导致卷积架构的效率提高。我们表明，SSC是一个泛化的常用层（dependency，groupwise和逐点卷积）在``高效的架构。在著名的CNN模型和数据集上的大量实验表明了所提出方法的有效性。与CIFAR-10、CIFAR-100、Tiny-ImageNet和ImageNet分类基准的基线相比，基于SSC的架构实现了最先进的性能。
2022-10-23 cs.CV
SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in Spiking Transformer
Sun Yat-sen University（中山大学）
针对Spikformer的冗余参数与计算开销，提出SparseSpikformer协同框架，结合彩票假说权重剪枝与基于脉冲率的令牌选择，实现90%参数缩减和20%GFLOPs降低，保持原模型精度。
2023-11-15 cs.AI cs.CV
Improve Convolutional Neural Network Pruning by Maximizing Filter Variety
UMONS（蒙斯大学）；Telecom SudParis（南巴黎电信学院）；IP Paris（巴黎理工学院）
神经网络剪枝是一种广泛使用的减少模型存储和计算需求的策略。它允许通过在权重中引入稀疏性来降低网络的复杂性。由于利用稀疏矩阵仍然具有挑战性，因此修剪通常以结构化的方式执行，即根据选定的修剪标准，在ConvNets的情况下删除整个卷积滤波器。常见的修剪标准，如l1范数或运动，通常不考虑过滤器的个体效用，这可能导致：（1）删除表现出罕见的，因此重要的和有区别的行为的过滤器，以及（2）保留具有冗余信息的过滤器。在本文中，我们提出了一种技术解决这两个问题，并可以附加到任何修剪标准。这种技术确保选择标准集中在冗余过滤器上，同时保留罕见的过滤器，从而最大限度地增加剩余过滤器的种类。在不同的数据集（CIFAR-10，CIFAR-100和CALTECH-101）和使用不同的架构（VGG-16和ResNet-18）进行的实验结果表明，当将我们的过滤器选择技术附加到修剪标准时，可以实现类似的稀疏水平，同时保持更高的性能。此外，我们通过应用彩票假说来评估所发现的稀疏子网络的质量，并发现在大多数情况下，我们的方法的加入可以发现性能更好的门票
2022-03-11 cs.CV
On Compression of Unsupervised Neural Nets by Pruning Weak Connections
无监督的神经网络，如限制玻尔兹曼机（RBM）和深度Belif网络（DBN），是强大的自动特征提取，无监督的权重初始化和密度估计。在本文中，我们证明了这些神经网络的参数可以显着减少，而不影响其性能。我们描述了一种方法来减少RBM所需的参数，RBM是深度架构的基本构建块。进一步，我们提出了一种无监督的稀疏深度结构选择算法来构造稀疏深度神经网络，实验结果表明，该算法在生成和区分性能上几乎没有损失。
2021-05-08 cs.CV cs.NE
When Does Pruning Benefit Vision Representations?
University of Turin, Computer Science Department（都灵大学计算机科学系）；LINKS Foundation, AI, Data & Space (ADS)（LINKS基金会，人工智能、数据与空间（ADS））
本文探究剪枝对视觉模型在可解释性、无监督目标发现和人类感知对齐三方面的影响，发现存在依赖架构与规模的甜点区，使稀疏模型表现更优。
2025-07-08 cs.CV
Group channel pruning and spatial attention distilling for object detection
Hainan University（海南大学）；Peking University（北京大学）
针对目标检测网络压缩难直接部署的问题，提出融合动态稀疏训练、分组通道剪枝和空间注意力蒸馏的三阶段方法，在 YOLOv4 与 PASCAL VOC 上显著降低参数量和计算量。
2023-06-02 cs.AI cs.CV
OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shanghai Jiao Tong University（上海交通大学）
提出Orthogonal Capsule Network (OrthCaps)，通过剪枝胶囊层、正交稀疏注意力路由和权重矩阵正交化减少冗余与参数量，在四个数据集上表现优异，仅用110k参数即超越其他基准，实现现有Capsule Networks中最小参数量。
2024-03-20 cs.CV
Towards Higher Ranks via Adversarial Weight Pruning
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出基于秩的对抗性权重剪枝方法RPG，通过奇异值分解引导稀疏权重保持高秩拓扑，在98%稀疏度下于ImageNet上超越现有最优性能1.13%。
2023-11-29 cs.CV
Pruning neural networks without any data by iteratively conserving synaptic flow
Stanford University（斯坦福大学）
修剪深度神经网络的参数已经产生了强烈的兴趣，因为在训练和测试期间可能节省时间，内存和能量。最近的工作已经确定，通过一个昂贵的序列的训练和修剪周期，中奖彩票或稀疏可训练的子网络在初始化的存在。这就提出了一个基本问题：我们能否在初始化时识别出高度稀疏的可训练子网络，而不需要训练，甚至不需要查看数据？我们通过理论驱动的算法设计对这个问题给出了肯定的回答。我们首先从数学上制定和实验验证的守恒定律，解释了为什么现有的基于梯度的修剪算法在初始化遭受层崩溃，过早修剪整个层呈现网络不可训练。该理论还阐明了如何完全避免层崩溃，激发了一种新的修剪算法迭代突触流修剪（SynFlow）。该算法可以被解释为在初始化时保持通过网络的突触强度的总流量受到稀疏性约束。值得注意的是，该算法没有参考训练数据，并且在初始化时在一系列模型（VGG和ResNet），数据集（CIFAR-10/100和Tiny ImageNet）和稀疏约束（高达99.99%）上始终与现有的最先进的修剪算法竞争或优于现有的修剪算法。因此，我们的数据无关的修剪算法挑战现有的范式，在初始化，数据必须被用来量化哪些突触是重要的。
2020-11-19 cond-mat.dis-nn cs.CV cs.LG
Accelerator-Aware Pruning for Convolutional Neural Networks
Korea University of Technology and Education（韩国技术教育大学）
卷积神经网络在计算机视觉任务中表现出了巨大的性能能力，但其过多的权重存储和算术运算使其无法在嵌入式环境中被采用。其中一个解决方案涉及修剪，其中某些不重要的权重被强制为零。已经提出了许多修剪方案，但这些方案主要集中在修剪权重的数量上。以前的修剪方案很少考虑ASIC或FPGA加速器架构。当这些修剪过的网络在加速器上运行时，缺乏对架构的考虑会导致一些效率低下的问题，包括内部缓冲区不对齐和负载不平衡。本文提出了一种新的修剪方案，反映加速器架构。在所提出的方案中，执行修剪，使得相同数量的权重保持对应于同时获取的激活的每个权重组。通过这种方式，修剪方案解决了效率低下的问题，使加速器性能加倍。即使有这种约束，所提出的修剪方案也达到了与以前的无约束修剪方案相似的修剪率，不仅在AlexNet和VGG16上，而且在最先进的非常深的网络（如ResNet）上。此外，所提出的方案在紧凑网络（如MobileNet）和已经以信道方式修剪的精简网络上表现出相当的修剪率。除了提高以前的稀疏加速器的效率之外，还将表明所提出的修剪方案可以用于降低稀疏加速器的逻辑复杂度。修剪的模型可以在https://github.com/HyeongjuKang/accelerator-aware-pruning上公开获得。
2020-09-05 cs.CV cs.NE
Sparse ActionGen: Accelerating Diffusion Policy with Real-time Pruning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Department of Computer Science（计算机科学系）
本文提出SAG方法，通过自适应剪枝和重用机制实现稀疏动作生成，提升实时视觉运动控制效率，实验显示生成速度提升4倍。
2026-05-15 cs.CV cs.RO
Pruning Sparse Tensor Neural Networks Enables Deep Learning for 3D Ultrasound Localization Microscopy
Polytechnique Montréal（蒙特利尔理工学院）；IVADO（IVADO研究所）；TransMedTech Institute（TransMedTech研究所）；Mila-Quebec artificial intelligence institute（魁北克人工智能研究所）；ServiceNow（ServiceNow公司）；Department of Engineering Physics（工程物理系）
本文提出用稀疏张量神经网络降低超声定位显微成像的内存需求，实现三维深度学习，在减少内存的同时提升高浓度下的成像性能并缩短采集时间。
2025-10-16 cs.CV eess.IV
Cyclic Sparse Training: Is it Enough?
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出SCULPT-ing方法，通过反复循环训练任意稀疏掩码后执行单次剪枝来耦合参数与掩码，以更低计算成本在高稀疏度下达到最先进迭代剪枝方法的性能。
2024-06-07 cs.CV cs.LG
Neural Network Panning: Screening the Optimal Sparse Network Before Training
Changsha University of Science and Technology（长沙理工大学）；Xidian University（西安电子科技大学）
在训练前对神经网络进行剪枝，不仅压缩了原始模型，而且加快了网络的训练速度，具有实际的应用价值。目前的工作重点是细粒度的修剪，它使用度量来计算权重得分的权重筛选，并从最初的单阶修剪扩展到迭代修剪。通过这些工作，我们认为，网络修剪可以概括为一个表现力转移过程的权重，其中保留的权重将采取的表现力从删除的，以保持原网络的性能。为了实现表达力的最优调度，提出了一种训练前的剪枝策略--神经网络平移，通过多指标、多步骤的方式引导表达力的传递，并设计了一种基于强化学习的平移代理，实现了过程的自动化。实验结果表明，Panning方法优于现有的各种训练前剪枝方法。
2022-09-27 cs.CV cs.LG
The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；JD Explore Academy（京东探索研究院）；University of Twente（特文特大学）
随机修剪可以说是在神经网络中获得稀疏性的最简单的方法，但无论是训练后修剪还是稀疏训练都被认为是没有竞争力的。在本文中，我们专注于稀疏训练，并强调了一个可能违反直觉的发现，即初始化时的随机修剪对于现代神经网络的稀疏训练可能非常强大。在没有任何精细的修剪标准或仔细追求稀疏结构的情况下，我们凭经验证明，从头开始稀疏训练随机修剪的网络可以匹配其密集等价物的性能。有两个关键因素促成了这种复兴：（i）网络大小很重要：随着原始密集网络变得更宽更深，训练随机修剪的稀疏网络的性能将迅速增长，即使在高稀疏率下也能与其密集网络相匹配;（ii）可以为稀疏训练预先选择适当的逐层稀疏率，这是另一个重要的性能提升器。虽然看起来很简单，但Wide ResNet-50的随机修剪子网络可以在ImageNet上进行稀疏训练，以超过密集的Wide ResNet-50。我们还观察到，这种随机修剪的网络在其他有利方面优于密集网络，例如分布外检测，不确定性估计和对抗鲁棒性。总的来说，我们的研究结果强烈表明，稀疏训练在规模上有比预期更大的空间，稀疏性的好处可能比精心设计的修剪更普遍。我们的源代码可以在https://github.com/VITA-Group/Random_Pruning上找到。
2022-02-05 cs.AI cs.CV cs.LG
S-Cyc: A Learning Rate Schedule for Iterative Pruning of ReLU-based Networks
我们探索了一个新的视角，适应学习率（LR）的时间表，以提高性能的ReLU为基础的网络，因为它是迭代修剪。我们的工作和贡献包括四个部分：（i）我们发现，随着基于ReLU的网络被迭代修剪，权重梯度的分布趋于变窄。这导致发现，随着网络变得更加稀疏，应使用更大的LR值来训练修剪后的网络。(ii)基于这一发现，我们提出了一种新的LR调度算法S-Cyclical（S-Cyc），它通过在网络被迭代修剪时逐渐增加LR上界（max_lr）来适应传统的循环LR调度算法，并强调S-Cyc是一种方法无关的LR调度算法，适用于许多迭代修剪方法。(iii)我们评估的性能建议的S-Cyc和比较它的四个LR时间表基准。我们在三个最先进的网络上的实验结果（例如，VGG-19，ResNet-20，ResNet-50）和两个流行的数据集（例如，CIFAR-10，ImageNet-200）表明，S-Cyc始终优于性能最佳的基准测试，提高了2.1% -3.4%，而复杂性没有实质性增加。(iv)我们评估的S-Cyc对Oracle和显示，S-Cyc实现了相当的性能的Oracle，仔细调整最大_LR通过网格搜索。
2021-10-17 cs.LG cs.NE
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
Lahore University of Management Sciences（拉合尔管理科学大学）
针对极度稀疏剪枝中的表征崩溃问题，提出BaCP方法，通过对比对齐预训练等模型来正则化嵌入空间，在90种设置下显著提升极度稀疏时的准确率。
2026-10-05 cs.LG
The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models
University of Tulsa（塔尔萨大学）；Clemson University（克莱姆斯大学）；The University of Arizona（亚利桑那大学）
本文提出'无剪枝'方法，用于稀疏模型中消除删除数据对剪枝拓扑的影响，并设计新指标评估其有效性。
2025-12-02 cs.AI cs.LG
When Pruning Meets Interpretability: Preserving Sparse Autoencoder Robustness in LLMs
The Ohio State University（俄亥俄州立大学）
本研究探讨剪枝对大语言模型稀疏自编码器的影响，提出扰动能量理论，指出激活感知剪枝方法更鲁棒，发现中间层更敏感，提出分层稀疏策略并经多模型实验验证。
2026-08-27 cs.LG
Sparsest Models Elude Pruning: An Exposé of Pruning's Current Capabilities
University of Toronto（多伦多大学）
本文通过485,838次实验发现当前剪枝算法难以恢复最稀疏模型，并指出其性能差距源于过参数化下表现差、产生不连通路径及易陷入次优解，呼吁发展真正实现网络稀疏性的新剪枝方法。
2024-07-04 cs.AI cs.LG
Rethinking Pruning for Vision-Language Models: Strategies for Effective Sparsity and Performance Restoration
University of Maryland, College Park（马里兰大学学院公园分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对视觉语言模型部署受限问题，提出SparseLoRA方法将稀疏性直接应用于LoRA权重以恢复剪枝模型性能，在2:4和70%稀疏度下分别实现11.3%和47.6%的提升。
2024-06-24 cs.CV cs.LG
Pruning for Sparse Diffusion Models based on Gradient Flow
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
针对扩散模型推理慢、计算成本高及一次性结构剪枝损害生成质量的问题，提出基于梯度流的迭代软剪枝方法与准则，实验表明其在效率和模型一致性上性能更优。
2025-01-16 cs.LG
SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization
Google Research（谷歌研究院）
该研究结合可微分剪枝与组合优化，提出SequentialAttention++框架，理论证明其非凸正则化特性与近似最优性，在ImageNet和Criteo数据集上实现块剪枝任务的SOTA性能。
2025-02-10 cs.LG
ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning
Westlake University（西湖大学）
ROSE通过重新排序稀疏GPT方法，优先剪枝潜在误差大的权重，提升一次性大语言模型剪枝的准确性。
2026-03-06 cs.CL cs.LG
TSP3D: Text-guided Sparse Voxel Pruning for Efficient 3D Visual Grounding
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
本文提出TSP3D框架，通过文本引导剪枝和基于补全的加法高效融合3D场景与文本特征，在3D视觉定位任务中实现最快推理速度和领先精度。
2025-03-11 cs.CV cs.LG
AutoAdversary: A Pixel Pruning Method for Sparse Adversarial Attack
Nanjing University（南京大学）
深度神经网络（DNN）已被证明容易受到对抗性示例的影响。对抗性示例的一个特殊分支，即稀疏对抗性示例，可以通过仅扰动几个像素来欺骗目标DNN。然而，现有的稀疏对抗攻击多采用探试法选择待扰动像素，将像素选择和对抗攻击视为两个独立的步骤。从神经网络剪枝的角度出发，提出了一种新的端到端稀疏对抗攻击方法AutoAdwords，该方法将像素选择融入到对抗攻击中，自动寻找最重要的像素。具体来说，我们的方法利用可训练的神经网络来生成用于像素选择的二进制掩码。在联合优化对抗性扰动和神经网络之后，仅扰动掩模中与值1相对应的像素。实验表明，我们提出的方法优于几个国家的最先进的方法。此外，由于AutoAdWorth不需要启发式像素选择过程，因此当图像大小增加时，它不会像其他方法那样过度减慢。
2022-03-18 cs.AI cs.CV cs.LG
Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data
University of Texas, Austin（得克萨斯大学奥斯汀分校）；Facebook Inc.（脸书公司）
大规模深度学习通过采用更广泛和更深入的模型来提高内容推荐系统的质量，但这在现代数据中心中带来了巨大的基础设施成本和碳足迹。剪枝是一种有效的技术，可以减少模型推理的内存和计算需求。然而，在线推荐系统的修剪是具有挑战性的，由于连续的数据分布偏移（又名非平稳数据）。虽然完整模型上的增量训练能够适应非平稳数据，但直接将其应用于修剪模型会导致准确性损失。这是因为修剪后的稀疏模式需要调整以学习新的模式。据我们所知，这是第一项深入分析和讨论将修剪应用于具有非平稳数据分布的在线推荐系统的工作。总体而言，本文的工作主要有以下几个方面的贡献：1）提出了一种自适应的密集到稀疏的模式，并结合一种新的剪枝算法，用于对具有非平稳数据分布的大规模推荐系统进行剪枝; 2）设计了自动学习层间稀疏度的剪枝算法，避免了重复手工调整，这对于修剪用非平稳数据训练的推荐系统的异构体系结构是至关重要的。
2020-10-21 cs.LG
