Cyclical Pruning for Sparse Neural Networks
Idiap Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；Qualcomm AI Research（高通人工智能研究院）
用于修剪神经网络权重的当前方法迭代地对模型权重应用基于幅度的修剪，并重新训练所得到的模型以恢复丢失的准确性。在这项工作中，我们表明，这种策略不允许错误修剪的权重的恢复。为了使权重恢复，我们提出了一个简单的策略称为\textit{cyclical pruning}，它需要定期修剪时间表，并允许在一个周期中错误修剪的权重在随后的恢复。在线性模型和大规模深度神经网络上的实验结果表明，循环剪枝优于现有的剪枝算法，特别是在高稀疏率下。我们的方法很容易调整，可以很容易地纳入现有的修剪管道，以提高性能。
2022-02-02 cs.CV cs.LG
Partial Forward Blocking: A Novel Data Pruning Paradigm for Lossless Training Acceleration
National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artifcial Intelligence and Automation, Huazhong University of Science and Technology（multispectral information intelligent processing technology 国家重点实验室，人工智能与自动化学院，华中科技大学）
提出部分前向阻断（PFB）框架，通过浅层特征评估样本重要性并剪枝，结合概率密度动态优先处理罕见样本，实现无损训练加速，在ImageNet上剪枝40%数据可提升0.5%准确率并减少33%训练时间。
2025-06-30 cs.CV
Local Information Matters: Inference Acceleration For Grounded Conversation Generation Models Through Adaptive Local-Aware Token Pruning
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；The University of Queensland（昆士兰大学）
针对GCG任务中现有Token剪枝方法破坏局部视觉特征导致性能下降的问题，提出自适应局部感知Token剪枝框架ALTP，通过DDC和DDF组件优先保留对象局部信息，在大幅减少视觉Token的同时显著提升了模型定位与生成性能。
2025-04-01 cs.CV
RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出RL-Pruner，一种利用强化学习自动学习CNN层级间最优不均匀剪枝分布的结构化剪枝方法，无需特定模型实现即可有效压缩并加速模型。
2024-11-10 cs.AI cs.CV
Pruning and Quantization for Deep Neural Network Acceleration: A Survey
University of Science and Technology Beijing（北京科技大学）；Hua Xia General Processor Technologies（华夏通用处理器技术公司）；General Processor Technologies（通用处理器技术公司）
深度神经网络已经应用于在计算机视觉领域中表现出非凡能力的许多应用中。然而，复杂的网络架构对高效的实时部署提出了挑战，并需要大量的计算资源和能源成本。这些挑战可以通过网络压缩等优化来克服。网络压缩通常可以在精度损失很小的情况下实现。在某些情况下，准确性甚至可以提高。本文综述了两种网络压缩方法：剪枝和量化。修剪可以被分类为静态的（如果它是离线执行的）或动态的（如果它是在运行时执行的）。我们比较修剪技术，并描述用于删除冗余计算的标准。我们讨论了在元素方面，通道方面，形状方面，过滤器方面，层方面，甚至网络方面的修剪的权衡。量化通过降低数据类型的精度来减少计算。权重、偏置和激活通常可以被量化为8位整数，尽管还讨论了包括二进制神经网络的较低位宽实现。修剪和量化可以独立使用或组合使用。我们比较了当前的技术，分析了它们的优缺点，在一些框架上展示了压缩网络的准确性结果，并为压缩网络提供了实用的指导。
2021-06-15 cs.AI cs.CV
A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework
Northeastern University（东北大学）；The College of William and Mary（威廉与玛丽学院）；University of Connecticut（康涅狄格大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
已经提出了深度神经网络（DNN）的权重修剪以满足移动边缘设备的有限存储和计算能力。然而，以往的剪枝方法主要集中在减少模型大小和/或提高性能，而没有考虑用户数据的隐私性。为了减轻这种担忧，我们提出了一个面向隐私保护的修剪和移动加速框架，该框架不需要私有训练数据集。在算法层次上，提出了一种基于交替方向乘法（ADMM）的系统权重剪枝方法，利用随机生成的合成数据迭代求解每一层的基于模式的剪枝问题.此外，编译器级别的相应优化被用于设备上的推理加速。使用该框架，用户可以避免非专家的耗时修剪过程，并直接受益于压缩模型。实验结果表明，所提出的框架优于三个最先进的端到端DNN框架，即，TensorFlow-Lite、TVM和MNN，加速分别高达4.2倍、2.5倍和2.0倍，几乎没有精度损失，同时保护数据隐私。
2020-09-17 cs.AI cs.CV cs.LG
Dynamic Structure Pruning for Compressing CNNs
Korea University（高丽大学）
结构剪枝是压缩和加速神经网络的一种有效方法。虽然滤波器和信道修剪在实际加速和硬件兼容性方面优于其他结构修剪方法，但是具有更细粒度的修剪方法（诸如信道内修剪）被期望能够产生更紧凑和计算效率更高的网络。由于大的搜索空间，典型的通道内修剪方法利用静态和手工修剪粒度，这为其修剪性能留下了改进的空间。在这项工作中，我们引入了一种新的结构修剪方法，称为动态结构修剪，以确定最佳的修剪粒度内通道修剪。与现有的通道内剪枝方法相比，所提出的方法在训练深度神经网络的同时自动优化每层的动态剪枝粒度。为了实现这一目标，我们提出了一种可微组学习方法，旨在有效地学习基于过滤器组的梯度学习的修剪粒度。实验结果表明，动态结构修剪实现了最先进的修剪性能和更好的真实感加速在GPU上相比，通道修剪。特别是，它将ResNet50的FLOP降低了71.85%，而不会降低ImageNet数据集的准确性。我们的代码可在www.example.com上获得。
2023-03-17 cs.AI cs.CV
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei University of Technology（合肥工业大学安全关键工业测量与控制技术教育部工程研究中心）
为了将深度CNN应用于移动终端和便携式设备，许多学者最近致力于压缩和加速深度卷积神经网络。在此基础上，我们提出了一种新的均匀信道修剪（UCP）方法来修剪深度CNN，并使用修改的挤压和激励块（MSEB）来衡量卷积层中信道的重要性。不重要的通道，包括与它们相关的卷积核，直接被修剪，这大大降低了存储成本和计算次数。ResNet中有两种类型的残差块。对于存在瓶颈的ResNet，我们使用传统CNN的修剪方法来修剪块中间的3x 3卷积层。对于具有基本残差块的ResNet，我们提出了一种在同一阶段一致地修剪所有残差块的方法，以确保紧凑的网络结构在维度上是正确的。考虑到网络在剪枝后会丢失大量的信息，而且剪枝幅度越大，丢失的信息就越多，所以我们没有选择微调，而是从头开始重新训练，以恢复剪枝后网络的准确性。最后，在CIFAR-10、CIFAR-100和ILSVRC-2012图像分类器上进行了图像分类的实验验证。结果表明，当剪枝率较小时，从头训练后的紧致网络的性能优于原始网络。即使当修剪幅度较大时，也可以保持或略微降低精度。在CIFAR-100上，当将参数和FLOP分别减少到82%和62%时，VGG-19的准确度在重新训练后甚至提高了0.54%。
2020-10-03 cs.AI cs.CV
Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration
University of Science and Technology of China（中国科学技术大学）
提出基于图的统一数据集剪枝框架，将数据集建模为加权图，通过最大权重团问题选择样本，并设计贪心算法，在多种剪枝比例下优于现有方法，实现ImageNet-1k上40%以上训练加速且不损失精度。
2026-07-07 cs.CV cs.LG
Loss-Aware Automatic Selection of Structured Pruning Criteria for Deep Neural Network Acceleration
Platform Lab, College of Information Technology, Soongsil University, Seoul, South Korea（平台实验室，信息科技学院，顺斯大学，首尔，韩国）；Computing Systems Lab, College of Information Technology, Soongsil University, Seoul, South Korea（计算系统实验室，信息科技学院，顺斯大学，首尔，韩国）
本文提出LAASP方法，通过边训练边剪枝并根据网络损失自动选择剪枝准则与层，实现深度神经网络的高效压缩与加速，在CIFAR-10和ImageNet上显著降低FLOPs且保持高精度。
2025-06-25 cs.AI cs.CV eess.IV
NPAS: A Compiler-aware Framework of Unified Network Pruning and Architecture Search for Beyond Real-Time Mobile Acceleration
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；Rice University（莱斯大学）；Michigan State University（密歇根州立大学）
随着在移动边缘设备上高效部署DNN的需求不断增长，减少不必要的计算并提高执行速度变得更加重要。包括模型压缩和网络架构搜索（NAS）在内的实现该目标的现有方法在很大程度上是独立执行的，并且没有充分考虑编译器级优化，而编译器级优化是移动加速必须做的。在这项工作中，我们首先提出了（i）适用于各种DNN层的细粒度结构化修剪的一般类别，以及（ii）支持不同DNN和不同修剪方案的综合编译器自动代码生成框架，弥补了模型压缩和NAS的差距。我们进一步提出了NPAS，编译器感知的统一网络修剪和架构搜索。为了处理大的搜索空间，我们提出了一个基于强化学习的元建模过程，具有快速评估和贝叶斯优化，确保与代表性NAS框架的总训练次数相当。我们的框架在现成的手机上分别实现了6.7ms，5.9ms，3.9ms的ImageNet推理时间，78.2%，75%（MobileNet-V3级别）和71%（MobileNet-V2级别）的Top-1准确率，始终优于先前的工作。
2021-06-17 cs.AI cs.CV cs.LG
SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beihang University（北京航空航天大学）
针对VLA模型计算成本高、难以适配实时任务的问题，提出SP-VLA框架，通过动作感知模型调度和空间-语义双感知令牌剪枝联合加速，在多个基准上实现显著无损加速且性能有提升。
2025-10-03 cs.AI cs.CV
Online Filter Clustering and Pruning for Efficient Convnets
University of Science and Technology of China（中国科学技术大学）；HeFei University of Technology（合肥工业大学）
修剪过滤器是加速深度神经网络（DNN）的一种有效方法，但大多数现有方法直接在预训练的网络上修剪过滤器，这限制了加速。虽然每个过滤器在DNN中都有自己的效果，但如果两个过滤器彼此相同，我们可以安全地修剪一个。本文在损失函数中增加了一个额外的聚类损失项，使得每个聚类中的滤波器在线相似。训练后，我们在每个集群中保留一个过滤器，并修剪其他过滤器，并微调修剪后的网络以补偿损失。特别地，可以首先定义每层中的簇，这对于修剪残差块内的DNN是有效的。在CIFAR10和CIFAR100基准上的大量实验证明了我们提出的过滤器剪枝方法的竞争性能。
2019-05-28 cs.CV
Rethinking Depth Pruning for Vision Transformers: A Heterogeneity-Aware Perspective
Tsinghua University, Beijing, China（清华大学，北京）
研究指出现有深度剪枝方法因忽视层间异构性而失败，提出异构感知深度剪枝方法HetDPT，避免维度不匹配，实验验证其有效性，与宽度剪枝结合创极端剪枝新纪录。
2026-07-07 cs.AI cs.CV
An Entropy-based Pruning Method for CNN Compression
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文旨在通过过滤器修剪策略同时加速和压缩现成的CNN模型。每个过滤器的重要性评估所提出的基于熵的方法。然后丢弃几个不重要的滤波器以得到较小的CNN模型。最后，通过微调来恢复其泛化能力，在过滤器修剪过程中受损。我们的方法可以减少中间激活的大小，这将在模型训练阶段占据大部分内存占用，但在以前的压缩方法中较少关注。在ILSVRC-12基准测试上的实验证明了该方法的有效性。与以往的过滤器重要性评价标准相比，我们的基于熵的方法获得了更好的性能。我们在VGG-16上实现了3.3倍的加速和16.64倍的压缩，在ResNet-50上实现了1.54倍的加速和1.47倍的压缩，两者的前5名精度都降低了约1%。
2017-06-19 cs.CV
SQAP-VLA: A Synergistic Quantization-Aware Pruning Framework for High-Performance Vision-Language-Action Models
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与技术学院）；University of Arizona（亚利桑那大学）
SQAP-VLA提出首个无需训练的VLA推理加速框架，协同设计量化与令牌剪枝，实现1.93倍加速和最高4.5%成功率提升。
2025-09-11 cs.AI cs.CV
GoPrune: Accelerated Structured Pruning with $\ell_{2,p}$-Norm Optimization
School of Mechatronic Engineering and Automation（机械电子工程与自动化学院）；Shanghai University（上海大学）
GoPrune通过引入ℓ_{2,p}-范数优化，提出了一种高效结构化剪枝方法，提升网络压缩效率。
2025-11-27 cs.CV
FGP: Feature-Gradient-Prune for Efficient Convolutional Layer Pruning
Zhejiang University（浙江大学）；Kingsoft Corporation（金山公司）
本文提出特征-梯度剪枝方法 FGP，通过融合特征与梯度信息更准确地评估通道重要性，在多个任务和数据集上显著降低计算成本并减少精度损失。
2024-11-19 cs.CV
Structured Pruning for Deep Convolutional Neural Networks: A survey
Centre for Frontier AI Research (CFAR), Agency for Science Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）；Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）
本文综述了深度CNN结构化剪枝的最新进展，系统比较了滤波器排序、正则化、动态执行、神经架构搜索、彩票票假设等方法，并展望了未来研究方向。
2023-11-30 cs.CV
Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks
Peking University（北京大学）；Xidian University（西安电子科技大学）
为了在资源有限的设备上部署深度卷积神经网络（CNN），已经开发了许多用于滤波器和权重的模型修剪方法，而只有少数用于层修剪。然而，与过滤器剪枝和权重剪枝相比，在相同的FLOP和参数个数下，层剪枝得到的精简模型由于在内存中移动的数据较少，推理时间和运行时内存占用量更少。在本文中，我们提出了一种简单的层修剪方法，使用可融合的残留卷积块（ResConv），这是通过插入一个可训练的信息控制参数的快捷连接到一个单一的卷积层。在训练中使用ResConv结构可以提高网络精度和训练深层网络，并且在推理过程中不增加额外的计算，因为ResConv在训练后被融合为普通的卷积层。对于层修剪，我们将网络的卷积层转换为具有层缩放因子的ResConv。在训练过程中，采用L1正则化使尺度因子稀疏化，从而自动识别并去除不重要的层，得到一个层约简模型。我们的剪枝方法在不同的数据集上取得了优异的压缩和加速性能，并且在低剪枝率的情况下不需要重新训练。例如，使用ResNet-110，我们通过删除55.5%的参数实现了65.5%的FLOP减少，CIFAR-10的top-1准确度仅损失0.13%。
2020-11-29 cs.CV
LinDeps: A Fine-tuning Free Post-Pruning Method to Remove Layer-Wise Linear Dependencies with Guaranteed Performance Preservation
Montefiore Institute, University of Liège（蒙特福院、列日大学）
针对现有CNN剪枝方法忽略层内特征图结构依赖、剪枝效果欠佳的问题，提出无需微调的后剪枝方法LinDeps，通过带主元QR分解识别冗余滤波器并结合信号恢复机制保性能，在多个数据集和主干网络上实现更优压缩与加速效果。
2025-07-29 cs.CV
Performance-aware Approximation of Global Channel Pruning for Multitask CNNs
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
全局通道修剪（GCP）旨在从深度模型中删除跨不同层的通道（过滤器）子集，而不会影响性能。以往的工作主要集中在单任务模型的剪枝或简单地将其应用于多任务场景，但在处理多任务剪枝时仍然面临以下问题：1）由于任务不匹配，一个良好的分类任务剪枝主干集中在保留能够提取类别敏感信息的过滤器上，导致可能对其他任务有用的过滤器在主干剪枝阶段被剪枝; 2）对于多任务预测，层内或层间的不同过滤器比单任务预测更紧密相关和相互作用，使得多任务修剪更困难。因此，针对多任务模型压缩，我们提出了一个性能感知的全局通道修剪（PAGCP）框架。我们首先从理论上提出了实现卓越GCP的目标，通过考虑层内和层间滤波器的联合显着性。然后提出了一种顺序贪婪剪枝策略来优化目标，其中开发了性能感知的预言标准来评估过滤器对每个任务的敏感性，并保留全局最多的任务相关的过滤器。在多个多任务数据集上的实验表明，提出的PAGCP在性能下降较小的情况下，可以将FLOP和参数减少60%以上，并在云和移动平台上实现1.2倍$\sim$ 3.3倍的加速。
2023-03-21 cs.CV
Equivariant-Aware Structured Pruning for Efficient Edge Deployment: A Comprehensive Framework with Adaptive Fine-Tuning
Faculty of Computers and Information Technology, University of Tabuk（计算机与信息科技学院，塔布克大学）；Artificial Intelligence and Sensing Technologies (AIST) Research Center, University of Tabuk（人工智能与传感技术（AIST）研究中心，塔布克大学）
本文提出一种结合等变卷积网络与结构化剪枝的框架，通过自适应微调和动态量化实现高效边缘部署，有效压缩模型并保持几何鲁棒性。
2025-11-21 cs.CV cs.LG
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）
参数修剪是CNN压缩和加速的一种有前途的方法，通过消除冗余的模型参数，具有可容忍的性能损失。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN的表达能力是脆弱的，并且需要更温和的正则化方式来使网络在修剪过程中适应。为了解决这个问题，我们提出了一种新的基于正则化的修剪方法（名为IncReg），根据其相对重要性将不同的正则化因子递增地分配给不同的权重组，与最先进的方法相比，其有效性在流行的CNN上得到了证明。
2018-12-18 cs.CV cs.LG
SaiT: Sparse Vision Transformers through Adaptive Token Pruning
Samsung Semiconductor Inc.（三星半导体公司）
虽然视觉Transformer已经取得了令人印象深刻的结果，有效和高效地加速这些模型可以进一步提高性能。在这项工作中，我们提出了一个密集/稀疏的训练框架，以获得一个统一的模型，使不同的令牌密度的权重共享。因此，一个模型为不同的应用提供了一系列的准确性和吞吐量权衡。此外，我们引入自适应标记修剪，以优化基于输入图像的补丁标记稀疏度。此外，我们研究知识蒸馏，以提高令牌选择能力的早期Transformer模块。稀疏自适应图像Transformer（SaiT）仅通过动态改变令牌稀疏度来提供不同级别的模型加速。具体而言，SaiT将计算复杂度（FLOPs）降低了39% - 43%，并将吞吐量提高了67% - 91%，而各种视觉Transformer模型的准确性损失小于0.5%。同时，同一模型还通过跳过稀疏化步骤提供了零精度下降选项。SaiT实现了比最先进的Transformer和卷积模型更好的精度和计算权衡。
2022-10-11 cs.CV
TT-MPD: Test Time Model Pruning and Distillation
The University of Melbourne（墨尔本大学）
针对测试时无训练数据且剪枝微调成本高的问题，本文提出TT-MPD，通过近似微调准确率、感知延迟节省的剪枝和一次性伪标签蒸馏，实现更优准确率-延迟权衡并减少32%耗时。
2024-12-10 cs.CV
BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method
Northeastern University（东北大学）；Syracuse University（雪城大学）；College of William and Mary（威廉与玛丽学院）；DiDi AI Labs（滴滴人工智能实验室）
在各种资源有限的计算平台上加速DNN执行一直是一个长期存在的问题。先前的工作利用基于l1的组套索或动态正则化（如ADMM）来对DNN模型执行结构化修剪，以利用并行计算架构。然而，修剪维度和修剪方法都缺乏通用性，导致性能下降和适用性有限。为了解决这个问题，我们提出了一个新的基于块的修剪框架，包括一个通用的和灵活的结构化修剪尺寸以及一个强大的和有效的重加权正则化方法。我们的框架是通用的，可以应用于CNN和RNN，这意味着完全支持两种主要的计算密集型层（即，CONV和FC层）。为了完成加速任务的所有方面，我们还将基于编译器的代码优化集成到我们的框架中，该框架可以实时执行DNN推理。据我们所知，这是权重修剪框架第一次实现CNN和RNN的普遍覆盖，具有实时移动加速，并且没有准确性妥协。
2020-02-22 cs.AI cs.CV cs.LG
HEART-VIT: Hessian-Guided Efficient Dynamic Attention and Token Pruning in Vision Transformer
Department of Computer Science and Engineering, University of Louisville（计算机科学与工程系，路易斯维尔大学）
HEART-ViT是一种基于Hessian的高效动态注意力与令牌剪枝方法，通过二阶信号实现输入自适应的视觉Transformer优化，实现显著的FLOPs减少和性能提升。
2025-12-23 cs.CV
StructADMM: A Systematic, High-Efficiency Framework of Structured Weight Pruning for DNNs
Bar-Ilan University（巴伊兰大学）
DNN的权重修剪方法已被证明可以在不损失准确性的情况下实现良好的模型修剪率，从而减轻大规模DNN的显著计算/存储要求。提出了结构化权重修剪方法，以克服不规则网络结构的限制，并展示了实际的GPU加速。然而，在先前的工作中，修剪率（稀疏度）和GPU加速是有限的（小于50%）时，需要保持准确性。在这项工作中，我们通过提出一个统一的，系统的DNN结构化权重修剪框架来克服这些限制。它是一个框架，可用于诱导不同类型的结构化稀疏性，例如滤波器稀疏性、通道稀疏性和形状稀疏性，以及非结构化稀疏性。该框架将随机梯度下降与ADMM相结合，可以理解为一种动态正则化方法，其中正则化目标在每次迭代中解析更新。在不损失AlexNet模型准确性的情况下，我们在两个GPU上实现了2.58倍和3.65倍的平均测量加速，明显优于之前的工作。当允许2%的适度精度损失时，平均加速比达到3.15倍和8.52倍。在这种情况下，卷积层的模型压缩是15.0倍，对应于11.93倍的测量CPU加速。我们在ResNet模型和其他数据集（如UCF 101和CIFAR-10）上的实验证明了我们的框架具有更高的性能。
2019-03-27 cs.CV cs.LG cs.NE
RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging
Datakalab（Datakalab公司）；ISIR（智能系统与机器人研究所）；Sorbonne Université（索邦大学）
修剪深度神经网络（DNN）是以推理运行时加速为目标的一个重要研究领域。在本文中，我们介绍了一种新的无数据剪枝协议RED++。只需要一个训练有素的神经网络，而不是特定于DNN架构，我们利用自适应无数据标量哈希表现出冗余的神经元权重值。我们研究的理论和经验的保证，从散列的准确性，以及预期的修剪率所产生的利用说冗余的保存。我们提出了一种新的DNN层的无数据修剪技术，该技术去除了输入方面的冗余操作。该算法简单，可并行化，并通过将大计算的负担转移到有效的内存访问和分配来提供DNN修剪的新视角。我们为RED++的性能提供了理论保证，并通过经验证明了其优于其他无数据修剪方法的优势，以及与ResNets，MobileNets和EfficientNets上的数据驱动方法的竞争力。
2021-09-30 cs.CV cs.LG
CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Transformers
Purdue University（普渡大学）
CORP提出一种闭式单次结构剪枝方法，通过未标记校准数据去除MLP维度和注意力子结构，无需梯度或微调，实现高精度下的高效模型压缩。
2026-05-10 cs.CV cs.LG
SpecPrune-VLA: Accelerating Vision-Language-Action Models via Action-Aware Self-Speculative Pruning
Shanghai Jiao Tong University（上海交通大学）
针对视觉-语言-动作模型推理加速，提出结合全局上下文与局部信息的无训练两层剪枝方法，实现高达1.57倍加速且成功率几乎无下降。
2026-11-03 cs.AI cs.CV cs.RO
Accelerating DNN Training with Structured Data Gradient Pruning
Franklin & Marshall College（富兰克林与马歇尔学院）
权重修剪是一种通过减少训练过程中模型参数的数量来使深度神经网络（DNN）推理在计算上更高效的技术。然而，大多数权重修剪技术通常不会加速DNN训练，甚至可能需要更多的迭代来达到模型收敛。在这项工作中，我们提出了一种新的结构化数据梯度修剪（SDGP）方法，可以在不影响模型收敛的情况下加快训练速度。这种方法强制执行一个特定的稀疏结构，其中矩阵中的每M个元素中只有N个可以是非零的，使其适合硬件加速。现代加速器（如Nvidia A100 GPU）支持这种类型的结构化稀疏性，即每4个元素中有2个非零。假设硬件支持2：4稀疏度，我们的方法可以实现15- 25%的总训练时间减少，而不会对性能产生显着影响。源代码和预训练模型可在\url{https://github.com/BradMcDanel/sdgp}上获得。
2022-02-01 cs.CV cs.LG
Sub-network Multi-objective Evolutionary Algorithm for Filter Pruning
Shenzhen University（深圳大学）
过滤器修剪是深度神经网络（DNN）中实现模型压缩和加速的常用方法，一些研究将过滤器修剪视为组合优化问题，从而使用进化算法（EA）对DNN的过滤器进行修剪。然而，由于解空间搜索的复杂性，很难在合理的时间内找到令人满意的折衷解。为了解决这个问题，我们首先制定了一个多目标优化问题的基础上的一个子网络的完整模型，并提出了一个子网络多目标进化算法（SMOEA）的过滤器修剪。SMOEA算法通过逐组地对卷积层进行剪枝，可以获得性能更好的轻量级剪枝结果，并在CIFAR-10的VGG-14模型上进行了实验，验证了SMOEA算法的有效性。具体而言，修剪后的模型的准确性与16.56%的参数仅下降了0.28%，这是优于广泛使用的流行的过滤器修剪标准。
2022-10-22 cs.AI cs.CV cs.NE
Three Dimensional Convolutional Neural Network Pruning with Regularization-Based Method
Zhejiang University（浙江大学）；SUTD-ZJU IDEA（新加坡科技设计大学-浙江大学 信息与数据科学联合实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
三维卷积神经网络（3D CNN）在视频分析中有着广泛的应用，但由于其计算量大、存储量大等特点，限制了其在视频分析中的应用。为了解决这个问题，我们提出了一个三维正则化为基础的神经网络修剪方法来分配不同的正则化参数，不同的权重组的基础上，他们的重要性的网络。此外，我们分析了每一层的冗余和计算成本，以确定不同的剪枝率。实验表明，基于我们的方法修剪可以导致2倍的理论加速比，只有0.41%的准确率损失3DResNet18和3.28%的准确率损失C3D。与其他流行的模型压缩和加速方法相比，该方法具有良好的性能。
2019-05-20 cs.CV cs.LG stat.ML
REPrune: Channel Pruning via Kernel Representative Selection
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology（韩国科学技术研究院）；Hyundai MOBIS（现代摩比斯）
针对传统通道剪枝粒度大、精度下降明显的问题，提出模拟核剪枝的REPrune方法，通过层次凝聚聚类选核代表并优化簇覆盖，结合同步训练剪枝实现渐进剪枝，在视觉任务上兼顾加速比与性能。
2024-03-08 cs.AI cs.CV
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University（东北大学）；IBM Watson Lab（IBM Watson实验室）
结构化权重修剪是DNN的代表性模型压缩技术，用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间，因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制，我们提出了SS-Auto，一个单次，自动结构化修剪框架，可以同时实现行修剪和列修剪。我们采用软约束为基础的配方，以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法，更快的收敛速度和更少的超参数。而不是直接解决问题，提出了一个Primal-Proximal解决方案，以避免惩罚所有权重相等的陷阱，从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明，该框架可以在保持准确性的同时实现超高的剪枝率。此外，通过对智能手机的实际测量，从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
A Survey of Model Compression and Acceleration for Deep Neural Networks
Microsoft（微软）；Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
深度神经网络（DNN）最近在许多视觉识别任务中取得了巨大成功。然而，现有的深度神经网络模型在计算上是昂贵的并且是存储密集的，这阻碍了它们在具有低存储器资源的设备中或者在具有严格延迟要求的应用中的部署。因此，一个自然的想法是在深度网络中执行模型压缩和加速，而不会显著降低模型性能。在过去五年中，这一领域取得了巨大进展。在本文中，我们回顾了最近用于压缩和加速DNN模型的技术。一般来说，这些技术分为四类：参数修剪和量化，低秩因式分解，转移/紧凑卷积滤波器，和知识蒸馏。首先介绍了参数修剪和量化的方法，然后介绍了其他技术。对于每个类别，我们还提供了有关性能，相关应用，优点和缺点的深入分析。然后介绍了一些最近比较成功的方法，如动态容量网络和随机深度网络。之后，我们调查了评估矩阵，用于评估模型性能的主要数据集，以及最近的基准测试工作。最后，对本文进行了总结，并讨论了存在的问题和未来的工作方向.
2020-06-14 cs.CV cs.LG
Sharp Eyes and Memory for VideoLLMs: Information-Aware Visual Token Pruning for Efficient and Reliable VideoLLM Reasoning
SharpV通过自适应视觉标记修剪和键值缓存修剪，提升视频大语言模型的效率与可靠性，是首个无需暴露注意力分数的两阶段修剪框架。
2025-12-04 cs.AI cs.CV
Pruning Filters for Efficient ConvNets
University of Maryland（马里兰大学）；NEC Labs America（NEC美国实验室）
CNN在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近为减少这些开销所做的努力包括修剪和压缩各个层的权重，而不会损害原始精度。然而，基于幅度的权重修剪减少了来自全连接层的大量参数，并且由于修剪后的网络中的不规则稀疏性，可能无法充分降低卷积层中的计算成本。我们提出了一种用于CNN的加速方法，其中我们从CNN中修剪被识别为对输出准确性影响较小的滤波器。通过删除网络中的整个过滤器及其连接的特征图，计算成本显着降低。与修剪权重相比，这种方法不会导致稀疏连接模式。因此，它不需要稀疏卷积库的支持，并且可以与现有的高效BLAS库一起用于密集矩阵乘法。我们发现，即使是简单的过滤器修剪技术，也可以在CIFAR 10上将VGG-16和ResNet-110的推理成本降低高达34%和38%，同时通过重新训练网络恢复接近原始的准确性。
2017-03-10 cs.CV cs.LG
APQF: Agentic Profiling-Guided Structured Pruning and Mixed-Precision Quantization with Adaptive Fine-Tuning
Iowa State University（爱荷华州立大学）
APQF是结合LLM引导与分析支撑的自动化剪枝量化框架，在ImageNet等数据集上实现高压缩比且精度接近基线，优于现有联合剪枝量化方法。
2026-08-07 cs.AI cs.CV cs.LG
Trainability Preserving Neural Pruning
Northeastern University（东北大学）；AInnovation Labs, Inc.（创新奇智实验室有限公司）
最近的许多研究表明，可训练性在神经网络修剪中起着核心作用--无人看管的可训练性受损可能导致严重的性能低下，并无意中放大了再训练学习率的影响，导致有偏见的（甚至是误解的）基准测试结果。本文介绍了可训练性保持修剪（TPP），这是一种可扩展的方法，用于保持网络的可训练性以防止修剪，旨在提高修剪性能，并对重新训练超参数（例如，学习率）。具体来说，我们建议惩罚卷积滤波器的gram矩阵，以将修剪的滤波器与保留的滤波器解相关。除了卷积层之外，为了保持整个网络的可训练性，我们还建议正则化批量归一化参数（规模和偏差）。对线性MLP网络的实证研究表明，TPP可以与Oracle可训练性恢复方案相提并论。在CIFAR10/100上的非线性ConvNets（ResNet56/VGG19）上，TPP的性能明显优于其他对应方法。此外，使用ResNets的ImageNet-1K的结果表明，TPP始终比其他性能最佳的结构化修剪方法表现得更好。代码：www.example.com.
2023-03-03 cs.AI cs.CV cs.LG
DCP-Prune: Ultra-Low Token Pruning with Distribution Consistency Preservation
College of Computer Science, Nankai University（南开大学计算机学院）；Nanjing University of Posts and Telecommunications（南京邮电大学）
提出DCP-Prune框架，通过锚点-上下文图恢复和文本感知令牌聚类选择，在超低令牌预算下保持分布一致性，实现稳定高性能。
2026-06-16 cs.AI cs.CV
Towards Meta-Pruning via Optimal Transport
ETH Zurich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
本文提出Intra-Fusion剪枝方法，利用模型融合和最优传输重新定义剪枝过程，无需微调即可恢复准确率，并在多个数据集上验证了其高效性。
2024-02-13 cs.CV cs.LG
A Unified Framework for Soft Threshold Pruning
Peking University（北京大学）；National Engineering Research Center of Visual Technology（视觉技术国家工程研究中心）；Peng Cheng Laboratory（鹏城实验室）
软阈值剪枝是一种性能先进的剪枝方法。然而，以前的方法要么执行漫无目的的搜索阈值调度器或简单地设置阈值可训练，缺乏从统一的角度理论解释。在这项工作中，我们重新制定软阈值修剪作为一个隐式的优化问题，使用迭代收缩保持算法（ISTA），稀疏恢复和压缩感知领域的经典方法解决。在此理论框架下，将以往软阈值修剪研究中提出的阈值调整策略归结为调整$L_1$-正则化项的不同风格。我们进一步推导出一个最佳的阈值调度器，通过深入研究阈值调度的基础上，我们的框架。该调度器保持$L_1$正则化系数稳定，从优化的角度来看，这意味着一个时不变的目标函数。原则上，导出的剪枝算法可以稀疏任何通过SGD训练的数学模型。我们进行了广泛的实验，并在ImageNet数据集上的人工神经网络（ResNet-50和MobileNet-V1）和脉冲神经网络（SEW ResNet-18）上验证了其最先进的性能。在此框架的基础上，我们得到了一个家庭的修剪方法，包括稀疏训练期间，早期修剪，修剪在初始化。该代码可在www.example.com上获得。
2023-02-25 cs.AI cs.CV cs.LG
Feather the Throttle: Revisiting Visual Token Pruning for Vision-Language Model Acceleration
Stanford University（斯坦福大学）
本研究发现现有视觉令牌早期剪枝加速法存在图像顶部令牌过度剪枝的问题，且现有基准难以检测该缺陷，据此提出FEATHER多阶段剪枝方法，在同等计算节省下将定位基准性能提升5倍以上。
2025-07-31 cs.CV
OrderDP: A Theoretically Guaranteed Lossless Dynamic Data Pruning Framework
The Chinese University of Hong Kong（香港中文大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；Guangzhou Nanfang College（广州南方学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Xiangtan University（湘潭大学）；University of Utah（犹他大学）
提出OrderDP框架，通过随机子集选取与top-q样本选择实现无偏梯度估计，提供收敛性和泛化性理论保证，在CIFAR和ImageNet上降低40%训练成本且保持精度。
2026-06-07 cs.CV cs.LG
Progressive Local Filter Pruning for Image Retrieval Acceleration
Xiamen University of Technology（厦门理工学院）；ReLER, University of Technology Sydney（悉尼科技大学ReLER研究所）
本文重点研究了用于图像检索加速的网络剪枝方法。现有的图像检索工作主要集中在区分性特征的学习上，而对如何加速模型推理的研究较少，这一点在实际应用中应予以考虑。剪枝图像检索模型的挑战在于尽可能多地保留中间层特征。这种不同的要求的检索和分类模型，使传统的修剪方法不适合我们的任务。为了解决这个问题，我们提出了一种新的渐进局部过滤器修剪（PLFP）的图像检索加速方法。具体来说，逐层分析每个滤波器的局部几何特性，并选择可以由邻居替换的滤波器。然后，我们通过逐渐改变滤波器权重来逐步修剪滤波器。通过这种方式，保留了模型的表示能力。为了验证这一点，我们在两个广泛使用的图像检索数据集上评估了我们的方法，即，Oxford 5 k和Paris 6 K，以及一个人重新识别数据集，即，市场-1501。所提出的方法达到了优越的性能，传统的修剪方法，表明所提出的方法用于图像检索的有效性。
2020-01-24 cs.CV
Teacher-Guided One-Shot Pruning via Context-Aware Knowledge Distillation
Apurba-NSU R&D Lab, Department of Electrical and Computer Engineering, North South University, Dhaka, Bangladesh（阿普尔巴-NSU研发实验室，电气与计算机工程系，北方南大学，达卡，孟加拉国）；Apurba Technologies, Sunnyvale, CA 94085, USA（阿普尔巴技术公司，硅谷，加利福尼亚州94085，美国）
教师引导的一次性剪枝通过上下文感知的知识蒸馏，实现高效剪枝与性能保持，适用于资源受限环境。
2025-11-20 cs.AI cs.CV
Less is More: Data Pruning for Faster Adversarial Training
Northeastern University（东北大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
深度神经网络（DNN）对对抗性样本敏感，导致在现实世界中性能脆弱且不可靠。虽然对抗训练（AT）是目前最有效的方法之一，以鲁棒DNN，它是计算上非常昂贵的（例如，5- 10倍的成本高于标准培训）。为了应对这一挑战，现有的方法专注于单步AT，称为快速AT，减少了对抗性示例生成的开销。不幸的是，这些方法在对付更强大的对手时失败了。为了使AT的计算效率，而不损害鲁棒性，本文采取了不同的观点，有效的AT问题。具体来说，我们建议通过利用数据修剪来最大限度地减少数据级别的冗余。大量的实验表明，基于数据修剪的AT可以实现类似或更好的鲁棒（和清洁）的准确性，其unpruned同行，同时显着更快。例如，所提出的战略将CIFAR-10培训加速到3.44倍，将CIFAR-100培训加速到2.02倍。此外，数据修剪方法可以很容易地与现有的对抗性加速技巧相协调，分别在CIFAR-10上获得5.66 X和5.12 X的惊人加速，在CIFAR-100上获得3.67 X和3.07 X的惊人加速。
2023-02-28 cs.CV cs.LG
LIPAR: Training-free Latent Inter-Frame Pruning with Attention Recovery
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta
本文提出LIPAR框架，通过利用视频潜在补丁中的时间冗余性，减少计算延迟，提升视频编辑效率，同时保持生成质量。
2026-11-03 cs.CV
Accelerating ViT Inference on FPGA through Static and Dynamic Pruning
University of Southern California（南加州大学）；DEVCOM Army Research Office（DEVCOM陆军研究办公室）
针对ViT计算复杂度高、静态与动态剪枝简单整合会导致计算不规则且准确率下降的问题，提出算法-硬件协同设计方案，结合硬件感知结构化块剪枝与动态token剪枝并设计训练算法恢复精度，同时开发带负载均衡的多级并行FPGA加速器及实时token剪枝硬件机制，实现高效推理加速。
2024-04-12 cs.AR cs.CV cs.DC
DHP: Differentiable Meta Pruning via HyperNetworks
ETH Zürich（苏黎世联邦理工学院）；The University of Sydney（悉尼大学）；KU Leuven（鲁汶大学）
网络修剪是加速神经网络和减轻模型存储/传输负担的驱动力。随着AutoML和神经架构搜索（NAS）的出现，剪枝已经成为自动机制和基于搜索的架构优化的主题。然而，目前的自动设计依赖于强化学习或进化算法。由于这些算法的不可微性，剪枝算法需要很长的搜索阶段才能达到收敛。为了解决这个问题，本文提出了一种基于超网络的可微剪枝方法来实现网络的自动剪枝。特别设计的超网络将特征向量作为输入，并生成骨干网络的权重参数。隐向量控制骨干网络中卷积层的输出通道，并充当层修剪的句柄。通过对特征向量进行$\ell_1$稀疏正则化并利用邻近梯度求解器，可以获得稀疏特征向量。将稀疏化后的特征向量通过超网络，将生成的权值参数对应的切片去掉，达到网络剪枝的效果。所有层的潜在向量被一起修剪，从而导致自动层配置。在各种网络上进行了大量的实验，用于图像分类、单图像超分辨率和去噪。实验结果验证了该方法的有效性。
2020-08-01 cs.CV cs.LG eess.IV
Cross-Channel Intragroup Sparsity Neural Network
Hangzhou Dianzi University（杭州电子科技大学）；Peiking University（北京大学）；Cerebras Systems（Cerebras系统公司）
现代深度神经网络依赖于过度参数化来实现最先进的泛化。但是过度参数化的模型在计算上是昂贵的。网络修剪通常用于获得要求较低的模型以进行部署。细粒度修剪去除参数张量中的各个权重，并且可以在几乎不降低精度的情况下实现高模型压缩比。然而，它将不规则性引入到计算流程中，并且在实践中通常不会产生改进的模型推理效率。粗粒度模型修剪虽然通过去除组中的网络权重（例如整个滤波器）来实现令人满意的推理加速，但通常会导致显著的准确性下降。本文引入了跨通道组内稀疏结构，在保证模型性能的同时，有效地避免了细粒度剪枝的推理效率低下问题。然后，我们提出了一种新的训练算法，旨在表现良好的约束下的CCI-Sparsity。通过一系列的对比实验，我们表明，我们提出的CCI-Sparsity结构和相应的修剪算法优于现有技术的推理效率的一个相当大的保证金给予适当的硬件加速在未来。
2020-06-12 cs.CV cs.LG
