B-FPGM: Lightweight Face Detection via Bayesian-Optimized Soft FPGM Pruning
CERTH-ITI（希腊研究与技术中心信息技术研究所）
提出一种结合FPGM、SFP和贝叶斯优化的轻量级人脸检测剪枝流程B-FPGM，通过优化各层剪枝率，在WIDER FACE数据集上实现了模型规模与性能的更优折中。
2025-01-28 cs.CV
Bridging The Gaps Between Token Pruning and Full Pre-training via Masked Fine-tuning
National Key Labratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出掩码微调方法，通过掩码图像块并基于未掩码块预测类别，弥合预训练基础模型与令牌剪枝动态视觉Transformer之间的差距，提升初始化质量，使Dynamic ViT在大剪枝比例下获得更高准确率并具备更强泛化能力。
2023-10-26 cs.AI cs.CV
CR-SFP: Learning Consistent Representation for Soft Filter Pruning
Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）
针对软滤波器剪枝中训练重构网络与推理剪枝网络表示不一致导致性能下降的问题，提出CR-SFP框架，通过双向KL散度损失对齐二者后验分布，在不增加推理成本的前提下提升剪枝网络准确率，在多种CNN架构及ImageNet上取得显著效果。
2023-12-17 cs.CV
Softer Pruning, Incremental Regularization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
网络修剪被广泛用于压缩深度神经网络（DNN）。Soft Filter Pruning（SFP）方法在训练期间将修剪的滤波器归零，同时在下一个训练时期更新它们。因此，修剪滤波器的训练信息被完全丢弃。为了利用训练好的修剪滤波器，我们提出了一种SofteR滤波器修剪（SRFP）方法及其变体，渐近SofteR滤波器修剪（ASRFP），简单地用单调递减的参数衰减修剪后的权重。我们的方法在各种网络，数据集和修剪率上表现良好，也可转移到权重修剪。在ILSVRC-2012上，ASRFP修剪了ResNet-34上40%的参数，top-1和top-5精度分别提高了1.63%和0.68%。理论上，SRFP和ASRFP是剪枝滤波器的增量正则化。此外，我们注意到，SRFP和ASRFP追求更好的结果，但降低了收敛速度。
2020-10-19 cs.AI cs.CV
Learned Thresholds Token Merging and Pruning for Vision Transformers
Ghent University（根特大学）；imec（比利时微电子研究中心）
提出 LTMP，通过可学习阈值掩码动态合并和剪枝 Vision Transformer 的 token，在 ImageNet 上以仅一个微调 epoch 实现各缩减率下的最先进准确率。
2023-08-17 cs.CV
Towards Optimal Structured CNN Pruning via Generative Adversarial Learning
Xiamen University（厦门大学）；Beihang University（北京航空航天大学）；University of Chinese Academy of Sciences（中国科学院大学）；BestImage, Tencent Technology (Shanghai) Co.,Ltd（腾讯科技（上海）有限公司贝思图）
滤波器或神经元的结构化修剪已经受到越来越多的关注，用于压缩卷积神经网络。大多数现有方法依赖于以逐层方式进行的多阶段优化，用于迭代地修剪和重新训练，这可能不是最佳的并且可能是计算密集的。此外，这些方法被设计用于修剪特定的结构，例如过滤器或块结构，而不联合修剪异构结构。在本文中，我们提出了一种有效的结构化修剪方法，可以以端到端的方式联合修剪过滤器和其他结构。为了实现这一点，我们首先引入一个软掩模来缩放这些结构的输出，方法是定义一个新的目标函数，用稀疏正则化来将基线和网络的输出与这个掩模对齐。然后，我们通过生成对抗学习（GAL）有效地解决了优化问题，该学习以无标签和端到端的方式学习稀疏软掩码。通过将软掩模中的更多缩放因子强制为零，可以利用快速迭代收缩阈值算法（FISTA）来快速且可靠地去除相应的结构。大量的实验证明了GAL在不同数据集上的有效性，包括MNIST，CIFAR-10和ImageNet ILSVRC 2012。例如，在ImageNet ILSVRC 2012上，修剪后的ResNet-50实现了10.88\%的Top-5错误，并导致了3.7倍的加速。这明显优于最先进的方法。
2019-03-22 cs.CV
Asymptotic Soft Cluster Pruning for Deep Neural Networks
Beijing University of Posts and Telecommunications（北京邮电大学）
过滤器修剪方法通过去除选定的过滤器来引入结构稀疏性，因此对于降低复杂度特别有效。以前的工作经验修剪网络的角度来看，过滤器与较小的范数有助于减少最终的结果。然而，这样的标准已被证明是敏感的过滤器的分布，和准确性可能难以恢复，因为容量差距是固定的，一旦修剪。本文提出了一种新的过滤器剪枝方法--渐近软簇剪枝（ASCP），根据过滤器的相似性来识别网络的冗余度。该方法首先对过参数化网络中的滤波器进行聚类分析，然后通过人工引入冗余度对滤波器进行重构，并提出了几种聚类准则，以更好地保留特征提取能力。在重构后，允许更新滤波器，以消除误选滤波器带来的影响。此外，采用不同的剪枝率衰减策略，稳定剪枝过程，提高最终性能。通过在每个集群内逐渐生成更多相同的过滤器，ASCP可以通过通道添加操作来删除它们，几乎没有精度下降。在CIFAR-10和ImageNet数据集上的大量实验表明，与许多最先进的算法相比，我们的方法可以获得有竞争力的结果。
2022-06-16 cs.AI cs.CV
A Unified Framework for Soft Threshold Pruning
Peking University（北京大学）；National Engineering Research Center of Visual Technology（视觉技术国家工程研究中心）；Peng Cheng Laboratory（鹏城实验室）
软阈值剪枝是一种性能先进的剪枝方法。然而，以前的方法要么执行漫无目的的搜索阈值调度器或简单地设置阈值可训练，缺乏从统一的角度理论解释。在这项工作中，我们重新制定软阈值修剪作为一个隐式的优化问题，使用迭代收缩保持算法（ISTA），稀疏恢复和压缩感知领域的经典方法解决。在此理论框架下，将以往软阈值修剪研究中提出的阈值调整策略归结为调整$L_1$-正则化项的不同风格。我们进一步推导出一个最佳的阈值调度器，通过深入研究阈值调度的基础上，我们的框架。该调度器保持$L_1$正则化系数稳定，从优化的角度来看，这意味着一个时不变的目标函数。原则上，导出的剪枝算法可以稀疏任何通过SGD训练的数学模型。我们进行了广泛的实验，并在ImageNet数据集上的人工神经网络（ResNet-50和MobileNet-V1）和脉冲神经网络（SEW ResNet-18）上验证了其最先进的性能。在此框架的基础上，我们得到了一个家庭的修剪方法，包括稀疏训练期间，早期修剪，修剪在初始化。该代码可在www.example.com上获得。
2023-02-25 cs.AI cs.CV cs.LG
Operation-Aware Soft Channel Pruning using Differentiable Masks
Seoul National University（首尔大学）
本文提出了一种简单有效的数据驱动的通道修剪算法，该算法利用操作的特性，以可微的方式压缩深度神经网络。所提出的方法联合考虑了用于通道修剪的批量归一化（BN）和校正线性单元（ReLU）;它估计两个连续操作停用每个特征图并以高概率修剪通道的可能性。为此，我们学习个别通道的可微掩码，并在整个优化过程中进行软决策，这有助于探索更大的搜索空间和训练更稳定的网络。该框架使我们能够通过模型参数和通道修剪的联合学习来识别压缩模型，而无需额外的微调过程。我们进行了大量的实验，并在输出网络的准确性方面取得了优异的性能，与最先进的方法相比，具有相同的资源量。
2020-07-22 cs.CV cs.LG stat.ML
Interpretability-Guided Soft Pruning of Attention Heads in Vision Transformers
University of Warsaw（华沙大学）
该研究针对视觉基础模型架构庞大的问题，提出可解释性引导的注意力头软剪枝框架SAPER，在ImageNet-1K上实现了优于RAPTOR的精度-效率权衡。
2026-08-04 cs.AI cs.CV
Approximated Oracle Filter Pruning for Destructive CNN Width Optimization
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；Tsinghua University（清华大学）；University of Warwick（华威大学）；Hangzhou Dianzi University（杭州电子科技大学）
设计和运行卷积神经网络（CNN）并不容易，这是由于：1）找到滤波器的最佳数量（即，在给定架构的情况下，每层的宽度）是棘手的;以及2）CNN的计算强度阻碍了在计算受限的设备上的部署。Oracle Pruning的目的是从训练良好的CNN中去除不重要的过滤器，它通过依次去除过滤器并评估模型来估计过滤器的重要性，从而提供了高精度，但遭受无法忍受的时间复杂度，并且需要给定的结果宽度但不能自动找到它。其以二分搜索方式保持搜索最不重要的过滤器，通过随机屏蔽过滤器来进行修剪尝试，累积所产生的错误，并且经由多路径框架来微调模型。由于AOFP可以在多个层上同时修剪，因此我们可以以可接受的时间成本、可忽略的准确性下降和没有启发式知识来修剪现有的非常深的CNN，或者重新设计一个具有更高准确性和更快推理的模型。
2019-05-12 cs.CV cs.LG stat.ML
Efficient Inference of CNNs via Channel Pruning
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
卷积神经网络（CNN）在移动设备和嵌入式系统等资源受限的平台上的部署受到其高实现成本的极大阻碍，从而激发了大量对训练的CNN模型进行压缩和加速的研究兴趣。在众多的修剪技术中，结构化修剪技术，尤其是通道修剪技术，由于其在内存、计算量和能耗方面的优越性能以及对现有硬件和软件库的友好性而受到广泛关注。在本文中，我们研究了卷积层的中间结果，并提出了一种新的基于枢轴QR分解的通道修剪技术，可以修剪任何层的任何指定数量的输入通道。我们还通过对我们的技术进行两次调整，在类似ResNet的架构中探索更多的修剪机会。使用ImageNet ILSVRC 2012数据集对VGG-16和ResNet-50模型进行的实验结果非常令人印象深刻，计算量减少了4.29倍和2.84倍，而仅牺牲了约1.40\%的前5名精度。与许多先前的工作相比，修剪模型所产生的我们的技术需要高达47.7%的计算，同时仍然达到更高的精度。
2019-08-08 cs.CV
Soft Label Pruning and Quantization for Large-Scale Dataset Distillation
CFAR, Agency for Science, Technology and Research, Singapore（新加坡科技研究局应用科学与技术研究院）；IHPC, Agency for Science, Technology and Research, Singapore（新加坡科技研究局信息与通信技术研究院）；National University of Singapore（新加坡国立大学）
本文提出LPQLD方法，通过增强图像多样性与监督多样性，减少软标签存储量并提升准确率，适用于大规模数据集蒸馏。
2026-04-20 cs.AI cs.CV cs.LG
Parameter-Level Soft-Masking for Continual Learning
KDDI Research, Inc.（KDDI研究所）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出参数级软掩码技术SPG，通过基于参数重要性部分阻止更新，在持续学习中同时克服灾难性遗忘、促进知识转移并解决网络容量问题。
2023-06-26 cs.CV cs.LG
Unifying Dataset Pruning and Distillation for Efficient Large-scale Compression
University of Science and Technology of China（中国科学技术大学）
本文提出一个统一的数据集压缩基准，探讨数据集剪枝与蒸馏的收敛趋势，发现软标签蒸馏在小数据集上表现不如剪枝，提出基于硬标签的数据集压缩方法，通过PCA框架提升图像质量和存储效率。
2026-06-04 cs.CV cs.LG
Filter-Pruning of Lightweight Face Detectors Using a Geometric Median Criterion
CERTH-ITI（希腊研究与技术中心-信息技术研究所）
本文针对资源受限设备上的轻量级人脸检测器，提出将基于几何中位数的滤波器剪枝（FPGM）与软滤波器剪枝（SFP）迭代过程相结合的方法，在EXTD和EResFD上验证了其能在有限精度损失下进一步压缩模型尺寸。
2023-11-28 cs.CV
ONG: One-Shot NMF-based Gradient Masking for Efficient Model Sparsification
Dept. of CSE, Indian Institute of Technology Jammu, India（计算机科学与工程系，印度理工学院贾姆鲁分校）
本文提出ONG方法，利用非负矩阵分解在训练初期一次性识别重要权重结构，并通过梯度掩码严格维持目标稀疏性，在CIFAR数据集上以ResNet系列模型验证了其与现有稳定稀疏化方法相当或更优的性能。
2025-08-18 cs.CV
SPViT: Enabling Faster Vision Transformers via Soft Token Pruning
Northeastern University（东北大学）；Clemson University（克莱姆森大学）；Peking University（北京大学）；College of William and Mary（威廉与玛丽学院）；ETH Zürich（苏黎世联邦理工学院）
最近，视觉Transformer（ViT）在计算机视觉领域不断树立新的里程碑，而高昂的计算和内存成本使其在工业生产中的传播困难重重。剪枝是一种用于硬件效率的传统模型压缩范例，已广泛应用于各种DNN结构中。然而，它仍然模糊不清如何执行排他性修剪的ViT结构。考虑三个关键点：ViT的结构特征、内部数据模式以及相关的边缘设备部署，我们利用输入令牌稀疏性并提出了一种计算感知的软修剪框架，该框架可以建立在平坦和CNN类型结构的普通Transformers上，例如基于池的ViT（PiT）。更具体地说，我们设计了一个动态的注意力为基础的多头令牌选择器，这是一个轻量级的模块，自适应的实例明智的令牌选择。我们进一步引入了一种软修剪技术，它将选择器模块生成的信息量较少的令牌集成到一个包令牌中，该包令牌将参与后续的计算，而不是被完全丢弃。通过我们提出的计算感知训练策略，我们的框架必然会在特定边缘设备的准确性和计算约束之间进行权衡。实验结果表明，我们的框架显着降低了计算成本的ViTs，同时保持相当的性能图像分类。此外，我们的框架可以保证识别的模型，以满足移动设备和FPGA的资源规格，甚至实现DeiT-T在移动平台上的实时执行。例如，我们的方法将DeiT-T在移动终端上的延迟降低到26 ms（比现有作品高出26% $\sim $ 41%），在ImageNet上的前1名准确率高出0.25% $\sim $ 4…
2022-09-20 cs.AI cs.AR cs.CV
Are Large-scale Soft Labels Necessary for Large-scale Dataset Distillation?
CFAR, Agency for Science, Technology and Research, Singapore（新加坡科技研究局CFAR）；National University of Singapore（新加坡国立大学）；IHPC, Agency for Science, Technology and Research, Singapore（新加坡科技研究局IHPC）
针对大规模数据集蒸馏中软标签存储量过大的问题，提出类内组批的类内监督方法提升浓缩图像类内多样性，仅用随机剪枝即可实现40倍软标签压缩且性能提升2.6%。
2024-11-03 cs.CV
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities
非结构化神经网络剪枝算法已经取得了令人印象深刻的压缩率。然而，所得到的通常不规则的稀疏矩阵妨碍了有效的硬件实现，导致额外的存储器使用和复杂的控制逻辑，这减少了非结构化修剪的好处。这刺激了结构化粗粒度修剪解决方案，修剪整个过滤器甚至层，以降低灵活性为代价实现高效实现。在这里，我们提出了一种灵活的新的修剪机制，便于在不同的粒度（权重，内核，过滤器/特征映射）修剪，同时保持有效的内存组织（例如，修剪每个输出神经元的k-out-of-n权重，或修剪每个特征映射的k-out-of-n内核）。我们将该算法称为动态概率剪枝（DPP）。DPP利用Gumbel-softmax松弛进行可微的n取k采样，促进端到端优化。我们表明，DPP在修剪在不同基准数据集上训练的用于图像分类的常见深度学习模型时，可以实现具有竞争力的压缩率和分类准确性。相关地，DPP的非基于幅度的性质允许修剪和权重量化的联合优化，以便进一步压缩网络，我们也展示了这一点。最后，我们提出了新的信息理论指标，显示了一个层内的修剪掩模的信心和修剪多样性。
2021-05-26 cs.CV cs.LG
Masking Adversarial Damage: Finding Adversarial Saliency for Robust and Sparse Network
KAIST（韩国科学技术院）
对抗性示例会在深度神经网络中引发弱可靠性和潜在的安全问题。虽然对抗训练已经被广泛研究以提高对抗鲁棒性，但它工作在过度参数化的机制中，需要高计算量和大量内存预算。为了解决对抗性鲁棒性和模型压缩之间的矛盾，提出了一种新的对抗性剪枝方法--掩蔽对抗性损伤（MAD），该方法利用了对抗性损失的二阶信息。通过使用它，我们可以准确地估计模型参数的对抗显著性，并确定哪些参数可以被修剪而不削弱对抗鲁棒性。此外，我们揭示了初始层的模型参数对对抗性示例高度敏感，并表明压缩特征表示保留了目标对象的语义信息。通过在三个公共数据集上的大量实验，我们证明了MAD有效地修剪了经过对抗训练的网络，而不会失去对抗鲁棒性，并且比以前的对抗修剪方法表现出更好的性能。
2022-04-06 cs.CV
Sparse by Rule: Probability-Based N:M Pruning for Spiking Neural Networks
Nanyang Technological University（南洋理工大学）
针对现有SNN剪枝方法难以兼顾精度、硬件友好性与灵活性的问题，提出首个面向SNN的半结构化N:M剪枝框架SpikeNM，搭配资格启发蒸馏方法，可在2:4稀疏度下保持甚至提升精度，生成适配硬件的稀疏模式。
2025-11-15 cs.CV
AdapMTL: Adaptive Pruning Framework for Multitask Learning Model
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出 AdapMTL 自适应剪枝框架，通过共享主干与任务头的可学习软阈值及任务损失自适应加权，在 NYU-v2 和 Tiny-Taskonomy 上实现优于现有方法的多任务精度与稀疏性平衡。
2024-08-07 cs.CV cs.LG
How Not to Give a FLOP: Combining Regularization and Pruning for Efficient Inference
Stanford University（斯坦福大学）
在部署阶段加速深度学习模型的挑战一直是现代科技行业中一个巨大而昂贵的瓶颈。在本文中，我们研究了正则化和修剪的使用，以降低深度神经网络（DNN）中的计算复杂性和更有效的推理。特别是，我们将mixup和cutout正则化以及软过滤器修剪应用于ResNet架构，专注于最小化浮点运算（FLOPs）。此外，通过使用正则化结合网络修剪，我们表明，这样的组合使一个实质性的改善，每一个单独的两种技术。
2020-04-09 cs.CV cs.LG eess.IV
CorrAdaptor: Adaptive Local Context Learning for Correspondence Pruning
China Mobile Zijin Innovation Insititute（中国移动紫金创新研究院）；Nanjing University（南京大学）
针对现有对应关系剪枝方法依赖k近邻难以捕捉鲁棒上下文的问题，提出含显隐双分支局部图学习与运动注入模块的CorrAdaptor架构，在多类对应关系任务上取得SOTA性能。
2024-08-15 cs.CV
REPrune: Channel Pruning via Kernel Representative Selection
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology（韩国科学技术研究院）；Hyundai MOBIS（现代摩比斯）
针对传统通道剪枝粒度大、精度下降明显的问题，提出模拟核剪枝的REPrune方法，通过层次凝聚聚类选核代表并优化簇覆盖，结合同步训练剪枝实现渐进剪枝，在视觉任务上兼顾加速比与性能。
2024-03-08 cs.AI cs.CV
All-in-One: A Highly Representative DNN Pruning Framework for Edge Devices with Dynamic Power Management
Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）；George Mason University（乔治梅森大学）
在边缘设备上部署深度神经网络（DNN）的过程中，许多研究工作都致力于有限的硬件资源。然而，很少有人注意到动态电源管理的影响。由于边缘设备通常只有电池的能量预算（而不是服务器或工作站上几乎无限的能量支持），它们的动态电源管理通常会改变执行频率，如广泛使用的动态电压和频率缩放（DVFS）技术。这导致推理速度性能非常不稳定，特别是对于计算密集型DNN模型，这可能会损害用户体验并浪费硬件资源。我们首先发现这个问题，然后提出了所有功能于一身，一个高度代表性的修剪框架，使用DVFS的动态电源管理。该框架可以只使用一组模型权重和软掩模（连同其他辅助参数的可忽略的存储）来表示多个模型的各种修剪率。通过将模型重新配置为针对特定执行频率（和电压）的对应修剪比率，我们能够实现稳定的推理速度，即，使各种执行频率下的速度性能差异尽可能小。实验结果表明，该方法不仅对不同剪枝率的多个模型具有较高的准确率，而且在仅使用一个模型和一个软掩码的情况下，以最小的内存消耗降低了不同频率下的推理延迟方差。
2022-12-09 cs.AI cs.CV cs.LG
Out-of-Distributed Semantic Pruning for Robust Semi-Supervised Learning
Peking University（北京大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
本文提出OOD语义剪枝框架，通过混叠OOD匹配和软正交正则化从分布内特征中剪除分布外语义，显著提升鲁棒半监督学习中的ID分类和OOD检测性能。
2023-05-30 cs.AI cs.CV
Distilling the Knowledge in Data Pruning
Amazon（亚马逊公司）
针对高剪枝比例下数据剪枝易损失模型准确率的问题，提出在剪枝数据训练中结合知识蒸馏的方法，验证了其跨数据集与剪枝方法的有效性，还揭示了剪枝因子与蒸馏权重、教师模型规模的关联规律。
2024-08-14 cs.CV cs.LG
Exploring 3D Dataset Pruning
VILA Lab, Department of Machine Learning, MBZUAI（VILA实验室，机器学习系，MBZUAI）
本文提出了一种针对3D数据集剪枝的方法，通过解决长尾分布和先验不匹配问题，提升整体准确率和平均准确率。
2026-02-28 cs.CV cs.LG
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University（东北大学）；IBM Watson Lab（IBM Watson实验室）
结构化权重修剪是DNN的代表性模型压缩技术，用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间，因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制，我们提出了SS-Auto，一个单次，自动结构化修剪框架，可以同时实现行修剪和列修剪。我们采用软约束为基础的配方，以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法，更快的收敛速度和更少的超参数。而不是直接解决问题，提出了一个Primal-Proximal解决方案，以避免惩罚所有权重相等的陷阱，从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明，该框架可以在保持准确性的同时实现超高的剪枝率。此外，通过对智能手机的实际测量，从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
GHFP: Gradually Hard Filter Pruning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
过滤器修剪被广泛用于减少深度学习的计算，从而使深度神经网络（DNN）能够在资源有限的设备中部署。传统的硬滤波器剪枝（HFP）方法将剪枝后的滤波器归零并停止更新，从而减小了模型的搜索空间。相反，Soft Filter Pruning（SFP）简单地将修剪的过滤器归零，在接下来的训练时期中不断更新它们，从而保持网络的容量。然而，SFP及其变体由于其更大的搜索空间而收敛得比HFP慢得多。我们的问题是基于SFP的方法和HFP是否可以结合起来，以实现更好的性能和加速收敛。首先，我们概括了基于SFP的方法和HFP，分析了它们的特点。然后提出了一种渐进式硬过滤剪枝（GHFP）方法，在训练和剪枝过程中从基于SFP的方法平滑切换到基于HFP的方法，从而首先保持较大的搜索空间，然后逐渐减小模型的容量，以保证适度的收敛速度。在CIFAR-10/100上的实验结果表明，该方法达到了最先进的性能。
2020-11-06 cs.CV cs.LG eess.IV
Achieving Fairness Through Channel Pruning for Dermatological Disease Diagnosis
University of Notre Dame（圣母大学）；National Tsing Hua University（国立清华大学）；The Chinese University of Hong Kong（香港中文大学）；University of Pittsburgh（匹兹堡大学）
针对医学图像分类模型的人口属性偏差问题，提出基于软最近邻损失的通道剪枝框架，通过剪枝致偏差关键通道，在准确率损失较小的情况下提升皮肤病诊断的公平性，实现了准确率与公平性的最优权衡。
2024-05-14 cs.AI cs.CV
ADMP: An Adversarial Double Masks Based Pruning Framework For Unsupervised Cross-Domain Compression
Tsinghua University（清华大学）
尽管近年来网络修剪技术取得了一定的进展，但将其直接应用于物联网（IoT）应用仍然面临两大挑战，即端和云数据之间的分布差异和端设备上数据标签的缺失。一个简单的解决方案是结合无监督领域自适应（UDA）技术和修剪。例如，模型首先在云上修剪，然后通过UDA从云传输到端。然而，这种简单的组合面临着高性能降级。因此，这项工作提出了一个基于双掩码的修剪（AMDO）这样的跨域压缩。在Aesthetics中，我们构建了一个知识蒸馏框架，不仅产生伪标签，而且还提供了一个测量领域分歧的输出之间的差异，全尺寸的教师和修剪的学生。与现有的基于掩码的修剪工作不同，ANOM采用了两种对抗性掩码，即软掩码和硬掩码。因此，April可以有效地修剪模型，同时仍然允许模型提取强大的域不变特征和鲁棒的分类边界。在训练过程中，交替方向乘法器方法被用来克服{0，1}-掩码的二进制约束。在ImageCLEF-DA数据集上，该算法可以分别以0.2%和0.3%的平均精度损失修剪60%的通道。与现有技术相比，我们可以实现约1.63倍的参数减少和4.1%和5.1%的精度提高。
2020-06-07 cs.CV cs.LG
End-to-End Supermask Pruning: Learning to Prune Image Captioning Models
Universiti Malaya（马来亚大学）
随着深度模型的发展，在过去十年中，对图像描述的研究工作在原始性能方面取得了显着的进步，同时增加了模型复杂性和计算成本。然而，令人惊讶的是，用于图像描述任务的深度网络压缩工作几乎没有受到关注。对于第一次在图像描述研究，我们提供了一个广泛的比较各种非结构化的权重修剪方法在三个不同的流行的图像描述架构，即软注意，上下和对象关系Transformer。在此之后，我们提出了一种新的端到端的权重修剪方法，该方法基于权重对训练损失的敏感性进行渐进稀疏化。然后，修剪方案扩展与编码器修剪，在那里我们表明，同时进行解码器修剪和训练之前的编码器修剪提供了良好的整体性能。从经验上讲，我们证明了80%到95%的稀疏网络（模型大小减少了75%）可以匹配或优于其密集网络。Up-Down和Object Relation Transformer的代码和预训练模型能够在MS-COCO数据集上实现CIDER分数>120，但模型大小仅为8.7 MB和14.5 MB（与密集版本相比，大小分别减少了96%和94%），可在https://github.com/jiahuei/sparse-image-captioning上公开获得。
2021-10-07 cs.CL cs.CV cs.LG
Bayesian Neural Networks at Scale: A Performance Analysis and Pruning Study
Argonne Leadership Computing Facility（阿贡领导力计算设施）；Argonne National Laboratories（阿贡国家实验室）
贝叶斯神经网络（BNN）是一种获得神经网络预测的统计不确定性的有前途的方法，但具有较高的计算开销，这可能限制其实际使用。这项工作探索了使用高性能计算和分布式训练来解决大规模训练BNN的挑战。我们提出了在Cray-XC 40集群上训练VGG-16和Resnet-18模型的性能和可扩展性比较。我们证明了网络修剪可以在不损失准确性的情况下加快推理速度，并提供了一个开源软件包{ \it{BPrune} }来自动进行这种修剪。对于某些模型，我们发现修剪高达80%的网络只会导致7.0%的准确性损失。随着深度学习的新硬件加速器的开发，BNN在性能基准测试方面具有相当大的兴趣。这种大规模训练BNN的分析概述了与传统神经网络相比的局限性和好处。
2020-05-28 cs.CV cs.LG eess.IV
PDP: Parameter-free Differentiable Pruning is All You Need
Apple Inc.（苹果公司）
本文提出了一种高效且通用的训练时无参数可微剪枝方案PDP，通过权重的动态函数生成软掩码，在视觉和语言任务的模型大小、准确率及训练成本上均达到SOTA。
2023-11-17 cs.AI cs.CV cs.LG
Cross-Self KV Cache Pruning for Efficient Vision-Language Inference
The University of Sydney（悉尼大学）；School of Computer Science（计算机学院）
针对视觉-语言模型中 KV 缓存剪枝受模态分布差异影响而误删关键视觉 token 的问题，本文提出免训练的 CSP，通过模态内/模态间注意力分解与 n-softmax 实现高效稳定推理。
2024-12-05 cs.AI cs.CV
When Masking Helps or Hurts Robustness in Compressed CLIP: A Pre-Deployment Diagnostic
Technological University Dublin（都柏林理工大学）
本文提出无标签部署前诊断指标SIM，预测掩蔽令牌剪枝对最差组鲁棒性的影响，并设计批量GPU分割优化，在8个数据集上验证其有效性。
2026-10-01 cs.AI cs.CV
A "Network Pruning Network" Approach to Deep Model Compression
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了一个过滤器修剪方法，深度模型压缩，使用多任务网络。我们的方法是基于学习一个修剪器网络来修剪一个预先训练好的目标网络。修剪器本质上是一个多任务深度神经网络，具有二进制输出，有助于识别原始网络每层中对模型没有任何显著贡献的过滤器，因此可以修剪。修剪器网络具有与原始网络相同的架构，除了它具有包含二进制值输出（每个过滤器一个）的多任务/多输出最后一层，这表明哪些过滤器必须被修剪。修剪器的目标是通过为相应的输出特征图分配零权重来最小化原始网络中的过滤器数量。与大多数现有方法相比，我们的方法不依赖于迭代修剪，而是可以一次性修剪网络（原始网络），而且不需要指定每层的修剪程度（并且可以学习它）。我们的方法产生的压缩模型是通用的，不需要任何特殊的硬件/软件支持。此外，增加其他方法，如知识蒸馏，量化，连接修剪可以增加所提出的方法的压缩程度。我们展示了我们所提出的方法分类和目标检测任务的有效性。
2020-01-15 cs.CV cs.LG stat.ML
Neural network relief: a pruning algorithm based on neural activity
Delft University of Technology（代尔夫特理工大学）；Brown University（布朗大学）
受大脑特化区域推理机制启发，提出基于神经活动重要性评分的迭代剪枝算法，在多种网络架构与数据集上实现更高参数压缩率，且适配不同优化器。
2024-03-05 cs.CV cs.LG
Group channel pruning and spatial attention distilling for object detection
Hainan University（海南大学）；Peking University（北京大学）
针对目标检测网络压缩难直接部署的问题，提出融合动态稀疏训练、分组通道剪枝和空间注意力蒸馏的三阶段方法，在 YOLOv4 与 PASCAL VOC 上显著降低参数量和计算量。
2023-06-02 cs.AI cs.CV
Achieving Fair Skin Lesion Detection through Skin Tone Normalization and Channel Pruning
Dept of Medical Physics \& Biomedical Engineering, University College London, UK
针对皮肤病变分类中的多属性偏见问题，提出基于ITA损失的肤色归一化增强与元学习联合通道剪枝框架，在ISIC2019上同时改善多敏感属性公平性且准确率无显著下降。
2025-09-24 cs.CV eess.IV
Pruning the Paradox: How CLIP's Most Informative Heads Enhance Performance While Amplifying Bias
Intel Labs（英特尔实验室）；Oracle（Oracle公司）；Thoughtworks（Thoughtworks公司）
本文提出概念一致性分数（CCS）度量 CLIP 注意力头与概念的对齐程度，发现高 CCS 头既对性能、分布外检测和视频-语言理解至关重要，又会学习虚假相关性并放大社会偏见，从而揭示 CLIP 性能与偏见并存的悖论。
2025-09-19 cs.AI cs.CV
Lightweight Monocular Depth Estimation Model by Joint End-to-End Filter pruning
University of Alberta（阿尔伯塔大学）
卷积神经网络（CNN）已经成为包括深度估计在内的多视觉任务中的最新技术。然而，内存和计算能力的要求仍然是这些模型中要解决的挑战。单目深度估计在需要部署在低端设备上的机器人和虚拟现实中具有重要用途。从头开始训练一个小模型会导致准确性显著下降，并且它不会从预先训练的大模型中受益。受模型修剪文献的启发，我们提出了一种从大型训练模型中获得的轻量级单目深度模型。这是通过使用新的联合端到端过滤器修剪来去除最不重要的特征来实现的。我们建议为每个过滤器学习一个二进制掩码，以决定是否删除该过滤器。这些掩码被联合训练，以利用不同层的滤波器之间的关系以及同一层内的冗余。我们表明，我们可以在KITTI驾驶数据集上实现约5倍的压缩率，同时精度略有下降。我们还表明，掩蔽可以提高精度的基线与更少的参数，即使没有强制压缩损失。
2019-05-13 cs.CV
Energy-Regularized Spatial Masking: A Novel Approach to Enhancing Robustness and Interpretability in Vision Models
DAVID Lab, UVSQ, Paris-Saclay University（DAVID实验室，UVSQ，巴黎-萨克雷大学）；LIPN, UMR CNRS 7030, Sorbonne Paris Nord University（LIPN，UMR CNRS 7030，索邦巴黎北大学）；LISN, Paris-Saclay University（LISN，巴黎-萨克雷大学）
本文提出能量正则化空间遮蔽框架，通过可微能量最小化问题重新定义特征选择，实现更鲁棒和可解释的视觉模型。
2026-06-09 cs.CV cs.LG
Extracting Effective Subnetworks with Gumbel-Softmax
Netatmo
大型和高性能的神经网络通常是过度参数化的，并且由于修剪，可以在大小和复杂性上大大降低。剪枝是一组方法，旨在删除网络中冗余或不必要的权重或权重组。这些技术允许创建轻量级网络，这在嵌入式或移动应用程序中尤其重要。在本文中，我们设计了一种替代修剪方法，允许从较大的未训练的子网络中提取有效的子网络。我们的方法是随机的，并通过探索不同的拓扑结构，使用Gumbel Softmax采样提取子网络。后者还用于训练概率分布，该概率分布测量采样拓扑中权重的相关性。使用高效的重新缩放机制进一步增强所产生的子网络，从而减少训练时间并提高性能。在CIFAR上进行的大量实验表明，我们的子网络提取方法优于相关工作。
2023-02-14 cs.CV
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution
Rochester Institute of Technology（罗切斯特理工学院）；Northeastern University（东北大学）；ETH Zürich（苏黎世联邦理工学院）
针对图像超分辨率模型计算与内存开销高的问题，本文提出 ISS-P 非结构化剪枝方法，从零训练稀疏网络并动态优化结构，在多种架构和基准上验证了有效性。
2023-08-18 cs.CV
Channel selection using Gumbel Softmax
Cornell Tech（康奈尔科技校区）；Google Research（谷歌研究院）
诸如移动计算的重要应用要求降低神经网络推理的计算成本。理想情况下，应用程序将指定其在准确性和速度之间的首选权衡，网络将优化此端到端，使用分类错误来删除网络的一部分。提高速度可以在训练期间进行-例如，修剪过滤器-或在推断期间-例如，有条件地执行所述层的子集。我们提出了一个单一的端到端的框架，可以提高在这两种设置的推理效率。我们使用批量激活损失和分类损失的组合，以及Gumbel重新参数化来学习网络结构。我们进行端到端的训练，同样的技术支持修剪和条件计算。使用ResNet进行ImageNet分类，我们获得了有希望的实验结果（计算量减少45 - 52%）。
2020-11-23 cs.CV
Optimal Eye Surgeon: Finding Image Priors through Sparse Generators at Initialization
Michigan State University（密歇根州立大学）；University of Michigan – Ann Arbor（密歇根大学安娜堡分校）
本文提出 OES 框架，通过在随机初始化时将深度生成网络剪枝至欠参数化水平，得到 Sparse-DIP 子网络，从而在图像恢复中有效抵抗噪声过拟合并优于彩票假说等剪枝方法。
2024-06-07 cs.AI cs.CV cs.LG
PRISM: Privacy-Preserving Improved Stochastic Masking for Federated Generative Models
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）；Yonsei University（延世大学）
针对联邦生成模型通信成本高、异构数据下训练不稳定的问题，提出PRISM框架，通过搜索随机网络最优二进制掩码、结合MMD损失与MADA聚合，实现低通信开销、高生成性能的轻量隐私保护联邦生成模型。
2025-03-24 cs.CR cs.CV cs.LG
