Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在本文中，我们分析了两个流行的网络压缩技术，即过滤器修剪和低秩分解，在一个统一的意义上。通过简单地改变稀疏正则化的实施方式，可以相应地导出滤波器修剪和低秩分解。这为网络压缩提供了另一种灵活的选择，因为这两种技术可以相互补充。例如，在具有快捷连接的流行网络架构（例如ResNet）中，过滤器修剪无法处理ResBlock中的最后一个卷积层，而低秩分解方法可以。此外，我们建议联合压缩整个网络，而不是以逐层的方式。我们的方法证明了它的潜力，因为它在几个基准上与最先进的方法相比是有利的。
2020-03-19 cs.CV
Rank-Based Filter Pruning for Real-Time UAV Tracking
Guilin University of Technology（桂林理工大学）；Southern University of Science and Technology（南方科技大学）；Sichuan University（四川大学）
无人机跟踪在农业、航海、公共安全等领域有着广泛的应用前景。然而，无人机的计算资源、电池容量和最大载荷的限制阻碍了基于深度学习的跟踪算法在无人机上的部署。因此，判别相关滤波器（DCF）跟踪器脱颖而出，在无人机跟踪社区，因为他们的高效率。然而，它们的精度通常远低于基于深度学习的跟踪器。模型压缩是一种有希望缩小间隙的方法（即，基于DCF和深度学习的跟踪器之间的效率，精度），这在无人机跟踪中没有引起太多的关注。在本文中，我们提出了P-SiamFC++跟踪器，这是第一个使用基于秩的过滤器修剪压缩SiamFC++模型，实现了效率和精度之间的显着平衡。该方法具有一定的通用性，对进一步研究基于模型压缩的无人机跟踪问题具有一定的参考价值。在UAV123@10fps、DTB 70、UAVDT和Vistrone 2018等四个无人机基准上进行的大量实验表明，P-SiamFC++跟踪器的性能明显优于最先进的无人机跟踪方法。
2022-07-05 cs.CV
Investigating Channel Pruning through Structural Redundancy Reduction -- A Statistical Study
University of Tennessee（田纳西大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Sun Yat-Sen University（中山大学）
大多数现有的信道修剪方法从降低低效率的角度制定修剪任务，迭代地排名并删除最不重要的滤波器，或者找到修剪后最小化某些重建误差的滤波器集合。在这项工作中，我们从一个新的角度与统计建模研究的通道修剪。我们假设在某一层的过滤器的数量反映了在该层的“冗余”的水平，从而制定从冗余减少方面的剪枝问题。在理论分析和实证研究的基础上，我们发现：随机修剪过滤器从高冗余层优于修剪最不重要的过滤器在所有层的基础上的国家的最先进的排名标准。这些结果推进了我们对修剪的理解，并进一步证明了最近的发现，即与继承的权重相比，修剪模型的结构在网络效率中起着关键作用。
2019-07-16 cs.CV
Entropy Induced Pruning Framework for Convolutional Neural Networks
结构化剪枝技术在卷积神经网络上实现了很好的压缩性能，用于图像分类任务。然而，大多数现有的方法都是面向权重的，当原始模型训练得不好时，它们的剪枝结果可能不令人满意。也就是说，需要一个经过充分训练的模型来提供有用的体重信息。这可能是耗时的，并且修剪结果对模型参数的更新过程敏感。在本文中，我们提出了一个度量称为平均过滤器信息熵（AFIE）来衡量每个过滤器的重要性。它通过三个主要步骤计算，即，每个卷积层的“输入-输出”矩阵的低秩分解、所获得的特征值的归一化、以及基于信息熵的滤波器重要性的计算。通过利用所提出的AFIE，所提出的框架能够对每个过滤器产生稳定的重要性评估，无论原始模型是否经过充分训练。我们基于AlexNet，VGG-16和ResNet-50实现了我们的AFIE，并分别在MNIST，CIFAR-10和ImageNet上进行了测试。实验结果令人鼓舞。我们惊讶地观察到，对于我们的方法，即使原始模型仅用一个epoch训练，每个滤波器的重要性评估也与模型完全训练时的结果相同。这表明，所提出的修剪策略可以有效地执行在初始阶段的原始模型的训练过程。
2022-08-13 cs.CV
Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）；Fudan University（复旦大学）
提出了一种软滤波器剪枝（SFP）方法来加速深度卷积神经网络（CNN）的推理过程。具体来说，所提出的SFP使修剪后的过滤器进行更新时，训练模型修剪后。SFP具有两个优点：（1）较大的模型容量。更新先前修剪的过滤器为我们的方法提供了更大的优化空间，而不是将过滤器固定为零。因此，我们的方法训练的网络具有更大的模型容量，从训练数据学习。(2)减少对预训练模型的依赖。大容量使SFP能够从头开始训练并同时修剪模型。相比之下，以前的过滤器修剪方法应该在预训练模型的基础上进行，以保证其性能。经验上，SFP从头开始优于以前的过滤器修剪方法。此外，我们的方法已被证明是有效的许多先进的CNN架构。值得注意的是，在ILSCRC-2012上，SFP在ResNet-101上减少了42%以上的FLOP，甚至前5名的准确性提高了0.2%，这推进了最先进的技术。代码在GitHub上公开：https://github.com/he-y/soft-filter-pruning
2018-08-21 cs.CV
Straightforward Layer-wise Pruning for More Efficient Visual Adaptation
College of Information Engineering, Northwest A&F University（西北农林科技大学信息工程学院）
针对参数高效迁移学习模型冗余问题，提出直截了当的逐层剪枝方法SLS，通过特征视角和聚类指标评估层重要性，在减少存储开销的同时提升剪枝模型的准确性和速度。
2024-07-19 cs.CV
TRP: Trained Rank Pruning for Efficient Deep Neural Networks
Shanghai Jiao Tong University（上海交通大学）；Qualcomm AI Research（高通人工智能研究院）；Duke University（杜克大学）
为了使DNN能够在移动电话等边缘设备上使用，低秩近似由于其坚实的理论基础和高效的实现而被广泛采用。之前的几项工作试图通过低秩分解直接近似预训练模型;然而，参数中的小近似误差可能会导致大的预测损失。因此，性能通常会显著下降，需要进行复杂的微调以恢复准确性。显然，将低秩近似从训练中分离出来并不是最佳的。与以往的工作不同，本文将低秩近似和正则化集成到训练过程中。我们提出了训练秩修剪（TRP），它交替之间的低秩近似和训练。TRP保持了原始网络的容量，同时在训练期间施加低秩约束。通过随机次梯度下降优化的核正则化被用来进一步提升TRP中的低秩。TRP训练的网络固有地具有低秩结构，并且以可忽略的性能损失近似，从而消除了低秩分解后的微调过程。该方法在CIFAR-10和ImageNet上进行了综合评估，优于以前使用低秩近似的压缩方法。
2020-04-30 cs.CV cs.LG
Shapley Pruning for Neural Network Compression
ETH Zürich（苏黎世联邦理工学院）
本研究将留一剪枝和oracle剪枝等概念发展为基于Shapley值的通用卷积神经网络压缩框架，提出Shapley值近似方法并在新基准Oracle rank上评估，实现了最先进的网络压缩表现。
2024-07-19 cs.CV cs.LG
Fine-Pruning: Joint Fine-Tuning and Compression of a Convolutional Network with Bayesian Optimization
Simon Fraser University（西蒙弗雷泽大学）
当在专门的图像领域中处理新的视觉识别问题时，一种常见的策略是从预先训练的深度神经网络开始，并将其微调到专门的领域。如果目标域覆盖的视觉空间小于用于预训练的源域（例如ImageNet），则微调后的网络可能会过度参数化。然而，应用网络修剪作为后处理步骤以减少存储器需求具有缺点：微调和修剪是独立执行的;修剪参数设置一次并且不能随着时间的推移而适应;并且最先进的修剪方法的高度参数化性质使得禁止手动搜索深度网络的修剪参数空间，从而导致粗略近似。我们提出了一种原则性的方法，用于联合微调和压缩预训练的卷积网络，以克服这些限制。在两个专业图像领域（遥感图像和可描述纹理）上的实验证明了所提出方法的有效性。
2017-07-28 cs.CV
MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Megvii Technology（旷视科技）；Huazhong University of Science and Technology（华中科技大学）
在本文中，我们提出了一种新的Meta学习方法，用于非常深的神经网络的自动通道修剪。我们首先训练一个PruningNet，一种Meta网络，它能够为给定目标网络的任何修剪结构生成权重参数。我们使用一种简单的随机结构抽样方法来训练PruningNet。然后，我们应用进化过程来搜索性能良好的修剪网络。搜索效率很高，因为权重直接由训练好的PruningNet生成，我们在搜索时不需要任何微调。通过为目标网络训练单个PruningNet，我们可以在不同的约束条件下搜索各种PruningNet，而几乎没有人参与。与最先进的修剪方法相比，我们在MobileNet V1/V2和ResNet上表现出了卓越的性能。代码可在https://github.com/liuzechun/MetaPruning上获得。
2019-08-14 cs.CV
One-Shot Pruning for Fast-adapting Pre-trained Models on Devices
University of Technology Sydney（悉尼科技大学）
本文提出一种可扩展的一次性剪枝方法，利用相似任务的剪枝知识生成分数掩码，从预训练模型中提取可快速适应新任务的子网络，在CNNs和ViT上以更少的训练迭代实现了优于主流剪枝基线的准确率与效率。
2023-07-10 cs.CV cs.LG
TransTailor: Pruning the Pre-trained Model for Improved Transfer Learning
Peking University（北京大学）
预训练模型的增加显著促进了迁移学习在有限数据任务上的性能。然而，迁移学习的进展主要集中在优化预训练模型的权重，忽略了模型和目标任务之间的结构失配。本文旨在从另一个角度来提高传输性能-除了调整权重外，我们还调整预训练模型的结构，以便更好地匹配目标任务。为此，我们提出了TransTailor，旨在修剪预训练模型以改进迁移学习。与传统的剪枝流水线不同，我们根据目标感知的权重重要性对预训练模型进行剪枝和微调，生成针对特定目标任务量身定制的最优子模型。通过这种方式，我们转移了一个更合适的子结构，可以在微调期间应用，以有利于最终的性能。在多个预训练模型和数据集上进行的大量实验表明，TransTailor优于传统的剪枝方法，并且在使用较小模型的同时，实现了与其他最先进的迁移学习方法相比具有竞争力甚至更好的性能。值得注意的是，在Stanford Dogs数据集上，TransTailor可以比其他传输方法提高2.7%的准确性，而FLOP减少20%。
2021-03-02 cs.CV cs.LG
Data-free parameter pruning for Deep Neural Networks
Indian Institute of Science（印度科学院）
具有数百万参数的深度神经网络（NN）是当今许多最先进的计算机视觉系统的核心。然而，最近的工作表明，更小的模型可以实现类似的性能水平。在这项工作中，我们解决的问题，修剪参数的训练NN模型。与以前的工作不同，我们一次移除一个神经元，而不是一次移除一个权重。我们展示了相似的神经元是如何冗余的，并提出了一种系统的方法来去除它们。我们修剪密集连接层的实验表明，我们可以在MNIST训练的网络中删除高达85%的总参数，AlexNet约为35%，而不会显着影响性能。我们的方法可以应用于大多数具有全连接层的网络之上，以提供更小的网络。
2015-07-22 cs.CV
LRCP: Low-Rank Compressibility Guided Visual Token Pruning for Efficient LVLMs
Xiaohongshu（小红书）；Harbin Institute of Technology（哈尔滨工业大学）；Fudan University（复旦大学）
本文提出LRCP，通过低秩压缩性引导视觉标记修剪，有效减少视觉语言模型的推理成本，实现94.7%的图像理解性能保留和88.9%的标记减少。
2026-05-15 cs.CV
LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning
Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）；Ant Group（蚂蚁集团）
本文提出LoRAPrune框架，利用LoRA权重与梯度设计剪枝准则，以内存高效方式对LLMs进行结构化剪枝，在LLaMA系列上优于现有方法并显著降低内存占用。
2024-08-07 cs.CV cs.LG
Variance-Based Pruning for Accelerating and Compressing Trained Networks
Automated Driving Research, Robert Bosch GmbH（罗伯特·博世有限公司自动驾驶研究）；Institute for Signal Processing, University of Lübeck（吕贝克大学信号处理研究所）
本文提出基于方差的剪枝方法，通过激活统计信息选择神经元进行剪枝，减少训练成本并保持性能，实验显示在ImageNet-1k任务中DeiT-Base模型剪枝后性能仍达70%以上，仅需10轮微调即可恢复99%精度，同时降低MACs和模型大小。
2026-04-01 cs.CV cs.LG
PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种在单个深度神经网络中添加多个任务同时避免灾难性遗忘的方法。受网络修剪技术的启发，我们利用大型深度网络中的冗余来释放参数，然后可以用来学习新任务。通过执行迭代修剪和网络重新训练，我们能够将多个任务顺序地“打包”到单个网络中，同时确保最小的性能下降和最小的存储开销。与之前使用代理损失来保持旧任务的准确性的工作不同，我们总是针对手头的任务进行优化。我们在各种网络架构和大规模数据集上进行了广泛的实验，并观察到比以前的工作更好的鲁棒性对灾难性遗忘。特别是，我们能够将三个细粒度分类任务添加到单个ImageNet训练的VGG-16网络中，并为每个任务实现接近单独训练的网络的准确性。代码可在https://github.com/arunmallya/packnet获得
2018-05-13 cs.CV
Gator: Customizable Channel Pruning of Neural Networks with Gating
Bar-Ilan University（巴伊兰大学）；College of Law and Business（法律与商业学院）
神经网络（NN）应用的兴起促使人们对压缩的兴趣增加，特别关注不需要任何额外硬件的通道修剪。大多数修剪方法采用单层操作或全局方案来确定删除哪些信道，然后对网络进行微调。在本文中，我们提出了Gator，一种通道修剪方法，该方法临时添加了用于修剪单个通道的学习门控机制，并使用额外的辅助损失进行训练，旨在降低由于内存，（理论）加速（FLOPs）和实际硬件特定加速而导致的计算成本。Gator引入了NN层之间依赖关系的新公式，与大多数以前的方法相比，它可以修剪非顺序部分，例如ResNet高速公路上的层，甚至删除整个ResNet块。Gator对在ImageNet上训练的ResNet-50的修剪产生了最先进的（SOTA）结果，例如50%的FLOP减少，而前5名的准确率仅下降了0.4%。此外，Gator在GPU延迟方面优于以前的修剪模型，运行速度快1.4倍。此外，与MobileNetV 2和SqueezeNet相比，Gator在类似的运行时间下实现了改进的前5名精度结果。这个工作的源代码可以在https://github.com/EliPassov/gator上找到。
2022-06-01 cs.CV
Demystifying Neural Network Filter Pruning
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
基于滤波器大小排序（如L1范数）的传统卷积神经网络（CNN）滤波器剪枝方法已被证明在降低计算量方面具有很好的效果。虽然这些方法有效，但很少从过滤器功能的角度进行分析。在这项工作中，我们探索过滤器修剪和再培训，通过定性过滤器功能的解释。我们发现基于滤波器幅度的方法无法消除具有重复功能的滤波器。而再训练阶段实际上是用来重建剩余的过滤器，以补偿错误修剪的关键过滤器的功能。利用提出的面向功能的剪枝方法，我们进一步证明，通过精确地解决滤波器功能冗余，CNN可以在没有相当大的准确性下降的情况下被剪枝，并且重新训练阶段是不必要的。
2018-10-29 cs.CV
Shapley Value as Principled Metric for Structured Network Pruning
ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
结构化修剪是一种众所周知的减少神经网络的存储大小和推理成本的技术。通常的修剪管道包括根据网络内部过滤器和激活对网络性能的贡献对它们进行排名，删除贡献最低的单元，并微调网络以减少修剪引起的危害。最近的结果表明，如果有足够的微调资源，随机修剪的性能与其他指标相当。在这项工作中，我们表明，这是不正确的低数据制度时，微调是不可能的或无效的。在这种情况下，减少修剪造成的危害对于保持网络的性能至关重要。首先，我们分析的问题，估计隐藏单元的贡献与合作博弈论提出的工具，并提出Shapley值作为这项任务的原则性排名度量。我们比较了文献中提出的几种替代方案，并讨论了Shapley值在理论上是如何更可取的。最后，我们比较了低数据修剪的挑战性场景中的所有排名指标，在那里我们展示了Shapley值如何优于其他算法。
2020-06-02 cs.CV cs.LG cs.NE
Filter Sketch for Network Pruning
Xiamen University（厦门大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）
我们提出了一种新的网络剪枝方法，通过预训练的网络权重（过滤器）的信息保持。将信息保持的网络剪枝问题转化为一个矩阵草图问题，并采用现有的频繁方向法进行求解。我们的方法被称为FilterSketch，它对预训练权重的二阶信息进行编码，这使得修剪网络的表示能力可以通过简单的微调过程来恢复。FilterSketch既不需要从头开始训练，也不需要数据驱动的迭代优化，从而使修剪优化的时间成本降低了几个数量级。在CIFAR-10上的实验表明，FilterSketch减少了63.3%的FLOP，并修剪了59.9%的网络参数，而ResNet-110的准确性成本可以忽略不计。在ILSVRC-2012上，它减少了45.5%的FLOP，删除了43.0%的参数，而ResNet-50的准确度仅下降了0.69%。我们的代码和修剪模型可以在www.example.com上找到。
2021-05-25 cs.CV
Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning
Rochester Institute of Technology（罗切斯特理工学院）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出一种基于动态参数秩剪枝的 CNN 压缩方法，利用 SVD 分解和正则化技术实现端到端训练，在多个 ResNet 模型和数据集上验证了其在保持或提升分类性能的同时显著节省存储。
2024-01-15 cs.AI cs.CV
Neuron Pruning for Compressing Deep Networks using Maxout Architectures
TU Dortmund University（多特蒙德工业大学）
本文提出了一种通过修剪整个神经元来减小深度神经网络大小的有效且鲁棒的方法。它利用maxout单元将神经元组合成更复杂的凸函数，并利用局部相关性度量，根据神经元在训练集上的激活情况对它们进行排序，以修剪它们。此外，示出了神经元和权重修剪之间的参数减少比较。经验表明，所提出的神经元修剪显著减少了参数的数量。评估是在两个任务上进行的，MNIST手写数字识别和LFW人脸验证，使用LeNet-5和VGG 16网络架构。网络大小分别减少最多$74\%$和$61\%$，而不影响网络性能。神经元修剪的主要优点是它直接影响网络架构的大小。此外，将示出神经元修剪可以与随后的权重修剪相结合，从而将LeNet-5和VGG 16的大小分别减小到$92\%$和$80\%$。
2017-07-21 cs.CV
Softer Pruning, Incremental Regularization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
网络修剪被广泛用于压缩深度神经网络（DNN）。Soft Filter Pruning（SFP）方法在训练期间将修剪的滤波器归零，同时在下一个训练时期更新它们。因此，修剪滤波器的训练信息被完全丢弃。为了利用训练好的修剪滤波器，我们提出了一种SofteR滤波器修剪（SRFP）方法及其变体，渐近SofteR滤波器修剪（ASRFP），简单地用单调递减的参数衰减修剪后的权重。我们的方法在各种网络，数据集和修剪率上表现良好，也可转移到权重修剪。在ILSVRC-2012上，ASRFP修剪了ResNet-34上40%的参数，top-1和top-5精度分别提高了1.63%和0.68%。理论上，SRFP和ASRFP是剪枝滤波器的增量正则化。此外，我们注意到，SRFP和ASRFP追求更好的结果，但降低了收敛速度。
2020-10-19 cs.AI cs.CV
Structural Pruning via Latency-Saliency Knapsack
NVIDIA（英伟达）
结构修剪可以简化网络结构，提高推理速度。我们提出了硬件感知的延迟修剪（HALP），制定结构修剪作为一个全球性的资源分配优化问题，旨在最大限度地提高准确性，同时限制延迟下预定义的预算目标设备。对于过滤器重要性排名，HALP利用延迟查找表来跟踪延迟减少潜力和全局显著性分数来衡量准确性下降。这两个指标可以在修剪过程中非常有效地进行评估，使我们能够重新制定全球结构修剪下的奖励最大化问题给定的目标约束。这使得问题可以通过我们的增强背包求解器来解决，使HALP能够在修剪效率和准确性-效率权衡方面超越先前的工作。我们在不同的网络上，在不同的平台上，在ImageNet和VOC数据集上，在分类和检测任务上检查HALP。特别地，对于ImageNet上的ResNet-50/-101修剪，HALP分别通过$1.60\times$ / $1.90\times$以及$+0.3\%$ / $-0.2\%$ top-1准确度变化来提高网络吞吐量。对于VOC上的SSD修剪，HALP将吞吐量提高了$1.94\times$，而仅降低了$0.56$ mAP。HALP的性能始终优于现有技术，有时甚至大幅领先。项目页面https://halp-neurips.github.io/。
2022-10-18 cs.CV
Recovering from Random Pruning: On the Plasticity of Deep Convolutional Neural Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Robert Bosch Centre for Data Science and AI (RBC-DSAI)（罗伯特·博世数据科学与人工智能中心（RBC-DSAI））；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近，为了减少计算，已经有大量关于从深度卷积神经网络（CNN）中修剪滤波器的工作。关键思想是根据特定标准（例如，$l_1$ -范数、零的平均百分比等）对过滤器进行排名，并仅保留排名最高的过滤器。一旦低评分滤波器被修剪掉，网络的其余部分就被微调，并且显示出与原始未修剪网络相当的性能。在这项工作中，我们报告的实验表明，修剪网络的可比性能不是由于所选择的特定标准，而是由于深层神经网络的固有可塑性，一旦其余的过滤器被微调，它们就可以从修剪过滤器的损失中恢复过来。具体来说，我们展示了反直观的结果，其中通过从深度CNN随机修剪25- 50%的过滤器，我们能够获得与使用最先进的修剪方法获得的性能相同的性能。我们通过对VGG-16和ResNet-50进行详尽的评估来验证我们的说法。此外，我们还评估了一个真实世界的场景，其中在所有1000个ImageNet类上训练的CNN在测试时只需要在一小部分类上进行测试（例如，只有动物）。我们从ImageNet创建了一个新的基准数据集来评估这种类特定的修剪，并表明即使在这里，随机修剪策略也可以提供接近最先进的性能。最后，不同于现有的方法，主要集中在图像分类的任务，在这项工作中，我们还报告结果目标检测。我们表明，使用简单的随机修剪策略，我们可以在目标检测中实现显着的速度提高（fps提高74 $\%$），同时保持与原始Faster RCNN模型相同的准确性。
2018-01-31 cs.CV
Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer
University of Maryland, College Park（马里兰大学帕克分校）
当有大规模训练数据时，可以通过量化和修剪来获得紧凑而准确的网络，以有效地部署在资源受限的环境中。然而，由于隐私问题，训练数据通常受到保护，并且在没有数据的情况下获得紧凑的网络具有挑战性。我们通过将知识从训练好的大型网络转移到紧凑网络来研究无数据量化和修剪。辅助生成器与目标紧凑网络同时进行对抗训练，以生成最大化给定大型网络与其量化或修剪版本之间差异的合成输入。我们从理论上表明，交替优化的基本极大极小问题收敛在温和的条件下修剪和量化。我们的无数据紧凑型网络与使用训练数据训练和微调的网络相比，具有竞争力的准确性。我们的量化和修剪网络实现了良好的性能，同时更加紧凑和轻量级。此外，我们证明了彩票假说的紧凑结构和相应的初始化也有助于无数据训练。
2020-10-14 cs.CV cs.LG
Studying the impact of magnitude pruning on contrastive learning methods
University of Pisa（比萨大学）；TU Graz（格拉茨工业大学）；CSH Vienna（维也纳复杂科学中心）
我们研究了不同修剪技术对使用对比损失函数训练的深度神经网络学习的表示的影响。我们的工作发现，在高稀疏水平下，相对于传统的交叉熵损失训练的模型，对比学习会导致更多的错误分类示例。为了理解这种明显的差异，我们使用诸如PIE数量的指标（Hooker等人，2019）、Q评分（Kalibhat等人，2022）和PD评分（Baldock等人，2021）来测量修剪对学习的表示质量的影响。我们的分析表明，修剪方法的实施事项的时间表。我们发现，当在训练阶段的早期引入修剪时，稀疏性对学习表示的质量的负面影响是最高的。
2022-07-01 cs.CV cs.LG
Adaptive MLP Pruning for Large Vision Transformers
Central South University（中南大学）
本文提出自适应MLP剪枝方法，通过改进的重要性评估和自适应剪枝策略，显著减少大型视觉变换器的参数和计算量，同时保持性能。
2026-03-09 cs.CV
A Gradient Flow Framework For Analyzing Network Pruning
EECS Department（EECS系）；University of Michigan（密歇根大学）；Ann Arbor, MI 48105, USA（美国密歇根州安娜堡市48105（注意：这部分按要求不应提取，此处为错误识别，正确应为仅保留大学/学院/公司/研究院级别，即仅提取University of Michigan，而EECS Department是系别，不应提取，Ann Arbor是城市，不应提取。修正后正确输出应为{）
最近的网络修剪方法专注于在训练早期修剪模型。为了估计删除参数的影响，这些方法使用了最初设计用于修剪训练模型的重要性度量。尽管缺乏在训练早期使用它们的理由，但这些措施导致了令人惊讶的低准确性损失。为了更好地解释这种行为，我们开发了一个通用框架，该框架使用梯度流通过模型参数的范数来统一最先进的重要性度量。我们使用这个框架来确定修剪措施和模型参数演变之间的关系，建立了几个与训练早期修剪模型相关的结果：（i）基于幅度的修剪删除了对减少损失贡献最小的参数，导致模型比幅度不可知的方法收敛得更快;（ii）基于损失保持的修剪保留了一阶模型演化动力学，因此适合于修剪最少训练的模型;以及（iii）基于梯度范数的修剪影响二阶模型演化动力学，使得通过修剪增加梯度范数可能产生性能差的模型。我们在几个VGG-13、MobileNet-V1和ResNet-56模型上验证了我们的声明，这些模型都是在CIFAR-10/CIFAR-100上训练的。代码可在www.example.com获得。
2021-09-23 cs.CV cs.LG stat.ML
A One-Shot Reparameterization Method for Reducing the Loss of Tile Pruning on DNNs
Osaka University（大阪大学）；University of Electronic Science and Technology of China（电子科技大学）
最近，瓦片修剪已经被广泛研究以加速深度神经网络（DNN）的推理。然而，我们发现，由于瓦片修剪，可以消除重要元素和不重要元素，在训练的DNN上损失很大。在这项研究中，我们提出了一个一次性的重新参数化方法，称为TileTrans，以减少瓷砖修剪的损失。具体来说，我们重新配置权重矩阵的行或列，使得模型架构在重新参数化后保持不变。这种重新排列实现了DNN模型的重新参数化，而无需任何重新训练。所提出的重新参数化方法将重要元素组合到同一个瓦片中，从而在瓦片修剪后保留重要元素。此外，TileTrans可以无缝集成到现有的瓦片修剪方法中，因为它是在修剪之前执行的预处理方法，这与大多数现有方法正交。实验结果表明，我们的方法是必不可少的减少损失的瓷砖修剪DNN。具体来说，AlexNet的准确性提高了17%，而ResNet-34的准确性提高了5%，其中两个模型都在ImageNet上进行了预训练。
2022-07-29 cs.CV cs.LG
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；NVIDIA（英伟达）
神经网络是计算密集型和存储密集型的，这使得它们难以在硬件资源有限的嵌入式系统上部署。为了解决这一限制，我们引入了“深度压缩”，这是一个三级管道：修剪，训练量化和霍夫曼编码，它们共同工作，将神经网络的存储需求减少了35倍至49倍，而不影响其准确性。我们的方法首先通过只学习重要的连接来修剪网络。接下来，我们对权重进行加权以加强权重共享，最后，我们应用霍夫曼编码。在前两步之后，我们重新训练网络，以微调剩余的连接和量化的质心。修剪将连接的数量减少了9倍到13倍;量化则将表示每个连接的位数从32减少到5。在ImageNet数据集上，我们的方法将AlexNet所需的存储空间减少了35倍，从240 MB减少到6.9MB，而不损失准确性。我们的方法将VGG-16的大小从552 MB减少到11.3MB，并且没有损失准确性。这允许将模型适配到片上SRAM缓存中，而不是片外DRAM存储器中。我们的压缩方法也有利于复杂的神经网络在移动应用程序中的应用程序的大小和下载带宽的限制。以CPU、GPU和移动GPU为基准，压缩网络具有3倍至4倍的分层加速和3倍至7倍的能效。
2016-02-15 cs.CV cs.NE
A Closer Look at Structured Pruning for Neural Network Compression
University of Edinburgh（爱丁堡大学）
结构化修剪是压缩神经网络的一种流行方法：给定一个大型训练网络，在删除通道连接和微调之间交替;减少网络的整体宽度。然而，结构化修剪的功效在很大程度上逃避了审查。在本文中，我们研究了通过结构化修剪和调整获得的ResNets和DenseNets，并进行了两个有趣的观察：（i）简化网络-从头开始训练的原始网络的较小版本-始终优于修剪网络;（ii）如果采用修剪网络的架构，然后从头开始训练它，它会显着更具竞争力。此外，这些架构很容易近似：我们可以修剪一次并获得一系列新的可扩展的网络架构，这些架构可以简单地从头开始训练。最后，我们在硬件上比较了简化和修剪网络的推理速度，并表明简化网络的速度明显更快。代码可在https://github.com/BayesWatch/pytorch-prunes上获得。
2019-06-07 cs.CV cs.LG stat.ML
AdaRank: Adaptive Rank Pruning for Enhanced Model Merging
KAIST（韩国科学技术院）
AdaRank通过自适应秩修剪技术，有效减少多任务学习中的任务干扰，提升模型融合性能。
2026-02-28 cs.AI cs.CV cs.LG
Pruning Convolutional Neural Networks with Self-Supervision
Facebook AI Research（脸书人工智能研究院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
在没有监督的情况下训练的卷积神经网络接近于有监督的预训练的性能，但有时会以更高数量的参数为代价。从这些大型无监督convnets中提取子网络并保持性能是特别感兴趣的，以使它们的计算强度更低。典型的修剪方法在任务的训练期间操作，同时试图保持修剪后的网络在同一任务上的性能。然而，在自监督特征学习中，训练目标对下游任务的表示可转移性是不可知的。因此，为这个目标保留性能并不能确保修剪后的子网络仍然有效地解决下游任务。在这项工作中，我们研究了使用标准的修剪方法，主要是为监督学习，网络训练没有标签（即自我监督任务）。我们发现，在标签上重新训练时，使用或不使用标签获得的修剪掩码达到了相当的性能，这表明修剪对于自监督学习和监督学习的操作类似。有趣的是，我们还发现修剪保留了自监督子网络表示的传输性能。
2020-01-10 cs.CV cs.LG cs.NE
A Second-Order Perspective on Pruning at Initialization and Knowledge Transfer
Politecnico di Torino（托斯托纳理工大学）
针对下游任务未知时预训练视觉模型剪枝依赖任务数据的问题，研究发现单任务剪枝可保留跨任务零样本能力，微调还能恢复未见任务性能。
2025-09-28 cs.AI cs.CV
Distilling the Knowledge in Data Pruning
Amazon（亚马逊公司）
针对高剪枝比例下数据剪枝易损失模型准确率的问题，提出在剪枝数据训练中结合知识蒸馏的方法，验证了其跨数据集与剪枝方法的有效性，还揭示了剪枝因子与蒸馏权重、教师模型规模的关联规律。
2024-08-14 cs.CV cs.LG
Blending Pruning Criteria for Convolutional Neural Networks
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；Purdue University（普渡大学）
卷积神经网络（CNN）在各种视觉应用中的进步引起了人们的广泛关注。然而，大多数CNN无法满足实际部署的严格要求。为了克服这一问题，近年来流行的网络剪枝是一种有效的方法来减少模型的冗余。然而，根据过滤器在不同修剪标准上的“重要性”对过滤器的排名可能不一致。一个过滤器可能根据某个标准是重要的，而根据另一个标准是不必要的，这表明每个标准只是全面“重要性”的一部分。从这个动机，我们提出了一个新的框架来整合现有的过滤器修剪标准，探索标准的多样性。该框架包括两个阶段：标准聚类和过滤器重要性校准。首先，我们通过基于“重要性”得分的等级的分层聚类来浓缩修剪标准。其次，在每个聚类中，我们提出了一个校准因子来调整它们对每个选定的混合候选者的重要性，并通过进化算法搜索最佳的混合标准。CIFAR-100和ImageNet基准测试的定量结果表明，我们的框架优于最先进的基线，在修剪后重新分级为紧凑模型性能。
2021-07-11 cs.AI cs.CV cs.LG
Pruning Adversarially Robust Neural Networks without Adversarial Examples
Northeastern University（东北大学）
对抗性剪枝压缩模型，同时保持鲁棒性。目前的方法需要在修剪过程中访问对抗性示例。这严重影响了培训效率。此外，随着新的对抗攻击和训练方法的快速发展，对抗修剪方法需要相应地修改以跟上。在这项工作中，我们提出了一个新的框架，修剪以前训练的强大的神经网络，同时保持对抗的鲁棒性，而不进一步生成对抗的例子。我们利用并发的自蒸馏和修剪来保留原始模型中的知识，并通过Hilbert-Schmidt信息瓶颈来正则化修剪后的模型。我们全面评估了我们提出的框架，并在MNIST，CIFAR-10和CIFAR-100数据集上训练的修剪架构针对五种最先进的攻击时，在对抗鲁棒性和效率方面表现出卓越的性能。代码可在https://github.com/neu-spiral/PwoA/上获得。
2022-10-09 cs.AI cs.CR cs.CV
Composition of Saliency Metrics for Channel Pruning with a Myopic Oracle
Trinity College Dublin（都柏林圣三一学院）
卷积神经网络（CNN）推理所需的计算量和内存可以通过从训练的网络中修剪权重来减少。修剪由修剪显著性引导，修剪显著性在理论上近似与特定权重的去除相关联的损失函数的变化。已经提出了许多修剪信号，但每个启发式算法的性能取决于特定的训练网络。这让数据科学家面临一个艰难的选择。当在整个修剪过程中使用任何一个显着性度量时，我们会面临度量假设无效的风险，从而导致度量做出糟糕的决策。理想情况下，我们可以结合不同显着性度量的最佳方面。然而，尽管广泛的文献综述，我们无法找到任何先前的工作组成不同的显着性指标。主要的困难在于结合不同显着性度量的数值输出，这是不直接可比的。我们提出了一种方法来组成几个原始的修剪显着性，利用的情况下，每个显着性措施做得很好。我们的实验表明，显着性的组成，避免了许多穷人的修剪选择确定的个人显着性。在大多数情况下，我们的方法找到更好的选择，甚至比最好的个人修剪显着性。
2021-06-24 cs.CV cs.LG stat.ML
Bridging The Gaps Between Token Pruning and Full Pre-training via Masked Fine-tuning
National Key Labratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出掩码微调方法，通过掩码图像块并基于未掩码块预测类别，弥合预训练基础模型与令牌剪枝动态视觉Transformer之间的差距，提升初始化质量，使Dynamic ViT在大剪枝比例下获得更高准确率并具备更强泛化能力。
2023-10-26 cs.AI cs.CV
An accuracy-aware extension to LRP-based pruning for CNNs to prevent cascading accuracy degradation in data-scarce transfer learning
Mathematics and Computer Science National Defense Academy of Japan（日本防卫大学校数学与计算机科学系）
针对数据稀缺迁移学习中预训练CNN剪枝导致的级联精度下降问题，提出一种精度感知的剪枝控制机制，通过动态调整剪枝率和顺序来抑制精度下降，提升模型压缩后的分类性能。
2026-05-28 cs.AI cs.CV cs.LG
Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出Instant Soup剪枝（ISP），通过弱掩码生成与聚合在单次遍历中低成本生成彩票质量子网络，在CLIP和BERT上验证有效性。
2023-06-18 cs.CV cs.LG
HALP: Hardware-Aware Latency Pruning
NVIDIA（英伟达）
结构修剪可以简化网络结构，提高推理速度。我们提出了硬件感知的延迟修剪（HALP），制定结构修剪作为一个全球性的资源分配优化问题，旨在最大限度地提高准确性，同时限制在预定义的预算下的延迟。对于过滤器重要性排名，HALP利用延迟查找表来跟踪延迟减少潜力和全局显著性分数来衡量准确性下降。这两个指标可以在修剪过程中非常有效地进行评估，使我们能够重新制定全球结构修剪下的奖励最大化问题给定的目标约束。这使得问题可以通过我们的增强背包求解器来解决，使HALP能够在修剪效率和准确性-效率权衡方面超越先前的工作。我们在ImageNet和VOC数据集上，通过不同的网络，在分类和检测任务上检查HALP。特别地，对于ImageNet上的ResNet-50/-101修剪，HALP分别通过$1.60\times$ / $1.90\times$以及$+0.3\%$ / $-0.2\%$ top-1准确度变化来提高网络吞吐量。对于VOC上的SSD修剪，HALP将吞吐量提高了$1.94\times$，而仅降低了$0.56$ mAP。HALP的性能始终优于现有技术，有时甚至大幅领先。
2021-10-20 cs.CV cs.LG
Zero-TPrune: Zero-Shot Token Pruning through Leveraging of the Attention Graph in Pre-Trained Transformers
Princeton University（普林斯顿大学）
本文提出零样本 token 剪枝方法 Zero-TPrune，利用预训练 Transformer 注意力图和 WPR 算法综合评估 token 重要性与相似性，无需微调即可显著降低视觉 Transformer 的 FLOPs 并提升吞吐量。
2024-04-07 cs.AI cs.CV cs.LG
When to Prune? A Policy towards Early Structural Pruning
NVIDIA（英伟达）
修剪可以显著减少网络内存占用和时间复杂度。传统的训练后修剪技术倾向于有效的推理，而忽略了训练的繁重计算。最近的探索预训练修剪在初始化提示训练成本降低通过修剪，但遭受显着的性能下降。我们试图结合这两个方向的好处，并提出了一个政策，修剪尽可能早地在训练过程中，而不损害性能。我们的方法不是在初始化时进行修剪，而是利用几个时期的初始密集训练来快速指导架构，同时通过神经元重要性排名不断评估主导子网络。这揭示了结构变得稳定的主导子网络，允许将传统的修剪更早地推进到训练中。为了尽早做到这一点，我们进一步引入了早期修剪指标（EPI），它依赖于子网络架构的相似性，并在子网络架构稳定时快速触发修剪。通过在ImageNet上进行的大量实验，我们表明EPI能够快速跟踪适合修剪的早期训练时期，提供与其他“预言机”网格搜索相同的功效，该网格搜索扫描时期并需要多几个数量级的计算。我们的方法产生$1.4\%$ top-1精度提升超过国家的最先进的修剪同行，减少了$2.4\times$在GPU上的训练成本，因此提供了一个新的效率-精度边界的网络修剪在训练过程中。
2021-10-22 cs.CV cs.LG
Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network
Center for Applied Scientific Computing（应用科学计算中心）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
最近，Frankle & Carbin（2019）证明，随机初始化的密集网络包含子网络，一旦找到，可以训练这些子网络，以达到与训练的密集网络相当的测试精度。然而，找到这些高性能的可训练子网络是昂贵的，需要训练和修剪权重的迭代过程。本文提出（并证明）一个更强的多奖彩票假说：一个充分过参数化的具有随机权值的神经网络包含多个子网络（中奖彩票），其（a）具有与具有学习的权重的密集目标网络相当的准确性（奖品1），（b）不需要任何进一步的训练来实现奖品1（奖品2），以及（c）对于极端形式的量化是鲁棒的（即，二进制权重和/或激活）（奖3）。这为简单地通过修剪和量化随机加权的全精度神经网络来学习紧凑但高度精确的二进制神经网络提供了新的范例。我们还提出了一种寻找多奖彩票（MPTs）的算法，并通过在CIFAR-10和ImageNet数据集上进行一系列实验来测试它。实证结果表明，随着模型的深入和广泛，多奖彩票开始达到类似（有时甚至更高）的测试准确性，与经过权重训练的大得多的全精度彩票相比。在没有更新权重值的情况下，我们的MPTS-1/32不仅设置了新的二进制权重网络最先进的（SOTA）Top-1准确率-在CIFAR-10上为94.8%，在ImageNet上为74.03%-而且分别比全精度同行高出1.78%和0.76%。此外，我们的MPT-1/1在CIFAR-10上实现了二进制神经网络的SOTA Top-…
2021-03-17 cs.CV cs.LG
D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning
University of North Carolina Chapel Hill（北卡罗来纳大学教堂山分校）
D2剪枝通过图上的消息传递联合优化数据多样性与难度，实现高效核心集选择，在高达70%剪枝率下超越现有方法，并提升多模态数据过滤效果。
2023-10-11 cs.AI cs.CL cs.CV
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities
非结构化神经网络剪枝算法已经取得了令人印象深刻的压缩率。然而，所得到的通常不规则的稀疏矩阵妨碍了有效的硬件实现，导致额外的存储器使用和复杂的控制逻辑，这减少了非结构化修剪的好处。这刺激了结构化粗粒度修剪解决方案，修剪整个过滤器甚至层，以降低灵活性为代价实现高效实现。在这里，我们提出了一种灵活的新的修剪机制，便于在不同的粒度（权重，内核，过滤器/特征映射）修剪，同时保持有效的内存组织（例如，修剪每个输出神经元的k-out-of-n权重，或修剪每个特征映射的k-out-of-n内核）。我们将该算法称为动态概率剪枝（DPP）。DPP利用Gumbel-softmax松弛进行可微的n取k采样，促进端到端优化。我们表明，DPP在修剪在不同基准数据集上训练的用于图像分类的常见深度学习模型时，可以实现具有竞争力的压缩率和分类准确性。相关地，DPP的非基于幅度的性质允许修剪和权重量化的联合优化，以便进一步压缩网络，我们也展示了这一点。最后，我们提出了新的信息理论指标，显示了一个层内的修剪掩模的信心和修剪多样性。
2021-05-26 cs.CV cs.LG
C2S2: Cost-aware Channel Sparse Selection for Progressive Network Pruning
本文描述了一种简化深度神经网络的通道选择方法。具体来说，我们提出了一种新型的通用网络层，称为修剪层，以无缝地增强给定的预训练模型进行压缩。包括$1 \times 1$深度方向内核的每个修剪层用双重格式表示：一个是实值，另一个是二进制。前者使网络修剪的两阶段优化过程能够与端到端可微分网络一起操作，而后者产生用于信道选择的掩码信息。我们的方法逐步执行修剪任务逐层，并根据稀疏性标准实现通道选择，以利于修剪更多的通道。我们还开发了一个成本感知机制，以防止压缩牺牲预期的网络性能。我们在图像分类和语义分割上压缩几个基准深度网络的结果与最先进的结果相当。
2019-04-06 cs.CV cs.LG
Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）；Sun Yat-Sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
通道修剪是一种用于压缩卷积神经网络（CNN）的流行技术，其中已经提出了各种修剪标准来去除冗余滤波器。通过综合实验，我们发现了剪枝准则研究中的两个盲点：（1）相似性：被广泛引用和比较的几种主要剪枝准则之间存在着很强的相似性。根据这些标准，过滤器的重要性分数的排名几乎是相同的，导致类似的修剪结构。(2)适用性：某些剪枝标准所测量的过滤器的重要性得分太接近，无法很好地区分网络冗余。在本文中，我们分析了这两个盲点上不同类型的修剪标准与分层修剪或全局修剪。分析基于经验实验和我们的假设（卷积权重分布假设），即每层经过良好训练的卷积滤波器近似遵循高斯分布。这一假设已通过系统和广泛的统计测试得到验证。
2021-10-25 cs.CV cs.LG stat.ML
An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network
University of Mons（蒙斯大学）；IP Paris（巴黎理工学院）
近年来，深度神经网络在各种应用领域取得了广泛的成功。然而，它们需要重要的计算和内存资源，这严重阻碍了它们的部署，特别是在移动设备或实时应用程序上。神经网络通常涉及大量的参数，这些参数对应于网络的权值。这样的参数，获得的帮助下的训练过程中，是决定性的网络的性能。然而，它们也是高度冗余的。修剪方法特别试图通过识别和移除不相关的权重来减小参数集的大小。在本文中，我们研究的影响，培训策略的修剪效率。考虑并比较了两种培训模式：（1）微调和（2）从头开始。在四个数据集（CIFAR10，CIFAR100，SVHN和Caltech101）和两个不同的CNN（VGG16和MobileNet）上获得的实验结果表明，在大型语料库（例如ImageNet）上进行预训练然后在特定数据集上进行微调的网络可以比从头开始训练的相同网络更有效地修剪（高达80%的参数减少）。
2021-12-15 cs.AI cs.CV
DSA: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
剪枝是指在资源约束下的剪枝问题。在预算修剪中，如何跨层分布资源（即，稀疏分配）是关键问题。传统的方法是通过离散地搜索分层剪枝率来解决这个问题，效率低下。在本文中，我们提出了微分稀疏分配（DSA），一个有效的端到端的预算修剪流。利用一种新的可微修剪过程，DSA发现逐层修剪率与基于梯度的优化。它在连续空间中分配稀疏性，这比基于离散评估和搜索的方法更有效。此外，DSA可以以从头修剪的方式工作，而传统的预算修剪方法应用于预训练的模型。在CIFAR-10和ImageNet上的实验结果表明，DSA可以获得优于当前迭代预算剪枝方法的性能，同时将整个剪枝过程的时间成本缩短至少1.5倍。
2020-07-20 cs.CV cs.LG stat.ML
RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging
Datakalab（Datakalab公司）；ISIR（智能系统与机器人研究所）；Sorbonne Université（索邦大学）
修剪深度神经网络（DNN）是以推理运行时加速为目标的一个重要研究领域。在本文中，我们介绍了一种新的无数据剪枝协议RED++。只需要一个训练有素的神经网络，而不是特定于DNN架构，我们利用自适应无数据标量哈希表现出冗余的神经元权重值。我们研究的理论和经验的保证，从散列的准确性，以及预期的修剪率所产生的利用说冗余的保存。我们提出了一种新的DNN层的无数据修剪技术，该技术去除了输入方面的冗余操作。该算法简单，可并行化，并通过将大计算的负担转移到有效的内存访问和分配来提供DNN修剪的新视角。我们为RED++的性能提供了理论保证，并通过经验证明了其优于其他无数据修剪方法的优势，以及与ResNets，MobileNets和EfficientNets上的数据驱动方法的竞争力。
2021-09-30 cs.CV cs.LG
