ResNet Can Be Pruned 60x: Introducing Network Purification and Unused Path Removal (P-RM) after Weight Pruning
Northeastern University（东北大学）
最新的DNN结构涉及高计算量和对内存存储的巨大需求，这对DNN框架资源提出了强烈的挑战。为了减轻这些挑战，已经研究了权重修剪技术。然而，由于DNN网络中的权重大大降低，结合了不同类型的结构稀疏性的极端结构化修剪的高精度解决方案仍在等待解开。在本文中，我们提出了一个DNN框架，它结合了两种不同类型的结构化权重修剪（过滤器和列修剪），通过结合交替方向乘法器（ADMM）算法，以获得更好的修剪性能。我们是第一个发现ADMM过程的非最优性和未使用的权重在结构化修剪模型，并进一步设计了一个优化框架，其中包含第一个提出的网络净化和未使用的路径删除算法，专门用于后处理ADMM步骤后的结构化修剪模型。一些亮点显示，我们在LeNet-5上实现了232倍压缩，在ResNet-18 CIFAR-10上实现了60倍压缩，在AlexNet上实现了超过5倍压缩。我们在匿名链接http://bit.ly/2VJ5ktv上分享我们的模型。
2019-04-30 cs.AI cs.CV cs.LG
Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach
Wayne State University（韦恩州立大学）
由于深度学习模型通常包含数百万个可训练权重，因此对具有减少的存储空间和提高的运行时效率的更高效的网络结构的需求不断增长。剪枝是最流行的网络压缩技术之一。在本文中，我们提出了一种新的非结构化修剪管道，基于注意力的同时稀疏结构和权重学习（ASWL）。与传统的通道式或权值式注意力机制不同，ASWL提出了一种有效的算法，通过对每一层进行逐层注意来计算剪枝率，并跟踪密集网络和稀疏网络的权值，从而从随机初始化的权值中同时学习剪枝后的结构。我们在MNIST，Cifar10和ImageNet上的实验表明，与最先进的网络剪枝方法相比，ASWL在准确性，剪枝率和运行效率方面取得了优异的剪枝结果。
2022-06-08 cs.CV cs.LG
Dynamic Collective Intelligence Learning: Finding Efficient Sparse Model via Refined Gradients for Pruned Weights
Seoul National University（首尔大学）
本文提出动态集体智能学习（DCIL），通过构建双重前向路径生成精炼梯度来更新剪枝权重，解决了动态剪枝中直通估计器梯度不可靠导致的训练不稳定问题，在CIFAR和ImageNet上显著提升了模型性能与训练稳定性。
2023-07-31 cs.AI cs.LG
Fast and Effective Weight Update for Pruned Large Language Models
Faculty of Mathematics, Physics and Informatics, Comenius University（考门斯基大学数学、物理与信息学院）
针对大语言模型剪枝后微调成本高的问题，提出基于ADMM的快速权重更新算法，结合渐进掩码选择，在多种LLM上达到最优剪枝性能。
2024-07-22 cs.CL cs.LG
Stochastic Model Pruning via Weight Dropping Away and Back
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
深度神经网络在各种具有挑战性的任务上取得了巨大的成功。然而，大多数成功的DNN具有极其复杂的结构，这导致了对模型压缩的广泛研究。作为模型压缩的一个重要进展领域，传统的渐进修剪方法涉及迭代修剪-再训练过程，并且可能遭受两个关键问题：局部重要性判断，其中修剪的权重在当前模型中仅仅是不重要的;以及不可恢复的修剪过程，其中修剪的权重没有机会回来。针对这两个问题，本文提出了下降修剪的方法，利用随机优化的修剪过程中，在每个修剪步骤，即下降，随机删除一些不重要的权重，并回落，随机恢复一些修剪的权重引入一个下降的策略。丢弃概率的适当选择减小了修剪过程中的模型大小，并帮助其流向目标稀疏度。与随机训练一个紧凑的模型进行剪枝的贝叶斯方法相比，我们直接针对随机渐进剪枝。我们提供了一个详细的分析表明，下降和回落的方法有各自的贡献。此外，与最先进的权重修剪和贝叶斯训练方法相比，Drop Pruning可以在许多基准任务上实现具有竞争力的压缩性能和准确性。
2020-04-10 cs.LG stat.ML
ESPN: Extremely Sparse Pruned Networks
Tandon School of Engineering（坦顿工程学院）；New York University（纽约大学）
深度神经网络通常是高度过度参数化的，禁止它们在计算有限的系统中使用。然而，最近的一系列工作表明，通过在训练之前识别与重要权重相对应的神经元指示符（或掩码）的子集，可以大大减少深度网络的大小。我们证明了一个简单的迭代掩码发现方法可以实现非常深的网络的最先进的压缩。我们的算法代表了Single Shot网络修剪方法（如SNIP）与彩票类型方法之间的混合方法。我们在几个数据集上验证了我们的方法，并在测试精度和压缩比方面优于几种现有的剪枝方法。
2020-06-28 cs.LG stat.ML
Atrial Fibrillation Detection Using Weight-Pruned, Log-Quantised Convolutional Neural Networks
National University of Singapore（新加坡国立大学）；University College Dublin（都柏林大学学院）
深度神经网络（DNN）是医学应用中一种很有前途的工具。然而，由于通信的高能量成本，在电池供电设备上实现复杂的DNN是具有挑战性的。在这项工作中，卷积神经网络模型被开发用于从心电图（ECG）信号中检测心房颤动。尽管该模型是在有限的可变长度输入数据上训练的，但它仍表现出了很高的性能。权重修剪和对数量化相结合，以引入稀疏性和减少模型大小，这可以用于减少数据移动和降低计算复杂度。最终模型实现了91.1%的模型压缩率，同时保持了91.7%的高模型精度和小于1%的损失。
2022-06-14 cs.LG eess.SP
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Neural Magic Inc.（Neural Magic公司）
我们第一次展示了大规模生成预训练的Transformer（GPT）系列模型可以在一次中修剪到至少50%的稀疏度，而无需任何重新训练，并且精度损失最小。这是通过一种名为SparseGPT的新修剪方法来实现的，该方法专门设计用于在大规模GPT系列模型上高效准确地工作。我们可以在最大的开源模型OPT-175 B和BLOOM-176 B上执行SparseGPT，时间不到4.5小时，并且可以达到60%的非结构化稀疏度，而困惑度的增加可以忽略不计：值得注意的是，这些模型中超过1000亿个权重可以在推理时忽略。SparseGPT一般化到半结构化（2：4和4：8）模式，并且与权重量化方法兼容。该代码可从以下网址获得：https://github.com/IST-DASLab/sparsegpt。
2023-03-22 cs.LG
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
出于理论和实践的考虑，我们研究了权重的随机修剪如何影响神经网络的神经切线核（NTK）。特别是，这项工作建立了一个完全连接的神经网络和它的随机修剪版本之间的NTK的等价性。在两种情况下建立了等效性。第一个主要结果研究了无穷宽渐近性。研究表明，对于在初始化时随机修剪权值的全连接神经网络，在给定一个修剪概率的情况下，当每层网络的宽度依次增长到无穷大时，修剪后的神经网络的NTK收敛到原网络的极限NTK，并增加了一定的尺度.如果网络权重在修剪后被适当地重新缩放，则可以移除这种额外的缩放。第二个主要结果考虑有限宽度的情况。结果表明，为了确保NTK的接近极限，宽度对稀疏性参数的依赖是渐近线性的，因为NTK的差距到其极限下降到零。此外，如果修剪概率被设置为零（即，没有修剪），所需宽度的界限与先前工作中的全连接神经网络的界限匹配到对数因子。这一结果的证明需要开发一种新的网络结构，我们称之为\textit{mask-induced pseudo-networks}的分析。实验提供了评估我们的结果。
2023-03-18 cs.LG
Tiny but Accurate: A Pruned, Quantized and Optimized Memristor Crossbar Framework for Ultra Efficient DNN Implementation
Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）；George Mason University（乔治梅森大学）；Florida International University（佛罗里达国际大学）
最先进的DNN结构涉及密集的计算和高内存存储。为了缓解这些挑战，忆阻器交叉阵列已经成为DNN应用的内在合适的矩阵计算和低功耗加速框架。然而，忆阻器交叉阵列架构上的极端模型压缩的高精度解决方案仍在等待解开。在本文中，我们提出了一种基于忆阻器的DNN框架，该框架通过结合交替方向乘法器（ADMM）算法将结构化权重修剪和量化相结合，以获得更好的修剪和量化性能。我们还发现了ADMM解决方案的非最优权修剪和未使用的数据路径结构化修剪模型。受这些发现的启发，我们设计了一个软硬件协同优化框架，其中包含第一个提出的网络净化和未使用的路径删除算法，目标是在ADMM步骤之后对结构化修剪模型进行后处理。通过将忆阻器硬件约束纳入我们的整个框架，我们在最先进的神经网络结构上实现了极高的压缩比，同时精度损失最小。对于量化结构化修剪模型，我们的框架在将权重量化为8位忆阻器权重表示后几乎没有精度损失。我们在匿名链接https://bit.ly/2VnMUy0上分享我们的模型。
2019-08-27 cs.AR cs.ET cs.LG
Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum
University of Washington（华盛顿大学）
本文提出基于 Lyapunov 谱距离的 LSH 框架，在无需完整训练的情况下早期预测剪枝 RNN 性能，并高效找到超过稠密模型准确率的剪枝变体。
2025-06-09 cs.LG
Rethinking the Value of Network Pruning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Tsinghua University（清华大学）
网络修剪被广泛用于在低资源设置中降低深度模型的沉重推理成本。典型的修剪算法是三级流水线，即，训练（大型模型）、修剪和微调。在剪枝过程中，根据一定的准则，冗余的权重被删除，重要的权重被保留，以最大限度地保持精度。在这项工作中，我们提出了一些令人惊讶的观察结果，这些观察结果与普遍的看法相矛盾。对于我们研究的所有最先进的结构化修剪算法，微调修剪后的模型只能提供与使用随机初始化权重训练该模型相当或更差的性能。对于假设预定义目标网络架构的修剪算法，可以摆脱完整的流水线并直接从头开始训练目标网络。我们的观察结果对于多个网络架构，数据集和任务是一致的，这意味着：1）训练大的、过度参数化的模型通常不是获得有效的最终模型所必需的，2）学习的大模型的“重要”权重通常对小的修剪模型没有用，3）修剪的体系结构本身，而不是一组继承的“重要”权重，对于最终模型的效率更重要，这表明在某些情况下修剪可以作为架构搜索范例。我们的研究结果表明，需要更仔细的基线评估，在未来的研究结构化修剪方法。我们还与“彩票假设”（Frankle & Carbin 2019）进行了比较，发现在最佳学习率下，Frankle & Carbin（2019）中使用的“中奖彩票”初始化并没有带来随机初始化的改进。
2019-03-05 cs.CV cs.LG stat.ML
Pruned Neural Networks are Surprisingly Modular
University of California, Berkeley（加利福尼亚大学伯克利分校）；Boston University（波士顿大学）
神经网络的学习权重通常被认为缺乏可理解的内部结构。为了识别这些权重中的结构，我们引入了多层感知器（MLP）的模块化的可测量概念，并研究了在小图像数据集上训练的MLP的模块化结构。我们的模块化概念来自图聚类文献：“模块”是一组具有强内部连通性但弱外部连通性的神经元。我们发现，训练和权重修剪产生的MLP比随机初始化的MLP更模块化，并且通常比具有相同（稀疏）权重分布的随机MLP更模块化。有趣的是，当使用dropout训练时，它们更加模块化。我们还提出了探索性的分析，不同的模块的性能的重要性，以及模块如何相互依赖。当神经网络的模块化结构存在时，理解这种结构将有望使工程师更容易解释其内部工作。请注意，这篇论文已被“神经网络中的可重复性“，arxiv：2103.03386和“量化深度神经网络中的局部专业化“，arxiv：2110.08058取代！
2022-02-07 cs.LG cs.NE
STARFISH: faST Accuracy Recovery in pruned networks From Internal State Healing
Weizmann Institute of Science（魏茨曼科学研究所）
提出STARFISH方法，通过少量无标签校准集优化剪枝网络与原始网络内部状态对齐，高效恢复精度，在ViT网络上优于现有方法。
2026-05-31 cs.AI cs.CV cs.LG
PruneFuse: Efficient Data Selection via Weight Pruning and Network Fusion
PruneFuse通过剪枝网络进行数据选择并融合原始网络，降低计算成本，提升训练效率，优于基线方法。
2026-03-27 cs.CV cs.LG
The Propensity for Density in Feed-forward Models
King’s College London（伦敦国王学院）；Imperial College London（帝国理工学院）；Philipps-Universität Marburg（马尔堡菲利普斯大学）
本文通过剪枝实验发现，前馈模型可剪枝的权重比例基本不随模型宽度变化，并探讨了三种可能的解释假设。
2024-10-18 cs.AI cs.LG
Iteratively Pruned Deep Learning Ensembles for COVID-19 Detection in Chest X-rays
Lister Hill National Center for Biomedical Communications, National Library of Medicine（美国国家医学图书馆利斯特·希尔国家生物医学通信中心）；Takeda Pharmaceuticals（武田制药）；Saint Louis University（圣路易斯大学）；National Institutes of Health（美国国立卫生研究院）；Walt Whitman High School（沃尔特·惠特曼高中）
我们展示了使用迭代修剪的深度学习模型集成来检测胸部X射线的COVID-19肺部表现。这种疾病是由新型严重急性呼吸道综合征冠状病毒2（SARS-CoV-2）病毒引起的，也称为新型冠状病毒（2019-nCoV）。一个自定义卷积神经网络和一系列ImageNet预训练模型在公开可用的CXR集合上在患者层面进行训练和评估，以学习特定于模态的特征表示。学习到的知识被转移和微调，以提高在将CXR分类为正常、显示细菌性肺炎或COVID-19病毒异常的相关任务中的性能和泛化能力。性能最好的模型被反复修剪，以降低复杂性并提高内存效率。通过不同的集成策略，以提高分类性能的最佳性能修剪模型的预测相结合。实证评估表明，最佳性能修剪模型的加权平均值显著提高了性能，导致在CXR上检测COVID-19发现的准确度为99.01%，曲线下面积为0.9972。特定于模态的知识转移、迭代模型修剪和集成学习的组合使用导致了预测的改进。我们希望这种模型可以很快被用于使用胸部X光片进行COVID-19筛查。
2021-03-05 cs.CV cs.LG eess.IV
Cyclical Pruning for Sparse Neural Networks
Idiap Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；Qualcomm AI Research（高通人工智能研究院）
用于修剪神经网络权重的当前方法迭代地对模型权重应用基于幅度的修剪，并重新训练所得到的模型以恢复丢失的准确性。在这项工作中，我们表明，这种策略不允许错误修剪的权重的恢复。为了使权重恢复，我们提出了一个简单的策略称为\textit{cyclical pruning}，它需要定期修剪时间表，并允许在一个周期中错误修剪的权重在随后的恢复。在线性模型和大规模深度神经网络上的实验结果表明，循环剪枝优于现有的剪枝算法，特别是在高稀疏率下。我们的方法很容易调整，可以很容易地纳入现有的修剪管道，以提高性能。
2022-02-02 cs.CV cs.LG
N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip Connections
深度神经网络的过度参数化性质导致在具有时间和空间限制的低端设备上部署时存在相当大的障碍。使用迭代修剪训练方案稀疏化DNN的网络修剪策略通常在计算上是昂贵的。因此，在训练之前在初始化时修剪的技术变得越来越流行。在这项工作中，我们提出了神经元到神经元的跳跃连接，作为稀疏加权跳跃连接，以增强修剪DNN的整体连接性。在初步修剪步骤之后，在修剪后的网络的各个神经元/通道之间随机添加N2 NSkip连接，同时保持网络的整体稀疏性。我们证明，在修剪网络中引入N2 NSkip连接，使显着优越的性能，特别是在高稀疏性水平，修剪网络相比，没有N2 NSkip连接。此外，我们提出了一个基于热扩散的连接性分析，以定量地确定修剪网络相对于参考网络的连接性。我们评估了我们的方法在两种不同的初步修剪方法，修剪在初始化，并始终获得优越的性能，通过利用增强的连接N2 NSkip连接。
2022-08-07 cs.LG
A Probabilistic Approach to Neural Network Pruning
Northwestern University（西北大学）
神经网络修剪技术在不损害网络预测能力的情况下减少参数的数量。已经开发了许多算法用于修剪过参数化全连接网络（FCN）和卷积神经网络（CNN），但是缺乏对这种修剪的子网络的能力和压缩比的分析研究。我们从理论上研究了两种剪枝技术（随机和基于幅度）对FCN和CNN的性能。给定一个目标网络{其权重从适当的分布中独立采样}，我们提供了一种通用的方法来在概率意义上限制修剪网络和目标网络之间的差距。结果表明，存在修剪网络的表达能力在任何指定的范围内从目标网络。
2021-05-20 cs.LG
Efficient Training Convolutional Neural Networks on Edge Devices with Gradient-pruned Sign-symmetric Feedback Alignment
HKUST-Qualcomm Joint Innovation and Research Laboratory（香港科技大学-高通联合创新研究实验室）；Dept. ECE, Hong Kong University of Science and Technology（香港科技大学电子及计算机工程系）
随着移动设备的繁荣，分布式学习方法使模型训练与分散的数据吸引了广泛的研究。然而，边缘设备缺乏训练能力，极大地限制了分布式学习在现实生活中的能效。本文描述了一种利用传统反向传播的冗余和权重不对称潜力来训练DNN的新方法。我们证明，在分类精度损失可以忽略不计的情况下，所提出的方法在能源效率方面比现有技术高出5倍。
2021-05-13 cs.AR cs.LG cs.NI
SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
Google DeepMind（谷歌DeepMind）；University of Toronto（多伦多大学）；Rutgers University（罗格斯大学）
SLoPe是一种LLM预训练方法，通过在预训练末期加入低秩适配器并采用双重剪枝反向传递，在提升稀疏模型准确率的同时加速训练与推理并降低内存占用。
2025-01-25 cs.AI cs.LG
RicciNets: Curvature-guided Pruning of High-performance Neural Networks Using Ricci Flow
University of Cambridge（剑桥大学）
提出了一种在训练前识别随机布线神经网络中显著计算路径的新方法。计算图基于由局部图测量定义的节点质量概率函数进行修剪，并由基于强化学习的控制器神经网络产生的超参数进行加权。在将计算图映射到神经网络之前，我们使用Ricci曲率的定义来去除低重要性的边缘。我们发现每次传递的浮点运算（FLOP）数量几乎减少了$35\%$，而性能没有下降。此外，我们的方法可以成功地正则化随机连接的神经网络的基础上纯粹的结构属性，也发现，在一个网络中识别的有利特征推广到其他网络。该方法产生的网络具有更好的性能，在类似的压缩，以最低幅度的权重修剪。据我们所知，这是第一个修剪随机连接的神经网络的工作，以及第一个利用拓扑度量的Ricci曲率的修剪机制。
2020-07-08 cs.LG stat.ML
Spatial-Winograd Pruning Enabling Sparse Winograd Convolution
University of Michigan（密歇根大学）；Facebook Inc.（脸书公司）
深度卷积神经网络（CNN）被部署在各种应用中，但需要巨大的计算需求。剪枝技术和Winograd卷积是减少CNN计算量的两种典型方法。但是，它们不能直接组合，因为Winograd变换填充了修剪产生的稀疏性。Li et al.（2017）提出了稀疏Winograd卷积，其中权重直接在Winograd域中修剪，但这种技术不是很实用，因为Winograd域再训练需要较低的学习率，因此需要更长的训练时间。此外，Liu等人（2018）将ReLU函数移动到Winograd域中，这可以帮助增加权重稀疏性，但需要改变网络结构。为了在不改变网络结构的情况下实现Winograd域的高权值稀疏性，提出了一种新的剪枝方法-空间Winograd剪枝。首先，对空间域权值进行结构化修剪，有效地将空间域稀疏性转移到Winograd域，避免了Winograd域的再训练。对于下一步，我们还直接在Winograd域中执行修剪和再训练，但建议使用重要性因子矩阵来调整权重重要性和权重梯度。这种调整使得在不改变网络结构的情况下有效地重新训练修剪的Winograd-domain网络成为可能。对于CIFAR 10，CIFAR-100和ImageNet数据集上的三个模型，我们提出的方法可以分别实现63%，50%和74%的Winograd域稀疏度。
2019-01-08 cs.CV cs.LG cs.NE
Reconstruct the Pruned Model without Any Retraining
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出LIAR框架，通过线性插值重建剪枝后权重，无需再训练，兼容多种剪枝标准，使BERT在剪除50%参数后保持98%准确率，LLaMA在几分钟内达到顶尖性能。
2024-07-18 cs.LG
Fewer Weights, More Problems: A Practical Attack on LLM Pruning
ETH Zurich（苏黎世联邦理工学院）
本文首次揭示了现代LLM剪枝方法可能被恶意利用的问题，通过构造看似无害的模型，在剪枝后表现出恶意行为，展示了剪枝过程中的安全风险。
2026-04-06 cs.AI cs.CR cs.LG
Neural Networks at a Fraction with Pruned Quaternions
National Institute of Science Education and Research（国家科学教育与研究学院）
本文对实值与四元值神经网络进行剪枝对比，证明在极高稀疏度下四元数模型可显著保持准确率，是资源极度受限场景的更优选择。
2023-08-13 cs.CV cs.LG
AP: Selective Activation for De-sparsifying Pruned Neural Networks
National University of Singapore（新加坡国立大学）
整流线性单元（ReLU）是神经网络中非常成功的激活函数，因为它允许网络轻松获得稀疏表示，从而减少过参数化网络中的过拟合。然而，在网络修剪中，我们发现ReLU引入的稀疏性（我们用动态死亡神经元率（DNR）来量化）对修剪后的网络没有好处。有趣的是，网络修剪得越多，在优化过程中动态DNR变得越小。这促使我们提出一种方法来显式地减少修剪网络的动态DNR，即，去稀疏化网络。我们将我们的方法称为Activating-while-Pruning（AP）。我们注意到，AP不作为一个独立的方法，因为它不评估权重的重要性。相反，它与现有的修剪方法协同工作，旨在通过选择性激活节点来减少动态DNR来提高它们的性能。我们使用流行的网络（例如，ResNet，VGG）通过两个经典的和三个国家的最先进的修剪方法。公共数据集上的实验结果（例如，CIFAR-10/100）表明，AP与现有的修剪方法，并提高了3% -4%的性能。对于更大规模的数据集（例如，ImageNet）和最先进的网络（例如，视觉Transformer），我们观察到与没有AP相比，有2% - 3%的改善。最后，我们进行了消融研究，以检查组成AP的组件的有效性。
2022-12-09 cs.AI cs.CV cs.LG
Pruning Coherent Integrated Photonic Neural Networks Using the Lottery Ticket Hypothesis
Duke University（杜克大学）；Colorado State University（科罗拉多州立大学）
基于奇异值分解的相干集成光子神经网络（SC-IPNN）占用空间大，训练和推理的静态功耗高，并且不能使用传统的DNN修剪技术进行修剪。我们利用彩票假设提出了第一个硬件感知的SC-IPNN修剪方法，通过最小化权重参数的数量来解决这些挑战。我们修剪一个多层感知器为基础的SC-IPNN，并表明高达89%的相位角，这对应于SC-IPNN中的权重参数，可以修剪的精度损失可以忽略不计（小于5%），同时减少高达86%的静态功耗。
2021-12-14 cs.ET cs.LG physics.optics
Understanding Fault Tolerance of Adversarially Robust Pruned Models
Rochester Institute of Technology（罗切斯特理工学院）
该研究探究剪枝、对抗训练与硬件故障对CNN鲁棒性的交互影响，发现对抗训练提升抗扰动性但增权重故障敏感性，剪枝不显著增故障敏感性，需兼顾对抗鲁棒性与硬件可靠性。
2026-08-06 cs.CR cs.LG
Magnificent Minified Models
本研究比较多种神经网络剪枝方法，提出OBD-SD变体，发现参数剪枝微调略优于从头训练，但神经元剪枝从头训练更优。
2023-06-16 cs.LG
Exploring the Lottery Ticket Hypothesis with Explainability Methods: Insights into Sparse Network Performance
Boston University（波士顿大学）
本研究利用Grad-CAM和PCBMs方法，探索彩票假说中剪枝网络性能变化的原因，发现剪枝导致概念和像素不一致，从而造成性能下降。
2023-07-07 cs.CV cs.LG
Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures
IST Austria（奥地利科学技术研究所）；Neural Magic（神经魔法公司）
本文系统分析卷积神经网络剪枝与偏差加剧的关系，证明高稀疏模型可保持准确率与偏差稳定，并提出仅凭未压缩模型预测剪枝偏差风险及易感样本的判据。
2023-04-25 cs.CV cs.LG
Joint Regularization on Activations and Weights for Efficient Neural Network Pruning
Duke University（杜克大学）；Black Sesame Technologies（黑芝麻科技）
随着深度神经网络（DNN）的快速扩展，已经对诸如权重修剪的网络模型压缩进行了广泛的研究，以提高部署效率。这项工作的目的是推进压缩超出神经元激活的权重。我们提出了联合正则化技术，同时调节权重和激活的分布。通过区分和利用学习过程中神经元响应和连接之间的显著性差异，联合修剪网络（即\textit{JPnet}）优化了激活和权重的稀疏性，以提高执行效率。JPnet的深度稀疏化揭示了专用于稀疏矩阵运算的现有DNN加速器的更多优化空间。我们通过具有不同激活函数和不同数据集的各种网络模型，彻底评估了联合正则化的有效性。通过对推理精度的$0.4\%$降级约束，与原始密集模型相比，JPnet可以节省$72.3\% \sim 98.8\%$的计算成本，分别在激活数和权重数上减少多达$5.2\times$和$12.3\times$。
2019-09-13 cs.LG stat.ML
One-Shot Pruning of Recurrent Neural Networks by Jacobian Spectrum Evaluation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
稀疏神经网络文献中的最新进展使得仅用少量数据就可以修剪许多大型前馈和卷积网络。然而，这些相同的技术往往动摇时，应用于恢复稀疏递归网络的问题。这些故障是定量的：当使用最近的技术修剪时，RNN通常获得比在简单随机修剪方案下更差的性能。失败也是定性的：修剪的LSTM或GRU网络中的活动权重的分布往往集中在特定的神经元“与”门中，而不是很好地分散在整个架构中。我们试图纠正定量和定性问题与经常性网络修剪引入一个新的经常性修剪目标来自经常性雅可比矩阵的频谱。我们的目标是数据高效（只需要64个数据点来修剪网络），易于实现，并产生95%的稀疏GRU，显着改善现有的基线。我们评估顺序MNIST，十亿字，和Wikitext。
2019-11-30 cs.LG stat.ML
Partially Frozen Random Networks Contain Compact Strong Lottery Tickets
Institute of Science Tokyo（科学东京大学）；NTT Corporation（NTT公司）
本文提出通过冻结随机网络中的部分初始权重来减小强彩票的内存占用，实验表明该方法在精度与模型规模权衡上优于稠密和随机剪枝源网络。
2025-02-08 cs.AI cs.LG stat.ML
Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations
本文发现剪枝网络性能下降的根源是信号坍缩，提出REFLOW方法在不更新权重的情况下缓解该问题，使幅度剪枝在ImageNet上以20%权重将ResNeXt101精度从4.1%提升至78.9%，超越现有方法。
2025-02-18 cs.AI cs.CV cs.LG
Aligned Weight Regularizers for Pruning Pretrained Neural Networks
Huawei Research Center（华为研究中心）
虽然各种途径的研究已经探索了迭代修剪，很少有人知道修剪有什么影响的zero-shot测试性能和修剪标准的选择其潜在的影响。这种修剪设置对于在预训练期间隐式学习语言表示之间的对齐的跨语言模型特别重要，如果通过修剪而扭曲，不仅会导致用于再训练的语言数据的性能较差，而且还会导致评估的zero-shot语言的性能较差。在这项工作中，我们表明，有一个明显的性能差异，在基于幅度的修剪时，比较标准的监督学习的zero-shot设置。根据这一发现，我们提出了两个权重正则化器，旨在最大限度地提高修剪和未修剪网络单元之间的对齐度，以减轻修剪跨语言模型中的对齐失真，并在非zero-shot和zero-shot设置下表现良好。我们提供的实验结果跨语言任务的zero-shot设置使用XLM-RoBERTa $_{\mathrm{Base}}$，我们还发现，修剪有不同程度的代表性退化取决于对应的语言的zero-shot测试集。这也是第一个研究，重点是跨语言的语言模型压缩。
2022-04-05 cs.CL cs.LG
Soft Threshold Weight Reparameterization for Learnable Sparsity
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Microsoft Research（微软研究院）
深度神经网络（DNN）中的稀疏性被广泛研究，重点是在给定总体参数预算的情况下最大化预测精度。现有方法依赖于均匀或启发式非均匀稀疏预算，其具有次优的逐层参数分配，导致a）较低的预测准确度或b）较高的推理成本（FLOP）。这项工作提出了软阈值重新参数化（STR），这是DNN权重上软阈值算子的一种新用途。STR平滑地诱导稀疏性，同时学习修剪阈值，从而获得非均匀的稀疏预算。我们的方法在CNN（ImageNet-1 K上的ResNet 50和MobileNetV 1）中实现了最先进的非结构化稀疏性准确性，此外，还学习了非均匀预算，根据经验将FLOP降低了50%。值得注意的是，STR在超稀疏（99%）机制中将现有结果的准确性提高了10%，并且还可以用于在RNN中引入低秩（结构化稀疏）。简而言之，STR是一种简单的机制，它可以学习有效的稀疏预算，与流行的稀疏预算形成对比。代码，预训练模型和稀疏预算在https://github.com/RAIVNLab/STR。
2020-06-22 cs.CV cs.LG stat.ML
A Feature-map Discriminant Perspective for Pruning Deep Neural Networks
Princeton University（普林斯顿大学）
网络修剪已成为加速移动和边缘应用的深度神经网络的事实上的工具。最近，基于特征图判别式的通道修剪已经显示出有希望的结果，因为它与区分多个类的CNN目标很好地一致，并且提供了修剪决策的更好的可解释性。然而，现有的基于判别式的方法受到计算效率低下的挑战，因为缺乏量化特征图判别能力的理论指导。在本文中，我们提出了一个新的数学公式，以准确和有效地量化的特征映射的区分度，从而产生了一个新的标准，判别信息（DI）。我们分析了DI的理论属性，特别是非减属性，这使得DI成为一个有效的选择标准。基于DI的修剪去除对DI值影响最小的信道，因为它们包含关于判别能力的很少信息。DI准则的通用性还使得层内混合精度量化能够进一步压缩网络。此外，我们提出了一个基于DI的贪婪修剪算法和结构蒸馏技术，自动决定修剪结构，满足一定的资源预算，这是一个常见的需求，在现实中。大量的实验证明了我们方法的有效性：与未修剪的模型相比，我们在ImageNet上修剪的ResNet 50实现了44%的FLOPs减少，而没有任何Top-1精度损失
2020-05-28 cs.CV cs.LG stat.ML
Pruning Convolutional Filters using Batch Bridgeout
University of Saskatchewan（萨斯喀彻温大学）
最先进的计算机视觉模型的容量正在迅速增加，其中参数的数量远远超过拟合训练集所需的数量。这将导致更好的优化和泛化性能。然而，当代模型的巨大规模导致了巨大的推理成本，并限制了它们在资源有限的设备上的使用。为了降低推理成本，可以修剪训练的神经网络中的卷积滤波器，以减少推理期间的运行时存储器和计算需求。然而，如果训练算法导致密集的权重向量，则严重的训练后修剪会导致性能下降。我们提出了使用批量桥接，稀疏诱导随机正则化计划，训练神经网络，使他们可以有效地修剪性能下降最小。我们在CIFAR图像分类任务上对常见的计算机视觉模型VGGNet，ResNet和Wide-ResNet进行了评估。对于所有网络，实验结果表明，与Dropout和权重衰减正则化相比，Batch Bridgeout训练的网络在广泛的修剪强度范围内实现了更高的准确性。
2020-09-23 cs.AI cs.CV cs.LG
Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification
Amazon（亚马逊）；Massachusetts Institute of Technology（麻省理工学院）
本研究提出中心化残差特征方法，通过移除残差训练产生的共享身份对齐组件，对比残差块特有结构得到谱系分数，可高效准确验证开源权重语言模型检查点的谱系
2026-09-24 cs.CL cs.LG
Network Pruning That Matters: A Case Study on Retraining Variants
VinAI Research（VinAI研究院）；VinUniversity
网络修剪是一种有效的方法，以减少计算费用的过参数化神经网络部署在低资源系统。最近用于重新训练修剪网络的最新技术，例如权重倒带和学习率倒带，已被证明在恢复损失的准确性方面优于传统的微调技术（Renda等人，2020年），但到目前为止，还不清楚是什么原因导致了这种表现。在这项工作中，我们进行了大量的实验，以验证和分析学习率倒带的不可思议的有效性。我们发现学习率倒带成功的原因是使用了大的学习率。在涉及大学习率的其他学习率调度中可以观察到类似的现象，1周期学习率调度（Smith等人，2019年）。通过在再训练中利用正确的学习率调度，我们证明了一个反直觉的现象，即随机修剪的网络甚至可以比系统修剪的网络（用传统方法进行微调）获得更好的性能。我们的研究结果强调了学习率调度在修剪网络再训练中的重要性-这是一个在网络修剪实施过程中经常被从业者忽视的细节。一句话总结：我们研究了不同的再训练机制的有效性，同时做修剪
2021-05-07 cs.AI cs.LG
EPSD: Early Pruning with Self-Distillation for Efficient Model Compression
Midea Group（美的集团）
针对传统剪枝结合知识蒸馏效率低的问题，提出EPSD框架，通过两步流程融合早期剪枝与自蒸馏，保留可蒸馏权重提升剪枝网络训练效果，在多个基准上优于现有先进方法。
2024-01-31 cs.AI cs.CV cs.LG
On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks
Facebook AI Research（脸书人工智能研究院）；Brown University（布朗大学）
我们研究了最近记录的，受修剪的深度学习模型中的基本现象如何受到修剪过程中的变化的影响。具体来说，我们分析了通过一组常见的迭代修剪技术发现的修剪模型的连接结构和学习动态的差异，以解决可训练的高稀疏性子网络的唯一性问题，以及它们对所选修剪方法的依赖性。在卷积层中，我们记录了由基于幅度的非结构化修剪结合权重回卷引起的结构的出现，这类似于结构化修剪的效果。我们还表明，经验证据表明，重量稳定，可以自动实现通过适当的修剪技术。
2020-01-14 cs.LG stat.ML
Input-Layer Starvation: Why Per-Layer Pruning Breaks IoT Intrusion Detectors
University of Portsmouth（朴茨茅斯大学）
研究发现逐层剪枝导致物联网入侵检测器输入层饥饿，引发类别级失效和误报，保护首层权重或全局剪枝可预防，重算归一化统计量可修复。
2026-09-28 cs.CR cs.LG
A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks
University of Tehran（德黑兰大学）；University of Southern California（南加州大学）
在这项工作中，限制所需的注意力推理跳数的记忆增强神经网络，我们提出了一种在线自适应方法称为A2 P-MANN。通过利用一个小的神经网络分类器，足够数量的注意力推理跳的输入查询被确定。该技术消除了在提取正确答案时的大量不必要的计算。此外，为了进一步降低A2 P-MANN中的计算量，我们建议修剪最终FC（全连接）层的权重。为此，两个修剪方法，一个可以忽略不计的准确性损失和其他可控损失的最终精度，开发。通过使用bAbI数据集的20个问答（QA）任务来评估该技术的有效性。分析评估显示，平均而言，与基线MANN相比，计算量减少了42%以上，精度损失不到1%。此外，当与先前发布的零跳过技术一起使用时，实现了高达68%的计算计数减少。最后，当所提出的方法（无零跳过）在CPU和GPU平台上实现时，实现了高达43%的运行时间减少。
2022-02-23 cs.CC cs.CL cs.LG
Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging
The Hong Kong Polytechnic University, PolyU（香港理工大学，PolyU）；Hong Kong Polytechnic University Daya Bay Technology（香港理工大学达亚拜技术）；Innovation Research Institute（创新研究院）
针对大语言模型合并中专家权重读取的I/O瓶颈，提出MergePipe，一种预算感知的执行层，通过将合并问题转化为专家访问集问题，在显式I/O预算下选择要访问的专家增量块，实现高达11倍加速且参数偏差极小。
2026-05-28 cs.LG cs.SY eess.SY
LNPT: Label-free Network Pruning and Training
School of Computer and Communication Engineering（计算机与通信工程学院）；Changsha University of Science and Technology（长沙理工大学）
本文提出LNPT框架，利用云端成熟网络通过无标签数据在线指导智能设备网络剪枝与学习，引入与泛化准确相关的学习差距概念，表现优于监督训练。
2025-09-15 cs.LG
S-Cyc: A Learning Rate Schedule for Iterative Pruning of ReLU-based Networks
我们探索了一个新的视角，适应学习率（LR）的时间表，以提高性能的ReLU为基础的网络，因为它是迭代修剪。我们的工作和贡献包括四个部分：（i）我们发现，随着基于ReLU的网络被迭代修剪，权重梯度的分布趋于变窄。这导致发现，随着网络变得更加稀疏，应使用更大的LR值来训练修剪后的网络。(ii)基于这一发现，我们提出了一种新的LR调度算法S-Cyclical（S-Cyc），它通过在网络被迭代修剪时逐渐增加LR上界（max_lr）来适应传统的循环LR调度算法，并强调S-Cyc是一种方法无关的LR调度算法，适用于许多迭代修剪方法。(iii)我们评估的性能建议的S-Cyc和比较它的四个LR时间表基准。我们在三个最先进的网络上的实验结果（例如，VGG-19，ResNet-20，ResNet-50）和两个流行的数据集（例如，CIFAR-10，ImageNet-200）表明，S-Cyc始终优于性能最佳的基准测试，提高了2.1% -3.4%，而复杂性没有实质性增加。(iv)我们评估的S-Cyc对Oracle和显示，S-Cyc实现了相当的性能的Oracle，仔细调整最大_LR通过网格搜索。
2021-10-17 cs.LG cs.NE
Unnoticeable Backdoor Attacks on Graph Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）
图神经网络（GNNs）在节点分类和图分类等各种任务中取得了可喜的成果。最近的研究发现，GNN容易受到对抗攻击的攻击。然而，有效的图上的后门攻击仍然是一个悬而未决的问题。特别地，后门攻击通过将触发器和目标类标签附加到训练图中的一组节点来毒害图。然后，在中毒图上训练的后门GNN将被误导，一旦附加了触发器，就将测试节点预测为目标类。虽然有一些初步的努力，图后门攻击，我们的实证分析表明，他们可能需要一个大的攻击预算有效的后门攻击和注入的触发器可以很容易地检测和修剪。因此，在本文中，我们研究了一个新的问题，不可察觉的图后门攻击有限的攻击预算。为了充分利用攻击预算，我们建议在中毒阶段故意选择注入触发器和目标类标签的节点。采用自适应触发发生器来获取不易被注意到的有效触发。针对各种防御策略在真实数据集上进行的大量实验表明，我们提出的方法在进行有效的不明显的后门攻击方面是有效的。
2023-02-11 cs.CR cs.LG
Sensitivity-Guided Framework for Pruned and Quantized Reservoir Computing Accelerators
Paderborn University（帕德博恩大学）；Brandenburg Technical University（品牌enburg技术大学）；Tallinn University of Technology（塔林技术大学）；Reneo Group GmbH（Reneo集团）
本文提出基于敏感度的压缩框架，通过剪枝和量化优化回声状态网络加速器的资源和计算效率，实验证明在保持精度的同时显著提升性能。
2026-02-24 cs.AI cs.AR cs.DC
Small LLMs: Pruning vs. Training from Scratch
Princeton University（普林斯顿大学）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）
本文通过六种剪枝方法在Llama-3.1-8B上比较剪枝与从头训练，发现有限预算下剪枝更优，预算充足时粗粒度剪枝可被超越。
2026-06-23 cs.CL cs.LG
Lipschitz Constant Meets Condition Number: Learning Robust and Compact Deep Neural Networks
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tianjin University（天津大学）
针对高剪枝导致DNN病态权重矩阵而脆弱的问题，提出TSCNC联合约束降低条件数，理论揭示条件数与Lipschitz常数关系，实验证明提升高剪枝率下的鲁棒性。
2025-03-26 cs.CV cs.LG
