DeltaDPD: Exploiting Dynamic Temporal Sparsity in Recurrent Neural Networks for Energy-Efficient Wideband Digital Predistortion
Department of Microelectronics, Delft University of Technology（代尔夫特理工大学微电子系）；Ampleon Netherlands B.V.（阿姆佩隆荷兰公司）；Leiden Institute of Advanced Computer Science (LIACS), Leiden University（莱顿先进计算机科学研究所（LIACS），莱顿大学）；School of Electrical and Electronic Engineering, University College Dublin（都柏林大学学院电子与电气工程学院）
针对宽带射频PA的DPD能耗挑战，提出DeltaDPD，利用RNN的动态时间稀疏性减少运算和内存访问，在保持良好线性化性能的同时将推理功率降低1.8倍，代码将开源。
2025-04-29 cs.AI cs.CV cs.LG
A Channel-Pruned and Weight-Binarized Convolutional Neural Network for Keyword Spotting
UC Irvine（加州大学欧文分校）；UC San Diego（加州大学圣地亚哥分校）
我们研究了结合权重二值化（1位权重精度）的通道数减少，以修剪用于关键字定位（分类）任务的卷积神经网络。我们采用了基于组Lasso惩罚的组分裂方法，以实现超过50%的信道稀疏性，同时保持网络性能在0.25%的准确性损失。我们展示了一个有效的三阶段过程来平衡网络训练的准确性和稀疏性。
2019-09-12 cs.LG stat.ML
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Neural Magic Inc.（Neural Magic公司）
我们第一次展示了大规模生成预训练的Transformer（GPT）系列模型可以在一次中修剪到至少50%的稀疏度，而无需任何重新训练，并且精度损失最小。这是通过一种名为SparseGPT的新修剪方法来实现的，该方法专门设计用于在大规模GPT系列模型上高效准确地工作。我们可以在最大的开源模型OPT-175 B和BLOOM-176 B上执行SparseGPT，时间不到4.5小时，并且可以达到60%的非结构化稀疏度，而困惑度的增加可以忽略不计：值得注意的是，这些模型中超过1000亿个权重可以在推理时忽略。SparseGPT一般化到半结构化（2：4和4：8）模式，并且与权重量化方法兼容。该代码可从以下网址获得：https://github.com/IST-DASLab/sparsegpt。
2023-03-22 cs.LG
Dynamic Collective Intelligence Learning: Finding Efficient Sparse Model via Refined Gradients for Pruned Weights
Seoul National University（首尔大学）
本文提出动态集体智能学习（DCIL），通过构建双重前向路径生成精炼梯度来更新剪枝权重，解决了动态剪枝中直通估计器梯度不可靠导致的训练不稳定问题，在CIFAR和ImageNet上显著提升了模型性能与训练稳定性。
2023-07-31 cs.AI cs.LG
The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；JD Explore Academy（京东探索研究院）；University of Twente（特文特大学）
随机修剪可以说是在神经网络中获得稀疏性的最简单的方法，但无论是训练后修剪还是稀疏训练都被认为是没有竞争力的。在本文中，我们专注于稀疏训练，并强调了一个可能违反直觉的发现，即初始化时的随机修剪对于现代神经网络的稀疏训练可能非常强大。在没有任何精细的修剪标准或仔细追求稀疏结构的情况下，我们凭经验证明，从头开始稀疏训练随机修剪的网络可以匹配其密集等价物的性能。有两个关键因素促成了这种复兴：（i）网络大小很重要：随着原始密集网络变得更宽更深，训练随机修剪的稀疏网络的性能将迅速增长，即使在高稀疏率下也能与其密集网络相匹配;（ii）可以为稀疏训练预先选择适当的逐层稀疏率，这是另一个重要的性能提升器。虽然看起来很简单，但Wide ResNet-50的随机修剪子网络可以在ImageNet上进行稀疏训练，以超过密集的Wide ResNet-50。我们还观察到，这种随机修剪的网络在其他有利方面优于密集网络，例如分布外检测，不确定性估计和对抗鲁棒性。总的来说，我们的研究结果强烈表明，稀疏训练在规模上有比预期更大的空间，稀疏性的好处可能比精心设计的修剪更普遍。我们的源代码可以在https://github.com/VITA-Group/Random_Pruning上找到。
2022-02-05 cs.AI cs.CV cs.LG
N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip Connections
深度神经网络的过度参数化性质导致在具有时间和空间限制的低端设备上部署时存在相当大的障碍。使用迭代修剪训练方案稀疏化DNN的网络修剪策略通常在计算上是昂贵的。因此，在训练之前在初始化时修剪的技术变得越来越流行。在这项工作中，我们提出了神经元到神经元的跳跃连接，作为稀疏加权跳跃连接，以增强修剪DNN的整体连接性。在初步修剪步骤之后，在修剪后的网络的各个神经元/通道之间随机添加N2 NSkip连接，同时保持网络的整体稀疏性。我们证明，在修剪网络中引入N2 NSkip连接，使显着优越的性能，特别是在高稀疏性水平，修剪网络相比，没有N2 NSkip连接。此外，我们提出了一个基于热扩散的连接性分析，以定量地确定修剪网络相对于参考网络的连接性。我们评估了我们的方法在两种不同的初步修剪方法，修剪在初始化，并始终获得优越的性能，通过利用增强的连接N2 NSkip连接。
2022-08-07 cs.LG
Membership Inference Attacks and Defenses in Neural Network Pruning
Michigan Technological University（密歇根理工大学）
神经网络修剪是一种重要的技术，用于减少将深度神经网络用于资源受限设备的计算和存储器需求。大多数现有的研究主要集中在平衡的稀疏性和准确性的修剪神经网络，通过战略性地删除无关紧要的参数和重新训练修剪模型。这种重复使用训练样本的努力由于增加记忆而造成严重的隐私风险，然而，尚未进行调查。本文首先对神经网络剪枝中的隐私风险进行了分析。具体来说，我们研究了神经网络修剪对训练数据隐私的影响，即，成员推断攻击。我们首先探讨了神经网络修剪对预测发散的影响，其中修剪过程不成比例地影响修剪模型的成员和非成员行为。同时，分歧的影响甚至在不同的类之间以细粒度的方式变化。受此启发，提出了一种针对剪枝后的神经网络的自注意成员推断攻击.进行了大量的实验，严格评估隐私的影响，不同的修剪方法，稀疏水平，和对手的知识。与现有的8种成员推断攻击相比，该攻击在剪枝模型上表现出更高的攻击性能。此外，我们提出了一种新的防御机制，以保护修剪过程中，通过减轻基于KL-发散距离的预测分歧，其有效性已被实验证明，有效地减轻隐私风险，同时保持稀疏性和准确性的修剪模型。
2022-08-03 cs.CR cs.LG stat.ML
MACKO: Sparse Matrix-Vector Multiplication for Low Sparsity
Faculty of Mathematics, Physics and Informatics Comenius University Bratislava（数学物理信息学系 哥梅尼乌斯大学布拉迪斯拉瓦）
针对现有SpMV在大语言模型低非结构化稀疏场景下性能不足的问题，提出GPU优化的MACKO-SpMV协同设计，实现显著内存缩减与推理加速，让50%稀疏度非结构化剪枝可实际落地。
2025-11-17 cs.AI cs.DC cs.DS
Enhancing One-shot Pruned Pre-trained Language Models through Sparse-Dense-Sparse Mechanism
Advanced Micro Devices, Inc.（超威半导体公司）；University of Science and Technology Beijing（北京科技大学）
针对一次性剪枝导致预训练语言模型性能下降的问题，提出SDS稀疏-稠密-稀疏剪枝框架，通过优化权重分布，在相同稀疏度下优于SparseGPT和Wanda，显著降低困惑度并提升准确率。
2024-08-20 cs.CL cs.LG
Rethinking Pruning for Vision-Language Models: Strategies for Effective Sparsity and Performance Restoration
University of Maryland, College Park（马里兰大学学院公园分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对视觉语言模型部署受限问题，提出SparseLoRA方法将稀疏性直接应用于LoRA权重以恢复剪枝模型性能，在2:4和70%稀疏度下分别实现11.3%和47.6%的提升。
2024-06-24 cs.CV cs.LG
SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
Google DeepMind（谷歌DeepMind）；University of Toronto（多伦多大学）；Rutgers University（罗格斯大学）
SLoPe是一种LLM预训练方法，通过在预训练末期加入低秩适配器并采用双重剪枝反向传递，在提升稀疏模型准确率的同时加速训练与推理并降低内存占用。
2025-01-25 cs.AI cs.LG
Spatial-Winograd Pruning Enabling Sparse Winograd Convolution
University of Michigan（密歇根大学）；Facebook Inc.（脸书公司）
深度卷积神经网络（CNN）被部署在各种应用中，但需要巨大的计算需求。剪枝技术和Winograd卷积是减少CNN计算量的两种典型方法。但是，它们不能直接组合，因为Winograd变换填充了修剪产生的稀疏性。Li et al.（2017）提出了稀疏Winograd卷积，其中权重直接在Winograd域中修剪，但这种技术不是很实用，因为Winograd域再训练需要较低的学习率，因此需要更长的训练时间。此外，Liu等人（2018）将ReLU函数移动到Winograd域中，这可以帮助增加权重稀疏性，但需要改变网络结构。为了在不改变网络结构的情况下实现Winograd域的高权值稀疏性，提出了一种新的剪枝方法-空间Winograd剪枝。首先，对空间域权值进行结构化修剪，有效地将空间域稀疏性转移到Winograd域，避免了Winograd域的再训练。对于下一步，我们还直接在Winograd域中执行修剪和再训练，但建议使用重要性因子矩阵来调整权重重要性和权重梯度。这种调整使得在不改变网络结构的情况下有效地重新训练修剪的Winograd-domain网络成为可能。对于CIFAR 10，CIFAR-100和ImageNet数据集上的三个模型，我们提出的方法可以分别实现63%，50%和74%的Winograd域稀疏度。
2019-01-08 cs.CV cs.LG cs.NE
ResNet Can Be Pruned 60x: Introducing Network Purification and Unused Path Removal (P-RM) after Weight Pruning
Northeastern University（东北大学）
最新的DNN结构涉及高计算量和对内存存储的巨大需求，这对DNN框架资源提出了强烈的挑战。为了减轻这些挑战，已经研究了权重修剪技术。然而，由于DNN网络中的权重大大降低，结合了不同类型的结构稀疏性的极端结构化修剪的高精度解决方案仍在等待解开。在本文中，我们提出了一个DNN框架，它结合了两种不同类型的结构化权重修剪（过滤器和列修剪），通过结合交替方向乘法器（ADMM）算法，以获得更好的修剪性能。我们是第一个发现ADMM过程的非最优性和未使用的权重在结构化修剪模型，并进一步设计了一个优化框架，其中包含第一个提出的网络净化和未使用的路径删除算法，专门用于后处理ADMM步骤后的结构化修剪模型。一些亮点显示，我们在LeNet-5上实现了232倍压缩，在ResNet-18 CIFAR-10上实现了60倍压缩，在AlexNet上实现了超过5倍压缩。我们在匿名链接http://bit.ly/2VJ5ktv上分享我们的模型。
2019-04-30 cs.AI cs.CV cs.LG
How Pruning Reshapes Features: Sparse Autoencoder Analysis of Weight-Pruned Language Models
organization= VRAIN -- Valencian Research Institute for Artificial Intelligence, Universitat Polit\`ecnica de Val\`encia , city= Valencia , country= Spain；organization= Department of Economics；organization= Department of Business Organisation, Universitat Polit\`ecnica de Val\`encia , city= Valencia , country= Spain
研究通过稀疏自编码器分析权重剪枝对语言模型特征几何的影响，发现低频特征更易通过剪枝，揭示了剪枝的隐含特征选择机制及压缩下的可解释性挑战。
2026-03-26 cs.AI cs.LG
Exploiting Unstructured Sparsity in Fully Homomorphic Encrypted DNNs
University of Glasgow（格拉斯哥大学）；AMD（超威半导体公司）
本文提出利用FHE矩阵乘法中的非结构化稀疏性，设计三种稀疏乘法方案，在保持模型精度下实现2.5倍平均加速，64核多线程达32.5倍提升并降低内存需求。
2025-04-03 cs.CR cs.DC cs.LG
Atrial Fibrillation Detection Using Weight-Pruned, Log-Quantised Convolutional Neural Networks
National University of Singapore（新加坡国立大学）；University College Dublin（都柏林大学学院）
深度神经网络（DNN）是医学应用中一种很有前途的工具。然而，由于通信的高能量成本，在电池供电设备上实现复杂的DNN是具有挑战性的。在这项工作中，卷积神经网络模型被开发用于从心电图（ECG）信号中检测心房颤动。尽管该模型是在有限的可变长度输入数据上训练的，但它仍表现出了很高的性能。权重修剪和对数量化相结合，以引入稀疏性和减少模型大小，这可以用于减少数据移动和降低计算复杂度。最终模型实现了91.1%的模型压缩率，同时保持了91.7%的高模型精度和小于1%的损失。
2022-06-14 cs.LG eess.SP
S2TA: Exploiting Structured Sparsity for Energy-Efficient Mobile CNN Acceleration
University of Rochester（罗切斯特大学）；Arm ML Research Lab（Arm机器学习研究实验室）
利用稀疏性是在移动设备上加速量化卷积神经网络（CNN）推理的关键技术。现有的稀疏CNN加速器在很大程度上利用了非结构化的稀疏性，并实现了显著的加速。然而，由于无边界的、在很大程度上不可预测的稀疏模式，利用非结构化稀疏性需要复杂的硬件设计，具有显著的能量和面积开销，这对于能量和面积效率至关重要的移动/物联网推理场景尤其不利。我们建议利用结构化稀疏性，更具体地说，密度约束块（DBB）稀疏的权重和激活。DBB块张量限制了每个块的最大非零数量。因此，DBB暴露了静态可预测的稀疏模式，使精益稀疏利用硬件。我们提出了新的硬件原语实现DBB稀疏（静态）权重和（动态）激活，分别具有非常低的开销。在原语的基础上，我们描述了S2 TA，一个基于脉动阵列的CNN加速器，它利用了传统脉动阵列上不可用的联合权重和激活DBB稀疏性以及数据重用的新维度。在五个流行的CNN基准测试中，与具有零值时钟门控的脉动阵列的强基线相比，16 nm的S2 TA实现了超过2倍的加速和能量降低。与最近的两个非收缩稀疏加速器Eyeriss v2（65 nm）和Sparten（45 nm）相比，65 nm的S2 TA每次推理分别使用约2.2倍和3.1倍的能量。
2022-01-06 cs.AR cs.LG
Graph Expansion in Pruned Recurrent Neural Network Layers Preserve Performance
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Polynom（波林公司）；Trinity College Dublin（都柏林三一学院）
本文通过保持递归神经网络底层图的扩展性质（大谱间隙）进行剪枝，在MNIST、CIFAR-10和Google语音命令基准上验证了该方法能保持RNN和LSTM的分类准确性。
2024-03-17 cs.CV cs.LG cs.NE
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Exploiting sparsity to build efficient kernel based collaborative filtering for top-N item recommendation
University of Padova（帕多瓦大学）
越来越多的隐式反馈数据集的可用性提高了开发有效的协同过滤技术，能够处理不对称的明确的正反馈和模糊的负反馈的兴趣。在本文中，我们提出了一个原则性的基于核的协同过滤方法的前N项的建议与隐式反馈。我们提出了一个有效的实现使用的线性内核，我们展示了如何将其推广到内核的点积家庭保持效率。我们还研究了影响标准余弦核稀疏性的元素。该分析表明，核的稀疏性强烈地依赖于数据集的属性，特别是依赖于长尾分布。我们比较我们的方法与国家的最先进的算法取得了良好的效果，无论是在效率和有效性。
2016-12-17 cs.AI cs.IR cs.LG
Spartus: A 9.4 TOp/s FPGA-based LSTM Accelerator Exploiting Spatio-Temporal Sparsity
Institute of Neuroinformatics, University of Zurich（苏黎世大学神经信息学研究所）；ETH Zurich（苏黎世联邦理工学院）
长短期记忆（LSTM）递归网络经常用于涉及时间序列数据的任务，例如语音识别。与之前利用空间权重稀疏性或时间激活稀疏性的LSTM加速器不同，本文提出了一种名为“Spartus”的新加速器，它利用时空稀疏性来实现超低延迟推理。空间稀疏性是使用一种新的列平衡目标丢弃（CBTD）结构化修剪方法，产生结构化稀疏权重矩阵的平衡工作量。在Spartus硬件上运行的修剪网络实现了高达96%和94%的权重稀疏水平，TIMIT和Librispeech数据集的准确性损失可以忽略不计。为了在LSTM中引入时间稀疏性，我们将以前的DeltaGRU方法扩展到DeltaLSTM方法。将时空稀疏性与CBTD和DeltaLSTM相结合可以节省权重内存访问和相关的算术运算。Spartus架构具有可扩展性，在小型和大型FPGA上实现时均支持实时在线语音识别。Spartus对于1024个神经元的单个DeltaLSTM层的每个样本延迟平均为1 us。使用TIMIT数据集在我们的测试LSTM网络上利用时空稀疏性，使Spartus的速度比其理论硬件性能提高了46倍，实现了9.4 TOp/s的有效批处理吞吐量和1.1 TOp/s/W的功率效率。
2022-06-13 cs.AI cs.AR cs.CV
Efficient Training Convolutional Neural Networks on Edge Devices with Gradient-pruned Sign-symmetric Feedback Alignment
HKUST-Qualcomm Joint Innovation and Research Laboratory（香港科技大学-高通联合创新研究实验室）；Dept. ECE, Hong Kong University of Science and Technology（香港科技大学电子及计算机工程系）
随着移动设备的繁荣，分布式学习方法使模型训练与分散的数据吸引了广泛的研究。然而，边缘设备缺乏训练能力，极大地限制了分布式学习在现实生活中的能效。本文描述了一种利用传统反向传播的冗余和权重不对称潜力来训练DNN的新方法。我们证明，在分类精度损失可以忽略不计的情况下，所提出的方法在能源效率方面比现有技术高出5倍。
2021-05-13 cs.AR cs.LG cs.NI
Structured Pruning of Deep Convolutional Neural Networks
Seoul National University（首尔大学）
深度学习算法的实时的应用经常受到高计算复杂性和频繁的存储器访问的阻碍。网络剪枝是解决这一问题的一种很有前途的技术。然而，修剪通常会导致不规则的网络连接，不仅需要额外的表示工作，而且不适合并行计算。我们介绍了卷积神经网络在不同尺度下的结构稀疏性，包括通道稀疏性、核稀疏性和核内稀疏性。这种结构化稀疏性对于嵌入式计算机、并行计算环境和基于硬件的系统上的直接计算资源节省是非常有利的。为了确定网络连接和路径的重要性，所提出的方法使用粒子滤波方法。每个粒子的重要性权重分配通过计算相应的连接模式的错误分类率。修剪后的网络被重新训练，以补偿由于修剪而造成的损失。在实现卷积矩阵产品，我们特别表明，内核内跨越稀疏与一个简单的约束，可以显着降低内核和特征映射矩阵的大小。最终对修剪后的网络进行定点优化，降低了字长精度。这导致总存储大小的显著减小，从而为基于片上存储器的深度神经网络的实现提供优势。
2015-12-29 cs.LG cs.NE stat.ML
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
出于理论和实践的考虑，我们研究了权重的随机修剪如何影响神经网络的神经切线核（NTK）。特别是，这项工作建立了一个完全连接的神经网络和它的随机修剪版本之间的NTK的等价性。在两种情况下建立了等效性。第一个主要结果研究了无穷宽渐近性。研究表明，对于在初始化时随机修剪权值的全连接神经网络，在给定一个修剪概率的情况下，当每层网络的宽度依次增长到无穷大时，修剪后的神经网络的NTK收敛到原网络的极限NTK，并增加了一定的尺度.如果网络权重在修剪后被适当地重新缩放，则可以移除这种额外的缩放。第二个主要结果考虑有限宽度的情况。结果表明，为了确保NTK的接近极限，宽度对稀疏性参数的依赖是渐近线性的，因为NTK的差距到其极限下降到零。此外，如果修剪概率被设置为零（即，没有修剪），所需宽度的界限与先前工作中的全连接神经网络的界限匹配到对数因子。这一结果的证明需要开发一种新的网络结构，我们称之为\textit{mask-induced pseudo-networks}的分析。实验提供了评估我们的结果。
2023-03-18 cs.LG
Connectivity Matters: Neural Network Pruning Through the Lens of Effective Sparsity
Center for Data Science（数据科学中心）；New York University（纽约大学）；Courant Institute for Mathematical Sciences（库朗数学科学研究所）
本文提出有效稀疏性概念以纠正传统直接稀疏性对子网络连接失活的低估，基于此重新评估多种剪枝算法，并利用物理学压力分布类比设计出超越现有基线的逐层稀疏配额。
2023-04-08 cs.CV cs.LG
ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models
Apple（苹果公司）
针对大语言模型推理计算量高的部署难题，该研究主张复用ReLU激活函数，利用其激活稀疏性及神经元复用特性，提出实用策略将推理计算量最多降三倍，且性能损失极小。
2023-10-06 cs.AI cs.LG
SparSP: Exploiting Communication Sparsity for Sequence-Parallel Video DiTs
University of Waterloo（滑铁卢大学）；Rice University（莱斯大学）
本文提出SparSP，一种利用注意力稀疏性作为通信原语的序列并行系统，通过依赖感知放置、需求导向KV路由和解耦传输运行时，在PCIe多GPU环境下实现视频扩散Transformer的高效推理，提升注意力性能1.38-1.5倍，端到端加速最高1.69倍。
2026-09-29 cs.DC cs.LG cs.PF
Neural Networks at a Fraction with Pruned Quaternions
National Institute of Science Education and Research（国家科学教育与研究学院）
本文对实值与四元值神经网络进行剪枝对比，证明在极高稀疏度下四元数模型可显著保持准确率，是资源极度受限场景的更优选择。
2023-08-13 cs.CV cs.LG
Exploiting Activation based Gradient Output Sparsity to Accelerate Backpropagation in CNNs
The Pennsylvania State University（宾夕法尼亚州立大学）
基于机器/深度学习（ML/DL）的技术正在成为许多尖端技术背后的驱动力，实现了计算机视觉工作负载的高精度，如图像分类和目标检测。然而，训练这些涉及大参数的模型既耗时又耗能。在这方面，一些先前的工作已经提倡稀疏性来加速DL训练，更重要的是，推理阶段。这项工作开始于观察，在训练过程中，稀疏的向前和向后传递是相关的。在这种情况下，我们调查两种类型的稀疏性（输入和输出类型）固有的梯度下降为基础的优化算法，并提出了一个硬件微架构，以利用相同的。我们的实验结果在Imagenet数据集上使用了五个最先进的CNN模型，与密集基线执行相比，反向传播加速范围为1.69 $\times$至5.43 $\times$。通过在向前和向后传递中利用稀疏性，与稀疏性无关的基线执行相比，加速改进的范围从1.68 $\times$到3.30 $\times$。我们的工作还实现了训练迭代时间的显着减少，在几个以前提出的密集以及稀疏加速器为基础的平台，除了实现数量级的能源效率提高基于GPU的执行。
2021-09-16 cs.CV cs.LG
SparseNN: An Energy-Efficient Neural Network Accelerator Exploiting Input and Output Sparsity
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（香港科技大学电子及计算机工程学系）
当代深度神经网络（DNN）包含数百万个突触连接，具有数十到数百层。大的计算量和存储器需求对硬件设计提出了挑战。在这项工作中，我们利用DNN固有的激活稀疏性来大幅减少执行周期和能耗。提出了一种端到端的训练算法来开发一个轻量级的运行时预测器，用于动态输出激活稀疏性。从我们的实验结果来看，预测阶段的计算开销可以减少到原始前馈阶段的5%以下，精度损失可以忽略不计。此外，一个节能的硬件架构，SparseNN，提出了利用输入和输出稀疏。SparseNN是一种可扩展的架构，具有通过专用片上网络连接的分布式存储器和处理元件。与只利用输入稀疏性的最先进的加速器相比，SparseNN可以实现10%-70%的吞吐量提高和约50%的功耗降低。
2017-11-03 cs.AR cs.LG
Getting Away with More Network Pruning: From Sparsity to Geometry and Linear Regions
Bucknell University（巴克内尔大学）；University of Utah（犹他大学）
神经网络的一个令人惊讶的特点是，它们的连接可以在很小程度上被修剪，甚至对准确性没有影响。但是，当我们越过参数稀疏的临界水平时，任何进一步的修剪都会导致准确性的突然下降。这种下降合理地反映了模型复杂性的损失，这是我们的目标。在这项工作中，我们探索稀疏性如何也影响了由神经网络定义的线性区域的几何形状，从而减少了基于架构的线性区域的预期最大数量。我们观察到，修剪影响精度类似于稀疏性如何影响线性区域的数量和我们提出的最大数量的界限。相反，我们发现，与在所有层中使用相同稀疏度进行修剪相比，选择跨层的稀疏度以最大化我们的界限通常会提高准确性，从而为我们提供修剪位置的指导。
2023-01-19 cs.LG math.OC
Sparse PointPillars: Maintaining and Exploiting Input Sparsity to Improve Runtime on Embedded Systems
University of Pennsylvania（宾夕法尼亚大学）
鸟瞰视图（BEV）是一种用于处理3D点云的流行表示方法，并且其本质上是稀疏的。受移动机器人平台的计算限制的影响，我们创建了一个快速，高性能的BEV 3D对象检测器，该检测器保持并利用这种输入稀疏性来减少非稀疏基线的运行时间，并避免伪图像区域和运行时间之间的权衡。我们目前的结果KITTI，一个典型的3D检测数据集，和Matterport-Chair，一个新的Matterport 3D衍生的椅子检测数据集，从场景中的真实家具的家庭。我们使用桌面GPU，嵌入式ML加速器和机器人CPU评估运行时特性，证明我们的方法可以显著提高嵌入式系统的检测速度（2倍或更高），而检测质量仅略有下降。我们的工作为从业者提供了一种新的方法，通过在整个管道中维护和利用输入稀疏性来优化嵌入式系统的模型，以减少运行时间和资源使用，同时保持检测性能。
2022-03-01 cs.CV cs.LG
The Sparsity Roofline: Understanding the Hardware Limits of Sparse Neural Networks
UC Davis（加州大学戴维斯分校）；NVIDIA（英伟达）
本研究提出Sparsity Roofline可视化性能模型，可联合建模神经网络精度、稀疏度与理论推理加速比，无需优化内核基准测试，经真实视觉架构验证有效，可助力研究人员与硬件设计者评估稀疏模式性能潜力。
2023-11-06 cs.CV cs.LG
Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Harbin Institute of Technology（哈尔滨工业大学）
该研究提出硬件-算法协同设计框架FFD，利用注意力稀疏性实现长上下文解码的高效性，获内核级11.6倍加速、端到端吞吐量2.37倍提升，在基准数据集上保持精度。
2026-09-02 cs.AI cs.LG
Exploring Structural Sparsity in Neural Image Compression
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；PengCheng Laboratory（鹏城实验室）
神经图像压缩已经达到或超过了传统的压缩方法（如JPEG、BPG、WebP）。然而，它们复杂的级联卷积层网络结构给实际部署带来了沉重的计算负担。本文探讨神经图像压缩网路中的结构稀疏性，以获得即时的加速，而不需任何专门的硬体设计或演算法。我们提出了一个简单的插件自适应二进制通道掩蔽（ABCM）来判断每个卷积通道的重要性，并在训练过程中引入稀疏性。在推理过程中，不重要的通道被修剪，以获得更苗条的网络和更少的计算。将该方法应用于三个不同熵模型的图像压缩神经网络中，实验结果表明，该方法在性能下降不明显的情况下，计算量减少了7倍，速度提高了3倍.
2022-03-11 cs.CV cs.LG eess.IV
Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph Representation Learning
Brandeis University（布兰迪斯大学）；University of Hong Kong（香港大学）；University of Notre Dame（圣母大学）；Hunan University（湖南大学）
即使通过最先进的网络压缩方法进行修剪，与规则欧几里得空间中的数据相比，由于非欧几里得图数据的不规则和讨厌的密度特性，图神经网络（GNNs）在非欧几里得图数据上的训练通常会遇到相对较高的时间成本。与图相伴的另一个自然属性是类不平衡，这不能通过大量的图数据来缓解，同时阻碍了GNN的推广。为了完全解决这些令人不快的特性，（i）理论上，我们引入了一个假设，即训练数据的子集在多大程度上可以近似于整个数据集的学习效率。通过子集和全集之间的梯度距离进一步保证和证明了有效性;（ii）经验上，我们发现在GNN的学习过程中，训练数据集中的一些样本对于提供梯度来更新模型参数是有用的。此外，在训练过程中，信息子集是不固定的。在当前训练时期中提供信息的样本在下一个训练时期中可能不是这样。我们还注意到，从经过良好训练的GNN中修剪出来的稀疏子网有时会忘记信息子集提供的信息，这反映在它们在该子集上的糟糕性能上。基于这些发现，我们开发了一个统一的数据模型动态稀疏性框架命名为图Decantation（GraphDec），以解决在大量类不平衡图数据上训练所带来的挑战。GraphDec的核心思想是采用稀疏图对比学习在训练过程中动态识别信息子集。在基准数据集上进行的大量实验表明，GraphDec在分类准确性和数据使用效率方面优于图和节点任务的基线。
2022-10-01 cs.LG
Exploiting random projections and sparsity with random forests and gradient boosting methods -- Application to multi-label and multi-output learning, random forest model compression and leveraging input sparsity
University of Liège（列日大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Katholieke Universiteit Leuven（鲁汶天主教大学）
在机器学习中，监督学习领域的目标是根据过去对其行为的观察来建模系统的输入-输出关系。决策树通过一系列嵌套的$if-then-else$问题（测试节点）来表征输入-输出关系，这些问题导致一组预测（叶节点）。几个这样的树通常被组合在一起以获得最先进的性能：随机森林集成对并行独立训练的随机化决策树的预测进行平均，而树提升集成训练决策树顺序地改进先前的预测。新应用的出现需要可扩展的监督学习算法在计算能力和内存空间方面的输入，输出和观察的数量，而不牺牲准确性。在这篇论文中，我们确定了决策树方法可以改进的三个主要领域，我们提供并评估了原始的算法解决方案：（i）在高维输出空间上学习，（ii）在预测时使用大样本数据集和严格的内存约束进行学习，以及（iii）在高维稀疏输入空间上学习。
2017-04-26 cs.LG stat.ML
ELSA: Exploiting Layer-wise N:M Sparsity for Vision Transformer Acceleration
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视觉Transformer逐层定制N:M稀疏配置方法匮乏的问题，提出ELSA方法，兼顾加速器支持的稀疏等级与吞吐量，以极小精度损失实现ViT的内存与推理效率提升，在ImageNet上使Swin-B、DeiT-B的FLOPs降低2.9倍。
2024-09-15 cs.CV cs.LG
Exploiting Subgradient Sparsity in Max-Plus Neural Networks
Image, Data, Signal Department (IDS), Telecom Paris, Institut Polytechnique de Paris, France（图像、数据、信号部门（IDS），Telecom Paris，巴黎政治学院，法国）
本文提出了一种利用Max-Plus神经网络中亚梯度稀疏性的优化方法，通过稀疏亚梯度算法提升训练效率并保持理论保证。
2026-03-04 cs.LG stat.ML
TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training and Inference
University of Toronto（多伦多大学）；Cerebras Systems（赛雷布拉斯系统公司）；Vector Institute（向量研究所）
TensorDash是一种硬件级技术，用于使数据并行MAC单元能够利用其输入操作数流中的稀疏性。当用于构成深度学习的硬件加速器时，TensorDash可以加快训练过程，同时提高能源效率。TensorDash将低成本、稀疏输入操作数互连与面积高效的硬件调度器相结合，该互连包括每个乘法器输入的8输入多路复用器。虽然互连允许每个操作数的非常有限的移动集合，但是当稀疏性存在于神经网络的激活、权重或梯度中时，调度器可以有效地提取稀疏性。在涵盖各种应用的广泛模型集合中，TensorDash通过$1.95{\times}$加速训练过程，同时在考虑片上和片外内存访问时，$1.89\times$更节能，$1.6\times$更节能。虽然TensorDash适用于任何数据类型，但我们使用单精度浮点单元和bfloat16来演示它。
2020-09-01 cs.AR cs.LG
Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
Rochester Institute of Technology（罗切斯特技术学院）；Toyota InfoTech Labs（丰田信息科技实验室）
本研究探究基于幅值的剪枝结合微调对神经网络可解释性的影响，发现轻中度剪枝可提升显著性图质量与概念一致性，使表征更贴合人类注意力模式，而过度剪枝会损害可解释性。
2025-10-05 cs.AI cs.CV cs.LG
Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion
IDEAS NCBR；Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Sapienza University of Rome（罗马第一大学）
本文提出D2DMoE方法，通过正则化基础模型的激活稀疏性并引入按token动态调整专家数量的dynamic-$k$选择规则，将密集网络转换为MoE层，在NLP和视觉任务中实现最高60%推理成本降低且保持性能。
2024-11-12 cs.LG
Exploiting Data Sparsity in Secure Cross-Platform Social Recommendation
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）；Sony AI（索尼人工智能）；Emory University（埃默里大学）
社会推荐已经显示出比传统系统有希望的改进，因为它利用社会相关数据作为额外的输入。大多数现有的工作假设所有数据都可用于推荐平台。然而，在实践中，用户-项目交互数据（例如，评级）和用户-用户社交数据通常由不同的平台生成，并且两者都包含敏感信息。因此，“如何在数据高度稀疏的不同平台上执行安全有效的社交推荐”仍然是一个重要的挑战。在这项工作中，我们将安全计算技术引入社交推荐，并提出S3 Rec，一个稀疏感知的安全跨平台的社交推荐框架。结果表明，该模型不仅可以通过整合社交平台上的稀疏社交数据来提高评级平台的推荐性能，而且可以保护两个平台的数据隐私。此外，为了进一步提高模型训练效率，我们提出了两种基于同态加密和私有信息检索的安全稀疏矩阵乘法协议。我们在两个基准数据集上的实验证明了S3 Rec的有效性。
2022-02-15 cs.CR cs.LG
Pruning is Optimal for Learning Sparse Features in High-Dimensions
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
本文从理论上证明，在高维稀疏特征学习中，按模型方向矩阵的稀疏程度成比例地剪枝神经网络并用梯度下降训练，可以达到相关统计查询下界所给出的最优样本复杂度，而标准梯度下降方法只能达到次优结果。
2024-06-12 cs.LG stat.ML
Minimum Variance Unbiased N:M Sparsity for the Neural Gradients
Habana Labs（哈巴纳实验室）；Intel（英特尔）；Technion（以色列理工学院）
本文提出针对神经梯度的无偏最小方差 N:M 稀疏化掩码，解决传统 MSE 最小化在梯度剪枝中失效的问题，并验证 1:2 与 2:4 稀疏化在多数训练场景下已足够，从而加速训练。
2024-06-09 cs.AI cs.LG
EXION: Exploiting Inter- and Intra-Iteration Output Sparsity for Diffusion Models
KAIST（韩国科学技术院）
本文提出软硬件协同设计的扩散模型加速器 EXION，通过 FFN-Reuse、两步前导1预测与 ConMerge 利用迭代间和迭代内输出稀疏性，在不损失精度的同时大幅提升性能与能效。
2025-01-10 cs.AI cs.AR cs.LG
Cyclical Pruning for Sparse Neural Networks
Idiap Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；Qualcomm AI Research（高通人工智能研究院）
用于修剪神经网络权重的当前方法迭代地对模型权重应用基于幅度的修剪，并重新训练所得到的模型以恢复丢失的准确性。在这项工作中，我们表明，这种策略不允许错误修剪的权重的恢复。为了使权重恢复，我们提出了一个简单的策略称为\textit{cyclical pruning}，它需要定期修剪时间表，并允许在一个周期中错误修剪的权重在随后的恢复。在线性模型和大规模深度神经网络上的实验结果表明，循环剪枝优于现有的剪枝算法，特别是在高稀疏率下。我们的方法很容易调整，可以很容易地纳入现有的修剪管道，以提高性能。
2022-02-02 cs.CV cs.LG
Exploiting Sparsity in Automotive Radar Object Detection Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Mannheim University of Applied Sciences（曼海姆应用科学大学）
本文面向自动驾驶雷达检测的高算力问题，提出结合 SKPP 与 DVPC 的稀疏卷积网络 SKPP-DPVCN，在 nuScenes 上显著提升 Car AP4.0 并降低 ASE。
2023-08-15 cs.AI cs.CV cs.LG
Input-Layer Starvation: Why Per-Layer Pruning Breaks IoT Intrusion Detectors
University of Portsmouth（朴茨茅斯大学）
研究发现逐层剪枝导致物联网入侵检测器输入层饥饿，引发类别级失效和误报，保护首层权重或全局剪枝可预防，重算归一化统计量可修复。
2026-09-28 cs.CR cs.LG
SAU: Sparsity-Aware Unlearning for LLMs via Gradient Masking and Importance Redistribution
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；University of California San Diego（加州大学圣地亚哥分校）
本文提出SAU方法，通过梯度掩码和重要性再分配解决稀疏模型中反学习效果下降问题，提升模型遗忘能力并保持实用性。
2026-04-01 cs.LG
A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks
University of Tehran（德黑兰大学）；University of Southern California（南加州大学）
在这项工作中，限制所需的注意力推理跳数的记忆增强神经网络，我们提出了一种在线自适应方法称为A2 P-MANN。通过利用一个小的神经网络分类器，足够数量的注意力推理跳的输入查询被确定。该技术消除了在提取正确答案时的大量不必要的计算。此外，为了进一步降低A2 P-MANN中的计算量，我们建议修剪最终FC（全连接）层的权重。为此，两个修剪方法，一个可以忽略不计的准确性损失和其他可控损失的最终精度，开发。通过使用bAbI数据集的20个问答（QA）任务来评估该技术的有效性。分析评估显示，平均而言，与基线MANN相比，计算量减少了42%以上，精度损失不到1%。此外，当与先前发布的零跳过技术一起使用时，实现了高达68%的计算计数减少。最后，当所提出的方法（无零跳过）在CPU和GPU平台上实现时，实现了高达43%的运行时间减少。
2022-02-23 cs.CC cs.CL cs.LG
Understanding and Exploiting Weight Update Sparsity for Communication-Efficient Distributed RL
Covenant AI；Mila, Concordia University（蒙特利尔大学米尔实验室）
本文研究了在带宽受限的分布式强化学习中，通过利用权重更新的稀疏性来减少通信开销，提出了一种名为PULSE的算法，通过计算可见稀疏化原则，实现了高效的权重同步和伪梯度同步。
2026-05-19 cs.LG
Eau De $Q$-Network: Adaptive Distillation of Neural Networks in Deep Reinforcement Learning
该研究提出EauDeQN算法，通过多在线网络自适应蒸馏实现稠密到稀疏的强化学习，在Atari和MuJoCo上保持高性能并达到高稀疏度。
2025-06-20 cs.AI cs.LG
SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models
Multimedia Laboratory (MMLab), The Chinese University of Hong Kong（香港中文大学多媒体实验室）；Salesforce AI Research（Salesforce 人工智能研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；CPII under InnoHK（InnoHK 创新香港研发平台旗下产品可靠性及系统安全研发中心）
SPP提出一种稀疏性保持的参数高效微调方法，通过轻量级可学习矩阵优化稀疏LLM权重，在保持稀疏结构的同时显著提升高稀疏率模型性能。
2024-05-25 cs.CL cs.LG
