How Compact?: Assessing Compactness of Representations through Layer-Wise Pruning
Samsung Research（三星研究院）；Samsung Electronics（三星电子）；Texas A&M University（得克萨斯农工大学）
在嵌入深度神经网络（DNN）的许多层中可能出现各种形式的表示。其中，我们在哪里可以找到最紧凑的表示？我们建议使用一个修剪框架来回答这个问题：如何压缩每一层，而不损失性能？大多数现有的DNN压缩方法没有考虑各个层的相对可压缩性。它们统一地将单个目标稀疏性应用于所有层，或者使用算法和额外的训练来适应层稀疏性。我们提出了一个原则性的方法，自动确定的稀疏性的各个层的重要性。为了做到这一点，我们考虑一个度量来衡量每一层的重要性的基础上逐层的能力。给定训练好的模型和总目标稀疏度，我们首先评估模型中每一层的重要性。根据评估的重要性，我们计算每层的逐层稀疏度。所提出的方法可以应用于任何DNN架构，并且可以与任何以总目标稀疏度为参数的修剪方法相结合。为了验证所提出的方法，我们进行了图像分类任务与两种类型的DNN架构上的两个基准数据集，并使用三种修剪方法进行压缩。在ImageNet数据集上使用权重修剪的VGG-16模型的情况下，在相同的总目标稀疏度下，我们实现了比基线高出75%（平均17.5%）的前5名准确率。此外，我们还分析了网络中最大压缩可能发生的位置。这种分析可以帮助我们识别深度神经网络中最紧凑的表示。
2019-01-09 cs.LG stat.ML
Layer-adaptive sparsity for the Magnitude-based Pruning
KAIST（韩国科学技术院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
神经网络修剪的最新发现表明，通过精心选择的逐层稀疏性，简单的基于幅度的修剪实现了稀疏性和性能之间的最先进的权衡。然而，由于没有对“如何选择”达成明确的共识，分层稀疏性大多是逐个算法选择的，通常采用手工算法或广泛的超参数搜索。为了填补这一空白，我们提出了一种新的重要性分数全局修剪，铸造层自适应幅度为基础的修剪（LAMP）分数，分数是一个重新缩放版本的权重幅度，结合模型级$\ell_2$失真所产生的修剪，并不需要任何超参数调整或繁重的计算。在各种图像分类设置下，LAMP始终优于流行的现有分层稀疏选择方案。此外，我们观察到，即使在权重重绕设置中，LAMP的性能也继续优于基线，而在这种情况下，面向连接性的逐层稀疏性（总体上最强的基线）的性能比简单的基于全局幅度的修剪更差。代码：https://github.com/jaeho-lee/layer-adaptive-sparsity
2021-05-09 cs.LG
Sparsity in Reservoir Computing Neural Networks
University of Pisa（比萨大学）
储备池计算（RC）是一种设计递归神经网络的著名策略，具有显著的训练效率。RC的关键方面是正确地实例化作为系统动态记忆的隐藏递归层。在这方面，常用的方法是创建一个随机和稀疏连接的递归神经元池。虽然在RC系统的设计中的稀疏性方面已经在文献中进行了辩论，但现在主要将其理解为利用稀疏矩阵运算来提高计算效率的一种方式。在本文中，我们实证研究的角度下，丰富的开发时间表示的稀疏性在RC网络设计中的作用。我们分析了稀疏的经常性连接，并在连接从输入到水库。我们的研究结果指出，稀疏性，特别是在输入水库的连接，有一个重要的作用，在发展内部的时间表示，有一个较长的短期记忆过去的输入和更高的维度。
2020-06-04 cs.LG cs.NE math.DS
Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training
University of Oxford（牛津大学）；Australian National University（澳大利亚国立大学）；EPFL（瑞士洛桑联邦理工学院）
我们研究了神经网络训练中的两个因素：数据并行性和稀疏性;在这里，数据并行性意味着使用分布式系统并行处理训练数据（或等效地增加批量大小），以便可以加速训练;对于稀疏性，我们指的是神经网络模型中的修剪参数，以减少计算和内存成本。然而，尽管它们有很好的好处，但对它们对神经网络训练的影响的理解仍然是难以捉摸的。在这项工作中，我们首先通过进行广泛的实验来严格测量这些影响，同时调整优化中涉及的所有元参数。结果发现，在数据集、网络模型和优化算法的不同工作负载下，由于数据并行的影响，批量大小和训练步数之间存在一个总体的缩放趋势，进而导致稀疏性下训练的困难。然后，我们开发了一个理论分析的基础上的收敛性的随机梯度方法和光滑的优化景观，这说明了观察到的现象，准确和一般，建立一个更好的帐户数据并行性和稀疏性对神经网络训练的影响。
2021-04-02 cs.LG stat.ML
DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures
Duke University（杜克大学）
在寻求稀疏和有效的神经网络模型，许多以前的工作研究强制执行L1或L0正则化，以鼓励在训练过程中的权重稀疏。L0正则化器直接测量参数稀疏性，并且对参数值的缩放是不变的，但它不能提供有用的梯度，因此需要复杂的优化技术。L1正则化子几乎处处可微，并且可以很容易地用梯度下降进行优化。然而，它不是尺度不变的，导致所有参数的收缩率相同，这在增加稀疏性方面是低效的。受传统压缩感知问题中使用的Hoyer测度（L1和L2范数之间的比值）的启发，我们提出了DeepHoyer，这是一组稀疏诱导正则化器，几乎处处可微，并且具有尺度不变性。我们的实验表明，在相同的精度水平下，强制执行DeepHoyer正则化器可以产生比以前的作品更稀疏的神经网络模型。我们还表明，DeepHoyer可以应用于元素和结构修剪。
2020-01-19 cs.LG stat.ML
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
Stanford University（斯坦福大学）；NVIDIA（英伟达）；Tsinghua University（清华大学）
稀疏性通过跳过零来帮助降低深度神经网络的计算复杂性。利用稀疏性被列为下一代DNN加速器（如TPU）的高优先级。稀疏性的结构，即，修剪的粒度影响硬件加速器设计的效率以及预测的准确性。粗粒度修剪创建规则的稀疏模式，使其更适合硬件加速，但保持相同的精度更具挑战性。在本文中，我们定量地衡量稀疏规律性和预测精度之间的权衡，提供了如何保持准确性，同时有更多的结构化稀疏模式的见解。我们的实验结果表明，粗粒度的修剪可以实现类似于非结构化修剪的稀疏率，而不会损失准确性。此外，由于索引节省效果，粗粒度修剪能够获得比细粒度稀疏在相同的精度阈值更好的压缩比。基于最近的稀疏卷积神经网络加速器（SCNN），我们的实验进一步证明，与细粒度稀疏相比，粗粒度稀疏节省了约2倍的内存引用。由于存储器访问比算术运算贵两个数量级以上，稀疏结构的规则性导致更有效的硬件设计。
2017-06-05 cs.LG stat.ML
Sparsity Emerges Naturally in Neural Language Models
University of Edinburgh（爱丁堡大学）
对可解释性、计算资源和原则归纳先验的关注促使人们努力为NLP任务设计稀疏神经模型。如果稀疏性对NLP很重要，那么经过良好训练的神经模型会自然地变得稀疏吗？使用Taxi-Euclidean范数来度量稀疏性，我们发现频繁输入词与集中或稀疏激活相关联，而频繁目标词与分散激活但集中梯度相关联。我们发现，与功能词相关的梯度比实义词的梯度更集中，甚至控制词频。
2019-07-22 cs.CL cs.LG stat.ML
Sparsity Turns Adversarial: Energy and Latency Attacks on Deep Neural Networks
Purdue University（普渡大学）
对抗攻击暴露了深度神经网络（DNN）的严重漏洞，因为它们能够通过对DNN输入的人类无法察觉的扰动来强制错误分类。我们探索了对抗攻击领域的一个新方向，提出了旨在降低DNN计算效率而不是其分类准确性的攻击。具体来说，我们提出并演示了稀疏攻击，这种攻击对抗性地修改DNN的输入，以减少其内部激活值的稀疏性（或零值的存在）。在资源受限的系统中，已经提出了广泛的硬件和软件技术来利用稀疏性来提高DNN效率。拟议的攻击增加了稀疏优化DNN实现的执行时间和能耗，引发了人们对其在延迟和能源关键型应用程序中部署的担忧。我们提出了一种系统的方法来生成稀疏攻击的对抗性输入，通过制定一个目标函数来量化网络的激活稀疏性，并使用迭代梯度下降技术最小化该函数。我们对图像识别DNN发起了对抗性稀疏攻击的白盒和黑盒版本，并证明它们将激活稀疏性降低了1.82倍。我们还评估了攻击对稀疏优化的DNN加速器的影响，并展示了延迟高达1.59倍的降级，还研究了攻击对稀疏优化的通用处理器的性能。最后，我们评估了激活阈值和输入量化等防御技术，并证明了所提出的攻击能够抵御它们，强调了在对抗性机器学习领域中进一步努力的必要性。
2020-09-14 cs.LG stat.ML
LEWIS (LayEr WIse Sparsity) -- A Training Free Guided Model Merging Approach
LEWIS 提出一种无需训练的引导式模型合并框架，利用基于激活的层重要性和校准数据集动态调整逐层任务向量稀疏度，在代码与数学任务上分别提升最高 4% 和 11.3%。
2025-03-07 cs.CL cs.LG stat.ML
Exploiting Subgradient Sparsity in Max-Plus Neural Networks
Image, Data, Signal Department (IDS), Telecom Paris, Institut Polytechnique de Paris, France（图像、数据、信号部门（IDS），Telecom Paris，巴黎政治学院，法国）
本文提出了一种利用Max-Plus神经网络中亚梯度稀疏性的优化方法，通过稀疏亚梯度算法提升训练效率并保持理论保证。
2026-03-04 cs.LG stat.ML
PALS: Percentile-Aware Layerwise Sparsity for LLM Pruning
Palo Alto Networks（帕洛阿尔托网络公司）
研究针对大语言模型剪枝中各层重要性差异被忽略的问题，提出PALS方法，基于激活幅度第99百分位数调整每层稀疏性，在LLaMA - 2 - 7B上效果显著，且成本低无需微调，还发现基于梯度的分配效果不佳。
2026-07-09 cs.CL cs.LG
Fiedler Regularization: Learning Neural Networks with Graph Sparsity
Duke University（杜克大学）
我们引入了一种新的深度学习正则化方法，该方法结合并尊重神经网络的底层图形结构。现有的正则化方法通常专注于以全局方式丢弃/惩罚权重，而忽略了神经网络的连接结构。我们建议使用神经网络的底层图的Fiedler值作为正则化的工具。我们通过谱图理论为这种方法提供了理论支持。我们列出了Fiedler值的几个有用的属性，使其适合正则化。我们提供了一个近似的，变分的方法，在实际训练的神经网络的快速计算。我们提供这种近似的界限。我们提供了一个替代的，但等价的制定这个框架的结构加权L1处罚的形式，从而将我们的方法稀疏感应。我们在数据集上进行了实验，将Fiedler正则化与传统的正则化方法（如dropout和weight decay）进行了比较。结果证明了Fiedler正则化的有效性。
2020-08-15 cs.LG stat.ML
Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective
Xiamen University（厦门大学）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）
针对大语言模型稀疏化中重构误差爆炸导致性能下降的问题，提出基于单调递增等差数列的层级稀疏度分配方法，仅需确定单个公差超参数，在多种模型与任务上显著提升稀疏模型性能与推理速度。
2025-02-20 cs.LG
On Implicit Filter Level Sparsity in Convolutional Neural Networks
MPI For Informatics（马克斯·普朗克信息学研究所）；UNIST（蔚山科学技术院）；Saarland Informatics Campus（萨尔兰信息学园区）
我们研究了卷积神经网络（CNN）中出现的滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。我们进行了广泛的实验研究铸造我们的初步研究结果的假设和结论的机制，潜在的紧急过滤器水平稀疏。这项研究允许新的洞察性能之间的差距obeserved自适应和非自适应梯度下降方法在实践中。此外，分析训练策略和超参数对稀疏性的影响，为设计CNN训练策略提供了实用建议，使我们能够探索特征选择性、网络容量和泛化性能之间的权衡。最后，我们表明，隐式稀疏性可以利用神经网络加速在平价或更好地比显式稀疏/修剪方法，而不需要修改典型的训练管道。
2019-04-05 cs.CV cs.LG eess.SP
Uncovering Layer-Dependent Activation Sparsity Patterns in ReLU Transformers
Google Research（谷歌研究院）
本研究针对ReLU Transformer中MLP的激活稀疏性问题，深入探究token级稀疏性的训练演变及层间差异，发现首尾层稀疏模式反向、神经元死亡由训练动态驱动，为理解模型不同深度的特征表示结构提供了新依据。
2024-07-10 cs.AI cs.LG
Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation
Purdue University（普渡大学）；Nanoelectronics Research Laboratory（纳米电子学研究实验室）
脉冲神经网络（SNN）正在探索其潜在的能源效率，从稀疏，事件驱动的计算。许多最近的工作已经证明了有效的反向传播的深度脉冲神经网络（SNN）的梯度近似不连续的神经元尖峰或发射事件。这些替代梯度尖峰反向传播算法的有益副作用是，触发附加计算的尖峰现在可以在梯度计算中直接考虑。我们提出了一个明确的包括尖峰计数的损失函数，以及传统的错误损失，导致反向传播学习算法，以优化权重参数的准确性和尖峰稀疏。现有的过参数神经网络理论支持，存在许多具有有效等效精度的解状态。因此，在该多目标优化过程中，在训练期间对两个损失目标进行适当加权可以在不显著损失准确性的情况下提高尖峰稀疏性。此外，我们还探索了一种模拟退火启发的损失加权技术，随着训练时间的增加，增加稀疏性的权重。我们对Cifar-10数据集的初步结果显示，与仅针对准确性训练的等效SNN相比，具有等准确性的尖峰活动减少了70.1%，并且如果允许分类准确性降低1%的权衡，尖峰活动减少了73.3%。
2020-03-02 cs.LG cs.NE
Sparsity in neural networks can improve their privacy
本文通过实证研究发现，神经网络中的稀疏性能够提升对成员推断攻击的隐私鲁棒性，同时保持任务性能不下降，从而完善并扩展了现有研究。
2024-06-11 cs.AI cs.CR cs.LG
Exploring Bit-Slice Sparsity in Deep Neural Networks for Efficient ReRAM-Based Deployment
Duke University（杜克大学）；Fudan University（复旦大学）
新兴的电阻式随机存取存储器（ReRAM）最近被深入研究以加速深度神经网络（DNN）的处理。由于原位计算能力，与传统的数字方法相比，模拟ReRAM交叉开关可以显著提高吞吐量并降低能耗。然而，功耗巨大的模数转换器（ADC）阻碍了在芯片面积和功耗预算有限的终端设备上实际部署基于ReRAM的DNN加速器。我们观察到，由于ReRAM单元的位密度有限，DNN权重被位切片并相应地存储在多个ReRAM位线上。由权重产生的位线上的累积电流直接决定ADC的开销。因此，按位权重稀疏性而不是全权重的稀疏性对于高效的ReRAM部署是期望的。在这项工作中，我们提出了位片L1，这是第一个在动态定点DNN训练过程中引入位片稀疏性的算法。实验结果表明，我们的方法实现了2倍的稀疏性改善相比，以前的算法。由此产生的稀疏性允许ADC分辨率降低到最高有效位片的1位，其他位降低到3位，从而显著加快处理速度并降低功耗和面积开销。
2019-11-19 cs.LG stat.ML
Adversarial Risk Bounds for Neural Networks through Sparsity based Compression
Institute for Theoretical Information Technology（理论信息技术研究所）；RWTH Aachen University（亚琛工业大学）
神经网络已经被证明容易受到其输入的微小对抗性扰动的影响，特别是对于在$\ell_\infty$攻击下的高维数据。为了解决这个问题，已经采用了对抗训练等技术来获得在训练集上鲁棒的模型。然而，此类模型对对抗性扰动的鲁棒性可能无法推广到看不见的数据。为了研究鲁棒性如何推广，最近的工作假设输入具有有界$\ell_2$ -范数，以便在没有显式维度依赖的情况下约束$\ell_\infty$攻击的对抗风险。在这项工作中，我们专注于$\ell_\infty$攻击$\ell_\infty$有界的输入和证明基于边缘的界限。具体来说，我们使用基于压缩的方法，该方法依赖于有效压缩可调参数集，而不会扭曲对抗风险。为了实现这一点，我们将有效稀疏性和有效联合稀疏性的概念应用于神经网络的权重矩阵。这导致边界不显式依赖于输入维度，也不依赖于类的数量。我们的研究结果表明，具有近似稀疏权矩阵的神经网络不仅具有增强的鲁棒性，而且具有更好的泛化能力。
2019-06-03 cs.LG stat.ML
Why Not to Use Zero Imputation? Correcting Sparsity Bias in Training Neural Networks
KAIST（韩国科学技术院）；AITRICS（爱特瑞克斯）；Yonsei University College of Medicine（延世大学医学院）
处理缺失数据是机器学习中最基本的问题之一。在许多方法中，最简单和最直观的方法是零填补，它将缺失条目的值简单地视为零。然而，许多研究已经通过实验证实，零填补导致训练神经网络的次优性能。然而，现有的工作都没有解释是什么带来了这样的性能下降。在本文中，我们介绍了变量稀疏性问题（VSP），它描述了一种现象，其中预测模型的输出在很大程度上变化的缺失率在给定的输入，并表明它不利地影响模型的性能。我们首先从理论上分析了这种现象，并提出了一种简单而有效的技术来处理缺失，我们称之为稀疏归一化（SN），直接针对和解决VSP。我们进一步在不同的基准数据集上实验验证SN，以表明消除输入级稀疏性的影响可以提高性能并稳定神经网络的训练。
2020-02-06 cs.LG stat.ML
ELSA: Exploiting Layer-wise N:M Sparsity for Vision Transformer Acceleration
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视觉Transformer逐层定制N:M稀疏配置方法匮乏的问题，提出ELSA方法，兼顾加速器支持的稀疏等级与吞吐量，以极小精度损失实现ViT的内存与推理效率提升，在ImageNet上使Swin-B、DeiT-B的FLOPs降低2.9倍。
2024-09-15 cs.CV cs.LG
Can sparsity improve the privacy of neural networks?
Univ Lyon, EnsL, UCBL, CNRS, Inria, LIP（里昂大学，里昂高等师范学院，里昂第一大学，法国国家科学研究中心，法国国家信息与自动化研究所，里昂并行计算实验室）
本文实验探究稀疏性对神经网络训练数据隐私的影响，发现稀疏性、隐私性与分类错误正相关，并警示简单比较不同稀疏度模型隐私性的误导性。
2024-05-23 cs.CR cs.LG
GroupMask: Layer-Adaptive Group-wise Sparsity for Semi-Structured LLM Pruning
Florida State University（佛罗里达州立大学）；University of Connecticut（康涅狄格大学）；College of William & Mary（威廉与玛丽学院）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
提出GroupMask，通过超网络生成层自适应分组稀疏比，在半结构化剪枝中优于均匀N:M模式，在LLaMA-2-7B上降低困惑度并提升零样本准确率。
2026-09-29 cs.AI cs.LG
Sparsity in long-time control of neural ODEs
我们考虑神经ODE和最优控制的监督学习的角度来看，与$\ell^1$ -控制惩罚，而不是只最小化最终成本（\emph{empirical risk}）的状态，我们整合了整个时间范围内的成本。我们证明了任何最优控制（此成本）消失超过一些积极的停止时间。当在离散时间上下文中看到时，该结果需要相关残差神经网络的参数的\emph{ordered}稀疏模式：在这些参数都是$0$的意义上排序，超出某个层。此外，我们提供了一个多项式稳定性估计的经验风险的时间范围。这可以被看作是一个\emph{turnpike property}，非光滑动力学和泛函的$\ell^1$ -处罚，没有任何小的假设的数据，这两个都是新的文献。
2022-09-08 cs.LG math.OC stat.ML
Structured Pruning of Deep Convolutional Neural Networks
Seoul National University（首尔大学）
深度学习算法的实时的应用经常受到高计算复杂性和频繁的存储器访问的阻碍。网络剪枝是解决这一问题的一种很有前途的技术。然而，修剪通常会导致不规则的网络连接，不仅需要额外的表示工作，而且不适合并行计算。我们介绍了卷积神经网络在不同尺度下的结构稀疏性，包括通道稀疏性、核稀疏性和核内稀疏性。这种结构化稀疏性对于嵌入式计算机、并行计算环境和基于硬件的系统上的直接计算资源节省是非常有利的。为了确定网络连接和路径的重要性，所提出的方法使用粒子滤波方法。每个粒子的重要性权重分配通过计算相应的连接模式的错误分类率。修剪后的网络被重新训练，以补偿由于修剪而造成的损失。在实现卷积矩阵产品，我们特别表明，内核内跨越稀疏与一个简单的约束，可以显着降低内核和特征映射矩阵的大小。最终对修剪后的网络进行定点优化，降低了字长精度。这导致总存储大小的显著减小，从而为基于片上存储器的深度神经网络的实现提供优势。
2015-12-29 cs.LG cs.NE stat.ML
The State of Sparsity in Deep Neural Networks
Google Brain（谷歌大脑）；DeepMind（深度思维）
我们严格评估了三种最先进的技术，用于在两个大规模学习任务中诱导深度神经网络的稀疏性：在WMT 2014英语到德语上训练的Transformer和在ImageNet上训练的ResNet-50。通过数千次实验，我们证明了复杂的技术（Molchanov等人，2017; Louizos等人，2017年b）显示，在较小的数据集上产生高压缩率的性能不一致，并且简单的幅度修剪方法可以实现相当或更好的结果。此外，我们重复了（Frankle & Carbin，2018）和（Liu et al.，2018年），并表明通过修剪学习的非结构化稀疏架构不能从头开始训练到与联合稀疏化和优化训练的模型相同的测试集性能。总之，这些结果强调了在模型压缩领域需要大规模基准。我们开源了我们的代码，最高性能的模型检查点，以及所有超参数配置的结果，为未来的压缩和稀疏化工作建立严格的基线。
2019-02-25 cs.LG stat.ML
The Sparsity Roofline: Understanding the Hardware Limits of Sparse Neural Networks
UC Davis（加州大学戴维斯分校）；NVIDIA（英伟达）
本研究提出Sparsity Roofline可视化性能模型，可联合建模神经网络精度、稀疏度与理论推理加速比，无需优化内核基准测试，经真实视觉架构验证有效，可助力研究人员与硬件设计者评估稀疏模式性能潜力。
2023-11-06 cs.CV cs.LG
SWIS -- Shared Weight bIt Sparsity for Efficient Neural Network Acceleration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
量化是神经网络计算系统性能和效率提高的先锋，正在向商品硬件迈进。我们提出了SWIS -共享权重位稀疏，有效的神经网络推理加速提供了改进的性能和存储压缩，通过离线权重分解和调度算法的量化框架。SWIS可以实现高达54.3%（19.8%）的点精度提高相比，权重截断时量化MobileNet-v2到4（2）位后训练（与再训练）显示利用共享位稀疏的权重的强度。SWIS加速器给出了高达6倍的加速比和1.9倍的能源改善，超过了最先进的位串行架构。
2021-03-03 cs.LG
DSA: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
剪枝是指在资源约束下的剪枝问题。在预算修剪中，如何跨层分布资源（即，稀疏分配）是关键问题。传统的方法是通过离散地搜索分层剪枝率来解决这个问题，效率低下。在本文中，我们提出了微分稀疏分配（DSA），一个有效的端到端的预算修剪流。利用一种新的可微修剪过程，DSA发现逐层修剪率与基于梯度的优化。它在连续空间中分配稀疏性，这比基于离散评估和搜索的方法更有效。此外，DSA可以以从头修剪的方式工作，而传统的预算修剪方法应用于预训练的模型。在CIFAR-10和ImageNet上的实验结果表明，DSA可以获得优于当前迭代预算剪枝方法的性能，同时将整个剪枝过程的时间成本缩短至少1.5倍。
2020-07-20 cs.CV cs.LG stat.ML
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks
ETH Zürich（苏黎世联邦理工学院）；IST Austria（奥地利科学技术研究所）
深度学习不断增长的能源和性能成本促使社区通过选择性地修剪组件来缩小神经网络的规模。类似于它们的生物学对应物，稀疏网络即使不比原始的密集网络更好，也能同样泛化。稀疏性可以减少常规网络的内存占用以适应移动设备，并缩短不断增长的网络的训练时间。在本文中，我们回顾了深度学习中稀疏性的先前工作，并为推理和训练提供了稀疏化的广泛教程。我们描述了删除和添加神经网络元素的方法，实现模型稀疏性的不同训练策略，以及在实践中利用稀疏性的机制。我们的工作从300多篇研究论文中提炼出思想，并为今天希望利用稀疏性的从业者以及旨在推动前沿研究的研究人员提供指导。我们包括必要的数学方法在稀疏化的背景，描述的现象，如早期的结构自适应，稀疏性和训练过程之间的错综复杂的关系，并显示技术实现加速在真正的硬件。我们还定义了一个修剪参数效率的度量，可以作为比较不同稀疏网络的基线。最后，我们推测稀疏性如何改善未来的工作量，并概述了该领域的主要开放问题。
2021-01-31 cs.AI cs.AR cs.CV
Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets
University of California, Irvine（加州大学欧文分校）；University of California, Los Angeles（加州大学洛杉矶分校）
深度神经网络（DNN）压缩对于适应移动设备至关重要。虽然存在许多成功的算法来压缩自然训练的DNN，但为健壮训练的DNN开发高效和稳定的压缩算法仍然是一个很大的问题。在本文中，我们专注于高效DNN压缩算法和稀疏神经架构的协同设计，以实现鲁棒和准确的深度学习。这样的协同设计使我们能够推进同时容纳稀疏性和鲁棒性的目标。考虑到这一目标，我们利用基于松弛增广拉格朗日的算法来修剪结构化和非结构化级别上的对抗训练DNN的权重。使用Feynman-Kac形式主义原则的鲁棒和稀疏DNN，我们可以将对抗训练的ResNet 20的信道稀疏度至少提高一倍用于CIFAR 10分类，同时将自然准确率提高$8.69$ \%，并将IFGSM攻击的基准$20$迭代下的鲁棒准确率提高$5.42$ \%。代码可在\url{https://github.com/BaoWangMath/rvsm-rgsm-admm}上获得。
2020-03-02 cs.AI cs.LG stat.ML
Only sparsity based loss function for learning representations
INSOFE（INSOFE（因索夫教育研究学院））；Hyderabad（海得拉巴（印度城市，此处可能指机构所在地，但按要求提取机构，故主要机构为INSOFE））
我们研究了神经网络中稀疏表示的出现。我们证明了在正则化的无监督模型中，稀疏性的出现是输入数据样本沿高度非线性或不连续流形分布的结果。我们还得出了类似的论点歧视性训练的网络和目前的实验来支持这一假设。基于我们对稀疏性的研究，我们引入了一个新的损失函数，它可以用作自动编码器和MLP等模型的正则化项。此外，相同的损失函数也可以用作用于学习有效表示的无监督单层神经网络模型的成本函数。
2019-03-07 cs.LG stat.ML
LassoNet: A Neural Network with Feature Sparsity
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Gematria Technologies（Gematria科技公司）
为了使神经网络更具可解释性，最近已经做了很多工作，一个明显的方法是安排网络只使用可用特征的子集。在线性模型中，Lasso（或$\ell_1$正则化）回归将零权重分配给最不相关或冗余的特征，并广泛用于数据科学。但是，Lasso仅适用于线性模型。在这里，我们介绍LassoNet，一个具有全局特征选择的神经网络框架。我们的方法强制执行一个层次结构：特别是一个功能可以参与一个隐藏的单位，只有当它的线性代表是活跃的。与其他神经网络的特征选择方法不同，我们的方法使用了一个修改后的目标函数的约束条件，所以集成的特征选择与参数学习直接。因此，它提供了一个完整的正则化路径的解决方案与一系列的特征稀疏。在系统实验中，LassoNet在特征选择和回归方面的表现明显优于最先进的方法。LassoNet方法使用投影近端梯度下降，并直接推广到深度网络。它可以通过向标准神经网络添加几行代码来实现。
2021-06-16 cs.LG stat.ML
The Impact of Activation Sparsity on Overfitting in Convolutional Neural Networks
University of Muenster（明斯特大学）
过拟合是训练卷积神经网络时的基本挑战之一，通常通过发散的训练和测试损失来识别。然而，激活流如何诱导过拟合的潜在动力学却知之甚少。在这项研究中，我们引入了一个基于困惑的稀疏定义，推导和可视化逐层激活措施。这些新的可解释的AI策略揭示了激活稀疏性和过拟合之间令人惊讶的关系，即在测试损失开始上升之前不久，特征提取层中稀疏性的增加。这种趋势在整个网络架构和reguralisation策略中得到保留，因此我们的措施可以用作过拟合的可靠指标，同时将网络的泛化能力与其基于损失的定义解耦。此外，我们的可微稀疏性公式可用于明确惩罚训练过程中稀疏性的出现，以便实时研究稀疏性降低对过拟合的影响。应用这种惩罚和分析激活稀疏性为众所周知的正则和常见的网络架构支持的假设，减少激活稀疏性可以有效地提高泛化和分类性能。与最近关于这一主题的其他工作一致，我们的方法揭示了对激活稀疏性和网络容量的矛盾概念的新见解，通过证明密集激活可以实现区分性特征学习，同时有效地利用深度模型的能力，而不会受到过度拟合的影响，即使在过度训练时也是如此。
2021-04-13 cs.LG
Sparsity-aware generalization theory for deep neural networks
Johns Hopkins University（约翰斯·霍普金斯大学）
本文利用隐藏层激活的稀疏性建立深度ReLU网络泛化分析框架，揭示稀疏性与泛化性的权衡，并在过参数化模型中给出非空泛化界。
2023-07-04 cs.AI cs.LG
Adam Induces Implicit Weight Sparsity in Rectifier Neural Networks
Corporate Research and Development Center, Toshiba Corporation（东芝公司企业研发中心）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，深度神经网络（DNN）已被应用于各种机器学习任务，包括图像识别、语音识别和机器翻译。然而，需要大型DNN模型来实现最先进的性能，超过边缘设备的能力。因此，实际应用中需要模型降阶。在本文中，我们指出，当在以下三个条件下训练DNN时，深度学习会自动诱导权重的组稀疏性，其中连接到输出通道（节点）的所有权重为零：（1）整流线性单元（ReLU）激活，（2）$L_2$正则化目标函数，以及（3）Adam优化器。接下来，我们从理论和实验上分析了这种行为，并提出了一种简单的模型简化方法：在训练DNN后消除零权重。在MNIST和CIFAR-10数据集上的实验中，我们展示了各种训练设置的稀疏性。最后，我们表明，我们的方法可以有效地减少模型的大小，并执行相对于使用稀疏诱导正则化的方法。
2018-12-19 cs.CV cs.LG stat.ML
Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity
Bayer AG（拜耳公司）
确定分子的哪些部分驱动分子图卷积神经网络（GCNN）的预测可能是困难的。为了提供帮助，我们提出了两种简单的正则化技术，用于GCNN的训练：批量表示正交归一化（BRO）和Gini正则化。BRO受分子轨道理论的启发，鼓励图形卷积运算生成正交节点嵌入。Gini正则化应用于输出层的权重，并限制模型可以用于进行预测的维度数量。我们证明了Gini和BRO正则化可以提高人工基准数据集上最先进的GCNN属性方法的准确性。在现实世界中，我们证明了药物化学家更喜欢从正则化模型中提取的解释。虽然我们只在GCNN的上下文中研究这些正则化器，但两者都可以应用于其他类型的神经网络
2021-08-31 cs.LG stat.ML
Representations learnt by SGD and Adaptive learning rules: Conditions that vary sparsity and selectivity in neural networks
University of Bristol（布里斯托大学）
本文研究不同优化器、学习率和批量大小等条件下神经网络中稀疏性与选择性自然出现的规律，并在MNIST任务上通过实证分析揭示这些条件与表示性质及测试准确率之间的关系。
2024-10-02 cs.AI cs.LG
Training for temporal sparsity in deep neural networks, application in video processing
IMEC（比利时微电子研究中心）
激活稀疏性提高了稀疏感知神经网络加速器的计算效率和资源利用率。由于DNN中的主要操作是具有权重的激活的乘法累加（MAC）以计算内积，因此跳过两个操作数中的（至少）一个为零的操作可以使推理在延迟和功率方面更有效。激活的空间稀疏性是DNN文献中的一个热门话题，并且已经建立了几种方法来偏置DNN。另一方面，时间稀疏性是生物启发的脉冲神经网络（SNN）的固有特征，神经形态处理利用该特征来提高硬件效率。引入和利用时空稀疏性是DNN文献中较少探索的主题，但与DNN的趋势完美共振，从静态信号处理转向更多的流信号处理。为了实现这一目标，在本文中，我们引入了一个新的DNN层（称为Delta激活层），其唯一目的是在训练期间促进激活的时间稀疏性。增量激活层将时间稀疏性转换为空间激活稀疏性，以便在硬件中执行稀疏张量乘法时加以利用。通过在训练过程中采用增量推理和“通常”的空间稀疏化算法，所得到的模型不仅学习利用空间激活稀疏性，而且学习利用时间激活稀疏性（对于给定的输入数据分布）。可以在普通训练或细化阶段使用Delta激活层。我们实现了Delta激活层作为标准Tensoflow-Keras库的扩展，并将其应用于在人类动作识别（UCF 101）数据集上训练深度神经网络。我们报告了激活稀疏性的近3倍改进，在较长时间的训练后模型准确性的可恢复损失。
2021-07-15 cs.CV cs.LG eess.IV
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
Institute of Mathematics（数学研究所）；University of Würzburg（维尔茨堡大学）；Technical University of Munich（慕尼黑工业大学）；Institute of Computer Science（计算机科学研究所）；CAIDAS；Institute of Mathematics, CAIDAS（CAIDAS数学研究所）
本文针对两层ReLU网络，从理论和实验两方面解释了采用ℓ∞攻击的对抗训练神经网络的梯度显著性图稀疏性，证明其极小化子收敛到特定贝叶斯分类器，且梯度范数各向异性导致稀疏性。
2026-10-09 cs.LG math.OC stat.ML
Grassmannian Packings in Neural Networks: Learning with Maximal Subspace Packings for Diversity and Anti-Sparsity
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；UnifyID AI Labs（UnifyID人工智能实验室）
在CNN内核中通常观察到内核稀疏性（“垂死的ReLU”）和缺乏多样性，这降低了模型容量。从信息论和无线通信中汲取灵感，我们通过CNN中的格拉斯曼子空间填充问题展示了编码理论和深度学习的交叉。我们提出了Grassmannian包装的初始内核层被初始化最大程度地远离弦或Fubini学习距离的基础上。用格拉斯曼填充初始化的卷积核表现出不同的特征，并得到不同的表示。我们发现，格拉斯曼包装，特别是在初始层中，解决了内核稀疏性并鼓励多样性，同时提高了浅层和深层CNN的分类精度，具有更好的收敛速度。
2019-11-18 cs.IT cs.LG math.IT
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST（香港科技大学）
剪枝是一种模型压缩方法，可在保持准确性的同时去除深度神经网络（DNN）中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理，例如迭代修剪，特征统计/排名或训练过程中的额外优化设计。在本文中，我们从特征演化的新角度提出了一种简单有效的正则化策略，我们称之为特征流正则化（FFR），用于改善DNN中的结构稀疏性和过滤器修剪。具体而言，FFR对沿神经网络的特征流的梯度和曲率施加控制，这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets，ResNets进行的实验表明，FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG
Learning Sparse Neural Networks with Identity Layers
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
本文揭示层间特征相似性与网络稀疏性的联系，基于 CKA 和信息瓶颈理论提出即插即用正则化方法 CKA-SR，以提升稀疏训练性能。
2023-07-14 cs.LG
Exploring Structural Sparsity in Neural Image Compression
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；PengCheng Laboratory（鹏城实验室）
神经图像压缩已经达到或超过了传统的压缩方法（如JPEG、BPG、WebP）。然而，它们复杂的级联卷积层网络结构给实际部署带来了沉重的计算负担。本文探讨神经图像压缩网路中的结构稀疏性，以获得即时的加速，而不需任何专门的硬体设计或演算法。我们提出了一个简单的插件自适应二进制通道掩蔽（ABCM）来判断每个卷积通道的重要性，并在训练过程中引入稀疏性。在推理过程中，不重要的通道被修剪，以获得更苗条的网络和更少的计算。将该方法应用于三个不同熵模型的图像压缩神经网络中，实验结果表明，该方法在性能下降不明显的情况下，计算量减少了7倍，速度提高了3倍.
2022-03-11 cs.CV cs.LG eess.IV
Sparsity-Probe: Analysis tool for Deep Learning Models
Tel-Aviv University（特拉维夫大学）
我们提出了一种基于机器学习和近似理论原理的深度学习架构分析的探测器。给定深度学习架构和训练集，在训练期间或之后，稀疏探测器允许通过量化训练集的表示的几何特征来分析中间层的性能。我们展示了稀疏探测器如何测量向给定架构添加深度的贡献，以检测表现不佳的层等，所有这些都不需要任何辅助的测试数据集。
2021-05-14 cs.LG math.FA
Automatic Neural Network Compression by Sparsity-Quantization Joint Learning: A Constrained Optimization-based Approach
University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）
深度神经网络（DNN）应用于广泛的用例中。对于在不具有丰富资源（例如存储器和计算单元）的设备上部署DNN的需求增加。最近，已经提出了通过诸如修剪和量化的各种技术来压缩网络以减少资源需求。所有现有压缩技术都敏感的关键参数是压缩比（例如，修剪稀疏性、量化位宽）。传统的解决方案将每层的压缩比视为超参数，并使用人类启发式来调整它们。最近的研究者开始使用黑盒超参数优化，但他们会引入新的超参数，并有效率问题。在本文中，我们提出了一个框架，可以根据目标模型大小自动联合修剪和优化DNN，而无需使用任何超参数来手动设置每层的压缩比。在实验中，我们证明了我们的框架可以将ResNet-50的权重数据压缩到836 $\times$，而不会损失CIFAR-10的准确性，并将AlexNet压缩到205 $\times$，而不会损失ImageNet分类的准确性。
2020-05-18 cs.LG stat.ML
SparseNN: An Energy-Efficient Neural Network Accelerator Exploiting Input and Output Sparsity
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（香港科技大学电子及计算机工程学系）
当代深度神经网络（DNN）包含数百万个突触连接，具有数十到数百层。大的计算量和存储器需求对硬件设计提出了挑战。在这项工作中，我们利用DNN固有的激活稀疏性来大幅减少执行周期和能耗。提出了一种端到端的训练算法来开发一个轻量级的运行时预测器，用于动态输出激活稀疏性。从我们的实验结果来看，预测阶段的计算开销可以减少到原始前馈阶段的5%以下，精度损失可以忽略不计。此外，一个节能的硬件架构，SparseNN，提出了利用输入和输出稀疏。SparseNN是一种可扩展的架构，具有通过专用片上网络连接的分布式存储器和处理元件。与只利用输入稀疏性的最先进的加速器相比，SparseNN可以实现10%-70%的吞吐量提高和约50%的功耗降低。
2017-11-03 cs.AR cs.LG
When deep learning models on GPU can be accelerated by taking advantage of unstructured sparsity
AGH University of Science and Technology（AGH科技大学）
本文主要研究如何提高稀疏卷积神经网络（CNN）层在图形处理器（GPU）上的效率。Nvidia深度神经网络（cuDnn）库为GPU提供了最有效的深度学习（DL）算法实现。GPU是深度学习计算中最有效和最常用的加速器之一。现代CNN模型需要兆字节的系数，需要数百万次MAC操作来执行卷积。压缩CNN模型的最常见技术之一是权重修剪。修剪主要有两种类型：结构性（基于删除整个权重通道）和非结构性（删除单个权重）。第一种方法可以更容易地加速，但这种方法很难达到第二种方法所达到的稀疏度和精确度。在某些深度CNN模型中，具有再训练的非结构性修剪可以生成高达$\sim90\%$或更高稀疏度的矩阵权重。这项工作显示了何时值得使用直接稀疏操作来加速卷积层的计算。来自ResNet模型的VGG-16，CNN非静态和1x 1层被用作基准。此外，我们提出了使用降低精度对时间效率的影响。
2021-04-17 cs.LG stat.ML
Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity
Neuromorphic Computing Lab, Intel Corporation, USA；Institute of Informatics, LMU Munich, Germany；Bernoulli Institute \& CogniGron, University of Groningen, Netherlands
本文研究非结构化稀疏性在边缘线性循环神经网络中的应用，发现高度稀疏模型在等精度下计算量减少2倍、内存减少36%，并在Intel Loihi 2芯片上实现延迟降低42倍、能耗降低149倍，显著提升了资源受限环境下的推理效率。
2025-08-13 cs.LG cs.NE
Sparsity in Continuous-Depth Neural Networks
Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）；J.P. Morgan Chase & Co.（摩根大通公司）；Helmholtz AI（亥姆霍兹人工智能）
神经常微分方程（NODE）在学习动力系统方面已经被证明是成功的，可以准确地恢复观察到的轨迹。虽然已经提出了不同类型的稀疏性来提高鲁棒性，但对于观测数据之外的动力系统的NODE的泛化特性还没有充分研究。我们系统地研究了权重和特征稀疏性对预测以及识别潜在动力学规律的影响。除了评估现有的方法，我们还提出了一种正则化技术来稀疏“输入输出连接”并在训练过程中提取相关特征。此外，我们策划了由人体运动捕捉和人类造血单细胞RNA-seq数据组成的真实世界数据集，以分别在预测和动态识别中真实地分析不同水平的分布外（OOD）泛化。我们对这些具有挑战性的基准进行了广泛的实证评估，结果表明，在存在噪声或不规则采样的情况下，权重稀疏可以提高泛化能力。然而，它并不能防止学习假特征依赖性推断的动态，使他们不切实际的干预下的预测，或推断真正的基础动态。相反，与未正则化的NODE相比，特征稀疏性确实有助于恢复稀疏的地面实况动态。
2022-10-26 cs.LG
Sparse Deep Learning Models with the $\ell_1$ Regularization
Syracuse University（雪城大学）；Jilin University（吉林大学）；Old Dominion University（奥多明尼昂大学）
本文研究 ℓ1 正则化参数对神经网络稀疏度的影响，推导单参数与多参数稀疏模型，并提出迭代选参算法以获得满足预定稀疏度且逼近精度良好的网络。
2024-08-05 cs.LG math.OC stat.ML
From Sparsity to Simplicity: Enabling Simpler Sequential Replacements via Sparse Attention Distillation
University of Arizona（亚利桑那大学）；TetraMem, Inc.（TetraMem公司）
本文提出通过稀疏注意力蒸馏实现更简单的顺序替换，通过分析transformer层中的稀疏模式，发现可以将复杂的token依赖分解为不同复杂度的序列到序列映射，并用更简单的顺序模块替代部分层功能，从而减少参数量和延迟。
2026-05-15 cs.AI cs.LG
Weight Pruning via Adaptive Sparsity Loss
NTUA（雅典国立技术大学）
近年来，修剪神经网络作为一种压缩最先进的深度神经网络并使其能够在资源受限的设备上部署的手段重新引起了人们的兴趣。在本文中，我们提出了一个鲁棒的压缩学习框架，可以在训练过程中以最小的计算开销有效地修剪网络参数。我们采用快速机制来修剪各个层，并在此基础上在用户定义的预算约束下自动修剪整个网络。我们的端到端网络修剪方法的关键是制定一个直观且易于实现的自适应稀疏性损失，用于在训练期间显式控制稀疏性，从而实现高效的稀疏感知优化。大量的实验证明了CIFAR和ImageNet数据集上使用不同架构（包括AlexNet，ResNets和Wide ResNets）的图像分类框架的有效性。
2020-06-04 cs.LG stat.ML
