Sparsity in Deep Neural Networks - An Empirical Investigation with TensorQuant
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Fraunhofer Center Machine Learning(弗劳恩霍夫机器学习中心)
深度学习正通过自动驾驶、智能传感器和增强现实等应用进入嵌入式世界。然而,深度神经网络的计算在能量、计算能力和存储器方面要求很高。已经研究了各种方法来减少必要的资源,其中之一是利用由于网络参数中的高冗余级别而在深度神经网络中发生的稀疏性。已经表明,稀疏性可以被具体地提升,并且所实现的稀疏性可以非常高。但在许多情况下,这些方法是在相当小的拓扑上进行评估的。尚不清楚结果是否转移到更深的拓扑结构上。在本文中,TensorQuant工具箱已经扩展到提供一个研究稀疏性的平台,特别是在更深层次的模型中。几个实际的相关拓扑结构不同的分类问题的大小进行了研究,以显示激活,权重和梯度的稀疏性的差异。
2018-08-27 cs.LG stat.ML
SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
Massachusetts Institute of Technology(麻省理工学院)
近年来,在深度神经网络修剪和压缩方面有一系列的研究。早期的方法单独修剪权重。然而,在现代硬件(如GPU)上很难利用由此产生的非结构化稀疏模式。因此,在权重中施加稀疏结构的修剪策略变得更加流行。然而,这些结构化修剪方法通常导致比非结构化修剪更高的准确性损失。在本文中,我们介绍了SparseRT,这是一个代码生成器,它利用非结构化稀疏性来加速GPU上深度学习推理中的稀疏线性代数运算。对于1x 1卷积和全连接层,当在深度学习中对数百个测试用例进行评估时,我们证明了在90%稀疏度下等效密集计算的加速比为3.4倍,在95%稀疏度下为5.4倍的几何平均值。对于稀疏3x 3卷积,我们在ResNet-50中的用例中显示了超过5倍的加速。
2020-08-26 cs.LG stat.ML
Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference
Birla Institute of Technology and Science, Pilani – Goa Campus(果阿校区,皮拉尼贝拉理工学院);TUD Dresden University of Technology(德累斯顿工业大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本研究提出将活动稀疏性与参数稀疏性相结合应用于GRU模型,在Penn Treebank语言建模任务中实现20倍计算量减少且困惑度低于60,为深度学习模型移植到神经形态设备提供可行策略并推动相关方法融合。
2024-11-26 cs.LG
STen: Productive and Efficient Sparsity in PyTorch
ETH Zürich(苏黎世联邦理工学院)
本文提出面向 PyTorch 的稀疏编程框架 STen,统一支持稀疏布局、算子与稀疏化器,并以高性能分组 n:m 稀疏布局验证其在 CPU 推理中的效果,旨在降低稀疏技术使用门槛。
2023-04-15 cs.LG
Sparsity-aware generalization theory for deep neural networks
Johns Hopkins University(约翰斯·霍普金斯大学)
本文利用隐藏层激活的稀疏性建立深度ReLU网络泛化分析框架,揭示稀疏性与泛化性的权衡,并在过参数化模型中给出非空泛化界。
2023-07-04 cs.AI cs.LG
DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures
Duke University(杜克大学)
在寻求稀疏和有效的神经网络模型,许多以前的工作研究强制执行L1或L0正则化,以鼓励在训练过程中的权重稀疏。L0正则化器直接测量参数稀疏性,并且对参数值的缩放是不变的,但它不能提供有用的梯度,因此需要复杂的优化技术。L1正则化子几乎处处可微,并且可以很容易地用梯度下降进行优化。然而,它不是尺度不变的,导致所有参数的收缩率相同,这在增加稀疏性方面是低效的。受传统压缩感知问题中使用的Hoyer测度(L1和L2范数之间的比值)的启发,我们提出了DeepHoyer,这是一组稀疏诱导正则化器,几乎处处可微,并且具有尺度不变性。我们的实验表明,在相同的精度水平下,强制执行DeepHoyer正则化器可以产生比以前的作品更稀疏的神经网络模型。我们还表明,DeepHoyer可以应用于元素和结构修剪。
2020-01-19 cs.LG stat.ML
Deep Double Sparsity Encoder: Learning to Sparsify Not Only Features But Also Parameters
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文强调了在深度建模的背景下,联合开发问题结构和参数结构的重要性。作为一个具体而有趣的例子,我们描述了深度双稀疏编码器(DDSE),它受到字典学习的双稀疏模型的启发。DDSE同时稀疏的输出功能和学习的模型参数,在一个统一的框架。除了直观的模型解释,DDSE还具有紧凑的模型大小和低复杂度。大量的模拟比较DDSE与几个精心设计的基线,并验证DDSE一贯优越的性能。我们进一步将DDSE应用于大脑编码的新应用领域,取得了可喜的初步成果。
2016-10-02 cs.CV cs.LG
Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
本文利用弦稀疏性提出 Chordal-LipSDP 方法,将大型半定约束分解为较小约束集合,在零精度损失下显著提升了 LipSDP 估计神经网络 Lipschitz 常数的可扩展性。
2024-01-08 cs.LG
Deep Neural Network Initialization with Sparsity Inducing Activations
University of Oxford(牛津大学);The Alan Turing Institute(阿兰·图灵研究所)
本文利用大宽度高斯过程极限分析稀疏诱导激活在随机初始化时的行为,证明移位ReLU和软阈值函数存在训练不稳定问题,并提出幅度裁剪方法加以克服,实验表明在稀疏度高达85%时仍能保持接近完整的准确率。
2024-02-25 cs.LG
Attention-Based Guided Structured Sparsity of Deep Neural Networks
Virginia Tech(弗吉尼亚理工学院);Howard University(霍华德大学);West Virginia University(西弗吉尼亚大学)
网络修剪的目的是通过增加零值权重的部分来在神经网络架构中施加稀疏性,以减小其关于能量效率考虑的大小并提高评估速度。在大多数进行的研究工作中,稀疏性被强制用于网络修剪,而不注意内部网络特性,例如神经元的不平衡输出,或者更具体地说,神经元的权重和输出的分布。这可能会导致严重的精度下降,由于不受控制的稀疏。在这项工作中,我们提出了一个注意力机制,同时控制稀疏强度和监督网络修剪保持重要的信息瓶颈的网络活跃。在CIFAR-10上,所提出的方法比最佳基线方法高出6%,并且在相同的稀疏度水平下将精度下降降低了2.6倍。
2018-07-14 cs.LG stat.ML
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster(明斯特大学)
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里,我们证明了神经网络激活稀疏性是过拟合的可靠指标,我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略,我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明,有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构,显着提高图像分类性能,同时优于dropout和批量归一化。最终,我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解,证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习,同时利用深度模型的全部容量,即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Pruning Deep Neural Networks from a Sparsity Perspective
Duke University(杜克大学);University of Minnesota(明尼苏达大学)
针对现有深度网络剪枝方法缺乏可压缩性量化指标、易出现剪枝不足或过度的问题,提出PQ指数衡量可压缩性,并开发稀疏感知自适应剪枝算法,在压缩效率和鲁棒性上优于迭代剪枝方法。
2023-08-23 cs.LG
Sparsity Turns Adversarial: Energy and Latency Attacks on Deep Neural Networks
Purdue University(普渡大学)
对抗攻击暴露了深度神经网络(DNN)的严重漏洞,因为它们能够通过对DNN输入的人类无法察觉的扰动来强制错误分类。我们探索了对抗攻击领域的一个新方向,提出了旨在降低DNN计算效率而不是其分类准确性的攻击。具体来说,我们提出并演示了稀疏攻击,这种攻击对抗性地修改DNN的输入,以减少其内部激活值的稀疏性(或零值的存在)。在资源受限的系统中,已经提出了广泛的硬件和软件技术来利用稀疏性来提高DNN效率。拟议的攻击增加了稀疏优化DNN实现的执行时间和能耗,引发了人们对其在延迟和能源关键型应用程序中部署的担忧。我们提出了一种系统的方法来生成稀疏攻击的对抗性输入,通过制定一个目标函数来量化网络的激活稀疏性,并使用迭代梯度下降技术最小化该函数。我们对图像识别DNN发起了对抗性稀疏攻击的白盒和黑盒版本,并证明它们将激活稀疏性降低了1.82倍。我们还评估了攻击对稀疏优化的DNN加速器的影响,并展示了延迟高达1.59倍的降级,还研究了攻击对稀疏优化的通用处理器的性能。最后,我们评估了激活阈值和输入量化等防御技术,并证明了所提出的攻击能够抵御它们,强调了在对抗性机器学习领域中进一步努力的必要性。
2020-09-14 cs.LG stat.ML
Sparseout: Controlling Sparsity in Deep Networks
University of Saskatchewan(萨斯喀彻温大学)
Dropout通常用于帮助减少深度神经网络中的过拟合。稀疏性是神经网络的一个潜在的重要属性,但并不被基于丢弃的正则化显式控制。在这项工作中,我们提出了Sparseout一个简单而有效的变体Dropout,可用于控制神经网络中激活的稀疏性。我们从理论上证明了Sparseout等价于广义线性模型特征的$L_q$惩罚,而Dropout是Sparseout在神经网络中的一个特例.我们的经验表明,Sparseout是计算成本低,能够控制所需的稀疏激活水平。我们在图像分类和语言建模任务上评估了Sparseout,以了解稀疏性对这些任务的影响。我们发现,稀疏的激活是有利的语言建模性能,而图像分类受益于密集的激活。Sparseout提供了一种在最先进的深度学习模型中研究稀疏性的方法。Sparseout的源代码可以在\url{https://github.com/najeebkhan/sparseout}上找到。
2019-04-17 cs.LG cs.NE stat.ML
Learning Sparsity of Representations with Discrete Latent Variables
NEC Laboratories Europe(NEC欧洲实验室);University of Birmingham(伯明翰大学)
针对深度潜变量生成模型表示密集的问题,提出 SDLGM 模型,通过引入辅助随机变量和 Gumbel-Softmax 两步采样显式建模稀疏度,结合摊销变分推断实现了自适应且可微的稀疏表示学习。
2023-04-03 cs.LG
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST(香港科技大学)
剪枝是一种模型压缩方法,可在保持准确性的同时去除深度神经网络(DNN)中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理,例如迭代修剪,特征统计/排名或训练过程中的额外优化设计。在本文中,我们从特征演化的新角度提出了一种简单有效的正则化策略,我们称之为特征流正则化(FFR),用于改善DNN中的结构稀疏性和过滤器修剪。具体而言,FFR对沿神经网络的特征流的梯度和曲率施加控制,这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets,ResNets进行的实验表明,FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG
On the Interplay Between Sparsity and Training in Deep Reinforcement Learning
University of Alberta(阿尔伯塔大学);Openmind Research Institute;AMII
本文研究了不同稀疏架构在深度强化学习中的作用,发现稀疏结构对学习性能有显著影响,且最佳稀疏架构的选择取决于隐藏层权重是固定的还是可学习的。
2025-02-01 cs.AI cs.LG
Structured Sparsity Inducing Adaptive Optimizers for Deep Learning
Mila(米拉研究所);Universite de Montreal(蒙特利尔大学)
神经网络的参数自然地被组织成组,其中一些可能对其整体性能没有贡献。为了删除不重要的参数组,我们可以在目标函数中包含一些不可微的惩罚,并使用近似梯度方法将其最小化。在本文中,我们推导出加权邻近算子,这是一个必要的组成部分,这些邻近的方法,两个结构稀疏诱导处罚。此外,它们可以有效地近似与数值求解器,尽管这种近似,我们证明了现有的收敛保证时,这些运营商被集成为一个通用的自适应邻近方法的一部分。最后,我们表明,这种自适应的方法,加上加权邻近算子在这里得到的,确实是能够找到解决方案的结构,在其稀疏模式,从计算机视觉和自然语言处理的代表性例子。
2023-01-05 cs.LG math.OC
Exploring Bit-Slice Sparsity in Deep Neural Networks for Efficient ReRAM-Based Deployment
Duke University(杜克大学);Fudan University(复旦大学)
新兴的电阻式随机存取存储器(ReRAM)最近被深入研究以加速深度神经网络(DNN)的处理。由于原位计算能力,与传统的数字方法相比,模拟ReRAM交叉开关可以显著提高吞吐量并降低能耗。然而,功耗巨大的模数转换器(ADC)阻碍了在芯片面积和功耗预算有限的终端设备上实际部署基于ReRAM的DNN加速器。我们观察到,由于ReRAM单元的位密度有限,DNN权重被位切片并相应地存储在多个ReRAM位线上。由权重产生的位线上的累积电流直接决定ADC的开销。因此,按位权重稀疏性而不是全权重的稀疏性对于高效的ReRAM部署是期望的。在这项工作中,我们提出了位片L1,这是第一个在动态定点DNN训练过程中引入位片稀疏性的算法。实验结果表明,我们的方法实现了2倍的稀疏性改善相比,以前的算法。由此产生的稀疏性允许ADC分辨率降低到最高有效位片的1位,其他位降低到3位,从而显著加快处理速度并降低功耗和面积开销。
2019-11-19 cs.LG stat.ML
When deep learning models on GPU can be accelerated by taking advantage of unstructured sparsity
AGH University of Science and Technology(AGH科技大学)
本文主要研究如何提高稀疏卷积神经网络(CNN)层在图形处理器(GPU)上的效率。Nvidia深度神经网络(cuDnn)库为GPU提供了最有效的深度学习(DL)算法实现。GPU是深度学习计算中最有效和最常用的加速器之一。现代CNN模型需要兆字节的系数,需要数百万次MAC操作来执行卷积。压缩CNN模型的最常见技术之一是权重修剪。修剪主要有两种类型:结构性(基于删除整个权重通道)和非结构性(删除单个权重)。第一种方法可以更容易地加速,但这种方法很难达到第二种方法所达到的稀疏度和精确度。在某些深度CNN模型中,具有再训练的非结构性修剪可以生成高达$\sim90\%$或更高稀疏度的矩阵权重。这项工作显示了何时值得使用直接稀疏操作来加速卷积层的计算。来自ResNet模型的VGG-16,CNN非静态和1x 1层被用作基准。此外,我们提出了使用降低精度对时间效率的影响。
2021-04-17 cs.LG stat.ML
PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation
Microsoft Research(微软研究院)
针对动态稀疏深度学习计算中GPU执行效率与稀疏覆盖浪费难以兼顾的问题,提出基于置换不变变换的编译器PIT,通过稀疏微块转稠密块的分块机制与配套原语,实现动态稀疏计算的显著加速。
2023-10-08 cs.LG cs.NE
TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training and Inference
University of Toronto(多伦多大学);Cerebras Systems(赛雷布拉斯系统公司);Vector Institute(向量研究所)
TensorDash是一种硬件级技术,用于使数据并行MAC单元能够利用其输入操作数流中的稀疏性。当用于构成深度学习的硬件加速器时,TensorDash可以加快训练过程,同时提高能源效率。TensorDash将低成本、稀疏输入操作数互连与面积高效的硬件调度器相结合,该互连包括每个乘法器输入的8输入多路复用器。虽然互连允许每个操作数的非常有限的移动集合,但是当稀疏性存在于神经网络的激活、权重或梯度中时,调度器可以有效地提取稀疏性。在涵盖各种应用的广泛模型集合中,TensorDash通过$1.95{\times}$加速训练过程,同时在考虑片上和片外内存访问时,$1.89\times$更节能,$1.6\times$更节能。虽然TensorDash适用于任何数据类型,但我们使用单精度浮点单元和bfloat16来演示它。
2020-09-01 cs.AR cs.LG
Compressing DMA Engine: Leveraging Activation Sparsity for Training Deep Neural Networks
NVIDIA(英伟达)
流行的深度学习框架要求用户微调其内存使用,以便深度神经网络(DNN)的训练数据适合GPU物理内存。之前的工作试图通过虚拟化DNN的内存使用来解决这个限制,使CPU和GPU内存都能用于内存分配。尽管有其优点,但当从CPU存储器来回复制数据所需的时间高于执行DNN前向和后向传播所需的计算的延迟时,虚拟化存储器可能会导致显著的性能开销。我们引入了一种基于“压缩DMA引擎”(cDMA)的高性能虚拟化策略,该策略可大幅减少CPU端分配的数据结构的大小。cDMA引擎通过利用卸载数据中固有的稀疏性提供平均2.6倍(最大13.8倍)的压缩比,将虚拟化DNN的性能平均提高32%(最大61%)。
2017-05-03 cs.AR cs.LG
Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning
Nanyang Technical University(南洋理工大学);Mila - Quebec AI Institute(魁北克AI研究院);University of Oxford(牛津大学)
本文发现,通过一次性随机剪枝引入静态网络稀疏性,可提升深度强化学习模型的参数效率和优化鲁棒性,从而在视觉和流式任务中释放超越密集模型的扩展潜力。
2025-06-20 cs.AI cs.LG
Beyond Sparsity: Tree Regularization of Deep Models for Interpretability
Stanford University(斯坦福大学);Harvard University SEAS(哈佛大学工程与应用科学学院);University of Basel(巴塞尔大学);University of Siena(锡耶纳大学)
缺乏可解释性仍然是许多应用程序采用深度模型的关键障碍。在这项工作中,我们显式地正则化深度模型,以便人类用户可以在很短的时间内逐步完成预测背后的过程。具体来说,我们训练深度时间序列模型,使它们的类概率预测具有高准确性,同时由节点很少的决策树紧密建模。使用直观的玩具示例以及治疗败血症和HIV的医疗任务,我们证明了这种新的树正则化产生的模型比简单的L1或L2惩罚更容易让人类模拟,而不会牺牲预测能力。
2017-11-16 cs.LG stat.ML
Layer Sparsity in Neural Networks
Université de Marne-la-Vallée(马恩河谷大学);Ruhr-University Bochum(鲁尔大学波鸿分校)
稀疏性在机器学习中很受欢迎,因为它可以节省计算资源,便于解释,并防止过拟合。本文在神经网络的框架下讨论稀疏性。特别是,我们提出了一个新的稀疏性概念,它涉及到网络的各个层,因此与当前深度网络的趋势特别一致。我们称这个概念为层稀疏性。然后,我们介绍了相应的正则化和改装方案,可以补充标准的深度学习管道,以生成更紧凑和准确的网络。
2020-06-28 cs.LG cs.NE stat.ML
Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity
Deeplite(Deeplite公司)
本文提出可由运行时小幅修改利用的半结构化激活稀疏性及 GEMM 位置感知稀疏训练方法,在分类和检测模型上实现低精度损失的推理加速,并可与结构化剪枝互补。
2023-09-27 cs.CV cs.LG
BBS: Bi-directional Bit-level Sparsity for Deep Learning Acceleration
Cornell University(康奈尔大学)
本文提出双向比特稀疏性BBS及免重训二值剪枝、张量编码方案,并协同设计BitVert比特串行加速器,在七个DNN上实现模型压缩、加速与节能。
2024-09-08 cs.AR cs.LG
The State of Sparsity in Deep Neural Networks
Google Brain(谷歌大脑);DeepMind(深度思维)
我们严格评估了三种最先进的技术,用于在两个大规模学习任务中诱导深度神经网络的稀疏性:在WMT 2014英语到德语上训练的Transformer和在ImageNet上训练的ResNet-50。通过数千次实验,我们证明了复杂的技术(Molchanov等人,2017; Louizos等人,2017年b)显示,在较小的数据集上产生高压缩率的性能不一致,并且简单的幅度修剪方法可以实现相当或更好的结果。此外,我们重复了(Frankle & Carbin,2018)和(Liu et al.,2018年),并表明通过修剪学习的非结构化稀疏架构不能从头开始训练到与联合稀疏化和优化训练的模型相同的测试集性能。总之,这些结果强调了在模型压缩领域需要大规模基准。我们开源了我们的代码,最高性能的模型检查点,以及所有超参数配置的结果,为未来的压缩和稀疏化工作建立严格的基线。
2019-02-25 cs.LG stat.ML
Training for temporal sparsity in deep neural networks, application in video processing
IMEC(比利时微电子研究中心)
激活稀疏性提高了稀疏感知神经网络加速器的计算效率和资源利用率。由于DNN中的主要操作是具有权重的激活的乘法累加(MAC)以计算内积,因此跳过两个操作数中的(至少)一个为零的操作可以使推理在延迟和功率方面更有效。激活的空间稀疏性是DNN文献中的一个热门话题,并且已经建立了几种方法来偏置DNN。另一方面,时间稀疏性是生物启发的脉冲神经网络(SNN)的固有特征,神经形态处理利用该特征来提高硬件效率。引入和利用时空稀疏性是DNN文献中较少探索的主题,但与DNN的趋势完美共振,从静态信号处理转向更多的流信号处理。为了实现这一目标,在本文中,我们引入了一个新的DNN层(称为Delta激活层),其唯一目的是在训练期间促进激活的时间稀疏性。增量激活层将时间稀疏性转换为空间激活稀疏性,以便在硬件中执行稀疏张量乘法时加以利用。通过在训练过程中采用增量推理和“通常”的空间稀疏化算法,所得到的模型不仅学习利用空间激活稀疏性,而且学习利用时间激活稀疏性(对于给定的输入数据分布)。可以在普通训练或细化阶段使用Delta激活层。我们实现了Delta激活层作为标准Tensoflow-Keras库的扩展,并将其应用于在人类动作识别(UCF 101)数据集上训练深度神经网络。我们报告了激活稀疏性的近3倍改进,在较长时间的训练后模型准确性的可恢复损失。
2021-07-15 cs.CV cs.LG eess.IV
Accelerating Deep Convolutional Networks using low-precision and sparsity
Intel Labs(英特尔实验室)
我们探索技术,以显着提高深度卷积网络的计算效率和性能,而不影响其准确性。为了提高计算效率,我们专注于用极低精度(2位)权重网络实现高精度,为了加快执行时间,我们积极跳过对零值的操作。在Imagenet对象分类挑战中,我们使用低精度网络\footnote{github release of the source code coming soon}实现了76.6% Top-1/93% Top-5的最高报告准确率,同时与实现类似准确率的全精度网络相比,将计算要求降低了约3倍。此外,为了充分利用我们的低精度网络的优势,我们构建了一个深度学习加速器核心dLAC,它可以实现高达1 TFLOP/mm^2的单精度浮点运算(约2 TFLOP/mm^2的半精度)。
2016-10-02 cs.LG cs.NE
Greedy methods, randomization approaches and multi-arm bandit algorithms for efficient sparsity-constrained optimization
University of Rouen(鲁昂大学);LITIS Lab(LITIS实验室);Aix-Marseille University(艾克斯-马赛大学);LIF(LIF实验室)
一些稀疏约束算法,如正交匹配追踪或具有稀疏约束的Frank-Wolfe算法,通过迭代地选择一个新的原子添加到当前非零变量集来工作。该选择步骤通常通过计算梯度,然后通过寻找具有最大绝对条目的梯度分量来执行。这一步可能是计算昂贵的,特别是对于大规模和高维数据。在这项工作中,我们的目标是加速这些稀疏约束优化算法,利用关键的观察,这些算法的工作,只需要梯度的顶部条目的坐标。因此,我们引入基于贪婪方法和随机化方法的算法,旨在廉价地估计梯度及其顶部条目。我们的另一个贡献是投的问题,找到最好的梯度条目作为一个最好的手臂识别多臂强盗问题。由于这种新颖的见解,我们能够提供一种基于Bandit的算法,以非常有效的方式直接估计顶部条目。理论观察指出,由此产生的不精确的弗兰克-沃尔夫或正交匹配追踪算法的行为,具有很高的概率,类似于他们的确切版本也给出了。我们已经进行了几个实验表明,贪婪的确定性和土匪的方法,我们提出可以实现一个数量级的加速,同时作为有效的精确梯度时,使用的算法,如OMP,弗兰克-沃尔夫或CoSaMP。
2016-08-22 cs.LG
GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity
William & Mary(威廉与玛丽学院);Northeastern University(东北大学);University of Southern California(南加州大学)
在移动设备上实现实时的【形】深度神经网络(DNN)推理是有吸引力但具有挑战性的,因为即使是功能强大的现代移动设备在执行大规模DNN时也被认为是“资源受限的”。它需要通过权重修剪进行稀疏模型推理,即,DNN权重稀疏性,并且期望设计一种新的DNN权重稀疏性方案,其可以促进移动设备上的实时的【形】推理,同时保持高稀疏模型精度。本文设计了一种新的移动推理加速框架GRIM,该框架通用于卷积神经网络(CNN)和递归神经网络(RNN),并实现了实时的【形】执行和高精度,利用细粒度结构化稀疏模型推理和编译器优化。首先,我们提出了一个新的细粒度结构稀疏方案,通过基于块的列行(BCR)修剪。基于这种新的细粒度结构稀疏性,GRIM框架由两部分组成:(a)用于实时的【形】移动推理的编译器优化和代码生成;(b)用于确定剪枝超参数和执行权重剪枝的BCR剪枝优化。我们将GRIM与Alibaba MNN,TVM,TensorFlow-Lite,基于CSR,PatDNN和ESE(RNN的代表性FPGA推理加速框架)的稀疏实现进行了比较,并实现了高达14.08倍的加速比。
2021-08-25 cs.AI cs.LG
Learning Structured Sparsity in Deep Neural Networks
University of Pittsburgh(匹兹堡大学)
对计算资源的高需求严重阻碍了大规模深度神经网络(DNN)在资源受限设备中的部署。在这项工作中,我们提出了一种结构化稀疏学习(SSL)方法来正则化结构(即,过滤器、通道、过滤器形状和层深度)。SSL可以:(1)从更大的DNN中学习紧凑的结构以降低计算成本;(2)获得DNN的硬件友好的结构化稀疏性以有效地加速DNN评估。实验结果表明,SSL使用现成的库分别实现了AlexNet对CPU和GPU的卷积层计算的平均5.1倍和3.1倍加速。这些加速比是非结构稀疏性的两倍;(3)正则化DNN结构以提高分类精度。结果表明,对于CIFAR-10,层深度正则化可以将深度残差网络(ResNet)的20层减少到18层,同时将准确率从91.25%提高到92.60%,仍然略高于原始ResNet的32层。对于AlexNet,SSL的结构正则化也将误差降低了约1%。开放源代码在https://github.com/wenwei202/caffe/tree/scnn
2016-10-18 cs.LG cs.NE stat.ML
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks
ETH Zürich(苏黎世联邦理工学院);IST Austria(奥地利科学技术研究所)
深度学习不断增长的能源和性能成本促使社区通过选择性地修剪组件来缩小神经网络的规模。类似于它们的生物学对应物,稀疏网络即使不比原始的密集网络更好,也能同样泛化。稀疏性可以减少常规网络的内存占用以适应移动设备,并缩短不断增长的网络的训练时间。在本文中,我们回顾了深度学习中稀疏性的先前工作,并为推理和训练提供了稀疏化的广泛教程。我们描述了删除和添加神经网络元素的方法,实现模型稀疏性的不同训练策略,以及在实践中利用稀疏性的机制。我们的工作从300多篇研究论文中提炼出思想,并为今天希望利用稀疏性的从业者以及旨在推动前沿研究的研究人员提供指导。我们包括必要的数学方法在稀疏化的背景,描述的现象,如早期的结构自适应,稀疏性和训练过程之间的错综复杂的关系,并显示技术实现加速在真正的硬件。我们还定义了一个修剪参数效率的度量,可以作为比较不同稀疏网络的基线。最后,我们推测稀疏性如何改善未来的工作量,并概述了该领域的主要开放问题。
2021-01-31 cs.AI cs.AR cs.CV
Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets
University of California, Irvine(加州大学欧文分校);University of California, Los Angeles(加州大学洛杉矶分校)
深度神经网络(DNN)压缩对于适应移动设备至关重要。虽然存在许多成功的算法来压缩自然训练的DNN,但为健壮训练的DNN开发高效和稳定的压缩算法仍然是一个很大的问题。在本文中,我们专注于高效DNN压缩算法和稀疏神经架构的协同设计,以实现鲁棒和准确的深度学习。这样的协同设计使我们能够推进同时容纳稀疏性和鲁棒性的目标。考虑到这一目标,我们利用基于松弛增广拉格朗日的算法来修剪结构化和非结构化级别上的对抗训练DNN的权重。使用Feynman-Kac形式主义原则的鲁棒和稀疏DNN,我们可以将对抗训练的ResNet 20的信道稀疏度至少提高一倍用于CIFAR 10分类,同时将自然准确率提高$8.69$ \%,并将IFGSM攻击的基准$20$迭代下的鲁棒准确率提高$5.42$ \%。代码可在\url{https://github.com/BaoWangMath/rvsm-rgsm-admm}上获得。
2020-03-02 cs.AI cs.LG stat.ML
Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks
Weill Cornell Medical College of Cornell University(康奈尔大学威尔康奈尔医学院);Cornell Tech(康奈尔理工学院)
本文研究了宽度极限下稀疏神经活动对深度贝叶斯神经网络泛化性能的影响,推导出含ReLU和预定活跃神经元比例的NNGP核,发现浅层稀疏网络表现更优,并用核岭回归理论加以验证。
2023-05-17 cond-mat.dis-nn cs.LG q-bio.NC
Sparse Deep Learning Models with the $\ell_1$ Regularization
Syracuse University(雪城大学);Jilin University(吉林大学);Old Dominion University(奥多明尼昂大学)
本文研究 ℓ1 正则化参数对神经网络稀疏度的影响,推导单参数与多参数稀疏模型,并提出迭代选参算法以获得满足预定稀疏度且逼近精度良好的网络。
2024-08-05 cs.LG math.OC stat.ML
Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints
Mila(米拉人工智能研究所);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系)
经过训练的神经网络的性能对于苛刻的修剪水平是鲁棒的。再加上深度学习模型的规模不断增长,这一观察结果激发了对学习稀疏模型的广泛研究。在这项工作中,我们专注于执行稀疏学习时控制稀疏度水平的任务。现有的方法的基础上稀疏诱导处罚涉及昂贵的试错调整的惩罚因子,从而缺乏直接控制所产生的模型稀疏。作为回应,我们采用了一种约束公式:使用Louizos等人(2018)提出的门机制,我们制定了一个约束优化问题,其中稀疏化由训练目标和所需的稀疏目标以端到端的方式指导。使用WideResNet和ResNet{18,50}模型在CIFAR-{10,100}、TinyImageNet和ImageNet上进行的实验验证了我们的建议的有效性,并证明我们可以可靠地实现预定的稀疏目标,而不会影响预测性能。
2022-11-27 cs.LG
Learning Instance-wise Sparsity for Accelerating Deep Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Sydney(悉尼大学)
探索高效率和低内存使用的深度卷积神经网络对于各种各样的机器学习任务非常重要。大多数现有的方法用于通过操纵参数或过滤器来加速深度模型,而无需数据,例如,修剪和分解。相比之下,我们从不同的角度研究这个问题,尊重数据之间的差异。通过识别不同实例的信息特征,开发了一种实例特征修剪。具体来说,通过研究特征衰减正则化,我们期望深度神经网络中每个实例的中间特征图是稀疏的,同时保持整体网络性能。在在线推理过程中,可以消除由经过良好训练的神经网络的中间层提取的输入图像的细微特征,以加速后续计算。我们进一步采取变异系数作为一种措施,以选择适合加速的层。在基准数据集和网络上进行的大量实验证明了该方法的有效性。
2019-07-27 cs.CV cs.LG
The Impact of Activation Sparsity on Overfitting in Convolutional Neural Networks
University of Muenster(明斯特大学)
过拟合是训练卷积神经网络时的基本挑战之一,通常通过发散的训练和测试损失来识别。然而,激活流如何诱导过拟合的潜在动力学却知之甚少。在这项研究中,我们引入了一个基于困惑的稀疏定义,推导和可视化逐层激活措施。这些新的可解释的AI策略揭示了激活稀疏性和过拟合之间令人惊讶的关系,即在测试损失开始上升之前不久,特征提取层中稀疏性的增加。这种趋势在整个网络架构和reguralisation策略中得到保留,因此我们的措施可以用作过拟合的可靠指标,同时将网络的泛化能力与其基于损失的定义解耦。此外,我们的可微稀疏性公式可用于明确惩罚训练过程中稀疏性的出现,以便实时研究稀疏性降低对过拟合的影响。应用这种惩罚和分析激活稀疏性为众所周知的正则和常见的网络架构支持的假设,减少激活稀疏性可以有效地提高泛化和分类性能。与最近关于这一主题的其他工作一致,我们的方法揭示了对激活稀疏性和网络容量的矛盾概念的新见解,通过证明密集激活可以实现区分性特征学习,同时有效地利用深度模型的能力,而不会受到过度拟合的影响,即使在过度训练时也是如此。
2021-04-13 cs.LG
Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication
University of Maryland(马里兰大学)
本文提出一种基于机器学习的方法,利用决策树和深度强化学习为不同稀疏模式的SpGEMM任务自适应选择最优数据流方案,相比传统启发式方法可获得高达28倍的性能提升。
2024-08-29 cs.LG
Impact of Parameter Sparsity on Stochastic Gradient MCMC Methods for Bayesian Deep Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);SRI International(斯坦福国际研究院);US Army Research Laboratory(美国陆军研究实验室)
贝叶斯方法对于提高深度神经网络模型的不确定性量化能力和鲁棒性具有重要的前景。最近的研究已经看到了一些深度神经网络的近似贝叶斯推理方法的调查,建立在变分贝叶斯和马尔可夫链蒙特卡罗(MCMC)框架。MCMC方法的一个基本问题是,它们所实现的改进是以增加计算时间和模型存储成本为代价的。在本文中,我们研究了稀疏网络结构的潜力,灵活地权衡模型存储成本和推理运行时间对预测性能和不确定性量化能力。我们使用随机梯度MCMC方法作为核心贝叶斯推理方法,并考虑了各种方法来选择稀疏网络结构。令人惊讶的是,我们的研究结果表明,某些类别的随机选择的子结构可以执行以及来自最先进的迭代修剪方法的子结构,同时大大减少模型训练时间。
2022-02-08 cs.AI cs.LG
Accelerating Sparse Deep Neural Networks
NVIDIA(英伟达)
随着神经网络模型规模的急剧增加,人们对减少其参数计数并加速其执行的各种技术也产生了兴趣。这个领域的一个活跃的研究领域是稀疏性-鼓励参数中的零值,然后可以从存储或计算中丢弃。虽然大多数研究都集中在高水平的稀疏性上,但在普遍保持模型准确性以及在现代矩阵数学硬件上实现显着加速方面存在挑战。为了使稀疏性的采用变得切实可行,NVIDIA Ampere GPU架构在其矩阵数学单元Tensor Cores中引入了稀疏性支持。我们介绍了稀疏张量核心的设计和行为,它利用了2:4(50%)的稀疏模式,使密集矩阵单元的数学吞吐量增加了一倍。我们还描述了一个简单的工作流程,用于训练网络,既满足2:4稀疏模式要求,又保持准确性,并在广泛的常见任务和模型架构上进行验证。此工作流程可以轻松准备准确的模型,以便在稀疏张量核心上进行高效部署。
2021-04-16 cs.AI cs.AR cs.LG
Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints
Samsung Semiconductor Inc.(三星半导体有限公司)
我们考虑深度卷积神经网络(CNN)的优化,使得它们提供良好的性能,同时如果部署在利用空间域卷积的传统系统或为Winograd卷积设计的较低复杂度系统上,则具有降低的复杂度。此外,我们探讨了这些网络的通用量化和压缩。特别是,所提出的框架产生一个压缩模型,其卷积滤波器可以在空间域或Winograd域中稀疏。因此,一个压缩模型可以通用地部署在任何平台上,而不需要在部署的平台上重新训练,并且可以利用其卷积滤波器的稀疏性来进一步降低任一域中的复杂度。为了获得更好的压缩比,稀疏模型在具有较少参数的空间域中压缩。从我们的实验中,我们获得了ResNet-18,AlexNet和CT-SRCNN的$24.2\times$,$47.7\times$和$35.4\times$压缩模型,而它们的计算成本也分别被$4.5\times$,$5.1\times$和$23.5\times$降低。
2018-10-29 cs.CV cs.LG cs.NE
Position: A Theory of Deep Learning Must Include Compositional Sparsity
Center for Brains, Minds and Machines (CBMM), MIT, Cambridge, MA, USA(大脑、心智与机器中心(CBMM),麻省理工学院);ETH Zurich, Zurich, Switzerland(苏黎世联邦理工学院);University of Zurich, Zurich, Switzerland(苏黎世大学);University of Milan, Milan, Italy(米兰大学)
本文提出深度学习理论必须纳入组合稀疏性,认为DNNs的成功源于利用目标函数由低维构成函数组合而成的结构,并指出该性质普遍存在于可计算函数中,是构建全面智能理论的关键。
2025-07-03 cs.AI cs.LG
Saddle-to-Saddle Dynamics in Deep Linear Networks: Small Initialization Training, Symmetry, and Sparsity
EPFL(洛桑联邦理工学院 (EPFL))
深度线性网络(DLN)的动态特性受到初始化$θ_0$时参数方差$σ^2$的显著影响。对于宽度为$w$的DLN,我们给出了一个相变w.r.t.方差$σ^2=w^{-γ}$的缩放$γ$为$w\to\infty$:对于大方差($γ<1$),$θ_0$非常接近全局最小值但远离任何鞍点,而对于小方差($γ>1$),$θ_0$接近鞍点且远离任何全局最小值。虽然第一种情况与研究充分的NTK制度相对应,但第二种情况却不太清楚。这激发了对案例$γ\to +\infty$的研究,在该案例中,我们推测了一个鞍到鞍动态:在整个训练过程中,梯度下降访问一系列鞍的邻域,每个鞍对应于秩递增的线性映射,直到达到稀疏的全局最小值。我们支持这一猜想的前两个鞍之间的动力学定理,以及一些数值实验。
2022-01-31 cs.LG stat.ML
The Role Of Biology In Deep Learning
Oregon State University(俄勒冈州立大学)
人工神经网络在成为我们最好的机器感知系统时,从生物学上获得了很多灵感。这项工作总结了一些历史,并将现代理论神经科学纳入深度学习领域的人工神经网络实验中。具体地说,迭代幅度修剪用于训练稀疏连接的网络,其权重减少33倍,而性能没有损失。这些被用来测试并最终拒绝的假设,权重稀疏单独提高图像噪声鲁棒性。最近的工作减轻了灾难性遗忘使用权重稀疏,激活稀疏,和活跃的树突建模。本文复制了这些发现,并将该方法扩展到在更具挑战性的持续学习任务上训练卷积神经网络。该守则已公开提供。
2022-09-07 cs.AI cs.LG cs.NE
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University(延世大学);Samsung Electronics(三星电子);Seoul National University(首尔国立大学)
图卷积网络(GCN)由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入,并执行一系列层,这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反,现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN,我们发现一个重要的特点,他们表现出非常高的中间特征稀疏。我们观察到,随着深层和残余连接,中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会,这是以前不存在的。在本文中,我们提出了SGCN,一个快速,节能的GCN加速器,充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术,以实现比现有加速器更高的性能和能源效率。首先,SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量,这往往是GCN执行的瓶颈。其次,我们提出了微架构无缝处理的压缩特征格式。第三,为了更好地处理在不同的稀疏性存在的局部性,SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式,展示了多个重用窗口,这样缓存可以捕获不同大小的工作集,从而适应不同的稀疏程度。我们表明,SGCN实现了1.71倍的加速比和43.9%的高能效相比,现有的加速器。
2023-01-25 cs.AR cs.LG
On the stable recovery of deep structured linear networks under sparsity constraints
Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);UPS IMT(图卢兹第三大学数学研究所);Institut de Recherche Technologique Saint-Exupéry(圣埃克苏佩里技术研究所)
我们考虑稀疏约束下的深度结构线性网络。我们研究尖锐的条件,保证稳定的最佳参数定义网络。更准确地说,我们提供了网络架构和样本的尖锐条件,在此条件下,定义网络的参数误差与重建误差(即风险)呈线性关系。因此,在这些条件下,使用成功算法获得的权重是明确定义的,并且仅取决于网络的架构和样本。潜在空间中的特征被稳定地定义。为了解释在潜在空间中定义的特征,需要稳定性属性。它还可以导致对统计风险的保证。这就是这项研究的动机。分析是基于最近提出的张量提升。本文的特殊之处在于考虑了稀疏先验。这导致更好的稳定常数。作为一个例子,我们详细的分析,并提供清晰的稳定性保证卷积线性网络稀疏先验。在这个分析中,我们区分了网络架构和样本输入的作用。这突出了与参数稳定性有关的数据要求。
2020-05-20 cs.AI cs.LG math.OC
DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths
Fudan University(复旦大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Research-Asia(微软亚洲研究院);Jiangxi Normal University(江西师范大学)
过度参数化是目前普遍存在的训练神经网络,既有利于优化寻求全局最优值和推广,以减少预测误差。然而,压缩网络在许多现实世界的应用中是期望的,并且小网络的直接训练可能陷入局部最优。在本文中,而不是修剪或提取过参数化模型压缩的,我们提出了一种新的方法的基础上的微分包含的逆尺度空间。具体而言,它生成了一系列从简单到复杂的模型,这些模型将一对参数耦合到同时训练过参数化的深度模型和全连接层和卷积层权重的结构稀疏性。这种差分包含方案具有简单的离散化,被提出为深度结构分裂线性化Bregman迭代(DessiLBI),其在深度学习中的全局收敛性分析被建立为从任何初始化,算法迭代收敛到经验风险的临界点。实验证据表明,DessiLBI在探索基准数据集上几个广泛使用的骨干的结构稀疏性方面,与竞争性优化器相比,实现了相当甚至更好的性能。值得注意的是,通过提前停止,DessiLBI在早期阶段推出了“中奖彩票”:有效的稀疏结构,其测试精度与完全训练的过度参数化模型相当。
2020-07-04 cs.CV cs.LG math.DS
Eau De $Q$-Network: Adaptive Distillation of Neural Networks in Deep Reinforcement Learning
该研究提出EauDeQN算法,通过多在线网络自适应蒸馏实现稠密到稀疏的强化学习,在Atari和MuJoCo上保持高性能并达到高稀疏度。
2025-06-20 cs.AI cs.LG
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame(圣母大学);Seoul National University(首尔国立大学)
最近的理论研究证明,通过在一定稀疏性约束下最小化经验风险获得的深度神经网络(DNN)估计量可以获得回归和分类问题的最佳收敛速度。然而,稀疏性约束要求知道真实模型的某些属性,这在实践中是不可用的。此外,由于稀疏约束的离散性质,计算是困难的。在本文中,我们提出了一种新的惩罚估计方法稀疏DNN,解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险,并推导出几个学习任务的收敛速度。特别是,我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算,我们开发了一个有效的基于梯度的优化算法,保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
The curious case of developmental BERTology: On sparsity, transfer learning, generalization and the brain
Cerebras Systems(Cerebras系统公司)
在这篇文章中,我们通过大语言模型、迁移学习和网络压缩来探索深度学习和神经科学之间的交叉点。就像感知和认知神经生理学启发了有效的深层神经网络架构,这反过来又为理解大脑提供了一个有用的模型一样,在这里,我们探索生物神经发育如何激发有效和强大的优化程序,这反过来又可以作为大脑成熟和衰老的有用模型。
2020-07-07 cs.CL cs.LG q-bio.NC