ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers
Northeastern University(东北大学);Syracuse University(雪城大学);SUNY University at Buffalo(纽约州立大学布法罗分校);University of Southern California(南加利福尼亚大学)
为了促进深度神经网络(DNN)的高效嵌入式和硬件实现,研究了DNN模型压缩技术的两个重要类别:权重修剪和权重量化。前者利用权重数量的冗余,而后者利用权重的比特表示的冗余。然而,缺乏DNN的联合权重修剪和量化的系统框架,从而限制了可用的模型压缩比。此外,除了简单的模型大小减小之外,还需要考虑计算减少、能量效率提高和硬件性能开销。为了解决这些限制,我们提出了ADMM-NN,这是DNN的第一个算法-硬件协同优化框架,使用交替方向乘法(ADMM),这是一种强大的技术,可以处理具有可能组合约束的非凸优化问题。ADMM-NN的第一部分是使用ADMM的DNN权重修剪和量化的系统联合框架。它可以被理解为一种智能正则化技术,在每次ADMM迭代中动态更新正则化目标,从而导致比先前工作更高的模型压缩性能。第二部分是硬件感知DNN优化,以促进硬件级实现。在没有精度损失的情况下,我们可以在LeNet-5和AlexNet模型上分别实现85个$\times$和24个$\times$修剪,显著高于先前的工作。当专注于计算减少时,改进变得更加显著。结合权重修剪和量化,我们实现了1,910 $\times$和231 $\times$减少在这两个基准的整体模型大小,当专注于数据存储。在VGGNet和ResNet-50等其他代表性DNN上也观察到了非常有希望的结果。
2018-12-31 cs.AI cs.AR cs.CV
Weight Initialization of Deep Neural Networks(DNNs) using Data Statistics
Department of Electrical Engineering Indian Institute of Technology Bombay(印度理工学院孟买分校电气工程系)
深度神经网络(DNN)构成了计算机视觉、语音处理和文本分析等领域中几乎所有最先进技术的支柱。计算技术的最新进展使得DNN的使用更加实用。尽管DNN有着压倒性的性能和计算技术的进步,但很少有研究人员尝试从头开始训练他们的模型。DNN的训练仍然是一项困难而繁琐的工作。研究人员在DNN训练过程中面临的主要挑战是消失/爆炸梯度问题以及目标函数的高度非凸性,该目标函数具有多达百万个变量。He和Xavier提出的方法通过提供复杂的初始化技术来解决消失梯度问题。这些方法非常有效,并且在标准数据集上取得了很好的效果,但是这些方法在更实际的数据集上并不能很好地工作。我们认为这是因为没有使用数据统计来初始化网络权重。优化这种高维损失函数需要仔细初始化网络权重。在这项工作中,我们提出了一个数据相关的初始化,并分析其性能对标准的初始化技术,如他和Xavier。我们在一些实际数据集上进行了实验,结果表明,我们的算法的优越的分类精度。
2018-03-17 cs.LG stat.ML
Efficient Reprogramming of Memristive Crossbars for DNNs: Weight Sorting and Bit Stucking
Harvard University(哈佛大学)
本文提出通过权重排序和位卡滞技术减少忆阻交叉阵列重编程次数,在ImageNet-1K上实现ResNet-50和ViT-Base分别3.7倍和21倍的重编程减少,且精度损失在1%以内。
2024-10-29 cs.AI cs.AR cs.ET
A unified theory of feature learning in RNNs and DNNs
Gatsby Computational Neuroscience Unit, UCL(伦敦大学学院盖茨比计算神经科学组);Forschungszentrum Juelich(于利希研究中心)
本文提出了一种统一的均场理论,揭示RNNs和DNNs在特征学习中的结构与功能关系,表明权重共享在序列任务中促进泛化。
2026-02-17 cond-mat.dis-nn cs.LG
Extended critical regimes of deep neural networks
University of Sydney(悉尼大学)
深度神经网络(DNN)已经成功地应用于许多现实世界的问题,但仍然缺乏对其动力学和计算原理的完整理解。分析DNN的传统理论框架通常假设随机网络具有服从高斯统计的耦合权重。然而,非高斯重尾耦合是DNN中普遍存在的现象。在这里,通过将重尾随机矩阵和非平衡统计物理的理论编织在一起,我们为DNN开发了一种新型的平均场理论,该理论预测重尾权重能够在没有微调参数的情况下出现扩展的临界状态。在这种扩展的临界状态下,DNN表现出丰富而复杂的跨层传播动力学。我们进一步阐明,扩展的临界性赋予DNN深刻的计算优势:平衡内部神经表征的收缩和扩展,并加快训练过程,从而为设计高效的神经架构提供理论指导。
2022-03-24 cond-mat.dis-nn cond-mat.stat-mech cs.AI
StructADMM: A Systematic, High-Efficiency Framework of Structured Weight Pruning for DNNs
Bar-Ilan University(巴伊兰大学)
DNN的权重修剪方法已被证明可以在不损失准确性的情况下实现良好的模型修剪率,从而减轻大规模DNN的显著计算/存储要求。提出了结构化权重修剪方法,以克服不规则网络结构的限制,并展示了实际的GPU加速。然而,在先前的工作中,修剪率(稀疏度)和GPU加速是有限的(小于50%)时,需要保持准确性。在这项工作中,我们通过提出一个统一的,系统的DNN结构化权重修剪框架来克服这些限制。它是一个框架,可用于诱导不同类型的结构化稀疏性,例如滤波器稀疏性、通道稀疏性和形状稀疏性,以及非结构化稀疏性。该框架将随机梯度下降与ADMM相结合,可以理解为一种动态正则化方法,其中正则化目标在每次迭代中解析更新。在不损失AlexNet模型准确性的情况下,我们在两个GPU上实现了2.58倍和3.65倍的平均测量加速,明显优于之前的工作。当允许2%的适度精度损失时,平均加速比达到3.15倍和8.52倍。在这种情况下,卷积层的模型压缩是15.0倍,对应于11.93倍的测量CPU加速。我们在ResNet模型和其他数据集(如UCF 101和CIFAR-10)上的实验证明了我们的框架具有更高的性能。
2019-03-27 cs.CV cs.LG cs.NE
Magic for the Age of Quantized DNNs
Tokyo Research Center, AISIN(爱信东京研究中心);AISIN SOFTWARE(爱信软件公司)
针对DNN参数激增导致小规模计算机推理困难的问题,提出量化感知训练方法MaQD,通过引入Layer-Batch Normalization和缩放舍入-截断函数量化权重与激活函数,在最小精度损失下实现模型压缩。
2024-03-22 cs.AI cs.CV cs.LG
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University(东北大学);IBM Watson Lab(IBM Watson实验室)
结构化权重修剪是DNN的代表性模型压缩技术,用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间,因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制,我们提出了SS-Auto,一个单次,自动结构化修剪框架,可以同时实现行修剪和列修剪。我们采用软约束为基础的配方,以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法,更快的收敛速度和更少的超参数。而不是直接解决问题,提出了一个Primal-Proximal解决方案,以避免惩罚所有权重相等的陷阱,从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明,该框架可以在保持准确性的同时实现超高的剪枝率。此外,通过对智能手机的实际测量,从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
Train-by-Reconnect: Decoupling Locations of Weights from their Values
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
是什么让未经训练的深度神经网络(DNN)与经过训练的性能不同?通过放大训练良好的DNN中的权重,我们发现正是权重的位置保存了训练编码的大部分信息。基于这一观察结果,我们假设基于随机梯度方法训练的DNN中的权重可以分为两个维度:权重的位置及其确切值。为了评估我们的假设,我们提出了一种新的方法命名为前瞻排列(LaPerm),通过重新连接的权重训练DNN。我们以经验证明了LaPerm的多功能性,同时提供了大量证据来支持我们的假设:当初始权重随机且密集时,我们的方法显示出与常规优化器相似或更好的速度和性能,例如,亚当;当初始权值是随机和稀疏的(许多零)时,我们的方法改变了神经元连接的方式,并达到了与训练有素的完全初始化的网络相当的精度;当初始权值共享单个值时,我们的方法发现权值不可知的神经网络,其精度远远优于机会。
2020-12-07 cs.LG stat.ML
BiQGEMM: Matrix Multiplication with Lookup Table For Binary-Coding-based Quantized DNNs
Samsung Research(三星研究院)
深度神经网络(DNN)中的参数数量正在迅速增加,以支持复杂的任务并提高模型精度。相应地,计算量和所需的内存占用也会增加。量化是通过压缩DNN来解决这些问题的有效方法,从而可以简化计算,同时显著减少所需的存储占用空间。不幸的是,商业CPU和GPU并不完全支持量化,因为只允许固定的数据传输(如32位)。因此,即使权重被量化为几位,CPU和GPU也无法在不浪费内存带宽的情况下访问多个量化的权重。因此,在实践中,量化的成功依赖于有效的计算引擎设计,特别是对于矩阵乘法,这是大多数DNN中的基本计算引擎。在本文中,我们提出了一种新的矩阵乘法方法,称为BiQGEMM,专用于量化DNN。BiQGEMM可以在一条指令中同时访问多个量化权重。此外,当量化导致有限的可用计算空间时,BiQGEMM预先计算高度冗余的中间结果。由于预先计算的值存储在查找表中并重复使用,BiQGEMM实现了较低的总计算量。我们广泛的实验结果表明,BiQGEMM提出了更高的性能比传统的方案时,DNN的量化。
2020-08-31 cs.LG stat.ML
Toward Extremely Low Bit and Lossless Accuracy in DNNs with Progressive ADMM
Northeastern University(东北大学);Tsinghua University(清华大学)
权值量化是深度神经网络(DNN)模型压缩方法中最重要的技术之一。最近的一项工作使用DNN权重量化的系统框架和先进的优化算法ADMM(交替方向乘法)实现了权重量化的最新成果之一。在这项工作中,我们首先扩展了这种基于ADMM的框架,以保证解决方案的可行性,我们进一步开发了一个多步骤,渐进式DNN权重量化框架,具有双重好处:(i)由于ADMM正则化的特殊属性,实现进一步的权重量化,以及(ii)减少每一步中的搜索空间。大量的实验结果表明,与以前的工作相比,优越的性能。一些亮点:我们为MNIST导出了第一个无损和完全二进制化的(所有层)LeNet-5;我们为CIFAR-10导出了第一个完全二进制化的(所有层)VGG-16,为ImageNet导出了ResNet,具有合理的准确性损失。
2019-05-02 cs.CV cs.LG stat.ML
Sorted Weight Sectioning for Energy-Efficient Unstructured Sparse DNNs on Compute-in-Memory Crossbars
Harvard University(哈佛大学)
本文提出排序权重分段(SWS)算法,通过将排序后的DNN权重段映射到位切片存内计算交叉阵列,利用小权重和零权重稀疏性,减少ADC数量与分辨率,在非结构化稀疏BERT模型上实现89.5%的ADC能耗降低,同时保持精度。
2024-10-29 cs.AI cs.AR cs.ET
Accelerating Multi-Model Inference by Merging DNNs of Different Weights
Seoul National University(首尔国立大学);Qualcomm AI Research(高通人工智能研究院)
已被证明在机器学习任务上表现良好的标准化DNN模型被广泛使用,并经常被原样采用以解决下游任务,形成了迁移学习范式。然而,当从GPU服务器的集群服务这种DNN模型的多个实例时,用于提高GPU利用率的现有技术(诸如GPU)是不适用的,因为模型通常由于微调而不共享权重。我们提出了一种融合多个DNN模型的技术,这些模型共享相同的架构,但具有不同的权重和不同的输入。通过将操作替换为更一般的对应操作,可以使Networds成为可能,这些操作允许一组权重仅与某组输入相关联。在ResNet-50、ResNeXt-50、BERT和XLNet上进行的实验表明,NetCore在合并32个模型实例时,可以将DNN推理时间在NVIDIA V100 GPU上加快3.6倍,在TITAN Xp GPU上加快3.0倍,同时仅使用少量额外的GPU内存。
2020-09-28 cs.LG stat.ML
DyRA: Dynamic Residual Approximation for Efficient Matrix Multiplication in DNNs
University of Michigan(密歇根大学);Qualcomm AI Research(高通人工智能研究院)
DyRA通过动态逼近并校正结构化权重逼近产生的输出残差误差,在相同计算预算下更忠实逼近完整矩阵乘法,在视觉、语音和语言模型中一致提升精度-效率权衡,并在DINOv3上实现1.5倍GPU加速和3倍精度下降减少。
2026-10-05 cs.AI cs.LG
Controllable Orthogonalization in Training DNNs
Inception Institute of Artificial Intelligence(人工智能起源研究所);University of Electronic Science and Technology of China(电子科技大学);ByteDance AI Lab(字节跳动人工智能实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
由于其能够保持雅可比矩阵的所有奇异值接近1并减少表示中的冗余,因此可伸缩性被广泛用于训练深度神经网络(DNN)。本文提出了一种使用牛顿迭代(ONI)的计算效率和数值稳定的正交化方法,以学习DNN中的逐层正交权重矩阵。ONI通过迭代地将权重矩阵的奇异值向1拉伸来工作。这个属性使它能够通过迭代次数来控制权矩阵的正交性。我们表明,我们的方法提高了性能的图像分类网络,通过有效地控制的正交性,提供一个最佳的权衡之间的优化利益和代表性的能力降低。我们还表明,ONI通过保持网络的Lipschitz连续性来稳定生成对抗网络(GANs)的训练,类似于频谱归一化(SN),并通过提供可控的正交性进一步优于SN。
2020-04-02 cs.CV cs.LG
Alternating optimization method based on nonnegative matrix factorizations for deep neural networks
University of Tsukuba(筑波大学)
用于计算梯度的反向传播算法已广泛用于深度神经网络(DNN)的权重计算。这种方法需要目标函数的导数,并且在寻找合适的参数(如学习率)方面存在一定的困难。在本文中,我们提出了一种新的方法来计算权矩阵的全连接DNN使用两种类型的半非负矩阵分解(半NMF)。在该方法中,通过交替地计算权重矩阵来执行优化过程,并且不使用反向传播(BP)。我们还提出了一种方法来计算堆叠的自编码器使用NMF。自动编码器的输出结果用作DNN的预训练数据。实验结果表明,我们的方法使用三种类型的NMF达到了类似的出错率的传统DNN与BP。
2016-05-16 cs.LG cs.NE stat.ML
Sparse Deep Neural Network Exact Solutions
Massachusetts Institute of Technology(麻省理工学院);Vanderbilt University(范德堡大学)
深度神经网络(DNN)已经成为机器学习的关键推动者。将更大的DNN应用于更多样化的应用是一个重要的挑战。在DNN训练和推理期间执行的计算由描述DNN的权重矩阵上的操作主导。由于DNN包含更多的层和每层更多的神经元,由于内存限制,这些权重矩阵可能需要稀疏。稀疏DNN是一种可能的方法,但其基础理论仍处于发展的早期阶段,并提出了许多挑战,包括确定推理的准确性和选择非零权重进行训练。关联数组代数由大数据社区开发,用于组合和扩展数据库,矩阵和图形/网络概念,以用于大型稀疏数据问题。将这种数学应用于DNN简化了DNN数学的公式,并揭示了DNN在振荡半环上是线性的。这项工作使用关联数组DNN来构建精确解和相应的扰动模型,以纠正线性单元(ReLU)DNN方程,可用于构建各种精度的稀疏DNN实现的测试向量。这些解决方案可用于DNN验证,DNN属性的理论探索,以及稀疏训练挑战的起点。
2018-07-06 cs.CV cs.LG cs.NE
Enhancing Neural Network Robustness Against Fault Injection Through Non-linear Weight Transformations
Kyushu Institute of Technology(九州工业大学);Graduate School of Life Science and Systems(生命科学与系统研究生院);Research Center for Neuromorphic AI Hardware(神经形态AI硬件研究中心)
针对现实环境中硬件故障导致DNN失效的问题,提出通过应用Tanh、Arctan等饱和激活函数约束权重,增强DNN对故障注入的鲁棒性并小幅提升性能,且预训练模型适配仅需少量epoch。
2024-11-28 cs.AI cs.CV cs.LG
Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by Design
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Shanghai University(上海大学)
深度神经网络(DNN)训练可能很困难,因为在通过反向传播进行权重优化期间梯度会消失和爆炸。为了解决这个问题,我们提出了一个通用类的哈密顿DNN(H-DNN),源于连续时间哈密顿系统的离散化,并包括几个现有的DNN架构的基础上常微分方程。我们的主要结果是,一组广泛的H-DNN通过设计确保了任意网络深度的非零梯度。这是通过证明,使用半隐式欧拉离散计划,梯度计算中涉及的向后灵敏度矩阵是辛的。我们还提供了一个上限的灵敏度矩阵的大小,并表明,爆炸梯度可以通过正则化控制。最后,我们通过对权重矩阵进行适当的稀疏性约束来实现H-DNN中的向后和向前传播算法的分布式实现。H-DNN在基准分类问题上表现出良好的性能,包括MNIST数据集的图像分类。
2022-12-30 cs.LG cs.SY eess.SY
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University(亚琛工业大学)
最近,有大量关于设计深度神经网络(DNN)的工作,这些网络对对抗性示例具有鲁棒性。特别是,一个中心问题是DNN的哪些特征会影响对抗鲁棒性,因此可以用于设计鲁棒的DNN。在这项工作中,这个问题是研究通过镜头的压缩,这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上,当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时,神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时,它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争,但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Deep Neural Networks Based Weight Approximation and Computation Reuse for 2-D Image Classification
Khalifa University(哈利法大学)
深度神经网络(DNN)是计算和存储密集型的,这使得它们的硬件实现成为一项具有挑战性的任务,特别是对于诸如IoT节点之类的资源受限设备。为了应对这一挑战,本文介绍了一种新的方法,通过将近似计算与数据重用技术相融合来提高DNN的性能,以用于图像识别应用。在训练阶段,DNN权重基于线性和二次近似方法进行近似,然后,所有权重都被线性/二次系数替换,以使用相同系数计算不同权重的方式执行推理。这导致在处理元件(PE)阵列上重复权重,这反过来使得能够重用DNN子计算(计算重用)并利用相同的数据(数据重用)来减少DNN计算、存储器访问并提高能量效率,尽管代价是增加训练时间。MNIST和CIFAR 10数据集的完整分析用于图像识别,其中LeNet 5显示参数数量减少了1211.3倍,准确度下降不到0.9%。当与最先进的行固定(RS)方法相比,所提出的架构节省了54%的加法器和乘法器的总数需要。总的来说,所提出的方法适用于物联网边缘设备,因为它减少了内存大小要求以及所需的内存访问次数。
2021-04-28 cs.CV cs.LG
Approximating smooth functions by deep neural networks with sigmoid activation function
Technische Universität Darmstadt(达姆施塔特工业大学)
我们研究了具有sigmoid激活函数的深度神经网络(DNN)的能力。最近,研究表明,DNN近似于紧致集上的任何$d$维光滑函数,其阶数为$W^{-p/d}$,其中$W$是网络中非零权重的数量,$p$是函数的光滑度。不幸的是,这些比率仅适用于一类特殊的稀疏连接DNN。我们问自己,对于更简单和更一般的类,我们是否可以显示相同的近似率,即,DNN仅由其宽度和深度定义。在这篇文章中,我们证明了具有固定深度和$M^d$阶宽度的DNN实现了$M^{-2p}$的近似率。作为结论,我们定量地描述了DNN的逼近能力在网络中的总权重$W_0$方面,并显示了$W_0^{-p/d}$的逼近率。这个更一般的结果最终帮助我们理解哪种网络拓扑保证了特定的目标精度。
2020-10-08 cs.LG math.ST stat.TH
Hardware-aware Pruning of DNNs using LFSR-Generated Pseudo-Random Indices
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络(DNN)已经成为广泛应用中的最先进算法。为了减少DNN的存储器占用,特别是对于嵌入式应用,已经提出了稀疏化技术。不幸的是,这些技术带来了很大的硬件开销。在本文中,我们提出了一种硬件感知修剪方法,非零权重的位置是从线性反馈移位寄存器(LFSRs)实时推导出来的。使用所提出的方法,我们证明了在下采样的ImageNet上,VGG-16网络的总能量和面积分别节省了63.96%和64.23%,分别用于等压缩率和等精度。
2019-11-09 cs.LG
Improving robustness to corruptions with multiplicative weight perturbations
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
提出乘性权重扰动数据增强方法DAMP,在不损失干净图像准确率的前提下提升DNNs对多种损坏的鲁棒性,并在多个数据集和架构上验证其有效性。
2024-12-24 cs.CV cs.LG
ECQ$^{\text{x}}$: Explainability-Driven Quantization for Low-Bit and Sparse DNNs
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所)
本文提出ECQ$^{\ ext{x}}$量化方法,结合可解释AI的逐层相关性传播与信息论熵优化,在2-5比特超低精度下生成稀疏DNN,实现最高103倍压缩且保持或提升模型性能。
2022-02-16 cs.AI cs.LG
Training Quantized Deep Neural Networks via Cooperative Coevolution
Southern University of Science and Technology(南方科技大学)
这项工作考虑了一个具有挑战性的深度神经网络(DNN)量化任务,该任务旨在训练量化的DNN,而不涉及任何全精度操作。大多数以前的量化方法不适用于此任务,因为它们依赖于全精度梯度来更新网络权重。为了填补这一空白,在这项工作中,我们提倡使用进化算法(EA)来搜索DNN的最佳低位权重。为了有效地解决诱导的大规模离散问题,我们提出了一种新的EA合作协同进化的基础上,重复分组的网络权重的基础上,在其值的信心,并专注于优化的信心最小的。据我们所知,这是第一个工作,应用EA训练量化DNN。实验表明,我们的方法超越了以前的量化方法,可以训练一个4位的ResNet-20的Cifar-10数据集上具有相同的测试精度作为其全精度对应。
2022-05-23 cs.AI cs.LG cs.NE
Protective Self-Adaptive Pruning to Better Compress DNNs
自适应网络剪枝方法由于其能够识别层和过滤器的重要性和冗余性,并定制合适的剪枝方案,近年来引起了人们的广泛关注。然而,它仍然不令人满意,因为目前的自适应修剪方法主要依赖于一个额外的监视器来评分层和过滤器的重要性,因此面临着高复杂性和弱解释性。针对这些问题,本文深入研究了迭代剪枝训练过程中的权值重构过程,提出了一种保护性自适应剪枝方法。首先,PSAP可以利用自己的信息,权重稀疏比,自适应调整修剪率的层之前,每一步的修剪。此外,我们提出了一个保护性的重建机制,以防止重要的过滤器被修剪,通过监督梯度,以避免不可恢复的信息丢失。我们的PSAP是方便和明确的,因为它只依赖于模型本身的权重和梯度,而不是像早期的作品中需要一个额外的监视器。在ImageNet和CIFAR-10上的实验也证明了它在精度和压缩比方面都优于当前的作品,特别是在高压缩比或从头开始修剪方面。
2023-03-21 cs.CV cs.LG
Why Heavy-Tailed Weight Spectra Predict Model Quality
University of Queensland(昆士兰大学);University of Melbourne(墨尔本大学);University of California, Berkeley(加州大学伯克利分校)
本研究从统计角度解释重尾权重谱可预测模型质量的原因,采用概率框架推导DNN的边际似然,发现其可预测模型质量,还推导了HTMP分布谱的极限对数边际似然及最优重尾参数以预测过拟合。
2026-10-12 cs.LG stat.ML
PSO-PS: Parameter Synchronization with Particle Swarm Optimization for Distributed Training of Deep Neural Networks
Sichuan University(四川大学)
参数更新是基于并行的分布式深度学习中的一个重要阶段。同步方法广泛应用于深度神经网络(DNN)的分布式训练。为了减少同步方法的通信和同步开销,降低同步频率(例如,每个$n$小批量)是一种直接的方法。然而,它经常受到收敛性差的影响。在本文中,我们提出了一种新的算法集成粒子群优化(PSO)到分布式DNN的训练过程中自动计算新的参数。在该算法中,计算工作被编码为一个粒子,DNN的权重和训练损失由粒子属性建模。在每个同步阶段,权值由PSO从所有工人收集的子权值更新,而不是平均权值或梯度。为了验证所提出的算法的性能,在两个常用的图像分类基准:MNIST和CIFAR10上进行了实验,并在多个不同的同步配置下与同行竞争对手进行了比较。实验结果证明了该算法的竞争力。
2020-09-06 cs.AI cs.DC cs.LG
TruncQuant: Truncation-Ready Quantization for DNNs with Flexible Weight Bit Precision
Department of Electrical and Computer Engineering(电气与计算机工程系);School of Electronic and Electrical Engineering(电子与电气工程学院);Department of Artificial Intelligence(人工智能系)
针对现有量化感知训练不支持截断、难以适配边缘设备多样硬件的问题,提出TruncQuant截断就绪训练方案,通过对齐截断输出实现运行时灵活位精度,在不同位宽下鲁棒性强且易集成到现有框架。
2025-06-13 cs.LG
Comments on "Deep Neural Networks with Random Gaussian Weights: A Universal Classification Strategy?"
Aselsan Research Center(阿塞尔桑研究中心);Bilkent University(比尔肯特大学)
在最近发表的一篇论文[1]中,表明具有随机高斯权重的深度神经网络(DNN)保留了数据的度量结构,具有当两个数据点之间的角度较小时距离缩小更多的特性。我们同意[1]中考虑的随机投影设置以高概率保持距离。但就我们而言,数据点的角度和输出距离之间的关系正好相反,即,较小的角度导致较弱的距离收缩。这使我们得出结论,[1]中的定理3和图5是不准确的.因此,在DNN中使用随机高斯权重不能提供通用分类或单独处理类内和类外数据的能力。因此,仅由随机高斯权重组成的网络的行为对于解释DNN如何在各种各样的问题中实现最先进的结果是无用的。
2019-04-01 cs.LG stat.ML
Neural Generators of Sparse Local Linear Models for Achieving both Accuracy and Interpretability
Chiba Institute of Technology(千叶工业大学);RIKEN AIP(理化学研究所革新智能综合研究中心);NTT Communication Science Laboratories(NTT通信科学实验室)
对于可靠性,重要的是由机器学习方法做出的预测是人类可解释的。一般来说,深度神经网络(DNN)可以提供准确的预测,尽管很难解释为什么DNN会获得这样的预测。另一方面,线性模型的解释很容易,尽管它们的预测性能会很低,因为现实世界的数据通常本质上是非线性的。为了将DNN的高预测性能和线性模型的高可解释性结合到单个模型中,我们提出了稀疏局部线性模型(NGSLL)的神经生成器。稀疏局部线性模型具有很高的灵活性,因为它们可以近似非线性函数。NGSLL使用DNN为每个样本生成稀疏线性权重,DNN采用每个样本的原始表示(例如,字序列)及其简化表示(例如,词袋)作为输入。通过从原始表示中提取特征,权重可以包含丰富的信息以实现高预测性能。此外,预测是可解释的,因为它是通过简化表示和稀疏权重之间的内积获得的,其中只有少量的权重由我们的NGSLL中的门模块选择。在现实世界的数据集的实验中,我们证明了NGSLL的有效性定量和定性评估预测性能和可视化生成的图像和文本分类任务的权重。
2020-03-13 cs.LG stat.ML
Harden Deep Neural Networks Against Fault Injections Through Weight Scaling
Kyushu Institute of Technology(九州工业大学);Graduate School of Life Science and Systems(生命科学与系统研究生院);Research Center for Neuromorphic AI Hardware(神经形态人工智能硬件研究中心)
针对硬件故障导致DNN权重位翻转性能下降问题,提出权重存储前乘常数、使用时还原的方法,实验显示该方法能提升8位定点ResNet50在0.0001位错误率下的Top-1准确率54.418,且开销低。
2024-11-28 cs.AI cs.CV cs.LG
Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive?
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
该研究从非参数回归视角,提出深度ReLU网络的并行变体,证明仅调权重衰减正则化因子即可让其估计误差接近Besov和BV函数类的极小极大率,且越深越优,解释了深度的作用。
2024-05-18 cs.LG stat.ML
Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization
Graz University of Technology(格拉茨技术大学)
本文介绍了神经架构搜索(NAS)的自动发现小模型的关键字定位(KWS)在有限的资源环境。我们采用可微分NAS方法来优化卷积神经网络(CNN)的结构,以最大限度地提高分类准确性,同时最大限度地减少每个推理的操作次数。仅使用NAS,我们就能够在Google语音命令数据集上获得95.4%准确率的高效模型,内存使用量为494.8 kB,操作量为1960万次。此外,权重量化用于进一步减少存储器消耗。我们表明,可以使用低位宽(例如1位)的权重量化,而不会有很大的准确性损失。通过将输入特征的数量从10 MFCC增加到20 MFCC,我们能够在340.1 kB的内存使用和2710万次操作的情况下将准确率提高到96.3%。
2020-12-18 cs.LG eess.AS
A Systematic DNN Weight Pruning Framework using Alternating Direction Method of Multipliers
Syracuse University(雪城大学);Florida International University(佛罗里达国际大学);Northeastern University(东北大学)
深度神经网络(DNN)的权值修剪方法近年来得到了研究,但该领域的现有工作主要是启发式的迭代修剪,因此缺乏对权值降低率和收敛时间的保证。为了减轻这些限制,我们提出了一个系统的权重修剪框架DNN使用交替方向乘法器(ADMM)。我们首先将DNN的权重修剪问题表示为具有指定稀疏性要求的组合约束的非凸优化问题,然后采用ADMM框架进行系统权重修剪。利用ADMM,将原非凸优化问题分解为两个子问题,并迭代求解。其中一个子问题可以用随机梯度下降求解,另一个子问题可以用解析法求解。此外,我们的方法实现了快速的收敛速度。权重修剪的结果是非常有希望的,并始终优于先前的工作。在MNIST数据集的LeNet-5模型上,我们实现了71.2倍的权重降低而没有精度损失。在ImageNet数据集的AlexNet模型上,我们实现了21倍的权重减少,而没有准确性损失。当我们专注于卷积层修剪以减少计算量时,与之前的工作相比,我们可以将总计算量减少五倍(实现卷积层的总重量减少13.4倍)。我们的模型和代码发布在https://github.com/KaiqiZhang/admm-pruning
2018-07-25 cs.CV cs.LG cs.NE
ArchRepair: Block-Level Architecture-Oriented Repairing for Deep Neural Networks
Kyushu University(九州大学);University of Alberta(阿尔伯塔大学);Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究院)
在过去的几年中,深度神经网络(DNN)取得了巨大的成功,并在许多应用领域中不断得到应用。然而,在工业任务的实际部署过程中,DNN被发现由于各种原因而容易出错,例如过拟合,在实际使用过程中对现实世界的破坏缺乏鲁棒性。为了解决这些挑战,最近已经进行了许多尝试,通过更新权重(即,网络参数),通过在神经水平上的再训练、微调或直接权重固定。在这项工作中,作为第一次尝试,我们开始通过在更高(即,块)水平。我们首先进行了实证研究,以调查整个网络级和层级修复的局限性,这促使我们探索一个新的修复方向DNN修复在块级。为此,我们首先提出了用于脆弱块定位的对抗感知频谱分析,该分析在向前和向后过程中考虑块中神经元的状态和权重的梯度,这使得即使在几个示例下也能够更准确地进行候选块定位以进行修复。然后,我们进一步提出了面向架构的基于搜索的修复,放松目标块到一个连续的修复搜索空间在更高的深特征水平。通过联合优化该空间中的架构和权重,我们可以识别出更好的块架构。我们实现我们提出的修复技术作为一个工具,名为ArchRepair,并进行了广泛的实验,以验证所提出的方法。结果表明,我们的方法不仅可以修复,而且还提高了准确性和鲁棒性,优于最先进的DNN修复技术。
2021-12-11 cs.AI cs.CV cs.LG
Universal Deep Neural Network Compression
SoC R&D, Samsung Semiconductor Inc.(三星半导体公司系统芯片研发部)
在本文中,我们研究了通过权重量化和无损信源编码对深度神经网络(DNN)进行有损压缩以实现内存高效部署。鉴于先前的工作解决了DNN权重的非通用标量量化和熵编码,我们首次通过通用矢量量化和通用信源编码引入通用DNN压缩。特别是,我们研究了DNN的通用随机格量化,它在格量化之前通过均匀随机抖动来随机化DNN权重,并且可以在任何源上执行接近最佳的操作,而无需依赖于其概率分布的知识。此外,我们提出了一种微调矢量量化DNN的方法,以恢复量化后的性能损失。我们的实验结果表明,所提出的通用DNN压缩方案分别以$47.1$和$42.5$的压缩比压缩32层ResNet(在CIFAR-10上训练)和AlexNet(在ImageNet上训练)。
2019-02-21 cs.CV cs.LG cs.NE
Learning Informative Attention Weights for Person Re-Identification
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学);Microsoft Research(微软研究院)
本文提出RIB方法,通过信息瓶颈原理优化注意力权重,提升人物重识别的准确性。
2025-12-23 cs.CV cs.LG
An Ultra-Efficient Memristor-Based DNN Framework with Structured Weight Pruning and Quantization Using ADMM
Northeastern University(东北大学);Syracuse University(雪城大学);Shanghai JiaoTong University(上海交通大学)
大型深度神经网络(DNN)模型的高计算和存储器存储对传统的Von-Neumann架构提出了强烈的挑战,导致存储层次结构中的大量数据移动。忆阻器交叉开关阵列已经成为一种有前途的解决方案,可以减轻挑战并实现DNN的低功耗加速。基于忆阻器的权重修剪和权重量化已经分别进行了研究,并证明了与原始DNN模型相比在减少面积和功耗方面的有效性。然而,还没有系统的研究忆阻器为基础的类脑计算(NC)系统,同时考虑权重修剪和权重量化。在本文中,我们提出了一个统一的和系统的忆阻器为基础的框架,同时考虑结构化的权重修剪和权重量化,将交替方向乘法器(ADMM)到DNN的训练。我们考虑硬件约束,如交叉开关块修剪,电导范围,和权重值和实际设备之间的不匹配,以实现高精度,低功耗和小面积的足迹。我们的框架主要由三个步骤组成,即,基于忆阻器的ADMM正则化优化、掩码映射和再训练。实验结果表明,与原始DNN模型相比,我们提出的框架实现了29.81 X(20.88 X)的权重压缩比,在VGG-16(ResNet-18)网络上的功耗和面积分别减少了98.38%(96.96%)和98.29%(97.47%),准确率仅损失了0.5%(0.76%)。我们在链接http://bit.ly/2Jp5LHJ上分享我们的模型。
2019-08-29 cs.AR cs.ET cs.LG
Explicit Regularization via Regularizer Mirror Descent
Massachusetts Institute of Technology(麻省理工学院);California Institute of Technology(加州理工学院)
尽管对训练数据进行了完美的插值,但深度神经网络(DNN)通常可以很好地泛化,部分原因是学习算法引起的“隐式正则化”。尽管如此,各种形式的正则化,例如“显式正则化”(通过权重衰减),通常用于避免过拟合,特别是当数据损坏时。显式正则化有几个挑战,最明显的是不清楚的收敛性。受随机镜像下降(SMD)算法收敛特性的启发,我们提出了一种用正则化训练DNN的新方法,称为正则化镜像下降(RMD)。在高度过参数化的DNN中,SMD同时内插训练数据并最小化权重的某个潜在函数。RMD以标准成本开始,该标准成本是训练损失和权重的凸正则化器的总和。将此成本重新解释为“增强”过参数化网络的潜力,并应用SMD产生RMD。因此,RMD继承了SMD的性质,并可证明收敛到一个点“接近”这个成本的最小值。RMD在计算上与随机梯度下降(SGD)和权重衰减相当,并且可以以相同的方式并行化。我们在不同腐败程度的训练集上的实验结果表明,RMD的泛化性能非常鲁棒,明显优于SGD和权重衰减,这隐含和显式地正则化了权重的$\ell_2$范数。RMD还可以用于将权重正则化为期望的权重向量,这与持续学习特别相关。
2022-02-22 cs.LG math.OC stat.ML
ZeBRA: Precisely Destroying Neural Networks with Zero-Data Based Repeated Bit Flip Attack
Hongik University(弘益大学)
在本文中,我们提出了基于零数据的重复位翻转攻击(ZeBRA),通过合成自己的攻击数据集来精确破坏深度神经网络(DNN)。许多对抗性权重攻击的现有工作不仅需要权重参数,而且需要训练或测试数据集来搜索要攻击的脆弱比特。我们建议通过利用受害者DNN模型中的批量归一化层的统计数据来合成攻击数据集,即提取的目标数据。配备了提取的目标数据,我们的ZeBRA算法可以搜索模型中的脆弱位,而无需访问训练或测试数据集。因此,我们的方法使得对抗性权重攻击对DNN的安全性更加致命。我们的实验结果表明,与以前的攻击方法相比,平均需要2.0倍(CIFAR-10)和1.6倍(ImageNet)的位翻转次数来破坏DNN。我们的代码可以在https://github上找到。com/pdh930105/ZeBRA。
2021-11-18 cs.CR cs.LG
CREW: Computation Reuse and Efficient Weight Storage for Hardware-accelerated MLPs and RNNs
深度神经网络(DNN)在认知应用方面取得了巨大的成功。DNN中的核心操作是量化输入和权重之间的点积。先前的工作利用由于量化而产生的权重/输入重复来避免卷积神经网络(CNN)中的冗余计算。然而,在本文中,我们表明,当应用于最先进的DNN中常用的全连接(FC)层时,它们的有效性受到严重限制,就像现代递归神经网络(RNN)和Transformer模型一样。为了提高FC计算的能量效率,我们提出了CREW,一个硬件加速器,实现计算重用和有效的权重存储机制,以利用FC层中大量的重复权重。CREW首先将唯一权重乘以其各自的输入,并将结果存储在片内缓冲器中。存储要求是适度的,因为与卷积层相比,唯一权重的数量很少,输入的大小相对较小。接下来,CREW通过获取和添加所需的产品来计算每个输出。为此,每个权重都由唯一产品缓冲区中的索引离线替换。索引通常小于量化权重,因为每个输入的唯一权重的数量往往远低于量化权重的范围,这降低了存储和内存带宽要求。总的来说,CREW大大减少了乘法的数量,并在模型内存占用和内存带宽使用方面提供了显著的节省。我们在一组不同的现代DNN上评估CREW。平均而言,CREW提供了2.61倍的加速比和2.42倍的节能比。与最先进的计算重用技术UCNN相比,CREW平均实现了2.10倍的加速和2.08倍的节能。
2022-03-11 cs.AR cs.LG
Recurrence of Optimum for Training Weight and Activation Quantized Networks
University of California, Irvine(加州大学欧文分校);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
深度神经网络(DNN)被量化以在资源受限的平台上进行高效推理。然而,训练具有低精度权重和激活的深度学习模型涉及要求苛刻的优化任务,这需要最小化受离散集约束的逐阶段损失函数。虽然已经提出了许多训练方法,但现有的DNN全量化研究大多是经验性的。从理论的角度来看,我们研究的实用技术,克服网络量化的组合性质。具体来说,我们调查了一个简单而强大的投影类梯度算法量化两个线性层网络,它的收益是通过反复移动一步浮动权重的启发式\emph{fake}梯度的损失函数(所谓的粗梯度)在量化的权重评估的否定。首次证明了在较弱的条件下,量化权值序列递归地到达训练全量化网络的离散最小化问题的全局最优解。我们还展示了训练量化深度网络中权重演化的递归现象的数值证据。
2021-05-21 cs.LG
Denoising Noisy Neural Networks: A Bayesian Approach with Compensation
Imperial College London(帝国理工学院);The Chinese University of Hong Kong(香港中文大学)
针对噪声环境下产生的含噪神经网络权重重建问题,本文提出一种带补偿的贝叶斯去噪方法,在理论和多类实验中均证明其性能显著优于传统最大似然估计。
2022-05-19 cs.CV cs.DC cs.IT
Projection Based Weight Normalization for Deep Neural Networks
Beihang University(北京航空航天大学);UC Berkeley(加州大学伯克利分校)
优化深度神经网络(DNN)经常会遇到病态问题。我们观察到整流非线性网络中基于缩放的权重空间对称性会导致这种负面影响。因此,我们建议将每个神经元的传入权重约束为单位范数,这是一个斜流形上的优化问题。一个简单而有效的方法,称为基于投影的权重归一化(PBWN)也被开发来解决这个问题。PBWN执行标准梯度更新,然后将更新后的权重投影回Oblique流形。该方法具有正则化的特性,并与常用的批量归一化技术相结合。我们在几个广泛使用的图像数据集上进行了全面的实验,包括CIFAR-10,CIFAR-100,SVHN和ImageNet,用于在最先进的卷积神经网络(如Inception,VGG和残差网络)上进行监督学习。结果表明,我们的方法能够提高不同架构的DNN的性能一致。我们还将我们的方法应用到梯形网络中,在排列不变的MNIST数据集上进行半监督学习,我们的方法优于最先进的方法:我们分别在20,50和100个标记样本的情况下获得了2.52%,1.06%和0.91%的测试误差。
2017-10-06 cs.AI cs.CV cs.LG
Differentiable Learning of Generalized Structured Matrices for Efficient Deep Neural Networks
University of Michigan(密歇根大学)
针对高效DNN权重矩阵结构难确定、现有结构化矩阵多为手工设计的问题,提出通用可微框架,通过近端梯度下降学习广义结构化矩阵参数,在图像和语言任务上实现更优的复杂度与性能平衡。
2024-03-08 cs.AI cs.CV cs.LG
Random Projection in Deep Neural Networks
AGH University of Science and Technology in Kraków(克拉科夫AGH科技大学)
这项工作研究了深度学习方法如何从随机投影(RP)中受益,这是一种经典的线性降维方法。正如我们所发现的,我们专注于两个领域,在这两个领域中,采用RP技术可以改进深度模型:在高维数据上训练神经网络和初始化网络参数。在没有可利用结构的稀疏高维数据上训练深度神经网络(DNN)意味着网络架构的输入层具有大量权重,这通常使训练不可行。我们表明,这个问题可以解决,通过预先与输入层的权重与RP矩阵初始化的网络。我们提出了几个修改的网络架构和训练制度,使其能够有效地训练DNN与学习RP层的数据与多达数千万的输入功能和训练样本。与最先进的方法相比,具有RP层的神经网络在几个极高维的真实世界数据集上实现了具有竞争力的性能或改善了结果。RP技术的应用有利于训练深度模型的第二个领域是权重初始化。将DNN中的初始权重设置为各种RP矩阵的元素,使我们能够训练剩余的深度网络以达到更高的性能水平。
2018-12-22 cs.LG stat.ML
A Meta Approach to Defend Noisy Labels by the Manifold Regularizer PSDR
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯)
噪声标签在现实世界的数据集中无处不在,这对鲁棒训练深度神经网络(DNN)提出了挑战,因为DNN很容易过拟合噪声标签。最近的努力已经致力于通过从训练集中丢弃噪声样本或向训练样本分配权重来保护噪声标签,其中与噪声样本相关联的权重预计是小的。因此,这些先前的努力导致样本的浪费,特别是那些分配有小权重的样本。输入$x$总是有用的,无论其观察到的标签$y$是否干净。为了充分利用所有样本,我们引入了一个流形正则化器,称为配对Softmax发散正则化(PSDR),以惩罚类似输入的softmax输出之间的Kullback-Leibler(KL)发散。特别地,可以通过数据增强有效地生成类似的输入。PSDR可以在任何类型的DNN上轻松实现,以提高对噪声标签的鲁棒性。正如在基准数据集上的经验证明的那样,我们的PSDR显著提高了最先进的结果。
2019-06-13 cs.LG stat.ML
Adversarial Machine Learning for Social Good: Reframing the Adversary as an Ally
Hamad Bin Khalifa University(哈马德·本·哈利法大学);Information Technology University(信息技术大学);Qatar University(卡塔尔大学);University of Technology Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学)
本文首次全面综述新兴的面向社会公益的对抗机器学习(AdvML4G)领域,梳理其分类体系、与传统对抗机器学习的异同、兴起动因及相关研究,并提出待解决的挑战与研究问题,呼吁多方协作推动亲社会AI应用发展。
2023-10-05 cs.CY cs.LG
SparseTrain:Leveraging Dynamic Sparsity in Training DNNs on General-Purpose SIMD Processors
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Intel(英特尔)
我们的社区极大地提高了深度学习应用程序的效率,包括利用输入的稀疏性。不过,大部分工作都是用于推理,其中权重稀疏性是静态已知的,和/或用于专用硬件。我们提出了一个在训练过程中利用动态稀疏性的方案。特别是,我们利用ReLU激活函数引入的零来实现特征映射及其梯度。这是具有挑战性的,因为稀疏度是中等的,并且零点的位置随时间而变化。我们也完全依赖软件。我们确定在一个密集的数据表示零,而不转换的数据,并执行传统的矢量化计算。该方案的变体适用于训练的所有主要组成部分:前向传播、输入的后向传播和权重的后向传播。我们的方法在几个流行的深度神经网络上显着优于高度优化的密集直接卷积。在现实稀疏度下,我们在英特尔Skylake-X CPU上将VGG 16、ResNet-34、ResNet-50和Fixup ResNet-50中的非初始卷积层训练速度分别提高了2.19倍、1.37倍、1.31倍和1.51倍。
2019-11-22 cs.DC cs.LG stat.ML
Block-term Tensor Neural Networks
University of Electronic Science and Technology of China(电子科技大学);University of Technology Sydney(悉尼科技大学);Ping An Life Insurance Company of China, Ltd.(中国平安人寿保险股份有限公司);University of Utah(犹他大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
深度神经网络(DNN)已经在广泛的应用中实现了出色的性能,例如,图像分类、自然语言处理等。尽管DNN具有良好的性能,但DNN中的大量参数给DNN的有效训练以及它们在具有有限计算资源的低端设备中的部署带来了挑战。本文研究了权矩阵的相关性,并用低秩块项张量逼近权矩阵。我们将新的相应结构命名为块项张量层(BT层),它可以很容易地适应神经网络模型,如CNN和RNN。特别地,BT层中的输入和输出被重塑为具有类似或改进的表示能力的低维高阶张量。足够的实验已经证明,CNN和RNN中的BT层可以在参数数量上实现非常大的压缩比,同时保持或提高原始DNN的表示能力。
2020-12-18 cs.LG cs.NE
Pruning Deep Neural Networks via a Combination of the Marchenko-Pastur Distribution and Regularization
Pennsylvania State University(宾夕法尼亚州立大学);California Institute of Technology(加州理工学院)
提出基于随机矩阵理论(RMT)的剪枝方法,通过稀疏化权重和奇异向量将ViT模型参数减少30-50%且准确率损失不到1%,并提供了相关数学定理证明与正则化见解。
2025-03-05 cs.LG
TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training
University of Tehran(德黑兰大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM));University of Louisiana at Lafayette(路易斯安那大学拉法叶分校);School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran(德黑兰大学电气与计算机工程学院);School of Computer Sciences, Institute for Research in Fundamental Sciences (IPM), Tehran, Iran(基础科学研究所(IPM)计算机科学学院);School of Computing and Informatics, University of Louisiana at Lafayette, Lafayette, LA, USA(路易斯安那大学拉法叶分校计算与信息学院)
新兴的智能嵌入式设备依赖于深度神经网络(DNN),以便能够与现实世界的环境进行交互。这种相互作用伴随着重新训练DNN的能力,因为环境条件会随着时间不断变化。随机梯度下降(SGD)是一种广泛使用的算法,通过迭代地优化训练数据上的参数来训练DNN。在这项工作中,首先,我们提出了一种新的方法,通过将SGD算法拆分为简单的计算元素,将训练能力添加到基线DNN加速器(仅推理)。然后,基于这种启发式方法,我们提出了TaxoNN,一种用于DNN训练的轻量级加速器。TaxoNN可以通过使用时间复用方法和低位宽单元重用推理过程中使用的硬件资源来轻松调整DNN权重。我们的实验结果表明,与全精度实现相比,TaxoNN的误分类率平均高出0.97%。此外,与最先进的DNN训练加速器相比,TaxoNN提供2.1 $\times$省电和1.65 $\times$面积减少。
2020-10-11 cs.AR cs.LG cs.NE