MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification
School of Electrical and Computer Engineering, University of Tehran(德黑兰大学电气与计算机工程学院);Division of Intelligent Future Technologies, Malardalen University(马拉达伦大学智能未来技术系)
递归神经网络(RNN)广泛用于在诸如EEG分类的应用中学习序列。由于复杂的RNN的计算和内存密集型处理模式,它们很难部署在可穿戴设备上。一般来说,精度的降低会带来更高的效率,二值化RNN被引入作为节能解决方案。然而,朴素的二值化方法导致EEG分类的准确性显著损失。在本文中,我们提出了一种多级二值化的LSTM,它大大减少了计算,同时确保了非常接近全精度LSTM的精度。我们的方法减少了3位LSTM单元操作47* 的延迟,精度损失小于0.01%。
2020-04-19 cs.LG cs.NE eess.SP
A Channel-Pruned and Weight-Binarized Convolutional Neural Network for Keyword Spotting
UC Irvine(加州大学欧文分校);UC San Diego(加州大学圣地亚哥分校)
我们研究了结合权重二值化(1位权重精度)的通道数减少,以修剪用于关键字定位(分类)任务的卷积神经网络。我们采用了基于组Lasso惩罚的组分裂方法,以实现超过50%的信道稀疏性,同时保持网络性能在0.25%的准确性损失。我们展示了一个有效的三阶段过程来平衡网络训练的准确性和稀疏性。
2019-09-12 cs.LG stat.ML
Binarized Convolutional Neural Networks for Efficient Inference on GPUs
Tampere University of Technology(坦佩雷理工大学)
卷积神经网络最近在各种图像分类任务中取得了重大突破。然而,它们在计算上是昂贵的,这使得它们在嵌入式和低功耗设备上的可行实现变得困难。在本文中,卷积神经网络二值化实现基于GPU的平台上的实时推理资源受限的设备。在二进制化网络中,层之间的所有权重和中间计算都被量化为+1和-1,允许乘法和加法被32位字之间的逐位操作取代。这种表示完全消除了对浮点乘法和加法的需要,与浮点实现的全精度网络相比,减少了计算负载和内存占用,使其非常适合资源受限的环境。我们比较我们的实现与一个桌面和两个嵌入式GPU平台上的等效浮点实现的性能。我们的实现达到了最高速度7. 4倍,与参考实现相比,准确度仅损失4.4%。
2018-08-01 cs.LG stat.ML
Binarized Knowledge Graph Embeddings
Osaka University(大阪大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
张量分解已经成为知识图谱补全(KGC)的一种越来越流行的方法,该方法是自动预测知识图谱中缺失的事实的任务。然而,即使使用像CANDECOMP/PARAFAC(CP)张量分解这样的简单模型,现有知识图谱上的KGC在资源有限的环境中也是不切实际的,因为需要大量的存储器来存储表示为32位或64位浮点数的参数。随着现有知识图谱的规模不断扩大,这一限制预计将变得更加严格。为了减少内存需求,我们提出了一种方法,通过引入一个量化函数的优化问题的CP张量分解的参数进行二值化。该方法在训练后将浮点值参数替换为二进制参数,从而在运行时间大大减小了模型的大小。我们研究了几个KGC基准数据集的张量分解模型的质量和大小之间的权衡。在我们的实验中,所提出的方法成功地减少了模型的大小超过一个数量级,同时保持任务的性能。此外,可以利用逐位操作开发快速分数计算技术。
2019-02-08 cs.IR cs.LG stat.ML
BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);Department of Automation, Tsinghua University(清华大学自动化系)
本文提出BWTA量化方案,通过算法-硬件协同设计实现低比特精度下的高效准确推理,实验显示在BERT和LLM上均达到全精度性能,同时显著提升推理效率。
2026-04-05 cs.CL cs.LG
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers
The Chinese University of Hong Kong(香港中文大学);Microsoft AI and Research(微软人工智能研究院)
循环神经网络语言模型(RNNLM)的高内存消耗和计算成本限制了其在资源受限设备上的广泛应用。近年来,能够产生极低比特压缩的神经网络量化技术(例如,二值化RNNLM)正获得越来越多的研究兴趣。直接训练量化的神经网络是困难的。通过将量化RNNLM训练问题转化为一个优化问题,提出了一种利用交替方向乘法器(ADMM)从头开始训练量化RNNLM的新方法.该方法还可以灵活地调整压缩率和模型性能之间的权衡使用绑低比特量化表。两个任务的实验:Penn Treebank(PTB)和Switchboard(SWBD)建议,所提出的ADMM量化实现了全精度基线RNNLM上高达31倍的模型大小压缩因子。模型训练的收敛速度比基线二值化RNNLM量化快5倍。索引术语:语言模型,递归神经网络,量化,交替方向乘法器方法。
2021-11-29 cs.LG
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1
Université de Montréal(蒙特利尔大学);Technion - Israel Institute of Technology(以色列理工学院);Columbia University(哥伦比亚大学)
介绍了一种训练二值化神经网络(BNN)的方法--在运行时具有二值权值和激活的神经网络。在训练时,二进制权重和激活用于计算参数梯度。在前向过程中,BNN大大减少了内存大小和访问,并将大多数算术运算替换为逐位运算,预计这将大大提高功率效率。为了验证BNN的有效性,我们在Torch 7和Theano框架上进行了两组实验。在这两个数据集上,BNN在MNIST、CIFAR-10和SVHN数据集上都取得了接近最先进的结果。最后但并非最不重要的是,我们编写了一个二进制矩阵乘法GPU内核,使用它可以运行我们的MNIST BNN比使用未优化的GPU内核快7倍,而不会损失任何分类精度。用于训练和运行我们的BNN的代码可以在线获得。
2016-03-17 cs.LG
BDD4BNN: A BDD-based Quantitative Analysis Framework for Binarized Neural Networks
ShanghaiTech University(上海科技大学);University of Surrey(萨里大学)
解释和解释神经网络的行为变得越来越重要,特别是当它们被部署在安全关键型应用中时。本文研究了二值化神经网络(BNN)的验证问题,BNN是一般实数神经网络的1位量化。我们的方法是将BNN编码成二元决策图(BDD),这是通过利用BNN的内部结构来完成的。特别地,我们将BNN中块的输入输出关系转换为基数约束,然后由BDD编码。基于编码,我们开发了一个BNN的定量验证框架,可以对BNN进行精确和全面的分析。我们展示了我们的框架的应用,提供定量的鲁棒性分析和BNN的可解释性。我们实现了一个原型工具BDD4BNN,并进行了广泛的实验,证实了我们的方法的有效性和效率。
2021-03-12 cs.AI cs.LG cs.LO
Incremental Binarization On Recurrent Neural Networks For Single-Channel Source Separation
Indiana University(印第安纳大学)
提出了一种用于单通道信号源分离的位选通递归单元(BGRU)网络。递归神经网络(RNN)需要在其单元内设置多组权重,与全连接网络相比,这显著增加了计算成本。为了减轻这种增加的计算,我们专注于GRU单元,并使用二进制值和按位操作来简化前馈过程。BGRU网络分为两个阶段进行训练。实值权重被预先训练并转移到按位网络,然后被增量二进制化,以最大限度地减少突然引入量化可能造成的潜在损失。由于所提出的二进制化技术仅将一些随机选择的参数转换为它们的二进制版本,因此它使网络训练过程有机会轻轻地适应网络的部分量化版本。它最终通过在迭代过程中逐步增加二值化的量来实现完全二值化。我们的实验表明,所提出的BGRU方法产生的源分离结果大于实值全连接网络,具有11-12 dB的平均信号失真比(SDR)。完全二进制化的BGRU仍然比逐位神经网络(BNN)好1-2 dB,即使层数较少。
2019-08-23 cs.LG cs.SD eess.AS
Towards Fast and Energy-Efficient Binarized Neural Network Inference on FPGA
Iluvatar CoreX(天数智芯);University of California San Diego(加州大学圣地亚哥分校)
二值化神经网络(Binarized Neural Network,BNN)通过使用单个比特(-1/+1)作为网络参数和中间表示,消除了传统CNN中的位宽冗余,大大降低了片外数据传输和存储开销。然而,BNN推理仍然存在大量的计算冗余。通过分析图像的局部属性和学习的BNN内核权重,我们观察到平均$\sim$ 78%的输入相似性和$\sim$ 59%的权重内核之间的权重相似性,我们提出的度量在常见的网络架构。因此,确实存在冗余,可以利用这些冗余来进一步减少片上计算量。受观察的启发,在本文中,我们提出了两种类型的快速和节能的BNN推理架构。我们还提供了分析和见解,以便为不同的数据集和网络模型选择更好的策略。通过重用先前计算的结果,可以跳过用于数据缓冲器访问和计算的许多周期。通过实验,我们证明了80%的计算和40%的缓冲区访问可以跳过利用BNN相似性。因此,我们的设计可以实现减少17%的总功耗,减少54%的片上功耗和2.4 $\times$的最大加速比,与基线相比,没有应用我们的重用技术。我们的设计还显示了1.9 $\times$更多的面积效率相比,国家的最先进的BNN推理设计。我们相信,我们在FPGA上部署BNN将为在移动设备上运行深度学习模型带来光明的未来。
2018-10-04 cs.AI cs.AR cs.CV
Attacking Binarized Neural Networks
University of Guelph(圭尔夫大学);Canadian Institute for Advanced Research(加拿大高级研究所);Vector Institute for Artificial Intelligence(向量人工智能研究所)
具有低精度权重和激活的神经网络与其全精度等效物相比具有令人信服的效率优势。量化的两个最常讨论的好处是减少内存消耗,以及在使用有效的逐位操作实现时更快的前向传递。我们提出了极低精度神经网络的第三个好处:提高了对某些对抗攻击的鲁棒性,在最坏的情况下,性能与全精度模型相当。我们专注于非常低精度的情况下,权重和激活都被量化为$\pm$ 1,并注意到,随机量化权重在一个层可以大大减少迭代攻击的影响。我们观察到,未缩放的二进制神经网络表现出类似的效果,原来的防御蒸馏过程,导致梯度掩蔽,和一个错误的安全概念。我们通过使用不人为掩盖梯度的二进制模型进行黑盒和白盒实验来解决这个问题。
2018-01-31 cs.LG stat.ML
Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference
Florida Polytechnic University(佛罗里达理工大学);University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Rhode Island(罗德岛大学)
在过去的几年里,大规模数据集的易访问性显著改变了开发由神经网络(NN)驱动的高精度预测模型的范式。这些模型可能会受到辐射引起的瞬态故障的影响,这可能会导致长期运行的预期NN推理加速器逐渐降级。我们对NN推理加速器进行严格的脆弱性评估的关键观察结果表明,权重和激活函数对单事件翻转(SEU)和多位翻转(MBU)的敏感性不均匀,特别是在我们选择的卷积神经网络的前五层中。在本文中,我们提出了相对准确的统计模型,以描绘所进行的SEU和MBU跨层和每一层的选定NN的影响。这些模型可用于评估错误的弹性大小的NN拓扑结构,然后才采用它们在安全关键的应用。
2020-04-21 cs.CR cs.LG stat.ML
Meta-Aggregator: Learning to Aggregate for 1-bit Graph Neural Networks
The University of Sydney(悉尼大学);Stevens Institute of Technology(斯蒂文斯理工学院);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);JD Explore Academy(京东探索学院)
在本文中,我们研究了一种新的Meta聚集方案,二值化图神经网络(GNNs)。我们首先开发一个普通的1位GNN框架,将GNN参数和图形特征二进制化。尽管轻量级架构,我们观察到,这个香草框架在区分图拓扑方面的区分能力不足,导致性能急剧下降。这一发现促使我们设计Meta聚合器来提高香草二进制GNN的表达能力,其中聚合方案可以基于二进制特征以可学习的方式自适应地改变。为此,我们提出了两种专用形式的Meta邻域聚合器,一个专用的Meta聚合器称为贪婪Gumbel邻域聚合器(GNA),和一个扩散的Meta聚合器称为自适应混合邻域聚合器(ANA)。GNA学习从候选池中专门挑选一个最佳聚合器,而ANA学习混合聚合行为,以同时保留多个聚合器的优点。此外,所提出的Meta聚合器可以很容易地用作现有全精度GNN的通用插件模块。在不同领域的实验表明,所提出的方法产生的结果优于最先进的。
2021-09-27 cs.CV cs.LG
A Computing Kernel for Network Binarization on PyTorch
University of Electronic Science and Technology of China(电子科技大学);Ecole de Technologie Supérieure(高等技术学院)
深度神经网络目前已经在图像分类、目标检测等广泛的任务中取得了最先进的成果。然而,它们既消耗计算量又占用内存,使得它们难以部署在低功耗设备上。网络二值化是现有模型压缩和加速的有效技术之一,但PyTorch上还没有支持它的计算内核。在本文中,我们在PyTorch上开发了一个支持1位xnor和bitcount计算的计算内核。实验结果表明,与对照组相比,我们的内核可以使二值化神经网络的推理速度在GPU上提高3倍,在CPU上提高4.5倍。
2019-11-11 cs.LG cs.NE
Scaling Binarized Neural Networks on Reconfigurable Logic
Xilinx Research Labs(赛灵思研究实验室);Norwegian University of Science and Technology(挪威科技大学);University of Sydney(悉尼大学)
二进制神经网络(BNN)由于其显著降低的计算和内存成本而在深度学习社区中引起了兴趣。它们特别适合于可重新配置的逻辑器件,这些器件包含大量细粒度的计算资源,可以实现更小、更低的功耗,或者相反地实现更高的分类率。为此,芬兰人的框架,最近提出了建立快速和灵活的现场可编程门阵列(FPGA)的BNN加速器。Finn使用了一组新颖的优化,可以将BNN有效映射到硬件,并实现了完全连接的非填充卷积层和池化层,每层计算资源都是根据用户提供的吞吐量要求定制的。然而,由于所选FPGA的大小,FINN没有在较大的拓扑结构上进行评估,并且由于缺乏填充而显示出降低的准确性。在本文中,我们改进了Finn,展示了如何在BNN上使用填充,同时仍然保持1位数据路径和高精度。基于这种技术,我们展示了大量的实验来说明该方法的灵活性和可扩展性。特别是,我们表明,在ADM-PCIE-8 K5平台上运行的每帧需要12亿次操作的大型BNN可以以12 kFPS的速度对图像进行分类,延迟为671 us,同时功耗小于41 W,并以88.7%的准确率对CIFAR-10图像进行分类。我们对该网络的实施实现了每秒14.8万亿次操作。我们相信这是迄今为止在该基准上报告的最快分类率。
2017-01-27 cs.CV cs.LG
ReSpawn: Energy-Efficient Fault-Tolerance for Spiking Neural Networks considering Unreliable Memories
Technische Universität Wien (TU Wien)(维也纳工业大学);New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
脉冲神经网络(SNN)由于其生物学启发的计算而显示出具有低能量和无监督学习能力的潜力。然而,如果在存储器中存在硬件引起的故障的情况下执行它们的处理,则它们可能遭受精度降低,所述故障可能来自制造缺陷或电压引起的近似误差。由于最近的工作仍然集中在SNN中的故障建模和随机故障注入,SNN硬件架构中的存储器故障对准确性的影响和相应的故障缓解技术没有得到彻底的探讨。为此,我们提出了ReSpawn,这是一种新的框架,用于减轻片外和片上存储器故障对弹性和节能SNN的负面影响。ReSpawn的关键机制是:(1)分析SNN的容错;(2)通过(a)存储器中的故障感知映射(FAM)和(b)故障感知训练和映射(FATM)来提高SNN的容错。如果训练数据集不是完全可用的,则通过有效的位混洗技术来采用FAM,该技术将有效位放置在非故障存储单元上,并将不重要位放置在故障存储单元上,同时最小化存储器访问能量。同时,如果训练数据集是完全可用的,则通过在数据映射和训练过程中考虑故障存储单元来采用FATM。实验结果表明,与没有故障缓解技术的基线SNN相比,具有故障感知映射方案的ReSpawn将具有900个神经元的网络的准确性提高了70%,而无需重新训练。
2021-08-23 cs.AR cs.LG cs.NE
DBNN: Neural Spike Classification Using a Deep Binarized Neural Network
The School of Electronics and Computer Science (ECS), University of Southampton(电子与计算机科学学院(ECS),南安普顿大学)
研究针对可植入脑机接口的神经尖峰分类问题,提出基于深度二值化神经网络(DBNN)的尖峰排序系统,该系统含特定结构层,处理紧凑波形,降低成本,在合成和体内数据集上准确率达98.7%,硬件成本低且无乘法器操作,适用于低功耗可植入神经接口。
2026-07-08 cs.LG eess.SP
Exploring the Trade-Off Between Structured Pruning and Fault Tolerance in Deep Neural Networks for Space Applications
Magics Technologies;KU Leuven(鲁汶大学);Flanders Make
本文实证研究深度神经网络宽度与容错性的权衡,发现结构化剪枝虽增加单次推理故障敏感性,但缩短执行时间可抵消风险,实现节能降延迟且不损可靠性,为空间AI系统设计提供指导。
2026-10-19 cs.LG
A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks
Sun Yat-sen University(中山大学);Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学)
提出SpikeGCL框架,结合脉冲神经网络实现图对比学习的1位二值化表示,在近32倍存储压缩下保持与全精度方法相当的性能,平衡了效率与表现。
2024-02-19 cs.AI cs.LG cs.NE
Input Layer Binarization with Bit-Plane Encoding
Datalogic Labs(得利捷实验室);University of Bologna(博洛尼亚大学)
针对二值神经网络输入层二值化精度损失大、现有扩展通道法运算量高的问题,提出基于位平面编码的输入层二值化方法,实现全二值化模型,在多数据集和架构上精度与运算效率均优于SOTA。
2023-05-04 cs.CV cs.LG
ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization
ReRound是一种后训练量化方法,通过条件扩散模型解决无校准LLM量化的中点歧义,在小型LLM的3、4比特量化上优于标准RTN,性能接近依赖校准方法且无额外推理开销。
2026-08-12 cs.CL cs.LG
BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs
North Carolina State University(北卡罗来纳州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出 BitGNN,面向 GPU 位操作特性重构二元 GNN 推理后端,在保持准确率不变的情况下较现有实现提速 8–22 倍。
2023-06-03 cs.DC cs.LG
MCEL: Margin-Based Cross-Entropy Loss for Error-Tolerant Quantized Neural Networks
MCEL通过提升输出层分类边界分离度,有效提升量化神经网络在位错误下的鲁棒性,提供了一种高效且可扩展的替代方案。
2026-03-05 cs.AR cs.LG
Magnetoresistive RAM for error resilient XNOR-Nets
Spin Memory, Inc.(Spin Memory公司)
我们在各种数据集(MNIST,CIFAR-10,CIFAR-100,扩展SVHN,ImageNet)上使用易错激活训练了三种二进制卷积神经网络架构(LeNet-4,Network-In-Network,AlexNet),并在没有错误的情况下测试了它们,以研究训练过程的弹性。除了在ImageNet数据集上训练AlexNet之外,我们发现训练过程中百分之几的比特出错率不会降低测试精度。此外,通过在ImageNet类的逐渐较小的子集上训练AlexNet,我们观察到对激活错误的容忍度增加。以高BER操作的能力对于降低现有硬件中的功耗和促进新兴存储器技术至关重要。我们讨论如何在中等BER下运行才能使磁阻RAM具有更高的耐久性、速度和密度。
2019-05-24 cs.LG stat.ML
Propagating Asymptotic-Estimated Gradients for Low Bitwidth Quantized Neural Networks
Zhejiang University(浙江大学);China Research and Development Academy of Machinery Equipment(中国机械科学研究总院集团有限公司)
量化神经网络(QNN)可以用于神经网络的加速和压缩,但在训练过程中,它们提出了一个挑战:如何通过图流传播损失函数的梯度,几乎处处导数为0。针对这种不可微的情况,我们提出了一种新的渐近量化估计(AQE)来估计梯度。特别地,在反向传播期间,将输入与输出相关联的图保持平滑性和可微性。在训练结束时,由于AQE的渐近行为,权重和激活已被量化为低精度。同时,我们提出了一个M-bit输入和N-bit权重网络(MINW-Net),该网络由AQE训练,AQE是一个具有1-3位权重和激活的量化神经网络。在推理阶段,我们可以使用XNOR或XNOR操作来代替卷积操作来加速MINW-Net。我们在CIFAR数据集上的实验表明,我们的AQE是定义良好的,与AQE的QNN性能优于直通估计(STE)。例如,在具有1位权重和激活的相同ConvNet的情况下,我们具有AQE的MINW-Net可以实现比具有STE的二进制神经网络(BNN)高1.5%的预测精度。MINW-Net是由AQE从头开始训练的,可以在CIFAR测试集上实现与32位对等体相当的分类精度。在ImageNet数据集上的大量实验结果表明,所提出的AQE具有很大的优越性,我们的MINW-Net与其他最先进的QNN取得了相当的结果。
2020-03-04 cs.CV cs.LG
From Arithmetic to Logic: The Resilience of Logic and Lookup-Based Neural Networks Under Parameter Bit-Flips
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Federal University of Rio de Janeiro(里约热内卢联邦大学);Instituto de Telecomunicações, Porto, Portugal(葡萄牙波尔图电信研究所);Google LLC(谷歌公司)
研究探讨了神经网络在硬件位翻转误差下的韧性,发现低精度、高稀疏性、受限激活和浅层深度等特性在理论模型下更优,逻辑和查找型网络实现了这些设计趋势的联合极限,实验验证了其在故障容忍中的稳定性。
2026-07-07 cs.AI cs.LG
Towards a Safety Case for Hardware Fault Tolerance in Convolutional Neural Networks Using Activation Range Supervision
Intel(英特尔);University of British Columbia(不列颠哥伦比亚大学)
卷积神经网络(CNN)已成为众多安全关键型计算机视觉应用的一部分,包括人机交互和自动驾驶。现实世界的实现将需要保证其鲁棒性,以防止硬件软错误破坏底层平台内存。基于先前观察到的激活裁剪技术的有效性,我们通过证明范围监督代表了一个高度可靠的故障检测器和缓解器,采用八指数浮点数据表示,为分类器CNN构建了一个原型安全案例。我们进一步探索新的,非均匀的范围限制方法,有效地抑制沉默的数据损坏和不可纠正的错误的概率。作为一个安全相关的端到端用例,我们展示了我们的方法在车辆分类场景中的优势,使用ResNet-50和交通摄像机数据集MIOVision。在这项工作中提供的定量证据可以用来激发进一步的和可能更复杂的CNN安全参数。
2021-08-16 cs.LG
Hardware Efficient Approximate Convolution with Tunable Error Tolerance for CNNs
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
本文提出一种硬件高效的近似卷积方法,通过使用MSB代理实现软稀疏性,减少ReLU和Tanh运算量,同时保持精度,提升边缘部署效率。
2026-04-09 cs.AI cs.AR cs.LG
Quantized Neural Network Inference with Precision Batching
我们提出了PrecisionBatching,一种量化的推理算法,用于在传统的硬件平台上以低位宽加速神经网络的执行,而不需要重新训练或重新校准。PrecisionBatching将一个神经网络分解为单个的位层,并使用快速的1位操作来累积它们,同时保持激活的完全精度。PrecisionBatching不仅有助于在低位宽(< 8位)下进行量化推理而无需重新训练/重新校准,而且1)使传统硬件平台能够以更精细的量化粒度(例如:1-16位执行)实现推理加速,以及2)通过暴露位层的数量以累积为可调参数,允许在运行时进行准确性和加速权衡。在各种应用程序(MNIST、语言建模、自然语言推理)和神经网络架构(全连接、RNN、LSTM)中,PrecisionBatching在GPU上实现了超过8倍的端到端加速,误差小于全精度基线的1%,在相同的误差容限下,比传统的8位量化推理性能高出1.5 - 2倍。
2020-02-26 cs.CV cs.LG cs.PF
SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors
Technische Universität Wien (TU Wien)(维也纳工业大学(TU Wien));New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校(NYUAD))
专门的硬件加速器已被设计和采用,以最大限度地提高脉冲神经网络(SNN)的性能效率。然而,这种加速器易受瞬时故障(即,软错误),其由于高能粒子撞击而发生,并且表现为硬件层处的位翻转。这些错误可能会改变SNN加速器计算引擎中的权重值和神经元操作,从而导致不正确的输出和精度下降。然而,计算引擎中的软错误的影响和相应的缓解技术尚未对SNN进行彻底研究。一个潜在的解决方案是采用冗余执行(重新执行)来确保正确的输出,但它会导致巨大的延迟和能量开销。为此,我们提出了SoftSNN,一种新的方法来减轻SNN加速器的权重寄存器(突触)和神经元中的软错误,而无需重新执行,从而以低延迟和能量开销保持准确性。我们的SoftSNN方法采用了以下关键步骤:(1)分析软错误下的SNN特性,以识别错误的权重和神经元操作,这是识别错误的SNN行为所需的;(2)一个绑定和保护技术,利用这种分析,以提高SNN的容错通过绑定的权重值和保护神经元从错误的操作;以及(3)为神经硬件加速器设计轻量级硬件增强以有效地支持所提出的技术。实验结果表明,对于一个900个神经元的网络,即使故障率很高,我们的SoftSNN保持精度下降低于3%,同时减少延迟和能量分别高达3倍和2.3倍,相比,重新执行技术。
2022-03-12 cs.AR cs.LG cs.NE
FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks
Purdue University(普渡大学)
通过量化和稀疏性增强的模型压缩已经获得了极大的兴趣,以使深度神经网络(DNN)能够在资源受限的边缘环境中部署。尽管这些技术在降低DNN的能量、延迟和内存需求方面显示出了有希望的结果,但它们在非理想现实环境中的性能(例如存在硬件故障的情况下)还有待完全理解。在本文中,我们研究了位翻转和固定故障对激活稀疏量化DNN(QDNN)的影响。我们表明,高水平的激活稀疏性是以较大的故障脆弱性为代价的。例如,激活稀疏QDNN的准确度比标准QDNN低17.32%。我们还确定,准确性下降的主要原因之一是激活稀疏QDNN的损失景观中的最小值更尖锐,这使得它们对故障引起的权重值扰动更敏感。基于这一观察结果,我们提出了缓解故障的影响,采用清晰度感知量化(SAQ)的训练方案。与传统训练的等效模型相比,使用SAQ训练的激活稀疏和标准QDNN的推理准确度分别高出36.71%和24.76%。此外,我们还表明,与传统训练的标准QDNN相比,SAQ训练的激活稀疏QDNN在错误设置中表现出更好的准确性。因此,所提出的技术可以有助于在不损害容错的情况下实现稀疏相关的能量/延迟益处。
2022-12-29 cs.AR cs.LG
Attack on a PUF-based Secure Binary Neural Network
本文针对Rajendran等人提出的基于PUF的BNN安全方案,提出受差分密码分析启发的PUF密钥恢复攻击,可高效恢复大部分密钥与模型参数,证明该方案存在安全漏洞。
2025-10-28 cs.AR cs.CR cs.LG
Fault Injectors for TensorFlow: Evaluation of the Impact of Random Hardware Faults on Deep CNNs
Technische Universität Dresden(德累斯顿工业大学);University of Stuttgart(斯图加特大学);Robert Bosch GmbH(罗伯特·博世有限公司);Bosch (China) Investment Ltd.(博世(中国)投资有限公司)
如今,深度学习(DL)几乎可以增强每个工业部门,包括安全关键领域。下一代安全标准将为基于DL的应用程序定义适当的验证技术,并提出适当的容错机制。基于DL的应用程序与任何其他软件一样,容易受到常见的随机硬件故障(如发生在RAM和CPU寄存器中的位翻转)的影响。此类故障可能导致静默数据损坏。因此,至关重要的是开发方法和工具,以帮助评估如何DL组件下存在这样的故障。在本文中,我们分别针对TensorFlow 1和TensorFlow 2介绍了两个新的故障注入(FI)框架InjectTF和InjectTF 2。这两个框架都可以在GitHub上使用,并允许将随机故障可配置地注入神经网络(NN)。为了证明框架的可行性,我们还提出了使用两个图像集对四个基于VGG的卷积神经网络进行FI实验的结果。结果表明,在特定的数学运算和NN层的输出中的随机位翻转如何影响分类精度。这些结果有助于确定最关键的操作和层,比较功能相似的神经网络的可靠性特征,并引入选择性的容错机制。
2020-12-13 cs.LG
Scalable Methods for 8-bit Training of Neural Networks
Intel - Artificial Intelligence Products Group (AIPG)(英特尔人工智能产品事业部);Technion - Israel Institute of Technology(以色列理工学院)
量化神经网络(QNN)通常用于在推理阶段期间(即,在网络已经被训练之后)提高网络效率。该领域的广泛研究提出了许多不同的量化方案。尽管如此,所需的比特数以及最佳量化方案仍然是未知的。我们的理论分析表明,大多数训练过程对于精度的大幅降低是鲁棒的,并且只指出了一些需要更高精度的特定操作。有了这些知识,我们将模型参数、激活和层梯度转换为8位,只留下计算权重梯度的最后一步。此外,由于QNN需要以高精度进行批量归一化训练,因此我们引入了范围批量归一化(BN),它对量化噪声具有更高的容忍度,并提高了计算复杂性。我们的模拟表明,范围BN是相当于传统的批量规范,如果一个精确的规模调整,这可以近似解析,应用。据作者所知,这项工作是第一个将所有层(包括批量归一化)中的权重,激活以及大量梯度流转换为8位,同时在ImageNet-1 K数据集上显示最先进的结果。
2018-06-17 cs.LG stat.ML
Revisiting 16-bit Neural Network Training: A Practical Approach for Resource-Limited Learning
Stony Brook University(石溪大学);State University of New York, Korea(纽约州立大学,韩国);Virginia Tech(弗吉尼亚理工大学)
本文通过理论分析和实验证明16位精度神经网络在准确率上可与32位匹配并提升计算速度,为资源受限的学习者提供实用指导。
2026-04-17 cs.AI cs.CV cs.LG
ROBIN: A Robust Optical Binary Neural Network Accelerator
Colorado State University(科罗拉多州立大学)
领域特定的神经网络加速器已经引起了人们的关注,因为与CPU和GPU相比,它们提高了能效和推理性能。因此,这种加速器非常适合资源受限的嵌入式系统。然而,在这些加速器上映射复杂的神经网络模型仍然需要大量的能量和内存消耗,以及高推理时间开销。二进制神经网络(BNN),它利用单位的权重,代表了一种有效的方式来实现和部署加速器上的神经网络模型。在本文中,我们提出了一种新的光域BNN加速器,名为ROBIN,智能集成异构微谐振器光学器件的互补能力,有效地实现BNN的关键功能。我们在光学器件层面进行详细的制造工艺变化分析,探索这些器件的有效校正调谐,并进行集成电路级优化以应对热变化。因此,我们提出的ROBIN架构具有理想的特性是强大的,节能,低延迟,高吞吐量,当执行BNN模型。我们的分析表明,ROBIN可以超越最知名的光学BNN加速器和许多电子加速器。具体来说,我们的节能ROBIN设计表现出的每比特能量值比电子BNN加速器低约4倍,比最近提出的光子BNN加速器低约933倍,而性能高效的ROBIN设计分别比电子和光子BNN加速器高约3倍和约25倍。
2021-07-12 cs.AR cs.ET cs.LG
Multi-Objective Linear Ensembles for Robust and Sparse Training of Few-Bit Neural Networks
University of Pavia(帕维亚大学);Singapore Management University(新加坡管理大学);Delft University of Technology(代尔夫特理工大学)
针对少样本下少比特神经网络的训练问题,提出基于类别对训练与多数投票的BeMi多目标集成方法,可同时实现鲁棒性与稀疏化,在MNIST数据集上准确率显著优于现有方法。
2024-09-11 cs.LG math.OC
Neural Network Compression using Binarization and Few Full-Precision Weights
National Research Council of Italy(意大利国家研究委员会);University of Pisa(比萨大学)
本文提出自动剪枝二值化(APB)压缩技术,结合量化与剪枝,利用少量全精度权重提升二值网络表示能力,并设计高效矩阵乘法算法,在CIFAR10和ImageNet上实现更优的准确率与内存及效率权衡。
2023-09-15 cs.CV cs.LG
Robust Quantization: One Model to Rule Them All
Habana Labs – An Intel company(哈巴纳实验室——英特尔旗下公司);Department of Electrical Engineering - Technion(以色列理工学院电气工程系)
神经网络量化方法通常涉及在训练期间模拟量化过程,使得训练的模型高度依赖于目标位宽和执行量化的精确方式。鲁棒量化提供了一种替代方法,其对不同类别的数据类型和量化策略具有改进的容忍度。它开辟了新的令人兴奋的应用,其中量化过程不是静态的,可以根据不同的情况和实现而变化。为了解决这个问题,我们提出了一种方法,提供了内在的鲁棒性的模型对广泛的量化过程。我们的方法是由理论参数的动机,使我们能够存储一个单一的通用模型,能够在各种位宽和量化政策。我们在不同的ImageNet模型上验证了我们的方法的有效性。
2020-10-22 cs.CV cs.LG stat.ML