Efficient Stochastic Inference of Bitwise Deep Neural Networks
Robert Bosch GmbH(罗伯特·博世有限公司);RWTH Aachen University(亚琛工业大学)
最近公布的方法使得能够训练逐位神经网络,其允许将表示减少到每权重单个位。我们提出了一种方法,利用集成决策的基础上,多个随机抽样的网络模型,以提高性能数字的逐位神经网络在推理的分类精度。我们对CIFAR-10和GTSRB数据集的实验表明,这种网络集成的性能超过了高精度基础模型的性能。使用这种技术,我们实现了5.81%的最佳分类错误CIFAR-10测试集使用逐位网络。关于嵌入式系统的推理,我们评估这些按位网络使用硬件高效的随机舍入过程。我们的工作有助于有效的嵌入式逐位神经网络。
2016-11-20 cs.LG cs.NE
Bit-serial Weight Pools: Compression and Arbitrary Precision Execution of Neural Networks on Resource Constrained Processors
University of California, Los Angeles(加州大学洛杉矶分校)
近年来,神经网络在边缘系统上的应用激增,但不断增加的模型大小使得神经网络无法有效地部署在资源受限的微控制器上。我们提出了位串行权重池,一个端到端的框架,包括网络压缩和任意子字节精度的加速。与8位网络相比,该框架可以通过在整个网络中共享权重池来实现高达8倍的压缩。我们进一步提出了一个基于位串行查找的软件实现,允许运行时位宽权衡,并能够实现超过2.8倍的加速比和7.5倍的存储压缩相比,8位权重池网络,精度下降不到1%。
2022-01-25 cs.LG cs.PF
Representation range needs for 16-bit neural network training
Cerebras Systems;University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
深度学习由于其在广泛的现实世界应用中的最先进性能而迅速发展。虽然神经网络已经使用IEEE-754二进制32算法进行了训练,但深度学习中计算需求的快速增长提高了人们对更快、低精度训练的兴趣。结合IEEE-754 binary 16和IEEE-754 binary 32的混合精度训练已经尝试过,其他$16$位格式,例如Google的bfloat 16,已经变得流行。在浮点运算中,随着指数位数的变化,精度和表示范围之间存在折衷;非正规数扩展了表示范围。这就提出了需要多大的指数范围,binary 16(5个指数位)和bfloat 16(8个指数位)之间是否有比它们更好的格式,以及是否需要反规范。在本文中,我们研究了混合精度训练对反规范数的需求,并提出了1/6/9格式,即,6-位指数和9位显式尾数,这提供了更好的范围精度折衷。我们证明了1/6/9混合精度训练能够加快在硬件上的训练,这会导致非正规运算的性能下降,或者完全消除对非正规数的需求。而且,对于计算机视觉和自然语言处理中的许多全连接和卷积神经网络,1/6/9实现了与标准混合精度的数值等价。
2021-04-06 cs.AI cs.LG cs.NA
16-bit Precision of Convolutional Neural Networks on Microcontroller Units for 8-bit Costs
Bielefeld University(比勒费尔德大学)
本文提出W16A16,一种16位高精度量化方法,在Armv7E-M微控制器上以8位成本实现约10倍更低的量化误差,同时保持相似或更优的速度与能耗。
2026-10-05 cs.LG
SWIS -- Shared Weight bIt Sparsity for Efficient Neural Network Acceleration
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
量化是神经网络计算系统性能和效率提高的先锋,正在向商品硬件迈进。我们提出了SWIS -共享权重位稀疏,有效的神经网络推理加速提供了改进的性能和存储压缩,通过离线权重分解和调度算法的量化框架。SWIS可以实现高达54.3%(19.8%)的点精度提高相比,权重截断时量化MobileNet-v2到4(2)位后训练(与再训练)显示利用共享位稀疏的权重的强度。SWIS加速器给出了高达6倍的加速比和1.9倍的能源改善,超过了最先进的位串行架构。
2021-03-03 cs.LG
BitNet: Bit-Regularized Deep Neural Networks
SRI International(SRI国际);University of Guelph(圭尔夫大学)
我们提出了一种新的优化策略来训练神经网络,我们称之为“BitNet”。神经网络的参数通常是无约束的,并且具有分散在所有实值上的动态范围。我们的核心思想是通过动态控制参数的取值范围和取值集合来限制网络的表达能力。我们制定了这个想法,使用一种新的端到端的方法,绕过离散参数空间,通过优化放松连续和可微的上界的典型分类损失函数。该方法可以被解释为受最小描述长度(MDL)原则启发的正则化。对于网络的每一层,我们的方法优化了实值转换和缩放因子以及任意精度的整数值参数(权重)。我们根据经验将BitNet与MNIST和CIFAR-10数据集上的等效非正则化模型进行了比较。我们证明了BitNet可以更快地收敛到高质量的解决方案。此外,由于使用整数值参数,所得到的模型在内存中有显着的节省。
2018-11-16 cs.LG stat.ML
Convolutional Neural Network-aided Bit-flipping for Belief Propagation Decoding of Polar Codes
极化码以其容量实现能力而闻名,已被选为5G通信的控制信道编码方案。为了满足高吞吐量和低延迟的要求,选择置信传播(BP)作为解码算法。然而,在一般情况下,BP的错误性能比增强型连续相消(SC)。最近,临界集比特翻转(CS-BF)被应用于BP解码以降低错误率。然而,它的试错过程导致更长的延迟。在这项工作中,我们提出了一种卷积神经网络辅助比特翻转(CNN-BF)机制,以进一步增强极化码的BP解码。通过精心设计的输入数据和模型架构,我们提出的CNN-BF可以实现比CS-BF更高的预测精度和更好的纠错能力,但只有一半的延迟。它还实现了比SC列表(CA-SCL)更低的误块率(BLER)。
2020-02-05 cs.IT cs.LG eess.SP
Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks
Vanderbilt University(范德堡大学)
现代神经网络的巨大规模激发了人们对神经网络量化的极大兴趣。我们介绍了随机马尔可夫梯度下降(SMGD),离散优化方法适用于训练量化的神经网络。SMGD算法设计用于训练期间内存高度受限的设置。我们提供了算法性能的理论保证,以及令人鼓舞的数值结果。
2020-12-22 cs.LG math.OC stat.ML
BDFA: A Blind Data Adversarial Bit-flip Attack on Deep Neural Networks
Simon Fraser University(西蒙弗雷泽大学)
针对神经网络权值的对抗性位翻转攻击(BFA)通过翻转极少量的位,可导致灾难性的精度下降。现有位翻转攻击技术的主要缺点是它们依赖于测试数据。对于包含敏感或专有数据的应用程序,这通常是不可能的。在本文中,我们提出了盲数据对抗比特翻转攻击(BDFA),一种新的技术,使BFA没有任何访问的训练或测试数据。这是通过优化合成数据集来实现的,该数据集被设计为匹配网络和目标标签的不同层上的批量归一化的统计数据。实验结果表明,BDFA仅用4位翻转就能将ResNet 50的准确率从75.96%显著降低到13.94%.
2022-01-07 cs.CR cs.LG
Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations
Technion - Israel Institute of Technology(以色列理工学院);Université de Montréal(蒙特利尔大学);Columbia University(哥伦比亚大学)
我们介绍了一种训练量化神经网络(QNN)的方法--精度极低的神经网络(例如,1位)权重和激活。在训练时,量化的权重和激活用于计算参数梯度。在前向过程中,QNN大大减少了内存大小和访问,并将大多数算术运算替换为逐位运算。因此,预计功耗将大幅降低。我们在MNIST、CIFAR-10、SVHN和ImageNet数据集上训练了QNN。由此产生的QNN实现了与32位对应物相当的预测精度。例如,我们的AlexNet的量化版本具有1位权重和2位激活,达到了$51\%$ top-1的准确度。此外,我们将参数梯度也转换为6位,这使得梯度计算仅使用逐位操作。量化的递归神经网络在Penn Treebank数据集上进行了测试,并且仅使用4位就实现了与32位对应物相当的精度。最后但并非最不重要的是,我们编程了一个二进制矩阵乘法GPU内核,使用它可以比使用未优化的GPU内核快7倍地运行我们的MNIST QNN,而不会损失任何分类精度。QNN代码可在线获得。
2016-09-22 cs.LG cs.NE
Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors
Colorado State University(科罗拉多州立大学);San Diego State University(圣地亚哥州立大学)
提出Tiled Bit Networks,通过重用可学习二进制向量实现亚比特压缩,在多种架构和任务上接近全精度性能,尺寸最多减少8倍。
2024-07-16 cs.AI cs.LG
Block-optimized Variable Bit Rate Neural Image Compression
Nokia Technologies(诺基亚技术)
在这项工作中,我们提出了一个端到端的基于块的自动编码系统的图像压缩。我们介绍了基于神经网络的图像压缩的新贡献,主要是在实现二值化模拟,可变比特率与多个网络,熵友好的表示,推理阶段的代码优化和性能提高归一化层的自动编码器。我们评估并显示我们每一项贡献的增量性能提升。
2018-05-28 cs.LG stat.ML
Bit-wise Training of Neural Network Weights
我们介绍了一种算法,其中表示神经网络的权重的各个位被学习。该方法允许在任意位深度上训练具有整数值的权重,并自然地揭示稀疏网络,而无需额外的约束或正则化技术。我们展示了比完全连接网络的标准训练技术更好的结果,以及与卷积和残差网络的标准训练相比类似的性能。通过以选择性的方式训练比特,我们发现,对实现高精度的最大贡献是由前三个最高有效位给出的,而其余的则提供了内在的正则化。因此,超过90%的网络可以用来存储任意代码,而不会影响其准确性。这些代码可能是随机噪声,二进制文件,甚至是先前训练的网络的权重。
2022-02-19 cs.AI cs.CV cs.LG
Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit?
UC San Diego(加州大学圣地亚哥分校);Harvard University(哈佛大学)
二进制神经网络(BNN)已经被广泛研究,因为它们在较低的内存和功耗下比浮点网络运行得更快,这要归功于位操作的效率。然而,当代BNN的权重和激活都是单比特的,遭受严重的精度下降。为了理解为什么,我们通过大量的实验研究了BNN的表示能力,速度和偏差/方差。我们的结论是,BNN的错误主要是由固有的不稳定性(训练时间)和非鲁棒性(训练和测试时间)。受此研究的启发,我们提出了二进制嵌入式神经网络(BENN),它利用集成方法来提高BNN的性能与有限的效率成本。虽然集成技术被广泛认为对深度神经网络等强分类器只有很小的帮助,但我们的分析和实验表明,它们自然非常适合提升BNN。我们发现,我们的BENN比最先进的二进制网络更快,更强大,甚至可以超过具有相同架构的全精度浮点数网络的准确性。
2018-12-03 cs.AI cs.CV cs.LG
Quantized Neural Network Inference with Precision Batching
我们提出了PrecisionBatching,一种量化的推理算法,用于在传统的硬件平台上以低位宽加速神经网络的执行,而不需要重新训练或重新校准。PrecisionBatching将一个神经网络分解为单个的位层,并使用快速的1位操作来累积它们,同时保持激活的完全精度。PrecisionBatching不仅有助于在低位宽(< 8位)下进行量化推理而无需重新训练/重新校准,而且1)使传统硬件平台能够以更精细的量化粒度(例如:1-16位执行)实现推理加速,以及2)通过暴露位层的数量以累积为可调参数,允许在运行时进行准确性和加速权衡。在各种应用程序(MNIST、语言建模、自然语言推理)和神经网络架构(全连接、RNN、LSTM)中,PrecisionBatching在GPU上实现了超过8倍的端到端加速,误差小于全精度基线的1%,在相同的误差容限下,比传统的8位量化推理性能高出1.5 - 2倍。
2020-02-26 cs.CV cs.LG cs.PF
Attacking Graph Neural Networks with Bit Flips: Weisfeiler and Lehman Go Indifferent
University of Vienna(维也纳大学);Doctoral School Computer Science, Faculty of Computer Science, University of Vienna(维也纳大学计算机学院计算机科学博士学院);Christian Doppler Laboratory for Assurance and Transparency in Software Protection, Faculty of Computer Science, University of Vienna(维也纳大学计算机学院克里斯蒂安·多普勒软件保护保障与透明度实验室);Research Network Data Science, Faculty of Computer Science, University of Vienna(维也纳大学计算机学院数据科学研究网络)
该研究提出首个专门针对图神经网络的Injectivity Bit Flip Attack,通过攻击量化消息传递神经网络的邻域聚合函数削弱其结构区分能力,仅翻转少量比特就能让高表达力的图同构网络输出随机结果,破坏力优于迁移自CNN的位翻转攻击。
2024-08-16 cs.AI cs.CR cs.LG
Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks
Stanford University(斯坦福大学);Intel AI Lab(英特尔人工智能实验室)
在保持快速迭代的同时使用更大数量的参数进行训练是开发性能更好的深度神经网络(DNN)模型越来越多地采用的策略和趋势。这需要增加用于训练的内存占用和计算要求。在这里,我们介绍了一种使用8位浮点数(FP 8)训练深度神经网络的新方法。降低的位精度允许更大的有效存储器和增加的计算速度。我们将这种方法命名为移位和挤压FP 8(S2 FP 8)。我们表明,与以前的8位精度训练方法不同,所提出的方法适用于代表性模型:ResNet-50,Transformer和NCF。该方法可以保持模型的准确性,而不需要微调损耗缩放参数或保持某些层在单精度的。我们引入了DNN张量的两个可学习的统计数据-移位和压缩因子,用于最佳地调整8位张量的范围,从而最大限度地减少量化造成的信息损失。
2020-01-16 cs.LG
GradFreeBits: Gradient Free Bit Allocation for Dynamic Low Precision Neural Networks
Brown University(布朗大学);Ben-Gurion University(本-古里安大学)
量化神经网络(QNN)是在低资源边缘设备上部署深度神经网络的主要方法之一。在整个网络中使用不同级别的精度(动态量化)来训练QNN通常可以在性能和计算负载之间实现更好的权衡。然而,优化QNN的不同精度级别可能是复杂的,因为比特分配的值是离散的并且难以区分。此外,充分考虑不同层的比特分配之间的依赖性并不是直截了当的。为了应对这些挑战,在这项工作中,我们提出了GradFreeBits:一种用于训练动态QNN的新型联合优化方案,它在基于梯度的权重优化和无梯度的比特分配优化之间交替。我们的方法在CIFAR 10/100和ImageNet分类上实现了更好或与当前最先进的低精度神经网络相当的性能。此外,我们的方法可以扩展到各种其他应用程序,涉及神经网络与参数结合使用,这是很难优化。
2021-02-18 cs.CV cs.LG
Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University(首尔国立大学)
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中,我们提出了一个元学习的方法来实现这一目标。具体来说,我们提出了MEBQAT,一种简单而有效的位宽自适应量化感知训练(QAT)的方法,其中通过重新定义元学习任务来合并位宽,将元学习有效地与QAT相结合。在平台上部署后,MEBQAT允许(Meta)训练模型被量化为任何候选位宽,然后帮助进行推理,而不会因量化而降低准确性。此外,在少样本学习场景下,MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持(1)位宽自适应量化场景和(2)新的少样本学习场景,其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性,在多个QAT计划。通过比较它们的性能(位宽专用)QAT,现有的位宽自适应QAT和香草元学习,我们发现,合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
Bit-Parallel Vector Composability for Neural Acceleration
University of California, San Diego(加州大学圣迭戈分校);Bigstream, Inc.(Bigstream公司);Google Inc.(谷歌公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
传统的神经加速器依赖于隔离的自给自足的功能单元,这些功能单元执行原子操作,同时通过操作数传递-聚合逻辑来传达结果。每个单元都原子地处理其操作数的所有位,并隔离地产生结果的所有位。本文探索了一种不同的设计风格,其中每个单元只负责一部分位级操作,以交错并结合位级并行的好处与深度神经网络中丰富的数据级并行。这些单元的动态集合在运行时协作以共同生成结果的位。这种协作需要在位之间提取新的分组,这仅在操作数和操作是可向量化的情况下是可能的。丰富的数据级并行性和大多数重复的执行模式为定义和利用位并行向量可组合性的新维度提供了独特的机会。这种设计将位并行性分散在数据级并行性中,并动态地将两者交织在一起。因此,我们的神经加速器的构建块是一个可组合向量单元,它是一个窄位宽向量引擎的集合,这些引擎以位粒度动态组合或分解。使用六种不同的CNN和LSTM深度网络,我们在四个设计点上评估了这种设计风格:有和没有算法位宽异构性,以及有和没有高带宽片外存储器。在这四个设计点上,位并行矢量可组合性带来了(1.4倍至3.5倍)的加速和(1.1倍至2.7倍)的能耗降低。我们还将我们的设计风格与也支持INT-4执行的Nvidia RTX 2080 TI GPU进行了全面比较。其优势范围为每瓦性能提高28.0倍至33.7倍。
2020-04-11 cs.LG cs.PF
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University(杜克大学)
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷,因此已经被广泛研究。然而,它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间,要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化(BSQ)来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量,并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位,实现动态精度降低,从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间,只有一个超参数来权衡性能和压缩。与以前的方法相比,BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
Training Deep Neural Networks with 8-bit Floating Point Numbers
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
用于训练深度神经网络(DNN)的最先进的硬件平台正在从传统的单精度的(32位)计算向16位精度移动-这在很大程度上是由于与使用降低精度表示相关的高能效和更小的位存储。然而,与推理不同,由于需要在反向传播期间保持梯度计算的保真度,用小于16位表示的数字进行训练一直具有挑战性。在这里,我们首次展示了使用8位浮点数成功训练DNN,同时完全保持深度学习模型和数据集的准确性。除了将数据和计算精度降低到8位之外,我们还通过引入一些关键思想,包括基于块的累加和浮点随机舍入,成功地将加法的算术精度(用于部分乘积累加和权重更新)从32位降低到16位。这些新技术的使用为新一代硬件培训平台奠定了基础,其吞吐量可能比当今系统提高2- 4倍。
2018-12-19 cs.LG stat.ML
Exploring the Potential of Low-bit Training of Convolutional Neural Networks
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京国家信息科学与技术研究中心(BNRist))
在这项工作中,我们提出了一个低比特训练框架的卷积神经网络,这是建立在一个新的多级缩放(MLS)张量格式。我们的框架侧重于通过将所有卷积操作数量化为低位宽格式来降低卷积操作的能耗。具体来说,我们提出了MLS张量格式,其中元素的位宽可以大大减少。然后,我们描述了动态量化和低比特张量卷积算法,以有效地利用MLS张量格式。实验表明,我们的框架实现了更好的平衡之间的准确性和比特宽度比以前的低比特训练框架。对于在CIFAR-10上训练各种模型,使用1位尾数和2位指数足以将精度损失保持在$1\%$内。在像ImageNet这样的大型数据集上,使用4位尾数和2位指数足以将精度损失保持在$1\%$范围内。通过对计算单元的能耗仿真,我们可以估计,用我们的框架训练各种模型,可以分别获得比全精度和8位浮点算法训练更高的能量效率$8.3\sim10.2\times$和$1.9\sim2.3\times$。
2021-07-14 cs.LG stat.ML
Exploring Bit-Slice Sparsity in Deep Neural Networks for Efficient ReRAM-Based Deployment
Duke University(杜克大学);Fudan University(复旦大学)
新兴的电阻式随机存取存储器(ReRAM)最近被深入研究以加速深度神经网络(DNN)的处理。由于原位计算能力,与传统的数字方法相比,模拟ReRAM交叉开关可以显著提高吞吐量并降低能耗。然而,功耗巨大的模数转换器(ADC)阻碍了在芯片面积和功耗预算有限的终端设备上实际部署基于ReRAM的DNN加速器。我们观察到,由于ReRAM单元的位密度有限,DNN权重被位切片并相应地存储在多个ReRAM位线上。由权重产生的位线上的累积电流直接决定ADC的开销。因此,按位权重稀疏性而不是全权重的稀疏性对于高效的ReRAM部署是期望的。在这项工作中,我们提出了位片L1,这是第一个在动态定点DNN训练过程中引入位片稀疏性的算法。实验结果表明,我们的方法实现了2倍的稀疏性改善相比,以前的算法。由此产生的稀疏性允许ADC分辨率降低到最高有效位片的1位,其他位降低到3位,从而显著加快处理速度并降低功耗和面积开销。
2019-11-19 cs.LG stat.ML
Using fuzzy bits and neural networks to partially invert few rounds of some cryptographic hash functions
Oles Honchar Dnipro National University(奥列格·洪查尔第聂伯国立大学)
我们考虑模糊位或连续位,它们取[0;1]和(-1 1]而不是{0;1}中的值,以及对它们的操作(NOT,XOR等)。并且在它们的序列(ADD)上,获得用于由模糊比特组成的消息的密码散列函数CHF的一般化,使得CHF成为消息的每个比特的平滑和非常数函数。然后,我们训练神经网络来预测具有给定散列的消息,其中预测消息的散列和给定真实散列的损失函数是反向传播的。给出并比较了标准CHF- MD5、SHA1、SHA 2 -256和SHA 3/SHA 256-的训练结果,其中包含少量(可选的弱化)轮次。
2019-01-08 cs.CR cs.LG cs.NE
DyBit: Dynamic Bit-Precision Numbers for Efficient Quantized Neural Network Inference
The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出DyBit动态位精度数据表示及硬件感知混合精度量化框架,在4-bit量化下精度提升1.997%,并实现高达8.1倍推理加速。
2023-02-24 cs.LG
PQS (Prune, Quantize, and Sort): Low-Bitwidth Accumulation of Dot Products in Neural Network Computations
Harvard University(哈佛大学)
针对传统量化点积中宽累加器导致的内存带宽和能效问题,提出PQS算法结合剪枝、量化和排序技术,实现低位宽累加,在保证精度的同时将累加器位宽减少2.5倍。
2025-04-12 cs.AI cs.LG
TBT: Targeted Neural Network Attack with Bit Trojan
现代深度神经网络(DNN)的安全性受到严格审查,因为这些模型的部署在许多基于智能的应用中变得广泛。最近,DNN通过特洛伊木马进行攻击,特洛伊木马可以在训练阶段有效地感染模型,并在推理过程中仅通过特定的输入模式(即触发器)激活。在这项工作中,我们首次提出了一种新的定向比特木马(TBT)方法,该方法可以通过比特翻转攻击将有针对性的神经木马插入DNN。我们的算法有效地生成了一个触发器,该触发器专门用于定位存储在主存储器中的DNN权重的某些易受攻击的位(即,DRAM)。其目标是,一旦攻击者翻转这些易受攻击的比特,网络仍然以正常的推理准确度运行。然而,当攻击者通过嵌入任何输入来激活触发器时,网络被迫将所有输入分类到特定的目标类。我们证明,使用可用的位翻转技术(即行锤),仅翻转我们的方法识别的几个易受攻击的位,可以将功能齐全的DNN模型转换为木马感染的模型。我们在VGG-16和Resnet-18架构上对CIFAR-10,SVHN和ImageNet数据集进行了广泛的实验。我们提出的TBT可以将92%的测试图像分类到目标类别,在Resnet-18上CIFAR 10数据集的8800万个权重位中只有84位翻转。
2020-03-29 cs.CR cs.LG cs.NE
Bit Efficient Quantization for Deep Neural Networks
Latent AI;SRI International(SRI国际)
深度神经网络的量化为边缘设备提供了模型,这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中,我们提出了一个模型参数驱动的量化方法,可以实现低至3位的精度,而不影响精度的比较。训练后量化方法是无数据的,并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络(DNN)的量化结果。为了更好地分析量化结果,我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Stabilizing Backpropagation in 16-bit Neural Training with Modified Adam Optimizer
Stony Brook University, Department of Computer Science, United States(石溪大学计算机科学系, 美国);OpenNN Lab, MODULABS, Republic of Korea(开放神经网络实验室, MODULABS, 韩国)
本研究针对16位神经网络训练中Adam优化器存在的数值不稳定问题,发现epsilon超参数是主要诱因,提出微调epsilon的改进方法以稳定训练,为低精度计算下的可靠模型部署提供支撑。
2025-06-17 cs.LG
AdaBits: Neural Network Quantization with Adaptive Bit-Widths
ByteDance Inc.(字节跳动公司)
具有自适应配置的深度神经网络由于在具有不同资源预算的平台上即时和灵活地部署这些模型而受到越来越多的关注。在本文中,我们研究了一种新的选择,以实现这一目标,使自适应位宽的权重和激活模型。我们首先检查了使用自适应比特宽度训练量化模型的好处和挑战,然后实验了几种方法,包括直接自适应、渐进训练和联合训练。我们发现,联合训练能够在自适应模型上产生与单个模型相当的性能。我们进一步提出了一种新的技术,称为可切换限幅电平(S-CL),以进一步提高量化模型在最低位宽。通过将我们提出的技术应用于包括MobileNet-V1/V2和ResNet-50在内的一系列模型,我们证明了权重和激活的位宽是自适应可执行深度神经网络的一个新选择,为改进准确性-效率权衡以及根据实际应用中的平台约束进行即时适应提供了一个独特的机会。
2020-03-15 cs.CV cs.LG cs.NE
Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection
University of California, Los Angeles(加州大学洛杉矶分校);University of California, Irvine(加州大学尔湾分校)
提出了一种基于优化的低位宽卷积神经网络(CNN)量化和训练方法LBW-Net。具体来说,我们通过在反向传播过程中最小化全精度权重和量化权重之间的欧几里得距离,将权重转换为零或2的幂。我们的特征的低位宽量化问题的组合性质。对于2位(三进制)CNN,$N$权重的量化可以通过$O(N\log N)$复杂度的精确公式来完成。当位宽为3及以上时,我们进一步提出了一种半解析阈值方案,该方案具有单个用于量化的自由参数,在计算上是廉价的。通过网络再训练和目标检测测试进一步确定自由参数。LBW-Net与全精度CNN相比具有几个理想的优势,包括节省大量内存,能源效率和更快的部署。我们在PASCAL VOC数据集上的实验表明,与32位浮点算法相比,6位LBW-Net在目标检测任务中的性能几乎是无损的,在某些真实世界的视觉场景中甚至可以做得更好,同时经验上享受超过4个$\times$更快的部署。
2017-08-17 cs.LG
Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Toronto(多伦多大学);Toronto, ON, Canada(加拿大安大略省多伦多市)
最近的工作已经探索了在神经网络训练期间降低参数、激活和梯度的数值精度,作为降低训练计算成本的一种方式(Na & Mukhopadhyay,2016)(Courbariaux et al.,2014年)。我们提出了一种新的动态精度缩放(DPS)计划。通过使用随机定点舍入、基于量化误差的缩放方案以及训练过程中的动态位宽,我们在MNIST数据集上实现了98.8%的测试准确度,与深度学习框架中使用的标准32位浮点值相比,权重的平均位宽仅为16位,激活的平均位宽为14位。
2019-01-24 cs.LG
Bitwise Neural Networks
基于存在一个神经网络,有效地表示一组布尔函数之间的所有二进制输入和输出的假设,我们提出了一个开发和部署神经网络的权重参数,偏置项,输入,和中间隐藏层输出信号,都是二进制值,只需要基本的位逻辑的前馈通过。所提出的位神经网络(BNN)是特别适合于资源受限的环境,因为它取代了浮点或定点运算与显着更有效的位操作。因此,BNN需要更少的空间复杂度、更少的内存带宽和更少的硬件功耗。为了设计这样的网络,我们建议添加一些训练方案,例如权重压缩和噪声反向传播,这会导致按位网络的性能几乎与其相应的实值网络一样好。我们在使用二进制特征表示的MNIST数据集上测试了拟议的网络,并表明BNN具有竞争力的性能,同时提供显着的计算节省。
2016-01-22 cs.AI cs.LG cs.NE
ShiftNAS: Towards Automatic Generation of Advanced Mulitplication-Less Neural Networks
Nanyang Technological University(南洋理工大学)
无乘法神经网络显著降低了硬件平台上的时间和能量成本,因为计算密集型乘法被轻量级移位运算取代。然而,现有的位移网络都是直接从最先进的卷积神经网络(CNN),这导致不可忽视的精度下降,甚至失败的模型收敛。为了解决这个问题,我们提出了ShiftNAS,这是第一个定制神经架构搜索(NAS)的框架,可以大大减少位移神经网络与其实值对应网络之间的准确性差距。具体而言,我们率先将NAS拖到一个面向移位的搜索空间,并赋予它强大的拓扑相关的搜索策略和自定义的正则化和稳定化。因此,我们的ShiftNAS突破了传统NAS方法对比特移位神经网络的不兼容性,并在准确性和收敛性方面实现了更理想的性能。大量的实验表明,ShiftNAS为位移神经网络设置了一个新的最先进的技术,其中CIFAR 10的准确性增加了(1.69-8.07)%,CIFAR 100增加了(5.71-18.09)%,ImageNet增加了(4.36-67.07)%,特别是当许多传统的CNN无法收敛到具有位移权重的ImageNet时。
2022-04-07 cs.LG
Bit Error Tolerance Metrics for Binarized Neural Networks
Technical University of Dortmund(多特蒙德工业大学)
为了减少神经网络(NN)推理系统的资源需求,提出了使用近似存储器,其中电源电压和时序参数被调整为交易精度与能耗和性能。积极地调整这些参数会导致比特错误,当在训练期间注入比特翻转时,NN可以容忍比特错误。然而,作为用于实现比特差错容限的现有技术的比特翻转训练不能很好地扩展;它导致大量开销并且不能应用于高比特出错率(BER)。需要替代方法来实现NN中的比特错误容限,但是NN的比特错误容限背后的基本原理尚未被报道。这种认识的缺乏,将制约神经网络比特容错性研究的进一步发展。在这项研究中,我们的目标是研究位翻转训练引起的NN的内部变化,重点是二值化NN(BNN)。为此,我们量化的比特错误容忍BNN的属性与两个指标。首先,我们提出了一个神经元级的位错误容忍度度量,它计算预激活值和批量归一化阈值之间的裕度。其次,为了捕捉比特差错容忍度对神经元之间相互作用的影响,我们提出了一种神经元间比特差错容忍度度量,该度量度量每个神经元的重要性并计算所有重要性值的方差。我们的实验结果支持,这两个指标是密切相关的比特错误容忍度。
2021-02-02 cs.LG cs.NE
Do Neural Networks Really Beat the Curse of Dimensionality? A Bit-Complexity View
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本研究从比特复杂度视角构建统一逼近框架,对比经典方法与神经网络的逼近速率,发现神经网络的优势源于函数类复杂度差异,根本限制是比特复杂度灾难而非维度灾难。
2026-08-04 cs.LG
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers
The Chinese University of Hong Kong(香港中文大学);Microsoft AI and Research(微软人工智能研究院)
循环神经网络语言模型(RNNLM)的高内存消耗和计算成本限制了其在资源受限设备上的广泛应用。近年来,能够产生极低比特压缩的神经网络量化技术(例如,二值化RNNLM)正获得越来越多的研究兴趣。直接训练量化的神经网络是困难的。通过将量化RNNLM训练问题转化为一个优化问题,提出了一种利用交替方向乘法器(ADMM)从头开始训练量化RNNLM的新方法.该方法还可以灵活地调整压缩率和模型性能之间的权衡使用绑低比特量化表。两个任务的实验:Penn Treebank(PTB)和Switchboard(SWBD)建议,所提出的ADMM量化实现了全精度基线RNNLM上高达31倍的模型大小压缩因子。模型训练的收敛速度比基线二值化RNNLM量化快5倍。索引术语:语言模型,递归神经网络,量化,交替方向乘法器方法。
2021-11-29 cs.LG
ZeBRA: Precisely Destroying Neural Networks with Zero-Data Based Repeated Bit Flip Attack
Hongik University(弘益大学)
在本文中,我们提出了基于零数据的重复位翻转攻击(ZeBRA),通过合成自己的攻击数据集来精确破坏深度神经网络(DNN)。许多对抗性权重攻击的现有工作不仅需要权重参数,而且需要训练或测试数据集来搜索要攻击的脆弱比特。我们建议通过利用受害者DNN模型中的批量归一化层的统计数据来合成攻击数据集,即提取的目标数据。配备了提取的目标数据,我们的ZeBRA算法可以搜索模型中的脆弱位,而无需访问训练或测试数据集。因此,我们的方法使得对抗性权重攻击对DNN的安全性更加致命。我们的实验结果表明,与以前的攻击方法相比,平均需要2.0倍(CIFAR-10)和1.6倍(ImageNet)的位翻转次数来破坏DNN。我们的代码可以在https://github上找到。com/pdh930105/ZeBRA。
2021-11-18 cs.CR cs.LG
Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks
Beihang University(北京航空航天大学);SenseTime Group Limited(商汤集团有限公司);Beijing Institute of Technology(北京理工大学)
硬件友好的网络量化(例如,二进制/均匀量化)可以有效地加速推理,同时减少深度神经网络的存储器消耗,这对于资源有限的设备(如移动电话)上的模型部署至关重要。然而,由于低比特量化的离散性,现有的量化方法往往面临着不稳定的训练过程和严重的性能下降。为了解决这个问题,在本文中,我们提出了微分软量化(DSQ),以弥合全精度和低比特网络之间的差距。DSQ可以在训练过程中自动进化,以逐渐接近标准量化。由于DSQ的可微性,它可以在后向传播过程中精确地追求梯度,并在前向传播过程中通过适当的限幅来减小量化损失。在几种流行的网络结构上进行的大量实验表明,使用DSQ训练低比特神经网络可以始终优于最先进的量化方法。此外,我们的第一个有效的实现部署2至4位DSQ与ARM架构的设备上实现了高达1.7 $\times$的速度相比,开源的8位高性能推理框架NCNN。[三十一]
2019-08-14 cs.CV cs.LG eess.IV
The Efficient Market Hypothesis for Bitcoin in the context of neural networks
Zurich University of Applied Sciences(苏黎世应用科学大学)
这项研究使用前馈神经网络来检验比特币有效市场假设的弱形式。由于近年来加密货币的日益普及,出现了一个问题,即比特币是否可以利用市场效率低下的问题。我们在这里提到的几项研究在比特币的背景下使用统计测试或机器学习方法讨论了这个话题,主要依赖于比特币本身的数据。关于市场有效性的结果因研究而异。然而,在这项研究中,重点是在神经网络中应用各种与资产相关的输入特征。其目的是调查在添加股票指数(S&P 500,Russell 2000),货币(EURUSD),10年期美国国债收益率以及黄金和白银生产商指数(XAU)时,除了使用比特币回报作为输入特征外,预测准确性是否会提高。正如预期的那样,结果表明,更多的特征导致更高的训练性能,从一个特征的54.6%预测准确率到六个特征的61%。在测试集上,我们观察到,使用我们的神经网络方法,添加额外的资产类别,预测准确性没有增加。一个功能集能够部分优于买入并持有策略,但一旦添加另一个功能,性能就会再次下降。这导致我们得出部分结论,即比特币的弱市场效率无法使用神经网络和给定的资产类别作为输入来检测。因此,基于这项研究,我们发现证据表明,在样本期间,比特币市场在有效市场假设的意义上是有效的。我们鼓励在这一领域进行进一步的研究,因为这在很大程度上取决于所选择的样本周期、输入特征、模型架构和超参数。
2022-06-25 cs.LG q-fin.ST q-fin.TR
8-bit Numerical Formats for Deep Neural Networks
Graphcore Research(Graphcore研究院)
鉴于当前机器学习架构的规模和复杂性不断增加的趋势,识别新的方法来提高模型训练的计算效率变得至关重要。在这种情况下,我们解决了浮点表示优于定点表示的优点,并对使用8位浮点数格式进行训练和推理的激活,权重和梯度进行了深入研究。我们探讨了不同的指数和有效位宽度和不同的指数偏差的影响。实验结果表明,适当选择这些低精度格式可以加快训练速度并降低功耗,而不会降低用于图像分类和语言处理的一系列深度学习模型的准确性。
2022-06-06 cs.LG
Continuous 16-bit Training: Accelerating 32-bit Pre-Trained Neural Networks
本文提出用16位精度继续训练已有的32位预训练模型,在保持精度的同时显著降低内存和计算负担,加速资源受限环境下的模型更新与优化。
2023-12-01 cs.AI cs.LG
Accelerating Binarized Neural Networks via Bit-Tensor-Cores in Turing GPUs
Pacific Northwest National Laboratory(西北太平洋国家实验室);U.S. Army Research Laboratory(美国陆军研究实验室)
尽管与传统的深度神经网络相比,二值化神经网络(BNN)的性能优势得到了巨大的提升,但它仅仅在CPU和GPU等通用处理器上得到了展示。事实上,由于无法利用基于字的架构的位级并行性,GPU在执行BNN时的利用率极低(1%)。因此,NVIDIA Turing GPU中的最新tensorcore开始实验性地支持位计算。在这项工作中,我们将研究这种全新的位计算能力,并描述其独特的功能。我们表明,内存访问的步幅可以显着影响性能交付,并且非常需要数据格式协同设计来支持tensorcore,以实现比没有tensorcore的现有软件解决方案更优越的性能。实现了张量核加速的BNN设计,特别是全连接层和卷积层的主要功能--位矩阵乘法和位卷积。在两个NVIDIA Turing GPU上的评估表明,使用ResNet-18,我们的BTC-BNN设计可以以每秒5.6K图像的速度处理ImageNet,比最先进的速度快77%。我们的BNN方法发布在www.example.com上。
2020-12-15 cs.DC cs.LG
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin(都柏林大学圣三一学院);The School of Computer Science and Statistics(计算机科学与统计学院);Institute of Technology Carlow(卡洛理工学院)
卷积神经网络(CNN)通常使用16位或32位浮点(FP)进行训练,研究人员表明,低精度浮点(FP)可以非常有效地进行推理。低精度FP可以在现场可编程门阵列(FPGA)和专用集成电路(ASIC)加速器中实现,但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符(HOBFLOPS),生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程,使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作,和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽(32-512个元素)的矢量化卷积神经网络(CNN)卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符(HOBFLOPS)乘法累加(MAC)性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP,例如,HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外,HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
Neural Machine Translation with 4-Bit Precision and Beyond
University of Edinburgh(爱丁堡大学)
神经机器翻译(NMT)是资源密集型的。我们设计了一个量化过程,以压缩NMT模型更好地为有限的硬件能力的设备。由于大多数神经网络参数接近于零,我们采用对数量化代替定点量化。然而,我们发现偏置项不太适合对数量化,但注意到它们只占模型的一小部分,因此我们将其保留为未压缩。我们还建议在重新训练过程中使用错误反馈机制,以将压缩模型作为陈旧梯度保留。我们的经验表明,基于Transformer或RNN架构的NMT模型可以压缩到4位精度,而不会出现任何明显的质量下降。模型可以被压缩到二进制精度,尽管质量较低。与Transformer相比,RNN架构似乎对量化更鲁棒。
2019-09-20 cs.CL cs.LG
Unlocking the Theory Behind Scaling 1-Bit Neural Networks
New York University(纽约大学);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);UC Berkeley(加州大学伯克利分校);Sun Yat-sen University(中山大学)
本文首次从理论上严格确立了1比特神经网络的缩放定律,证明其训练收敛性和泛化差异可忽略,并指出int1精度有望成为未来标准。
2024-11-03 cs.AI cs.CC cs.CL
Accurate Neural Training with 4-bit Matrix Multiplications at Standard Formats
Habana Labs(哈巴纳实验室);Technion(以色列理工学院)
本文提出对数无偏量化(LUQ)方法,将神经网络训练的前向与后向阶段均量化至4位,在标准格式下以无额外开销实现最先进的4位训练精度。
2024-06-09 cs.LG
Semi-Relaxed Quantization with DropBits: Training Low-Bit Neural Networks via Bit-wise Regularization
网络量化旨在减少网络权重和激活的位长度,已经成为减少神经网络的大小以将其部署到资源有限的设备的关键成分之一。为了克服将连续激活和权重转换为离散激活和权重的性质,最近一项名为松弛量化(RQ)的研究[Louizos et al. 2019]成功地采用了流行的Gumbel-Softmax,该算法允许通过基于梯度的有效优化进行这种转换。然而,RQ与此Gumbel-Softmax松弛仍然遭受偏差方差权衡取决于Gumbel-Softmax的温度参数。为了解决这个问题,我们提出了一种新的方法,半松弛量化(SRQ),它使用多类直通估计器来有效地减少偏差和方差,以及一种新的正则化技术,DropBits,它取代了dropout正则化来随机丢弃比特而不是神经元,以进一步减少SRQ中多类直通估计器的偏差。作为DropBits的自然扩展,我们进一步介绍了学习异构量化级别的方法,以使用DropBits为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法,并且还支持量化彩票假设:从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-07 cs.CV cs.LG eess.IV
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research(Meta现实实验室研究部门);AGH UST(AGH科技大学)
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性,通常通过量化权重。大多数现有的作品采用线性量化,这会导致相当大的下降,在精度的权重位宽低于8。由于权重的分布通常是不均匀的(大多数权重集中在零附近),因此其他方法(如对数量化)更适合,因为它们能够更精确地保持权重分布的形状。此外,使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中,我们探讨利用较低的位精度的非线性量化技术,并确定有利的硬件实现选项。我们开发了量化感知训练(QAT)算法,该算法允许训练低位宽的二次幂(PoT)网络,并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术,并研究了三种不同量化方案(均匀,PoT和附加PoT(APoT))的MAC单元的硬件设计,以显示使用所提出的方法时提高的效率。实验结果表明,对于低位宽精度,非均匀量化的性能优于均匀量化,同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
Revisiting 16-bit Neural Network Training: A Practical Approach for Resource-Limited Learning
Stony Brook University(石溪大学);State University of New York, Korea(纽约州立大学,韩国);Virginia Tech(弗吉尼亚理工大学)
本文通过理论分析和实验证明16位精度神经网络在准确率上可与32位匹配并提升计算速度,为资源受限的学习者提供实用指导。
2026-04-17 cs.AI cs.CV cs.LG
An Optical XNOR-Bitcount Based Accelerator for Efficient Inference of Binary Neural Networks
University of Kentucky(肯塔基大学)
与全精度卷积神经网络(CNN)相比,二进制神经网络(BNN)越来越受到青睐,以减少推理处理的内存和计算需求,同时降低精度。BNN将CNN模型参数转换为1位精度,允许使用简单的XNOR和位计数操作处理BNN的推断。这使得BNN适合硬件加速。已经提出了几种基于光子集成电路(PIC)的BNN加速器。尽管这些加速器提供比它们的电子对应物显著更高的吞吐量和能量效率,但是这些加速器中所利用的XNOR和位计数电路需要进一步增强以提高它们的面积、能量效率和吞吐量。本文旨在满足这一需求。为此,我们发明了一种基于单MRR的光学XNOR门(OXG)。此外,我们提出了一种新的设计的位计数电路,我们称之为光电荷累加器(PCA)。采用密集波分复用(DWDM)级联多个OXG,并将其连接到PCA,构建了一种基于XNOR比特数的二进制神经网络加速器(OXBNN)。我们对四个现代BNN的推理进行的评估表明,OXBNN在每秒帧数(FPS)和FPS/W(能源效率)方面分别比先前工作中的两个基于PIC的BNN加速器的几何平均值提高了62倍和7.6倍。我们开发了一个事务级、事件驱动的基于Python的模拟器,用于评估加速器(https://github.com/uky-UCAT/B_ONN_SIM)。
2023-03-20 cs.AR cs.CV cs.LG
Low-bit Quantization of Neural Networks for Efficient Inference
Huawei Technologies Co.(华为技术有限公司)
最近的机器学习方法使用越来越大的深度神经网络来实现各种任务中的最新结果。性能的提高是以计算和存储需求的大幅增加为代价的。这使得在有限资源硬件上的实时实现成为一项具有挑战性的任务。解决这一挑战的一种流行方法是通过神经网络量化来执行低位精度计算。然而,积极的量化通常在精度方面带来严重的损失,并且通常需要重新训练网络,或者诉诸更高的比特精度量化。在本文中,我们将线性量化任务形式化为权重和激活的最小均方误差(MMSE)问题,允许低比特精度推理,而无需进行完整的网络再训练。我们的方法的主要贡献是在网络的每一层的约束MSE问题的优化,网络参数的硬件感知分区,以及使用多个低精度量化张量的近似层。所提出的方法允许4位整数(INT 4)量化,用于在有限的硬件资源上部署预训练模型。在各种网络架构上的多个实验表明,所提出的方法产生最先进的结果,任务的准确性损失最小。
2019-03-25 cs.CV cs.LG stat.ML
Automatic low-bit hybrid quantization of neural networks through meta learning
IBM Research – China(IBM中国研究院)
模型量化是一种广泛用于压缩和加速深度神经网络(DNN)推理的技术,特别是在部署到计算能力和功耗预算有限的边缘或物联网设备时。跨所有层的均匀比特宽度量化通常是次优的,并且针对不同层的混合量化的探索对于有效的深度压缩至关重要。本文采用元学习方法自动实现神经网络的低比特混合量化。MetaQuantNet与量化函数一起被训练以生成目标DNN的量化权重。然后,我们应用遗传算法搜索最佳的混合量化政策,满足压缩约束。使用搜索到的最佳量化策略,我们随后进行重新训练或微调,以进一步提高量化目标网络的性能。大量的实验表明,搜索的混合量化方案的性能优于均匀位宽对应。与现有的基于强化学习(RL)的混合量化搜索方法相比,这种方法依赖于繁琐的探索,我们的元学习方法对于任何压缩要求都更有效,因为MetaQuantNet只需要训练一次。
2020-04-24 cs.CV cs.LG stat.ML