Art and Science of Quantizing Large-Scale Models: A Comprehensive Overview
Peking University(北京大学);Nankai University(南开大学);Beijing Institute of Technology(北京理工大学);University of Leeds(利兹大学);Harbin University of Commerce(哈尔滨商业大学)
本文综述大规模神经网络模型量化的原理、挑战与方法,分析PTQ、QAT及LLM-QAT等前沿算法应对异常值等问题的效果,助力模型高效低损部署。
2024-09-18 cs.AI cs.LG
HEMP: High-order Entropy Minimization for neural network comPression
University of Torino(都灵大学);Télécom Paris(巴黎电信学院)
我们将量化的人工神经网络的熵表示为可微函数,该可微函数可以作为正则化项插入到通过梯度下降最小化的成本函数中。我们的公式有效地扩展到一阶以上,是不可知的量化方案。然后可以训练网络以最小化量化参数的熵,使得它们可以通过熵编码进行最佳压缩。我们在多个数据集上量化和压缩众所周知的网络架构时使用熵公式进行实验。我们的方法与类似的方法相比,享有更高阶熵估计的好处,显示出对非均匀量化的灵活性(我们使用最大熵量化),对任何熵阶的可伸缩性要最小化和压缩方面的效率。我们表明,HEMP是能够协同工作,旨在修剪或量化模型本身的其他方法,提供显着的好处,在存储大小的压缩性,而不会损害模型的性能。
2021-07-12 cs.AI cs.IT cs.LG
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.(LeapMind公司);Woven by Toyota, Inc.(丰田旗下Woven公司);Mirai Hoshu K.K.(Mirai Hoshu株式会社)
提出像素嵌入方法,通过可微查找表将输入像素替换为低比特向量,实现完全量化神经网络,在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
Quantizing deep convolutional networks for efficient inference: A whitepaper
Google(谷歌)
我们提出了一个概述的技术量化卷积神经网络的推理与整数权重和激活。对于各种各样的CNN架构,权重的每通道量化和激活的每层量化到8位精度后训练产生在浮点网络的2%内的分类准确度。通过将权重量化为8位,即使不支持8位算法,也可以将模型大小减少4倍。这可以通过简单的后训练量化权重来实现。我们在CPU和DSP上对量化网络的浮点数进行了基准测试,并观察到量化实现与CPU上的浮点数相比的2倍-3倍的加速比。在具有固定点SIMD功能的专用处理器上,如采用HVX的Qualcomm QDSP,可以观察到高达10倍的速度提升。量化感知训练可以提供进一步的改进,在8位精度下将浮点差距缩小到1%。量化感知训练还允许将权重的精度降低到4位,精度损失范围从2%到10%,对于较小的网络,精度损失更高。我们介绍了TensorFlow和TensorFlowLite中用于量化卷积网络的工具,并回顾了量化感知训练的最佳实践,以获得量化权重和激活的高精度。我们建议将权重的每通道量化和激活的每层量化作为硬件加速和内核优化的首选量化方案。我们还建议,未来的处理器和硬件加速器优化推理支持精度为4,8和16位。
2018-06-21 cs.CV cs.LG stat.ML
ProxQuant: Quantized Neural Networks via Proximal Operators
Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能);UC Santa Barbara(加州大学圣巴巴拉分校)
为了使深度神经网络在资源受限的环境(如移动设备)中可行,通过使用低精度权重来优化模型是有益的。一种用于量化神经网络的常用技术是直通梯度法,其使得能够通过量化映射进行反向传播。尽管它在经验上取得了成功,但人们对直通梯度法的原理知之甚少。基于一个新的观察,即直通梯度方法实际上与众所周知的Nesterov的双平均算法在量化约束优化问题上是相同的,我们提出了一种更有原则的替代方法,称为ProxQuant,它将量化网络训练制定为正则化学习问题,并通过梯度方法对其进行优化。ProxQuant在底层全精度向量上进行反向传播,并在随机梯度步骤之间应用有效的E-T算子以鼓励量化。对于量化ResNets和LSTM,ProxQuant在二进制量化方面优于最先进的结果,在多位量化方面与最先进的结果不相上下。对于二进制量化,我们的分析在理论上和实验上都表明ProxQuant比直通梯度方法(即BinaryConnect)更稳定,挑战了直通梯度方法的不可或缺性,并提供了一个强大的替代方案。
2019-03-05 cs.LG stat.ML
SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network Quantization
University of California San Diego(加州大学圣地亚哥分校);Halıcıoğlu Data Science Institute(哈利西奥卢数据科学研究所)
本文提出SPFQ随机量化算法,以线性计算复杂度量化大型神经网络权重,并首次在无限字母表条件下建立全网络误差界,证明过参数化程度越高误差线性衰减,且仅需约loglogN比特即可达到无限字母表情形下的误差界。
2023-09-20 cs.LG stat.ML
Quantizing YOLOv7: A Comprehensive Study
Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);Shiraz University(设拉子大学)
本文系统研究了多种量化方案在YOLOv7预训练权重上的效果,发现4-bit量化结合不同粒度可在均匀和非均匀量化下分别节省约3.92倍和3.86倍内存,且精度损失仅为2.5%和1%。
2024-07-06 cs.AR cs.CV cs.LG
Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks
University of Notre Dame(圣母大学);Google LLC(谷歌有限责任公司)
提出一种针对边缘计算的全可微混合精度量化方法,通过硬件感知异构量化、定向梯度修改和多阶段学习,在ImageNet上以低于4.3MB的权重和激活实现最佳准确率。
2023-08-29 cs.CV cs.LG
Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels
ServiceNow Research(ServiceNow研究院);University of Arizona(亚利桑那大学);Università di Bologna(博洛尼亚大学)
本文提出独立于底层技术的 LLM 逐层混合比特量化方法,通过两种层重要性指标分配精度,在显著压缩模型的同时保持性能,并验证其与动态量化互补及在大模型上的优势。
2024-10-28 cs.AI cs.CL cs.LG
PikeLPN: Mitigating Overlooked Inefficiencies of Low-Precision Neural Networks
Brown University(布朗大学);Google(谷歌公司)
本文提出PikeLPN模型及ACEv2指标,通过QuantNorm、双重量化和分布异构量化等技术解决低精度神经网络中非量化逐元素操作导致的效率瓶颈,实现效率-精度帕累托最优,效率提升达3倍。
2024-03-29 cs.CV cs.LG
Q-Diffusion: Quantizing Diffusion Models
UC Berkeley(加州大学伯克利分校);Nanjing University(南京大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学)
针对扩散模型噪声估计网络推理慢、传统PTQ量化效果差的问题,提出含时间步感知校准与分裂捷径量化的新型PTQ方法,首次实现4位权重的Stable Diffusion高质量生成。
2023-06-08 cs.CV cs.LG
SWIS -- Shared Weight bIt Sparsity for Efficient Neural Network Acceleration
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
量化是神经网络计算系统性能和效率提高的先锋,正在向商品硬件迈进。我们提出了SWIS -共享权重位稀疏,有效的神经网络推理加速提供了改进的性能和存储压缩,通过离线权重分解和调度算法的量化框架。SWIS可以实现高达54.3%(19.8%)的点精度提高相比,权重截断时量化MobileNet-v2到4(2)位后训练(与再训练)显示利用共享位稀疏的权重的强度。SWIS加速器给出了高达6倍的加速比和1.9倍的能源改善,超过了最先进的位串行架构。
2021-03-03 cs.LG
Least squares binary quantization of neural networks
Apple Inc.(苹果公司)
量化深度神经网络的权重和激活导致以较低的准确性为代价的推理效率的显著提高。全精度模型和量化模型之间的精度差距的来源是量化误差。在这项工作中,我们专注于二进制量化,其中值被映射到-1和1。我们提供了一个统一的框架来分析不同的扩展策略。受2位与1位量化的帕累托最优性的启发,我们引入了一种新的2位量化与可证明的最小平方误差。我们的量化算法可以有效地实现在硬件上使用逐位操作。我们提出的证据表明,我们提出的方法是最佳的,也提供了经验误差分析。我们在ImageNet数据集上进行了实验,并在使用所提出的最小二乘量化算法时显示出降低的准确性差距。
2020-06-13 cs.LG cs.NE
Compressive Neural Representations of Volumetric Scalar Fields
Vanderbilt University(范德堡大学);University of Arizona(亚利桑那大学)
我们提出了一种使用隐式神经表示压缩体积标量场的方法。我们的方法将标量场表示为学习函数,其中神经网络将域中的点映射到输出标量值。通过将神经网络的权重设置为小于输入大小,我们实现了标量场的压缩表示,从而将帧压缩作为一种函数逼近。结合仔细量化网络权重,我们表明,这种方法产生高度紧凑的表示,优于最先进的体积压缩方法。我们的方法的概念简单,使许多好处,如支持随时间变化的标量场,优化,以保持空间梯度,和随机访问字段的评估。我们研究了网络设计选择对压缩性能的影响,强调了简单的网络架构对各种卷的有效性。
2021-04-11 cs.GR cs.LG
Efficient Multi-Prize Lottery Tickets: Enhanced Accuracy, Training, and Inference Speed
Northeastern University(东北大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
最近,Diffenderfer和Kailkhura提出了一种新的范式,用于简单地通过修剪和量化随机加权的全精度神经网络来学习紧凑但高度精确的二进制神经网络。然而,这些多奖票(MPTs)的准确性是高度敏感的最佳修剪比,这限制了它们的适用性。此外,最初的实现没有获得任何训练或推理速度的好处。在本报告中,我们讨论了克服这些限制的几项改进。我们通过在CIFAR-10上进行实验来展示所提出的技术的好处。
2022-09-26 cs.AI cs.LG
Proximal Mean-field for Neural Network Quantization
Australian National University(澳大利亚国立大学);University of Oxford(牛津大学)
通过量化参数来压缩大型神经网络(NN),同时保持性能是非常可取的,因为减少了存储器和时间复杂度。在这项工作中,我们铸造NN量化作为一个离散的标签问题,并通过检查松弛,我们设计了一个有效的迭代优化过程,涉及随机梯度下降,然后投影。我们证明了我们简单的投影梯度下降方法,事实上,相当于一个近端版本的著名的平均场方法。这些发现将使几十年来对MRF优化的理论研究能够用于设计更好的网络量化方案。我们在卷积和残差架构的标准分类数据集(MNIST,CIFAR 10/100,TinyImageNet)上的实验表明,我们的算法获得了完全量化的网络,其精度非常接近浮点参考网络。
2019-08-19 cs.CV cs.LG
PROM: Prioritize Reduction of Multiplications Over Lower Bit-Widths for Efficient CNNs
Robert Bosch GmbH(博世公司)
PROM通过选择性量化深度可分离CNN的逐点卷积为三值权重、其余为8位,将乘法转为int8加法,在ImageNet上实现23.9倍能耗降低和2.7倍存储缩减,保持精度。
2025-08-06 cs.CV cs.LG
Compression with Bayesian Implicit Neural Representations
University of Cambridge(剑桥大学)
本文提出用变分贝叶斯神经网络过拟合数据并结合相对熵编码进行压缩,通过最小化β-ELBO直接优化率失真性能,在图像和音频压缩上表现优异。
2023-10-29 cs.IT cs.LG math.IT
Attacking Binarized Neural Networks
University of Guelph(圭尔夫大学);Canadian Institute for Advanced Research(加拿大高级研究所);Vector Institute for Artificial Intelligence(向量人工智能研究所)
具有低精度权重和激活的神经网络与其全精度等效物相比具有令人信服的效率优势。量化的两个最常讨论的好处是减少内存消耗,以及在使用有效的逐位操作实现时更快的前向传递。我们提出了极低精度神经网络的第三个好处:提高了对某些对抗攻击的鲁棒性,在最坏的情况下,性能与全精度模型相当。我们专注于非常低精度的情况下,权重和激活都被量化为$\pm$ 1,并注意到,随机量化权重在一个层可以大大减少迭代攻击的影响。我们观察到,未缩放的二进制神经网络表现出类似的效果,原来的防御蒸馏过程,导致梯度掩蔽,和一个错误的安全概念。我们通过使用不人为掩盖梯度的二进制模型进行黑盒和白盒实验来解决这个问题。
2018-01-31 cs.LG stat.ML
MambaQuant: Quantizing the Mamba Family with Variance Aligned Rotation Methods
Houmo AI(鸿谋科技);Nanjing University(南京大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Southeast University(东南大学)
本文提出 MambaQuant 训练后量化框架,通过 KLT 增强旋转和 Smooth-Fused 旋转解决 Mamba 模型中的离群值与通道方差不一致问题,首次实现 Mamba 家族权重和激活 8 位量化且准确率损失低于 1%。
2025-03-11 cs.AI cs.CL cs.LG
Improving Neural Network Quantization without Retraining using Outlier Channel Splitting
Cornell University(康奈尔大学)
量化可以改善神经网络在商用GPU和专用加速器上的执行延迟和能效。现有的大多数文献都集中在训练量化的DNN上,而这项工作则研究了在没有(重新)训练的情况下量化浮点模型的研究较少的主题。DNN权重和激活在训练后遵循钟形分布,而实际硬件使用线性量化网格。这导致在处理分布中的异常值方面的挑战。先前的工作已经通过裁剪离群值或使用专门的硬件来解决这个问题。在这项工作中,我们提出了离群通道分裂(OCS),它复制包含离群值的通道,然后将通道值减半。网络在功能上保持相同,但受影响的离群值被移向分布的中心。OCS不需要额外的培训,可以在商用硬件上工作。对ImageNet分类和语言建模的实验评估表明,OCS可以以较小的开销胜过最先进的裁剪技术。
2019-05-22 cs.LG stat.ML
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.(三星半导体有限公司);Microsoft(微软)
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的,因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数,建立了一种统一的后训练量化方案,取得了令人满意的结果。然而,当量化到较低的比特宽度时,它遭受显著的性能下降。在本文中,我们提出了一个分段线性量化(PWLQ)计划,使张量值,具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域,每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明,与现有的训练后量化方法相比,该方法在图像分类、语义分割和目标检测等方面具有更好的性能,且开销较小.
2020-03-18 cs.CV cs.LG
A Statistical Framework for Low-bitwidth Training of Deep Neural Networks
University of California, Berkeley(加州大学伯克利分校)
全量化训练(FQT)通过量化神经网络模型的激活、权重和梯度来使用低位宽硬件,是加速深度神经网络训练的一种有前途的方法。FQT的一个主要挑战是缺乏理论理解,特别是梯度量化如何影响收敛特性。在本文中,我们解决这个问题,提出了一个统计框架分析FQT算法。我们将FQT的量化梯度视为其全精度对应物的随机估计器,这一过程称为量化感知训练(QAT)。我们证明了FQT梯度是QAT梯度的无偏估计,并讨论了梯度量化对其方差的影响。受这些理论结果的启发,我们开发了两种新的梯度量化器,我们表明,这些比现有的每张量量化器具有更小的方差。对于在ImageNet上训练ResNet-50,我们的5位块Householder量化器相对于QAT仅实现了0.5%的验证准确度损失,与现有的INT 8基线相当。
2020-10-27 cs.LG stat.ML
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.(三星半导体公司)
深度学习革命为我们带来了广泛的神经网络架构,这些架构在各种计算机视觉任务中实现了最先进的性能,包括分类、检测和分割。与此同时,我们也一直在观察计算和内存需求的前所未有的需求,使神经网络在低功耗设备中的有效使用几乎无法实现。为此,我们提出了一个三阶段的压缩和加速管道,稀疏化,量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力,从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$,分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩,降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$,分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
LoRAP: Low-Rank Aggregation Prompting for Quantized Graph Neural Networks Training
The Hong Kong Polytechnic University(香港理工大学)
LoRAP通过低秩聚合提示提升量化图神经网络训练性能,减少计算开销并提高低比特量化效果。
2026-01-21 cs.LG cs.SI
Qronos: Correcting the Past by Shaping the Future... in Post-Training Quantization
Department of Mathematics University of California, San Diego(数学系加州大学圣地亚哥分校);Software Architecture Advanced Micro Devices, Inc.(软件架构先进微器件公司);Department of Mathematics & HDSI University of California, San Diego(数学系及HDSI加州大学圣地亚哥分校)
Qronos通过迭代优化框架在训练后量化中显式纠正误差并超越现有方法,提升模型精度。
2026-02-17 cs.AI cs.LG math.OC
CrossQuant: A Post-Training Quantization Method with Smaller Quantization Kernel for Precise Large Language Model Compression
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Mathematics, Tianjin University(天津大学数学学院)
本文提出了一种名为CrossQuant的训练后量化方法,通过利用行列绝对最大值向量交叉量化激活值来最小化“量化核”,从而在6.7B至70B参数的LLaMA和OPT模型上有效维持甚至提升了INT8量化后的精度。
2024-10-10 cs.AI cs.LG
Accurate and Compact Convolutional Neural Networks with Trained Binarization
City University of Hong Kong(香港城市大学)
虽然卷积神经网络(CNN)现在广泛应用于各种计算机视觉应用中,但其对参数存储和计算的巨大资源需求使得在移动和嵌入式设备上的部署变得困难。最近,二进制卷积神经网络被探索以通过仅用1个单个比特量化权重和激活来帮助缓解这个问题。然而,与全精度模型相比,可能存在明显的精度下降。在本文中,我们提出了一种改进的训练方法,以提高精度。引入了权重和激活的可训练缩放因子以增加值范围。这些缩放因子将通过反向传播与其他参数联合训练。此外,还提出了一种特殊的训练算法,包括对不连续二值化函数导数的紧逼近和对权值比例因子的$L_2$正则化。通过这些改进,二进制CNN在CIFAR-10上使用VGG-Small网络实现了92.3%的准确率。在ImageNet上,我们的方法在AlexNet上获得了46.1%的top-1准确率,在Resnet-18上获得了54.2%的准确率,超过了以前的作品。
2019-09-25 cs.CV cs.LG
DBQ: A Differentiable Branch Quantizer for Lightweight Deep Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Texas Instruments Inc(德州仪器公司)
深度神经网络已经在各种计算机视觉任务上实现了最先进的性能。然而,它们在资源受限设备上的部署由于其高计算和存储复杂性而受到阻碍。虽然各种复杂性降低技术,如轻量级网络架构设计和参数量化,已经成功地降低了实现这些网络的成本,但这些方法通常被认为是正交的。实际上,现有的量化技术无法在轻量级架构(如MobileNet)上复制其成功。为此,我们提出了一种新的完全可微的非均匀量化器,可以无缝地映射到有效的基于三进制的点积引擎。我们在CIFAR-10,ImageNet和Visual Wake Words数据集上进行了全面的实验。建议的量化器(DBQ)成功地解决了艰巨的任务,积极量化轻量级网络,如MobileNetV 1,MobileNetV 2和ShuffleNetV 2。DBQ以最小的训练开销实现了最先进的结果,并提供了最佳(帕累托最优)的准确性-复杂性权衡。
2020-07-19 cs.CV cs.LG stat.ML
Learnable Companding Quantization for Accurate Low-bit Neural Networks
Oki Electric Industry Co Ltd.(冲电气工业株式会社)
量化深度神经网络是用于减少存储器消耗和提高推理速度的有效方法,并且因此对于在资源受限的设备中实现是有用的。然而,极低位模型仍然很难达到与全精度模型相当的精度。为了解决这个问题,我们提出了可学习的压扩量化(LCQ)作为一种新的非均匀量化方法的2位,3位和4位模型。LCQ联合优化模型权重和可学习的压扩函数,可以灵活和非均匀地控制权重和激活的量化级别。我们还提出了一种新的权重归一化技术,允许更稳定的量化训练。实验结果表明,LCQ优于传统的国家的最先进的方法,缩小了量化和全精度模型之间的差距,图像分类和目标检测任务。值得注意的是,ImageNet上的2位ResNet-50模型实现了75.1%的top-1准确度,并将差距缩小到1.7%,使LCQ能够进一步利用非均匀量化的潜力。
2021-03-12 cs.CV cs.LG
$S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks
University of Montreal(蒙特利尔大学);University of Waterloo(滑铁卢大学)
移位神经网络通过去除昂贵的乘法运算并将连续权重量化为低位离散值来降低计算复杂度,与传统神经网络相比,其速度快且能量高效。然而,现有的移位网络是敏感的权重初始化,并产生一个下降的性能所造成的消失梯度和权重符号冻结问题。为了解决这些问题,我们提出了S低位重新参数化,一种用于训练低位移位网络的新技术。我们的方法分解一个离散参数的符号稀疏移位3倍的方式。通过这种方式,它有效地学习了一个低比特网络,其权重动态类似于全精度网络,并且对权重初始化不敏感。我们提出的训练方法推动了移位神经网络的边界,并显示3位移位网络在ImageNet上的top-1精度方面优于其全精度对应网络。
2021-12-06 cs.CV cs.LG
NICE: Noise Injection and Clamping Estimation for Neural Network Quantization
Technion(以色列理工学院);Tel-Aviv University(特拉维夫大学)
卷积神经网络(CNN)在包括计算机视觉、语音识别、自然语言处理等许多领域中非常流行。虽然深度学习在这些领域带来了突破性的性能,但所使用的网络在计算上要求非常高,即使在GPU上也远非实时,这是不节能的,因此不适合移动设备等低功耗系统。为了克服这一挑战,已经提出了一些解决方案来量化这些网络的权重和激活,这大大加快了运行时间。然而,这种加速是以更大的误差为代价的。本文提出的\uniqname方法通过噪声注入和学习箝位来训练量化的神经网络,提高了精度。这导致了各种回归和分类任务的最新结果,例如,使用ResNet-18/34/50等架构的ImageNet分类,低至3位权重和激活。我们在FPGA上实现了所提出的解决方案,以证明其适用于低功耗实时应用。该论文的实现可在https://github.com/Lancer555/NICE上获得
2018-10-02 cs.CV cs.LG
tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks
Technische Universität Wien (TU Wien)(维也纳工业大学);New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
较大的脉冲神经网络(SNN)模型通常是有利的,因为它们可以提供更高的准确性。然而,在资源和能量受限的嵌入式平台上采用这样的模型是低效的。为此,我们提出了一个tinySNN框架,该框架在训练和推理阶段优化了SNN处理的内存和能量需求,同时保持了高精度。该方法通过减少SNN运算量、提高学习质量、量化SNN参数和选择合适的SNN模型来实现。此外,我们的tinySNN量化不同的SNN参数(即,权重和神经元参数)以最大化压缩,同时探索量化方案、精度水平和舍入方案的不同组合以找到提供可接受精度的模型。实验结果表明,与基线网络相比,我们的tinySNN显着减少了SNN的内存占用和能耗,而没有准确性损失。因此,我们的tinySNN有效地压缩给定的SNN模型,以实现高精度的内存和能源效率的方式,从而使SNN的资源和能源受限的嵌入式应用程序的就业。
2022-06-17 cs.AI cs.AR cs.LG
PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization
New York University(纽约大学)
虽然在为深度神经网络开发非空泛化边界方面已经取得了进展,但这些边界往往无法说明深度学习为什么有效。在本文中,我们开发了一种基于线性子空间中量化神经网络参数的压缩方法,对以前的结果进行了深刻的改进,为各种任务提供了最先进的泛化范围,包括迁移学习。我们使用这些严格的界限来更好地理解模型大小,等方差和优化的隐式偏差的作用,以便在深度学习中推广。值得注意的是,我们发现大型模型可以被压缩到比以前更大的程度,封装奥卡姆剃刀。我们还认为,在解释泛化的数据独立的界限。
2022-11-24 cs.LG stat.ML
Efficient 8-Bit Quantization of Transformer Neural Machine Language Translation Model
Intel Corporation(英特尔公司)
在这项工作中,我们在最新的英特尔$^\circledR$ Xeon $^\circledR$ Cascade Lake处理器中利用INT 8/VNNI指令构建了一个经过训练的Transformer机器语言翻译模型,以提高推理性能,同时保持准确性下降小于0.5 $\%$。据我们所知,这是业界首次尝试对Transformer模型进行加密。这具有很高的影响力,因为它清楚地表明了量化语言翻译模型的各种复杂性。我们直接在TensorFlow中提出了新的量化技术,以利用8位整数(INT 8)取代32位浮点(FP 32)计算,并转换FP 32计算图。我们还提出了一个装箱并行处理技术,以最大限度地提高CPU利用率。总体而言,我们对INT 8/VNNI的优化比最佳FP 32性能提高了1.5倍。此外,它还揭示了提升量化深度学习推理性能的机遇和挑战,并建立了在英特尔CPU上高效运行推理的最佳实践。
2019-06-07 cs.LG
Post-training Quantization for Neural Networks with Provable Guarantees
University of California San Diego(加州大学圣地亚哥分校)
虽然神经网络在广泛的应用中取得了显著的成功,但在资源受限的硬件中实现它们仍然是一个深入研究的领域。通过用量化的(例如,4位或二进制)对应,实现了计算成本、存储器和功耗的大量节省。为此,我们概括了一个后训练神经网络量化方法,GPFQ,这是基于贪婪的路径跟踪机制。除其他外,我们提出了修改,以促进稀疏的权重,并严格分析相关的错误。此外,我们的误差分析扩展了先前GPFQ工作的结果,以处理一般的量化字母表,表明对于量化单层网络,相对平方误差基本上在权重数量上线性衰减-即,过度参数化。我们的结果适用于一系列输入分布,并且适用于全连接和卷积架构,从而也扩展了以前的结果。为了对该方法进行经验评估,我们使用几种常见的架构,每种架构的权重都很少,并在ImageNet上进行测试,与未量化的模型相比,准确性只有轻微的损失。我们还表明,标准的修改,如偏差校正和混合精度量化,进一步提高精度。
2023-01-15 cs.AI cs.LG stat.ML
SQWA: Stochastic Quantized Weight Averaging for Improving the Generalization Capability of Low-Precision Deep Neural Networks
Seoul National University(首尔国立大学)
设计具有良好泛化能力的深度神经网络(DNN)是一个复杂的过程,特别是当权重严重量化时。模型平均是实现DNN良好泛化能力的一种很有前途的方法,特别是当用于训练的损失表面包含许多尖锐的极小值时。我们提出了一种新的量化神经网络优化方法,随机量化加权平均(SQWA),设计低精度DNN具有良好的泛化能力,使用模型平均。所提出的方法包括(1)浮点模型训练,(2)权重的直接量化,(3)在具有循环学习率的再训练期间捕获多个低精度模型,(4)平均捕获的模型,以及(5)重新量化平均模型并以低学习率对其进行微调。此外,我们提出了一个损失可视化技术的量化权重域,以清楚地阐明所提出的方法的行为。可视化结果表明,一个量化DNN(QDNN)与所提出的方法优化位于中心附近的平坦的最小值的损失表面。通过SQWA训练,我们在CIFAR-100和ImageNet数据集上获得了2位QDNN的最新结果。虽然我们只采用了一个统一的量化方案,在VLSI或低精度神经处理单元的实现,实现的性能超过了以前的研究采用非均匀量化。
2020-02-02 cs.LG stat.ML
Efficient Neural PDE-Solvers using Quantization Aware Training
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究院)
本文研究神经 PDE 求解器的推理效率问题,系统评估量化感知训练对权重和激活的压缩效果,证明其可在四个数据集、三种架构和三个 FLOPs 数量级上保持性能并实现成本-性能 Pareto 最优。
2023-08-14 cs.AI cs.LG
Binary domain generalization for sparsifying binary neural networks
Politecnico di Torino(都灵理工大学);EURECOM(欧洲通信学院)
本文提出一种更鲁棒的二值域以改进二值神经网络剪枝,通过闭式解量化权重,在CIFAR数据集上实现高效稀疏网络,降低内存和延迟。
2023-06-23 cs.LG
Quantized Memory-Augmented Neural Networks
Seoul National University(首尔大学)
记忆增强神经网络(MANN)是指一类配备有外部记忆的神经网络模型(如神经图灵机和记忆网络)。这些神经网络在学习长期依赖性方面优于传统的递归神经网络(RNN),使它们能够解决有趣的人工智能任务,否则很难解决。本文研究了人工神经网络的量化问题。当我们在资源有限的嵌入式系统上部署深度模型时,量化是有效的。此外,量化可以大大减少推理过程的能量消耗。这些好处证明了量化多层感知器,卷积网络和RNN的最新发展。然而,没有先前的工作已经报道了成功的量子化的人。本文的深入分析揭示了其他网络量化中没有出现的各种挑战。如果不适当地解决它们,量化的MANN通常会遭受过度的量化误差,这导致性能下降。在本文中,我们确定内存寻址(具体来说,基于内容的寻址)的性能下降的主要原因,并提出了一个强大的量化方法的人工神经网络来解决的挑战。在我们的实验中,与浮点实现相比,我们使用8位定点和二进制量化实现了22倍的计算能量增益。在bAbI数据集上测量,与使用传统技术量化的MANN相比,所得到的模型,称为量化MANN(Q-MANN),分别用8位定点和二进制量化将出错率提高了46%和30%。
2017-11-10 cs.LG stat.ML
Neural Networks beyond explainability: Selective inference for sequence motifs
Université de Lyon(里昂大学);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);VetAgro Sup(国立兽医、农学与食品学院);École Centrale de Lyon(里昂中央理工学院)
在过去的十年里,神经网络已经成功地从生物序列中进行预测,特别是在调控基因组学的背景下。与深度学习的其他领域一样,已经设计了一些工具来提取特征,例如可以解释训练网络所做预测的序列基序。在这里,我们打算超越可解释的机器学习,并引入SEISM,这是一种选择性推理程序,用于测试这些提取的特征与预测表型之间的关联。特别是,我们讨论了如何训练一层卷积网络在形式上等同于选择最大化某个关联得分的基序。我们适应现有的采样为基础的选择性推理程序,通过量化这个选择在一个无限的集合到一个大的,但有限的网格。最后,我们表明,在一个特定的参数选择下的采样是足够的特征复合零假设通常用于选择性推理的结果,远远超出了我们的特定框架。我们说明了我们的方法在校准,功率和速度方面的行为,并讨论了它的功率/速度权衡与一个更简单的数据分割策略。SEISM为调控基因组学中使用的神经网络的更简单分析以及全基因组关联研究(GWAS)的更强大方法铺平了道路。
2022-12-23 cs.LG q-bio.GN stat.ML
Mirror Descent View for Neural Network Quantization
Australian National University(澳大利亚国立大学);Amazon(亚马逊公司);Data61, CSIRO(联邦科学与工业研究组织Data61研究院);University of Oxford(牛津大学);Five AI(Five AI公司)
由于减少了存储器和时间复杂度,量化大的神经网络(NN)同时保持性能对于资源有限的设备是非常期望的。它通常被公式化为一个约束优化问题,并通过梯度下降的修改版本进行优化。在这项工作中,通过将连续参数(无约束)解释为量化参数的对偶,我们引入了NN量化的镜像下降(MD)框架。具体来说,我们提供了预测的条件(即,从连续映射到量化映射),这将使我们能够导出有效的镜像映射,进而导出相应的MD更新。此外,我们提出了一个数值稳定的MD实现,需要存储一组额外的辅助变量(无约束),并表明它是惊人的类似于直通估计(STE)为基础的方法,通常被视为一个“技巧”,以避免消失的梯度问题。我们在CIFAR-10/100、TinyImageNet和ImageNet分类数据集上的实验表明,我们的MD变体获得了具有最先进性能的量化网络。代码可在https://github.com/kartikgupta-at-anu/md-bnn上获得。
2021-03-02 cs.CV cs.LG stat.ML
Quantization Networks
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);University of Southern California(南加州大学)
虽然深度神经网络非常有效,但其高计算和存储成本严重挑战了其在便携式设备上的应用。因此,将全精度神经网络转换为低位宽整数形式的低比特量化一直是一个活跃且有前途的研究课题。现有的方法将网络的低比特量化表示为近似或优化问题。基于近似的方法面临梯度失配问题,而基于优化的方法仅适用于量化权重,并且在训练阶段会引入较高的计算成本。在本文中,我们提出了一个新的角度来解释和实现神经网络量化制定低比特量化作为一个可微的非线性函数(称为量化函数)。所提出的量化函数可以以无损和端到端的方式学习,并且以简单和统一的方式适用于神经网络的任何权重和激活。对图像分类和目标检测任务的大量实验表明,我们的量化网络优于最先进的方法。我们相信,所提出的方法将揭示新的见解神经网络量化的解释。我们的代码可在https://github.com/aliyun/alibabacloud-quantization-networks上获得。
2019-11-28 cs.CV cs.LG stat.ML
Error Diffusion: Post Training Quantization with Block-Scaled Number Formats for Neural Networks
AMD(超威半导体公司)
本文提出一种无需超参数且不依赖反向传播的后训练量化方法error diffusion(ED),通过将神经网络视为复合函数扩散各层量化误差,并配合基于PyTorch的TensorCast库支持块缩放数字格式,有效提升了视觉模型和LLMs的量化效果与部署。
2024-10-15 cs.LG
Lightweight Compression of Intermediate Neural Network Features for Collaborative Intelligence
Simon Fraser University(西蒙弗雷泽大学)
在协作智能应用中,深度神经网络(DNN)的一部分部署在移动电话或边缘设备等轻量级设备上,而DNN的其余部分则在更多计算资源可用的地方(如云中)进行处理。本文提出了一种新的轻量级压缩技术,专门设计用于对分裂DNN的中间层输出的特征进行压缩,而不需要对网络权重进行任何重新训练。开发了用于估计该中间层的ReLU和泄漏ReLU激活的限幅和量化误差的数学模型,并用于计算粗量化的最佳限幅范围。我们还提出了一种改进的熵约束设计算法的量化裁剪激活。当应用于流行的对象检测和分类DNN时,我们能够将32位浮点中间激活压缩到0.6到0.8位,同时将准确性损失保持在1%以下。与HEVC相比,我们发现轻量级编解码器始终提供更好的推理准确性,高达1.3%。这种轻量级压缩技术的性能和简单性使其成为对边缘/云应用的分裂神经网络的中间层进行编码的有吸引力的选择。
2021-05-15 cs.LG eess.IV
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research(Meta现实实验室研究部门);AGH UST(AGH科技大学)
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性,通常通过量化权重。大多数现有的作品采用线性量化,这会导致相当大的下降,在精度的权重位宽低于8。由于权重的分布通常是不均匀的(大多数权重集中在零附近),因此其他方法(如对数量化)更适合,因为它们能够更精确地保持权重分布的形状。此外,使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中,我们探讨利用较低的位精度的非线性量化技术,并确定有利的硬件实现选项。我们开发了量化感知训练(QAT)算法,该算法允许训练低位宽的二次幂(PoT)网络,并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术,并研究了三种不同量化方案(均匀,PoT和附加PoT(APoT))的MAC单元的硬件设计,以显示使用所提出的方法时提高的效率。实验结果表明,对于低位宽精度,非均匀量化的性能优于均匀量化,同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
Mixed Precision Post Training Quantization of Neural Networks with Sensitivity Guided Search
University of Notre Dame(圣母大学);Google LLC(谷歌有限责任公司)
由于模型大小和复杂性的增加,高效且低延迟地服务大规模机器学习(ML)模型变得具有挑战性。量化模型可以同时减少内存和计算需求,促进其广泛访问。然而,对于大型模型,并非所有层都同样适用于相同的数值精度,并且激进的量化可能导致模型精度的不可接受的损失。防止这种精度下降的一种方法是混合精度量化,它允许不同的张量被量化到不同的数值精度水平,利用现代硬件的能力。这种混合精度量化可以更有效地将数值精度分配给不同的张量,以保持模型的准确性,同时减少占用空间和计算延迟。在本文中,我们提出了一种方法来有效地确定不同的张量在ML模型中使用后训练混合精度量化的量化配置。我们分析了三个敏感性指标,并评估他们指导配置搜索的两个算法。我们评估了我们的计算机视觉和自然语言处理方法,并证明与基线16位浮点模型相比,延迟降低了27.59%和34.31%,同时保证不超过1%的准确性下降。
2023-02-07 cs.LG
Alternating Multi-bit Quantization for Recurrent Neural Networks
Peking University(北京大学);Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
循环神经网络在许多应用中取得了优异的性能。然而,在资源有限的便携式设备上,模型通常太大而无法部署。对于服务器上具有大规模并发请求的应用程序,推理期间的延迟对于昂贵的计算资源也可能非常关键。在这项工作中,我们通过将网络(包括权重和激活)量化为多个二进制代码{-1,+1}来解决这些问题。我们制定的量化作为一个优化问题。在关键的观察,一旦量化系数是固定的二进制码可以得到有效的二叉搜索树,交替最小化,然后应用。我们测试了两个众所周知的RNN的量化,即,长短期记忆(LSTM)和门控递归单元(GRU),在语言模型上。与全精度计数器部分相比,通过2位量化,我们可以在CPU上实现约16倍的内存节省和约6倍的实推理加速,而精度只有合理的损失。通过3位量化,我们可以实现几乎没有损失的准确性,甚至超过原始模型,节省约10.5倍的内存和约3倍的实际推理加速。这两个结果都比现有的量化作品有很大的差距。我们扩展我们的交替量化图像分类任务。在RNN和前馈神经网络中,该方法也取得了优异的性能。
2018-02-01 cs.LG stat.ML
Exploring the Potential of Low-bit Training of Convolutional Neural Networks
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京国家信息科学与技术研究中心(BNRist))
在这项工作中,我们提出了一个低比特训练框架的卷积神经网络,这是建立在一个新的多级缩放(MLS)张量格式。我们的框架侧重于通过将所有卷积操作数量化为低位宽格式来降低卷积操作的能耗。具体来说,我们提出了MLS张量格式,其中元素的位宽可以大大减少。然后,我们描述了动态量化和低比特张量卷积算法,以有效地利用MLS张量格式。实验表明,我们的框架实现了更好的平衡之间的准确性和比特宽度比以前的低比特训练框架。对于在CIFAR-10上训练各种模型,使用1位尾数和2位指数足以将精度损失保持在$1\%$内。在像ImageNet这样的大型数据集上,使用4位尾数和2位指数足以将精度损失保持在$1\%$范围内。通过对计算单元的能耗仿真,我们可以估计,用我们的框架训练各种模型,可以分别获得比全精度和8位浮点算法训练更高的能量效率$8.3\sim10.2\times$和$1.9\sim2.3\times$。
2021-07-14 cs.LG stat.ML
ODG-Q: Robust Quantization via Online Domain Generalization
The University of Hong Kong(香港大学)
将神经网络量化到低位宽对于在资源有限的边缘硬件上部署模型很重要。虽然量化网络具有较小的模型大小和内存占用,但它对对抗攻击很脆弱。然而,很少有方法研究量化网络的鲁棒性和训练效率。为此,我们提出了一种新的方法,通过将鲁棒量化作为在线领域泛化问题,称为ODG-Q,它在训练过程中以低成本生成各种对抗数据。ODG-Q在对抗各种对抗攻击方面始终优于现有的作品。例如,在CIFAR-10数据集上,ODG-Q在五种常见的白盒攻击下平均提高了49.2%,在五种常见的黑盒攻击下平均提高了21.7%,训练成本与自然训练(即没有对手)相似。据我们所知,这项工作是第一项在ImageNet上训练量化和二进制神经网络的工作,这些网络在不同的攻击下始终提高鲁棒性。我们还提供了一个理论上的见解ODG-Q的帐户上的模型风险受攻击的数据。
2022-10-17 cs.CV cs.LG
Efficient and Effective Methods for Mixed Precision Neural Network Quantization for Faster, Energy-efficient Inference
IBM Research(IBM研究院)
本文提出EAGL和ALPS两种混合精度量化层选择方法,在ResNet和BERT上以4位与2位混合精度恢复全精度性能,并显著减少计算时间。
2024-01-10 cs.CV cs.LG
QEBVerif: Quantization Error Bound Verification of Neural Networks
ShanghaiTech University(上海科技大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Automotive Software Innovation Center(汽车软件创新中心);Singapore Management University(新加坡管理大学)
本文提出名为QEBVerif的量化误差界限验证方法,结合差分可达性分析与混合整数线性规划,对权重和激活张量均量化的神经网络进行可靠且完备的验证。
2023-05-23 cs.AI cs.LG
DQA: An Efficient Method for Deep Quantization of Deep Neural Network Activations
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
针对现有深度神经网络激活量化方法开销高、少有关注6位以下深度量化的问题,提出基于移位运算与Huffman编码的DQA方法,在多任务多数据集上精度显著优于现有方法。
2024-12-12 cs.CV cs.LG stat.ML
Variational Bayesian Quantization
University of California, Irvine(加州大学尔湾分校)
我们提出了一种新的算法,用于量化训练模型中的连续潜在表示。我们的方法适用于深度概率模型,如变分自编码器(VAE),并支持数据和模型压缩。与当前的端到端神经压缩方法不同,该方法将模型迎合固定的量化方案,我们的算法将模型设计和训练与量化分离。因此,我们的算法使“即插即用”压缩与可变率失真的权衡,使用一个单一的训练模型。我们的算法可以被看作是一种新的扩展算术编码的连续域,并使用自适应量化精度的基础上估计的后验不确定性。我们的实验结果表明,考虑到后验不确定性的重要性,并表明,图像压缩与所提出的算法优于JPEG在很宽的范围内的比特率,只使用一个标准的VAE。贝叶斯神经词嵌入的进一步实验证明了所提出的方法的通用性。
2020-09-07 cs.CV cs.LG eess.IV