Adaptive Quantization for Deep Neural Network
Singapore University of Technology and Design（新加坡科技设计大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
近年来，深度神经网络（DNN）在各种应用中得到了快速发展，同时架构也越来越复杂。这些DNN的性能增益通常伴随着高计算成本和大内存消耗，这对于移动平台来说可能是负担不起的。深度模型量化可以用于减少DNN的计算和内存成本，并在移动设备上部署复杂的DNN。在这项工作中，我们提出了一个深度模型量化的优化框架。首先，我们提出了一种测量方法来估计各个层中的参数量化误差对整体模型预测精度的影响。然后，我们提出了一个优化过程，基于此测量为每一层找到最佳量化位宽。本文首次从理论上分析了各层参数量化误差与模型精度的关系。我们的新量化算法优于以前的量化优化方法，并实现了20-40%的压缩率相比，在相同的模型预测精度的等位宽量化。
2017-12-04 cs.LG stat.ML
A Mean Field Theory of Quantized Deep Networks: The Quantization-Depth Trade-Off
Technion（以色列理工学院）；Columbia University（哥伦比亚大学）
降低神经网络训练中权重和激活函数的精度，同时对性能的影响最小，对于在资源受限的环境中部署这些模型至关重要。我们应用平均场技术与量化的激活网络，以评估在初始化时的量化降低信号传播的程度。我们推导出初始化方案，最大限度地提高在这样的网络中的信号传播，并建议为什么这是有帮助的推广。在这些结果的基础上，我们得到了$L_{\max}$的封闭形式隐式方程，最大可训练深度（因此模型容量），给定$N$，激活函数中的量化水平的数量。数值求解该方程，我们渐近地得到：$L_{\max}\propto N^{1.82}$。
2019-10-31 cs.LG stat.ML
Additive Powers-of-Two Quantization: An Efficient Non-uniform Discretization for Neural Networks
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）
针对神经网络中权重和激活的钟形和长尾分布，提出了一种有效的非均匀量化方案--加性二次幂（APoT）量化。通过将所有量化水平约束为2的幂项之和，APoT量化享有高计算效率和与权重分布的良好匹配。一个简单的重新参数化的裁剪功能，以产生一个更好的定义梯度学习裁剪阈值。此外，提出了权重归一化来细化权重分布，使训练更加稳定和一致。实验结果表明，我们提出的方法优于国家的最先进的方法，甚至是竞争力的全精度模型，证明了我们提出的APoT量化的有效性。例如，我们在ImageNet上的4位量化ResNet-50实现了76.6%的top-1准确率，没有花哨的装饰;同时，与均匀量化的模型相比，我们的模型减少了22%的计算成本。该代码可在https://github.com/yhhhli/APoT_Quantization上获得。
2020-02-02 cs.LG stat.ML
ReLeQ: A Reinforcement Learning Approach for Deep Quantization of Neural Networks
University of California San Diego（加州大学圣地亚哥分校）；Google Brain（谷歌大脑）
深度神经网络（DNN）在用于计算机视觉应用的推理任务中通常需要大量计算资源。量化可以通过减少网络编码的位宽来显着减少DNN的计算和存储。最近的研究证实，仔细选择每层的量化级别可以保持精度，同时将位宽推到8位以下。然而，如果没有艰苦的手动工作，这种深度量化可能会导致显著的准确性损失，使其处于可疑的实用位置。因此，深度量化打开了一个大的超参数空间（层的位宽），对其的探索是一个重大挑战。我们提出了一种系统的方法来解决这个问题，通过端到端的深度强化学习框架（ReLeQ）自动化发现量化级别的过程。我们调整策略优化方法的量化问题，并专注于寻找最佳的设计决策，选择状态和动作空间，网络架构和训练框架，以及各种超参数的调整。我们展示了ReLeQ如何平衡速度和质量，并为各种深度网络（AlexNet，CIFAR-10，LeNet，MobileNet-V1，ResNet-20，SVHN和VGG-11）的量化提供了一种非对称的通用解决方案，几乎保留了准确性（=< 0.3%损失），同时最大限度地减少了计算和存储成本。通过这些DNN，ReLeQ使传统硬件能够在8位执行上实现2.2倍的加速。同样，与8位运行相比，自定义DNN加速器实现了2.0倍的加速和能耗降低。这些令人鼓舞的结果标志着ReLeQ是实现神经网络深度量化自动化的第一步。
2020-04-16 cs.LG stat.ML
Dataflow-based Joint Quantization of Weights and Activations for Deep Neural Networks
A ⋆ STAR（新加坡科技研究局）；MILA（米拉魁北克人工智能研究院）；IVADO（魁北克数据 valorization 研究所）；IME A ⋆ STAR（新加坡科技研究局材料研究与工程研究所）；School of CSE NTU（南洋理工大学计算机科学与工程学院）
本文解决了一个具有挑战性的问题-如何在推理阶段部署深度神经网络（DNN）时降低能耗而不会导致性能下降。为了减轻计算和存储负担，我们提出了一种新的基于卷积的联合量化方法，假设较少的量化操作将导致较少的信息丢失，从而提高最终的性能。它首先介绍了一种有效的比特移位和舍入操作的量化方案，以表示网络参数和激活在低精度。然后对网络结构进行重构，形成统一的模块，在量化模型上进行优化。在ImageNet和KITTI上进行的大量实验验证了我们模型的有效性，证明了这种量化模型可以实现各种任务的最先进结果。此外，我们设计并综合了一个RTL模型来衡量各种量化方法的硬件成本。对于每个量化操作，与强基线相比，它将面积成本降低约15倍，能耗降低约9倍。
2019-01-04 cs.LG stat.ML
Automatic low-bit hybrid quantization of neural networks through meta learning
IBM Research – China（IBM中国研究院）
模型量化是一种广泛用于压缩和加速深度神经网络（DNN）推理的技术，特别是在部署到计算能力和功耗预算有限的边缘或物联网设备时。跨所有层的均匀比特宽度量化通常是次优的，并且针对不同层的混合量化的探索对于有效的深度压缩至关重要。本文采用元学习方法自动实现神经网络的低比特混合量化。MetaQuantNet与量化函数一起被训练以生成目标DNN的量化权重。然后，我们应用遗传算法搜索最佳的混合量化政策，满足压缩约束。使用搜索到的最佳量化策略，我们随后进行重新训练或微调，以进一步提高量化目标网络的性能。大量的实验表明，搜索的混合量化方案的性能优于均匀位宽对应。与现有的基于强化学习（RL）的混合量化搜索方法相比，这种方法依赖于繁琐的探索，我们的元学习方法对于任何压缩要求都更有效，因为MetaQuantNet只需要训练一次。
2020-04-24 cs.CV cs.LG stat.ML
Hardware-friendly Deep Learning by Network Quantization and Binarization
Beihang University（北京航空航天大学）
量化正在成为促进硬件友好型深度学习和在资源有限的硬件上运行深度神经网络的有效方法。然而，它仍然会导致网络准确性的显著下降。我们将量化的挑战总结为两类：不同架构的量化和复杂场景的量化。我们的研究主要集中在将量化应用于各种架构和场景，并推动量化的极限，以极大地压缩和加速网络。对量化的全面研究将使深度学习实现更强大、更高效、更灵活的硬件友好性，并使其更好地适应更多的现实应用。
2021-12-01 cs.LG
SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network Quantization
University of California San Diego（加州大学圣地亚哥分校）；Halıcıoğlu Data Science Institute（哈利西奥卢数据科学研究所）
本文提出SPFQ随机量化算法，以线性计算复杂度量化大型神经网络权重，并首次在无限字母表条件下建立全网络误差界，证明过参数化程度越高误差线性衰减，且仅需约loglogN比特即可达到无限字母表情形下的误差界。
2023-09-20 cs.LG stat.ML
Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
量化技术可以通过利用高吞吐量整数指令来减小深度神经网络的大小并改善推理延迟和吞吐量。在本文中，我们回顾了量化参数的数学方面，并评估他们的选择范围广泛的神经网络模型，用于不同的应用领域，包括视觉，语音和语言。我们专注于量化技术，适合加速处理器与高吞吐量整数数学管道。我们还提出了一个8位量化的工作流程，该工作流程能够在所研究的所有网络上将精度保持在浮点基线的1%以内，包括更难以量化的模型，如MobileNets和BERT-large。
2020-04-20 cs.LG stat.ML
StatQAT: Statistical Quantizer Optimization for Deep Networks
Intel（英特尔）
本文提出了一种新的统计误差分析框架，用于统一和浮点量化，以提供理论洞察，针对不同数据分布的量化配置误差行为。基于此分析，作者提出了适用于任意数据分布的迭代量化器和适用于高斯似分布权重的分析量化器，从而实现了高效的低误差量化，适用于激活和权重。将这些量化器整合到量化感知训练中，并在整数和浮点格式上进行了评估，实验表明提高了准确性和稳定性，展示了该方法在训练低精度神经网络中的有效性。
2026-05-18 cs.LG stat.ML
Negative Log Likelihood Ratio Loss for Deep Neural Network Classification
Huawei Technologies（华为技术有限公司）；University of Alberta（阿尔伯塔大学）
在深度神经网络中，交叉熵损失函数通常用于分类。最小化交叉熵等价于在均匀特征和类分布的假设下最大化似然。它属于生成性训练标准，不直接区分正确的类和竞争的类。我们提出了一个歧视性的损失函数与负对数似然比之间的正确和竞争类。它在CIFAR-10图像分类任务上的性能明显优于交叉熵损失。
2018-04-27 cs.LG stat.ML
Retraining-Based Iterative Weight Quantization for Deep Neural Networks
Samsung Research（三星研究院）
模型压缩由于其在保持DNN的准确性的同时显著减少硬件资源需求的能力而获得了很多关注。模型压缩对于内存密集型递归神经网络特别有用，因为较小的内存占用不仅对于减少存储需求而且对于快速推理操作至关重要。量化被认为是一种有效的模型压缩方法，研究人员对最小化表示参数的比特数感兴趣。在这项工作中，我们引入了一种迭代技术来应用量化，呈现高压缩比，而无需对训练算法进行任何修改。在所提出的技术中，权重量化之后是用全精度权重重新训练模型。我们表明，迭代再训练产生新的权重集，可以量化，在每次迭代减少量化损失。我们还表明，量化能够有效地利用修剪，另一种有效的模型压缩方法。结合这两种方法的实施问题也得到了解决。我们的实验结果表明，使用1位量化权重的LSTM模型对于PTB数据集是足够的，而没有任何准确性下降，而以前的方法需要至少2-4位量化权重。
2018-05-29 cs.LG stat.ML
TensorQuant - A Simulation Toolbox for Deep Neural Network Quantization
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）
最近的研究表明，深度神经网络（DNN）的训练和推理可以用训练/测试数据、权重和梯度的低精度数值表示来计算，而不会损失一般的准确性。这种紧凑表示的好处是双重的：它们可以显着减少分布式DNN训练中的通信瓶颈，并在FPGA等硬件加速器上更快地实现神经网络。已经提出了几种量化方法来将原始的32位浮点问题映射到低位表示。虽然大多数相关出版物在单个DNN拓扑上验证了所提出的方法，但显然，量化方法和编码比特数的最佳选择是拓扑相关的。为此，没有通用的理论，这将允许用户在DNN拓扑的设计期间导出最佳量化。在本文中，我们为TensorFlow框架提供了一个量化工具箱。TensorQuant允许在训练和推理期间对现有DNN拓扑进行透明量化模拟。TensorQuant支持通用量化方法，并允许对量化对单层以及完整拓扑的影响进行实验评估。在使用TensorQuant的第一系列实验中，我们展示了对流行的CNN拓扑的定点量化的分析。
2017-10-13 cs.CV cs.LG stat.ML
Loss-aware Weight Quantization of Deep Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
深度网络的巨大规模阻碍了它们在小型计算设备中的使用。在本文中，我们考虑压缩网络的重量量化。我们将最近提出的损失感知权重二值化方案扩展到三值化，对于正权重和负权重可能具有不同的缩放参数，以及m位（其中m > 2）量化。在前馈和递归神经网络上的实验表明，该方案优于最先进的权重量化算法，并且与全精度网络一样准确（甚至更准确）。
2018-05-10 cs.LG
Towards the Limit of Network Quantization
Samsung US R&D Center（三星美国研发中心）
网络量化是减少深度神经网络冗余的网络压缩技术之一。它通过量化减少了不同网络参数值的数量，以节省存储空间。在本文中，我们设计的网络量化方案，最大限度地减少由于量化的压缩比约束的性能损失。我们分析了量化误差与神经网络损失函数的定量关系，并确定了Hessian加权失真测度是优化网络量化的局部目标函数。因此，Hessian-weighted k-means聚类被提出用于聚类网络参数以进行分类。当最佳变长二进制码（例如，Huffman码进行进一步压缩，推导出网络量化问题可以与信息论中的熵约束标量量化（ECSQ）问题相联系，从而提出了两种ECSQ网络量化方案，即，均匀量化和类似于Lloyd算法的迭代解。最后，使用简单的均匀量化和霍夫曼编码，我们的实验表明，LeNet、32层ResNet和AlexNet分别可以实现51.25、22.17和40.65的压缩比。
2017-11-13 cs.CV cs.LG cs.NE
Quantizing deep convolutional networks for efficient inference: A whitepaper
Google（谷歌）
我们提出了一个概述的技术量化卷积神经网络的推理与整数权重和激活。对于各种各样的CNN架构，权重的每通道量化和激活的每层量化到8位精度后训练产生在浮点网络的2%内的分类准确度。通过将权重量化为8位，即使不支持8位算法，也可以将模型大小减少4倍。这可以通过简单的后训练量化权重来实现。我们在CPU和DSP上对量化网络的浮点数进行了基准测试，并观察到量化实现与CPU上的浮点数相比的2倍-3倍的加速比。在具有固定点SIMD功能的专用处理器上，如采用HVX的Qualcomm QDSP，可以观察到高达10倍的速度提升。量化感知训练可以提供进一步的改进，在8位精度下将浮点差距缩小到1%。量化感知训练还允许将权重的精度降低到4位，精度损失范围从2%到10%，对于较小的网络，精度损失更高。我们介绍了TensorFlow和TensorFlowLite中用于量化卷积网络的工具，并回顾了量化感知训练的最佳实践，以获得量化权重和激活的高精度。我们建议将权重的每通道量化和激活的每层量化作为硬件加速和内核优化的首选量化方案。我们还建议，未来的处理器和硬件加速器优化推理支持精度为4，8和16位。
2018-06-21 cs.CV cs.LG stat.ML
QuSecNets: Quantization-based Defense Mechanism for Securing Deep Neural Network against Adversarial Attacks
Technische Universität Wien (TU Wien)（维也纳工业大学）；National University of Sciences and Technology (NUST)（国立科技大学）
对抗性样本已经成为机器学习算法的一个重大威胁，特别是对卷积神经网络（CNN）。在本文中，我们提出了两种基于量化的防御机制，常数量化（CQ）和可训练量化（TQ），以提高CNN对对抗性示例的鲁棒性。CQ基于“固定”数量的量化级别量化输入像素强度，而在TQ中，量化级别“在训练阶段迭代学习”，从而提供更强的防御机制。我们将所提出的技术应用于不设防的CNN，以对抗来自开源\textit{Cleverhans}库的不同最先进的对抗攻击。实验结果表明，在\textit{Cleverhans}库中可用的常用CNN（Conv 2D（64，8x8）-Conv 2D（128，6x6）-Conv 2D（128，5x 5）- Dense（10）- Softmax（））上，分别从MNIST和CIFAR-10数据集生成的扰动图像的分类准确度提高了50%-96%和10%-50%。
2020-05-14 cs.CR cs.LG stat.ML
U-Net Fixed-Point Quantization for Medical Image Segmentation
Ecole Polytechnique Montreal（蒙特利尔高等理工学院）；Mila-University of Montreal（蒙特利尔大学Mila）；Polytechnique Montreal（蒙特利尔高等理工学院）
利用模型量化来减少深度神经网络的内存消耗和计算时间。这是通过与其高精度浮点对应物相比以较低的位分辨率表示权重和激活来实现的。合适的量化水平与模型性能直接相关。降低量化精度（例如，2比特）减少了存储模型参数所需的存储器量和实现计算块所需的逻辑量，这有助于降低整个系统的功耗。这些好处通常是以降低精度为代价的。主要的挑战是尽可能地优化网络，同时保持性能准确性。在这项工作中，我们提出了一个量化的方法，在医学图像分割的流行模型的U-网架构。然后，我们将我们的量化算法应用于三个数据集：（1）脊髓灰质分割（GM），（2）电子显微镜（EM）中神经元结构分割的ISBI挑战，以及（3）腹部CT扫描中胰腺分割的公共国家卫生研究院（NIH）数据集。报告的结果表明，只有4位的权重和6位的激活，我们获得了8倍的内存需求减少，而损失只有2.21%，0.57%和2.09%的骰子重叠分数分别为EM，GM和NIH数据集。我们的定点量化提供了准确性和内存需求之间的灵活权衡，这是以前的U-Net量化方法（如TernaryNet）所不具备的。
2019-09-09 cs.LG eess.IV stat.ML
Neural Network-based Quantization for Network Automation
Technical University of Munich（慕尼黑工业大学）；Nokia Bell Labs（诺基亚贝尔实验室）
深度学习方法已被用于移动网络，特别是用于网络管理自动化，其中它们为高级机器认知提供了手段。深度学习方法利用尖端的硬件和软件工具，允许开发复杂的认知算法。在最近的一篇论文中，我们介绍了Bounding Sphere Quantization（BSQ）算法，这是k-Means算法的一种修改，可以为某些网络管理用例（如异常检测）创建更好的量化。然而，BSQ需要比k-Means长得多的训练时间，这是一个可以通过基于神经网络的实现来克服的挑战。在本文中，我们提出了这样一种BSQ实现，它利用最先进的深度学习工具来实现具有竞争力的训练速度。
2021-03-04 cs.LG
DQA: An Efficient Method for Deep Quantization of Deep Neural Network Activations
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
针对现有深度神经网络激活量化方法开销高、少有关注6位以下深度量化的问题，提出基于移位运算与Huffman编码的DQA方法，在多任务多数据集上精度显著优于现有方法。
2024-12-12 cs.CV cs.LG stat.ML
Bit Efficient Quantization for Deep Neural Networks
Latent AI；SRI International（SRI国际）
深度神经网络的量化为边缘设备提供了模型，这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中，我们提出了一个模型参数驱动的量化方法，可以实现低至3位的精度，而不影响精度的比较。训练后量化方法是无数据的，并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络（DNN）的量化结果。为了更好地分析量化结果，我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.（三星半导体有限公司）；Microsoft（微软）
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的，因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数，建立了一种统一的后训练量化方案，取得了令人满意的结果。然而，当量化到较低的比特宽度时，它遭受显著的性能下降。在本文中，我们提出了一个分段线性量化（PWLQ）计划，使张量值，具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域，每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明，与现有的训练后量化方法相比，该方法在图像分类、语义分割和目标检测等方面具有更好的性能，且开销较小.
2020-03-18 cs.CV cs.LG
Deep Learning Methods for Joint Optimization of Beamforming and Fronthaul Quantization in Cloud Radio Access Networks
Jeonbuk National University（全北国立大学）；Pukyong National University（釜庆国立大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
跨接入点（AP）的协作波束形成和前传量化策略对于云无线接入网络（C-RAN）系统是必不可少的。C-RAN优化问题的非凸性源于每个AP的功率和前传容量约束，需要高计算复杂度来执行迭代算法。为了解决这个问题，我们研究了一种深度学习方法，其中优化模块被替换为训练有素的深度神经网络（DNN）。提出了一种有效的学习解决方案，该解决方案构造DNN以产生最佳波束成形和量化策略的低维表示。数值结果验证了所提出的学习解决方案的优点。
2021-07-06 cs.IT cs.LG eess.SP
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research（Meta现实实验室研究部门）；AGH UST（AGH科技大学）
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性，通常通过量化权重。大多数现有的作品采用线性量化，这会导致相当大的下降，在精度的权重位宽低于8。由于权重的分布通常是不均匀的（大多数权重集中在零附近），因此其他方法（如对数量化）更适合，因为它们能够更精确地保持权重分布的形状。此外，使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中，我们探讨利用较低的位精度的非线性量化技术，并确定有利的硬件实现选项。我们开发了量化感知训练（QAT）算法，该算法允许训练低位宽的二次幂（PoT）网络，并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术，并研究了三种不同量化方案（均匀，PoT和附加PoT（APoT））的MAC单元的硬件设计，以显示使用所提出的方法时提高的效率。实验结果表明，对于低位宽精度，非均匀量化的性能优于均匀量化，同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
Standard Deviation-Based Quantization for Deep Neural Networks
McGill University（麦吉尔大学）
深度神经网络的量化是一种很有前途的方法，可以降低推理成本，使在资源受限的设备上运行深度网络变得可行。受现有方法的启发，我们提出了一个新的框架，使用网络的权重和激活分布的知识来学习量化区间（离散值），即，标准偏差此外，我们提出了一种新的基2对数量化方案，将权重转换为2的幂次离散值。我们提出的方案，使我们能够取代资源饥饿的高精度乘法器与简单的移位加操作。根据我们的评估，与全精度模型相比，我们的方法优于CIFAR 10和ImageNet数据集上的现有工作，甚至在3位权重和激活下实现了更好的准确性性能。此外，我们的方案同时修剪网络的参数，并允许我们灵活地调整修剪率在量化过程中。
2022-02-24 cs.AI cs.LG
Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection
University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Irvine（加州大学尔湾分校）
提出了一种基于优化的低位宽卷积神经网络（CNN）量化和训练方法LBW-Net。具体来说，我们通过在反向传播过程中最小化全精度权重和量化权重之间的欧几里得距离，将权重转换为零或2的幂。我们的特征的低位宽量化问题的组合性质。对于2位（三进制）CNN，$N$权重的量化可以通过$O(N\log N)$复杂度的精确公式来完成。当位宽为3及以上时，我们进一步提出了一种半解析阈值方案，该方案具有单个用于量化的自由参数，在计算上是廉价的。通过网络再训练和目标检测测试进一步确定自由参数。LBW-Net与全精度CNN相比具有几个理想的优势，包括节省大量内存，能源效率和更快的部署。我们在PASCAL VOC数据集上的实验表明，与32位浮点算法相比，6位LBW-Net在目标检测任务中的性能几乎是无损的，在某些真实世界的视觉场景中甚至可以做得更好，同时经验上享受超过4个$\times$更快的部署。
2017-08-17 cs.LG
ILMPQ : An Intra-Layer Multi-Precision Deep Neural Network Quantization framework for FPGA
Northeastern University（东北大学）
本工作针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。我们专注于DNN量化作为主要的模型压缩技术。这项工作的新颖之处在于：我们使用了一种沿着层内维度支持多精度的量化方法，而现有的量化方法沿着层间维度应用多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。我们提出的ILMPQ DNN量化框架在ImageNet数据集上的ResNet-18中达到了70.73 Top1的准确度。我们还在两个FPGA器件上验证了所提出的MSP框架，Xilinx XC 7Z 020和XC 7Z 045。与定点量化方法相比，我们在ImageNet上实现了3.65倍的端到端推理时间加速。
2021-10-30 cs.LG
Quantization Aware Factorization for Deep Neural Network Compression
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出一种量化感知的张量分解算法，利用ADMM直接获得CP分解的量化因子，在压缩神经网络的同时保持预测质量，并展现出与训练后量化方法相比的竞争力和灵活性。
2023-08-08 cs.LG
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego（加州大学圣地亚哥分校）
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而，修剪通常仅应用于网络的权重。在这项工作中，我们联合应用新的均匀量化和非结构化修剪方法，在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法，我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例，并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察，我们提出了非交换性假设：对于一个为特定任务训练的给定深度神经网络，存在一个精确的训练时间表，其中可以引入量化和修剪来优化网络性能。我们确定，这种最佳顺序不仅存在，而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划，我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
Quantization-Aware Regularizers for Deep Neural Networks Compression
Italian MUR PRIN project（意大利MUR PRIN项目）；National Plan for NRRP Complementary Investments（国家NRRP补充投资计划）
本文提出了一种深度神经网络压缩方法，通过在训练过程中引入每层正则化项，使权重自然形成聚类，从而减少量化带来的精度损失，同时保持压缩潜力，并首次将量化参数嵌入反向传播过程。
2026-02-03 cs.LG
The Lattice Geometry of Neural Network Quantization -- A Short Equivalence Proof of GPTQ and Babai's Algorithm
Department of Mathematics University of California San Diego（数学系 加州大学圣迭戈分校）
本文通过几何方法证明了GPTQ算法与Babai算法的等价性，并探讨了晶格基底约简在量化中的潜在应用。
2026-03-02 cs.AI cs.LG
Neural Network Quantization with AI Model Efficiency Toolkit (AIMET)
Qualcomm AI Research（高通人工智能研究院）
虽然神经网络已经在许多机器学习应用中推进了前沿，但它们通常具有很高的计算成本。降低神经网络推理的功耗和延迟对于将现代网络集成到具有严格功耗和计算要求的边缘设备至关重要。神经网络量化是实现这些节省的最有效方法之一，但是它引起的额外噪声可能导致精度降低。在本白皮书中，我们概述了使用AI模型效率工具包（AIMET）的神经网络量化。AIMET是一个最先进的量化和压缩算法库，旨在减轻模型优化所需的工作，从而推动更广泛的AI生态系统实现低延迟和节能推理。AIMET为用户提供了模拟和优化PyTorch和TensorFlow模型的能力。具体地，对于量化，AIMET包括各种训练后量化（PTQ，参见第4章）和量化意识培训（QAT，参见第5章）保证8位定点推理接近浮点精度的技术。我们通过涵盖PTQ和QAT工作流程，代码示例和实用技巧，提供了通过AIMET进行量化的实用指南，使用户能够使用AIMET高效地对模型进行建模，并获得低位整数推理的好处。
2022-01-20 cs.AI cs.AR cs.LG
Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference
Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of California San Diego（加州大学圣地亚哥分校）；Xilinx Research（赛灵思研究院）；Northwestern University（西北大学）
针对硬件中的推理进行优化的高效机器学习实现具有广泛的优势，具体取决于应用，从较低的推理延迟到较高的数据吞吐量和降低的能耗。减少神经网络中计算的两种流行技术是修剪，去除不重要的突触，以及量化，降低计算的精度。在这项工作中，我们探索了在针对高能物理用例的超低延迟应用的神经网络训练期间修剪和量化之间的相互作用。为这项研究开发的技术在许多其他领域有潜在的应用。我们研究了在量化感知训练过程中修剪的各种配置，我们称之为量化感知修剪，以及正则化，批量归一化和不同修剪方案等技术对性能，计算复杂性和信息内容度量的影响。我们发现，量化感知修剪产生更多的计算效率比修剪或量化单独为我们的任务模型。此外，与其他神经架构搜索技术（如贝叶斯优化）相比，量化感知修剪通常在计算效率方面执行类似或更好。令人惊讶的是，虽然具有不同训练配置的网络对于基准应用程序可以具有相似的性能，但网络中的信息内容可能会有很大差异，从而影响其通用性。
2021-07-19 cs.LG hep-ex physics.data-an
Differentiable Search for Finding Optimal Quantization Strategy
ByteDance Inc.（字节跳动公司）；Xi’an Jiaotong University（西安交通大学）
针对现有量化算法采用统一策略量化所有层的次优问题，提出可微量化策略搜索方法DQSS，为每层分配最优量化策略，在图像分类、超分辨率任务上性能优于现有最优方法。
2024-04-15 cs.LG eess.IV
CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Technische Universität Wien (TU Wien)（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
在当今智能网络物理系统的时代，深度神经网络（DNN）由于其在复杂的现实世界应用中的最先进性能而变得无处不在。这些网络的高计算复杂性转化为增加的能耗，是在资源受限系统中部署大型DNN的最大障碍。通过训练后量化实现的定点（FP）实现通常用于减少这些网络的能耗。然而，FP中的均匀量化间隔将数据结构的比特宽度限制为大值，这是由于需要以足够的分辨率表示大多数数字并避免高量化误差。在本文中，我们利用了关键的见解，即（在大多数情况下）DNN权重和激活大多集中在零附近，只有少数具有较大的幅度。我们提出了CoNLoCNN，这是一种通过利用以下内容实现节能低精度深度卷积神经网络推理的框架：（1）权重的非均匀量化，从而简化复杂的乘法运算;以及（2）激活值之间的相关性，从而能够以低成本部分补偿量化误差，而无需任何运行时开销。为了从非均匀量化中显著受益，我们还提出了一种新的数据表示格式，编码低精度二进制有符号数字，以压缩权重的位宽，同时确保直接使用编码权重进行处理，使用新的乘法和累加（MAC）单元设计。
2022-07-31 cs.AR cs.LG
Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks
RWTH Aachen University（亚琛工业大学）
深度神经网络（DNN）部署在边缘设备上生成的数据附近的最大挑战是它们的大小，即，存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长，DNN的能量效率成比例地增加。然而，较低的字长通常会导致精度下降。为了抵消这种影响，量化的DNN被重新训练。不幸的是，训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题，我们提出了一个后训练量化流程，而不需要再培训。为此，我们研究了不同的量化选项。此外，我们的分析系统地评估了减少词长度的权重和激活的影响，揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关，并适用于均匀量化，允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下，我们量化到8位的精度超过了浮点精度。
2022-10-14 cs.AI cs.CV cs.LG
Compressing Deep Convolutional Networks using Vector Quantization
Facebook AI Research（脸书人工智能研究院）；Snapchat（色拉布）
深度卷积神经网络（CNN）已成为最有前途的对象识别方法，近年来多次展示了图像分类和目标检测的破纪录结果。然而，非常深的CNN通常涉及具有数百万个参数的许多层，使得网络模型的存储量非常大。这禁止在资源有限的硬件上使用深度CNN，尤其是手机或其他嵌入式设备。在本文中，我们通过研究用于压缩CNN参数的信息理论矢量量化方法来解决这个模型存储问题。特别是，我们发现在压缩最需要存储的密集连接层方面，矢量量化方法比现有的矩阵分解方法有明显的优势。简单地将k均值聚类应用于权重或进行乘积量化可以在模型大小和识别精度之间实现非常好的平衡。对于ImageNet挑战中的1000个类别分类任务，我们能够使用最先进的CNN实现16-24倍的网络压缩，而分类精度仅损失1%。
2014-12-18 cs.CV cs.LG cs.NE
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
