Differentiable Fine-grained Quantization for Deep Neural Network Compression
Duke University（杜克大学）；University of Nevada, Reno（内华达大学雷诺分校）；Nanjing University（南京大学）
神经网络在认知任务中表现出了很好的性能。当在资源有限的移动设备上部署网络模型时，权重量化已被广泛采用。二进制量化获得最高的压缩，但通常会导致大的精度下降。实际上，通常使用8位或16位量化，目的是保持与原始32位精度相同的精度。我们观察到不同的层具有不同的量化精度敏感性。因此，明智地为不同的层/结构选择不同的精度可以通过在精度和压缩率之间取得更好的平衡，潜在地产生比传统量化方法更有效的模型。在这项工作中，我们提出了一种细粒度的量化方法，深度神经网络压缩放松量化位宽的搜索空间从离散到连续域。所提出的方法应用基于梯度下降的优化来生成混合精度的量化方案，该方案在相同的压缩率下优于传统量化方法的精度。
2018-11-13 cs.AI cs.CV
Aggregated Learning: A Deep Learning Framework Based on Information-Bottleneck Vector Quantization
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）；Beihang University（北京航空航天大学）
基于信息瓶颈（IB）的概念，我们制定了一个量化问题称为“IB量化”。我们表明IB量化等效于基于IB原则的学习。在这种等价性下，标准神经网络模型可以被看作是标量（单样本）IB量化器。从传统的率失真理论可知，标量量化器劣于矢量（多样本）量化器。这样的缺陷，然后启发我们开发一种新的学习框架，AgrLearn，对应于矢量IB量化器的学习与神经网络。与标准网络不同，AgrLearn同时针对多个数据样本进行优化。我们通过实验验证了AgrLearn在应用于当前几种用于图像识别和文本分类的深度学习架构时可以带来显著的改进。我们还通过经验证明，AgrLearn可以减少ResNet训练所需的训练样本的80%。
2019-02-12 cs.AI cs.IT cs.LG
Evolutionary fine tuning of quantized convolution-based deep learning models
AGH University（AGH大学）
本文提出利用进化策略优化量化模型的精度，通过调整少量权重的量化状态提升性能，验证了在VGG、ResNet等架构上的有效性。
2026-04-19 cs.AI cs.LG cs.NE
Trained Quantization Thresholds for Accurate and Efficient Fixed-Point Inference of Deep Neural Networks
Xilinx Inc.（赛灵思公司）；Stanford University（斯坦福大学）
提出了一种基于标准反向传播和梯度下降的均匀对称量化器量化阈值训练方法。与以前的工作相反，我们表明，通过阈值梯度的直通估计的仔细分析，允许一个自然的范围精度权衡，从而获得更好的最优值。我们的量化器被限制为使用2的幂的比例因子和每张量缩放的权重和激活，使其适合硬件实现。我们为我们的方法的一般鲁棒性提供了分析支持，并在ImageNet分类的各种CNN上进行了经验验证。我们能够在传统上困难的网络（如MobileNets）上实现接近浮点的精度，而量化（8位）再训练不到5个历元。最后，我们介绍了Graffitist，这是一个能够为TQT自动量化TensorFlow图的框架（可在https://github.com/Xilinx/graffitist上获得）。
2020-02-28 cs.AI cs.CV cs.LG
LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks
Microsoft Research（微软研究院）
虽然权重和激活量化是深度神经网络（DNN）压缩的有效方法，并且具有很大的潜力来利用位操作提高推理速度，但量化模型和全精度模型之间在预测精度方面仍然存在明显的差距。为了解决这一差距，我们建议联合训练量化的，位操作兼容的DNN及其相关的量化器，而不是使用固定的，手工制作的量化方案，如均匀或对数量化。我们的方法学习量化器适用于网络权重和激活与任意位精度，我们的量化器很容易训练。在CIFAR-10和ImageNet数据集上进行的综合实验表明，我们的方法在AlexNet、VGG-Net、GoogLeNet、ResNet和DenseNet等各种网络结构上都表现良好，在准确性方面超过了以前的量化方法。代码可在https://github.com/Microsoft/LQ-Nets获得
2018-07-26 cs.AI cs.CV
Deep Learning with Low Precision by Half-wave Gaussian Quantization
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research Redmond（微软雷德蒙德研究院）；Megvii Inc.（旷视科技）
研究了深度神经网络的激活量化问题。流行的二进制量化方法的检查表明，这包括近似一个经典的非线性，双曲正切，由两个函数：一个分段常数符号函数，用于前馈网络计算，和一个分段线性硬双曲正切函数，用于网络学习过程中的反向传播步骤。然后考虑了在最近的深度学习文献中广泛使用的近似ReLU非线性的问题。提出了一种半波高斯量化器（HWGQ）的前向近似和高效的实现，利用统计的网络激活和批量归一化操作中常用的文献。为了克服梯度失配的问题，由于使用不同的前向和后向近似，几个分段向后逼近器，然后研究。所得到的量化网络（表示为HWGQ-Net）的实现被证明比以前可用的低精度网络（具有1位二进制权重和2位量化激活）实现更接近全精度网络（如AlexNet，ResNet，GoogLeNet和VGG-Net）的性能。
2017-02-03 cs.AI cs.CV cs.LG
DiverGet: A Search-Based Software Testing Approach for Deep Neural Network Quantization Assessment
当在嵌入式系统或手机上部署经过训练的深度神经网络（DNN）模型时，量化是应用最广泛的DNN压缩策略之一。这是由于其简单性和对广泛应用和环境的适应性，而不是通常仅为某些特定硬件（例如，Google Coral Edge TPU）。随着对量化的需求不断增长，确保该策略的可靠性正成为一个关键挑战。传统的测试方法收集越来越多的真实数据以进行更好的评估，但由于输入空间很大以及原始DNN与量化DNN之间的高度相似性，因此通常不实用。因此，先进的评估战略变得至关重要。在本文中，我们提出了DiverGet，基于搜索的量化评估的测试框架。DiverGet定义了一个变形关系的空间，模拟输入上自然发生的扭曲。然后，它最佳地探索这些关系，以揭示不同算法精度的DNN之间的分歧。我们评估了DiverGet在应用于高光谱遥感图像的最先进DNN上的性能。我们选择了遥感DNN，因为它们越来越多地部署在边缘（例如，高升力无人机）在气候变化研究和天文学等关键领域。我们的研究结果表明，DiverGet成功地挑战了现有量化技术对自然发生的移位数据的鲁棒性，并优于其最新的并发DiffChaser，成功率（平均）高出四倍。
2022-07-13 cs.AI cs.LG cs.SE
Quantization Adaptor for Bit-Level Deep Learning-Based Massive MIMO CSI Feedback
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在大规模多输入多输出（MIMO）系统中，用户设备（UE）需要将信道状态信息（CSI）反馈给基站（BS）以用于随后的波束成形。但是大规模MIMO系统中天线的大规模会导致巨大的反馈开销。基于深度学习（DL）的方法可以在UE处压缩CSI并在BS处恢复它，这显著降低了反馈成本。但是压缩后的CSI必须量化成比特流才能传输。在本文中，我们提出了一个适配器辅助量化策略的比特级DL为基础的CSI反馈。首先，我们设计了一个网络辅助适配器和一个先进的训练方案，以自适应地提高量化和重建精度。此外，为了便于实际使用，我们引入了数据分布的专家知识，并提出了一个可插拔的和免费的适配器方案。实验表明，与现有的反馈量化方法相比，该自适应量化策略能够在较少或不增加额外开销的情况下获得更好的量化精度和重构性能。这些开源代码可在https://github.com/zhang-xd18/QCRNet上获得。
2022-11-09 cs.AI cs.IT math.IT
Pruning and Quantization for Deep Neural Network Acceleration: A Survey
University of Science and Technology Beijing（北京科技大学）；Hua Xia General Processor Technologies（华夏通用处理器技术公司）；General Processor Technologies（通用处理器技术公司）
深度神经网络已经应用于在计算机视觉领域中表现出非凡能力的许多应用中。然而，复杂的网络架构对高效的实时部署提出了挑战，并需要大量的计算资源和能源成本。这些挑战可以通过网络压缩等优化来克服。网络压缩通常可以在精度损失很小的情况下实现。在某些情况下，准确性甚至可以提高。本文综述了两种网络压缩方法：剪枝和量化。修剪可以被分类为静态的（如果它是离线执行的）或动态的（如果它是在运行时执行的）。我们比较修剪技术，并描述用于删除冗余计算的标准。我们讨论了在元素方面，通道方面，形状方面，过滤器方面，层方面，甚至网络方面的修剪的权衡。量化通过降低数据类型的精度来减少计算。权重、偏置和激活通常可以被量化为8位整数，尽管还讨论了包括二进制神经网络的较低位宽实现。修剪和量化可以独立使用或组合使用。我们比较了当前的技术，分析了它们的优缺点，在一些框架上展示了压缩网络的准确性结果，并为压缩网络提供了实用的指导。
2021-06-15 cs.AI cs.CV
VLCQ: Post-training quantization for deep neural networks using variable length coding
Faculty of Engineering, Cairo University（开罗大学工程学院）
本文提出VLCQ训练后量化方法，放宽定点编码约束，在无需训练数据或微调的情况下，提升了图像分类等任务的模型压缩率与准确率，性能优于多数现有同类方法。
2026-10-14 cs.AI cs.CV cs.PF
Reversible Quantization Index Modulation for Static Deep Neural Network Watermarking
Jinan University（暨南大学）；Sun Yatsen University（中山大学）
针对静态DNN水印不可逆嵌入破坏模型的问题，提出基于RDH和QIM的可逆水印方案，采用一维量化器嵌入水印并设计完整性保护与合法认证方案，仿真证明其可行且优于现有方法。
2023-06-27 cs.AI cs.CR
Vector Quantization for Deep-Learning-Based CSI Feedback in Massive MIMO Systems
POSTECH（浦项科技大学）
本文提出基于VQ-VAE和形状-增益向量量化的有限速率CSI反馈方法，通过非均匀标量码本和可训练格拉斯曼码本量化潜在向量，并设计多速率码本，在降低计算复杂度的同时提升CSI重建性能。
2024-03-13 cs.AI cs.CV eess.SP
Hardware-friendly Deep Learning by Network Quantization and Binarization
Beihang University（北京航空航天大学）
量化正在成为促进硬件友好型深度学习和在资源有限的硬件上运行深度神经网络的有效方法。然而，它仍然会导致网络准确性的显著下降。我们将量化的挑战总结为两类：不同架构的量化和复杂场景的量化。我们的研究主要集中在将量化应用于各种架构和场景，并推动量化的极限，以极大地压缩和加速网络。对量化的全面研究将使深度学习实现更强大、更高效、更灵活的硬件友好性，并使其更好地适应更多的现实应用。
2021-12-01 cs.LG
D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs
Shanghai Jiao Tong University（上海交通大学）；Tencent Hunyuan（腾讯文心）
D$^2$Quant通过双尺度量化器和偏差感知修正提升低比特权重量化精度，实现更高效的LLM部署。
2026-02-06 cs.AI cs.LG
D$^2$-DPM: Dual Denoising for Quantized Diffusion Probabilistic Models
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
针对扩散模型量化后量化噪声导致的均值和方差偏差问题，提出双重去噪机制D2-DPM，在每个时间步先去除量化噪声再通过逆扩散迭代去噪，在实现3.99倍压缩和11.67倍加速的同时生成质量优于全精度模型。
2025-03-04 cs.CV cs.LG
Stability Analysis of Various Symbolic Rule Extraction Methods from Recurrent Neural Network
The Pennsylvania State University（宾夕法尼亚州立大学）；University of South Florida（南佛罗里达大学）
本文比较了量化和等价查询两种规则提取方法在RNN中的稳定性，发现O2RNN和量化方法在DFA提取上更稳定，而$L^{*}$在部分训练时状态数易膨胀。
2024-02-04 cs.LG
Loss-aware Weight Quantization of Deep Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
深度网络的巨大规模阻碍了它们在小型计算设备中的使用。在本文中，我们考虑压缩网络的重量量化。我们将最近提出的损失感知权重二值化方案扩展到三值化，对于正权重和负权重可能具有不同的缩放参数，以及m位（其中m > 2）量化。在前馈和递归神经网络上的实验表明，该方案优于最先进的权重量化算法，并且与全精度网络一样准确（甚至更准确）。
2018-05-10 cs.LG
The Impact of Quantization and Pruning on Deep Reinforcement Learning Models
Metropolitan College, Boston University（波士顿大学大都会学院）；Harvard Medical School（哈佛医学院）；MathWorks（迈斯沃克公司）
本文系统研究了量化和剪枝对深度强化学习模型在平均回报、内存、推理时间和电池使用方面的影响，发现压缩虽减小模型尺寸但通常不提升能效，并为资源受限场景下的高效部署提供了权衡指导。
2024-07-05 cs.AI cs.LG
Adaptive Quantization for Deep Neural Network
Singapore University of Technology and Design（新加坡科技设计大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
近年来，深度神经网络（DNN）在各种应用中得到了快速发展，同时架构也越来越复杂。这些DNN的性能增益通常伴随着高计算成本和大内存消耗，这对于移动平台来说可能是负担不起的。深度模型量化可以用于减少DNN的计算和内存成本，并在移动设备上部署复杂的DNN。在这项工作中，我们提出了一个深度模型量化的优化框架。首先，我们提出了一种测量方法来估计各个层中的参数量化误差对整体模型预测精度的影响。然后，我们提出了一个优化过程，基于此测量为每一层找到最佳量化位宽。本文首次从理论上分析了各层参数量化误差与模型精度的关系。我们的新量化算法优于以前的量化优化方法，并实现了20-40%的压缩率相比，在相同的模型预测精度的等位宽量化。
2017-12-04 cs.LG stat.ML
Bit Efficient Quantization for Deep Neural Networks
Latent AI；SRI International（SRI国际）
深度神经网络的量化为边缘设备提供了模型，这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中，我们提出了一个模型参数驱动的量化方法，可以实现低至3位的精度，而不影响精度的比较。训练后量化方法是无数据的，并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络（DNN）的量化结果。为了更好地分析量化结果，我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Deep Unfolding with Kernel-based Quantization in MIMO Detection
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对MIMO检测中深度展开模型量化部署的性能下降问题，提出基于核的自适应量化框架，通过KDE与MMD对齐激活分布、动态调整量化步长，提升了量化精度并降低推理延迟。
2025-05-19 cs.LG
ILMPQ : An Intra-Layer Multi-Precision Deep Neural Network Quantization framework for FPGA
Northeastern University（东北大学）
本工作针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。我们专注于DNN量化作为主要的模型压缩技术。这项工作的新颖之处在于：我们使用了一种沿着层内维度支持多精度的量化方法，而现有的量化方法沿着层间维度应用多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。我们提出的ILMPQ DNN量化框架在ImageNet数据集上的ResNet-18中达到了70.73 Top1的准确度。我们还在两个FPGA器件上验证了所提出的MSP框架，Xilinx XC 7Z 020和XC 7Z 045。与定点量化方法相比，我们在ImageNet上实现了3.65倍的端到端推理时间加速。
2021-10-30 cs.LG
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University（南京大学）
随着深度神经网络的发展，网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法，但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中，我们提出了一种用于模型压缩的新型量化方法，称为基于权重归一化的量化（WNQ）。WNQ采用权值归一化来避免网络权值的长尾分布，从而减小量化误差。在CIFAR-100和ImageNet上的实验表明，WNQ可以超越其他基线，实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
量化技术可以通过利用高吞吐量整数指令来减小深度神经网络的大小并改善推理延迟和吞吐量。在本文中，我们回顾了量化参数的数学方面，并评估他们的选择范围广泛的神经网络模型，用于不同的应用领域，包括视觉，语音和语言。我们专注于量化技术，适合加速处理器与高吞吐量整数数学管道。我们还提出了一个8位量化的工作流程，该工作流程能够在所研究的所有网络上将精度保持在浮点基线的1%以内，包括更难以量化的模型，如MobileNets和BERT-large。
2020-04-20 cs.LG stat.ML
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.（三星半导体有限公司）；Microsoft（微软）
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的，因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数，建立了一种统一的后训练量化方案，取得了令人满意的结果。然而，当量化到较低的比特宽度时，它遭受显著的性能下降。在本文中，我们提出了一个分段线性量化（PWLQ）计划，使张量值，具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域，每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明，与现有的训练后量化方法相比，该方法在图像分类、语义分割和目标检测等方面具有更好的性能，且开销较小.
2020-03-18 cs.CV cs.LG
Deep Conditional Measure Quantization
CEREMADE, Université Paris Dauphine - PSL（CEREMADE，巴黎多芬大学-PSL）
本文提出DCMQ方法，结合Huber能量核与深度神经网络，用于条件概率测度的量化，在多个示例上取得良好效果。
2023-03-24 cs.AI cs.LG math.PR
DQA: An Efficient Method for Deep Quantization of Deep Neural Network Activations
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
针对现有深度神经网络激活量化方法开销高、少有关注6位以下深度量化的问题，提出基于移位运算与Huffman编码的DQA方法，在多任务多数据集上精度显著优于现有方法。
2024-12-12 cs.CV cs.LG stat.ML
Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡大学）
对于许多应用，利用DNN（深度神经网络）需要以关于能耗、存储器要求、吞吐量等的优化方式在目标架构上实现。DNN压缩用于在硬件上部署DNN之前减少DNN的存储器占用和复杂性。近年来，人们对人工智能（人工智能）方法的理解和解释产生了一个新的研究领域，称为可解释人工智能。可解释的人工智能方法使我们能够更好地理解DNN的内部工作，例如不同神经元和特征的重要性。可解释人工智能的概念提供了一个机会来改进DNN压缩方法，例如量化和修剪，这些方法到目前为止还没有得到充分的探索。在本文中，我们使用可解释的AI方法：主要是DeepLIFT方法。我们将这些方法用于（1）DNN的修剪;这包括\ac{CNN}过滤器的结构化和非结构化修剪以及全连接层的修剪权重，（2）使用聚类算法的DNN权重的非均匀量化;这也被称为权重共享，以及（3）基于整数的混合精度量化;这是DNN的每一层可以使用不同数目的整数比特的地方。我们使用典型的图像分类数据集和常见的深度学习图像分类模型进行评估。在所有这三种情况下，我们展示了在DNN压缩中使用可解释AI的显着改进以及新的见解和机会。
2020-08-20 cs.AI cs.CV cs.LG
ReLeQ: A Reinforcement Learning Approach for Deep Quantization of Neural Networks
University of California San Diego（加州大学圣地亚哥分校）；Google Brain（谷歌大脑）
深度神经网络（DNN）在用于计算机视觉应用的推理任务中通常需要大量计算资源。量化可以通过减少网络编码的位宽来显着减少DNN的计算和存储。最近的研究证实，仔细选择每层的量化级别可以保持精度，同时将位宽推到8位以下。然而，如果没有艰苦的手动工作，这种深度量化可能会导致显著的准确性损失，使其处于可疑的实用位置。因此，深度量化打开了一个大的超参数空间（层的位宽），对其的探索是一个重大挑战。我们提出了一种系统的方法来解决这个问题，通过端到端的深度强化学习框架（ReLeQ）自动化发现量化级别的过程。我们调整策略优化方法的量化问题，并专注于寻找最佳的设计决策，选择状态和动作空间，网络架构和训练框架，以及各种超参数的调整。我们展示了ReLeQ如何平衡速度和质量，并为各种深度网络（AlexNet，CIFAR-10，LeNet，MobileNet-V1，ResNet-20，SVHN和VGG-11）的量化提供了一种非对称的通用解决方案，几乎保留了准确性（=< 0.3%损失），同时最大限度地减少了计算和存储成本。通过这些DNN，ReLeQ使传统硬件能够在8位执行上实现2.2倍的加速。同样，与8位运行相比，自定义DNN加速器实现了2.0倍的加速和能耗降低。这些令人鼓舞的结果标志着ReLeQ是实现神经网络深度量化自动化的第一步。
2020-04-16 cs.LG stat.ML
Quantization-Aware Regularizers for Deep Neural Networks Compression
Italian MUR PRIN project（意大利MUR PRIN项目）；National Plan for NRRP Complementary Investments（国家NRRP补充投资计划）
本文提出了一种深度神经网络压缩方法，通过在训练过程中引入每层正则化项，使权重自然形成聚类，从而减少量化带来的精度损失，同时保持压缩潜力，并首次将量化参数嵌入反向传播过程。
2026-02-03 cs.LG
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego（加州大学圣地亚哥分校）
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而，修剪通常仅应用于网络的权重。在这项工作中，我们联合应用新的均匀量化和非结构化修剪方法，在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法，我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例，并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察，我们提出了非交换性假设：对于一个为特定任务训练的给定深度神经网络，存在一个精确的训练时间表，其中可以引入量化和修剪来优化网络性能。我们确定，这种最佳顺序不仅存在，而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划，我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
DeepHQ: Learned Hierarchical Quantizer for Progressive Deep Image Coding
Electronics and Telecommunications Research Institute（电信与信息通信研究院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Telecommunications Research Institute（电信研究 institute）
针对渐进式图像编码中手工量化层级导致压缩效率次优的问题，提出基于神经网络的学习型分层量化方法DeepHQ，通过为各层学习量化步长并引入选择性压缩，显著提升了编码效率，同时降低了解码时间与模型大小。
2025-11-03 cs.AI cs.LG eess.IV
MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework
Northeastern University（东北大学）；University of Notre Dame（圣母大学）；University of Hong Kong（香港大学）；University of Southern California（南加州大学）
随着深度学习的巨大成功，迫切需要将深度学习模型部署到边缘设备上。为了解决边缘设备中有限的计算和存储资源，模型压缩技术已被广泛用于修剪深度神经网络（DNN）模型以用于设备上的推理执行。本文针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。由于DNN量化对于DNN模型在硬件平台上的实现具有重要意义，因此我们将DNN量化作为主要的模型压缩技术。这项工作的新颖性来自两个方面：（i）我们提出了一种混合方案DNN量化方法，该方法结合了线性和非线性数字系统进行量化，目的是提高异构计算资源的利用率，即，LUT（查找表）和DSP（数字信号处理器）在FPGA上。注意，所有现有的（单方案）量化方法只能利用一种类型的资源（LUT或DSP）用于深度学习计算中的MAC（乘法-累加）运算。(ii)我们使用的量化方法，支持沿层内维度的多个精度，而现有的量化方法应用沿层间维度的多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。
2020-10-17 cs.CV cs.LG
Deep Microcompression: Structured Pruning and Bit-packed Quantization for Microcontrollers
PowerLabs Technologies（PowerLabs科技公司）
本文提出面向裸机微控制器的硬件感知深度学习压缩流水线Deep Microcompression，整合结构化剪枝等技术，在LeNet-5上实现高压缩比，还实现了标准CNN在2KB SRAM的ATmega328P上的部署。
2026-09-07 cs.LG
Wideband and Entropy-Aware Deep Soft Bit Quantization
University of Texas at Austin（德克萨斯大学奥斯汀分校）
深度学习最近已被应用于数字通信系统中的物理层处理，以提高端到端性能。在这项工作中，我们介绍了一种新的深度学习解决方案，用于跨宽带信道的软比特量化。我们的方法是训练端到端的量化和熵感知增强的损失函数，并在推理与源编码结合使用，以实现近最佳的压缩增益在宽带信道。为了有效地训练我们的方法，我们证明和验证，一个固定的特征空间量化方案是足够的有效学习。当在训练期间从未见过的信道分布上进行测试时，与先前的最先进的方法相比，所提出的方法在高SNR状态下实现了高达$10 \%$的压缩增益。为了鼓励可重复的研究，我们的实现在https://github.com/utcsilab/wideband-llr-deep上公开。
2021-10-18 cs.IT cs.LG eess.SP
Recursive CSI Quantization of Time-Correlated MIMO Channels by Deep Learning Classification
TU Wien（维也纳技术大学）
在频分双工（FDD）多输入多输出（MIMO）无线通信中，有限信道状态信息（CSI）反馈是支持高级单用户和多用户MIMO波束成形/预编码的中心工具。为了实现给定的CSI质量，CSI量化码本大小必须随着天线的数量呈指数增长，导致量化复杂度以及较大MIMO系统的反馈开销问题。我们最近提出了一个多级递归格拉斯曼量化器，使CSI量化的复杂性显着降低。在本文中，我们证明了这种递归量化器可以有效地与深度学习分类相结合，以进一步降低复杂度，并且它可以利用时间信道相关性来减少CSI反馈开销。
2020-09-28 cs.IT cs.LG math.IT
Low-bit Quantization for Deep Graph Neural Networks with Smoothness-aware Message Propagation
University of Warwick（华威大学）；TOBB University of Economics and Technology（TOBB经济与技术大学）
针对深度图神经网络的可扩展性与过平滑问题，提出低比特量化结合平滑感知消息传播的端到端方案，在INT2/INT4下兼顾准确率与推理加速。
2023-08-29 cs.LG
A Data-Free Analytical Quantization Scheme for Deep Learning Models
Georgia State University（佐治亚州立大学）
本文提出一种无数据的解析训练后量化方法，通过数学优化裁剪阈值与缩放因子最小化量化噪声，在保持精度的同时显著降低模型大小与计算需求。
2025-09-09 cs.CV cs.LG
Quantization Aware Factorization for Deep Neural Network Compression
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出一种量化感知的张量分解算法，利用ADMM直接获得CP分解的量化因子，在压缩神经网络的同时保持预测质量，并展现出与训练后量化方法相比的竞争力和灵活性。
2023-08-08 cs.LG
Dataflow-based Joint Quantization of Weights and Activations for Deep Neural Networks
A ⋆ STAR（新加坡科技研究局）；MILA（米拉魁北克人工智能研究院）；IVADO（魁北克数据 valorization 研究所）；IME A ⋆ STAR（新加坡科技研究局材料研究与工程研究所）；School of CSE NTU（南洋理工大学计算机科学与工程学院）
本文解决了一个具有挑战性的问题-如何在推理阶段部署深度神经网络（DNN）时降低能耗而不会导致性能下降。为了减轻计算和存储负担，我们提出了一种新的基于卷积的联合量化方法，假设较少的量化操作将导致较少的信息丢失，从而提高最终的性能。它首先介绍了一种有效的比特移位和舍入操作的量化方案，以表示网络参数和激活在低精度。然后对网络结构进行重构，形成统一的模块，在量化模型上进行优化。在ImageNet和KITTI上进行的大量实验验证了我们模型的有效性，证明了这种量化模型可以实现各种任务的最先进结果。此外，我们设计并综合了一个RTL模型来衡量各种量化方法的硬件成本。对于每个量化操作，与强基线相比，它将面积成本降低约15倍，能耗降低约9倍。
2019-01-04 cs.LG stat.ML
TensorQuant - A Simulation Toolbox for Deep Neural Network Quantization
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）
最近的研究表明，深度神经网络（DNN）的训练和推理可以用训练/测试数据、权重和梯度的低精度数值表示来计算，而不会损失一般的准确性。这种紧凑表示的好处是双重的：它们可以显着减少分布式DNN训练中的通信瓶颈，并在FPGA等硬件加速器上更快地实现神经网络。已经提出了几种量化方法来将原始的32位浮点问题映射到低位表示。虽然大多数相关出版物在单个DNN拓扑上验证了所提出的方法，但显然，量化方法和编码比特数的最佳选择是拓扑相关的。为此，没有通用的理论，这将允许用户在DNN拓扑的设计期间导出最佳量化。在本文中，我们为TensorFlow框架提供了一个量化工具箱。TensorQuant允许在训练和推理期间对现有DNN拓扑进行透明量化模拟。TensorQuant支持通用量化方法，并允许对量化对单层以及完整拓扑的影响进行实验评估。在使用TensorQuant的第一系列实验中，我们展示了对流行的CNN拓扑的定点量化的分析。
2017-10-13 cs.CV cs.LG stat.ML
Neural Network-based Quantization for Network Automation
Technical University of Munich（慕尼黑工业大学）；Nokia Bell Labs（诺基亚贝尔实验室）
深度学习方法已被用于移动网络，特别是用于网络管理自动化，其中它们为高级机器认知提供了手段。深度学习方法利用尖端的硬件和软件工具，允许开发复杂的认知算法。在最近的一篇论文中，我们介绍了Bounding Sphere Quantization（BSQ）算法，这是k-Means算法的一种修改，可以为某些网络管理用例（如异常检测）创建更好的量化。然而，BSQ需要比k-Means长得多的训练时间，这是一个可以通过基于神经网络的实现来克服的挑战。在本文中，我们提出了这样一种BSQ实现，它利用最先进的深度学习工具来实现具有竞争力的训练速度。
2021-03-04 cs.LG
A Mean Field Theory of Quantized Deep Networks: The Quantization-Depth Trade-Off
Technion（以色列理工学院）；Columbia University（哥伦比亚大学）
降低神经网络训练中权重和激活函数的精度，同时对性能的影响最小，对于在资源受限的环境中部署这些模型至关重要。我们应用平均场技术与量化的激活网络，以评估在初始化时的量化降低信号传播的程度。我们推导出初始化方案，最大限度地提高在这样的网络中的信号传播，并建议为什么这是有帮助的推广。在这些结果的基础上，我们得到了$L_{\max}$的封闭形式隐式方程，最大可训练深度（因此模型容量），给定$N$，激活函数中的量化水平的数量。数值求解该方程，我们渐近地得到：$L_{\max}\propto N^{1.82}$。
2019-10-31 cs.LG stat.ML
Deep Learning Methods for Joint Optimization of Beamforming and Fronthaul Quantization in Cloud Radio Access Networks
Jeonbuk National University（全北国立大学）；Pukyong National University（釜庆国立大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
跨接入点（AP）的协作波束形成和前传量化策略对于云无线接入网络（C-RAN）系统是必不可少的。C-RAN优化问题的非凸性源于每个AP的功率和前传容量约束，需要高计算复杂度来执行迭代算法。为了解决这个问题，我们研究了一种深度学习方法，其中优化模块被替换为训练有素的深度神经网络（DNN）。提出了一种有效的学习解决方案，该解决方案构造DNN以产生最佳波束成形和量化策略的低维表示。数值结果验证了所提出的学习解决方案的优点。
2021-07-06 cs.IT cs.LG eess.SP
Compressing Deep Convolutional Networks using Vector Quantization
Facebook AI Research（脸书人工智能研究院）；Snapchat（色拉布）
深度卷积神经网络（CNN）已成为最有前途的对象识别方法，近年来多次展示了图像分类和目标检测的破纪录结果。然而，非常深的CNN通常涉及具有数百万个参数的许多层，使得网络模型的存储量非常大。这禁止在资源有限的硬件上使用深度CNN，尤其是手机或其他嵌入式设备。在本文中，我们通过研究用于压缩CNN参数的信息理论矢量量化方法来解决这个模型存储问题。特别是，我们发现在压缩最需要存储的密集连接层方面，矢量量化方法比现有的矩阵分解方法有明显的优势。简单地将k均值聚类应用于权重或进行乘积量化可以在模型大小和识别精度之间实现非常好的平衡。对于ImageNet挑战中的1000个类别分类任务，我们能够使用最先进的CNN实现16-24倍的网络压缩，而分类精度仅损失1%。
2014-12-18 cs.CV cs.LG cs.NE
Deep Log-Likelihood Ratio Quantization
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在这项工作中，提出了一种基于深度学习的对数似然比（LLR）有损压缩和量化方法，重点是单输入单输出不相关衰落通信设置。训练深度自动编码器网络以压缩、重构和重构对应于单个传输符号的比特对数似然比。具体地，编码器映射到维度等于恢复输入所需的足够统计数据的数量的潜在空间-在这种情况下等于三-而解码器旨在重建潜在表示的噪声版本，目的是以可微的方式对量化效果进行建模。仿真结果表明，当应用到一个标准的速率-1/2的低密度奇偶校验（LDPC）码，一个有限的精度压缩因子的近三倍时，实现存储整个码字，与直接标量量化的对数似然比相比，所产生的性能损失低于0.1 dB。
2021-05-09 cs.LG eess.SP stat.ML
StatQAT: Statistical Quantizer Optimization for Deep Networks
Intel（英特尔）
本文提出了一种新的统计误差分析框架，用于统一和浮点量化，以提供理论洞察，针对不同数据分布的量化配置误差行为。基于此分析，作者提出了适用于任意数据分布的迭代量化器和适用于高斯似分布权重的分析量化器，从而实现了高效的低误差量化，适用于激活和权重。将这些量化器整合到量化感知训练中，并在整数和浮点格式上进行了评估，实验表明提高了准确性和稳定性，展示了该方法在训练低精度神经网络中的有效性。
2026-05-18 cs.LG stat.ML
Deep Hierarchy Quantization Compression algorithm based on Dynamic Sampling
ShenZhen University（深圳大学）；Macquarie University（麦考瑞大学）
与传统的分布式机器学习不同，联邦学习将数据存储在本地进行训练，然后将模型聚合在服务器上，解决了传统分布式机器学习中可能出现的数据安全问题。然而，在训练过程中，模型参数的传输会对网络带宽造成很大的负载。在模型参数传递过程中，绝大多数模型参数是冗余的。本文在此基础上探索所选部分模型参数的数据分布规律，提出了一种深度层次量化压缩算法，通过模型参数的层次量化，进一步压缩模型，降低数据传输带来的网络负载。并采用动态抽样策略进行客户选择，以加快模型的收敛速度。在不同公共数据集上的实验结果表明了该算法的有效性。
2022-12-30 cs.IR cs.LG
One Loss for Quantization: Deep Hashing with Discrete Wasserstein Distributional Matching
Baidu Research（百度研究院）
图像散列是一种原则性的近似最近邻方法，用于在大量图像中找到与查询相似的项目。哈希旨在学习将图像映射到二进制向量的二进制输出函数。为了获得最佳检索性能，产生具有低量化误差的平衡散列码以弥合学习阶段的连续松弛和推理阶段的离散量化之间的差距是重要的。然而，在现有的深度监督哈希方法中，编码平衡和低量化误差难以实现，并且涉及若干损失。我们认为，这是因为现有的量化方法在这些方法中的构造和不有效地实现这些目标。本文考虑了另一种方法来学习的量化约束。学习具有低量化误差的平衡码的任务被重新制定为匹配学习的连续码的分布到预定义的离散的均匀分布。这相当于最小化两个分布之间的距离。然后，我们提出了一个计算效率的分布距离，利用散列函数的离散属性。该分布距离是有效距离，并且具有较低的时间和样本复杂度。所提出的单损失量化目标可以集成到任何现有的监督哈希方法中，以改善代码平衡和量化误差。实验证明，该方法大大提高了几个代表性的散列方法的性能。
2022-05-31 cs.CV cs.IR cs.LG
WaveQ: Gradient-Based Deep Quantization of Neural Networks through Sinusoidal Adaptive Regularization
University of California San Diego（加州大学圣地亚哥分校）；CNRS（法国国家科学研究中心）；Université de Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）
随着深度神经网络进入不同的领域，其计算效率正成为一个一阶约束。深度量化减少了操作的位宽（低于8位），提供了一个独特的机会，因为它可以超线性地减少网络的存储和计算需求。然而，如果不谨慎使用，这可能会导致显著的准确性损失。由于层之间的相互依赖性很强，并且在同一网络中表现出不同的特性，因此选择每层粒度的最佳位宽并不是一件简单的事情。因此，深度量子化打开了一个巨大的超参数空间，对其的探索是一个重大挑战。我们提出了一种新的正弦正则化，称为SINAREQ，用于深度量化训练。利用正弦特性，我们寻求在基于梯度的训练过程中结合学习多个量化参数化。具体地，我们通过学习正弦函数的周期来学习（i）每层量化位宽以及（ii）比例因子。同时，我们利用正弦函数的周期性、可微性和局部凸性特征，自动推动（iii）网络权重朝向在共同确定的水平上量化的值。我们展示了SINAREQ如何平衡计算效率和准确性，并为各种深度网络（AlexNet，CIFAR-10，MobileNet，ResNet-18，ResNet-20，SVHN和VGG-11）的量化提供了异构位宽分配，几乎保持了准确性。此外，我们进行实验，使用固定的同质位宽与3至5位分配，并显示SINAREQ在增强量化训练算法（DoReFa和WRPN）的多功能性，平均约4.8%的精度提高，然后优于多个国家的最先进的技术。
2020-04-24 cs.LG stat.ML
Ternary Quantization: A Survey
McGill University（麦吉尔大学）
推理时间、模型大小和准确性对于部署深度神经网络模型至关重要。为了压缩神经网络模型，使其具有更快的推理速度和更高的精度，已经进行了大量的研究工作。修剪和量化是实现这一目标的主流方法。在模型量化过程中，将层权重的单个浮点值转换为低精度值可以大大减少计算开销并提高推理速度。已经研究了许多量化方法，例如，矢量量化、低比特量化和二进制/三进制量化。本综述的重点是三进制量化。回顾了三值量化的发展历程，从投影函数和优化方法的角度研究了现有三值量化方法之间的关系。
2023-03-02 cs.AI cs.CC cs.LG
CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Technische Universität Wien (TU Wien)（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
在当今智能网络物理系统的时代，深度神经网络（DNN）由于其在复杂的现实世界应用中的最先进性能而变得无处不在。这些网络的高计算复杂性转化为增加的能耗，是在资源受限系统中部署大型DNN的最大障碍。通过训练后量化实现的定点（FP）实现通常用于减少这些网络的能耗。然而，FP中的均匀量化间隔将数据结构的比特宽度限制为大值，这是由于需要以足够的分辨率表示大多数数字并避免高量化误差。在本文中，我们利用了关键的见解，即（在大多数情况下）DNN权重和激活大多集中在零附近，只有少数具有较大的幅度。我们提出了CoNLoCNN，这是一种通过利用以下内容实现节能低精度深度卷积神经网络推理的框架：（1）权重的非均匀量化，从而简化复杂的乘法运算;以及（2）激活值之间的相关性，从而能够以低成本部分补偿量化误差，而无需任何运行时开销。为了从非均匀量化中显著受益，我们还提出了一种新的数据表示格式，编码低精度二进制有符号数字，以压缩权重的位宽，同时确保直接使用编码权重进行处理，使用新的乘法和累加（MAC）单元设计。
2022-07-31 cs.AR cs.LG
Efficient Cross-Modal Retrieval via Deep Binary Hashing and Quantization
Rakuten, Inc.（乐天公司）
跨模态检索的目标是在不同的内容模态中搜索具有相似语义的数据。然而，跨模态检索需要大量的存储和检索时间，因为它需要处理多个模态的数据。现有的工作集中在学习单源紧凑功能，如二进制哈希码，保持不同模态之间的相似性。在这项工作中，我们提出了一个联合学习的深度哈希和量化网络（HQ）的跨模态检索。我们通过端到端的深度学习架构，同时学习二进制哈希码和量化码，以多种形式保存语义信息。在检索步骤中，使用二进制散列从搜索空间中检索项目的子集，然后使用量化对检索到的项目进行重新排序。我们从理论上和经验表明，这种两阶段的检索方法提供了更快的检索结果，同时保持准确性。在NUS-WIDE、MIR-Flickr和Amazon数据集上的实验结果表明，与基于监督神经网络的紧凑编码模型相比，HQ的精度提高了7%以上。
2022-02-15 cs.CV cs.IR cs.LG
Pyramid Vector Quantization for Deep Learning
Ocean Logic Pty Ltd（海洋逻辑有限公司）
本文探讨了使用金字塔矢量量化（PVQ）来降低各种神经网络（NN）的计算成本，同时压缩描述它们的权重。这是基于这样的事实，即实数的N维向量和N维PVQ向量之间的点积可以仅用加法和减法以及一次乘法来计算。这是有利的，因为通常用于NN中的张量积可以重新转换为点积或点积的集合。最后，需要强调的是，任何基于可以重新转换为点积的运算的NN架构都可以从这里描述的技术中受益。
2017-04-10 cs.LG cs.NE
