Post-training 4-bit quantization of convolution networks for rapid-deployment
Intel – Artificial Intelligence Products Group (AIPG)(英特尔——人工智能产品集团(AIPG));Technion – Israel Institute of Technology(以色列理工学院)
除了大量的计算资源之外,卷积神经网络还需要大量的内存带宽和存储用于中间计算。神经网络量化在减少中间结果的数量方面具有显著的好处,但它通常需要完整的数据集和耗时的微调来恢复量化后损失的精度。本文介绍了第一种实用的4位后训练量化方法:它不涉及训练量化模型(微调),也不需要完整数据集的可用性。我们的目标是量化的激活和权重,并建议三个互补的方法,最大限度地减少量化误差在张量水平,其中两个人获得了封闭形式的解析解。结合这些方法,我们的方法实现了精度,在广泛的卷积模型中,精度仅比最先进的基线低几个百分点。复制所有实验的源代码可在GitHub上获得:\url{https://github.com/submission2019/cnn-quantization}。
2019-05-29 cs.CV
n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization
Sony Corporate(索尼公司)
2的幂(PoT)量化减少了深度神经网络在资源受限的硬件上的位操作的数量。然而,PoT量化由于其有限的表示能力而触发严重的准确性下降。由于DNN模型已经被应用于相对复杂的任务(例如,大数据集的分类和目标检测),需要提高PoT量化方法的准确度。虽然一些先前的工作试图提高PoT量化的准确性,但没有工作以存储器高效的方式平衡准确性和计算成本。为了解决这个问题,我们提出了一个有效的PoT量化方案。引入了位级稀疏性;权重(或激活)被舍入为可以通过乘法中的n次移位运算计算的值。我们还允许不仅加法,而且减法作为每个操作。此外,我们使用两阶段的微调算法来恢复的精度下降,是由引入比特级稀疏触发。在COCO数据集上的目标检测模型(CenterNet,MobileNet-v2 backbone)上的实验结果表明,与统一方法相比,我们提出的方法最多可以抑制0.3%的准确率下降,同时减少了约75%的操作次数和11.5%的模型大小。
2021-03-22 cs.CV
Neural Network Activation Quantization with Bitwise Information Bottlenecks
Chongqing University(重庆大学);Kwai Inc(快手公司)
近年来对信息瓶颈的研究为打开神经信号编码的黑箱提供了新的思路。受无线通信中有损信号压缩问题的启发,提出了一种基于比特信息瓶颈的神经网络激活量化编码方法。基于率失真理论,逐位信息瓶颈试图通过分配和近似与每个位相关联的稀疏系数来确定激活表示中的最高有效位。在有限平均码率的约束下,信息瓶颈以灵活的逐层方式最小化最优激活量化的率失真。在ImageNet和其他数据集上的实验表明,通过最小化每层的量化率失真,具有信息瓶颈的神经网络在低精度激活的情况下达到了最先进的精度。同时,通过降低编码速率,与标准单精度表示的深度神经网络相比,该方法可将存储和计算效率提高6倍以上。当论文被\url{https://github.com/BitBottleneck/PublicCode}接受时,代码将在GitHub上提供。
2020-06-09 cs.CV
Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks
Singapore University of Technology and Design(新加坡科技设计大学);University of Liverpool(利物浦大学);University of Dayton(戴顿大学)
本文提出了两种新的技术来训练具有低位宽权重和激活的深度卷积神经网络。首先,为了获得低位宽权重,大多数现有方法通过对全精度网络权重执行量化来获得量化权重。然而,这种方法会导致一些不匹配:梯度下降更新全精度权重,但它不更新量化权重。为了解决这个问题,我们提出了一种新的方法,使{直接}更新的量化权重{可学习的量化水平},以最小化成本函数使用梯度下降。第二,为了获得低位宽激活,现有的工程考虑所有渠道平等。然而,激活量化器可能偏向于具有高方差的少数通道。为了解决这个问题,我们提出了一种方法,考虑到各个通道的量化误差。通过这种方法,我们可以学习在大多数通道中最小化量化误差的激活量化器。实验结果表明,我们提出的方法在CIFAR-100和ImageNet数据集上使用AlexNet,ResNet和MobileNetV 2架构在图像分类任务上实现了最先进的性能。
2020-12-26 cs.CV
QuantFace: Efficient Quantization for Face Restoration
Shanghai Jiao Tong University(上海交通大学);ETH Zürich(苏黎世联邦理工学院)
QuantFace通过低比特量化和自适应策略提升面部修复效率,优于现有方法。
2025-11-21 cs.CV
Precision Highway for Ultra Low-Precision Quantization
Seoul National University(首尔国立大学);Facebook(脸书)
神经网络量化有一个固有的问题,称为累积量化误差,这是实现超低精度的关键障碍,例如,2-或3位精度。为了解决这个问题,我们提出了精确高速公路,它形成了一个端到端的高精度信息流,同时执行超低精度计算。首先,我们描述了精确高速公路如何减少卷积和递归神经网络中的累积量化误差。定量分析了精密高速公路的效益,并对目前最先进的硬件加速器的开销进行了评估。在实验中,我们提出的方法优于现有的最佳量化方法,同时提供3位权重/激活量化,没有精度损失,2位量化,在ResNet-50中的前1位精度损失为2.45%。我们还报告说,所提出的方法在语言建模的LSTM的2位量化中显着优于现有方法。
2018-12-24 cs.CV
Plug-and-Play 1.x-Bit KV Cache Quantization for Video Large Language Models
Zhejiang University(浙江大学);Westlake University(西湖大学);Columbia University(哥伦比亚大学);Rice University(Rice大学);Salesforce AI Research(Salesforce人工智能研究)
本文提出即插即用的 VidKV,通过 key 混合精度与 value 逐通道 1.58-bit 量化,将 VideoLLM 的 KV cache 压缩至 1.x-bit,且在六个基准上几乎无损。
2025-09-29 cs.CV
Efficient Tuning Before Low-Bit Post-Training Quantization for Stochastic Gradient Descent-optimized Models
School of Information Science and Technology, Beijing University of Technology(北京工业大学信息科学与技术学院)
研究针对低位后训练量化性能易降问题,提出ETBQ方法,在随机梯度下降优化模型的PTQ前进行预处理调优,通过从量化误差分布采样扰动优化全精度模型,实验证明该方法能提升不同任务的低位PTQ性能。
2026-07-21 cs.CV
Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University(首尔国立大学)
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中,我们提出了一个元学习的方法来实现这一目标。具体来说,我们提出了MEBQAT,一种简单而有效的位宽自适应量化感知训练(QAT)的方法,其中通过重新定义元学习任务来合并位宽,将元学习有效地与QAT相结合。在平台上部署后,MEBQAT允许(Meta)训练模型被量化为任何候选位宽,然后帮助进行推理,而不会因量化而降低准确性。此外,在少样本学习场景下,MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持(1)位宽自适应量化场景和(2)新的少样本学习场景,其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性,在多个QAT计划。通过比较它们的性能(位宽专用)QAT,现有的位宽自适应QAT和香草元学习,我们发现,合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University(杜克大学)
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷,因此已经被广泛研究。然而,它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间,要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化(BSQ)来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量,并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位,实现动态精度降低,从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间,只有一个超参数来权衡性能和压缩。与以前的方法相比,BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich(苏黎世联邦理工学院);Singapore Management University(新加坡管理大学)
我们通过将其权重和激活量化为多个二进制基(称为多位网络(MBN))来研究深度神经网络的压缩,这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化(ALQ),一个新的MBN量化流水线,能够实现平均位宽低于一位,而不会显着损失的推理精度。与先前的MBN量化解决方案(其通过最小化误差来训练量化器以重构全精度权重)不同,ALQ直接最小化损失函数上的量化引起的误差,其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略,以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明,ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
网络量化,其目的是减少网络权重和激活的位长度,已经出现了它们的部署到资源有限的设备。尽管最近的研究已经成功地离散化了全精度网络,但它们在训练后仍然会产生很大的量化误差,从而导致全精度网络与其量化网络之间存在显着的性能差距。在这项工作中,我们为神经网络提出了一种新的量化方法,即提升量化(CPQ),它可以找到最佳的量化网格,同时自然地鼓励底层的全精度权重在训练过程中聚集在这些量化网格周围。CPQ的这一特性归功于我们实现可微量化的两个主要成分:i)在前向传递中使用由特定概率参数化设计的分类分布,ii)我们在后向传递中提出的多类直通估计器(STE)。由于我们的第二个组件,多类STE,本质上是有偏见的,我们还提出了一个新的比特丢弃技术,DropBits,修改了标准的dropout正则化,以随机丢弃比特而不是神经元。作为DropBits的自然扩展,我们进一步引入了学习异构量化级别的方法,通过对DropBits施加额外的正则化来为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法,并且还支持一个新的量化假设:从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-05 cs.CV cs.LG
DNN Quantization with Attention
MILA(MILA(蒙特利尔学习算法研究所));IMT Atlantique(IMT大西洋大学);Sony Europe B.V.(索尼欧洲有限公司)
网络权重和激活的低比特量化可以大幅降低深度神经网络(DNN)的内存占用、复杂性、能耗和延迟。然而,低比特量化也会导致准确性大幅下降,特别是当我们将其应用于复杂的学习任务或轻量级DNN架构时。在本文中,我们提出了一个训练过程,放松低比特量化。我们将此过程称为\textit{DNN Quantization with Attention}(DQA)。通过使用高、中和低比特量化的可学习线性组合来实现松弛。我们的学习过程逐步收敛到一个低比特的量化使用的注意力机制与温度调度。在实验中,我们的方法在CIFAR10,CIFAR100和ImageNet ILSVRC 2012等各种对象识别基准上优于其他低位量化技术,实现了与全精度DNN几乎相同的精度,并大大降低了量化轻量级DNN架构时的精度下降。
2021-03-24 cs.CC cs.CV
DNQ: Dynamic Network Quantization
Shanghai Jiao Tong University(上海交通大学);Qualcomm AI Research(高通人工智能研究院)
网络量化是在内存和能量受限的移动设备上部署神经网络的有效方法。在本文中,我们提出了一个动态网络量化(DNQ)框架,它是由两个模块:一个位宽控制器和量化器。与大多数现有的量化方法,使用一个通用的量化位宽为整个网络,我们利用策略梯度训练代理学习的位宽控制器的每一层。该控制器可以在精度和压缩比之间进行权衡。在给定量化位宽序列的情况下,量化器采用量化距离作为量化过程中权值重要性的判断标准。我们广泛验证了各种主流神经网络的方法,并获得了令人印象深刻的结果。
2018-12-06 cs.CV cs.LG
FracBits: Mixed Precision Quantization via Fractional Bit-Widths
US AI Lab, ByteDance Inc.(美国人工智能实验室,字节跳动公司);Northeastern University(东北大学)
模型量化有助于减少深度神经网络的模型大小和延迟。混合精度量化是有利的定制硬件支持算术运算在多个位宽,以实现最大的效率。我们提出了一种新的基于学习的算法,在目标计算约束和模型大小下,端到端地推导混合精度模型。在优化过程中,模型中每层/核的位宽处于连续两个位宽的分数状态,可以逐渐调整。利用可微正则化项,可以在量化感知训练期间满足资源约束,从而得到优化的混合精度模型。此外,我们的方法可以自然地与通道修剪相结合,以更好地分配计算成本。我们的最终模型在ImageNet数据集上的不同资源约束下,在MobilenetV 1/V2,ResNet 18上实现了与以前的量化方法相当或更好的性能。
2020-12-03 cs.CV eess.IV
Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search
Sensetime Research(商汤科技研究院);University of Oxford(牛津大学);The University of Sydney(悉尼大学)
量化神经网络(QNN)由于其高效性而受到广泛关注。为了提高量化精度,现有的工作主要集中在设计先进的量化算法,但仍然没有达到令人满意的结果,在极低比特的情况下。在这项工作中,我们采取架构的角度来研究高性能QNN的潜力。因此,我们建议将网络架构搜寻方法与量化结合,以发挥两者的优点。然而,一个简单的组合不可避免地面临不可接受的时间消耗或不稳定的训练问题。为了缓解这些问题,我们首先提出了一个共享的步长的架构和量化的联合训练,以获得大量的量化模型。然后引入比特继承机制,将量化后的模型转移到较低的比特位,进一步减少了时间开销,同时提高了量化精度。配备了这个整体框架,被称为一次量化感知训练~(OQAT),我们搜索的模型家族,OQATNets,实现了一个新的国家的最先进的不同位宽下的各种架构相比。特别是,OQAT-2bit-M实现了61.6%的ImageNet Top-1准确率,比2位的MobileNet V3高出9%,计算成本降低了10%。一系列量化友好的体系结构很容易识别,可以进行广泛的分析,以总结量化和神经体系结构之间的相互作用。代码和模型发布于https://github.com/LaVieEnRoseSMZ/OQA
2021-09-28 cs.CV eess.IV
Bayesian Bits: Unifying Quantization and Pruning
Qualcomm AI Research(高通人工智能研究院)
我们介绍贝叶斯比特,一个实用的方法,联合混合精度量化和修剪,通过基于梯度的优化。贝叶斯比特采用了一种新的量化操作分解,它顺序地考虑了比特宽度的加倍。在每个新位宽处,量化全精度值与先前舍入值之间的残差。然后,我们决定是否添加该量化残余误差以获得更高的有效位宽和更低的量化噪声。通过从2的幂位宽开始,这种分解将始终产生硬件友好的配置,并通过额外的0位选项,作为修剪和量化的统一视图。Bayesian Bits然后引入了可学习的随机门,它们共同控制给定张量的位宽。因此,我们可以通过对门进行近似推断来获得低位解,其中先验分布鼓励大多数门被关闭。我们在几个基准数据集上通过实验验证了我们提出的方法,并表明我们可以学习修剪的混合精度网络,这些网络在准确性和效率之间提供了比静态位宽等效值更好的权衡。
2020-10-27 cs.CV cs.LG stat.ML
Bit Efficient Quantization for Deep Neural Networks
Latent AI;SRI International(SRI国际)
深度神经网络的量化为边缘设备提供了模型,这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中,我们提出了一个模型参数驱动的量化方法,可以实现低至3位的精度,而不影响精度的比较。训练后量化方法是无数据的,并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络(DNN)的量化结果。为了更好地分析量化结果,我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Differentiable, Bit-shifting, and Scalable Quantization without training neural network from scratch
本文提出了一种可微、位移和可扩展的量化方法,无需从头开始训练神经网络,实现了高精度的量化效果并提高了效率。
2025-12-03 cs.CV cs.LG stat.ML
Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks
Beihang University(北京航空航天大学);SenseTime Group Limited(商汤集团有限公司);Beijing Institute of Technology(北京理工大学)
硬件友好的网络量化(例如,二进制/均匀量化)可以有效地加速推理,同时减少深度神经网络的存储器消耗,这对于资源有限的设备(如移动电话)上的模型部署至关重要。然而,由于低比特量化的离散性,现有的量化方法往往面临着不稳定的训练过程和严重的性能下降。为了解决这个问题,在本文中,我们提出了微分软量化(DSQ),以弥合全精度和低比特网络之间的差距。DSQ可以在训练过程中自动进化,以逐渐接近标准量化。由于DSQ的可微性,它可以在后向传播过程中精确地追求梯度,并在前向传播过程中通过适当的限幅来减小量化损失。在几种流行的网络结构上进行的大量实验表明,使用DSQ训练低比特神经网络可以始终优于最先进的量化方法。此外,我们的第一个有效的实现部署2至4位DSQ与ARM架构的设备上实现了高达1.7 $\times$的速度相比,开源的8位高性能推理框架NCNN。[三十一]
2019-08-14 cs.CV cs.LG eess.IV
Automated Heterogeneous Low-Bit Quantization of Multi-Model Deep Learning Inference Pipeline
TCS Research(塔塔咨询服务研究中心)
针对多DNN推理管道在边缘部署中量化调优困难的问题,提出自动化异构低比特量化方法,以平衡精度与延迟。
2023-11-10 cs.CV math.OC
Semi-Relaxed Quantization with DropBits: Training Low-Bit Neural Networks via Bit-wise Regularization
网络量化旨在减少网络权重和激活的位长度,已经成为减少神经网络的大小以将其部署到资源有限的设备的关键成分之一。为了克服将连续激活和权重转换为离散激活和权重的性质,最近一项名为松弛量化(RQ)的研究[Louizos et al. 2019]成功地采用了流行的Gumbel-Softmax,该算法允许通过基于梯度的有效优化进行这种转换。然而,RQ与此Gumbel-Softmax松弛仍然遭受偏差方差权衡取决于Gumbel-Softmax的温度参数。为了解决这个问题,我们提出了一种新的方法,半松弛量化(SRQ),它使用多类直通估计器来有效地减少偏差和方差,以及一种新的正则化技术,DropBits,它取代了dropout正则化来随机丢弃比特而不是神经元,以进一步减少SRQ中多类直通估计器的偏差。作为DropBits的自然扩展,我们进一步介绍了学习异构量化级别的方法,以使用DropBits为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法,并且还支持量化彩票假设:从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-07 cs.CV cs.LG eess.IV
Reclaiming Residual Knowledge: A Novel Paradigm to Low-Bit Quantization
Tobii Corporation(托比公司)
该研究提出低比特量化新范式CoRa,将量化建模为卷积神经网络架构搜索问题,通过搜索低秩适配器回收量化残差知识,在ImageNet上以极少迭代和参数成本实现了与最优基线相当的性能,大幅提升了优化效率。
2026-04-27 cs.AI cs.CV
ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization
Meta AI
ParetoQ提出统一量化框架,严格比较1至4位量化,发现2-3位间学习转变,其三元600M模型超越先前3B最先进模型,表明2位量化在权衡中具潜力。
2025-10-13 cs.AI cs.CL cs.CV
Automatic low-bit hybrid quantization of neural networks through meta learning
IBM Research – China(IBM中国研究院)
模型量化是一种广泛用于压缩和加速深度神经网络(DNN)推理的技术,特别是在部署到计算能力和功耗预算有限的边缘或物联网设备时。跨所有层的均匀比特宽度量化通常是次优的,并且针对不同层的混合量化的探索对于有效的深度压缩至关重要。本文采用元学习方法自动实现神经网络的低比特混合量化。MetaQuantNet与量化函数一起被训练以生成目标DNN的量化权重。然后,我们应用遗传算法搜索最佳的混合量化政策,满足压缩约束。使用搜索到的最佳量化策略,我们随后进行重新训练或微调,以进一步提高量化目标网络的性能。大量的实验表明,搜索的混合量化方案的性能优于均匀位宽对应。与现有的基于强化学习(RL)的混合量化搜索方法相比,这种方法依赖于繁琐的探索,我们的元学习方法对于任何压缩要求都更有效,因为MetaQuantNet只需要训练一次。
2020-04-24 cs.CV cs.LG stat.ML
CTMQ: Cyclic Training of Convolutional Neural Networks with Multiple Quantization Steps
Dankook University(檀国大学);Complutense University of Madrid(马德里康普顿斯大学)
本文提出了一种具有多个循环训练的训练方法,以实现低比特量化卷积神经网络(CNN)的增强性能。量化是一种用于获得轻量级CNN的流行方法,其中使用预训练模型的初始化被广泛用于克服低分辨率量化中的性能下降。然而,实际值和它们的低比特量化值之间的大量化误差导致难以实现复杂网络和大数据集的可接受的性能。所提出的训练方法在多个量化步骤中将预训练模型的知识柔和地传递到低比特量化模型。在每个量化步骤中,模型的训练权重用于初始化下一个模型的权重,其中量化比特深度减少1。通过量化位深的微小变化,可以弥合性能差距,从而提供更好的权重初始化。在循环训练中,在训练低比特量化模型之后,其训练的权重用于其待训练的精确模型的初始化。通过以迭代方式使用精确模型的更好的训练能力,所提出的方法可以在每个周期中为低比特量化模型产生增强的训练权重。值得注意的是,该训练方法可以将ImageNet数据集上二值化ResNet-18的Top-1和Top-5精度分别提高5.80%和6.85%。
2022-06-26 cs.AI cs.CV
Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization
Graduate School of Information Sciences(信息科学研究生院)
ARHQ通过构建输入侧残差Hessian来隔离误差敏感的权重方向,提升低比特激活权重量化的层间SNR并保持下游推理性能。
2026-04-30 cs.CL cs.CV cs.LG
Post-Training Sparsity-Aware Quantization
Technion — Israel Institute of Technology(以色列理工学院);Ruppin Academic Center(鲁平学术中心)
量化是一种在深度神经网络(DNN)中使用的技术,用于提高执行性能和硬件效率。统一的后训练量化(PTQ)方法是常见的,因为它们可以在硬件中有效地实现,并且不需要大量的硬件资源或训练集。使用统一PTQ将FP 32模型映射到INT 8产生的模型精度下降可以忽略不计;然而,使用PTQ将精度降低到8位以下具有挑战性,因为由于量化噪声的增加,精度下降变得明显。在本文中,我们提出了一种稀疏感知量化(SPARQ)方法,在该方法中,非结构化和动态激活稀疏性在不同的表示粒度中被利用。4-例如,通过动态检查8位值的位并选择4位的窗口,同时首先跳过零值位,来采用位量化。此外,不是将逐个激活量化为4位,而是关注成对的8位激活,并检查两者之一是否等于零。如果一个等于零,则第二个可以机会性地使用另一个的4比特预算;如果两者都不等于零,则每个被动态量化为4比特,如所描述的。SPARQ实现了较小的精度下降和实际的硬件实现。该代码可在https://github.com/gilshm/sparq上获得。
2021-10-28 cs.AR cs.CV cs.LG
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search
Iowa State University(爱荷华州立大学)
本文提出 MixQuant 位宽搜索算法,依据各层权重的舍入误差自动选择最优量化位宽,并可作为预处理与 BRECQ 等量化方法结合以提升模型精度。
2023-09-29 cs.AI cs.CV cs.LG
LSQ+: Improving low-bit quantization through learnable offsets and better initialization
Qualcomm AI Research, Qualcomm Technologies, Inc.(高通AI研究,高通技术公司);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通AI研究,高通技术荷兰有限公司);Seoul National University(首尔大学)
与ReLU不同,在流行的高效架构中经常使用的较新的激活函数(如Swish,H-swish,Mish)也可能导致负激活值,并具有倾斜的正负范围。典型的可学习量化方案[PACT,LSQ]假设无符号量化用于激活,并将所有负激活都设为零,这导致性能的显著损失。单纯地使用带符号量化来适应这些负值需要额外的符号位,这对于低位(2位、3位、4位)量化来说是昂贵的。为了解决这个问题,我们提出了LSQ+,这是LSQ的一个自然扩展,其中我们引入了一个具有可训练尺度和偏移参数的通用非对称量化方案,可以学习适应负激活。基于自适应的可学习量化方案通常也遭受最终训练性能的高不稳定性或方差,因此需要大量的超参数调整以达到令人满意的性能。LSQ+通过对量化参数使用基于MSE的初始化方案来解决这个问题。我们表明,这种初始化导致在多个训练运行的最终性能显着较低的方差。总体而言,LSQ+显示了EfficientNet和MixNet的最新结果,并且在Swish激活的神经网络的低位量化方面也明显优于LSQ(例如:ImageNet数据集上EfficientNet-B 0的W 4A 4量化增益高达1.8%,W2 A2量化增益高达5.6%)。据我们所知,我们的工作是第一次将这种架构扩展到极低的位宽。
2020-04-20 cs.CV cs.LG stat.ML
Low-bit Quantization of Neural Networks for Efficient Inference
Huawei Technologies Co.(华为技术有限公司)
最近的机器学习方法使用越来越大的深度神经网络来实现各种任务中的最新结果。性能的提高是以计算和存储需求的大幅增加为代价的。这使得在有限资源硬件上的实时实现成为一项具有挑战性的任务。解决这一挑战的一种流行方法是通过神经网络量化来执行低位精度计算。然而,积极的量化通常在精度方面带来严重的损失,并且通常需要重新训练网络,或者诉诸更高的比特精度量化。在本文中,我们将线性量化任务形式化为权重和激活的最小均方误差(MMSE)问题,允许低比特精度推理,而无需进行完整的网络再训练。我们的方法的主要贡献是在网络的每一层的约束MSE问题的优化,网络参数的硬件感知分区,以及使用多个低精度量化张量的近似层。所提出的方法允许4位整数(INT 4)量化,用于在有限的硬件资源上部署预训练模型。在各种网络架构上的多个实验表明,所提出的方法产生最先进的结果,任务的准确性损失最小。
2019-03-25 cs.CV cs.LG stat.ML
Transform Quantization for CNN (Convolutional Neural Network) Compression
Stanford University(斯坦福大学);University of New South Wales(新南威尔士大学)
在本文中,我们压缩卷积神经网络(CNN)的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计,从而在给定的量化比特率下产生次优的CNN性能,或者仅在训练期间考虑它们的联合统计,并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换(解相关)和重构,以在任何给定的量化比特率下提高压缩。变换量化将量化和降维(去相关)技术统一在一个框架中,以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论,并将最佳量化作为率失真优化问题。然后,我们表明,这个问题可以解决使用最佳的位深度分配后,解相关的最佳端到端学习变换(ELT),我们在本文中推导出。实验表明,变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地,我们发现具有再训练的变换量化能够将CNN模型(例如AlexNet、ResNet和DenseNet)压缩到非常低的比特率(1-2比特)。
2021-11-07 cs.CV cs.IT cs.LG
SDQ-LLM: Sigma-Delta Quantization for 1-bit LLMs of any size
Dept of Electronic Engineering, Tsinghua University, Beijing, China(电子工程系,清华大学,北京,中国);Beijing National Research Center for Information Science and Technology, Beijing, China(北京信息科学与技术国家研究中心,北京,中国)
针对大语言模型部署的计算与内存瓶颈,提出支持任意规模的1比特量化框架SDQ-LLM,通过可调节过采样率、权重平滑及细粒度OSR分配策略,在极低比特下兼顾推理效率与模型精度。
2025-09-27 cs.AI cs.CV cs.LG
Outlier-Aware Training for Low-Bit Quantization of Structural Re-Parameterized Networks
针对结构重参数化网络合并过程引入权重异常值导致量化困难的问题,提出算子级训练改进方法OABN与基于聚类的非均匀量化框架ClusterQAT,二者结合大幅提升了RepVGG在低位宽下的量化性能。
2024-02-11 cs.CV cs.LG cs.NE
GDRQ: Group-based Distribution Reshaping for Quantization
SenseTime Research(商汤科技研究院);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Beihang Univerisity(北京航空航天大学)
低比特量化对于在有限的模型容量(例如,4-用于权重和激活的位)。当然,深度神经网络中的权重和激活的分布都是高斯型的。然而,由于低比特模型的比特宽度有限,均匀分布的权重和激活已被证明是更友好的量化,同时保持精度~ \cite{Han2015Learning}。受此启发,我们提出了Scale-Clip,一种分布重塑技术,可以以动态方式将权重或激活重塑为均匀分布。此外,为了提高低比特模型的模型能力,提出了一种新的基于分组的量化算法,将滤波器分成几组。不同的组可以学习不同的量化参数,这些量化参数可以优雅地合并到批量归一化层中,而无需在推理阶段中增加额外的计算成本。最后,将Scale-Clip技术与基于组的量化算法相结合,提出了基于组的分布整形量化(GDQR)框架,进一步提高了量化性能。在各种网络(例如VGGNet和ResNet)和视觉任务(例如分类,检测和分割)上的实验表明,我们的框架具有良好的性能。
2019-08-05 cs.CV cs.LG eess.IV
Low-Bitwidth Floating Point Quantization for Efficient High-Quality Diffusion Models
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
针对扩散模型低比特整数量化图像质量差的问题,提出适配扩散模型的低比特浮点量化方法,引入权重舍入学习,8比特浮点量化无明显质量下降,4比特权值+8比特激活配置下降极小,效果优于整数量化。
2024-08-13 cs.CV
TASQ: Temporal-Adaptive Bit Sparsification Quantization for Diffusion Models
针对扩散模型静态量化的计算开销问题,提出TASQ方法,结合时间精度引擎,在保持质量的同时显著降低执行周期。
2026-08-05 cs.CV
QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Central Florida(中央佛罗里达大学);Shanghai Jiao Tong University(上海交通大学);Houmo AI
本文提出QuEST方法,通过在局部和全局监督下选择性微调保留时间信息及对比特宽度敏感的量化层来调整不平衡的激活分布,在三个高分辨率图像生成任务中实现了高效低比特扩散模型量化并取得最优性能。
2025-07-15 cs.CV
CondiQuant: Condition Number Based Low-Bit Quantization for Image Super-Resolution
Shanghai Jiao Tong University(上海交通大学);South China University of Technology(华南理工大学)
针对图像超分辨率低比特量化精度下降问题,提出基于条件数的训练后量化方法CondiQuant,通过近端梯度下降最小化权重条件数,在无计算开销下实现更优精度与理论最优参数量压缩比。
2025-02-21 cs.CV
SPEED-Q: Staged Processing with Enhanced Distillation towards Efficient Low-bit On-device VLM Quantization
Tianyu Guo, Shanwei Zhao, Shiai Zhu, Chenguang Ma(作者)
针对10亿至20亿参数VLMs的激进量化难题,提出SPEED-Q增强蒸馏分阶段处理框架,通过分阶段敏感性自适应机制和蒸馏增强策略解决模态量化差异与训练不稳定问题,实现低比特量化且性能优于现有方法。
2025-11-12 cs.CV
MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);ETH Zurich(苏黎世联邦理工学院);Beijing Jiaotong University(北京交通大学)
针对扩散模型极低位量化性能严重下降问题,提出混合精度量化方法MPQ-DM,结合异常驱动混合量化与时间平滑关系蒸馏,在W2A4下FID降低58%。
2024-12-16 cs.CV
Post-Training Quantization via Residual Truncation and Zero Suppression for Diffusion Models
Department of Artificial Intelligence(人工智能系);Kyung Hee University(庆尚大学);Department of Electrical Engineering(电气工程系);Department of Computer Science(计算机科学系)
针对扩散模型4位PTQ导致纹理丢失的问题,提出QuaRTZ,结合8位异常值量化与前导零抑制保留LSB,在FLUX.1-schnell上以6.98 FID优于SVDQuant。
2025-09-30 cs.CV
QDrop: Randomly Dropping Quantization for Extremely Low-bit Post-Training Quantization
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院)
最近,后训练量化(PTQ)已经引起了人们的广泛关注,以产生高效的神经网络,而无需长时间的再训练。尽管其成本低,但目前的PTQ工作往往在极低的位设置下失败。在这项研究中,我们开创性地确认,适当地将激活量化到PTQ重建的最终准确性的好处。为了深入理解其内在原因,建立了一个理论框架,指出优化后的低比特模型在校准和测试数据上的平坦性是至关重要的。在此基础上,提出了一种简单而有效的方法QDROP,该方法在PTQ过程中随机丢弃激活的量化。在包括计算机视觉(图像分类、目标检测)和自然语言处理(文本分类和问答)在内的各种任务上的广泛实验证明了其优越性。通过QDROP,PTQ的极限首次被推到2位激活,准确率提升高达51.49%。没有花里胡哨,QDROP为PTQ建立了一个新的艺术状态。我们的代码可以在https://github.com/wimh966/QDrop上找到,并已集成到MQBench(https://github.com/ModelTC/MQBench)中。
2023-02-21 cs.AI cs.CV
Learnable Companding Quantization for Accurate Low-bit Neural Networks
Oki Electric Industry Co Ltd.(冲电气工业株式会社)
量化深度神经网络是用于减少存储器消耗和提高推理速度的有效方法,并且因此对于在资源受限的设备中实现是有用的。然而,极低位模型仍然很难达到与全精度模型相当的精度。为了解决这个问题,我们提出了可学习的压扩量化(LCQ)作为一种新的非均匀量化方法的2位,3位和4位模型。LCQ联合优化模型权重和可学习的压扩函数,可以灵活和非均匀地控制权重和激活的量化级别。我们还提出了一种新的权重归一化技术,允许更稳定的量化训练。实验结果表明,LCQ优于传统的国家的最先进的方法,缩小了量化和全精度模型之间的差距,图像分类和目标检测任务。值得注意的是,ImageNet上的2位ResNet-50模型实现了75.1%的top-1准确度,并将差距缩小到1.7%,使LCQ能够进一步利用非均匀量化的潜力。
2021-03-12 cs.CV cs.LG
Low-Bit, High-Fidelity: Optimal Transport Quantization for Flow Matching
针对流匹配生成模型部署受高精度参数需求制约的问题,提出基于最优传输的训练后量化方法,可在2-3比特下保留生成质量,适用于边缘AI场景的模型压缩。
2025-11-14 cs.CV cs.LG
QuEPT: Quantized Elastic Precision Transformers with One-Shot Calibration for Multi-Bit Switching
QuEPT通过单次校准实现多比特切换,结合多比特标记融合和级联低秩适配器提升后训练量化性能。
2026-02-13 cs.AI cs.CV
CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution
Hanyang University(汉阳大学);NVIDIA(英伟达);Seoul National University(首尔大学)
尽管利用卷积神经网络(CNN)在图像超分辨率(SR)方面取得了突破性进展,但由于SR网络的高计算复杂性,SR尚未享有普遍的应用。量化是解决这一问题的有效方法之一。然而,现有的方法不能将比特宽度低于8比特的SR模型进行量化,由于到处应用固定的比特宽度量化,因此遭受严重的精度损失。在这项工作中,为了实现高平均比特减少与准确性损失少,我们提出了一种新的内容感知动态量化(CADyQ)SR网络的方法,分配最佳的比特到局部区域和层自适应的基础上输入图像的局部内容。为此,引入了一个可训练的位选择器模块,以确定每个层和给定的局部图像补丁的适当的位宽和量化级别。该模块由量化灵敏度控制,该量化灵敏度通过使用补丁的图像梯度的平均幅度和层的输入特征的标准偏差来估计。所提出的量化管道已经在各种SR网络上进行了测试,并在几个标准基准上进行了广泛的评估。计算复杂性的显著降低和提高的恢复精度清楚地证明了所提出的用于SR的CADyQ框架的有效性。代码可在https://github.com/Cheeun/CADyQ获得。
2022-10-30 cs.CV eess.IV
Q$^2$: Quantization-Aware Gradient Balancing and Attention Alignment for Low-Bit Quantization
Institute of Information Science, Beijing Jiaotong University(信息科学研究院,北京交通大学)
Q$^2$通过梯度平衡与注意力对齐技术,提升低比特量化在目标检测和图像分割任务中的性能,实现mAP和mDICE的显著提升。
2026-02-26 cs.AI cs.CV
FairQuant: Fairness-Aware Mixed-Precision Quantization for Medical Image Classification
Department of Computer Science, University of Copenhagen, Denmark(计算机科学系,哥本哈根大学,丹麦)
FairQuant通过公平性感知的混合精度量化方法,在医学图像分类中提升模型精度和公平性,实现性能与效率的平衡。
2026-02-26 cs.CV cs.LG
Llama-Mobile: Efficient 2.7-Bit Quantization of VLMs
Graphcore Research(Graphcore研究院);Arm(Arm公司)
针对VLMs部署于移动设备的资源瓶颈,提出结合自生成训练数据的量化流水线与2.7位参数格式的框架,将Llama 3.2 11B Vision Instruct模型压缩至3.7 GB且保留视觉问答任务性能。
2026-10-05 cs.CV cs.LG
LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加州大学洛杉矶分校);HP Inc.(惠普公司)
提出LUQ方法,通过逐层输出激活熵衡量功能复杂度,对简单层应用超低位量化,结合多模态校准,在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化,内存减少40%和31%,MME性能下降<10%。
2026-06-23 cs.AI cs.CV cs.LG
BitNet b1.58 Reloaded: State-of-the-art Performance Also on Smaller Networks
University of Southern Denmark(南丹麦大学)
本研究提出采用中位数计算的BitNet b1.58变体,验证1.58比特量化感知训练在100K-48M参数的小型语言与视觉模型上的效果,证实其能达到甚至超越最优性能,可支撑低资源场景部署。
2024-06-24 cs.AI cs.CL cs.CV