BitsMoE: Cost-Aware Bit Allocation in Spectral Space for MoE LLM Quantization
School of Microelectronics, University of Science and Technology of China(中国科学技术大学微电子学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院)
提出BitsMoE框架,通过SVD分解和频谱能量引导的混合精度比特分配,解决MoE模型超低位量化中的精度损失问题,在Qwen3-30B-A3B-Base上2比特量化下准确率提升27.83个百分点。
2026-09-29 cs.AI cs.LG
HBLLM: Wavelet-Enhanced High-Fidelity 1-Bit Quantization for LLMs
Sun Yat-sen University(中山大学)
HBLLM通过小波增强和结构感知分组策略,实现高保真1位量化,显著提升LLM的存储效率和量化保真度。
2025-12-12 cs.AI cs.LG
Post-Training Sparsity-Aware Quantization
Technion — Israel Institute of Technology(以色列理工学院);Ruppin Academic Center(鲁平学术中心)
量化是一种在深度神经网络(DNN)中使用的技术,用于提高执行性能和硬件效率。统一的后训练量化(PTQ)方法是常见的,因为它们可以在硬件中有效地实现,并且不需要大量的硬件资源或训练集。使用统一PTQ将FP 32模型映射到INT 8产生的模型精度下降可以忽略不计;然而,使用PTQ将精度降低到8位以下具有挑战性,因为由于量化噪声的增加,精度下降变得明显。在本文中,我们提出了一种稀疏感知量化(SPARQ)方法,在该方法中,非结构化和动态激活稀疏性在不同的表示粒度中被利用。4-例如,通过动态检查8位值的位并选择4位的窗口,同时首先跳过零值位,来采用位量化。此外,不是将逐个激活量化为4位,而是关注成对的8位激活,并检查两者之一是否等于零。如果一个等于零,则第二个可以机会性地使用另一个的4比特预算;如果两者都不等于零,则每个被动态量化为4比特,如所描述的。SPARQ实现了较小的精度下降和实际的硬件实现。该代码可在https://github.com/gilshm/sparq上获得。
2021-10-28 cs.AR cs.CV cs.LG
1-Bit Wonder: Improving QAT Performance in the Low-Bit Regime through K-Means Quantization
Aleph Alpha Research(Aleph Alpha研究机构);Graphcore Research(Graphcore研究机构)
本研究通过K均值量化在低位 regime 中改进QAT性能,发现1位量化在生成任务中表现最佳。
2026-02-17 cs.LG
AdaQAT: Adaptive Bit-Width Quantization-Aware Training
Univ. Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化研究所);CNES(法国国家太空研究中心)
提出AdaQAT方法,通过梯度下降在训练中自动优化权重和激活的位宽,实现高效的混合精度量化,在从头训练和微调场景中均表现优异。
2024-04-22 cs.AI cs.LG
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search
Iowa State University(爱荷华州立大学)
本文提出 MixQuant 位宽搜索算法,依据各层权重的舍入误差自动选择最优量化位宽,并可作为预处理与 BRECQ 等量化方法结合以提升模型精度。
2023-09-29 cs.AI cs.CV cs.LG
GDNSQ: Gradual Differentiable Noise Scale Quantization for Low-bit Neural Networks
Ainekko Co.(Ainekko公司)
针对低比特神经网络量化瓶颈问题,提出GDNSQ方法,将微调转化为约束优化问题,采用带可学习参数的全微分STE与外点罚函数,在极端W1A1设置下保持竞争精度与STE效率。
2025-11-11 cs.IT cs.LG cs.NA
On the Expressive Power of Weight Quantization in Large Language Models
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);School of Intelligent Science and Technology(智能科学与技术学院)
本文通过理论分析,证明1.58比特是权重量化的极限精度,并揭示量化比特数减少会导致表达能力多项式级退化。
2026-06-23 cs.AI cs.LG
Bayesian Bits: Unifying Quantization and Pruning
Qualcomm AI Research(高通人工智能研究院)
我们介绍贝叶斯比特,一个实用的方法,联合混合精度量化和修剪,通过基于梯度的优化。贝叶斯比特采用了一种新的量化操作分解,它顺序地考虑了比特宽度的加倍。在每个新位宽处,量化全精度值与先前舍入值之间的残差。然后,我们决定是否添加该量化残余误差以获得更高的有效位宽和更低的量化噪声。通过从2的幂位宽开始,这种分解将始终产生硬件友好的配置,并通过额外的0位选项,作为修剪和量化的统一视图。Bayesian Bits然后引入了可学习的随机门,它们共同控制给定张量的位宽。因此,我们可以通过对门进行近似推断来获得低位解,其中先验分布鼓励大多数门被关闭。我们在几个基准数据集上通过实验验证了我们提出的方法,并表明我们可以学习修剪的混合精度网络,这些网络在准确性和效率之间提供了比静态位宽等效值更好的权衡。
2020-10-27 cs.CV cs.LG stat.ML
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University(杜克大学)
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷,因此已经被广泛研究。然而,它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间,要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化(BSQ)来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量,并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位,实现动态精度降低,从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间,只有一个超参数来权衡性能和压缩。与以前的方法相比,BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
Bit Efficient Quantization for Deep Neural Networks
Latent AI;SRI International(SRI国际)
深度神经网络的量化为边缘设备提供了模型,这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中,我们提出了一个模型参数驱动的量化方法,可以实现低至3位的精度,而不影响精度的比较。训练后量化方法是无数据的,并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络(DNN)的量化结果。为了更好地分析量化结果,我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs
Intel(英特尔)
本文提出循环残差量化(RRQ)框架,可从单个检查点生成LLM的多种精度表示,构建速度比MatGPTQ快3.3倍,在6、8比特精度下表现有竞争力,代码将公开。
2026-08-06 cs.AI cs.LG
Differentiable, Bit-shifting, and Scalable Quantization without training neural network from scratch
本文提出了一种可微、位移和可扩展的量化方法,无需从头开始训练神经网络,实现了高精度的量化效果并提高了效率。
2025-12-03 cs.CV cs.LG stat.ML
Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks
Beihang University(北京航空航天大学);SenseTime Group Limited(商汤集团有限公司);Beijing Institute of Technology(北京理工大学)
硬件友好的网络量化(例如,二进制/均匀量化)可以有效地加速推理,同时减少深度神经网络的存储器消耗,这对于资源有限的设备(如移动电话)上的模型部署至关重要。然而,由于低比特量化的离散性,现有的量化方法往往面临着不稳定的训练过程和严重的性能下降。为了解决这个问题,在本文中,我们提出了微分软量化(DSQ),以弥合全精度和低比特网络之间的差距。DSQ可以在训练过程中自动进化,以逐渐接近标准量化。由于DSQ的可微性,它可以在后向传播过程中精确地追求梯度,并在前向传播过程中通过适当的限幅来减小量化损失。在几种流行的网络结构上进行的大量实验表明,使用DSQ训练低比特神经网络可以始终优于最先进的量化方法。此外,我们的第一个有效的实现部署2至4位DSQ与ARM架构的设备上实现了高达1.7 $\times$的速度相比,开源的8位高性能推理框架NCNN。[三十一]
2019-08-14 cs.CV cs.LG eess.IV
Why Do Some Inputs Break Low-Bit LLM Quantization?
University of Southern California(南加州大学)
本研究揭示低比特量化对特定输入产生较大误差的原因,发现残差流幅度可预示误差,且后期层残差激活与MLP门控输出对性能保持至关重要。
2025-09-24 cs.AI cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich(苏黎世联邦理工学院);Singapore Management University(新加坡管理大学)
我们通过将其权重和激活量化为多个二进制基(称为多位网络(MBN))来研究深度神经网络的压缩,这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化(ALQ),一个新的MBN量化流水线,能够实现平均位宽低于一位,而不会显着损失的推理精度。与先前的MBN量化解决方案(其通过最小化误差来训练量化器以重构全精度权重)不同,ALQ直接最小化损失函数上的量化引起的误差,其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略,以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明,ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC(谷歌有限责任公司)
降低延迟和模型大小一直是现场自动语音识别(ASR)应用场景的重要研究问题。沿着这个方向,模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率,在这项研究中,我们建议开发具有本地量化感知训练的4位ASR模型,该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型,以评估我们提出的量化技术。首先,我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响,并获得了一个无损的4位Conformer模型,与float32模型相比,其大小减少了5.8倍。在此之后,我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性,并产生了具有混合4位和8位权重的无损Conformer ASR模型,与float32模型相比,其大小减少了5倍。
2023-03-03 cs.LG eess.AS
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
网络量化,其目的是减少网络权重和激活的位长度,已经出现了它们的部署到资源有限的设备。尽管最近的研究已经成功地离散化了全精度网络,但它们在训练后仍然会产生很大的量化误差,从而导致全精度网络与其量化网络之间存在显着的性能差距。在这项工作中,我们为神经网络提出了一种新的量化方法,即提升量化(CPQ),它可以找到最佳的量化网格,同时自然地鼓励底层的全精度权重在训练过程中聚集在这些量化网格周围。CPQ的这一特性归功于我们实现可微量化的两个主要成分:i)在前向传递中使用由特定概率参数化设计的分类分布,ii)我们在后向传递中提出的多类直通估计器(STE)。由于我们的第二个组件,多类STE,本质上是有偏见的,我们还提出了一个新的比特丢弃技术,DropBits,修改了标准的dropout正则化,以随机丢弃比特而不是神经元。作为DropBits的自然扩展,我们进一步引入了学习异构量化级别的方法,通过对DropBits施加额外的正则化来为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法,并且还支持一个新的量化假设:从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-05 cs.CV cs.LG
Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels
ServiceNow Research(ServiceNow研究院);University of Arizona(亚利桑那大学);Università di Bologna(博洛尼亚大学)
本文提出独立于底层技术的 LLM 逐层混合比特量化方法,通过两种层重要性指标分配精度,在显著压缩模型的同时保持性能,并验证其与动态量化互补及在大模型上的优势。
2024-10-28 cs.AI cs.CL cs.LG
LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加州大学洛杉矶分校);HP Inc.(惠普公司)
提出LUQ方法,通过逐层输出激活熵衡量功能复杂度,对简单层应用超低位量化,结合多模态校准,在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化,内存减少40%和31%,MME性能下降<10%。
2026-06-23 cs.AI cs.CV cs.LG
E8 Lattice Key Quantization for Low-Bit KV-Cache Compression
Technical University of Berlin(柏林工业大学)
本研究提出基于E8格的向量量化方法,实现2位密钥和2位值的KV缓存压缩,在保持与标量方法相当吞吐量的同时,压缩比达6倍,且在多数模型-数据集-上下文设置中优于标量k3v2,拓展了长上下文LLM推理的质量-内存边界。
2026-10-14 cs.AI cs.LG
Semi-Relaxed Quantization with DropBits: Training Low-Bit Neural Networks via Bit-wise Regularization
网络量化旨在减少网络权重和激活的位长度,已经成为减少神经网络的大小以将其部署到资源有限的设备的关键成分之一。为了克服将连续激活和权重转换为离散激活和权重的性质,最近一项名为松弛量化(RQ)的研究[Louizos et al. 2019]成功地采用了流行的Gumbel-Softmax,该算法允许通过基于梯度的有效优化进行这种转换。然而,RQ与此Gumbel-Softmax松弛仍然遭受偏差方差权衡取决于Gumbel-Softmax的温度参数。为了解决这个问题,我们提出了一种新的方法,半松弛量化(SRQ),它使用多类直通估计器来有效地减少偏差和方差,以及一种新的正则化技术,DropBits,它取代了dropout正则化来随机丢弃比特而不是神经元,以进一步减少SRQ中多类直通估计器的偏差。作为DropBits的自然扩展,我们进一步介绍了学习异构量化级别的方法,以使用DropBits为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法,并且还支持量化彩票假设:从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-07 cs.CV cs.LG eess.IV
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University(西安交通大学);The Hong Kong Polytechnic University(香港理工大学)
由于非差分位宽采样过程,混合精度量化主要在实际训练之前预先确定模型位宽设置,从而获得次优性能。更糟糕的是,传统的静态质量一致的训练设置,即,假设所有数据在训练和推断中具有相同的质量,忽略了现实世界应用中的数据质量变化,这可能导致量化模型的鲁棒性差。在本文中,我们提出了一种新的数据质量感知的混合精度量化框架,称为DQMQ,动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说,DQMQ被建模为一个混合强化学习(RL)任务,结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布,DQMQ是可微分的,并且可以直接端到端地优化,其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练,DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
DNQ: Dynamic Network Quantization
Shanghai Jiao Tong University(上海交通大学);Qualcomm AI Research(高通人工智能研究院)
网络量化是在内存和能量受限的移动设备上部署神经网络的有效方法。在本文中,我们提出了一个动态网络量化(DNQ)框架,它是由两个模块:一个位宽控制器和量化器。与大多数现有的量化方法,使用一个通用的量化位宽为整个网络,我们利用策略梯度训练代理学习的位宽控制器的每一层。该控制器可以在精度和压缩比之间进行权衡。在给定量化位宽序列的情况下,量化器采用量化距离作为量化过程中权值重要性的判断标准。我们广泛验证了各种主流神经网络的方法,并获得了令人印象深刻的结果。
2018-12-06 cs.CV cs.LG
Automatic low-bit hybrid quantization of neural networks through meta learning
IBM Research – China(IBM中国研究院)
模型量化是一种广泛用于压缩和加速深度神经网络(DNN)推理的技术,特别是在部署到计算能力和功耗预算有限的边缘或物联网设备时。跨所有层的均匀比特宽度量化通常是次优的,并且针对不同层的混合量化的探索对于有效的深度压缩至关重要。本文采用元学习方法自动实现神经网络的低比特混合量化。MetaQuantNet与量化函数一起被训练以生成目标DNN的量化权重。然后,我们应用遗传算法搜索最佳的混合量化政策,满足压缩约束。使用搜索到的最佳量化策略,我们随后进行重新训练或微调,以进一步提高量化目标网络的性能。大量的实验表明,搜索的混合量化方案的性能优于均匀位宽对应。与现有的基于强化学习(RL)的混合量化搜索方法相比,这种方法依赖于繁琐的探索,我们的元学习方法对于任何压缩要求都更有效,因为MetaQuantNet只需要训练一次。
2020-04-24 cs.CV cs.LG stat.ML
LLMPi: Optimizing LLMs for High-Throughput on Raspberry Pi
University of South Carolina(南卡罗来纳大学)
本文提出LLMPi,通过k-quantization(PTQ)和三值量化(QAT)等量化优化技术,在Raspberry Pi等边缘设备上实现LLMs的高吞吐量与低功耗,同时保持推理质量。
2025-04-02 cs.AI cs.LG
Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection
University of California, Los Angeles(加州大学洛杉矶分校);University of California, Irvine(加州大学尔湾分校)
提出了一种基于优化的低位宽卷积神经网络(CNN)量化和训练方法LBW-Net。具体来说,我们通过在反向传播过程中最小化全精度权重和量化权重之间的欧几里得距离,将权重转换为零或2的幂。我们的特征的低位宽量化问题的组合性质。对于2位(三进制)CNN,$N$权重的量化可以通过$O(N\log N)$复杂度的精确公式来完成。当位宽为3及以上时,我们进一步提出了一种半解析阈值方案,该方案具有单个用于量化的自由参数,在计算上是廉价的。通过网络再训练和目标检测测试进一步确定自由参数。LBW-Net与全精度CNN相比具有几个理想的优势,包括节省大量内存,能源效率和更快的部署。我们在PASCAL VOC数据集上的实验表明,与32位浮点算法相比,6位LBW-Net在目标检测任务中的性能几乎是无损的,在某些真实世界的视觉场景中甚至可以做得更好,同时经验上享受超过4个$\times$更快的部署。
2017-08-17 cs.LG
SeVeDo: A Heterogeneous Transformer Accelerator for Low-Bit Inference via Hierarchical Group Quantization and SVD-Guided Mixed Precision
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
SeVeDo通过分层分组量化和SVD引导混合精度,提高低比特推理的能效,实现13.8TOPS/W的峰值能效,优于传统设计。
2026-01-22 cs.AR cs.LG
Where and How to Enhance: Discovering Bit-Width Contribution for Mixed Precision Quantization
College of Software, Northeastern University(东北大学软件学院);Institute of Intelligent Manufacturing, Nanjing Tech University(南京科技大学智能制造研究院);Faculty of Engineering, University of Toyama(东大大学工学院)
针对混合精度量化中位宽选择依赖量化参数大小不准确的问题,提出基于Shapley值的SMPQ方法,直接衡量位宽贡献,并用蒙特卡洛采样降低计算成本,在主流基准上取得最优性能。
2025-08-05 cs.LG
AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations
Tongyi Lab, Alibaba Group(阿里集团通义实验室);Alibaba Cloud Computing, Alibaba Group(阿里集团阿里云计算)
本文提出 AsymKV 方法,利用键矩阵与值矩阵在量化敏感性上的非对称性,通过逐层差异化配置实现 KV 缓存 1 比特量化,可在量化 75% 解码器层的同时保持与浮点模型相当的性能。
2024-10-17 cs.AI cs.LG
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research(Meta现实实验室研究部门);AGH UST(AGH科技大学)
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性,通常通过量化权重。大多数现有的作品采用线性量化,这会导致相当大的下降,在精度的权重位宽低于8。由于权重的分布通常是不均匀的(大多数权重集中在零附近),因此其他方法(如对数量化)更适合,因为它们能够更精确地保持权重分布的形状。此外,使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中,我们探讨利用较低的位精度的非线性量化技术,并确定有利的硬件实现选项。我们开发了量化感知训练(QAT)算法,该算法允许训练低位宽的二次幂(PoT)网络,并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术,并研究了三种不同量化方案(均匀,PoT和附加PoT(APoT))的MAC单元的硬件设计,以显示使用所提出的方法时提高的效率。实验结果表明,对于低位宽精度,非均匀量化的性能优于均匀量化,同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache
Seoul National University(首尔国立大学)
针对大语言模型KV缓存内存密集问题,NSNQuant提出一种无校准向量量化技术,通过三步变换结合哈达玛变换使令牌分布与标准正态分布对齐,在1比特和2比特设置下优于先前方法,提升吞吐量。
2026-07-16 cs.AI cs.LG
D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs
Shanghai Jiao Tong University(上海交通大学);Tencent Hunyuan(腾讯文心)
D$^2$Quant通过双尺度量化器和偏差感知修正提升低比特权重量化精度,实现更高效的LLM部署。
2026-02-06 cs.AI cs.LG
Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization
Graduate School of Information Sciences(信息科学研究生院)
ARHQ通过构建输入侧残差Hessian来隔离误差敏感的权重方向,提升低比特激活权重量化的层间SNR并保持下游推理性能。
2026-04-30 cs.CL cs.CV cs.LG
FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Jiangsu Shuguang Optoelectric Co., Ltd(江苏曙光光电有限公司)
提出软硬件协同设计FineQ,通过细粒度权重聚类、簇内3比特异常值保护机制及时间编码加速器,在相近平均位宽下提升LLM低位混合精度量化精度,并实现1.79倍能效提升与61.2%面积缩减。
2025-04-28 cs.AR cs.LG
Binary Weight Multi-Bit Activation Quantization for Compute-in-Memory CNN Accelerators
Department of Electrical and Electronic Engineering, The University of Hong Kong(电子工程系,香港大学)
针对存内计算 CNN 加速器,本文提出 BWMA 二值权重、多位激活量化方法,通过权重闭式解和可微激活量化提升精度与效率,并证明 4 位激活实现最佳硬件-性能平衡。
2025-08-29 cs.AR cs.LG
Norm Tweaking: High-performance Low-bit Quantization of Large Language Models
Meituan(美团)
针对大语言模型低比特量化精度下降问题,提出norm tweaking范数调整技术,通过修正激活分布、优化归一化层权重提升PTQ效果,在2比特量化下可达到浮点模型精度。
2023-12-13 cs.AI cs.CL cs.LG
16-bit Precision of Convolutional Neural Networks on Microcontroller Units for 8-bit Costs
Bielefeld University(比勒费尔德大学)
本文提出W16A16,一种16位高精度量化方法,在Armv7E-M微控制器上以8位成本实现约10倍更低的量化误差,同时保持相似或更优的速度与能耗。
2026-10-05 cs.LG
BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models
Southwestern University of Finance and Economics(西南财经大学);The University of Hong Kong(香港大学);Artificial Intelligence and Digital Finance Key Laboratory of Sichuan Province(四川省人工智能与数字金融重点实验室);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong Polytechnic University(香港理工大学);Sun Yat-sen University(中山大学)
本文提出BPDQ,通过位平面和标量系数构建可变量化网格,并利用二阶信息迭代优化,实现2位下大语言模型在单张RTX 3090上达到83.85%的GSM8K准确率。
2026-05-15 cs.LG
Atom: Low-bit Quantization for Efficient and Accurate LLM Serving
Shanghai Jiao Tong University(上海交通大学);University of Washington(华盛顿大学);Peking University(北京大学);OctoAI;Carnegie Mellon University(卡内基梅隆大学)
针对 LLM 服务中高位量化难以发挥现代 GPU 低比特算力的问题,提出 Atom 混合精度细粒度低位量化方法,在 4 位权重-激活量化下显著降显存、提吞吐且精度损失极小。
2024-04-16 cs.LG
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
ByteDance(字节跳动)
本文提出decoupleQ,通过将模型参数解耦为整数和浮点数,将量化转化为约束优化问题,实现2比特均匀量化,在字节跳动大型语音模型上达到接近fp16/bf16的精度。
2024-04-19 cs.LG
LSQ+: Improving low-bit quantization through learnable offsets and better initialization
Qualcomm AI Research, Qualcomm Technologies, Inc.(高通AI研究,高通技术公司);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通AI研究,高通技术荷兰有限公司);Seoul National University(首尔大学)
与ReLU不同,在流行的高效架构中经常使用的较新的激活函数(如Swish,H-swish,Mish)也可能导致负激活值,并具有倾斜的正负范围。典型的可学习量化方案[PACT,LSQ]假设无符号量化用于激活,并将所有负激活都设为零,这导致性能的显著损失。单纯地使用带符号量化来适应这些负值需要额外的符号位,这对于低位(2位、3位、4位)量化来说是昂贵的。为了解决这个问题,我们提出了LSQ+,这是LSQ的一个自然扩展,其中我们引入了一个具有可训练尺度和偏移参数的通用非对称量化方案,可以学习适应负激活。基于自适应的可学习量化方案通常也遭受最终训练性能的高不稳定性或方差,因此需要大量的超参数调整以达到令人满意的性能。LSQ+通过对量化参数使用基于MSE的初始化方案来解决这个问题。我们表明,这种初始化导致在多个训练运行的最终性能显着较低的方差。总体而言,LSQ+显示了EfficientNet和MixNet的最新结果,并且在Swish激活的神经网络的低位量化方面也明显优于LSQ(例如:ImageNet数据集上EfficientNet-B 0的W 4A 4量化增益高达1.8%,W2 A2量化增益高达5.6%)。据我们所知,我们的工作是第一次将这种架构扩展到极低的位宽。
2020-04-20 cs.CV cs.LG stat.ML
CCQ: Convolutional Code for Extreme Low-bit Quantization in LLMs
Baidu Inc.(百度公司)
提出卷积码量化(CCQ)方法,结合硬件感知移位编解码与卷积码等技术,将LLM压缩至2.0-2.75位,在保持精度的同时实现单GPU部署并消除跨卡通信。
2025-07-09 cs.LG
BitTTS: Highly Compact Text-to-Speech Using 1.58-bit Quantization and Weight Indexing
LY Corporation(LY公司)
本文提出BitTTS,通过1.58位量化感知训练和权重索引方法,在端侧实现模型规模缩减83%,且合成质量优于同规模未量化基线。
2025-06-04 cs.LG cs.SD eess.AS
Exploring Model Invariance with Discrete Search for Ultra-Low-Bit Quantization
University of Alberta(阿尔伯塔大学);RBC Borealis;Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
针对大型语言模型超低比特量化的挑战,提出统一框架InvarExplore,通过离散搜索同时探索不同模型不变性并利用其协同效应,兼容现有先进方法且实现性能提升。
2025-02-06 cs.AI cs.CL cs.LG
SDQ-LLM: Sigma-Delta Quantization for 1-bit LLMs of any size
Dept of Electronic Engineering, Tsinghua University, Beijing, China(电子工程系,清华大学,北京,中国);Beijing National Research Center for Information Science and Technology, Beijing, China(北京信息科学与技术国家研究中心,北京,中国)
针对大语言模型部署的计算与内存瓶颈,提出支持任意规模的1比特量化框架SDQ-LLM,通过可调节过采样率、权重平滑及细粒度OSR分配策略,在极低比特下兼顾推理效率与模型精度。
2025-09-27 cs.AI cs.CV cs.LG
SKIM: Any-bit Quantization Pushing The Limits of Post-Training Quantization
School of Software, Tsinghua University(清华大学软件学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对大语言模型低精度量化性能下降、比特方案有限的问题,提出SKIM训练后量化方法,通过贪心比特分配和可训练缩放向量实现任意比特量化,显著缩小3比特LLaMA与全精度模型的困惑度差距。
2024-12-07 cs.LG
Learnable Companding Quantization for Accurate Low-bit Neural Networks
Oki Electric Industry Co Ltd.(冲电气工业株式会社)
量化深度神经网络是用于减少存储器消耗和提高推理速度的有效方法,并且因此对于在资源受限的设备中实现是有用的。然而,极低位模型仍然很难达到与全精度模型相当的精度。为了解决这个问题,我们提出了可学习的压扩量化(LCQ)作为一种新的非均匀量化方法的2位,3位和4位模型。LCQ联合优化模型权重和可学习的压扩函数,可以灵活和非均匀地控制权重和激活的量化级别。我们还提出了一种新的权重归一化技术,允许更稳定的量化训练。实验结果表明,LCQ优于传统的国家的最先进的方法,缩小了量化和全精度模型之间的差距,图像分类和目标检测任务。值得注意的是,ImageNet上的2位ResNet-50模型实现了75.1%的top-1准确度,并将差距缩小到1.7%,使LCQ能够进一步利用非均匀量化的潜力。
2021-03-12 cs.CV cs.LG
LO-BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference
NVIDIA Corporation(NVIDIA公司);Department of ECE(电子工程系);Purdue University(普渡大学)
LO-BCQ通过块聚类量化方法,在W4A4格式下实现4位大语言模型推理,取得<1%的精度损失,提升推理效率。
2026-02-13 cs.LG
BAQ: Efficient Bit Allocation Quantization for Large Language Models
Central South University(中南大学);Khalifa University(卡里玛大学);CNRS(国家科学研究中心)
本文提出BAQ位分配量化算法,基于Hessian代理的敏感性度量将位宽分配建模为凸优化问题并求闭式解,在125M至30B参数LLM上以相同位宽实现比GPTQ最多低56倍的困惑度。
2025-06-06 cs.CL cs.LG
8-bit Optimizers via Block-wise Quantization
Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学)
有状态优化器随时间保持梯度统计,例如,过去梯度值的指数平滑和(SGD与动量)或平方和(Adam)。与普通的随机梯度下降相比,这种状态可以用来加速优化,但使用了可能分配给模型参数的内存,从而限制了实际训练的模型的最大大小。在本文中,我们开发了第一个使用8位统计数据的优化器,同时保持使用32位优化器状态的性能水平。为了克服由此产生的计算,量化和稳定性的挑战,我们开发了块动态量化。分块量化将输入张量划分为独立量化的较小块。每个块在内核之间并行处理,从而实现更快的优化和高精度量化。为了保持稳定性和性能,我们将分块量化与两个额外的变化相结合:(1)动态量化,一种对大小幅度值都精确的非线性优化形式,以及(2)稳定的嵌入层,以减少来自语言模型中输入标记高度不均匀分布的梯度方差。因此,我们的8位优化器在一系列任务上保持32位性能,仅占用一小部分内存,包括1.5B参数语言建模,GLUE微调,ImageNet分类,WMT'14机器翻译,MoCo v2对比ImageNet预训练+微调,以及RoBERTa预训练,而无需更改原始优化器超参数。我们开源了我们的8位优化器作为一个简单的替代品,只需要两行代码的更改。
2022-06-20 cs.LG
Post-Training 4-bit Quantization on Embedding Tables
North Carolina State University(北卡罗来纳州立大学);Facebook, Inc(脸书公司)
连续表示已被广泛采用的推荐系统中,大量的实体表示使用嵌入向量。随着实体基数的增加,嵌入组件可以很容易地包含数百万个参数,并由于大量的内存消耗而成为存储和推理的瓶颈。这项工作的重点是后训练4位量化的连续嵌入。我们提出了逐行均匀量化与贪婪搜索和基于码本的量化,始终优于国家的最先进的量化方法,减少精度退化。我们在Facebook的生产模型上部署了我们的统一量化技术,并证明它可以将模型大小减少到单精度版本的13.89%,同时模型质量保持中立。
2019-11-05 cs.IR cs.LG stat.ML
Extremely Low Bit Transformer Quantization for On-Device Neural Machine Translation
Samsung Research(三星研究院)
广泛使用的Transformer架构的部署是具有挑战性的,因为在推理期间的繁重计算负载和存储器开销,特别是当目标设备在计算资源方面受到限制时,例如移动或边缘设备。量化是应对这些挑战的有效技术。我们的分析表明,对于给定数量的量化位,每个块的Transformer有助于翻译质量和推理计算以不同的方式。此外,即使在一个嵌入块中,每个单词的贡献也大不相同。相应地,我们提出了一种混合精度量化策略,以通过极低数量的比特来表示Transformer权重(例如,低于3比特)。例如,对于嵌入块中的每个字,我们基于统计特性分配不同的量化比特。我们的量化Transformer模型实现了比基线模型小11.8 $\times$的模型大小,具有小于-0.5 BLEU。我们实现了8.3 $\times$减少运行时内存占用和3.5 $\times$加速(银河N10+),使我们提出的压缩策略,使设备上的NMT的有效实施。
2020-10-13 cs.CL cs.LG stat.ML
Qrazor: Reliable and Effortless 4-bit LLM Quantization by Significant Data Razoring
QRazor提出一种两阶段4位量化方案,先以8/16位整数加绝对最大值缩放保精度,再用显著数据剃削技术压缩至4位,无需微调即在LLaMA2-7B零样本推理上超越现有方法,并配套免解压整数算术单元。
2025-02-05 cs.LG