Atom: Low-bit Quantization for Efficient and Accurate LLM Serving
Shanghai Jiao Tong University（上海交通大学）；University of Washington（华盛顿大学）；Peking University（北京大学）；OctoAI；Carnegie Mellon University（卡内基梅隆大学）
针对 LLM 服务中高位量化难以发挥现代 GPU 低比特算力的问题，提出 Atom 混合精度细粒度低位量化方法，在 4 位权重-激活量化下显著降显存、提吞吐且精度损失极小。
2024-04-16 cs.LG
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
ByteDance（字节跳动）
本文提出decoupleQ，通过将模型参数解耦为整数和浮点数，将量化转化为约束优化问题，实现2比特均匀量化，在字节跳动大型语音模型上达到接近fp16/bf16的精度。
2024-04-19 cs.LG
CCQ: Convolutional Code for Extreme Low-bit Quantization in LLMs
Baidu Inc.（百度公司）
提出卷积码量化（CCQ）方法，结合硬件感知移位编解码与卷积码等技术，将LLM压缩至2.0-2.75位，在保持精度的同时实现单GPU部署并消除跨卡通信。
2025-07-09 cs.LG
SKIM: Any-bit Quantization Pushing The Limits of Post-Training Quantization
School of Software, Tsinghua University（清华大学软件学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对大语言模型低精度量化性能下降、比特方案有限的问题，提出SKIM训练后量化方法，通过贪心比特分配和可训练缩放向量实现任意比特量化，显著缩小3比特LLaMA与全精度模型的困惑度差距。
2024-12-07 cs.LG
LO-BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference
NVIDIA Corporation（NVIDIA公司）；Department of ECE（电子工程系）；Purdue University（普渡大学）
LO-BCQ通过块聚类量化方法，在W4A4格式下实现4位大语言模型推理，取得<1%的精度损失，提升推理效率。
2026-02-13 cs.LG
8-bit Optimizers via Block-wise Quantization
Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
有状态优化器随时间保持梯度统计，例如，过去梯度值的指数平滑和（SGD与动量）或平方和（Adam）。与普通的随机梯度下降相比，这种状态可以用来加速优化，但使用了可能分配给模型参数的内存，从而限制了实际训练的模型的最大大小。在本文中，我们开发了第一个使用8位统计数据的优化器，同时保持使用32位优化器状态的性能水平。为了克服由此产生的计算，量化和稳定性的挑战，我们开发了块动态量化。分块量化将输入张量划分为独立量化的较小块。每个块在内核之间并行处理，从而实现更快的优化和高精度量化。为了保持稳定性和性能，我们将分块量化与两个额外的变化相结合：（1）动态量化，一种对大小幅度值都精确的非线性优化形式，以及（2）稳定的嵌入层，以减少来自语言模型中输入标记高度不均匀分布的梯度方差。因此，我们的8位优化器在一系列任务上保持32位性能，仅占用一小部分内存，包括1.5B参数语言建模，GLUE微调，ImageNet分类，WMT'14机器翻译，MoCo v2对比ImageNet预训练+微调，以及RoBERTa预训练，而无需更改原始优化器超参数。我们开源了我们的8位优化器作为一个简单的替代品，只需要两行代码的更改。
2022-06-20 cs.LG
Qrazor: Reliable and Effortless 4-bit LLM Quantization by Significant Data Razoring
QRazor提出一种两阶段4位量化方案，先以8/16位整数加绝对最大值缩放保精度，再用显著数据剃削技术压缩至4位，无需微调即在LLaMA2-7B零样本推理上超越现有方法，并配套免解压整数算术单元。
2025-02-05 cs.LG
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers
The Chinese University of Hong Kong（香港中文大学）；Microsoft AI and Research（微软人工智能研究院）
循环神经网络语言模型（RNNLM）的高内存消耗和计算成本限制了其在资源受限设备上的广泛应用。近年来，能够产生极低比特压缩的神经网络量化技术（例如，二值化RNNLM）正获得越来越多的研究兴趣。直接训练量化的神经网络是困难的。通过将量化RNNLM训练问题转化为一个优化问题，提出了一种利用交替方向乘法器（ADMM）从头开始训练量化RNNLM的新方法.该方法还可以灵活地调整压缩率和模型性能之间的权衡使用绑低比特量化表。两个任务的实验：Penn Treebank（PTB）和Switchboard（SWBD）建议，所提出的ADMM量化实现了全精度基线RNNLM上高达31倍的模型大小压缩因子。模型训练的收敛速度比基线二值化RNNLM量化快5倍。索引术语：语言模型，递归神经网络，量化，交替方向乘法器方法。
2021-11-29 cs.LG
CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
针对LLM低位量化性能差的问题，提出CLAQ框架，通过K-Means聚类动态生成量化质心、离群值引导自适应精度搜索及动态离群值保留三种策略，在LLaMA和Yi等模型上取得SOTA结果。
2024-06-03 cs.LG
Scale Sensitivity in Low-Bit Post-Training Quantization: Curvature of the Quantization Error Landscape
Ludwig-Maximilians-Universität München（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Konrad Zuse School of Excellence in Reliable AI (DAAD)（康拉德·楚泽可靠人工智能卓越学院）
本研究证明低比特后训练量化误差对尺度高度敏感，其极限目标曲率随比特宽度指数衰减，并提出经 Hadamard 处理的高斯最优尺度可在 3 比特以上免搜索匹配最佳规则。
2026-09-30 cs.LG
Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Toronto（多伦多大学）；Toronto, ON, Canada（加拿大安大略省多伦多市）
最近的工作已经探索了在神经网络训练期间降低参数、激活和梯度的数值精度，作为降低训练计算成本的一种方式（Na & Mukhopadhyay，2016）（Courbariaux et al.，2014年）。我们提出了一种新的动态精度缩放（DPS）计划。通过使用随机定点舍入、基于量化误差的缩放方案以及训练过程中的动态位宽，我们在MNIST数据集上实现了98.8%的测试准确度，与深度学习框架中使用的标准32位浮点值相比，权重的平均位宽仅为16位，激活的平均位宽为14位。
2019-01-24 cs.LG
MSQ: Memory-Efficient Bit Sparsification Quantization
Department of Electrical and Computer Engineering, Sungkyunkwan University（全州大学电子与计算机工程系）；Department of Electrical and Computer Engineering, University of Arizona（亚利桑那大学电子与计算机工程系）
针对混合精度量化中层级最优精度难寻、位级稀疏方法训练复杂度与内存需求高的问题，提出MSQ方法，通过可微LSB计算、正则化稀疏化及Hessian信息剪枝，在保持准确率与压缩率的同时大幅降低训练参数与时间。
2025-07-30 cs.LG
Rethinking Output Alignment For 1-bit Post-Training Quantization of Large Language Models
Department of Data Science and AI（数据科学与人工智能系）；Monash University（墨尔本大学）；Centre for Vision, Speech and Signal Processing（视觉、语音和信号处理中心）；University of Surrey（萨里大学）
本文提出一种新的1位后训练量化方法，解决输出对齐问题，通过减少层间误差累积和表示空间各向异性畸变，提升大语言模型性能。
2026-05-15 cs.LG
Class-based Quantization for Neural Networks
Technical University of Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；Xidian University（西安电子科技大学）
在深度神经网络（DNN）中，有大量的权重和乘法累加（MAC）运算。因此，在资源受限的平台上应用DNN是具有挑战性的，例如，手机量化是减少DNN的大小和计算复杂性的方法。现有的量化方法要么需要硬件开销来实现非均匀量化，要么专注于模型式和层式均匀量化，其不如滤波器式量化那样细粒度。在本文中，我们提出了一种基于类的量化方法来确定DNN中每个滤波器或神经元的最小量化比特数。在所提出的方法中，每个过滤器或神经元相对于数据集中的类的数量的重要性得分首先进行评估。分数越大，滤波器或神经元越重要，因此量化比特的数量应该越大。然后，采用搜索算法来利用滤波器和神经元的不同重要性来确定每个滤波器或神经元的量化比特数。实验结果表明，该方法可以在低量化比特宽度的情况下保持推理精度。在相同量化比特数的情况下，该方法也可以比现有方法获得更好的推理精度。
2022-11-27 cs.LG
Diffusion Model Based Signal Recovery Under 1-Bit Quantization
School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科学与技术大学）
Diff-OneBit通过可微替代似然函数解决1位量化信号恢复中的非线性链接函数问题，实现高效高保真重建。
2026-01-10 cs.LG
DecDEC: A Systems Approach to Advancing Low-Bit LLM Quantization
Seoul National University（首尔国立大学）
本文提出 DecDEC 推理方案，通过将残差矩阵存于 CPU 并动态获取显著通道残差以纠正量化误差，在几乎不增加 GPU 内存和延迟开销的情况下，显著提升了低比特 LLM 的模型质量。
2025-06-24 cs.LG
MuonQ: Enhancing Low-Bit Muon Quantization via Directional Fidelity Optimization
University of California, Santa Barbara（加州大学圣芭芭拉分校）
MuonQ通过预量化归一化、结构分解和μ-律扩展量化，实现稳定4比特穆子优化器状态量化，降低内存消耗并保持训练性能。
2026-07-24 cs.LG
TruncQuant: Truncation-Ready Quantization for DNNs with Flexible Weight Bit Precision
Department of Electrical and Computer Engineering（电气与计算机工程系）；School of Electronic and Electrical Engineering（电子与电气工程学院）；Department of Artificial Intelligence（人工智能系）
针对现有量化感知训练不支持截断、难以适配边缘设备多样硬件的问题，提出TruncQuant截断就绪训练方案，通过对齐截断输出实现运行时灵活位精度，在不同位宽下鲁棒性强且易集成到现有框架。
2025-06-13 cs.LG
Pioneering 4-Bit FP Quantization for Diffusion Models: Mixup-Sign Quantization and Timestep-Aware Fine-Tuning
School of Information Science and Technology, Fudan University（信息科学与技术学院，复旦大学）；Academy for Engineering and Technology, Fudan University（工程与技术学院，复旦大学）
本文提出MSFP框架，首次在扩散模型4位量化中引入无符号浮点量化，结合TALoRA和DFA解决非对称分布与微调错位问题，性能超越现有4位整数量化方法。
2025-05-27 cs.AI cs.LG
Continual Quantization-Aware Pre-Training: When to transition from 16-bit to 1.58-bit pre-training for BitNet language models?
University of Southern Denmark（南丹麦大学）
针对BitNet语言模型，本文提出先16位后1.58位的持续量化感知预训练策略，并在11项下游任务上验证其优于全程1.58位训练。
2025-02-17 cs.AI cs.LG
Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University（首尔国立大学）
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中，我们提出了一个元学习的方法来实现这一目标。具体来说，我们提出了MEBQAT，一种简单而有效的位宽自适应量化感知训练（QAT）的方法，其中通过重新定义元学习任务来合并位宽，将元学习有效地与QAT相结合。在平台上部署后，MEBQAT允许（Meta）训练模型被量化为任何候选位宽，然后帮助进行推理，而不会因量化而降低准确性。此外，在少样本学习场景下，MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持（1）位宽自适应量化场景和（2）新的少样本学习场景，其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性，在多个QAT计划。通过比较它们的性能（位宽专用）QAT，现有的位宽自适应QAT和香草元学习，我们发现，合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University（杜克大学）
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷，因此已经被广泛研究。然而，它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间，要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化（BSQ）来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量，并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位，实现动态精度降低，从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间，只有一个超参数来权衡性能和压缩。与以前的方法相比，BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich（苏黎世联邦理工学院）；Singapore Management University（新加坡管理大学）
我们通过将其权重和激活量化为多个二进制基（称为多位网络（MBN））来研究深度神经网络的压缩，这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化（ALQ），一个新的MBN量化流水线，能够实现平均位宽低于一位，而不会显着损失的推理精度。与先前的MBN量化解决方案（其通过最小化误差来训练量化器以重构全精度权重）不同，ALQ直接最小化损失函数上的量化引起的误差，其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略，以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明，ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC（谷歌有限责任公司）
降低延迟和模型大小一直是现场自动语音识别（ASR）应用场景的重要研究问题。沿着这个方向，模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率，在这项研究中，我们建议开发具有本地量化感知训练的4位ASR模型，该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型，以评估我们提出的量化技术。首先，我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响，并获得了一个无损的4位Conformer模型，与float32模型相比，其大小减少了5.8倍。在此之后，我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性，并产生了具有混合4位和8位权重的无损Conformer ASR模型，与float32模型相比，其大小减少了5倍。
2023-03-03 cs.LG eess.AS
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
网络量化，其目的是减少网络权重和激活的位长度，已经出现了它们的部署到资源有限的设备。尽管最近的研究已经成功地离散化了全精度网络，但它们在训练后仍然会产生很大的量化误差，从而导致全精度网络与其量化网络之间存在显着的性能差距。在这项工作中，我们为神经网络提出了一种新的量化方法，即提升量化（CPQ），它可以找到最佳的量化网格，同时自然地鼓励底层的全精度权重在训练过程中聚集在这些量化网格周围。CPQ的这一特性归功于我们实现可微量化的两个主要成分：i）在前向传递中使用由特定概率参数化设计的分类分布，ii）我们在后向传递中提出的多类直通估计器（STE）。由于我们的第二个组件，多类STE，本质上是有偏见的，我们还提出了一个新的比特丢弃技术，DropBits，修改了标准的dropout正则化，以随机丢弃比特而不是神经元。作为DropBits的自然扩展，我们进一步引入了学习异构量化级别的方法，通过对DropBits施加额外的正则化来为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法，并且还支持一个新的量化假设：从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-05 cs.CV cs.LG
PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Illinois Institute of Technology（伊利诺伊大学香槟分校）
提出PTQ1.61，首次实现大语言模型权重1.61比特量化，通过结构化掩码和块级缩放优化，并引入量化预处理范式，在极低比特量化中达到最先进性能。
2025-08-06 cs.AI cs.LG
Integer or Floating Point? New Outlooks for Low-Bit Quantization on Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
本研究比较了大型语言模型中低位INT与FP量化格式，发现最佳格式因层而异，提出混合格式量化（MoFQ）逐层选择最优格式，在W-only和WA场景下均达SOTA且无硬件开销。
2023-05-21 cs.AI cs.LG
ICQuant: Index Coding enables Low-bit LLM Quantization
University of California, Los Angeles（加州大学洛杉矶分校）；Meta, GenAI（Meta）
针对大语言模型低比特量化中异常值导致范围膨胀和误差大的问题，提出ICQuant框架，利用索引编码实现高效异常值感知仅权重量化，在低比特开销下大幅提升量化准确率，无需微调即可媲美最优微调量化器。
2025-08-24 cs.AI cs.LG
DNQ: Dynamic Network Quantization
Shanghai Jiao Tong University（上海交通大学）；Qualcomm AI Research（高通人工智能研究院）
网络量化是在内存和能量受限的移动设备上部署神经网络的有效方法。在本文中，我们提出了一个动态网络量化（DNQ）框架，它是由两个模块：一个位宽控制器和量化器。与大多数现有的量化方法，使用一个通用的量化位宽为整个网络，我们利用策略梯度训练代理学习的位宽控制器的每一层。该控制器可以在精度和压缩比之间进行权衡。在给定量化位宽序列的情况下，量化器采用量化距离作为量化过程中权值重要性的判断标准。我们广泛验证了各种主流神经网络的方法，并获得了令人印象深刻的结果。
2018-12-06 cs.CV cs.LG
BitPruning: Learning Bitlengths for Aggressive and Accurate Quantization
University of Toronto（多伦多大学）；Mila（米拉研究所）；IMT-Atlantique（IMT-大西洋高等电信学校）
神经网络已经证明使用低位长整数量化实现了最先进的精度，在支持短位长的现有硬件设计上产生了执行时间和能量效益。然而，找到所需精度的最小位长的问题仍然是开放的。我们引入了一种训练方法，用于在保持准确性的同时在任何粒度下最小化推理位长度。也就是说，我们提出了一个正则化，惩罚整个架构的大位长表示，并展示了如何可以修改，以尽量减少其他可量化的标准，如操作或内存占用的数量。我们证明，我们的方法学习节俭的表示，同时保持准确性。使用ImageNet，该方法在AlexNet、ResNet 18和MobileNet V2上分别产生4.13、3.76和4.36位的平均每层位长，保持在基本TOP-1准确度的2.0%、0.5%和0.5%以内。
2020-08-11 cs.LG stat.ML
Bayesian Bits: Unifying Quantization and Pruning
Qualcomm AI Research（高通人工智能研究院）
我们介绍贝叶斯比特，一个实用的方法，联合混合精度量化和修剪，通过基于梯度的优化。贝叶斯比特采用了一种新的量化操作分解，它顺序地考虑了比特宽度的加倍。在每个新位宽处，量化全精度值与先前舍入值之间的残差。然后，我们决定是否添加该量化残余误差以获得更高的有效位宽和更低的量化噪声。通过从2的幂位宽开始，这种分解将始终产生硬件友好的配置，并通过额外的0位选项，作为修剪和量化的统一视图。Bayesian Bits然后引入了可学习的随机门，它们共同控制给定张量的位宽。因此，我们可以通过对门进行近似推断来获得低位解，其中先验分布鼓励大多数门被关闭。我们在几个基准数据集上通过实验验证了我们提出的方法，并表明我们可以学习修剪的混合精度网络，这些网络在准确性和效率之间提供了比静态位宽等效值更好的权衡。
2020-10-27 cs.CV cs.LG stat.ML
BitsMoE: Cost-Aware Bit Allocation in Spectral Space for MoE LLM Quantization
School of Microelectronics, University of Science and Technology of China（中国科学技术大学微电子学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）
提出BitsMoE框架，通过SVD分解和频谱能量引导的混合精度比特分配，解决MoE模型超低位量化中的精度损失问题，在Qwen3-30B-A3B-Base上2比特量化下准确率提升27.83个百分点。
2026-09-29 cs.AI cs.LG
HBLLM: Wavelet-Enhanced High-Fidelity 1-Bit Quantization for LLMs
Sun Yat-sen University（中山大学）
HBLLM通过小波增强和结构感知分组策略，实现高保真1位量化，显著提升LLM的存储效率和量化保真度。
2025-12-12 cs.AI cs.LG
Bit Efficient Quantization for Deep Neural Networks
Latent AI；SRI International（SRI国际）
深度神经网络的量化为边缘设备提供了模型，这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中，我们提出了一个模型参数驱动的量化方法，可以实现低至3位的精度，而不影响精度的比较。训练后量化方法是无数据的，并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络（DNN）的量化结果。为了更好地分析量化结果，我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Differentiable, Bit-shifting, and Scalable Quantization without training neural network from scratch
本文提出了一种可微、位移和可扩展的量化方法，无需从头开始训练神经网络，实现了高精度的量化效果并提高了效率。
2025-12-03 cs.CV cs.LG stat.ML
Learnable Companding Quantization for Accurate Low-bit Neural Networks
Oki Electric Industry Co Ltd.（冲电气工业株式会社）
量化深度神经网络是用于减少存储器消耗和提高推理速度的有效方法，并且因此对于在资源受限的设备中实现是有用的。然而，极低位模型仍然很难达到与全精度模型相当的精度。为了解决这个问题，我们提出了可学习的压扩量化（LCQ）作为一种新的非均匀量化方法的2位，3位和4位模型。LCQ联合优化模型权重和可学习的压扩函数，可以灵活和非均匀地控制权重和激活的量化级别。我们还提出了一种新的权重归一化技术，允许更稳定的量化训练。实验结果表明，LCQ优于传统的国家的最先进的方法，缩小了量化和全精度模型之间的差距，图像分类和目标检测任务。值得注意的是，ImageNet上的2位ResNet-50模型实现了75.1%的top-1准确度，并将差距缩小到1.7%，使LCQ能够进一步利用非均匀量化的潜力。
2021-03-12 cs.CV cs.LG
Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks
Beihang University（北京航空航天大学）；SenseTime Group Limited（商汤集团有限公司）；Beijing Institute of Technology（北京理工大学）
硬件友好的网络量化（例如，二进制/均匀量化）可以有效地加速推理，同时减少深度神经网络的存储器消耗，这对于资源有限的设备（如移动电话）上的模型部署至关重要。然而，由于低比特量化的离散性，现有的量化方法往往面临着不稳定的训练过程和严重的性能下降。为了解决这个问题，在本文中，我们提出了微分软量化（DSQ），以弥合全精度和低比特网络之间的差距。DSQ可以在训练过程中自动进化，以逐渐接近标准量化。由于DSQ的可微性，它可以在后向传播过程中精确地追求梯度，并在前向传播过程中通过适当的限幅来减小量化损失。在几种流行的网络结构上进行的大量实验表明，使用DSQ训练低比特神经网络可以始终优于最先进的量化方法。此外，我们的第一个有效的实现部署2至4位DSQ与ARM架构的设备上实现了高达1.7 $\times$的速度相比，开源的8位高性能推理框架NCNN。[三十一]
2019-08-14 cs.CV cs.LG eess.IV
BAQ: Efficient Bit Allocation Quantization for Large Language Models
Central South University（中南大学）；Khalifa University（卡里玛大学）；CNRS（国家科学研究中心）
本文提出BAQ位分配量化算法，基于Hessian代理的敏感性度量将位宽分配建模为凸优化问题并求闭式解，在125M至30B参数LLM上以相同位宽实现比GPTQ最多低56倍的困惑度。
2025-06-06 cs.CL cs.LG
AdaQAT: Adaptive Bit-Width Quantization-Aware Training
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化研究所）；CNES（法国国家太空研究中心）
提出AdaQAT方法，通过梯度下降在训练中自动优化权重和激活的位宽，实现高效的混合精度量化，在从头训练和微调场景中均表现优异。
2024-04-22 cs.AI cs.LG
SGQuant: Squeezing the Last Bit on Graph Neural Networks with Specialized Quantization
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
随着基于图的学习方法的日益普及，图神经网络（GNNs）以其高精度的学习效果受到了研究和工业界的广泛关注。然而，现有的GNN遭受高存储器占用（例如，节点嵌入特征）。这种高内存占用阻碍了对内存受限设备的潜在应用，例如广泛部署的物联网设备。为此，我们提出了一种专门的GNN量化方案SGQuant，以系统地减少GNN的内存消耗。具体来说，我们首先提出了一个GNN定制的量化算法设计和GNN量化微调方案，以减少内存消耗，同时保持精度。然后，我们研究了在GNN计算的不同级别（组件，图形拓扑和层）操作的多粒度量化策略。此外，我们提供了一个自动比特选择（ABS），以查明最合适的量化比特以上的多粒度量化。密集的实验表明，与原始全精度GNN相比，SGQuant可以有效地将内存占用从4.25倍减少到31.9倍，同时将精度下降限制在平均0.4%。
2020-09-16 cs.LG stat.ML
Low-Bit Quantization Favors Undertrained LLMs: Scaling Laws for Quantized LLMs with 100T Training Tokens
University of Virginia（弗吉尼亚大学）；Tencent AI Lab（腾讯AI实验室）
该研究揭示低比特量化对欠训练LLM更友好，通过分析1500多个量化LLM checkpoint推导缩放定律，可衡量模型训练水平、预测量化性能，为低比特量化研究提供新视角与数据支持。
2024-11-27 cs.CL cs.LG
On the Expressive Power of Weight Quantization in Large Language Models
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；School of Intelligent Science and Technology（智能科学与技术学院）
本文通过理论分析，证明1.58比特是权重量化的极限精度，并揭示量化比特数减少会导致表达能力多项式级退化。
2026-06-23 cs.AI cs.LG
AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization
University of Waterloo（滑铁卢大学）
提出AAAC方法，通过每层两个小型学习码本（64字节）替代固定标量码本，以激活加权重建误差最小化选择码本，实现零额外存储开销的4位权重量化，在3-30分钟内完成量化，精度优于现有方法。
2026-06-05 cs.CL cs.LG
Semi-Relaxed Quantization with DropBits: Training Low-Bit Neural Networks via Bit-wise Regularization
网络量化旨在减少网络权重和激活的位长度，已经成为减少神经网络的大小以将其部署到资源有限的设备的关键成分之一。为了克服将连续激活和权重转换为离散激活和权重的性质，最近一项名为松弛量化（RQ）的研究[Louizos et al. 2019]成功地采用了流行的Gumbel-Softmax，该算法允许通过基于梯度的有效优化进行这种转换。然而，RQ与此Gumbel-Softmax松弛仍然遭受偏差方差权衡取决于Gumbel-Softmax的温度参数。为了解决这个问题，我们提出了一种新的方法，半松弛量化（SRQ），它使用多类直通估计器来有效地减少偏差和方差，以及一种新的正则化技术，DropBits，它取代了dropout正则化来随机丢弃比特而不是神经元，以进一步减少SRQ中多类直通估计器的偏差。作为DropBits的自然扩展，我们进一步介绍了学习异构量化级别的方法，以使用DropBits为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法，并且还支持量化彩票假设：从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-07 cs.CV cs.LG eess.IV
ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization
Meta AI
ParetoQ提出统一量化框架，严格比较1至4位量化，发现2-3位间学习转变，其三元600M模型超越先前3B最先进模型，表明2位量化在权衡中具潜力。
2025-10-13 cs.AI cs.CL cs.CV
Automatic low-bit hybrid quantization of neural networks through meta learning
IBM Research – China（IBM中国研究院）
模型量化是一种广泛用于压缩和加速深度神经网络（DNN）推理的技术，特别是在部署到计算能力和功耗预算有限的边缘或物联网设备时。跨所有层的均匀比特宽度量化通常是次优的，并且针对不同层的混合量化的探索对于有效的深度压缩至关重要。本文采用元学习方法自动实现神经网络的低比特混合量化。MetaQuantNet与量化函数一起被训练以生成目标DNN的量化权重。然后，我们应用遗传算法搜索最佳的混合量化政策，满足压缩约束。使用搜索到的最佳量化策略，我们随后进行重新训练或微调，以进一步提高量化目标网络的性能。大量的实验表明，搜索的混合量化方案的性能优于均匀位宽对应。与现有的基于强化学习（RL）的混合量化搜索方法相比，这种方法依赖于繁琐的探索，我们的元学习方法对于任何压缩要求都更有效，因为MetaQuantNet只需要训练一次。
2020-04-24 cs.CV cs.LG stat.ML
Least squares binary quantization of neural networks
Apple Inc.（苹果公司）
量化深度神经网络的权重和激活导致以较低的准确性为代价的推理效率的显著提高。全精度模型和量化模型之间的精度差距的来源是量化误差。在这项工作中，我们专注于二进制量化，其中值被映射到-1和1。我们提供了一个统一的框架来分析不同的扩展策略。受2位与1位量化的帕累托最优性的启发，我们引入了一种新的2位量化与可证明的最小平方误差。我们的量化算法可以有效地实现在硬件上使用逐位操作。我们提出的证据表明，我们提出的方法是最佳的，也提供了经验误差分析。我们在ImageNet数据集上进行了实验，并在使用所提出的最小二乘量化算法时显示出降低的准确性差距。
2020-06-13 cs.LG cs.NE
Low-Bit, High-Fidelity: Optimal Transport Quantization for Flow Matching
针对流匹配生成模型部署受高精度参数需求制约的问题，提出基于最优传输的训练后量化方法，可在2-3比特下保留生成质量，适用于边缘AI场景的模型压缩。
2025-11-14 cs.CV cs.LG
Progressive Neural Image Compression with Nested Quantization and Latent Ordering
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通技术公司高通人工智能研究院）；University of California Irvine（加州大学欧文分校）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司高通人工智能研究院）
我们提出了PLONQ，一种渐进式神经图像压缩方案，它通过允许使用单个比特流进行质量可伸缩编码来推动可变比特率压缩的边界。与现有的学习可变比特率解决方案（为每种质量产生单独的比特流）相比，它能够更容易地进行速率控制，并且需要更少的存储。利用基于潜在缩放的可变比特率解决方案，我们引入嵌套量化，一种用嵌套量化网格定义多个量化级别的方法，并从粗量化到最细量化级别逐步细化所有潜在值。为了在任何两个量化级别之间实现更精细的渐进性，潜在元素以速率失真意义上定义的重要性排序递增地细化。据我们所知，PLONQ是第一个基于学习的渐进图像编码方案，它优于SPIHT，一个著名的基于小波的渐进图像编解码器。
2021-02-04 cs.CV cs.LG
Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs
Intel（英特尔）
本文提出循环残差量化（RRQ）框架，可从单个检查点生成LLM的多种精度表示，构建速度比MatGPTQ快3.3倍，在6、8比特精度下表现有竞争力，代码将公开。
2026-08-06 cs.AI cs.LG
Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization
Graduate School of Information Sciences（信息科学研究生院）
ARHQ通过构建输入侧残差Hessian来隔离误差敏感的权重方向，提升低比特激活权重量化的层间SNR并保持下游推理性能。
2026-04-30 cs.CL cs.CV cs.LG
Why Do Some Inputs Break Low-Bit LLM Quantization?
University of Southern California（南加州大学）
本研究揭示低比特量化对特定输入产生较大误差的原因，发现残差流幅度可预示误差，且后期层残差激活与MLP门控输出对性能保持至关重要。
2025-09-24 cs.AI cs.LG
Post-Training Sparsity-Aware Quantization
Technion — Israel Institute of Technology（以色列理工学院）；Ruppin Academic Center（鲁平学术中心）
量化是一种在深度神经网络（DNN）中使用的技术，用于提高执行性能和硬件效率。统一的后训练量化（PTQ）方法是常见的，因为它们可以在硬件中有效地实现，并且不需要大量的硬件资源或训练集。使用统一PTQ将FP 32模型映射到INT 8产生的模型精度下降可以忽略不计;然而，使用PTQ将精度降低到8位以下具有挑战性，因为由于量化噪声的增加，精度下降变得明显。在本文中，我们提出了一种稀疏感知量化（SPARQ）方法，在该方法中，非结构化和动态激活稀疏性在不同的表示粒度中被利用。4-例如，通过动态检查8位值的位并选择4位的窗口，同时首先跳过零值位，来采用位量化。此外，不是将逐个激活量化为4位，而是关注成对的8位激活，并检查两者之一是否等于零。如果一个等于零，则第二个可以机会性地使用另一个的4比特预算;如果两者都不等于零，则每个被动态量化为4比特，如所描述的。SPARQ实现了较小的精度下降和实际的硬件实现。该代码可在https://github.com/gilshm/sparq上获得。
2021-10-28 cs.AR cs.CV cs.LG
Improving Block-Wise LLM Quantization by 4-bit Block-Wise Optimal Float (BOF4): Analysis and Variations
Insitute for Communications Technology, Technische Universität Braunschweig, Germany（通信技术研究所， Braunschweig技术大学）
针对LLM分块量化误差次优问题，提出BOF4优化量化器、BOF4-S归一化改进及保留异常权重的OPQ混合精度策略，在4位分块量化中取得最优困惑度表现。
2025-05-10 cs.CL cs.LG
