PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Illinois Institute of Technology（伊利诺伊大学香槟分校）
提出PTQ1.61，首次实现大语言模型权重1.61比特量化，通过结构化掩码和块级缩放优化，并引入量化预处理范式，在极低比特量化中达到最先进性能。
2025-08-06 cs.AI cs.LG
Integer or Floating Point? New Outlooks for Low-Bit Quantization on Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
本研究比较了大型语言模型中低位INT与FP量化格式，发现最佳格式因层而异，提出混合格式量化（MoFQ）逐层选择最优格式，在W-only和WA场景下均达SOTA且无硬件开销。
2023-05-21 cs.AI cs.LG
ICQuant: Index Coding enables Low-bit LLM Quantization
University of California, Los Angeles（加州大学洛杉矶分校）；Meta, GenAI（Meta）
针对大语言模型低比特量化中异常值导致范围膨胀和误差大的问题，提出ICQuant框架，利用索引编码实现高效异常值感知仅权重量化，在低比特开销下大幅提升量化准确率，无需微调即可媲美最优微调量化器。
2025-08-24 cs.AI cs.LG
BitsMoE: Cost-Aware Bit Allocation in Spectral Space for MoE LLM Quantization
School of Microelectronics, University of Science and Technology of China（中国科学技术大学微电子学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）
提出BitsMoE框架，通过SVD分解和频谱能量引导的混合精度比特分配，解决MoE模型超低位量化中的精度损失问题，在Qwen3-30B-A3B-Base上2比特量化下准确率提升27.83个百分点。
2026-09-29 cs.AI cs.LG
HBLLM: Wavelet-Enhanced High-Fidelity 1-Bit Quantization for LLMs
Sun Yat-sen University（中山大学）
HBLLM通过小波增强和结构感知分组策略，实现高保真1位量化，显著提升LLM的存储效率和量化保真度。
2025-12-12 cs.AI cs.LG
AdaQAT: Adaptive Bit-Width Quantization-Aware Training
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化研究所）；CNES（法国国家太空研究中心）
提出AdaQAT方法，通过梯度下降在训练中自动优化权重和激活的位宽，实现高效的混合精度量化，在从头训练和微调场景中均表现优异。
2024-04-22 cs.AI cs.LG
On the Expressive Power of Weight Quantization in Large Language Models
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；School of Intelligent Science and Technology（智能科学与技术学院）
本文通过理论分析，证明1.58比特是权重量化的极限精度，并揭示量化比特数减少会导致表达能力多项式级退化。
2026-06-23 cs.AI cs.LG
Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs
Intel（英特尔）
本文提出循环残差量化（RRQ）框架，可从单个检查点生成LLM的多种精度表示，构建速度比MatGPTQ快3.3倍，在6、8比特精度下表现有竞争力，代码将公开。
2026-08-06 cs.AI cs.LG
Why Do Some Inputs Break Low-Bit LLM Quantization?
University of Southern California（南加州大学）
本研究揭示低比特量化对特定输入产生较大误差的原因，发现残差流幅度可预示误差，且后期层残差激活与MLP门控输出对性能保持至关重要。
2025-09-24 cs.AI cs.LG
E8 Lattice Key Quantization for Low-Bit KV-Cache Compression
Technical University of Berlin（柏林工业大学）
本研究提出基于E8格的向量量化方法，实现2位密钥和2位值的KV缓存压缩，在保持与标量方法相当吞吐量的同时，压缩比达6倍，且在多数模型-数据集-上下文设置中优于标量k3v2，拓展了长上下文LLM推理的质量-内存边界。
2026-10-14 cs.AI cs.LG
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）
由于非差分位宽采样过程，混合精度量化主要在实际训练之前预先确定模型位宽设置，从而获得次优性能。更糟糕的是，传统的静态质量一致的训练设置，即，假设所有数据在训练和推断中具有相同的质量，忽略了现实世界应用中的数据质量变化，这可能导致量化模型的鲁棒性差。在本文中，我们提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说，DQMQ被建模为一个混合强化学习（RL）任务，结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布，DQMQ是可微分的，并且可以直接端到端地优化，其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练，DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
LLMPi: Optimizing LLMs for High-Throughput on Raspberry Pi
University of South Carolina（南卡罗来纳大学）
本文提出LLMPi，通过k-quantization（PTQ）和三值量化（QAT）等量化优化技术，在Raspberry Pi等边缘设备上实现LLMs的高吞吐量与低功耗，同时保持推理质量。
2025-04-02 cs.AI cs.LG
AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations
Tongyi Lab, Alibaba Group（阿里集团通义实验室）；Alibaba Cloud Computing, Alibaba Group（阿里集团阿里云计算）
本文提出 AsymKV 方法，利用键矩阵与值矩阵在量化敏感性上的非对称性，通过逐层差异化配置实现 KV 缓存 1 比特量化，可在量化 75% 解码器层的同时保持与浮点模型相当的性能。
2024-10-17 cs.AI cs.LG
NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache
Seoul National University（首尔国立大学）
针对大语言模型KV缓存内存密集问题，NSNQuant提出一种无校准向量量化技术，通过三步变换结合哈达玛变换使令牌分布与标准正态分布对齐，在1比特和2比特设置下优于先前方法，提升吞吐量。
2026-07-16 cs.AI cs.LG
D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs
Shanghai Jiao Tong University（上海交通大学）；Tencent Hunyuan（腾讯文心）
D$^2$Quant通过双尺度量化器和偏差感知修正提升低比特权重量化精度，实现更高效的LLM部署。
2026-02-06 cs.AI cs.LG
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search
Iowa State University（爱荷华州立大学）
本文提出 MixQuant 位宽搜索算法，依据各层权重的舍入误差自动选择最优量化位宽，并可作为预处理与 BRECQ 等量化方法结合以提升模型精度。
2023-09-29 cs.AI cs.CV cs.LG
Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels
ServiceNow Research（ServiceNow研究院）；University of Arizona（亚利桑那大学）；Università di Bologna（博洛尼亚大学）
本文提出独立于底层技术的 LLM 逐层混合比特量化方法，通过两种层重要性指标分配精度，在显著压缩模型的同时保持性能，并验证其与动态量化互补及在大模型上的优势。
2024-10-28 cs.AI cs.CL cs.LG
ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization
Meta AI
ParetoQ提出统一量化框架，严格比较1至4位量化，发现2-3位间学习转变，其三元600M模型超越先前3B最先进模型，表明2位量化在权衡中具潜力。
2025-10-13 cs.AI cs.CL cs.CV
Norm Tweaking: High-performance Low-bit Quantization of Large Language Models
Meituan（美团）
针对大语言模型低比特量化精度下降问题，提出norm tweaking范数调整技术，通过修正激活分布、优化归一化层权重提升PTQ效果，在2比特量化下可达到浮点模型精度。
2023-12-13 cs.AI cs.CL cs.LG
1-Bit Wonder: Improving QAT Performance in the Low-Bit Regime through K-Means Quantization
Aleph Alpha Research（Aleph Alpha研究机构）；Graphcore Research（Graphcore研究机构）
本研究通过K均值量化在低位 regime 中改进QAT性能，发现1位量化在生成任务中表现最佳。
2026-02-17 cs.LG
Exploring Model Invariance with Discrete Search for Ultra-Low-Bit Quantization
University of Alberta（阿尔伯塔大学）；RBC Borealis；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
针对大型语言模型超低比特量化的挑战，提出统一框架InvarExplore，通过离散搜索同时探索不同模型不变性并利用其协同效应，兼容现有先进方法且实现性能提升。
2025-02-06 cs.AI cs.CL cs.LG
SDQ-LLM: Sigma-Delta Quantization for 1-bit LLMs of any size
Dept of Electronic Engineering, Tsinghua University, Beijing, China（电子工程系，清华大学，北京，中国）；Beijing National Research Center for Information Science and Technology, Beijing, China（北京信息科学与技术国家研究中心，北京，中国）
针对大语言模型部署的计算与内存瓶颈，提出支持任意规模的1比特量化框架SDQ-LLM，通过可调节过采样率、权重平滑及细粒度OSR分配策略，在极低比特下兼顾推理效率与模型精度。
2025-09-27 cs.AI cs.CV cs.LG
Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection
University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Irvine（加州大学尔湾分校）
提出了一种基于优化的低位宽卷积神经网络（CNN）量化和训练方法LBW-Net。具体来说，我们通过在反向传播过程中最小化全精度权重和量化权重之间的欧几里得距离，将权重转换为零或2的幂。我们的特征的低位宽量化问题的组合性质。对于2位（三进制）CNN，$N$权重的量化可以通过$O(N\log N)$复杂度的精确公式来完成。当位宽为3及以上时，我们进一步提出了一种半解析阈值方案，该方案具有单个用于量化的自由参数，在计算上是廉价的。通过网络再训练和目标检测测试进一步确定自由参数。LBW-Net与全精度CNN相比具有几个理想的优势，包括节省大量内存，能源效率和更快的部署。我们在PASCAL VOC数据集上的实验表明，与32位浮点算法相比，6位LBW-Net在目标检测任务中的性能几乎是无损的，在某些真实世界的视觉场景中甚至可以做得更好，同时经验上享受超过4个$\times$更快的部署。
2017-08-17 cs.LG
Where and How to Enhance: Discovering Bit-Width Contribution for Mixed Precision Quantization
College of Software, Northeastern University（东北大学软件学院）；Institute of Intelligent Manufacturing, Nanjing Tech University（南京科技大学智能制造研究院）；Faculty of Engineering, University of Toyama（东大大学工学院）
针对混合精度量化中位宽选择依赖量化参数大小不准确的问题，提出基于Shapley值的SMPQ方法，直接衡量位宽贡献，并用蒙特卡洛采样降低计算成本，在主流基准上取得最优性能。
2025-08-05 cs.LG
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research（Meta现实实验室研究部门）；AGH UST（AGH科技大学）
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性，通常通过量化权重。大多数现有的作品采用线性量化，这会导致相当大的下降，在精度的权重位宽低于8。由于权重的分布通常是不均匀的（大多数权重集中在零附近），因此其他方法（如对数量化）更适合，因为它们能够更精确地保持权重分布的形状。此外，使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中，我们探讨利用较低的位精度的非线性量化技术，并确定有利的硬件实现选项。我们开发了量化感知训练（QAT）算法，该算法允许训练低位宽的二次幂（PoT）网络，并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术，并研究了三种不同量化方案（均匀，PoT和附加PoT（APoT））的MAC单元的硬件设计，以显示使用所提出的方法时提高的效率。实验结果表明，对于低位宽精度，非均匀量化的性能优于均匀量化，同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
16-bit Precision of Convolutional Neural Networks on Microcontroller Units for 8-bit Costs
Bielefeld University（比勒费尔德大学）
本文提出W16A16，一种16位高精度量化方法，在Armv7E-M微控制器上以8位成本实现约10倍更低的量化误差，同时保持相似或更优的速度与能耗。
2026-10-05 cs.LG
BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models
Southwestern University of Finance and Economics（西南财经大学）；The University of Hong Kong（香港大学）；Artificial Intelligence and Digital Finance Key Laboratory of Sichuan Province（四川省人工智能与数字金融重点实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong Polytechnic University（香港理工大学）；Sun Yat-sen University（中山大学）
本文提出BPDQ，通过位平面和标量系数构建可变量化网格，并利用二阶信息迭代优化，实现2位下大语言模型在单张RTX 3090上达到83.85%的GSM8K准确率。
2026-05-15 cs.LG
Atom: Low-bit Quantization for Efficient and Accurate LLM Serving
Shanghai Jiao Tong University（上海交通大学）；University of Washington（华盛顿大学）；Peking University（北京大学）；OctoAI；Carnegie Mellon University（卡内基梅隆大学）
针对 LLM 服务中高位量化难以发挥现代 GPU 低比特算力的问题，提出 Atom 混合精度细粒度低位量化方法，在 4 位权重-激活量化下显著降显存、提吞吐且精度损失极小。
2024-04-16 cs.LG
LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加州大学洛杉矶分校）；HP Inc.（惠普公司）
提出LUQ方法，通过逐层输出激活熵衡量功能复杂度，对简单层应用超低位量化，结合多模态校准，在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化，内存减少40%和31%，MME性能下降<10%。
2026-06-23 cs.AI cs.CV cs.LG
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
ByteDance（字节跳动）
本文提出decoupleQ，通过将模型参数解耦为整数和浮点数，将量化转化为约束优化问题，实现2比特均匀量化，在字节跳动大型语音模型上达到接近fp16/bf16的精度。
2024-04-19 cs.LG
CCQ: Convolutional Code for Extreme Low-bit Quantization in LLMs
Baidu Inc.（百度公司）
提出卷积码量化（CCQ）方法，结合硬件感知移位编解码与卷积码等技术，将LLM压缩至2.0-2.75位，在保持精度的同时实现单GPU部署并消除跨卡通信。
2025-07-09 cs.LG
SKIM: Any-bit Quantization Pushing The Limits of Post-Training Quantization
School of Software, Tsinghua University（清华大学软件学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对大语言模型低精度量化性能下降、比特方案有限的问题，提出SKIM训练后量化方法，通过贪心比特分配和可训练缩放向量实现任意比特量化，显著缩小3比特LLaMA与全精度模型的困惑度差距。
2024-12-07 cs.LG
LO-BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference
NVIDIA Corporation（NVIDIA公司）；Department of ECE（电子工程系）；Purdue University（普渡大学）
LO-BCQ通过块聚类量化方法，在W4A4格式下实现4位大语言模型推理，取得<1%的精度损失，提升推理效率。
2026-02-13 cs.LG
8-bit Optimizers via Block-wise Quantization
Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
有状态优化器随时间保持梯度统计，例如，过去梯度值的指数平滑和（SGD与动量）或平方和（Adam）。与普通的随机梯度下降相比，这种状态可以用来加速优化，但使用了可能分配给模型参数的内存，从而限制了实际训练的模型的最大大小。在本文中，我们开发了第一个使用8位统计数据的优化器，同时保持使用32位优化器状态的性能水平。为了克服由此产生的计算，量化和稳定性的挑战，我们开发了块动态量化。分块量化将输入张量划分为独立量化的较小块。每个块在内核之间并行处理，从而实现更快的优化和高精度量化。为了保持稳定性和性能，我们将分块量化与两个额外的变化相结合：（1）动态量化，一种对大小幅度值都精确的非线性优化形式，以及（2）稳定的嵌入层，以减少来自语言模型中输入标记高度不均匀分布的梯度方差。因此，我们的8位优化器在一系列任务上保持32位性能，仅占用一小部分内存，包括1.5B参数语言建模，GLUE微调，ImageNet分类，WMT'14机器翻译，MoCo v2对比ImageNet预训练+微调，以及RoBERTa预训练，而无需更改原始优化器超参数。我们开源了我们的8位优化器作为一个简单的替代品，只需要两行代码的更改。
2022-06-20 cs.LG
Qrazor: Reliable and Effortless 4-bit LLM Quantization by Significant Data Razoring
QRazor提出一种两阶段4位量化方案，先以8/16位整数加绝对最大值缩放保精度，再用显著数据剃削技术压缩至4位，无需微调即在LLaMA2-7B零样本推理上超越现有方法，并配套免解压整数算术单元。
2025-02-05 cs.LG
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers
The Chinese University of Hong Kong（香港中文大学）；Microsoft AI and Research（微软人工智能研究院）
循环神经网络语言模型（RNNLM）的高内存消耗和计算成本限制了其在资源受限设备上的广泛应用。近年来，能够产生极低比特压缩的神经网络量化技术（例如，二值化RNNLM）正获得越来越多的研究兴趣。直接训练量化的神经网络是困难的。通过将量化RNNLM训练问题转化为一个优化问题，提出了一种利用交替方向乘法器（ADMM）从头开始训练量化RNNLM的新方法.该方法还可以灵活地调整压缩率和模型性能之间的权衡使用绑低比特量化表。两个任务的实验：Penn Treebank（PTB）和Switchboard（SWBD）建议，所提出的ADMM量化实现了全精度基线RNNLM上高达31倍的模型大小压缩因子。模型训练的收敛速度比基线二值化RNNLM量化快5倍。索引术语：语言模型，递归神经网络，量化，交替方向乘法器方法。
2021-11-29 cs.LG
CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
针对LLM低位量化性能差的问题，提出CLAQ框架，通过K-Means聚类动态生成量化质心、离群值引导自适应精度搜索及动态离群值保留三种策略，在LLaMA和Yi等模型上取得SOTA结果。
2024-06-03 cs.LG
Scale Sensitivity in Low-Bit Post-Training Quantization: Curvature of the Quantization Error Landscape
Ludwig-Maximilians-Universität München（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Konrad Zuse School of Excellence in Reliable AI (DAAD)（康拉德·楚泽可靠人工智能卓越学院）
本研究证明低比特后训练量化误差对尺度高度敏感，其极限目标曲率随比特宽度指数衰减，并提出经 Hadamard 处理的高斯最优尺度可在 3 比特以上免搜索匹配最佳规则。
2026-09-30 cs.LG
Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Toronto（多伦多大学）；Toronto, ON, Canada（加拿大安大略省多伦多市）
最近的工作已经探索了在神经网络训练期间降低参数、激活和梯度的数值精度，作为降低训练计算成本的一种方式（Na & Mukhopadhyay，2016）（Courbariaux et al.，2014年）。我们提出了一种新的动态精度缩放（DPS）计划。通过使用随机定点舍入、基于量化误差的缩放方案以及训练过程中的动态位宽，我们在MNIST数据集上实现了98.8%的测试准确度，与深度学习框架中使用的标准32位浮点值相比，权重的平均位宽仅为16位，激活的平均位宽为14位。
2019-01-24 cs.LG
Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University（首尔国立大学）
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中，我们提出了一个元学习的方法来实现这一目标。具体来说，我们提出了MEBQAT，一种简单而有效的位宽自适应量化感知训练（QAT）的方法，其中通过重新定义元学习任务来合并位宽，将元学习有效地与QAT相结合。在平台上部署后，MEBQAT允许（Meta）训练模型被量化为任何候选位宽，然后帮助进行推理，而不会因量化而降低准确性。此外，在少样本学习场景下，MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持（1）位宽自适应量化场景和（2）新的少样本学习场景，其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性，在多个QAT计划。通过比较它们的性能（位宽专用）QAT，现有的位宽自适应QAT和香草元学习，我们发现，合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
MSQ: Memory-Efficient Bit Sparsification Quantization
Department of Electrical and Computer Engineering, Sungkyunkwan University（全州大学电子与计算机工程系）；Department of Electrical and Computer Engineering, University of Arizona（亚利桑那大学电子与计算机工程系）
针对混合精度量化中层级最优精度难寻、位级稀疏方法训练复杂度与内存需求高的问题，提出MSQ方法，通过可微LSB计算、正则化稀疏化及Hessian信息剪枝，在保持准确率与压缩率的同时大幅降低训练参数与时间。
2025-07-30 cs.LG
Beyond local reconstruction: Geometry-preserving output alignment for binary LLM quantization
Department of Data Science and AI（数据科学与人工智能系）；Monash University（墨尔本大学）；Centre for Vision, Speech and Signal Processing（视觉、语音和信号处理中心）；University of Surrey（萨里大学）
本文提出一种新的1位后训练量化方法，解决输出对齐问题，通过减少层间误差累积和表示空间各向异性畸变，提升大语言模型性能。
2026-11-11 cs.LG
BitNet b1.58 Reloaded: State-of-the-art Performance Also on Smaller Networks
University of Southern Denmark（南丹麦大学）
本研究提出采用中位数计算的BitNet b1.58变体，验证1.58比特量化感知训练在100K-48M参数的小型语言与视觉模型上的效果，证实其能达到甚至超越最优性能，可支撑低资源场景部署。
2024-06-24 cs.AI cs.CL cs.CV
Class-based Quantization for Neural Networks
Technical University of Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；Xidian University（西安电子科技大学）
在深度神经网络（DNN）中，有大量的权重和乘法累加（MAC）运算。因此，在资源受限的平台上应用DNN是具有挑战性的，例如，手机量化是减少DNN的大小和计算复杂性的方法。现有的量化方法要么需要硬件开销来实现非均匀量化，要么专注于模型式和层式均匀量化，其不如滤波器式量化那样细粒度。在本文中，我们提出了一种基于类的量化方法来确定DNN中每个滤波器或神经元的最小量化比特数。在所提出的方法中，每个过滤器或神经元相对于数据集中的类的数量的重要性得分首先进行评估。分数越大，滤波器或神经元越重要，因此量化比特的数量应该越大。然后，采用搜索算法来利用滤波器和神经元的不同重要性来确定每个滤波器或神经元的量化比特数。实验结果表明，该方法可以在低量化比特宽度的情况下保持推理精度。在相同量化比特数的情况下，该方法也可以比现有方法获得更好的推理精度。
2022-11-27 cs.LG
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University（杜克大学）
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷，因此已经被广泛研究。然而，它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间，要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化（BSQ）来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量，并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位，实现动态精度降低，从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间，只有一个超参数来权衡性能和压缩。与以前的方法相比，BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
Diffusion Model Based Signal Recovery Under 1-Bit Quantization
School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科学与技术大学）
Diff-OneBit通过可微替代似然函数解决1位量化信号恢复中的非线性链接函数问题，实现高效高保真重建。
2026-01-10 cs.LG
DecDEC: A Systems Approach to Advancing Low-Bit LLM Quantization
Seoul National University（首尔国立大学）
本文提出 DecDEC 推理方案，通过将残差矩阵存于 CPU 并动态获取显著通道残差以纠正量化误差，在几乎不增加 GPU 内存和延迟开销的情况下，显著提升了低比特 LLM 的模型质量。
2025-06-24 cs.LG
MuonQ: Enhancing Low-Bit Muon Quantization via Directional Fidelity Optimization
University of California, Santa Barbara（加州大学圣芭芭拉分校）
MuonQ通过预量化归一化、结构分解和μ-律扩展量化，实现稳定4比特穆子优化器状态量化，降低内存消耗并保持训练性能。
2026-07-24 cs.LG
TruncQuant: Truncation-Ready Quantization for DNNs with Flexible Weight Bit Precision
Department of Electrical and Computer Engineering（电气与计算机工程系）；School of Electronic and Electrical Engineering（电子与电气工程学院）；Department of Artificial Intelligence（人工智能系）
针对现有量化感知训练不支持截断、难以适配边缘设备多样硬件的问题，提出TruncQuant截断就绪训练方案，通过对齐截断输出实现运行时灵活位精度，在不同位宽下鲁棒性强且易集成到现有框架。
2025-06-13 cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich（苏黎世联邦理工学院）；Singapore Management University（新加坡管理大学）
我们通过将其权重和激活量化为多个二进制基（称为多位网络（MBN））来研究深度神经网络的压缩，这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化（ALQ），一个新的MBN量化流水线，能够实现平均位宽低于一位，而不会显着损失的推理精度。与先前的MBN量化解决方案（其通过最小化误差来训练量化器以重构全精度权重）不同，ALQ直接最小化损失函数上的量化引起的误差，其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略，以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明，ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC（谷歌有限责任公司）
降低延迟和模型大小一直是现场自动语音识别（ASR）应用场景的重要研究问题。沿着这个方向，模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率，在这项研究中，我们建议开发具有本地量化感知训练的4位ASR模型，该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型，以评估我们提出的量化技术。首先，我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响，并获得了一个无损的4位Conformer模型，与float32模型相比，其大小减少了5.8倍。在此之后，我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性，并产生了具有混合4位和8位权重的无损Conformer ASR模型，与float32模型相比，其大小减少了5倍。
2023-03-03 cs.LG eess.AS
QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead
New York University（纽约大学）；Yale University（耶鲁大学）；Adobe Research（奥多比研究机构）
QJL通过JL变换加符号位量化消除量化常数存储开销，实现零开销KV缓存量化，在3比特下减少五倍内存且不损精度。
2024-07-18 cs.AI cs.CL cs.LG
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
网络量化，其目的是减少网络权重和激活的位长度，已经出现了它们的部署到资源有限的设备。尽管最近的研究已经成功地离散化了全精度网络，但它们在训练后仍然会产生很大的量化误差，从而导致全精度网络与其量化网络之间存在显着的性能差距。在这项工作中，我们为神经网络提出了一种新的量化方法，即提升量化（CPQ），它可以找到最佳的量化网格，同时自然地鼓励底层的全精度权重在训练过程中聚集在这些量化网格周围。CPQ的这一特性归功于我们实现可微量化的两个主要成分：i）在前向传递中使用由特定概率参数化设计的分类分布，ii）我们在后向传递中提出的多类直通估计器（STE）。由于我们的第二个组件，多类STE，本质上是有偏见的，我们还提出了一个新的比特丢弃技术，DropBits，修改了标准的dropout正则化，以随机丢弃比特而不是神经元。作为DropBits的自然扩展，我们进一步引入了学习异构量化级别的方法，通过对DropBits施加额外的正则化来为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法，并且还支持一个新的量化假设：从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-05 cs.CV cs.LG
DNQ: Dynamic Network Quantization
Shanghai Jiao Tong University（上海交通大学）；Qualcomm AI Research（高通人工智能研究院）
网络量化是在内存和能量受限的移动设备上部署神经网络的有效方法。在本文中，我们提出了一个动态网络量化（DNQ）框架，它是由两个模块：一个位宽控制器和量化器。与大多数现有的量化方法，使用一个通用的量化位宽为整个网络，我们利用策略梯度训练代理学习的位宽控制器的每一层。该控制器可以在精度和压缩比之间进行权衡。在给定量化位宽序列的情况下，量化器采用量化距离作为量化过程中权值重要性的判断标准。我们广泛验证了各种主流神经网络的方法，并获得了令人印象深刻的结果。
2018-12-06 cs.CV cs.LG
