HBLLM: Wavelet-Enhanced High-Fidelity 1-Bit Quantization for LLMs
Sun Yat-sen University（中山大学）
HBLLM通过小波增强和结构感知分组策略，实现高保真1位量化，显著提升LLM的存储效率和量化保真度。
2025-12-12 cs.AI cs.LG
On the Expressive Power of Weight Quantization in Large Language Models
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；School of Intelligent Science and Technology（智能科学与技术学院）
本文通过理论分析，证明1.58比特是权重量化的极限精度，并揭示量化比特数减少会导致表达能力多项式级退化。
2026-06-23 cs.AI cs.LG
Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs
Intel（英特尔）
本文提出循环残差量化（RRQ）框架，可从单个检查点生成LLM的多种精度表示，构建速度比MatGPTQ快3.3倍，在6、8比特精度下表现有竞争力，代码将公开。
2026-08-06 cs.AI cs.LG
Why Do Some Inputs Break Low-Bit LLM Quantization?
University of Southern California（南加州大学）
本研究揭示低比特量化对特定输入产生较大误差的原因，发现残差流幅度可预示误差，且后期层残差激活与MLP门控输出对性能保持至关重要。
2025-09-24 cs.AI cs.LG
E8 Lattice Key Quantization for Low-Bit KV-Cache Compression
Technical University of Berlin（柏林工业大学）
本研究提出基于E8格的向量量化方法，实现2位密钥和2位值的KV缓存压缩，在保持与标量方法相当吞吐量的同时，压缩比达6倍，且在多数模型-数据集-上下文设置中优于标量k3v2，拓展了长上下文LLM推理的质量-内存边界。
2026-10-14 cs.AI cs.LG
LLMPi: Optimizing LLMs for High-Throughput on Raspberry Pi
University of South Carolina（南卡罗来纳大学）
本文提出LLMPi，通过k-quantization（PTQ）和三值量化（QAT）等量化优化技术，在Raspberry Pi等边缘设备上实现LLMs的高吞吐量与低功耗，同时保持推理质量。
2025-04-02 cs.AI cs.LG
AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations
Tongyi Lab, Alibaba Group（阿里集团通义实验室）；Alibaba Cloud Computing, Alibaba Group（阿里集团阿里云计算）
本文提出 AsymKV 方法，利用键矩阵与值矩阵在量化敏感性上的非对称性，通过逐层差异化配置实现 KV 缓存 1 比特量化，可在量化 75% 解码器层的同时保持与浮点模型相当的性能。
2024-10-17 cs.AI cs.LG
NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache
Seoul National University（首尔国立大学）
针对大语言模型KV缓存内存密集问题，NSNQuant提出一种无校准向量量化技术，通过三步变换结合哈达玛变换使令牌分布与标准正态分布对齐，在1比特和2比特设置下优于先前方法，提升吞吐量。
2026-07-16 cs.AI cs.LG
ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization
Meta AI
ParetoQ提出统一量化框架，严格比较1至4位量化，发现2-3位间学习转变，其三元600M模型超越先前3B最先进模型，表明2位量化在权衡中具潜力。
2025-10-13 cs.AI cs.CL cs.CV
R2Q: Towards Robust 2-Bit Large Language Models via Residual Refinement Quantization
Nanjing University（南京大学）；Microsoft AI（微软人工智能）
R2Q通过残差细化量化方法，在极端压缩下提升2位大语言模型的性能和稳定性。
2025-11-21 cs.AI cs.CL
Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels
ServiceNow Research（ServiceNow研究院）；University of Arizona（亚利桑那大学）；Università di Bologna（博洛尼亚大学）
本文提出独立于底层技术的 LLM 逐层混合比特量化方法，通过两种层重要性指标分配精度，在显著压缩模型的同时保持性能，并验证其与动态量化互补及在大模型上的优势。
2024-10-28 cs.AI cs.CL cs.LG
Norm Tweaking: High-performance Low-bit Quantization of Large Language Models
Meituan（美团）
针对大语言模型低比特量化精度下降问题，提出norm tweaking范数调整技术，通过修正激活分布、优化归一化层权重提升PTQ效果，在2比特量化下可达到浮点模型精度。
2023-12-13 cs.AI cs.CL cs.LG
Exploring Model Invariance with Discrete Search for Ultra-Low-Bit Quantization
University of Alberta（阿尔伯塔大学）；RBC Borealis；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
针对大型语言模型超低比特量化的挑战，提出统一框架InvarExplore，通过离散搜索同时探索不同模型不变性并利用其协同效应，兼容现有先进方法且实现性能提升。
2025-02-06 cs.AI cs.CL cs.LG
SDQ-LLM: Sigma-Delta Quantization for 1-bit LLMs of any size
Dept of Electronic Engineering, Tsinghua University, Beijing, China（电子工程系，清华大学，北京，中国）；Beijing National Research Center for Information Science and Technology, Beijing, China（北京信息科学与技术国家研究中心，北京，中国）
针对大语言模型部署的计算与内存瓶颈，提出支持任意规模的1比特量化框架SDQ-LLM，通过可调节过采样率、权重平滑及细粒度OSR分配策略，在极低比特下兼顾推理效率与模型精度。
2025-09-27 cs.AI cs.CV cs.LG
LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加州大学洛杉矶分校）；HP Inc.（惠普公司）
提出LUQ方法，通过逐层输出激活熵衡量功能复杂度，对简单层应用超低位量化，结合多模态校准，在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化，内存减少40%和31%，MME性能下降<10%。
2026-06-23 cs.AI cs.CV cs.LG
JustQuant: You Don't Need Smoothing, SVD, or Rotation for 4-Bit Activation Quantization
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）
JustQuant提出仅用普通低比特算子实现4比特激活量化，通过多层级蒸馏方法Theseus QAD将复杂度转移到训练中，提升量化质量并避免部署时的复杂算子。
2026-09-29 cs.AI
VPTQ: Extreme Low-bit Vector Post-Training Quantization for Large Language Models
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）
本文提出VPTQ方法，通过二阶优化驱动的向量量化、通道无关细化及残差与离群值量化，实现LLM极低位量化，在显著降低困惑度、提升精度的同时大幅提高推理吞吐量。
2024-10-22 cs.AI
QDrop: Randomly Dropping Quantization for Extremely Low-bit Post-Training Quantization
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）
最近，后训练量化（PTQ）已经引起了人们的广泛关注，以产生高效的神经网络，而无需长时间的再训练。尽管其成本低，但目前的PTQ工作往往在极低的位设置下失败。在这项研究中，我们开创性地确认，适当地将激活量化到PTQ重建的最终准确性的好处。为了深入理解其内在原因，建立了一个理论框架，指出优化后的低比特模型在校准和测试数据上的平坦性是至关重要的。在此基础上，提出了一种简单而有效的方法QDROP，该方法在PTQ过程中随机丢弃激活的量化。在包括计算机视觉（图像分类、目标检测）和自然语言处理（文本分类和问答）在内的各种任务上的广泛实验证明了其优越性。通过QDROP，PTQ的极限首次被推到2位激活，准确率提升高达51.49%。没有花里胡哨，QDROP为PTQ建立了一个新的艺术状态。我们的代码可以在https://github.com/wimh966/QDrop上找到，并已集成到MQBench（https：//github.com/ModelTC/MQBench）中。
2023-02-21 cs.AI cs.CV
SignRoundV2: Toward Closing the Performance Gap in Extremely Low-Bit Post-Training Quantization for LLMs
Intel（英特尔公司）；Beijing Institute of Technology（北京理工大学）
本文提出SignRoundV2框架，通过自适应混合精度策略和轻量稳定技术，在极低比特量化下保持高性能，实验表明在混合MXFP设置中实现接近无损性能，将性能差距缩小到约1%。
2026-05-18 cs.AI cs.CL
BitNet b1.58 Reloaded: State-of-the-art Performance Also on Smaller Networks
University of Southern Denmark（南丹麦大学）
本研究提出采用中位数计算的BitNet b1.58变体，验证1.58比特量化感知训练在100K-48M参数的小型语言与视觉模型上的效果，证实其能达到甚至超越最优性能，可支撑低资源场景部署。
2024-06-24 cs.AI cs.CL cs.CV
QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead
New York University（纽约大学）；Yale University（耶鲁大学）；Adobe Research（奥多比研究机构）
QJL通过JL变换加符号位量化消除量化常数存储开销，实现零开销KV缓存量化，在3比特下减少五倍内存且不损精度。
2024-07-18 cs.AI cs.CL cs.LG
Differentiable Bit-Widths: Co-optimizing Pruning and Quantization via SVD for Ultra-Efficient LLM Compression
Ajou University（亚洲大学）
提出可微分位宽方法，在统一框架中协同优化剪枝与量化，通过SVD学习组件级位宽，实现超高效LLM压缩，优于两阶段基线。
2026-10-06 cs.AI cs.CL
QuEPT: Quantized Elastic Precision Transformers with One-Shot Calibration for Multi-Bit Switching
QuEPT通过单次校准实现多比特切换，结合多比特标记融合和级联低秩适配器提升后训练量化性能。
2026-02-13 cs.AI cs.CV
Channel-Wise Mixed-Precision Quantization for Large Language Models
Department of Electrical and Computer Engineering, University of Virginia（电气与计算机工程系，弗吉尼亚大学）；Kneron Inc.（芯驰科技）
本文提出通道级混合精度量化（CMPQ），通过根据激活分布分配不同精度级别来优化大语言模型的量化过程，从而在低比特范围内实现任意平均比特宽度，并在内存使用增加有限的情况下提升性能。
2026-06-04 cs.AI cs.CL
AdaQAT: Adaptive Bit-Width Quantization-Aware Training
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化研究所）；CNES（法国国家太空研究中心）
提出AdaQAT方法，通过梯度下降在训练中自动优化权重和激活的位宽，实现高效的混合精度量化，在从头训练和微调场景中均表现优异。
2024-04-22 cs.AI cs.LG
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）
由于非差分位宽采样过程，混合精度量化主要在实际训练之前预先确定模型位宽设置，从而获得次优性能。更糟糕的是，传统的静态质量一致的训练设置，即，假设所有数据在训练和推断中具有相同的质量，忽略了现实世界应用中的数据质量变化，这可能导致量化模型的鲁棒性差。在本文中，我们提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说，DQMQ被建模为一个混合强化学习（RL）任务，结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布，DQMQ是可微分的，并且可以直接端到端地优化，其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练，DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search
Iowa State University（爱荷华州立大学）
本文提出 MixQuant 位宽搜索算法，依据各层权重的舍入误差自动选择最优量化位宽，并可作为预处理与 BRECQ 等量化方法结合以提升模型精度。
2023-09-29 cs.AI cs.CV cs.LG
1-Bit Wonder: Improving QAT Performance in the Low-Bit Regime through K-Means Quantization
Aleph Alpha Research（Aleph Alpha研究机构）；Graphcore Research（Graphcore研究机构）
本研究通过K均值量化在低位 regime 中改进QAT性能，发现1位量化在生成任务中表现最佳。
2026-02-17 cs.LG
Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection
University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Irvine（加州大学尔湾分校）
提出了一种基于优化的低位宽卷积神经网络（CNN）量化和训练方法LBW-Net。具体来说，我们通过在反向传播过程中最小化全精度权重和量化权重之间的欧几里得距离，将权重转换为零或2的幂。我们的特征的低位宽量化问题的组合性质。对于2位（三进制）CNN，$N$权重的量化可以通过$O(N\log N)$复杂度的精确公式来完成。当位宽为3及以上时，我们进一步提出了一种半解析阈值方案，该方案具有单个用于量化的自由参数，在计算上是廉价的。通过网络再训练和目标检测测试进一步确定自由参数。LBW-Net与全精度CNN相比具有几个理想的优势，包括节省大量内存，能源效率和更快的部署。我们在PASCAL VOC数据集上的实验表明，与32位浮点算法相比，6位LBW-Net在目标检测任务中的性能几乎是无损的，在某些真实世界的视觉场景中甚至可以做得更好，同时经验上享受超过4个$\times$更快的部署。
2017-08-17 cs.LG
Where and How to Enhance: Discovering Bit-Width Contribution for Mixed Precision Quantization
College of Software, Northeastern University（东北大学软件学院）；Institute of Intelligent Manufacturing, Nanjing Tech University（南京科技大学智能制造研究院）；Faculty of Engineering, University of Toyama（东大大学工学院）
针对混合精度量化中位宽选择依赖量化参数大小不准确的问题，提出基于Shapley值的SMPQ方法，直接衡量位宽贡献，并用蒙特卡洛采样降低计算成本，在主流基准上取得最优性能。
2025-08-05 cs.LG
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research（Meta现实实验室研究部门）；AGH UST（AGH科技大学）
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性，通常通过量化权重。大多数现有的作品采用线性量化，这会导致相当大的下降，在精度的权重位宽低于8。由于权重的分布通常是不均匀的（大多数权重集中在零附近），因此其他方法（如对数量化）更适合，因为它们能够更精确地保持权重分布的形状。此外，使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中，我们探讨利用较低的位精度的非线性量化技术，并确定有利的硬件实现选项。我们开发了量化感知训练（QAT）算法，该算法允许训练低位宽的二次幂（PoT）网络，并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术，并研究了三种不同量化方案（均匀，PoT和附加PoT（APoT））的MAC单元的硬件设计，以显示使用所提出的方法时提高的效率。实验结果表明，对于低位宽精度，非均匀量化的性能优于均匀量化，同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University（首尔国立大学）
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中，我们提出了一个元学习的方法来实现这一目标。具体来说，我们提出了MEBQAT，一种简单而有效的位宽自适应量化感知训练（QAT）的方法，其中通过重新定义元学习任务来合并位宽，将元学习有效地与QAT相结合。在平台上部署后，MEBQAT允许（Meta）训练模型被量化为任何候选位宽，然后帮助进行推理，而不会因量化而降低准确性。此外，在少样本学习场景下，MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持（1）位宽自适应量化场景和（2）新的少样本学习场景，其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性，在多个QAT计划。通过比较它们的性能（位宽专用）QAT，现有的位宽自适应QAT和香草元学习，我们发现，合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
16-bit Precision of Convolutional Neural Networks on Microcontroller Units for 8-bit Costs
Bielefeld University（比勒费尔德大学）
本文提出W16A16，一种16位高精度量化方法，在Armv7E-M微控制器上以8位成本实现约10倍更低的量化误差，同时保持相似或更优的速度与能耗。
2026-10-05 cs.LG
BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models
Southwestern University of Finance and Economics（西南财经大学）；The University of Hong Kong（香港大学）；Artificial Intelligence and Digital Finance Key Laboratory of Sichuan Province（四川省人工智能与数字金融重点实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong Polytechnic University（香港理工大学）；Sun Yat-sen University（中山大学）
本文提出BPDQ，通过位平面和标量系数构建可变量化网格，并利用二阶信息迭代优化，实现2位下大语言模型在单张RTX 3090上达到83.85%的GSM8K准确率。
2026-05-15 cs.LG
Atom: Low-bit Quantization for Efficient and Accurate LLM Serving
Shanghai Jiao Tong University（上海交通大学）；University of Washington（华盛顿大学）；Peking University（北京大学）；OctoAI；Carnegie Mellon University（卡内基梅隆大学）
针对 LLM 服务中高位量化难以发挥现代 GPU 低比特算力的问题，提出 Atom 混合精度细粒度低位量化方法，在 4 位权重-激活量化下显著降显存、提吞吐且精度损失极小。
2024-04-16 cs.LG
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University（杜克大学）
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷，因此已经被广泛研究。然而，它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间，要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化（BSQ）来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量，并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位，实现动态精度降低，从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间，只有一个超参数来权衡性能和压缩。与以前的方法相比，BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
ByteDance（字节跳动）
本文提出decoupleQ，通过将模型参数解耦为整数和浮点数，将量化转化为约束优化问题，实现2比特均匀量化，在字节跳动大型语音模型上达到接近fp16/bf16的精度。
2024-04-19 cs.LG
CCQ: Convolutional Code for Extreme Low-bit Quantization in LLMs
Baidu Inc.（百度公司）
提出卷积码量化（CCQ）方法，结合硬件感知移位编解码与卷积码等技术，将LLM压缩至2.0-2.75位，在保持精度的同时实现单GPU部署并消除跨卡通信。
2025-07-09 cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich（苏黎世联邦理工学院）；Singapore Management University（新加坡管理大学）
我们通过将其权重和激活量化为多个二进制基（称为多位网络（MBN））来研究深度神经网络的压缩，这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化（ALQ），一个新的MBN量化流水线，能够实现平均位宽低于一位，而不会显着损失的推理精度。与先前的MBN量化解决方案（其通过最小化误差来训练量化器以重构全精度权重）不同，ALQ直接最小化损失函数上的量化引起的误差，其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略，以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明，ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC（谷歌有限责任公司）
降低延迟和模型大小一直是现场自动语音识别（ASR）应用场景的重要研究问题。沿着这个方向，模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率，在这项研究中，我们建议开发具有本地量化感知训练的4位ASR模型，该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型，以评估我们提出的量化技术。首先，我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响，并获得了一个无损的4位Conformer模型，与float32模型相比，其大小减少了5.8倍。在此之后，我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性，并产生了具有混合4位和8位权重的无损Conformer ASR模型，与float32模型相比，其大小减少了5倍。
2023-03-03 cs.LG eess.AS
SKIM: Any-bit Quantization Pushing The Limits of Post-Training Quantization
School of Software, Tsinghua University（清华大学软件学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对大语言模型低精度量化性能下降、比特方案有限的问题，提出SKIM训练后量化方法，通过贪心比特分配和可训练缩放向量实现任意比特量化，显著缩小3比特LLaMA与全精度模型的困惑度差距。
2024-12-07 cs.LG
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
网络量化，其目的是减少网络权重和激活的位长度，已经出现了它们的部署到资源有限的设备。尽管最近的研究已经成功地离散化了全精度网络，但它们在训练后仍然会产生很大的量化误差，从而导致全精度网络与其量化网络之间存在显着的性能差距。在这项工作中，我们为神经网络提出了一种新的量化方法，即提升量化（CPQ），它可以找到最佳的量化网格，同时自然地鼓励底层的全精度权重在训练过程中聚集在这些量化网格周围。CPQ的这一特性归功于我们实现可微量化的两个主要成分：i）在前向传递中使用由特定概率参数化设计的分类分布，ii）我们在后向传递中提出的多类直通估计器（STE）。由于我们的第二个组件，多类STE，本质上是有偏见的，我们还提出了一个新的比特丢弃技术，DropBits，修改了标准的dropout正则化，以随机丢弃比特而不是神经元。作为DropBits的自然扩展，我们进一步引入了学习异构量化级别的方法，通过对DropBits施加额外的正则化来为每一层找到合适的比特长度。我们在各种基准数据集和网络架构上通过实验验证了我们的方法，并且还支持一个新的量化假设：从头开始学习异构量化级别优于使用相同但固定的量化级别的情况。
2021-09-05 cs.CV cs.LG
LO-BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference
NVIDIA Corporation（NVIDIA公司）；Department of ECE（电子工程系）；Purdue University（普渡大学）
LO-BCQ通过块聚类量化方法，在W4A4格式下实现4位大语言模型推理，取得<1%的精度损失，提升推理效率。
2026-02-13 cs.LG
Bayesian Bits: Unifying Quantization and Pruning
Qualcomm AI Research（高通人工智能研究院）
我们介绍贝叶斯比特，一个实用的方法，联合混合精度量化和修剪，通过基于梯度的优化。贝叶斯比特采用了一种新的量化操作分解，它顺序地考虑了比特宽度的加倍。在每个新位宽处，量化全精度值与先前舍入值之间的残差。然后，我们决定是否添加该量化残余误差以获得更高的有效位宽和更低的量化噪声。通过从2的幂位宽开始，这种分解将始终产生硬件友好的配置，并通过额外的0位选项，作为修剪和量化的统一视图。Bayesian Bits然后引入了可学习的随机门，它们共同控制给定张量的位宽。因此，我们可以通过对门进行近似推断来获得低位解，其中先验分布鼓励大多数门被关闭。我们在几个基准数据集上通过实验验证了我们提出的方法，并表明我们可以学习修剪的混合精度网络，这些网络在准确性和效率之间提供了比静态位宽等效值更好的权衡。
2020-10-27 cs.CV cs.LG stat.ML
8-bit Optimizers via Block-wise Quantization
Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
有状态优化器随时间保持梯度统计，例如，过去梯度值的指数平滑和（SGD与动量）或平方和（Adam）。与普通的随机梯度下降相比，这种状态可以用来加速优化，但使用了可能分配给模型参数的内存，从而限制了实际训练的模型的最大大小。在本文中，我们开发了第一个使用8位统计数据的优化器，同时保持使用32位优化器状态的性能水平。为了克服由此产生的计算，量化和稳定性的挑战，我们开发了块动态量化。分块量化将输入张量划分为独立量化的较小块。每个块在内核之间并行处理，从而实现更快的优化和高精度量化。为了保持稳定性和性能，我们将分块量化与两个额外的变化相结合：（1）动态量化，一种对大小幅度值都精确的非线性优化形式，以及（2）稳定的嵌入层，以减少来自语言模型中输入标记高度不均匀分布的梯度方差。因此，我们的8位优化器在一系列任务上保持32位性能，仅占用一小部分内存，包括1.5B参数语言建模，GLUE微调，ImageNet分类，WMT'14机器翻译，MoCo v2对比ImageNet预训练+微调，以及RoBERTa预训练，而无需更改原始优化器超参数。我们开源了我们的8位优化器作为一个简单的替代品，只需要两行代码的更改。
2022-06-20 cs.LG
Qrazor: Reliable and Effortless 4-bit LLM Quantization by Significant Data Razoring
QRazor提出一种两阶段4位量化方案，先以8/16位整数加绝对最大值缩放保精度，再用显著数据剃削技术压缩至4位，无需微调即在LLaMA2-7B零样本推理上超越现有方法，并配套免解压整数算术单元。
2025-02-05 cs.LG
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers
The Chinese University of Hong Kong（香港中文大学）；Microsoft AI and Research（微软人工智能研究院）
循环神经网络语言模型（RNNLM）的高内存消耗和计算成本限制了其在资源受限设备上的广泛应用。近年来，能够产生极低比特压缩的神经网络量化技术（例如，二值化RNNLM）正获得越来越多的研究兴趣。直接训练量化的神经网络是困难的。通过将量化RNNLM训练问题转化为一个优化问题，提出了一种利用交替方向乘法器（ADMM）从头开始训练量化RNNLM的新方法.该方法还可以灵活地调整压缩率和模型性能之间的权衡使用绑低比特量化表。两个任务的实验：Penn Treebank（PTB）和Switchboard（SWBD）建议，所提出的ADMM量化实现了全精度基线RNNLM上高达31倍的模型大小压缩因子。模型训练的收敛速度比基线二值化RNNLM量化快5倍。索引术语：语言模型，递归神经网络，量化，交替方向乘法器方法。
2021-11-29 cs.LG
DNQ: Dynamic Network Quantization
Shanghai Jiao Tong University（上海交通大学）；Qualcomm AI Research（高通人工智能研究院）
网络量化是在内存和能量受限的移动设备上部署神经网络的有效方法。在本文中，我们提出了一个动态网络量化（DNQ）框架，它是由两个模块：一个位宽控制器和量化器。与大多数现有的量化方法，使用一个通用的量化位宽为整个网络，我们利用策略梯度训练代理学习的位宽控制器的每一层。该控制器可以在精度和压缩比之间进行权衡。在给定量化位宽序列的情况下，量化器采用量化距离作为量化过程中权值重要性的判断标准。我们广泛验证了各种主流神经网络的方法，并获得了令人印象深刻的结果。
2018-12-06 cs.CV cs.LG
Bit Efficient Quantization for Deep Neural Networks
Latent AI；SRI International（SRI国际）
深度神经网络的量化为边缘设备提供了模型，这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中，我们提出了一个模型参数驱动的量化方法，可以实现低至3位的精度，而不影响精度的比较。训练后量化方法是无数据的，并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络（DNN）的量化结果。为了更好地分析量化结果，我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Differentiable, Bit-shifting, and Scalable Quantization without training neural network from scratch
本文提出了一种可微、位移和可扩展的量化方法，无需从头开始训练神经网络，实现了高精度的量化效果并提高了效率。
2025-12-03 cs.CV cs.LG stat.ML
Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks
Beihang University（北京航空航天大学）；SenseTime Group Limited（商汤集团有限公司）；Beijing Institute of Technology（北京理工大学）
硬件友好的网络量化（例如，二进制/均匀量化）可以有效地加速推理，同时减少深度神经网络的存储器消耗，这对于资源有限的设备（如移动电话）上的模型部署至关重要。然而，由于低比特量化的离散性，现有的量化方法往往面临着不稳定的训练过程和严重的性能下降。为了解决这个问题，在本文中，我们提出了微分软量化（DSQ），以弥合全精度和低比特网络之间的差距。DSQ可以在训练过程中自动进化，以逐渐接近标准量化。由于DSQ的可微性，它可以在后向传播过程中精确地追求梯度，并在前向传播过程中通过适当的限幅来减小量化损失。在几种流行的网络结构上进行的大量实验表明，使用DSQ训练低比特神经网络可以始终优于最先进的量化方法。此外，我们的第一个有效的实现部署2至4位DSQ与ARM架构的设备上实现了高达1.7 $\times$的速度相比，开源的8位高性能推理框架NCNN。[三十一]
2019-08-14 cs.CV cs.LG eess.IV
CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
针对LLM低位量化性能差的问题，提出CLAQ框架，通过K-Means聚类动态生成量化质心、离群值引导自适应精度搜索及动态离群值保留三种策略，在LLaMA和Yi等模型上取得SOTA结果。
2024-06-03 cs.LG
BitPruning: Learning Bitlengths for Aggressive and Accurate Quantization
University of Toronto（多伦多大学）；Mila（米拉研究所）；IMT-Atlantique（IMT-大西洋高等电信学校）
神经网络已经证明使用低位长整数量化实现了最先进的精度，在支持短位长的现有硬件设计上产生了执行时间和能量效益。然而，找到所需精度的最小位长的问题仍然是开放的。我们引入了一种训练方法，用于在保持准确性的同时在任何粒度下最小化推理位长度。也就是说，我们提出了一个正则化，惩罚整个架构的大位长表示，并展示了如何可以修改，以尽量减少其他可量化的标准，如操作或内存占用的数量。我们证明，我们的方法学习节俭的表示，同时保持准确性。使用ImageNet，该方法在AlexNet、ResNet 18和MobileNet V2上分别产生4.13、3.76和4.36位的平均每层位长，保持在基本TOP-1准确度的2.0%、0.5%和0.5%以内。
2020-08-11 cs.LG stat.ML
Scale Sensitivity in Low-Bit Post-Training Quantization: Curvature of the Quantization Error Landscape
Ludwig-Maximilians-Universität München（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Konrad Zuse School of Excellence in Reliable AI (DAAD)（康拉德·楚泽可靠人工智能卓越学院）
本研究证明低比特后训练量化误差对尺度高度敏感，其极限目标曲率随比特宽度指数衰减，并提出经 Hadamard 处理的高斯最优尺度可在 3 比特以上免搜索匹配最佳规则。
2026-09-30 cs.LG
