Optimal Clipping and Magnitude-aware Differentiation for Improved Quantization-aware Training
NVIDIA Corporation（英伟达公司）
数据裁剪对于减少量化操作中的噪声和提高量化感知训练（QAT）的可实现精度至关重要。目前的实践依赖于算法来设置裁剪阈值标量，并且不能被证明是最佳的。我们提出了最优裁剪张量和矢量（OCTAV），一个递归算法来确定MSE最优裁剪标量。OCTAV源自快速Newton-Raphson方法，在QAT例程的每次迭代中为每个张量动态地找到最佳裁剪标量。因此，QAT算法在每一步都用可证明的最小量化噪声来制定。此外，我们揭示了QAT中常见的梯度估计技术的局限性，并提出了幅度感知微分作为进一步提高准确性的补救措施。在实验中，支持OCTAV的QAT在多个任务上实现了最先进的精度。这些包括从头开始训练和重新训练ImageNet上的ResNets和MobileNets，以及使用BERT模型的Squad微调，其中支持OCTAV的QAT在低精度（4到6位）下始终保持准确性。我们的结果不需要修改基线训练配方，除了在适当的地方插入量化操作。
2022-06-13 cs.LG
DL-QAT: Weight-Decomposed Low-Rank Quantization-Aware Training for Large Language Models
Advanced Micro Devices, Inc.（超威半导体公司）
针对大语言模型低比特量化的效率与性能问题，提出DL-QAT方法，通过权重分解低秩策略仅训练不足1%参数，在LLaMA系列模型上实现比基线及现有QAT方法更优的量化性能，3比特LLaMA-7B在MMLU上提升4.2%。
2025-04-12 cs.AI cs.CV cs.LG
Low-Rank Quantization-Aware Training for LLMs
Qualcomm AI Research（高通人工智能研究中心）
本文提出轻量级低秩量化感知训练算法 LR-QAT，通过低秩辅助权重、定点下转换和检查点机制，在单张 24GB 消费级 GPU 上以极低内存开销实现与全模型 QAT 相当的量化性能。
2024-09-03 cs.AI cs.CL cs.LG
BCJR-QAT: A Differentiable Relaxation of Trellis-Coded Weight Quantization
Venugopalan Iyengar
本文提出BCJR-QAT，通过替换非可微的Viterbi argmax为BCJR算法，实现可微的软码字生成，解决了树状编码量化在训练中的难题，并在Llama-3.2-1B上取得优于QTIP-PTQ的性能。
2026-05-11 cs.LG
Attn-QAT: 4-Bit Attention With Quantization-Aware Training
Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Georgia Institute of Technology（佐治亚理工学院）
Attn-QAT通过稳定4位量化感知训练实现高效的注意力计算，提升模型推理速度并保持性能。
2026-08-11 cs.AI cs.LG
A Target-Centric Survey of Quantization-Aware Training
Northeastern University（东北大学）；Shandong University（山东大学）；LMU Munich（慕尼黑大学）；MCML（慕尼黑计算与机器学习中心）
该研究针对大型语言模型的高内存与高计算需求问题，开展以目标为中心的量化感知训练（QAT）综述，梳理其理论基础、方法分类、评估范式及挑战，为未来研究指明方向。
2026-09-01 cs.LG
SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks
UC Santa Cruz（加州大学圣克鲁兹分校）
本文提出面向脉冲神经网络有状态神经元的两种量化感知训练方案SQUAT，通过在放电阈值附近增加量化级别密度，并结合权重量化，在多个基准数据集上验证了其提升低精度SNN性能的有效性。
2024-04-15 cs.LG cs.NE
Overcoming Oscillations in Quantization-Aware Training
Qualcomm AI Research, an initiative of Qualcomm Technologies, Inc.（高通人工智能研究院（高通技术公司旗下研究机构））
当用模拟量化训练神经网络时，我们观察到量化的权重可以在两个网格点之间振荡，这是出乎意料的。这种效应的重要性及其对量化感知训练（QAT）的影响在文献中没有得到很好的理解或研究。在本文中，我们深入研究了权重振荡现象，并表明由于在推理过程中错误估计了批量归一化统计数据，以及在训练过程中增加了噪声，它可能会导致显著的准确性下降。这些效应在具有深度可分离层的高效网络（例如MobileNet和EfficientNets）的低比特（$\leq$ 4比特）量化中特别明显。在我们的分析中，我们调查了几个以前提出的QAT算法，并表明，其中大多数是无法克服振荡。最后，我们提出了两种新的QAT算法来克服训练过程中的振荡：振荡阻尼和迭代权重冻结。我们证明了我们的算法在低位（3位和4位）权重和有效架构（如MobileNetV 2，MobileNetV 3和ImageNet上的EfficentNet-lite）的激活量化方面达到了最先进的精度。我们的源代码可以在{https：//github.com/qualcomm-ai-research/oscillations-qat}上找到。
2022-06-28 cs.LG
Self-Supervised Quantization-Aware Knowledge Distillation
Arizona State University（亚利桑那州立大学）
本文提出自监督量化感知知识蒸馏框架SQAKD，统一量化函数动态，协同优化KL损失与离散化误差，无需标签监督，显著优于现有QAT和KD方法。
2024-03-17 cs.AI cs.CV cs.LG
Scale When Needed: Adaptive Neuron-level Mixed Precision Quantization Aware Training
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）；University of Cambridge（剑桥大学）
提出神经元级混合精度量化感知训练（NMP-QAT），通过可微代理和直通估计器让每个神经元独立学习离散精度，实现按需扩展位宽，在MLP和表格基础模型上取得更优的压缩-精度权衡。
2026-06-05 cs.AI cs.LG
QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs
Together AI；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出QATFactory框架，通过部署对齐的量化感知蒸馏和强化学习，在BF16训练中模拟低精度量化，支持多种格式，显著提升LLM部署质量，并发现训练策略因格式而异。
2026-10-02 cs.LG
Data-Augmented Quantization-Aware Knowledge Distillation
Oakland University（奥克兰大学）
针对量化感知知识蒸馏中数据增强选择未被探究的问题，提出基于上下文互信息与标签预测准确性的度量指标，可低开销自动选择数据增强，兼容各类KD与QAT算法，显著提升低比特模型性能。
2025-09-04 cs.CV cs.LG
CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training
Anonymous Authors（匿名作者）
提出CAGE方法，通过曲率感知校正项改进直通估计器，平衡损失最小化与量化约束，在平滑非凸设置下提供收敛保证，显著提升低比特量化感知训练的精度。
2026-06-19 cs.LG
Unifying Block-wise PTQ and Distillation-based QAT for Progressive Quantization toward 2-bit Instruction-Tuned LLMs
Qualcomm AI Research（高通人工智能研究）
提出 UPQ 框架，统一分块 PTQ 与 Distill-QAT，按 FP16→INT4→INT2 渐进量化指令微调 LLM，在无需专有数据下取得 MMLU 与 IFEval 的 SOTA 表现。
2025-06-10 cs.AI cs.LG
What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Technologies（华为技术有限公司）；National University of Singapore（新加坡国立大学）
本研究通过系统分析揭示了低比特量化感知训练在推理大语言模型中的有效性，提出优化工作流Reasoning-QAT，显著提升精度与效率。
2026-01-21 cs.AI cs.CL cs.LG
StableQAT: Stable Quantization-Aware Training at Ultra-Low Bitwidths
Microsoft（微软公司）；Lehigh University（莱文斯顿大学）；New York University（纽约大学）；Renmin University of China（中国人民大学）
StableQAT通过新型替代方案提升超低位宽下QAT的稳定性与性能
2026-02-18 cs.AI cs.LG
GHN-QAT: Training Graph Hypernetworks to Predict Quantization-Robust Parameters of Unseen Limited Precision Neural Networks
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
本文研究GHN预测低精度CNN参数时的量化鲁棒性，提出在GHN训练中引入量化感知训练等策略，显著提升4位表现并使2位准确率高于随机水平。
2023-09-24 cs.AI cs.CV cs.LG
Understanding Quantization-Aware Training: Gradients at Quantized Weights Bias to the Low-Loss Basin
University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
提出统一几何框架解释后训练量化失败与量化感知训练恢复机制，揭示量化感知训练通过梯度感知谷壁使量化点返回低损失盆地。
2026-06-08 cs.AI cs.LG math.OC
PIM-QAT: Neural Network Quantization for Processing-In-Memory (PIM) Systems
Northeastern University（东北大学）；Rice Univeristy（莱斯大学）；Snap Inc.（Snap公司）
内存处理（PIM）是一种越来越多地被研究的神经形态硬件，它承诺为深度学习推理提供能量和吞吐量方面的改进。利用存储器内部的大规模并行和高效模拟计算，PIM绕过了传统数字硬件中数据移动的瓶颈。然而，需要额外的量化步骤（即，PIM量化）来将模拟计算结果转换到数字域，由于硬件约束，额外的量化步骤通常具有有限的分辨率。同时，由于模/数接口的不完善，PIM量化中普遍存在非理想效应，进一步影响了推理精度。在本文中，我们提出了一种方法来训练量化网络，将PIM量化，这是无处不在的所有PIM系统。具体来说，我们提出了一个PIM量化感知训练（PIM-QAT）算法，并通过分析训练动态，以促进训练收敛在向后和向前传播过程中引入重新缩放技术。我们还提出了两种技术，即批量归一化（BN）校准和调整精度训练，以抑制非理想的线性和随机热噪声在真正的PIM芯片的不利影响。我们的方法进行了验证，在三个主流的PIM分解方案，并在一个原型芯片上的物理。与直接在PIM系统上部署常规训练的量化模型相比，该方法没有考虑到这种额外的量化步骤，因此失败，我们的方法提供了显着的改进。它还在PIM系统上实现了与数字硬件上的传统量化模型相当的推理精度，跨CIFAR 10和CIFAR 100数据集，使用各种网络深度用于最流行的网络拓扑。
2022-09-18 cs.AI cs.AR cs.CV
QuantKAN: A Unified Quantization Framework for Kolmogorov Arnold Networks
Department of EECS, Oregon State University（电子工程与计算机科学系，俄勒冈州立大学）
提出QuantKAN，首个针对KAN网络的统一量化感知训练和后训练量化框架，通过分支感知量化器处理异构参数，在多个数据集上建立基准，并揭示架构特定失效模式。
2026-06-23 cs.LG
JacQuant: STE-Free Quantization-Aware Training via Learned Jacobian Surrogates
Meta AI
提出JacQuant框架，通过学习模型对参数变化的局部敏感性的轻量级替代，在不使用直通估计器的情况下稳定和加速量化感知训练，在低比特大语言模型上达到更高精度。
2026-05-25 cs.LG
Survey of Quantization Techniques for On-Device Vision-based Crack Detection
Department of Computer and Electrical Engineering（计算机与电气工程系）；Mid Sweden University（中瑞典大学）
本文系统评估了MobileNetV1x0.25和MobileNetV2x0.5在TensorFlow、PyTorch及ONNX平台上采用动态量化、PTQ和QAT三种技术的表现，发现QAT在保持接近浮点精度的同时实现高效资源利用，为无人机实时低功耗裂缝检测提供了最优方案。
2025-02-04 cs.CV cs.LG
Zero-Shot Quantization for Object Detectors using Off-the-Shelf Generative Models
Seoul National University（首尔大学）；LG Electronics（LG电子）
提出GoodQ框架，利用现成生成模型构建训练集，通过信息密集提示、内在分布感知选择和教师引导自适应降噪，解决零样本量化目标检测中的多实例、类别不平衡和伪标签噪声问题，在低比特（W4A4）达到最优性能。
2026-07-17 cs.LG
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI（亚马逊Alexa人工智能部门）
对于设备上自动语音识别（ASR），量化感知训练（QAT）是普遍存在的，以实现模型预测性能和效率之间的权衡。在现有的QAT方法中，一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制，我们引入了一个正则化的自由，“软到硬”的压缩机制与自我可调的质心在μ律约束的空间，从而在一个更简单，但更通用的量化方案，称为通用量化器（GQ）。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器（RNN-T）和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下，GQ可以将RNN-T和Conformer压缩到8位以下，对于某些RNN-T层，可以压缩到1位，以实现快速准确的推理。通过物理设备基准测试，我们观察到与8位QAT相比，内存占用节省了30.73%，用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss
Seoul National University（首尔国立大学）
本文提出LAQuant，通过分层前瞻损失和推理领域校准，解决量化中的精度与速度问题，提升推理性能并加快解码速度。
2026-05-09 cs.LG
Squat: Quant Small Language Models on the Edge
Northeastern University（东北大学）；MIT（麻省理工学院）；Harvard University（哈佛大学）
本文提出Squat框架，通过熵引导蒸馏、令牌自适应量化及SIMD多核混合精度乘法器，在移动设备上实现小型语言模型的高效可部署量化，取得最高2.37倍加速。
2025-07-01 cs.AI cs.CL cs.LG
A Quantized VAE-MLP Botnet Detection Model: A Systematic Evaluation of Quantization-Aware Training and Post-Training Quantization Strategies
University of New South Wales（新南威尔士大学）
本文提出VAE-MLP僵尸网络检测框架，并系统评估QAT与PTQ两种量化策略，证明PTQ在保持准确率的同时实现6倍加速和21倍压缩，适用于资源受限IoT设备。
2025-11-05 cs.AI cs.LG
Beyond Outliers: A Study of Optimizers Under Quantization
ETH Zurich（苏黎世联邦理工学院）；ISTA（信息科技学院）；Red Hat AI（红帽人工智能）
该研究探究优化器选择对量化模型性能的影响，发现异常值指标无法预测PTQ性能，QAT下预训练表现好的优化器未必最优，Shampoo准确率下降最低且参数效率最高。
2025-10-02 cs.LG
Oh! We Freeze: Improving Quantized Knowledge Distillation via Signal Propagation Analysis for Large Language Models
Qualcomm AI Research（高通人工智能研究）；Qualcomm Technologies Inc.（高通技术公司）
本文针对大语言模型4比特量化微调不稳定的问题，通过梯度传播分析提出ov-freeze技术稳定KD-QAT过程，在7B LLaMAv2-Chat上实现常识推理准确率损失低于0.7%。
2024-03-28 cs.AI cs.CL cs.LG
End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost
University of Georgia（佐治亚大学）；University of North Texas（北卡罗来纳州立大学）；Northeastern University（东北大学）；University of Minnesota（明尼苏达大学）；University of Virginia（弗吉尼亚大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文提出ZeroQAT，一种基于零阶优化、仅需前向梯度估计的端到端QAT框架，可在8GB GPU和手机上完成低比特LLM微调并优于PTQ/QAT基线。
2026-11-09 cs.AI cs.LG
Efficient and Robust Quantization-aware Training via Adaptive Coreset Selection
Hong Kong University of Science and Technology (HKUST)（香港科技大学）；Meta Reality Lab（元宇宙实验室）
提出基于误差向量得分和分歧得分的自适应核心集选择方法，用于量化感知训练，仅用10%数据即可在ImageNet-1K上提升4.24%准确率，并增强鲁棒性。
2024-08-20 cs.AI cs.CV cs.LG
NIPQ: Noise proxy-based Integrated Pseudo-Quantization
POSTECH（浦项科技大学）；Seoul National University（首尔国立大学）
本文提出NIPQ，一种基于噪声代理的集成伪量化方法，通过在伪量化框架上集成截断思想，统一支持激活和权重的伪量化，避免了STE的不稳定性，并在视觉和语言应用中大幅优于现有量化算法。
2023-07-01 cs.LG
WinQ: Accelerating Quantization-Aware Training of Language Models Around Saddle Points
Northeastern University, MA（东北大学）；Meta AI, CA（Meta AI）
本文研究了量化感知训练（QAT）在低比特宽度下的收敛问题，提出WinQ算法通过重置权重和噪声注入梯度来加速训练并提升性能。
2026-05-17 cs.LG cs.NA math.NA
QS4D: Quantization-aware training for efficient hardware deployment of structured state-space sequential models
JARA（于利希亚琛研究联盟）；University of Groningen（格罗宁根大学）；RWTH Aachen University（亚琛工业大学）
本研究提出量化感知训练方法，显著降低结构化状态空间模型复杂度，增强模拟噪声鲁棒性并实现结构化剪枝，最终成功部署于忆阻器模拟存内计算硬件，提升计算效率。
2025-07-08 cs.AI cs.LG
ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training
Hanyang University（汉阳大学）；Samsung Advanced Institute of Technology（三星综合技术院）
针对大推理模型在低比特量化（W4A4KV4）下推理精度严重下降的问题，提出ReQAT框架，通过迹对齐QAT、选择性熵最小化和量化友好初始化，恢复并超越BF16微调精度，实现最高3.9倍吞吐加速。
2026-06-16 cs.LG
PARQ: Piecewise-Affine Regularized Quantization
Meta FAIR；University of Michigan（密歇根大学）；Meta Reality Labs
本研究提出PARQ分段仿射正则化量化方法，用凸分段仿射正则化促使模型参数离散化，通过AProx方法优化并证明收敛性，将STE解释为其渐近形式，在卷积与Transformer视觉任务上取得有竞争力的性能。
2025-03-19 cs.LG math.OC
RAND: Robustness Aware Norm Decay For Quantized Seq2seq Models
Google, LLC（谷歌有限责任公司）
本文针对量化Seq2seq模型提出鲁棒性感知范数衰减方法，通过低复杂度修改QAT过程解决噪声量化中正则化信号不足问题，在语音识别和机器翻译任务上优于现有可学习尺度与裁剪方法，并支持混合精度训练和长形式语音识别泛化提升。
2023-05-24 cs.LG eess.AS
Fixed-point quantization aware training for on-device keyword-spotting
Amazon（亚马逊公司）；Alexa AI（Alexa人工智能部门）；Alexa Perceptual Technologies（Alexa感知技术部门）
定点（FXP）推理已被证明适用于计算资源有限的嵌入式设备，但模型训练仍在浮点（FLP）中持续进行。FXP训练还没有被充分探索，从FLP到FXP的非平凡转换带来了不可避免的性能下降。我们提出了一种新的方法来训练和获得FXP卷积关键字定位（KWS）模型。我们将我们的方法与两种量化感知训练（QAT）技术-模型参数的压缩权重分布和绝对余弦正则化相结合，并提出了在瞬态变量上扩展QAT的技术，否则会被以前的范式所忽略。在Google Speech Commands v2数据集上的实验结果表明，我们可以将模型精度降低到4位，而不会损失准确性。此外，在内部KWS数据集上，我们表明，与全精度FLP模型相比，我们的8位FXP-QAT模型在固定错误拒绝率下的相对错误发现率提高了4-6%。在推理过程中，我们认为FXP-QAT消除了q格式的规范化，并允许使用低比特位，同时最大限度地提高SIMD吞吐量，以减少用户感知的延迟。我们证明，我们可以减少68%的执行时间，而不影响KWS模型的预测性能或需要模型架构的变化。我们的工作提供了新的发现，有助于这一领域的未来研究，并实现准确和有效的模型。
2023-03-04 cs.AI cs.LG eess.AS
MRQ:Support Multiple Quantization Schemes through Model Re-Quantization
Amazon Lab126（亚马逊Lab126）
提出MRQ模型重新量化方法，通过权重校正和舍入误差折叠算法，将现有量化模型快速转换为不同量化方案，避免重新训练，在MobileNetV2上实现小于0.64的精度损失并成功部署于边缘设备。
2023-08-04 cs.CV cs.LG
Continuous Approximations for Improving Quantization Aware Training of LLMs
Beijing Academy（北京科学院）；Wuhan Britain-China School（武汉英中学校）；Luwan Senior Highschool（卢湾高级中学）；Ryan International School（瑞安国际学校）；Chongqing Bashu Secondary School（重庆巴蜀中学）
本文提出两种连续近似方法改进大型语言模型的量化感知训练，通过优化舍入和截断函数提升参数学习准确性，在相同精度和模型规模下显著降低了困惑度并提升了多项基准任务性能，助力更节能的LLM技术发展。
2024-10-06 cs.AI cs.CL cs.LG
Ternary Mamba: Grouped Quantization-Aware Training of W1.58A16 State Space Models
EdgeVerve Systems Limited（EdgeVerve系统有限公司）
提出从预训练检查点进行分组量化感知训练（QAT）结合知识蒸馏，以极低数据量（1亿token）将Mamba-2 1.3B压缩至3.61倍，零样本准确率接近Bi-Mamba，并发现预训练QAT特有的零比率坍塌问题。
2026-06-17 cs.AI cs.LG
A Statistical Framework for Low-bitwidth Training of Deep Neural Networks
University of California, Berkeley（加州大学伯克利分校）
全量化训练（FQT）通过量化神经网络模型的激活、权重和梯度来使用低位宽硬件，是加速深度神经网络训练的一种有前途的方法。FQT的一个主要挑战是缺乏理论理解，特别是梯度量化如何影响收敛特性。在本文中，我们解决这个问题，提出了一个统计框架分析FQT算法。我们将FQT的量化梯度视为其全精度对应物的随机估计器，这一过程称为量化感知训练（QAT）。我们证明了FQT梯度是QAT梯度的无偏估计，并讨论了梯度量化对其方差的影响。受这些理论结果的启发，我们开发了两种新的梯度量化器，我们表明，这些比现有的每张量量化器具有更小的方差。对于在ImageNet上训练ResNet-50，我们的5位块Householder量化器相对于QAT仅实现了0.5%的验证准确度损失，与现有的INT 8基线相当。
2020-10-27 cs.LG stat.ML
Improving Quantization-aware Training of Low-Precision Network via Block Replacement on Full-Precision Counterpart
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；ZJU-UIUC Institute, Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究院）
提出一种通用QAT框架，通过在全精度模型上逐模块替换生成混合精度模型来引导低精度网络的前向和后向过程，缓解表示能力不足和梯度偏差问题，在ImageNet和CIFAR-10上取得最优结果。
2024-12-20 cs.LG
Reducing the Side-Effects of Oscillations in Training of Quantized YOLO Networks
Seeing Machines
针对量化YOLO网络低精度训练中STE近似引发的振荡导致精度不佳的问题，提出EMA更新策略与QC单轮校正法，在COCO数据集的YOLO5/7变体检测、分割任务中有效提升4位及3位量化精度。
2023-11-09 cs.CV cs.LG
HESTIA: A Hessian-Guided Differentiable Quantization-Aware Training Framework for Extremely Low-Bit LLMs
School of Software and Microelectronics, Peking University, Beijing, China（软件与微电子学院，北京大学，北京，中国）；School of Computer Science, Peking University, Beijing, China（计算机科学学院，北京大学，北京，中国）
HESTIA通过Hessian引导的可微量化感知训练框架，实现极低比特LLMs的高效训练，提升模型性能。
2026-01-28 cs.AI cs.LG
EfQAT: An Efficient Framework for Quantization-Aware Training
ETH Zurich（苏黎世联邦理工学院）；Axelera AI（阿克塞拉人工智能公司）
提出EfQAT框架，通过仅优化量化模型的关键参数子集，在加速反向传播的同时显著提升PTQ准确率并保留QAT的大部分精度。
2024-11-17 cs.LG
Zero-Shot Quantization via Weight-Space Arithmetic
Sapienza University of Rome（罗马萨皮恩扎大学）
本文提出通过权重空间算术提取量化向量，无需接收端训练即可提升低比特量化精度，展示了量化鲁棒性的可迁移性与有效性。
2026-11-06 cs.AI cs.CV cs.LG
Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research（IBM研究院）
我们报告了积极的量化策略，大大加快了循环神经网络传感器（RNN-T）的推理。我们使用4位整数表示权值和激活，并应用量化感知训练（QAT）来重新训练完整模型（声学编码器和语言模型），并实现近等精度。我们表明，定制的量化方案，是针对网络的本地属性是必不可少的，以实现良好的性能，同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益，但它严重增加了推理的计算成本。我们表明，我们的量化策略，使使用大波束宽度的假设搜索，同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比，全精度模型。通过硬件模拟，我们估计从FP 16到INT 4的端到端量化RNN-T（包括LM融合）的$\times$加速为3.4，导致实时的因子（RTF）为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上，我们保留了与LM融合相关的大部分增益，将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD
Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training
OpenPangu-Embedded-1B
针对 HiF8 W8A8 量化感知训练中的两种正交失效模式（amax 饱和与灾难性遗忘），提出保守的 64 步历史窗口最大算法 DTS 策略和 500 步 BF16 预热加低学习率 QAT 的修复方案，在 OpenPangu-Embedded-1B 上实现接近 BF16 基线的性能。
2026-05-27 cs.AI cs.LG
A White Paper on Neural Network Quantization
Qualcomm AI Research（高通人工智能研究院）
虽然神经网络在许多应用中已经推进了前沿，但它们通常具有很高的计算成本。如果我们想将现代网络集成到具有严格功耗和计算要求的边缘设备中，降低神经网络推理的功耗和延迟是关键。神经网络量化是实现这些节省的最有效的方法之一，但它引起的额外噪声可能导致精度下降。在本白皮书中，我们介绍了最先进的算法，用于减轻量化噪声对网络性能的影响，同时保持低位权重和激活。我们从硬件驱动的量化介绍开始，然后考虑两类主要的算法：训练后量化（PTQ）和量化感知训练（QAT）。PTQ不需要重新训练或标记数据，因此是一种轻量级的按钮量化方法。在大多数情况下，PTQ足以实现接近浮点精度的8位量化。QAT需要微调并访问标记的训练数据，但能够实现具有竞争力结果的较低比特量化。对于这两种解决方案，我们都提供了基于现有文献和大量实验的测试管道，从而为常见的深度学习模型和任务带来最先进的性能。
2021-06-15 cs.AI cs.CV cs.LG
SQuaT: Self-Supervised Knowledge Distillation via Student-Aware Quantized Teacher Features
Kookmin University（国民大学）
该研究针对量化感知训练结合知识蒸馏的损失下界问题，提出SQuaT框架，通过学生量化参数量化教师特征消除下界，在低比特设置下性能优于基线，适用多种架构。
2026-08-12 cs.LG
iFairy: the First 2-bit Complex LLM with All Parameters in $\{\pm1, \pm i\}$
本文提出 Fairy±i，首个面向复数值大语言模型的 2 比特量化框架，通过将权重映射到四次单位根并利用免乘法推理，在保持存储与计算效率的同时超越了现有 2 比特量化方法的精度天花板。
2025-08-16 cs.CL cs.LG
BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction
SenseTime Research（商汤科技研究院）；University of Electronic Science and Technology of China（电子科技大学）
我们研究了神经网络量化的挑战性任务，而无需端到端的再训练，称为后训练量化（PTQ）。PTQ通常需要一小部分训练数据，但产生的量化模型不如量化感知训练（QAT）强大。在这项工作中，我们提出了一种新的PTQ框架，被称为BRECQ，它首次将PTQ中的位宽限制推低到INT2。BRECQ利用神经网络中的基本构建块并逐个重建它们。在一个全面的理论研究的二阶误差，我们表明，BRECQ实现了跨层依赖和泛化误差之间的良好平衡。为了进一步利用量化的能力，通过近似层间和层内灵敏度，将混合精度技术并入我们的框架中。对各种手工制作和搜索的神经架构进行了广泛的实验，用于图像分类和目标检测任务。我们第一次证明，在没有额外功能的情况下，PTQ可以实现与QAT相当的4位ResNet和MobileNetV2，并且量化模型的生成速度快240倍。代码可在https://github.com/yhhhli/BRECQ上获得。
2021-07-25 cs.CV cs.LG
Depth Laws for the Precision Floor of Trained Neural Networks: Amplification, Residual Scaling, and a Quantization-Aware Training Paradox
本文提出深度定律，揭示神经网络精度下限由预测放大决定，随深度线性增长，并发现量化感知训练存在悖论：其增益随深度衰减，导致深度指数变陡。
2026-09-29 cs.LG
