Quantization-Aware Regularizers for Deep Neural Networks Compression
Italian MUR PRIN project（意大利MUR PRIN项目）；National Plan for NRRP Complementary Investments（国家NRRP补充投资计划）
本文提出了一种深度神经网络压缩方法，通过在训练过程中引入每层正则化项，使权重自然形成聚类，从而减少量化带来的精度损失，同时保持压缩潜力，并首次将量化参数嵌入反向传播过程。
2026-02-03 cs.LG
Preserving Continuous Symmetry in Discrete Spaces: Geometric-Aware Quantization for SO(3)-Equivariant GNNs
本文提出几何感知量化框架，通过分离不变长度与等价方向，改进等价GNNs的量化方法，实现对称性保护并提升计算效率。
2026-03-16 cs.LG
CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training
Anonymous Authors（匿名作者）
提出CAGE方法，通过曲率感知校正项改进直通估计器，平衡损失最小化与量化约束，在平滑非凸设置下提供收敛保证，显著提升低比特量化感知训练的精度。
2026-06-19 cs.LG
The Impact of Quantization on Large Reasoning Model Reinforcement Learning
Pennsylvania State University（宾夕法尼亚州立大学）；d-Matrix
本文研究了量化对大推理模型强化学习的影响，发现量化感知训练对学习过程有负面影响，而PTQ和QLoRA能提升性能。
2025-11-19 cs.LG
Overcoming Oscillations in Quantization-Aware Training
Qualcomm AI Research, an initiative of Qualcomm Technologies, Inc.（高通人工智能研究院（高通技术公司旗下研究机构））
当用模拟量化训练神经网络时，我们观察到量化的权重可以在两个网格点之间振荡，这是出乎意料的。这种效应的重要性及其对量化感知训练（QAT）的影响在文献中没有得到很好的理解或研究。在本文中，我们深入研究了权重振荡现象，并表明由于在推理过程中错误估计了批量归一化统计数据，以及在训练过程中增加了噪声，它可能会导致显著的准确性下降。这些效应在具有深度可分离层的高效网络（例如MobileNet和EfficientNets）的低比特（$\leq$ 4比特）量化中特别明显。在我们的分析中，我们调查了几个以前提出的QAT算法，并表明，其中大多数是无法克服振荡。最后，我们提出了两种新的QAT算法来克服训练过程中的振荡：振荡阻尼和迭代权重冻结。我们证明了我们的算法在低位（3位和4位）权重和有效架构（如MobileNetV 2，MobileNetV 3和ImageNet上的EfficentNet-lite）的激活量化方面达到了最先进的精度。我们的源代码可以在{https：//github.com/qualcomm-ai-research/oscillations-qat}上找到。
2022-06-28 cs.LG
A Target-Centric Survey of Quantization-Aware Training
Northeastern University（东北大学）；Shandong University（山东大学）；LMU Munich（慕尼黑大学）；MCML（慕尼黑计算与机器学习中心）
该研究针对大型语言模型的高内存与高计算需求问题，开展以目标为中心的量化感知训练（QAT）综述，梳理其理论基础、方法分类、评估范式及挑战，为未来研究指明方向。
2026-09-01 cs.LG
Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training
ISTA；EPFL
针对量化感知训练中激进量化损害性能的问题，提出Q-PACE方法，通过二阶敏感性模型动态分配层精度，在低内存预算下保持损失性能，并在40亿参数LLM上验证其有效性。
2026-10-08 cs.LG
Resource-aware Mixed-precision Quantization for Enhancing Deployability of Transformers for Time-series Forecasting on Embedded FPGAs
Intelligent Embedded Systems Lab, University of Duisburg-Essen（Duisburg-埃森大学智能嵌入式系统实验室）
本文提出面向资源的混合精度量化方法，通过灵活的资源类型选择和BRAM高效利用，解决嵌入式FPGA上整数量化Transformer部署难题，提升模型部署效率和适用性。
2026-04-21 cs.LG
LeanQuant: Accurate and Scalable Large Language Model Quantization with Loss-error-aware Grid
Dept. of Computer Science, Rice University（计算机科学系， Rice大学）；ThirdAI Corp.（ThirdAI公司）；Ken Kennedy Institute（肯尼迪研究所）
LeanQuant通过学习损失误差感知的网格，实现了准确且可扩展的大型语言模型量化，适用于多种量化类型并兼容更多框架。
2026-01-01 cs.LG
Quantization Aware Factorization for Deep Neural Network Compression
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出一种量化感知的张量分解算法，利用ADMM直接获得CP分解的量化因子，在压缩神经网络的同时保持预测质量，并展现出与训练后量化方法相比的竞争力和灵活性。
2023-08-08 cs.LG
DAQ: Delta-Aware Quantization for Post-Training LLM Weight Compression
Tencent（腾讯）
DAQ通过Delta感知量化方法在无需数据的情况下实现训练后LLM权重压缩，优化方向保真度以恢复特定风格能力。
2026-03-20 cs.AI cs.LG
A Closer Look at Hardware-Friendly Weight Quantization
Google Research（谷歌研究院）
量化深度神经网络（DNN）模型以在具有高效定点硬件实现的定制加速器上使用，需要满足许多严格的硬件友好量化约束以训练模型。我们评估两个主要类别的硬件友好的量化方法的重量量化的背景下：传统的均方量化误差（MSQE）为基础的方法和最近的基于梯度的方法。我们研究了两种方法MobileNetV 1和MobileNetV 2使用多个经验指标，以确定两个类之间的性能差异的来源，即，异常值的敏感性和收敛不稳定的量化缩放因子。利用这些见解，我们提出了各种技术来提高这两种量化方法的性能-它们解决了MobileNet模型量化期间基于MSQE的方法中存在的优化不稳定性问题，并使我们能够将基于梯度的方法的验证性能分别提高4.0%和3.3%。
2022-10-07 cs.LG
One-Step Forward and Backtrack: Overcoming Zig-Zagging in Loss-Aware Quantization Training
Northeastern University（东北大学）；NanJing Tech University（南京工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对传统损失感知量化训练中梯度误差引发的锯齿状振荡拖慢收敛的问题，提出前进一步再回溯的方法，通过前向搜索试验梯度调整当前梯度方向再回溯更新权重，有效提升了模型收敛性能与方法竞争力。
2024-01-30 cs.LG
Rethinking Small VLM Quantization: From Component-Wise Analysis to Hardware-Aware Edge Deployment
本文针对小型视觉语言模型量化，提出系统评估框架，在特定硬件上验证五个假设，分离相关组件得出结论，包括量化敏感性受结构范式影响、SigLIP编码器延迟情况、大语言模型INT4量化利弊、复合量化误差特点及不同平台每焦耳智能差异。
2026-07-10 cs.LG
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
本文研究了量化神经网络的训练和认证问题。量化是一种通过使用低位整数运算运行神经网络来使其更有效的技术，因此在工业中通常采用。最近的工作表明，已经被验证为鲁棒的浮点神经网络在量化后可能变得容易受到对抗攻击，并且量化表示的认证是保证鲁棒性所必需的。在这项工作中，我们提出了量化感知区间界限传播（QA-IBP），一种新的方法来训练强大的QNN。受到非量化网络鲁棒学习进步的启发，我们的训练算法计算实际网络抽象表示的梯度。与现有方法不同，我们的方法可以处理QNN的离散语义。基于QA-IBP，我们还开发了一个完整的验证过程，用于验证QNN的对抗鲁棒性，保证终止并产生正确的答案。与现有的方法相比，我们的验证过程的关键优势是，它完全运行在GPU或其他加速器设备上。我们通过实验证明，我们的方法显着优于现有的方法，并建立了新的最先进的训练和认证的QNN的鲁棒性。
2022-11-29 cs.LG
SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization
Kyung Hee University（庆熙大学）；Yonsei University（延世大学）
SERQ通过基于显著性的低秩误差重建方法，在低比特LLM推理中提升精度并降低校准复杂度。
2026-10-14 cs.LG
Pioneering 4-Bit FP Quantization for Diffusion Models: Mixup-Sign Quantization and Timestep-Aware Fine-Tuning
School of Information Science and Technology, Fudan University（信息科学与技术学院，复旦大学）；Academy for Engineering and Technology, Fudan University（工程与技术学院，复旦大学）
本文提出MSFP框架，首次在扩散模型4位量化中引入无符号浮点量化，结合TALoRA和DFA解决非对称分布与微调错位问题，性能超越现有4位整数量化方法。
2025-05-27 cs.AI cs.LG
Loss Aware Post-training Quantization
Intel – Artificial Intelligence Products Group (AIPG)（英特尔——人工智能产品集团（AIPG））；Technion – Israel Institute of Technology（以色列理工学院）
神经网络量化使得能够在资源受限的设备上部署大型模型。当前的后训练量化方法在针对INT 4（或更低）的准确度方面不足，但是为INT 8（或更高）提供合理的准确度。在这项工作中，我们研究了量化的损失景观的结构上的效果。此外，我们表明，该结构是平坦的，可分离的温和的量化，使简单的后训练量化方法，以达到良好的效果。我们发现，随着更积极的量化，损失景观变得高度不可分离的陡峭曲率，使量化参数的选择更具挑战性。有了这样的理解，我们设计了一种方法，量化层参数联合，使显着的准确性提高，目前的后训练量化方法。参考实现可从https://github.com/ynahshan/nn-quantization-pytorch/tree/master/lapq获得
2020-03-16 cs.CV cs.LG
SQuAT: Sharpness- and Quantization-Aware Training for BERT
量化是减少深度学习模型的内存占用、推理延迟和功耗的有效技术。然而，现有的量化方法相比于全精度（FP）模型，由于通过不可微量化层的粗梯度估计引入的误差而遭受精度降级。过度参数化模型的损失景观中存在尖锐的局部极小值（例如，Transformers）在低位（2、4位）设置中倾向于加重这种性能损失。在这项工作中，我们提出了清晰度和量化感知训练（SQuAT），这将鼓励模型在执行量化感知训练的同时收敛到更平坦的最小值。我们提出的方法在锐度目标和步长目标之间交替训练，这可能会让模型学习最合适的参数更新幅度，以达到收敛接近平坦的最小值。大量的实验表明，我们的方法可以始终优于国家的最先进的量化BERT模型下的2，3，和4位设置GLUE基准的1%，有时甚至可以优于全精度（32位）模型。我们对锐度的经验测量的实验也表明，与其他量化方法相比，我们的方法将导致更平坦的最小值。
2022-10-13 cs.CL cs.LG
Arithmetic-Intensity-Aware Quantization
Harvard College（哈佛学院）
AIQ通过动态调整每层位宽提升算力并保持精度，适用于内存受限的神经网络模型。
2025-12-17 cs.AI cs.LG
Theoretically Better and Numerically Faster Distributed Optimization with Smoothness-Aware Quantization Techniques
Texas A&M University（德州农工大学）；KAUST（阿卜杜拉国王科技大学）
为了解决分布式机器学习的高通信成本，近年来已经投入了大量的工作来设计各种压缩策略，例如稀疏化和量化，以及能够使用它们的优化算法。最近，Safaryan等人（2021）开创了一种截然不同的压缩设计方法：他们首先使用局部训练数据来形成局部平滑度矩阵，然后提出设计一种能够利用其中包含的平滑度信息的压缩器。虽然这种新颖的方法导致通信的大量节省，但它仅限于稀疏化，因为它严重依赖于压缩算子的线性。在这项工作中，我们将他们的平滑感知压缩策略推广到任意无偏压缩算子，其中也包括稀疏化。专门我们的结果随机量化，我们保证显着节省通信复杂性相比，标准量化。特别是，我们证明了块量化与$n$块理论上优于单块量化，导致通信复杂性降低了$\mathcal{O}(n)$因子，其中$n$是分布式系统中的节点数。最后，我们提供了大量的数值证据与凸优化问题，我们的平滑感知量化策略优于现有的量化方案，以及上述平滑感知稀疏化策略的三个评估指标：迭代次数，通信的比特总量，和挂钟时间。
2022-10-12 cs.LG math.OC
FairQuant: Fairness-Aware Mixed-Precision Quantization for Medical Image Classification
Department of Computer Science, University of Copenhagen, Denmark（计算机科学系，哥本哈根大学，丹麦）
FairQuant通过公平性感知的混合精度量化方法，在医学图像分类中提升模型精度和公平性，实现性能与效率的平衡。
2026-02-26 cs.CV cs.LG
Regularized Classification-Aware Quantization
University of Toronto（多伦多大学）
传统上，量化被设计为最小化数据源的重构误差。当考虑下游分类任务时，其他失真度量可能是感兴趣的;例如0-1分类损失。此外，理想的是，这些量化器的性能不会恶化，一旦它们被部署到生产中，因为重新学习的方案在线并不总是可能的。在这项工作中，我们提出了一类学习分布式量化方案的二进制分类任务的算法。我们的方法在看不见的数据上表现良好，并且比以前的方法更快，与数据集大小的二次项成比例。它的工作原理是用重建误差正则化0-1损失。我们目前的实验合成混合和双变量高斯数据和比较训练，测试和泛化误差与一个家庭的基准量化方案的文献。我们的方法被称为正则化分类感知量化。
2021-07-12 cs.LG eess.SP
QuAILoRA: Quantization-Aware Initialization for LoRA
Amazon（亚马逊公司）
本文提出QuAILoRA，一种面向LoRA的量化感知初始化方法，通过在初始化阶段减少量化误差来缓解QLoRA微调中的性能损失，在几乎不增加内存成本的情况下显著提升4位量化模型的验证困惑度和下游任务准确率。
2024-10-09 cs.CL cs.LG
QUAIL: Quantization Aware Unlearning for Mitigating Misinformation in LLMs
Department of Computer Science University of British Columbia（计算机科学系 首都大学）
QUAIL通过量化感知去学习方法，有效缓解大语言模型中因量化导致的虚假信息恢复问题。
2026-01-21 cs.AI cs.LG
Value-aware Quantization for Training and Inference of Neural Networks
Seoul National University（首尔国立大学）；Facebook（脸书）
我们提出了一种新的值感知量化，它适用于积极降低精度的大部分数据，同时单独处理少量的大数据在高精度，这减少了总的量化误差下非常低的精度。我们提出了新的技术来应用所提出的量化训练和推理。实验表明，我们的3位激活方法（2%的大激活）可以提供与全精度相同的训练精度，同时与最先进的方法相比，ResNet-152和Inception-v3中激活的内存成本显着降低（41.6%和53.7%）。我们的实验还表明，Inception-v3、ResNet-101和DenseNet-121等深度网络可以量化，以进行4位权重和激活（1%的16位数据）的推理，其精度下降幅度在1%的top-1范围内。
2018-04-20 cs.LG cs.NE
TTQ: Activation-Aware Test-Time Quantization to Accelerate LLM Inference On The Fly
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出TTQ框架，在推理时动态压缩大模型，通过高效在线校准实现无需重训练的激活感知量化，提升推理速度并适应不同下游任务。
2026-03-11 cs.CL cs.LG eess.SP
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich（苏黎世联邦理工学院）；Singapore Management University（新加坡管理大学）
我们通过将其权重和激活量化为多个二进制基（称为多位网络（MBN））来研究深度神经网络的压缩，这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化（ALQ），一个新的MBN量化流水线，能够实现平均位宽低于一位，而不会显着损失的推理精度。与先前的MBN量化解决方案（其通过最小化误差来训练量化器以重构全精度权重）不同，ALQ直接最小化损失函数上的量化引起的误差，其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略，以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明，ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
FrostNet: Towards Quantization-Aware Network Architecture Search
Sogang University（西江大学）；NAVER Corporation（NAVER公司）
INT 8量化已经成为在边缘设备上部署卷积神经网络（CNN）以减少内存和计算资源使用的标准技术之一。通过分析现有的移动目标网络架构的量化性能，我们可以提出一个问题，网络架构的重要性，最佳的INT 8量化。在本文中，我们提出了一个新的网络架构搜索（NAS）过程，以找到一个网络，保证全精度（FLOAT 32）和量化（INT 8）的性能。首先，我们提出了关键但简单的优化方法，使量化感知训练（QAT）：浮点统计辅助（StatAssist）和随机梯度提升（GradBoost）。通过将基于梯度的NAS与StatAssist和GradBoost集成，我们发现了一个量化高效的网络构建块，Frost瓶颈。此外，我们使用Frost瓶颈作为硬件感知NAS的构建块，以获得量化效率高的网络FrostNets，与其他移动目标网络相比，它显示出更好的量化性能，同时保持有竞争力的FLOAT 32性能。我们的FrostNet比现有的CNN在量化时具有更高的识别准确率，由于更高的延迟减少率（平均65%）。
2020-11-30 cs.CV cs.LG stat.ML
Inner Product Aware Quantization: Provably Fast, Accurate, and Adaptive Algorithms
University of Pennsylvania（宾夕法尼亚大学）
本文提出内积感知量化方法，通过优化目标函数并利用自适应随机量化（ASQ）理论，开发出快速且无偏的量化算法，在保证质量的同时比现有方法快2-10倍。
2026-05-29 cs.DS cs.LG
XOR-Trellis: Ultra-Low-Complexity Dequantization and Curvature-Aware Hadamard-Free LLM Quantization
Arm, Inc.（Arm公司）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出XOR-Trellis，通过超低复杂度反量化器和曲率感知目标，实现无需Hadamard变换的高质量超低位宽LLM量化，兼顾并行重建效率与精度。
2026-10-02 cs.AI cs.LG
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC（谷歌有限责任公司）
降低延迟和模型大小一直是现场自动语音识别（ASR）应用场景的重要研究问题。沿着这个方向，模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率，在这项研究中，我们建议开发具有本地量化感知训练的4位ASR模型，该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型，以评估我们提出的量化技术。首先，我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响，并获得了一个无损的4位Conformer模型，与float32模型相比，其大小减少了5.8倍。在此之后，我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性，并产生了具有混合4位和8位权重的无损Conformer ASR模型，与float32模型相比，其大小减少了5倍。
2023-03-03 cs.LG eess.AS
Continual Quantization-Aware Pre-Training: When to transition from 16-bit to 1.58-bit pre-training for BitNet language models?
University of Southern Denmark（南丹麦大学）
针对BitNet语言模型，本文提出先16位后1.58位的持续量化感知预训练策略，并在11项下游任务上验证其优于全程1.58位训练。
2025-02-17 cs.AI cs.LG
Accelerating Neural Network Inference by Overflow Aware Quantization
Alibaba Group（阿里巴巴集团）
深度神经网络固有的繁重计算阻碍了其广泛应用。一种广泛使用的加速模型推理的方法是量化，通过使用定点值替换网络的输入操作数。然后，大部分的计算成本集中在整数矩阵乘法累加。事实上，高位累加器会导致部分计算浪费，而低位累加器通常会发生数值溢出。为了解决这个问题，我们提出了一种溢出感知量化方法，通过设计可训练的自适应定点表示，以优化每个输入张量的位数，同时在计算过程中禁止数值溢出。利用该方法，我们能够充分利用计算能力，以最大限度地减少量化损失，并获得优化的推理性能。为了验证我们的方法的有效性，我们分别在ImageNet，Pascal VOC和COCO数据集上进行图像分类，目标检测和语义分割任务。实验结果表明，该方法可以实现与国家的最先进的量化方法相当的性能，同时加快约2倍的推理过程。
2020-05-27 cs.CV cs.LG
A Quantized VAE-MLP Botnet Detection Model: A Systematic Evaluation of Quantization-Aware Training and Post-Training Quantization Strategies
University of New South Wales（新南威尔士大学）
本文提出VAE-MLP僵尸网络检测框架，并系统评估QAT与PTQ两种量化策略，证明PTQ在保持准确率的同时实现6倍加速和21倍压缩，适用于资源受限IoT设备。
2025-11-05 cs.AI cs.LG
FAQ: Mitigating Quantization Error via Regenerating Calibration Data with Family-Aware Quantization
Alibaba Cloud Computing（阿里云计算）
FAQ通过家庭感知量化方法生成高保真校准数据，有效减少量化误差，实验表明其在多个模型系列中将准确性损失降低28.5%。
2026-01-16 cs.AI cs.LG
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）
由于非差分位宽采样过程，混合精度量化主要在实际训练之前预先确定模型位宽设置，从而获得次优性能。更糟糕的是，传统的静态质量一致的训练设置，即，假设所有数据在训练和推断中具有相同的质量，忽略了现实世界应用中的数据质量变化，这可能导致量化模型的鲁棒性差。在本文中，我们提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说，DQMQ被建模为一个混合强化学习（RL）任务，结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布，DQMQ是可微分的，并且可以直接端到端地优化，其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练，DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
On the Expressive Power of Weight Quantization in Large Language Models
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；School of Intelligent Science and Technology（智能科学与技术学院）
本文通过理论分析，证明1.58比特是权重量化的极限精度，并揭示量化比特数减少会导致表达能力多项式级退化。
2026-06-23 cs.AI cs.LG
MixKVQ: Query-Aware Mixed-Precision KV Cache Quantization for Long-Context Reasoning
South China University of Technology（南方科技大学）；Beihang University（北航）；Pazhou Laboratory（琶洲实验室）
MixKVQ通过查询感知的混合精度量化策略，提升长上下文推理性能并降低内存开销。
2025-12-22 cs.AI cs.LG
Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference
Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of California San Diego（加州大学圣地亚哥分校）；Xilinx Research（赛灵思研究院）；Northwestern University（西北大学）
针对硬件中的推理进行优化的高效机器学习实现具有广泛的优势，具体取决于应用，从较低的推理延迟到较高的数据吞吐量和降低的能耗。减少神经网络中计算的两种流行技术是修剪，去除不重要的突触，以及量化，降低计算的精度。在这项工作中，我们探索了在针对高能物理用例的超低延迟应用的神经网络训练期间修剪和量化之间的相互作用。为这项研究开发的技术在许多其他领域有潜在的应用。我们研究了在量化感知训练过程中修剪的各种配置，我们称之为量化感知修剪，以及正则化，批量归一化和不同修剪方案等技术对性能，计算复杂性和信息内容度量的影响。我们发现，量化感知修剪产生更多的计算效率比修剪或量化单独为我们的任务模型。此外，与其他神经架构搜索技术（如贝叶斯优化）相比，量化感知修剪通常在计算效率方面执行类似或更好。令人惊讶的是，虽然具有不同训练配置的网络对于基准应用程序可以具有相似的性能，但网络中的信息内容可能会有很大差异，从而影响其通用性。
2021-07-19 cs.LG hep-ex physics.data-an
Scaling Law for Quantization-Aware Training
The University of Hong Kong（香港大学）；ByteDance Seed（字节跳动种子）
针对现有量化感知训练（QAT）缩放定律忽略关键因素的问题，提出统一的QAT缩放定律，通过实验揭示W4A4量化误差的变化规律与来源，为QAT研发提供关键洞见。
2025-05-20 cs.CL cs.LG
Channel-wise Hessian Aware trace-Weighted Quantization of Neural Networks
Intel（英特尔）
二阶信息在确定神经网络权重和激活的冗余度方面已被证明是非常有效的。最近的论文提出了使用Hessian迹的权重和激活的混合精度量化，并取得了最先进的结果。然而，现有的工作仅集中于为每一层选择比特，而层内不同信道的冗余度也相差很大。这主要是因为确定每个信道的比特的复杂度对于原始方法来说太高。在这里，我们介绍了逐行Hessian感知迹加权量化（CW-HAWQ）。CW-HAWQ使用Hessian迹来确定不同激活通道和权重的相对灵敏度顺序。更重要的是，CW-HAWQ提出使用基于深度强化学习（DRL）和深度确定性策略梯度（DDPG）的代理来找到不同量化比特的最佳比率，并根据Hessian迹顺序将比特分配给通道。与传统的基于AutoML的混合精度方法相比，CW-HAWQ中的状态数要少得多，因为我们只需要搜索量化比特的比率。比较CW-HAWQ与最先进的技术表明，我们可以实现更好的结果为多个网络。
2020-08-19 cs.CV cs.LG
L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models
Seoul National University（首尔国立大学）；Sungkyunkwan University（松江大学）
本文提出 L4Q，将 QAT 与 LoRA 结合并通过内存优化层设计降低训练开销，在 4-bit/3-bit 量化及语言、少样本任务中优于解耦方案。
2025-07-22 cs.CL cs.LG
Q-resafe: Assessing Safety Risks and Quantization-aware Safety Patching for Quantized Large Language Models
The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学）；Sun Yat-sen University（中山大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）
本文针对量化大型语言模型的安全能力受损问题，提出了一种量化感知安全修补框架Q-resafe，通过全面评估并最小化对实用性的影响，成功恢复了量化模型的安全性。
2025-06-25 cs.AI cs.LG
AdaQAT: Adaptive Bit-Width Quantization-Aware Training
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化研究所）；CNES（法国国家太空研究中心）
提出AdaQAT方法，通过梯度下降在训练中自动优化权重和激活的位宽，实现高效的混合精度量化，在从头训练和微调场景中均表现优异。
2024-04-22 cs.AI cs.LG
Sharpness-aware Quantization for Deep Neural Networks
Monash University（莫纳什大学）
网络量化是模型压缩的一个主要范例。然而，在训练过程中量化权重的突然变化往往会导致严重的损失波动，并导致急剧的损失景观，使梯度不稳定，从而降低性能。最近，已经提出了尖锐度感知最小化（SAM）来平滑损失景观并提高模型的泛化性能。然而，直接将SAM应用于量化模型可能导致扰动失配或减少问题，从而导致次优性能。在本文中，我们提出了一种新的方法，称为清晰度感知量化（SAQ），探讨SAM的模型压缩的效果，特别是量化的第一次。具体来说，我们首先提供了一个统一的观点，量化和SAM处理它们作为引入量化噪声和对抗性扰动的模型权重，分别。根据噪声项和扰动项是否相互依赖，将SAQ分为三种情况，并对这三种情况进行了综合分析和比较。此外，通过引入有效的训练策略，与默认优化器相比，SAQ只会产生一点额外的训练开销（例如，SGD或AdamW）。在各种数据集上对卷积神经网络和Transformers进行了广泛的实验（即，ImageNet，CIFAR-10/100，Oxford Flowers-102，Oxford-IIIT Pets）表明，SAQ提高了量化模型的泛化性能，在均匀量化中产生SOTA结果。例如，在ImageNet上，SAQ在4位ViT-B/16的Top-1精度上比AdamW高出1.2%。我们的4位ResNet-50在Top-1精度上超过了之前的SOTA方法0.9%。
2023-03-21 cs.CV cs.LG
NANQ: Noise-Floor-Aware Mixed-Precision Non-Uniform Quantization for Analog Compute-in-Memory
针对模拟内存计算的噪声问题，提出NANQ量化框架，实现混合精度非均匀量化，在2比特量化下提升视觉模型准确率、降低语言模型PPL，仅用少量等效比特即可获显著增益。
2026-08-05 cs.AI cs.LG
Q-MINO: A Minimal-Norm Method for Quantization-Aware Training
Portland State University（波特兰州立大学）
针对STE在超低位宽QAT中的梯度失配问题，提出Q-MINO最小范数优化器，结合梯度一致性、状态漂移正则化与对齐约束，经Frank-Wolfe求解，理论保证渐近收敛，实验验证有效。
2026-10-02 cs.AR cs.LG math.OC
Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University（首尔国立大学）
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中，我们提出了一个元学习的方法来实现这一目标。具体来说，我们提出了MEBQAT，一种简单而有效的位宽自适应量化感知训练（QAT）的方法，其中通过重新定义元学习任务来合并位宽，将元学习有效地与QAT相结合。在平台上部署后，MEBQAT允许（Meta）训练模型被量化为任何候选位宽，然后帮助进行推理，而不会因量化而降低准确性。此外，在少样本学习场景下，MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持（1）位宽自适应量化场景和（2）新的少样本学习场景，其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性，在多个QAT计划。通过比较它们的性能（位宽专用）QAT，现有的位宽自适应QAT和香草元学习，我们发现，合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices
NAVER Cloud（NAVER云）；KAIST AI（韩国科学技术院人工智能学院）；AITRICS；SNU AI Center（首尔大学人工智能中心）
本文提出低秩量化方法LRQ，通过用低秩权重缩放矩阵替代全权重缩放矩阵来重建Transformer块输出，在显著减少可学习参数的同时提升量化LLMs的泛化能力，并在多种位宽量化设置下优于现有PTQ方法。
2025-02-09 cs.AI cs.LG
DL-QAT: Weight-Decomposed Low-Rank Quantization-Aware Training for Large Language Models
Advanced Micro Devices, Inc.（超威半导体公司）
针对大语言模型低比特量化的效率与性能问题，提出DL-QAT方法，通过权重分解低秩策略仅训练不足1%参数，在LLaMA系列模型上实现比基线及现有QAT方法更优的量化性能，3比特LLaMA-7B在MMLU上提升4.2%。
2025-04-12 cs.AI cs.CV cs.LG
QKD: Quantization-aware Knowledge Distillation
Seoul National University（首尔国立大学）；Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
量化和知识蒸馏（KD）方法被广泛用于减少深度神经网络（DNN）的存储器和功耗，特别是对于资源受限的边缘设备。虽然它们的组合很有希望满足这些要求，但它可能不会如所期望的那样工作。这主要是因为KD的正则化效应进一步减少了量化模型已经降低的表示能力。为了解决这个问题，我们提出了量化感知的知识蒸馏（QKD），其中量化和KD在三个阶段中仔细协调。首先，自学习（SS）阶段微调一个量化的低精度学生网络，没有KD，以获得一个良好的初始化。第二，合作学习（CS）阶段试图对教师进行训练，使其比固定教师更量化、更强大。最后，辅导（TU）阶段将知识从受过培训的教师转移到学生。我们在ImageNet和CIFAR-10/100数据集上对我们的方法进行了广泛的评估，并对具有标准卷积和深度可分离卷积的网络进行了消融研究。所提出的QKD优于现有的最先进的方法（例如，在使用W 4A 4的ResNet-18上提高1.3%，在使用W 4A 4的MobileNetV 2上提高2.6%）。此外，QKD可以在ResNet上的W3 A3量化和MobilenetV 2上的W 6A 6量化下恢复全精度精度。
2019-11-28 cs.CV cs.LG
Exploiting Weight Redundancy in CNNs: Beyond Pruning and Quantization
Trinity College Dublin（都柏林圣三一学院）
修剪和量化是用于提高卷积神经网络（CNN）的性能和存储效率的经验证的方法。修剪去除了张量中接近零的权重，并掩盖了相邻层神经元之间的弱连接。量化通过将权重替换为需要较少存储的数值相似的值来降低权重的精度。在本文中，我们识别了CNN权重张量中的另一种形式的冗余，即类似值的重复模式。我们观察到修剪和量化都倾向于大幅增加权重张量中重复模式的数量。我们研究了几种压缩方案，以利用CNN权重数据中的这种结构，包括多种形式的霍夫曼编码，以及受块稀疏矩阵格式启发的其他方法。我们在几个著名的CNN上评估了我们的方法，发现除了修剪和量化的节省之外，我们还可以实现1.4倍到3.1倍的压缩比。
2020-06-22 cs.LG stat.ML
Modular Quantization-Aware Training for 6D Object Pose Estimation
CVLab, EPFL（EPFL计算机视觉实验室）；Magic Leap（Magic Leap公司）
针对边缘设备上6D姿态估计网络过大问题，提出模块化量化感知训练（MQAT），利用架构模块化结构实现混合精度量化，在缩小模型4倍以上的同时提升精度超过7%。
2024-11-04 cs.CV cs.LG cs.RO
