Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego（加州大学圣地亚哥分校）
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而，修剪通常仅应用于网络的权重。在这项工作中，我们联合应用新的均匀量化和非结构化修剪方法，在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法，我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例，并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察，我们提出了非交换性假设：对于一个为特定任务训练的给定深度神经网络，存在一个精确的训练时间表，其中可以引入量化和修剪来优化网络性能。我们确定，这种最佳顺序不仅存在，而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划，我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
QUAD: Quantization and Parameter-Efficient Tuning of LLM with Activation Decomposition
Renmin University of China（中国人民大学）
QUAD通过奇异值分解抑制激活异常值，实现4比特量化，并结合参数高效微调，在Llama-3和Qwen-2.5上达到94%-98%的准确性。
2025-03-25 cs.CL cs.LG
TTQ: Activation-Aware Test-Time Quantization to Accelerate LLM Inference On The Fly
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出TTQ框架，在推理时动态压缩大模型，通过高效在线校准实现无需重训练的激活感知量化，提升推理速度并适应不同下游任务。
2026-03-11 cs.CL cs.LG eess.SP
AWEQ: Post-Training Quantization with Activation-Weight Equalization for Large Language Models
School of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）
AWEQ是一种无需额外训练的后训练量化方法，通过通道均衡将激活量化难度转移至权重，在超低位和W8A8量化中实现精度与硬件效率的平衡，并在LLaMA和OPT上优于现有方法。
2023-11-12 cs.AI cs.CL cs.LG
Mitigating the Impact of Outlier Channels for Language Model Quantization with Activation Regularization
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；IST Austria（奥地利科学技术研究所）；Neural Magic, Inc.（Neural Magic公司）
针对语言模型4比特量化中离群通道阻碍激活量化的问题，提出结合量化感知训练与激活峰度正则化的方法，成功获得性能媲美标准精度的W4A4模型。
2024-08-26 cs.CL cs.LG
DQA: An Efficient Method for Deep Quantization of Deep Neural Network Activations
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
针对现有深度神经网络激活量化方法开销高、少有关注6位以下深度量化的问题，提出基于移位运算与Huffman编码的DQA方法，在多任务多数据集上精度显著优于现有方法。
2024-12-12 cs.CV cs.LG stat.ML
AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization
University of Waterloo（滑铁卢大学）
提出AAAC方法，通过每层两个小型学习码本（64字节）替代固定标量码本，以激活加权重建误差最小化选择码本，实现零额外存储开销的4位权重量化，在3-30分钟内完成量化，精度优于现有方法。
2026-06-05 cs.CL cs.LG
Anosognosia in LLMs: Probing Self-Awareness of Quantized Computational Substrate
The University of Tokyo（东京大学）
本研究受病感失认启发，探究LLM能否识别自身量化引起的计算底层退化，发现内部表示含方法特定指纹，共享LoRA可读取但泛化有限，提示内部表示是实现自我意识的关键途径。
2026-10-06 cs.AI cs.CL cs.CY
MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization
Google（谷歌公司）
针对高效网络混合精度激活量化中的比特选择不稳定问题，提出两阶段 MetaMix，通过混合精度感知权重更新与固定权重比特搜索实现快速高质量选位，并在 ImageNet 上超越 SOTA。
2024-04-09 cs.CV cs.LG
NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers
Nanjing University（南京大学）；University of California, Berkeley（加州大学伯克利分校）；Peking University（北京大学）
NoisyQuant提出一种与量化器无关的噪声偏置增强方法，通过向激活值添加固定均匀噪声改变重尾分布，显著降低训练后量化误差，在ViT、DeiT和Swin Transformer上以极小开销提升6位激活量化的SOTA准确率。
2023-04-19 cs.CV
Agile-Quant: Activation-Guided Quantization for Faster Inference of LLMs on the Edge
Oracle
本文提出Agile-Quant，一种激活引导的量化框架，实现对LLM权重和激活的同步量化，在边缘设备上实现高达2.55倍推理加速，同时保持任务性能。
2025-04-21 cs.AI cs.CL cs.LG
Turning LLM Activations Quantization-Friendly
Doctoral School of Applied Informatics and Applied Mathematics, Obuda University（应用信息与应用数学博士学院，奥布达大学）；John von Neumann Faculty of Informatics, Obuda University（约翰·冯·诺伊曼信息学院，奥布达大学）
本文针对 LLM 激活值量化中的离群值问题，提出基于通道幅值的量化难度度量指标，并设计旋转前逐通道缩放的混合方法以降低量化误差。
2025-05-11 cs.AI cs.CL cs.LG
SASQ: Static Activation Scaling for Quantization-Aware Training in Large Language Models
University of Science and Technology of China（中国科学技术大学）
SASQ通过优化激活量化因子，实现了大语言模型在量化感知训练中的高精度静态推理与高效部署。
2025-12-16 cs.AI cs.CL
BitNet v2: Native 4-bit Activations with Hadamard Transformation for 1-bit LLMs
Microsoft Research（微软研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对1比特LLM激活离群值阻碍低比特部署的问题，提出BitNet v2框架与H-BitLinear模块，通过在线哈达玛变换平滑激活分布，实现原生4比特激活量化，在性能损失极小的情况下大幅降低批推理的内存与计算成本。
2025-06-13 cs.CL cs.LG
RoLoRA: Fine-tuning Rotated Outlier-free LLMs for Effective Weight-Activation Quantization
Hong Kong University of Science and Technology（香港科技大学）；Meta Reality Labs（元宇宙现实实验室）
针对LoRA流程中权重-激活量化因激活异常值导致性能下降的问题，提出首个基于旋转消除异常值并保持无异常值特性的LoRA量化方案RoLoRA，显著提升了低比特量化的收敛性与鲁棒性。
2024-09-26 cs.AI cs.CL cs.LG
FreeAct: Freeing Activations for LLM Quantization
National University of Singapore（新加坡国立大学）；Huawei Technology（华为技术有限公司）；Central South University（中央南大学）
FreeAct通过放松静态转换约束，为LLM量化提供动态适应的激活转换方法，实现性能提升5.3%。
2026-03-05 cs.AI cs.CL cs.CV
MixA-Q: Revisiting Activation Sparsity for Vision Transformers from a Mixed-Precision Quantization Perspective
Robert Bosch GmbH（博世公司）；Ruhr University Bochum（博尔塔尔大学波恩）
提出 MixA-Q 混合精度激活量化框架，依据 Swin block 内窗口重要性分配高低比特并结合激活剪枝，在 COCO 上实现无损或低精度损失的显著加速。
2025-07-25 cs.CV
LSQ+: Improving low-bit quantization through learnable offsets and better initialization
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通AI研究，高通技术公司）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通AI研究，高通技术荷兰有限公司）；Seoul National University（首尔大学）
与ReLU不同，在流行的高效架构中经常使用的较新的激活函数（如Swish，H-swish，Mish）也可能导致负激活值，并具有倾斜的正负范围。典型的可学习量化方案[PACT，LSQ]假设无符号量化用于激活，并将所有负激活都设为零，这导致性能的显著损失。单纯地使用带符号量化来适应这些负值需要额外的符号位，这对于低位（2位、3位、4位）量化来说是昂贵的。为了解决这个问题，我们提出了LSQ+，这是LSQ的一个自然扩展，其中我们引入了一个具有可训练尺度和偏移参数的通用非对称量化方案，可以学习适应负激活。基于自适应的可学习量化方案通常也遭受最终训练性能的高不稳定性或方差，因此需要大量的超参数调整以达到令人满意的性能。LSQ+通过对量化参数使用基于MSE的初始化方案来解决这个问题。我们表明，这种初始化导致在多个训练运行的最终性能显着较低的方差。总体而言，LSQ+显示了EfficientNet和MixNet的最新结果，并且在Swish激活的神经网络的低位量化方面也明显优于LSQ（例如：ImageNet数据集上EfficientNet-B 0的W 4A 4量化增益高达1.8%，W2 A2量化增益高达5.6%）。据我们所知，我们的工作是第一次将这种架构扩展到极低的位宽。
2020-04-20 cs.CV cs.LG stat.ML
ASER: Activation Smoothing and Error Reconstruction for Large Language Model Quantization
Alibaba Cloud Computing（阿里云）
针对大语言模型低比特量化误差大、性能下降明显的问题，提出包含误差重构与激活平滑的ASER算法，可在低比特下保持模型精度，性能比肩现有最优方法且开销小。
2024-12-12 cs.AI cs.LG
Minimizing Targeted Activations: Input-Only Suppression of Evaluation-Awareness Latents in Large Language Models
Center for Data Science, New York University（纽约大学数据科学中心）
研究大语言模型中仅通过输入优化提示来抑制“评估感知”潜在因素，采用特定方法在多种目标结构下对Llama模型进行实验，发现潜在因素可抑制，但激活可读性与行为可控性不同，还解决了相关问题。
2026-07-29 cs.AI cs.CL cs.LG
Redistribution of Weights and Activations for AdderNet Quantization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；ISCAS（中国科学院软件研究所）；UCAS（中国科学院大学）；Peking University（北京大学）；University of Macau（澳门大学）
加法神经网络（AdderNet）通过用更便宜的加法（即l1-范数）代替卷积中昂贵的乘法，为开发节能的神经网络提供了一种新的方法。为了实现更高的硬件效率，有必要进一步研究AdderNet的低位量化。由于乘法中的交换律在l1范数中不成立的限制，卷积网络上成熟的量化方法不能应用于AdderNets。因此，现有的AdderNet量化技术建议仅使用一个共享尺度来同时对权重和激活进行量化。不可否认，这种方法可以保持l1范数量化过程中的交换律，但低位量化后的精度下降不容忽视。为此，我们首先深入分析了AdderNet中权重和激活分布的差异，然后通过重新分配权重和激活，提出了一种新的量化算法。具体地说，预训练的全精度权重在不同的内核被聚类到不同的组，然后可以采用组内共享和组间独立的尺度。为了进一步补偿由分布差异引起的精度下降，我们开发了一个无损的范围钳位方案的权重和一个简单而有效的离群值钳位策略的激活。因此，可以完全保留全精度权重的功能和全精度激活的表示能力。所提出的AdderNet量化方法的有效性在几个基准测试中得到了很好的验证，例如，我们的4位训练后量化加法器ResNet-18在ImageNet上实现了66.5%的top-1准确率，具有相当的能效，比之前的AdderNet量化方法高出约8.5%。
2022-12-20 cs.CV
Gradual Binary Search and Dimension Expansion : A general method for activation quantization in LLMs
Université Paris-Saclay CEA（巴黎-萨克雷大学CEA）；List；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔INP）；LIG（实验室）
针对LLM激活异常值导致的低位量化难题，提出基于渐进二分搜索和Hadamard旋转的3比特权重、激活与KV缓存量化方法，并通过Paley算法支持非2次幂维度。
2025-05-13 cs.AI cs.CL cs.LG
OffQ: Taming Structured Outliers in LLM Quantization by Offsetting
School of Computer and Communication Sciences, EPFL, Switzerland（瑞士联邦理工学院计算机与通信科学学院）；Huawei, Switzerland（华为公司）；Swiss Data Science Center, ETHZ & EPFL, Switzerland（瑞士数据科学中心，苏黎世联邦理工学院与联邦理工学院）
提出OffQ方法，通过top-1 PCA识别异常值子空间、旋转集中异常值通道并转换为共享偏移，实现LLM的低比特均匀量化，在W4A4KV4下提升精度。
2026-06-05 cs.AI cs.CL cs.LG
Neural Network Activation Quantization with Bitwise Information Bottlenecks
Chongqing University（重庆大学）；Kwai Inc（快手公司）
近年来对信息瓶颈的研究为打开神经信号编码的黑箱提供了新的思路。受无线通信中有损信号压缩问题的启发，提出了一种基于比特信息瓶颈的神经网络激活量化编码方法。基于率失真理论，逐位信息瓶颈试图通过分配和近似与每个位相关联的稀疏系数来确定激活表示中的最高有效位。在有限平均码率的约束下，信息瓶颈以灵活的逐层方式最小化最优激活量化的率失真。在ImageNet和其他数据集上的实验表明，通过最小化每层的量化率失真，具有信息瓶颈的神经网络在低精度激活的情况下达到了最先进的精度。同时，通过降低编码速率，与标准单精度表示的深度神经网络相比，该方法可将存储和计算效率提高6倍以上。当论文被\url{https://github.com/BitBottleneck/PublicCode}接受时，代码将在GitHub上提供。
2020-06-09 cs.CV
Enhancing Computation Efficiency in Large Language Models through Weight and Activation Quantization
Hanyang University（汉阳大学）；SAPEON Korea Inc.（SAPEON韩国公司）；Seoul National University（首尔大学）
本文提出AQAS和SLAC技术及dINT混合数据格式，用于大语言模型的W4A8训练后量化，解决下溢问题，在OPT和LLaMA上达到全精度水平，并实现2倍硬件效率提升。
2024-07-18 cs.CL
ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation
Microsoft（微软）
本文系统研究了LLM训练后量化中不同方案、模型家族和比特精度的影响，发现现有方法在INT4权重量化下均无法保持原始模型质量，并提出低秩补偿方法LoRC以极小模型尺寸代价改善质量恢复。
2023-05-26 cs.AI cs.CL cs.LG
OptRot: Mitigating Weight Outliers via Data-Free Rotations for Post-Training Quantization
CISPA Helmholtz Center for Information Security, Germany（CISPA信息安全研究中心）；Microsoft Research, Cambridge, UK（微软研究院）
OptRot通过数据无关旋转技术提升训练后量化效果，优于现有方法并改进激活量化性能。
2026-01-12 cs.AI cs.CL cs.LG
Scaling Law for Quantization-Aware Training
The University of Hong Kong（香港大学）；ByteDance Seed（字节跳动种子）
针对现有量化感知训练（QAT）缩放定律忽略关键因素的问题，提出统一的QAT缩放定律，通过实验揭示W4A4量化误差的变化规律与来源，为QAT研发提供关键洞见。
2025-05-20 cs.CL cs.LG
GDRQ: Group-based Distribution Reshaping for Quantization
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Beihang Univerisity（北京航空航天大学）
低比特量化对于在有限的模型容量（例如，4-用于权重和激活的位）。当然，深度神经网络中的权重和激活的分布都是高斯型的。然而，由于低比特模型的比特宽度有限，均匀分布的权重和激活已被证明是更友好的量化，同时保持精度~ \cite{Han2015Learning}。受此启发，我们提出了Scale-Clip，一种分布重塑技术，可以以动态方式将权重或激活重塑为均匀分布。此外，为了提高低比特模型的模型能力，提出了一种新的基于分组的量化算法，将滤波器分成几组。不同的组可以学习不同的量化参数，这些量化参数可以优雅地合并到批量归一化层中，而无需在推理阶段中增加额外的计算成本。最后，将Scale-Clip技术与基于组的量化算法相结合，提出了基于组的分布整形量化（GDQR）框架，进一步提高了量化性能。在各种网络（例如VGGNet和ResNet）和视觉任务（例如分类，检测和分割）上的实验表明，我们的框架具有良好的性能。
2019-08-05 cs.CV cs.LG eess.IV
RobuQ: Pushing DiTs to W1.58A2 via Robust Activation Quantization
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；Tsinghua University, Beijing, China（清华大学）
本文提出RobuQ框架，通过鲁棒激活量化技术，解决了DiTs在极低比特下的部署问题，实现了在子4比特量化配置下的最佳性能，首次在大规模数据集上实现了稳定且具有竞争力的图像生成。
2026-05-21 cs.CV
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
d-Matrix
本研究提出双尺度无校准量化框架DUALQUANT，无需校准数据即可实现LLM的权重与激活量化，在多模型多数据集上优于无校准基线，在RTX 4090上的Llama-3.1-8B推理中实现显著内存与吞吐量提升。
2026-10-12 cs.AI cs.LG
S2D: Selective Spectral Decay for Quantization-Friendly Conditioning of Neural Activations
Amazon（亚马逊公司）；Carnegie Mellon University（卡内基梅隆大学）
S2D通过选择性谱衰减减少神经激活异常值，提升模型在量化过程中的准确性和部署效率。
2026-02-16 cs.AI cs.LG stat.ML
Post-Training Sparsity-Aware Quantization
Technion — Israel Institute of Technology（以色列理工学院）；Ruppin Academic Center（鲁平学术中心）
量化是一种在深度神经网络（DNN）中使用的技术，用于提高执行性能和硬件效率。统一的后训练量化（PTQ）方法是常见的，因为它们可以在硬件中有效地实现，并且不需要大量的硬件资源或训练集。使用统一PTQ将FP 32模型映射到INT 8产生的模型精度下降可以忽略不计;然而，使用PTQ将精度降低到8位以下具有挑战性，因为由于量化噪声的增加，精度下降变得明显。在本文中，我们提出了一种稀疏感知量化（SPARQ）方法，在该方法中，非结构化和动态激活稀疏性在不同的表示粒度中被利用。4-例如，通过动态检查8位值的位并选择4位的窗口，同时首先跳过零值位，来采用位量化。此外，不是将逐个激活量化为4位，而是关注成对的8位激活，并检查两者之一是否等于零。如果一个等于零，则第二个可以机会性地使用另一个的4比特预算;如果两者都不等于零，则每个被动态量化为4比特，如所描述的。SPARQ实现了较小的精度下降和实际的硬件实现。该代码可在https://github.com/gilshm/sparq上获得。
2021-10-28 cs.AR cs.CV cs.LG
Channel-wise Hessian Aware trace-Weighted Quantization of Neural Networks
Intel（英特尔）
二阶信息在确定神经网络权重和激活的冗余度方面已被证明是非常有效的。最近的论文提出了使用Hessian迹的权重和激活的混合精度量化，并取得了最先进的结果。然而，现有的工作仅集中于为每一层选择比特，而层内不同信道的冗余度也相差很大。这主要是因为确定每个信道的比特的复杂度对于原始方法来说太高。在这里，我们介绍了逐行Hessian感知迹加权量化（CW-HAWQ）。CW-HAWQ使用Hessian迹来确定不同激活通道和权重的相对灵敏度顺序。更重要的是，CW-HAWQ提出使用基于深度强化学习（DRL）和深度确定性策略梯度（DDPG）的代理来找到不同量化比特的最佳比率，并根据Hessian迹顺序将比特分配给通道。与传统的基于AutoML的混合精度方法相比，CW-HAWQ中的状态数要少得多，因为我们只需要搜索量化比特的比率。比较CW-HAWQ与最先进的技术表明，我们可以实现更好的结果为多个网络。
2020-08-19 cs.CV cs.LG
A Generalized Zero-Shot Quantization of Deep Convolutional Neural Networks via Learned Weights Statistics
Samsung R&D Institute India- Bangalore（三星印度班加罗尔研发中心）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；TensorTour Inc.（TensorTour公司）
将深度卷积神经网络的浮点权重和激活量化为定点表示可以减少内存占用和推理时间。最近，人们正在努力实现不需要给定任务的原始未标记训练样本的zero-shot量化。这些最好的出版作品严重依赖于学习的批量归一化（BN）参数来推断量化的激活范围。特别是，这些方法建立在经验估计框架或数据蒸馏方法的基础上，用于计算激活的范围。然而，当呈现不容纳BN层的网络时，这种方案的性能严重降低。在这种思路下，我们提出了一个广义zero-shot量化（GSQQ）框架，既不需要原始数据，也不依赖于BN层统计。我们利用数据蒸馏方法，仅利用模型的预训练权重来估计用于激活范围校准的丰富数据。据我们所知，这是第一个利用预训练权重的分布来辅助zero-shot量化过程的工作。所提出的方案明显优于现有的zero-shot作品，例如，MobileNetV2和其他几个无BN层的模型的分类准确性提高了约33%，适用于各种任务。我们还在多个开源量化框架中证明了所提出的工作的有效性。重要的是，我们的工作是对未来非规范化深度神经网络的训练后zero-shot量化的第一次尝试。
2021-12-11 cs.CV cs.LG
OutlierTune: Efficient Channel-Wise Quantization for Large Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；PengCheng Laboratory（鹏城实验室）
针对LLMs激活值量化中结构化离群值导致的准确性与硬件效率难以兼顾问题，提出高效逐通道PTQ方法OutlierTune，通过反量化预执行与对称化减少计算开销和量化差异，在多任务上优于现有方法，实现1.48倍推理加速与约2倍内存节省。
2024-06-27 cs.CL
BiSup: Bidirectional Quantization Error Suppression for Large Language Models
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）
BiSup提出双向量化误差抑制方法，通过参数高效微调抑制垂直累积误差，并采用提示混合精度量化缓解水平扩散，在Llama和Qwen上显著降低困惑度。
2024-05-24 cs.AI cs.CL cs.LG
SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
Massachusetts Institute of Technology（麻省理工学院）；NVIDIA（英伟达公司）
SmoothQuant 提出一种无需训练的训练后量化方法，通过数学等价变换将激活离群值难度迁移到权重，实现大语言模型 W8A8 INT8 量化，在保持精度的同时获得最高 1.56 倍加速和 2 倍内存降低。
2024-03-29 cs.AI cs.CL cs.LG
AGoQ: Activation and Gradient Quantization for Memory-Efficient Distributed Training of LLMs
School of Computer Science（计算机科学学院）；Technology, Harbin Institute of Technology, Shenzhen（技术学院，哈尔滨工业大学，深圳）；Huawei Technologies Ltd（华为技术有限公司）
AGoQ通过层感知激活量化和梯度量化技术，实现近4位激活存储和8位梯度存储，降低内存使用并提升训练速度，实验表明在不同规模LLM上内存减少达52%，训练速度提升1.34倍。
2026-05-11 cs.CL cs.DC
TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization
University of Science and Technology of China（中国科学技术大学）
提出TWLA框架，通过后训练量化实现1.58位权重和4位激活，解决激活分布长尾问题，加速推理。
2026-06-15 cs.AI cs.LG
OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models
The Chinese University of Hong Kong（香港中文大学）；OpenGVLab（开放视觉实验室）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）
OmniQuant通过可学习权重裁剪和可学习等价变换，高效优化量化参数，在极低比特量化下保持性能，适用于多种量化配置，并在指令调优模型中有效。
2024-03-18 cs.CL cs.LG
Effective Quantization Methods for Recurrent Neural Networks
Megvii Inc.（旷视科技有限公司）
减小神经网络的权重、激活和梯度的位宽可以缩小其存储大小和内存使用，并且还允许通过利用逐位操作来更快地训练和推理。然而，以前的RNN量化尝试在使用低位宽权重和激活时表现出相当大的性能下降。在本文中，我们提出了在LSTM和GRU单元中描述门和互连结构的方法。此外，我们提出了平衡量化方法的权重，以进一步减少性能下降。在PTB和IMDB数据集上的实验证实了我们方法的有效性，因为我们模型的性能匹配或超过了先前最先进的量化RNN。
2016-11-30 cs.CV cs.LG
Compression Scaling Laws:Unifying Sparsity and Quantization
Google DeepMind（谷歌DeepMind）；Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究统一了稀疏性与量化在大型语言模型预训练中的缩放定律，发现两者均通过有效参数乘数影响模型性能，并提出了一个通用框架以支持压缩方法的比较与组合。
2025-02-23 cs.CL cs.LG
Hardware-Friendly Token-Group Activation Quantization for Low-Bit Mamba Super-Resolution
Kookmin University（国民大学）
该研究针对Mamba超分辨率模型低比特量化的挑战，提出硬件友好的令牌组激活量化框架，结合频率保留细化目标，实现性能提升与硬件加速。
2026-10-14 cs.AI cs.CV cs.LG
LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
本文提出LATMiX方法，通过学习可逆仿射变换提升LLM微缩量化精度，实验显示在多种零样本基准上优于现有方法。
2026-04-23 cs.CL cs.LG
QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling
Independent Research（独立研究）；Institute of Computing Science（计算科学研究所）；Poznan University of Technology（波兹南技术大学）
提出QAM-W方法，通过L2归一化、块哈达玛旋转和2D坐标配对量化，结合激活感知缩放，在约5.5 bpw下使困惑度接近BF16，优于极坐标编码，并在5-6 bpw范围内保持质量。
2026-05-25 cs.CL cs.LG
SCULPT: Training Edge Vision Models for Post-Training Quantization Readiness
Valeo Vision Systems（法雷奥视觉系统）；Valeo India Pvt. Ltd（法雷奥印度私人有限公司）
提出SCULPT方法，在FP32微调时抑制激活分布的不利统计特性，学习可直接用于PTQ的裁剪边界，无需QAT或事后修复，实现边缘视觉模型的低位宽部署。
2026-09-03 cs.CV
DFRot: Achieving Outlier-Free and Massive Activation-Free for Rotated LLMs with Refined Rotation
New York University（纽约大学）
DFRot通过加权损失函数和正交Procrustes变换优化旋转矩阵，解决LLMs中罕见token的海量激活问题，实现无异常值和无海量激活的双重自由，显著提升低精度量化下的模型准确率。
2025-07-15 cs.LG stat.ML
Quantizing deep convolutional networks for efficient inference: A whitepaper
Google（谷歌）
我们提出了一个概述的技术量化卷积神经网络的推理与整数权重和激活。对于各种各样的CNN架构，权重的每通道量化和激活的每层量化到8位精度后训练产生在浮点网络的2%内的分类准确度。通过将权重量化为8位，即使不支持8位算法，也可以将模型大小减少4倍。这可以通过简单的后训练量化权重来实现。我们在CPU和DSP上对量化网络的浮点数进行了基准测试，并观察到量化实现与CPU上的浮点数相比的2倍-3倍的加速比。在具有固定点SIMD功能的专用处理器上，如采用HVX的Qualcomm QDSP，可以观察到高达10倍的速度提升。量化感知训练可以提供进一步的改进，在8位精度下将浮点差距缩小到1%。量化感知训练还允许将权重的精度降低到4位，精度损失范围从2%到10%，对于较小的网络，精度损失更高。我们介绍了TensorFlow和TensorFlowLite中用于量化卷积网络的工具，并回顾了量化感知训练的最佳实践，以获得量化权重和激活的高精度。我们建议将权重的每通道量化和激活的每层量化作为硬件加速和内核优化的首选量化方案。我们还建议，未来的处理器和硬件加速器优化推理支持精度为4，8和16位。
2018-06-21 cs.CV cs.LG stat.ML
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
MIT（麻省理工学院）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）；Tsinghua University（清华大学）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
本文提出AWQ方法，通过识别重要权重通道减少量化误差，实现低比特权重量化，提升LLM的压缩与加速性能，并在多个基准测试中表现优异。
2026-04-25 cs.CL
Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）；University of Liverpool（利物浦大学）；University of Dayton（戴顿大学）
本文提出了两种新的技术来训练具有低位宽权重和激活的深度卷积神经网络。首先，为了获得低位宽权重，大多数现有方法通过对全精度网络权重执行量化来获得量化权重。然而，这种方法会导致一些不匹配：梯度下降更新全精度权重，但它不更新量化权重。为了解决这个问题，我们提出了一种新的方法，使{直接}更新的量化权重{可学习的量化水平}，以最小化成本函数使用梯度下降。第二，为了获得低位宽激活，现有的工程考虑所有渠道平等。然而，激活量化器可能偏向于具有高方差的少数通道。为了解决这个问题，我们提出了一种方法，考虑到各个通道的量化误差。通过这种方法，我们可以学习在大多数通道中最小化量化误差的激活量化器。实验结果表明，我们提出的方法在CIFAR-100和ImageNet数据集上使用AlexNet，ResNet和MobileNetV 2架构在图像分类任务上实现了最先进的性能。
2020-12-26 cs.CV
RUQuant: Towards Refining Uniform Quantization for Large Language Models
Dalian University of Technology（大连理工大学）；Peking University（北京大学）；Macao Polytechnic University（澳门理工大学）
本文提出RUQuant方法，通过理论分析和两阶段正交变换，解决激活分布非均匀导致的量化精度下降问题，在不需微调的情况下实现高精度量化。
2026-04-05 cs.CL
ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers
Microsoft（微软）
如何在实践中有效地服务于越来越大的训练自然语言模型，即使对于强大的云服务器也变得非常具有挑战性，因为它们的内存/计算要求过高。在这项工作中，我们提出了一种高效且经济实惠的后训练量化方法来压缩大型基于transformer的模型，称为ZeroQuant。ZeroQuant是一个端到端的量化和推理流水线，有三个主要组成部分：（1）用于权重和激活的细粒度硬件友好量化方案;（2）一种新颖的负担得起的逐层知识蒸馏算法（LKD），即使无法访问原始训练数据;（3）高度优化的量化系统后端支持，以消除量化/反量化开销。因此，我们能够证明：（1）ZeroQuant可以将BERT和GPT 3风格的模型的权重和激活精度以无成本的方式降低到INT 8，并且精度影响最小，与FP 16推理相比，这些模型的加速高达5.19倍/4.16倍;（2）ZeroQuant加上LKD可将全连接模块中的权重提供给INT 4，以及注意力模块中的INT 8权重和INT 8激活，与FP 16型号相比，内存占用减少了3倍;（3）ZeroQuant可以直接应用于两个最大的开源语言模型，包括GPT-J6 B和GPT-NeoX 20，我们的INT 8模型达到了与FP 16模型相似的精度，但效率提高了5.2倍。
2022-06-04 cs.CL cs.LG
OASIS: Outlier-Aware LUT-Based GEMM with Dual-Side Quantization for LLM Inference Acceleration
National University of Singapore（新加坡国立大学）
提出OASIS架构，利用预计算笛卡尔积查找表实现非均匀量化权重与激活的高效通用矩阵乘法，通过离群点感知量化方案和实时离群点检测引擎Orizuru，在保持精度的同时显著提升推理速度和能效。
2026-06-02 cs.AR cs.LG
