Low-bit Quantization of Neural Networks for Efficient Inference
Huawei Technologies Co.（华为技术有限公司）
最近的机器学习方法使用越来越大的深度神经网络来实现各种任务中的最新结果。性能的提高是以计算和存储需求的大幅增加为代价的。这使得在有限资源硬件上的实时实现成为一项具有挑战性的任务。解决这一挑战的一种流行方法是通过神经网络量化来执行低位精度计算。然而，积极的量化通常在精度方面带来严重的损失，并且通常需要重新训练网络，或者诉诸更高的比特精度量化。在本文中，我们将线性量化任务形式化为权重和激活的最小均方误差（MMSE）问题，允许低比特精度推理，而无需进行完整的网络再训练。我们的方法的主要贡献是在网络的每一层的约束MSE问题的优化，网络参数的硬件感知分区，以及使用多个低精度量化张量的近似层。所提出的方法允许4位整数（INT 4）量化，用于在有限的硬件资源上部署预训练模型。在各种网络架构上的多个实验表明，所提出的方法产生最先进的结果，任务的准确性损失最小。
2019-03-25 cs.CV cs.LG stat.ML
Value-aware Quantization for Training and Inference of Neural Networks
Seoul National University（首尔国立大学）；Facebook（脸书）
我们提出了一种新的值感知量化，它适用于积极降低精度的大部分数据，同时单独处理少量的大数据在高精度，这减少了总的量化误差下非常低的精度。我们提出了新的技术来应用所提出的量化训练和推理。实验表明，我们的3位激活方法（2%的大激活）可以提供与全精度相同的训练精度，同时与最先进的方法相比，ResNet-152和Inception-v3中激活的内存成本显着降低（41.6%和53.7%）。我们的实验还表明，Inception-v3、ResNet-101和DenseNet-121等深度网络可以量化，以进行4位权重和激活（1%的16位数据）的推理，其精度下降幅度在1%的top-1范围内。
2018-04-20 cs.LG cs.NE
The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks
University of Notre Dame（圣母大学）
脉冲神经网络（SNN）的能量高效实现和部署已经引起了极大的兴趣，这是由于开发能够实现生物大脑的计算能力和能量效率的人工系统的可能性。SNN在现代数字硬件上的高效实现也受到机器学习和深度神经网络（DNN）的进步的启发。在DNN的有效部署中广泛采用的两种技术-参数的量化和修剪，可以压缩模型大小，减少内存占用，并促进低延迟执行。量化和修剪之间的相互作用以及它们如何影响SNN加速器上的模型性能目前尚不清楚。我们研究了各种组合的修剪和量化的隔离，累积，并同时（联合）到一个国家的最先进的SNN目标的动态视觉传感器相机（DVS）的手势识别。我们表明，这种国家的最先进的模型是服从积极的参数量化，没有遭受任何损失的准确性下降到三元权重。然而，修剪仅保持高达80%稀疏度的等精度，这导致比我们的建筑模型上的最佳量化多45%的能量。应用修剪和量化两者可能导致准确度损失，以针对给定硬件配置在能量准确度帕累托边界上提供有利的折衷。
2023-02-08 cs.LG
TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
Bar-Ilan University（巴伊兰大学）
提出TR-PTQ，通过泰勒区域重构和整数算术实现Transformer训练后量化，消除浮点硬件需求，在视觉和语言基准上精度损失小于1.5%。
2026-10-08 cs.LG
Mixed Precision Post Training Quantization of Neural Networks with Sensitivity Guided Search
University of Notre Dame（圣母大学）；Google LLC（谷歌有限责任公司）
由于模型大小和复杂性的增加，高效且低延迟地服务大规模机器学习（ML）模型变得具有挑战性。量化模型可以同时减少内存和计算需求，促进其广泛访问。然而，对于大型模型，并非所有层都同样适用于相同的数值精度，并且激进的量化可能导致模型精度的不可接受的损失。防止这种精度下降的一种方法是混合精度量化，它允许不同的张量被量化到不同的数值精度水平，利用现代硬件的能力。这种混合精度量化可以更有效地将数值精度分配给不同的张量，以保持模型的准确性，同时减少占用空间和计算延迟。在本文中，我们提出了一种方法来有效地确定不同的张量在ML模型中使用后训练混合精度量化的量化配置。我们分析了三个敏感性指标，并评估他们指导配置搜索的两个算法。我们评估了我们的计算机视觉和自然语言处理方法，并证明与基线16位浮点模型相比，延迟降低了27.59%和34.31%，同时保证不超过1%的准确性下降。
2023-02-07 cs.LG
Quantization Avoids Saddle Points in Distributed Optimization
Clemson University（克莱姆森大学）
该研究提出一种随机量化方案，利用量化过程使分布式非凸优化逃离鞍点并收敛至二阶稳定点，同时通过可调量化粒度降低通信开销，实验验证其有效性。
2024-03-15 cs.LG math.OC
VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference
NVIDIA（英伟达）
量化通过减少模型内存占用和利用低成本整数数学硬件单元来实现深度神经网络的高效加速。量化使用比例因子将训练模型中的浮点权重和激活映射到低位宽整数值。过度量化，过于激进地降低精度，导致精度下降。当比例因子在每个张量的许多维度上以粗粒度共享时，张量内的各个元素的有效精度受到限制。为了减少量化相关的准确性损失，我们建议使用一个单独的比例因子为每个小向量（$\approx$ 16-64）元素在一个单一的维度的张量。为了实现有效的硬件实现，当使用两级量化方案校准时，可以用低位宽整数来实现每矢量比例因子。我们发现，每向量缩放一致地实现更好的推理精度在低精度相比，传统的缩放技术，流行的神经网络，而不需要再训练。我们还修改了一个深度学习加速器硬件设计，以研究每个向量缩放支持的面积和能量开销。我们的评估表明，具有4位权重和激活的每个矢量缩放量化实现了37%的面积节省和24%的节能，同时保持了ImageNet上ResNet 50的75%以上的准确度。4-位权重和8位激活可在SQuAD上实现BERT-base和BERT-large的近全精度，同时与8位基线相比减少了26%的面积。
2021-02-08 cs.AR cs.LG
ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
提出ScaleSweep方法，通过扫描可行块尺度候选并选择最小化目标函数的候选，优化NVFP4量化中的尺度初始化，理论推导扫描范围边界，在Llama和Qwen模型上提升量化性能，缩小与全精度的差距。
2026-05-30 cs.AI cs.CV cs.LG
TAH-QUANT: Effective Activation Quantization in Pipeline Parallelism over Slow Network
HKUST（香港科技大学）；Peking University（北京大学）
本文提出TAH-Quant框架，通过细粒度切片量化、熵引导的自适应位分配和Hadamard变换，减少量化误差并提升训练效率，实验证明其在保持收敛性的同时提升了吞吐量和速度。
2026-05-08 cs.LG
4-bit Quantization of LSTM-based Speech Recognition Models
IBM Research（IBM研究院）
我们研究了两类基于LSTM的大型自动语音识别架构（ASR）中权重和激活的积极低精度表示的影响：混合深度双向LSTM -隐马尔可夫模型（DBLSTM-Hacking）和递归神经网络-传感器（RNN-Ts）。使用4位整数表示，应用于这些模型的LSTM部分的简单量化方法会导致显着的字出错率（WER）下降。另一方面，我们表明，最小的精度损失是可以实现的量化器和初始化的适当选择。特别是，我们根据网络的局部属性定制量化方案，在限制计算时间的同时提高识别性能。我们证明了我们的解决方案的交换机（SWB）和呼叫中心（CH）测试集的NIST集线器5 -2000的评估。用300或2000小时的SWB数据训练的DBLSTM-Hashion分别实现了$<$ 0.5%和$<$ 1%的平均WER降级。在更具挑战性的RNN-T模型上，我们的量化策略将4位推理的退化限制在1.3%。
2021-08-27 cs.CL cs.LG cs.SD
QuantKAN: A Unified Quantization Framework for Kolmogorov Arnold Networks
Department of EECS, Oregon State University（电子工程与计算机科学系，俄勒冈州立大学）
提出QuantKAN，首个针对KAN网络的统一量化感知训练和后训练量化框架，通过分支感知量化器处理异构参数，在多个数据集上建立基准，并揭示架构特定失效模式。
2026-06-23 cs.LG
Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research（IBM研究院）
我们报告了积极的量化策略，大大加快了循环神经网络传感器（RNN-T）的推理。我们使用4位整数表示权值和激活，并应用量化感知训练（QAT）来重新训练完整模型（声学编码器和语言模型），并实现近等精度。我们表明，定制的量化方案，是针对网络的本地属性是必不可少的，以实现良好的性能，同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益，但它严重增加了推理的计算成本。我们表明，我们的量化策略，使使用大波束宽度的假设搜索，同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比，全精度模型。通过硬件模拟，我们估计从FP 16到INT 4的端到端量化RNN-T（包括LM融合）的$\times$加速为3.4，导致实时的因子（RTF）为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上，我们保留了与LM融合相关的大部分增益，将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD
Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization
Beijing Institute of Technology（北京理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hebei Province Key Laboratory of Big Data Science and Intelligent Technology（河北省大数据科学与智能技术重点实验室）
Astro通过激活引导的结构正则化方法，在高效且无延迟的情况下提升LLM后训练量化的鲁棒性与性能。
2026-02-07 cs.AI cs.LG
DBQ: A Differentiable Branch Quantizer for Lightweight Deep Neural Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Texas Instruments Inc（德州仪器公司）
深度神经网络已经在各种计算机视觉任务上实现了最先进的性能。然而，它们在资源受限设备上的部署由于其高计算和存储复杂性而受到阻碍。虽然各种复杂性降低技术，如轻量级网络架构设计和参数量化，已经成功地降低了实现这些网络的成本，但这些方法通常被认为是正交的。实际上，现有的量化技术无法在轻量级架构（如MobileNet）上复制其成功。为此，我们提出了一种新的完全可微的非均匀量化器，可以无缝地映射到有效的基于三进制的点积引擎。我们在CIFAR-10，ImageNet和Visual Wake Words数据集上进行了全面的实验。建议的量化器（DBQ）成功地解决了艰巨的任务，积极量化轻量级网络，如MobileNetV 1，MobileNetV 2和ShuffleNetV 2。DBQ以最小的训练开销实现了最先进的结果，并提供了最佳（帕累托最优）的准确性-复杂性权衡。
2020-07-19 cs.CV cs.LG stat.ML
ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals
KAIST（韩国科学技术院）；Yonsei University（延世大学）；Seoul National University（首尔国立大学）
提出ResidualQuant，利用循环Transformer跨循环KV状态相似性，以最终循环为参考量化残差，结合缩放旋转和混合精度，在INT2下保持精度，减少KV存储80.7%，吞吐量提升显著。
2026-10-30 cs.LG
OASIS: Outlier-Aware LUT-Based GEMM with Dual-Side Quantization for LLM Inference Acceleration
National University of Singapore（新加坡国立大学）
提出OASIS架构，利用预计算笛卡尔积查找表实现非均匀量化权重与激活的高效通用矩阵乘法，通过离群点感知量化方案和实时离群点检测引擎Orizuru，在保持精度的同时显著提升推理速度和能效。
2026-06-02 cs.AR cs.LG
Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision Post-Training Quantization
University of Notre Dame（圣母大学）；Google LLC（谷歌有限责任公司）
提出一种融合 Hessian 二阶信息与层间依赖的混合精度 PTQ 方法，通过二分搜索在可接受精度损失内优化精度-延迟权衡。
2023-06-08 cs.LG
ZipCache: Accurate and Efficient KV Cache Quantization with Salient Token Identification
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Monash University（莫纳什大学）
针对KV缓存压缩中显著标记识别不准的问题，提出ZipCache量化方法，采用通道可分离逐标记量化与归一化注意力分数识别显著标记，实现高压缩比、低延迟和低内存占用，且性能损失极小。
2024-05-23 cs.AI cs.LG
Collaborative Compression for Large-Scale MoE Deployment on Edge
针对超大规模MoE模型边缘部署内存不足的问题，提出结合专家剪枝、混合精度量化与激活优化的协同压缩框架，可将DeepSeek-V3存储从1.3TB降至103GB，在128GB内存限制的边缘平台实现部署且准确率优于均匀低比特量化方法。
2025-09-30 cs.AI cs.LG
Quantized Reasoning Models Think They Need to Think Longer, but They Do Not
FAIR at Meta（Meta 联合实验室）；Meta AI
本文发现后训练量化会降低推理模型准确率并增加思维链长度，通过分析量化模型在中间步骤正确但最终输出错误的“过度思考”错误，提出一种无训练的对过度思考标记施加logit惩罚的方法，在保持或提升准确率的同时减少12-23%的思维链长度。
2026-05-29 cs.LG
Kilobyte Models: Neural Networks as a Seed and a Quantized Latent
该研究提出将神经网络压缩为种子与量化潜变量的千字节模型，基于映射网络实现权重再生，在保持准确率的同时大幅减少存储字节，适用于带宽受限的部署场景。
2026-08-04 cs.LG
Security-Enhanced Seed-Based Weight Quantization for Large Language Models
University of Florida（佛罗里达大学）
本文提出Seed-Q，一种安全增强的敏感性感知的基于种子的权重量化框架，通过非均匀比特分配和LFSR生成权重，在减少比特的同时保持性能，并增强对比特翻转攻击的鲁棒性。
2026-10-01 cs.AI cs.CR cs.LG
SimCert: Probabilistic Certification for Behavioral Similarity in Deep Neural Network Compression
Shanghai Jiao Tong University（上海交通大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文提出SimCert框架，通过双网络符号传播方法和方差感知边界技术，实现压缩神经网络的行为相似性验证，提供可调节置信水平的安全保证，实验表明其优于现有方法。
2026-03-16 cs.AI cs.LG cs.SE
Compiling Multi-Threshold Operators for Quantized Non-Monotonic and Fine-Granular Activations in Custom-Tailored DNN Accelerators
Paderborn University（帕德博恩大学）
该研究针对定制DNN加速器，提出基于ONNX编译器的多阈值算子编译方法，支持非单调函数与细粒度参数，经实验验证其在FPGA加速器综合中的有效性，性能优于部分现有方案。
2026-10-16 cs.AR cs.LG
Automatic mixed precision for optimizing gained time with constrained loss mean-squared-error based on model partition to sequential sub-graphs
Intel Corporation/Habana（英特尔公司/ Habana）
本研究针对推理阶段训练后量化的最优混合精度自动选择问题，提出基于损失MSE的逐层灵敏度指标与顺序子图硬件感知时间增益预测方法，通过整数规划在精度约束下最大化时间增益，在多个LLM上得到验证。
2025-05-19 cs.LG
What Survives When You Compress a Recursive Reasoner for the Edge?
ML Collective；Carnegie Mellon University（卡内基梅隆大学）
研究递归推理模型在边缘设备压缩中的表现，发现激进压缩破坏全局推理但保留局部预测，提出每通道校准INT4和轨迹保真度指标实现无损部署。
2026-10-01 cs.LG
Energy awareness in low precision neural networks
Department of Electrical Engineering, Technion（以色列理工学院电气工程系）；Habana Labs, Intel（英特尔哈瓦那实验室）；Technion（以色列理工学院）；Intel（英特尔）；Habana Labs（哈瓦那实验室）
功耗是在终端设备上部署深度神经网络（DNN）的主要障碍。用于降低功耗的现有方法依赖于相当一般的原理，包括避免乘法运算以及权重和激活的积极量化。然而，这些方法没有考虑网络中每个模块消耗的精确功率，因此不是最佳的。在本文中，我们为DNN中的所有算术运算在各种工作条件下开发了精确的功耗模型。我们揭示了迄今为止被忽视的几个重要因素。基于我们的分析，我们提出了PANN（功耗感知神经网络），一种简单的方法，用于通过低功耗固定精度变体来近似任何全精度网络。我们的方法可以应用于预先训练的网络，也可以在训练过程中使用，以提高性能。与以前的方法相比，PANN只会导致精度的轻微下降。网络的全精度版本，即使在2位量化变体的功率预算下工作。此外，我们的方案能够在部署时无缝地遍历功率-精度权衡，这是现有量化方法的主要优势，这些方法受限于特定的位宽。
2022-02-06 cs.CV cs.LG
Accuracy is Not Enough: A Divergence-Based Approach to Evaluate Fidelity Loss in Quantized LLMs
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息处理研究所）；University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；University of Manitoba（曼尼托巴大学）；University of Central Florida（中佛罗里达大学）；Virginia Tech（弗吉尼亚理工大学）
针对量化LLM评估中仅依赖准确性的不足，提出基于预测分布散度的保真度评估框架，通过JSD和TVD量化分布偏移，实验表明散度指标有效补充准确性信号。
2026-09-10 cs.AI cs.LG
Error-Based Bidirectional Predictive Coding Enables Deep, 4-Bit Predictive Coding Networks
McGill University（麦吉尔大学）
本文结合双向PC（bPC）与基于误差的重参数化（ePC），实现可稳定训练至8层的4位预测编码网络，在6层网络中分类准确率远超基于状态的bPC，且量化后性能损失极小。
2026-10-14 cs.LG
Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts
MIT Critical Data（MIT关键数据）；Université de Rennes（里昂大学）；Technetium Engineering（Technetium工程）；Institución Universitaria Colegio Mayor del Cauca（科瓦卡大学学院）；CeADAR - Ireland’s Centre for AI（爱尔兰人工智能中心）；University College Dublin（都柏林大学）；Tsinghua University（清华大学）；Beth Israel Deaconess Medical Center（贝瑟尔以色列德acons医院）；Harvard T.H. Chan School of Public Health（哈佛T.H.陈公共卫生学院）
本文提出基于好奇心驱动的量化专家混合框架，通过贝叶斯知识不确定性路由提升模型在资源受限设备上的精度与推理延迟稳定性，实验证明其在音频分类任务中具有更高的准确率和更低的能耗。
2026-09-01 cs.AI cs.LG
Layer-wise Weight Selection for Power-Efficient Neural Network Acceleration
Shanghai Jiao Tong University（上海交通大学）；Technical University of Darmstadt（达姆斯塔特技术大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
本文提出了一种分层权重选择框架，通过优化能耗准确度和分层调度，实现CNN加速器的高效能压缩，实验显示能耗降低达58.6%且准确率仅下降2-3%。
2025-12-16 cs.AR cs.LG
