Quantizing Looped Transformers: Feedback Exposure and Calibration Blindness
Meta
研究循环Transformer量化中的两种失效模式:反馈暴露与校准盲区,提出跨步骤累积GPTQ Hessian方法,在九个检查点上优于基线并恢复bf16精度。
2026-09-28 cs.CL cs.LG
AWEQ: Post-Training Quantization with Activation-Weight Equalization for Large Language Models
School of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
AWEQ是一种无需额外训练的后训练量化方法,通过通道均衡将激活量化难度转移至权重,在超低位和W8A8量化中实现精度与硬件效率的平衡,并在LLaMA和OPT上优于现有方法。
2023-11-12 cs.AI cs.CL cs.LG
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
d-Matrix
本研究提出双尺度无校准量化框架DUALQUANT,无需校准数据即可实现LLM的权重与激活量化,在多模型多数据集上优于无校准基线,在RTX 4090上的Llama-3.1-8B推理中实现显著内存与吞吐量提升。
2026-10-12 cs.AI cs.LG
Quantizing Small-Scale State-Space Models for Edge AI
Institute of Neuroinformatics University of Zürich(神经信息研究所 维也纳大学);ETH Zürich(苏黎世联邦理工学院)
本文针对边缘AI场景下小规模状态空间模型的部署需求,研究量化对其的影响,通过量化感知训练及异构量化策略,在大幅降低内存占用的同时维持模型性能,为资源受限环境的模型部署提供参考。
2025-06-14 cs.LG eess.SP
LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices
NAVER Cloud(NAVER云);KAIST AI(韩国科学技术院人工智能学院);AITRICS;SNU AI Center(首尔大学人工智能中心)
本文提出低秩量化方法LRQ,通过用低秩权重缩放矩阵替代全权重缩放矩阵来重建Transformer块输出,在显著减少可学习参数的同时提升量化LLMs的泛化能力,并在多种位宽量化设置下优于现有PTQ方法。
2025-02-09 cs.AI cs.LG
Pretraining large language models with MXFP4 on Native FP4 Hardware
The Pennsylvania State University(宾夕法尼亚州立大学);Advanced Micro Devices, Inc.(先进微器件公司)
研究发现FP4训练不稳定主要由梯度路径的结构微缩放误差引起,通过MXFP4量化在Transformer训练中的受控研究,揭示了FP4在Fprop和Dgrad中对收敛影响较小,而Wgrad量化导致收敛退化。
2026-08-13 cs.AI cs.LG
DLLMQuant: Quantizing Diffusion-based Large Language Models
针对基于扩散的大语言模型(DLLMs)直接应用现有后训练量化方法精度下降的问题,本文提出DLLMQuant框架,通过三种新技术解决量化冲突,在提升效率的同时实现显著性能提升。
2025-08-26 cs.AI cs.CL
Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Quantization in Large Language Models
Department of Computer Science, Indian Institute of Information Technology Pune(计算机科学系,印度信息技术学院浦那)
本文提出基于SVD的无数据权重保持方法,通过保留主成分权重提升大型语言模型混合精度量化的性能。
2025-12-02 cs.AI cs.LG
Quantizing deep convolutional networks for efficient inference: A whitepaper
Google(谷歌)
我们提出了一个概述的技术量化卷积神经网络的推理与整数权重和激活。对于各种各样的CNN架构,权重的每通道量化和激活的每层量化到8位精度后训练产生在浮点网络的2%内的分类准确度。通过将权重量化为8位,即使不支持8位算法,也可以将模型大小减少4倍。这可以通过简单的后训练量化权重来实现。我们在CPU和DSP上对量化网络的浮点数进行了基准测试,并观察到量化实现与CPU上的浮点数相比的2倍-3倍的加速比。在具有固定点SIMD功能的专用处理器上,如采用HVX的Qualcomm QDSP,可以观察到高达10倍的速度提升。量化感知训练可以提供进一步的改进,在8位精度下将浮点差距缩小到1%。量化感知训练还允许将权重的精度降低到4位,精度损失范围从2%到10%,对于较小的网络,精度损失更高。我们介绍了TensorFlow和TensorFlowLite中用于量化卷积网络的工具,并回顾了量化感知训练的最佳实践,以获得量化权重和激活的高精度。我们建议将权重的每通道量化和激活的每层量化作为硬件加速和内核优化的首选量化方案。我们还建议,未来的处理器和硬件加速器优化推理支持精度为4,8和16位。
2018-06-21 cs.CV cs.LG stat.ML
Quantizing Recursive Reasoning Models
Integrated Systems Laboratory, ETH Zürich(集成系统实验室,瑞士苏黎世联邦理工学院)
研究递归推理模型量化问题,发现其因激活缩放粒度致精度崩溃,提出用逐块缩放恢复转换,应用MXInt4格式,该格式在任务中与浮点格式有竞争力,克服架构量化敏感性弱点,还能转移到ARC - AGI基准测试。
2026-07-21 cs.AI cs.LG
Accumulator-Aware Post-Training Quantization for Large Language Models
AMD(AMD公司);TUM(慕尼黑工业大学);GSK(葛兰素史克);University of California San Diego(加州大学圣地亚哥分校)
针对大模型量化感知训练成本高、低精度累加易溢出的问题,提出首个累加器感知训练后量化框架AXE,支持多阶段累加,在Llama3 8B量化中性能接近FP16且优于传统位宽调整方法。
2025-07-31 cs.AI cs.DM cs.LG
Mamba-PTQ: Outlier Channels in Recurrent Large Language Models
Intel Labs(英特尔实验室);LMU Munich(慕尼黑大学);University of Groningen(格罗宁根大学)
本研究针对循环大语言模型Mamba的后训练量化问题,发现其存在与注意力模型相似的激活异常通道,并提供了基线结果及异常感知量化的初步方案。
2024-07-17 cs.AI cs.LG cs.NE
MOSS: Efficient and Accurate FP8 LLM Training with Microscaling and Automatic Scaling
The Chinese University of Hong Kong(香港中文大学);Noah’s Ark Lab, Huawei(华为诺亚实验室)
MOSS通过微缩和自动缩放技术,实现高效准确的FP8大语言模型训练,提升训练吞吐量34%。
2025-12-05 cs.AI cs.LG
HBQ: Hierarchical Scaling Block Quantization with Hardware-Efficiency-Aware Design for Accurate LLM Inference
Cornell University(康奈尔大学);Intel Corporation(英特尔公司)
该研究针对大语言模型推理的块量化设计空间不足问题,提出分层块量化HBQ,通过二级尾数缩放补偿大块误差,实现了比现有权重量化和块量化更高的面积、能量效率与推理速度,达到最优精度。
2026-09-23 cs.AI cs.AR cs.LG
CentriQ: Calibration-Free Quantization of Diffusion Transformers via Exact Mean Centering
Tenstorrent;EPFL(瑞士洛桑联邦理工学院)
针对扩散Transformer量化中校准依赖与数据无关旋转失效的问题,提出CentriQ无校准量化器,通过精确均值中心化与秩1全精度分支恢复均值,在4比特匹配校准方法,并首次实现2比特激活可用质量。
2026-10-06 cs.AI cs.CV cs.RO
PikeLPN: Mitigating Overlooked Inefficiencies of Low-Precision Neural Networks
Brown University(布朗大学);Google(谷歌公司)
本文提出PikeLPN模型及ACEv2指标,通过QuantNorm、双重量化和分布异构量化等技术解决低精度神经网络中非量化逐元素操作导致的效率瓶颈,实现效率-精度帕累托最优,效率提升达3倍。
2024-03-29 cs.CV cs.LG
Table-Based Neural Units: Fully Quantizing Networks for Multiply-Free Inference
Google Research(谷歌研究院)
在这项工作中,我们建议将标准分类网络的所有部分合并,并用一个简单的基于表的查找来代替激活权重乘法步骤。这种方法导致网络无需浮点运算和乘法,适合直接FPGA和ASIC实现。它还为我们提供了每层和网络范围紧凑性的两个简单度量,以及对激活输出和权重值的分布特性的洞察。我们在不同的量化方案,固定的和自适应的,并在一组自适应方法,参数和无模型的控制研究。我们通过对训练过程进行最小的局部化更改来实现我们的量化方法,使我们能够受益于训练连续值网络架构的进步。我们成功地将我们的方法应用于AlexNet,ResNet和MobileNet。我们显示的结果是在1.6%的报告,非量化的性能在MobileNet上使用我们的表中只有40个条目。当我们允许有320个条目的表时,这个性能差距缩小到零。我们的研究结果给出了最好的精度之间的乘法自由网络。
2019-06-11 cs.LG stat.ML
KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers
EPFL(洛桑联邦理工学院);Advanced Micro Devices, Inc.(超威半导体公司)
研究针对扩散Transformer训练后量化到W4A4质量严重下降问题,提出KroQuant方法,对激活值3个2元素块应用克罗内克结构可逆变换,存储参数少,运行快,结合离线LoRaQ权重校准,输出更接近FP参考且保持或提高图像质量。
2026-07-24 cs.CV cs.LG
Improving Quantization with Post-Training Model Expansion
AMD
本文提出训练后选择性扩展模型的量化协同设计方法,无需端到端重训即可缩小4比特 LLM 与全精度模型的困惑度差距。
2025-08-28 cs.AI cs.AR cs.LG
LLM-FP4: 4-Bit Floating-Point Quantized Transformers
Hong Kong University of Science and Technology(香港科技大学);Meta Reality Labs(元宇宙现实实验室)
提出LLM-FP4方法,通过搜索最优量化参数构建强基线,并利用逐通道激活量化及指数偏置重参数化,首次将LLaMA-13B权重和激活量化至4位浮点数,显著优于现有方法。
2023-10-25 cs.AI cs.AR cs.CL
Pushing the Limits of Block Rotations in Post-Training Quantization
Advanced Micro Devices, Inc. (AMD)(Advanced Micro Devices公司);State University of New York at Buffalo(纽约州立大学布法罗分校);Norwegian University of Science(挪威科学与技术大学)
本文提出PeRQ框架,通过置换和旋转重新分布激活值,以克服块旋转在抑制异常值时的几何限制,显著提升后训练量化精度。
2026-05-27 cs.AI cs.LG
QuantLRM: Quantization of Large Reasoning Models via Fine-Tuning Signals
The Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
QuantLRM通过微调信号对大推理模型进行量化,通过拟合二次函数保护两端,提升量化效果。
2026-01-31 cs.AI cs.LG
Grid Games: The Power of Multiple Grids for Quantizing Large Language Models
ISTA;ETH Zürich(苏黎世联邦理工学院);Red Hat AI(红帽人工智能)
本文研究了通过多个网格提升大语言模型量化效果的方法,提出PO2网格问题并展示其在不同模型中的优势,实验表明自适应网格能提升精度。
2026-05-12 cs.LG
NQKV: A KV Cache Quantization Scheme Based on Normal Distribution Characteristics
针对LLM推理中KV缓存内存瓶颈,提出基于正态分布特性的每块分位数量化方案NQKV,在不显著损失精度下支持2倍批大小或4倍上下文长度,吞吐量提升9.3倍。
2025-05-22 cs.AI cs.CL cs.LG
Qronos: Correcting the Past by Shaping the Future... in Post-Training Quantization
Department of Mathematics University of California, San Diego(数学系加州大学圣地亚哥分校);Software Architecture Advanced Micro Devices, Inc.(软件架构先进微器件公司);Department of Mathematics & HDSI University of California, San Diego(数学系及HDSI加州大学圣地亚哥分校)
Qronos通过迭代优化框架在训练后量化中显式纠正误差并超越现有方法,提升模型精度。
2026-02-17 cs.AI cs.LG math.OC
Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs
本文系统研究了扩散大语言模型的后训练量化,探讨了激活异常值对低比特量化的影响,并通过多维度评估提供了实用见解,为高效部署扩散大语言模型奠定基础。
2026-03-13 cs.AI cs.CL
I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models
Houmo AI(鸿谋科技);Nanjing University(南京大学);Southeast University(东南大学)
针对大语言模型纯整数量化推理中激活值波动问题,提出I-LLM框架,通过FSBR平滑通道差异、DI-MatMul缓解token差异及位移非线性算子,实现W4A4下近乎无损的高效纯整数推理。
2024-06-05 cs.AI cs.CL cs.LG
Data-Free Quantization Through Weight Equalization and Bias Correction
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司);Qualcomm Technologies Netherlands B.V.(荷兰高通技术有限公司)
我们引入了一种用于深度神经网络的无数据量化方法,该方法不需要微调或超参数选择。它在常见的计算机视觉架构和任务上实现了接近原始模型的性能。8-位定点量化对于现代深度学习硬件上的有效推理是必不可少的。然而,量化模型以8位运行是一项重要的任务,通常会导致显著的性能降低或花费工程时间来训练网络以适应量化。我们的方法依赖于均衡网络中的权重范围,通过利用激活函数的尺度等方差属性。此外,该方法校正在量化期间引入的误差中的偏差。这提高了量化精度性能,并且可以通过直接的API调用应用于许多常见的计算机视觉架构。对于常见的架构,如MobileNet系列,我们实现了最先进的量化模型性能。我们进一步表明,该方法也扩展到其他计算机视觉架构和任务,如语义分割和目标检测。
2019-11-25 cs.CV cs.LG stat.ML
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.(三星半导体公司)
深度学习革命为我们带来了广泛的神经网络架构,这些架构在各种计算机视觉任务中实现了最先进的性能,包括分类、检测和分割。与此同时,我们也一直在观察计算和内存需求的前所未有的需求,使神经网络在低功耗设备中的有效使用几乎无法实现。为此,我们提出了一个三阶段的压缩和加速管道,稀疏化,量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力,从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$,分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩,降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$,分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
EXAQ: Exponent Aware Quantization For LLMs Acceleration
Habana Labs – An Intel company(Habana Labs(英特尔旗下公司));Technion(以色列理工学院)
针对大语言模型推理中softmax层的性能瓶颈,提出指数感知量化方法EXAQ,通过确定softmax输入最优截断值实现亚4位量化,在极小精度损失下显著提升softmax运算速度。
2024-10-04 cs.AI cs.LG cs.PF
FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
NVIDIA(NVIDIA公司);University of California, Berkeley(加州大学伯克利分校)
提出FGMP,一种软硬件协同的细粒度混合精度量化方法,通过Fisher信息加权扰动选择高精度块并配合敏感性裁剪,在Llama-2-7B上实现<1%困惑度退化、14%能耗和30%权重内存节省。
2025-04-19 cs.AR cs.LG
MambaQuant: Quantizing the Mamba Family with Variance Aligned Rotation Methods
Houmo AI(鸿谋科技);Nanjing University(南京大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Southeast University(东南大学)
本文提出 MambaQuant 训练后量化框架,通过 KLT 增强旋转和 Smooth-Fused 旋转解决 Mamba 模型中的离群值与通道方差不一致问题,首次实现 Mamba 家族权重和激活 8 位量化且准确率损失低于 1%。
2025-03-11 cs.AI cs.CL cs.LG
BitTP: The Lightweight Trajectory Prediction Model with BitLLM for Edge-Devices
KAIST, Republic of Korea(韩国釜山国立大学);DGIST, Republic of Korea(韩国国立庆北科学技术院)
提出BitTP,通过将LLM轨迹预测器转换为1.58比特轻量架构,在保持或提升预测质量的同时大幅降低内存和计算需求,实现边缘设备部署。
2026-05-28 cs.AI
Calibrating Beyond English: Language Diversity for Better Quantized Multilingual LLM
Lelapa AI;Cerebras Systems, Inc;University of the Witwatersrand(乌得勒支大学);University of Cape Town(开普敦大学);South African Astronomical Observatory(南非天文台)
本文通过多语言校准集提升多语言大语言模型的量化性能,发现非英语和多语言混合校准显著降低困惑度,强调语言对齐的重要性。
2026-01-26 cs.AI cs.CL
QUAD: Quantization and Parameter-Efficient Tuning of LLM with Activation Decomposition
Renmin University of China(中国人民大学)
QUAD通过奇异值分解抑制激活异常值,实现4比特量化,并结合参数高效微调,在Llama-3和Qwen-2.5上达到94%-98%的准确性。
2025-03-25 cs.CL cs.LG
PTQ4SAM: Post-Training Quantization for Segment Anything
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
本文提出 PTQ4SAM 训练后量化框架,通过 Bimodal Integration 策略和自适应粒度 Softmax 量化解决 SAM 量化瓶颈,在多种视觉任务上实现接近无损的低比特压缩与加速。
2024-05-06 cs.CV cs.LG
Deep Learning with Low Precision by Half-wave Gaussian Quantization
UC San Diego(加州大学圣地亚哥分校);Microsoft Research Redmond(微软雷德蒙德研究院);Megvii Inc.(旷视科技)
研究了深度神经网络的激活量化问题。流行的二进制量化方法的检查表明,这包括近似一个经典的非线性,双曲正切,由两个函数:一个分段常数符号函数,用于前馈网络计算,和一个分段线性硬双曲正切函数,用于网络学习过程中的反向传播步骤。然后考虑了在最近的深度学习文献中广泛使用的近似ReLU非线性的问题。提出了一种半波高斯量化器(HWGQ)的前向近似和高效的实现,利用统计的网络激活和批量归一化操作中常用的文献。为了克服梯度失配的问题,由于使用不同的前向和后向近似,几个分段向后逼近器,然后研究。所得到的量化网络(表示为HWGQ-Net)的实现被证明比以前可用的低精度网络(具有1位二进制权重和2位量化激活)实现更接近全精度网络(如AlexNet,ResNet,GoogLeNet和VGG-Net)的性能。
2017-02-03 cs.AI cs.CV cs.LG
Mitigating Quantization Errors Due to Activation Spikes in GLU-Based LLMs
Hanyang University(汉阳大学)
针对GLU变体LLMs中激活尖峰导致的量化误差,提出QFeM和QFeP方法隔离尖峰,提升粗粒度量化性能,并增强SmoothQuant等现有技术。
2024-05-23 cs.CL cs.LG
Q-Diffusion: Quantizing Diffusion Models
UC Berkeley(加州大学伯克利分校);Nanjing University(南京大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学)
针对扩散模型噪声估计网络推理慢、传统PTQ量化效果差的问题,提出含时间步感知校准与分裂捷径量化的新型PTQ方法,首次实现4位权重的Stable Diffusion高质量生成。
2023-06-08 cs.CV cs.LG
Quamba2: A Robust and Scalable Post-training Quantization Framework for Selective State Space Models
Quamba2提出一种兼容Mamba1/2及W8A8、W4A8、W4A16的训练后量化框架,通过离线排序聚类和逐状态组量化实现低精度SSM推理,在保持约1.6%精度损失下获得显著加速与内存节省。
2025-11-06 cs.AI cs.CL cs.LG
PhaseQuant: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics
City University of Hong Kong(香港城市大学);Zhejiang University of Technology(浙江工业大学)
提出DynamicPTQ,通过分析残差流中激活的相位式动态变化,识别量化敏感层并分配8位精度,在W4A4KV4量化下提升LLaMA-2/3的困惑度和零样本QA性能,吞吐量提升1.05-1.07倍。
2026-10-14 cs.LG
DQA: An Efficient Method for Deep Quantization of Deep Neural Network Activations
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
针对现有深度神经网络激活量化方法开销高、少有关注6位以下深度量化的问题,提出基于移位运算与Huffman编码的DQA方法,在多任务多数据集上精度显著优于现有方法。
2024-12-12 cs.CV cs.LG stat.ML
Quadapter: Adapter for GPT-2 Quantization
Qualcomm AI Research(高通人工智能研究院)
Transformer语言模型(如GPT-2)很难建模,因为激活中的异常值会导致较大的量化误差。为了适应错误,必须使用量化感知训练,这需要基于与原始模型相同的数据集和训练管道进行微调。然而,预训练的语言模型通常不允许访问其数据集和训练管道,迫使我们依赖任意的模型进行微调。在这种情况下,可以观察到量化感知训练使模型过度拟合微调数据。对于没有过拟合的量化,我们引入了一个量化适配器(Quadapter),这是一个小的参数集,可以通过按通道缩放来使激活量化友好。保持模型参数不变。通过将我们的方法应用于量化GPT-2的挑战性任务,我们证明了它有效地防止了过拟合,提高了量化性能。
2022-11-30 cs.LG
BlockDialect: Block-wise Fine-grained Mixed Format Quantization for Energy-Efficient LLM Inference
Department of Electrical Engineering, Stanford University, CA, USA(电气工程系,斯坦福大学)
本文提出 BlockDialect 分块混合格式量化及 DialectFP4 格式簿,通过逐块选择最优 FP4 变体,在更低比特开销下显著提升 LLM 全路径量化推理的准确率与能效。
2025-07-24 cs.CL cs.LG
ARCHead: Activation-Metric Residual Correction for Large Language Model Output Heads
aiXplain, Inc.(aiXplain公司)
ARCHead是一种LM-head压缩器,通过量化低秩核心、分组INT4残差及激活衍生低秩修正,将LM-head存储降3.7-3.9倍,在Qwen3-8B-Base上性能优于朴素INT4,可补充块量化器。
2026-08-05 cs.CL cs.LG
QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides
Alibaba Inc(阿里巴巴公司)
研究针对MoE大语言模型RL中展开生成瓶颈,提出QUADS方法。通过训练 - 推理误差分析确定激活误差是FP4 RL不稳定主因,在训练器和展开侧分别采取措施,实现BF16精度,提升指标并提高展开吞吐量。
2026-07-20 cs.LG
Post-Training Sparsity-Aware Quantization
Technion — Israel Institute of Technology(以色列理工学院);Ruppin Academic Center(鲁平学术中心)
量化是一种在深度神经网络(DNN)中使用的技术,用于提高执行性能和硬件效率。统一的后训练量化(PTQ)方法是常见的,因为它们可以在硬件中有效地实现,并且不需要大量的硬件资源或训练集。使用统一PTQ将FP 32模型映射到INT 8产生的模型精度下降可以忽略不计;然而,使用PTQ将精度降低到8位以下具有挑战性,因为由于量化噪声的增加,精度下降变得明显。在本文中,我们提出了一种稀疏感知量化(SPARQ)方法,在该方法中,非结构化和动态激活稀疏性在不同的表示粒度中被利用。4-例如,通过动态检查8位值的位并选择4位的窗口,同时首先跳过零值位,来采用位量化。此外,不是将逐个激活量化为4位,而是关注成对的8位激活,并检查两者之一是否等于零。如果一个等于零,则第二个可以机会性地使用另一个的4比特预算;如果两者都不等于零,则每个被动态量化为4比特,如所描述的。SPARQ实现了较小的精度下降和实际的硬件实现。该代码可在https://github.com/gilshm/sparq上获得。
2021-10-28 cs.AR cs.CV cs.LG
Towards Superior Quantization Accuracy: A Layer-sensitive Approach
本文提出SensiBoost和KurtBoost两种层敏感量化方法,利用激活敏感性和权重峰度识别难量化层并分配额外内存预算,在LLama模型上以仅2%的内存开销实现高达9%的困惑度降低。
2025-03-09 cs.AI cs.LG
Squeeze10-LLM: Squeezing LLMs' Weights by 10 Times via a Staged Mixed-Precision Quantization Method
Beihang University(北航大学);Communication University of China(通信大学);Skywork AI;Beijing Jiaotong University(北京交通大学)
提出Squeeze10-LLM分阶段混合精度量化框架,将80%权重置1位、20%置4位,实现平均1.6位/权重,通过PBAR和FIAS创新在LLaMA上提升零样本准确率至56%。
2026-09-30 cs.LG
OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers
Cantina Labs(Cantina实验室);University of Southern California(南加州大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出数据无关量化方法OrbitQuant,通过归一化旋转基和Lloyd-Max码本,无需校准数据即可对扩散Transformer的权重和激活进行低比特量化,在多个模型和模态上达到最优。
2026-07-03 cs.AI cs.CV cs.LG
LO-BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference
NVIDIA Corporation(NVIDIA公司);Department of ECE(电子工程系);Purdue University(普渡大学)
LO-BCQ通过块聚类量化方法,在W4A4格式下实现4位大语言模型推理,取得<1%的精度损失,提升推理效率。
2026-02-13 cs.LG
Lightweight Compression of Intermediate Neural Network Features for Collaborative Intelligence
Simon Fraser University(西蒙弗雷泽大学)
在协作智能应用中,深度神经网络(DNN)的一部分部署在移动电话或边缘设备等轻量级设备上,而DNN的其余部分则在更多计算资源可用的地方(如云中)进行处理。本文提出了一种新的轻量级压缩技术,专门设计用于对分裂DNN的中间层输出的特征进行压缩,而不需要对网络权重进行任何重新训练。开发了用于估计该中间层的ReLU和泄漏ReLU激活的限幅和量化误差的数学模型,并用于计算粗量化的最佳限幅范围。我们还提出了一种改进的熵约束设计算法的量化裁剪激活。当应用于流行的对象检测和分类DNN时,我们能够将32位浮点中间激活压缩到0.6到0.8位,同时将准确性损失保持在1%以下。与HEVC相比,我们发现轻量级编解码器始终提供更好的推理准确性,高达1.3%。这种轻量级压缩技术的性能和简单性使其成为对边缘/云应用的分裂神经网络的中间层进行编码的有吸引力的选择。
2021-05-15 cs.LG eess.IV
1-Bit FQT: Pushing the Limit of Fully Quantized Training to 1-bit
Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学)
本文首次探索1-bit全量化训练极限,基于Adam和SGD理论分析提出激活梯度剪枝与样本通道联合量化策略,在保持硬件友好性的同时显著提升准确率并实现最高5.13倍训练加速。
2024-08-26 cs.CV cs.LG
FQ-Conv: Fully Quantized Convolution for Efficient and Accurate Inference
IMEC(比利时微电子研究中心);KU Leuven(鲁汶大学)
深度神经网络(DNN)可以通过降低网络权重和激活的数值精度以及提高网络对噪声的弹性来实现硬件高效。然而,这种效率的提高往往是以显著降低精度为代价的。本文提出了一种新的量化卷积神经网络的方法。由此产生的网络以低精度执行所有计算,而不需要更高精度的BN和非线性,同时仍然具有高度准确性。为了实现这一结果,我们采用了一种新的量化技术,该技术可以在训练过程中学习优化网络的权重和激活。此外,为了增强训练收敛性,我们使用了一种新的训练技术,称为渐进量化。我们利用量化函数的非线性和归一化行为来有效地从网络中去除更高精度的非线性和BN。由此产生的卷积层从输入到输出都被完全量化到低精度,非常适合边缘上的神经网络加速器。我们在不同的数据集和网络上展示了这种方法的潜力,表明具有低精度输入和输出的三重CNN的性能几乎与其全精度等价物相当。最后,我们分析了噪声对权值、激活和卷积输出(乘-累加,MAC)的影响,并提出了一种策略来提高网络在噪声条件下的性能。
2019-12-19 cs.LG stat.ML