Post Training Quantization of Large Language Models with Microscaling Formats
d-Matrix;Purdue University(普渡大学)
本文研究了SmoothQuant、AWQ和GPTQ三种训练后量化技术的组合应用,通过引入微缩格式扩展了PTQ算法的适用性,实现了4位权重和8位激活的量化且精度损失可忽略。
2024-10-15 cs.AI cs.LG
LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices
NAVER Cloud(NAVER云);KAIST AI(韩国科学技术院人工智能学院);AITRICS;SNU AI Center(首尔大学人工智能中心)
本文提出低秩量化方法LRQ,通过用低秩权重缩放矩阵替代全权重缩放矩阵来重建Transformer块输出,在显著减少可学习参数的同时提升量化LLMs的泛化能力,并在多种位宽量化设置下优于现有PTQ方法。
2025-02-09 cs.AI cs.LG
Beacon: Post-Training Quantization with Integrated Grid Selection
Beacon 提出了一种无需手动调优的后训练量化方法,通过利用标量量化几何特性自动确定最优缩放因子,实现高效的模型压缩。
2025-09-04 cs.AI cs.LG
A Quantized VAE-MLP Botnet Detection Model: A Systematic Evaluation of Quantization-Aware Training and Post-Training Quantization Strategies
University of New South Wales(新南威尔士大学)
本文提出VAE-MLP僵尸网络检测框架,并系统评估QAT与PTQ两种量化策略,证明PTQ在保持准确率的同时实现6倍加速和21倍压缩,适用于资源受限IoT设备。
2025-11-05 cs.AI cs.LG
Achieving binary weight and activation for LLMs using Post-Training Quantization
MAIS, Institute of Automation, Chinese Academy of Sciences(自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Central Media Technology Institute, Huawei Technologies Ltd.(华为技术有限公司媒体技术研究所)
提出W(1+1)A(1*4)训练后量化框架,通过Hessian感知分组和EM方案优化权重,将INT4激活分解为4*INT1并平滑缩放因子,在W2A4上超越SOTA基线,推动LLM完全二值化。
2025-06-30 cs.AI cs.LG
FP8-BERT: Post-Training Quantization for Transformer
North Carolina State University(北卡罗来纳州立大学);University of Michigan(密歇根大学);Moffett AI(莫菲特人工智能公司)
针对Transformer模型部署成本高、INT8训练后量化精度不足的问题,提出基于FP8格式的训练后量化方案,经实验验证其精度显著优于INT8方案,可达全精度模型水平。
2023-12-12 cs.AI cs.LG
RaanA: A Fast, Flexible, and Data-Efficient Post-Training Quantization Algorithm
Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机科学与数据科学学院);Physics of Artificial Intelligence Group, NTT Research, Inc.(NTT研究所人工智能物理组)
本文提出统一PTQ框架RaanA,结合RaBitQ-H量化变体与AllocateBits位宽分配算法,在仅需极少校准数据且支持灵活位分配的情况下,实现了与最先进方法相媲美的性能,有效平衡了效率与准确性。
2025-10-31 cs.AI cs.LG
Activation Sensitivity as a Unifying Principle for Post-Training Quantization
本文提出激活敏感性作为后训练量化的统一原则,通过理论框架解释AWQ和GPTQ等方法,并揭示其与经典剪枝技术的关系。
2026-10-21 cs.AI cs.LG
DAQ: Density-Aware Post-Training Weight-Only Quantization For LLMs
Zhejiang University(浙江大学)
本文提出密度感知训练后仅权重量化方法DAQ,通过密度中心对齐和可学习动态范围调整,在LLaMA系列模型上显著降低量化带来的困惑度损失。
2024-10-17 cs.AI cs.LG
AWEQ: Post-Training Quantization with Activation-Weight Equalization for Large Language Models
School of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
AWEQ是一种无需额外训练的后训练量化方法,通过通道均衡将激活量化难度转移至权重,在超低位和W8A8量化中实现精度与硬件效率的平衡,并在LLaMA和OPT上优于现有方法。
2023-11-12 cs.AI cs.CL cs.LG
BoA: Attention-aware Post-training Quantization without Backpropagation
Samsung Research(三星研究院)
本文提出BoA,一种无需反向传播的注意力感知训练后量化算法,通过注意力感知Hessian矩阵建模层间依赖来优化量化权重,在LLMs上取得了最先进的权重-激活量化性能。
2025-06-06 cs.AI cs.LG
PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Illinois Institute of Technology(伊利诺伊大学香槟分校)
提出PTQ1.61,首次实现大语言模型权重1.61比特量化,通过结构化掩码和块级缩放优化,并引入量化预处理范式,在极低比特量化中达到最先进性能。
2025-08-06 cs.AI cs.LG
DNN Memory Footprint Reduction via Post-Training Intra-Layer Multi-Precision Quantization
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
本文提出训练后层内多精度量化方法 PTILMPQ,通过估计层和通道重要性进行精确比特分配,在无需大量训练数据的情况下有效减少 DNN 内存占用,并在 ResNet50 上以仅 1.08% 的精度损失实现 25.49% 的内存缩减。
2024-04-03 cs.AI cs.LG
MagR: Weight Magnitude Reduction for Enhancing Post-Training Quantization
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
本文提出了一种名为 MagR 的基于优化的权重幅度缩减预处理技术,通过 $\ell_\infty$-正则化平滑异常值且不引入推理开销,在 Llama 系列模型的训练后量化中实现了最先进的性能。
2024-10-17 cs.AI cs.LG
Loss Aware Post-training Quantization
Intel – Artificial Intelligence Products Group (AIPG)(英特尔——人工智能产品集团(AIPG));Technion – Israel Institute of Technology(以色列理工学院)
神经网络量化使得能够在资源受限的设备上部署大型模型。当前的后训练量化方法在针对INT 4(或更低)的准确度方面不足,但是为INT 8(或更高)提供合理的准确度。在这项工作中,我们研究了量化的损失景观的结构上的效果。此外,我们表明,该结构是平坦的,可分离的温和的量化,使简单的后训练量化方法,以达到良好的效果。我们发现,随着更积极的量化,损失景观变得高度不可分离的陡峭曲率,使量化参数的选择更具挑战性。有了这样的理解,我们设计了一种方法,量化层参数联合,使显着的准确性提高,目前的后训练量化方法。参考实现可从https://github.com/ynahshan/nn-quantization-pytorch/tree/master/lapq获得
2020-03-16 cs.CV cs.LG
Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs
d-Matrix
本研究揭示大语言模型低精度训练后量化效果逊于量化感知微调的原因是局部与全局目标函数优化错位,强调极低精度场景下直接量化感知微调的重要性。
2025-04-17 cs.LG
Training Dynamics Impact Post-Training Quantization Robustness
ELLIS Institute Tübingen(图宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Tübingen AI Center(图宾根人工智能中心)
研究发现训练动态中的学习率衰减会影响量化鲁棒性,通过调整训练超参数可提升大规模量化效果。
2026-01-30 cs.LG
Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization
Samsung Research(三星研究院)
各种后训练均匀量化方法通常是基于凸优化的研究。因此,大多数以前的依赖于量化误差最小化和/或二次近似。当采用大量的量化比特时,这样的方法在计算上是有效的和合理的。然而,当量化比特数相对较低时,非凸优化是不可避免的,以提高模型精度。在本文中,我们提出了一种新的后训练均匀量化技术考虑非凸性。我们的经验表明,超参数裁剪和舍入的权重和激活,可以探索通过监控任务损失。然后,冻结超参数的最佳搜索集以继续到下一层,使得能够针对后训练量化进行增量非凸优化。通过使用各种模型的广泛的实验结果,我们提出的技术提出了更高的模型精度,特别是对于低比特量化。
2021-05-05 cs.LG math.OC
Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks
RWTH Aachen University(亚琛工业大学)
深度神经网络(DNN)部署在边缘设备上生成的数据附近的最大挑战是它们的大小,即,存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长,DNN的能量效率成比例地增加。然而,较低的字长通常会导致精度下降。为了抵消这种影响,量化的DNN被重新训练。不幸的是,训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题,我们提出了一个后训练量化流程,而不需要再培训。为此,我们研究了不同的量化选项。此外,我们的分析系统地评估了减少词长度的权重和激活的影响,揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关,并适用于均匀量化,允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下,我们量化到8位的精度超过了浮点精度。
2022-10-14 cs.AI cs.CV cs.LG
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.(三星半导体有限公司);Microsoft(微软)
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的,因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数,建立了一种统一的后训练量化方案,取得了令人满意的结果。然而,当量化到较低的比特宽度时,它遭受显著的性能下降。在本文中,我们提出了一个分段线性量化(PWLQ)计划,使张量值,具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域,每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明,与现有的训练后量化方法相比,该方法在图像分类、语义分割和目标检测等方面具有更好的性能,且开销较小.
2020-03-18 cs.CV cs.LG
EasyQuant: Post-training Quantization via Scale Optimization
DeepGlint(深瞳);OPEN AI LAB(开放智能实验室);Beijing Institute of Technology(北京理工大学)
8位量化已被广泛应用于加速各种深度学习应用中的网络推理。有两种量化方法,基于训练的量化和后训练量化。基于训练的方法存在训练过程繁琐的问题,而训练后的量化可能导致不可接受的精度下降。在本文中,我们提出了一种通过尺度优化的高效简单的后训练方法EasyQuant(EQ),它可以获得与基于训练的方法相当的精度。具体来说,我们首先交替优化卷积输出处所有层目标的权重和激活尺度,以进一步获得高量化精度。在不同的计算机视觉任务上的实验结果表明,EQ的性能优于TensorRT方法,在7位宽的训练后可以达到接近INT 8的精度。
2020-06-30 cs.CV cs.LG eess.IV
Optimal Brain Compression: A Framework for Accurate Post-Training Quantization and Pruning
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);Neural Magic(神经魔法公司)
我们考虑在具有挑战性的一次性/后训练设置中深度神经网络(DNN)的模型压缩问题,在这种情况下,我们得到了一个精确的训练模型,并且必须仅基于少量校准输入数据在没有任何重新训练的情况下对其进行压缩。这个问题已经变得流行,鉴于新兴的软件和硬件支持执行模型压缩通过修剪和/或量化与加速,以及性能良好的解决方案已经提出了独立的两种压缩方法。在本文中,我们介绍了一个新的压缩框架,它涵盖了重量修剪和量化在一个统一的设置,是时间和空间效率,并大大提高了现有的后训练方法的实际性能。在技术层面上,我们的方法是基于[LeCun,Denker和Solla,1990]的经典最佳脑外科医生(OBS)框架的精确和有效实现,该框架扩展到现代DNN规模的权重量化。从实际的角度来看,我们的实验结果表明,它可以显着改善现有的后训练方法的压缩精度的权衡,它可以使精确的修剪和量化的复合应用在后训练设置。
2023-01-08 cs.LG
ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation
Microsoft(微软)
本文系统研究了LLM训练后量化中不同方案、模型家族和比特精度的影响,发现现有方法在INT4权重量化下均无法保持原始模型质量,并提出低秩补偿方法LoRC以极小模型尺寸代价改善质量恢复。
2023-05-26 cs.AI cs.CL cs.LG
PTQ-SL: Exploring the Sub-layerwise Post-training Quantization
Center for Energy-Efficient Computing and Applications, Peking University(北京大学高能效计算与应用中心);Houmo AI(后摩智能)
网络量化是压缩卷积神经网络的一种有效方法。量化粒度决定了如何共享权值中的缩放因子,从而影响网络量化的性能。大多数现有的方法共享缩放因子逐层或逐通道用于卷积层的量化。逐层量化和逐层量化已经广泛地用于各种应用中。然而,很少探索其他量化粒度。在本文中,我们将探讨在多个输入和输出通道之间共享缩放因子的子层粒度。我们提出了一种有效的子层粒度后训练量化方法(PTQ-SL)。然后,我们在各种粒度上进行了系统的实验,并观察到量化的神经网络的预测精度与粒度有很强的相关性。此外,我们发现调整通道的位置可以改善子层量化的性能。因此,我们提出了一种方法来重新排序的子层量化的通道。实验表明,适当的信道重排序的子层量化可以优于信道量化。
2021-10-18 cs.CV cs.LG
FPTQ: Fine-grained Post-Training Quantization for Large Language Models
Meituan(美团);Nanjing University(南京大学)
针对大型语言模型部署难题,提出FPTQ方法,结合W4A8量化与逐层对数均衡激活量化及细粒度权重量化,无需微调即在BLOOM、LLaMA等模型上达到最先进性能。
2023-08-30 cs.AI cs.CL cs.LG
OptRot: Mitigating Weight Outliers via Data-Free Rotations for Post-Training Quantization
CISPA Helmholtz Center for Information Security, Germany(CISPA信息安全研究中心);Microsoft Research, Cambridge, UK(微软研究院)
OptRot通过数据无关旋转技术提升训练后量化效果,优于现有方法并改进激活量化性能。
2026-01-12 cs.AI cs.CL cs.LG
Athena: Efficient Block-Wise Post-Training Quantization for Large Language Models Using Second-Order Matrix Derivative Information
Peking University(北京大学)
Athena提出利用二阶矩阵导数信息指导分块训练后量化,通过按列或行分组并迭代优化,实现大型语言模型高效压缩且保持高精度。
2024-05-24 cs.AI cs.CL cs.LG
ZeroQuant-HERO: Hardware-Enhanced Robust Optimized Post-Training Quantization Framework for W8A8 Transformers
Microsoft(微软)
ZeroQuant-HERO提出硬件增强的W8A8训练后量化框架,同时优化内存带宽与计算密集型算子,并支持INT8模块灵活切换FP16/BF16以提升Transformer推理精度。
2023-10-26 cs.CL cs.LG
FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, China(虚拟现实技术与系统国家重点实验室,北京航空航天大学);School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学)
针对视觉Transformer训练后量化在低比特下精度下降的问题,提出基于费舍尔信息矩阵近似的FIMA-Q方法,通过KL散度与FIM的关联及对角加低秩近似实现高效量化损失计算,显著提升低比特量化精度。
2025-06-13 cs.AI cs.CV cs.LG
Boost Post-Training Quantization via Null Space Optimization for Large Language Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出零空间优化方法Q2N,通过将量化权重扰动限制在输入激活的零空间内,有效缓解大语言模型后训练量化误差,并在多种模型上验证了其有效性。
2025-10-26 cs.LG
GHN-QAT: Training Graph Hypernetworks to Predict Quantization-Robust Parameters of Unseen Limited Precision Neural Networks
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
本文研究GHN预测低精度CNN参数时的量化鲁棒性,提出在GHN训练中引入量化感知训练等策略,显著提升4位表现并使2位准确率高于随机水平。
2023-09-24 cs.AI cs.CV cs.LG
Improving Quantization with Post-Training Model Expansion
AMD
本文提出训练后选择性扩展模型的量化协同设计方法,无需端到端重训即可缩小4比特 LLM 与全精度模型的困惑度差距。
2025-08-28 cs.AI cs.AR cs.LG
Quantune: Post-training Quantization of Convolutional Neural Networks using Extreme Gradient Boosting for Fast Deployment
Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院)
为了对一系列资源受限的目标采用卷积神经网络(CNN),有必要通过执行量化来压缩CNN模型,由此将精度表示转换为较低比特表示。为了克服诸如训练数据集的敏感性、高计算要求和大时间消耗之类的问题,已经提出了不需要再训练的后训练量化方法。此外,为了在不进行再训练的情况下补偿精度下降,以前关于后训练量化的研究提出了几种补充方法:校准、方案、裁剪、粒度和混合精度。为了生成具有最小误差的量化模型,有必要研究这些方法的所有可能组合,因为它们中的每一个都是互补的,并且CNN模型具有不同的特性。然而,穷举或启发式搜索要么太耗时,要么是次优的。为了克服这一挑战,我们提出了一种称为Quantune的自动调谐器,它构建了一个梯度树提升模型,以加速搜索量化配置并减少量化误差。我们评估和比较Quantune与随机,网格,和遗传算法。实验结果表明,Quantune将量化的搜索时间减少了约36.5倍,在六个CNN模型中的准确性损失为0.07~0.65%,包括脆弱的模型(MobileNet,SqueezeNet和ShuffleNet)。为了支持多个目标并采用不断发展的量化工作,Quantune作为一个开源项目在一个成熟的深度学习编译器上实现。
2022-02-21 cs.LG
Interactions Across Blocks in Post-Training Quantization of Large Language Models
Recogni(睿识科技);Technical University of Munich(慕尼黑工业大学)
本文针对大语言模型训练后量化中局部目标的两个简化假设,提出两种多块微调策略,发现其效果因模型而异,对部分模型有显著提升。
2024-11-06 cs.AI cs.CL cs.LG
Error Diffusion: Post Training Quantization with Block-Scaled Number Formats for Neural Networks
AMD(超威半导体公司)
本文提出一种无需超参数且不依赖反向传播的后训练量化方法error diffusion(ED),通过将神经网络视为复合函数扩散各层量化误差,并配合基于PyTorch的TensorCast库支持块缩放数字格式,有效提升了视觉模型和LLMs的量化效果与部署。
2024-10-15 cs.LG
QFT: Post-training quantization via fast joint finetuning of all degrees of freedom
Hailo(海洛科技)
训练后量化(PTQ)的挑战是使量化的神经网络精度接近原始精度,这一挑战受到了行业需求的广泛关注。许多方法强调对特定自由度(DoF)的优化,例如量化步长,预处理因子,偏置固定,通常在多步解决方案中与其他解决方案链接。在这里,我们重新考虑量化网络参数化的硬件感知方式,对所有量化自由度的统一分析,允许第一次联合端到端微调。我们的单步简单和可扩展的方法,被称为量化感知微调(QFT),实现4位权重量化结果与SoTA在PTQ的速度和资源的限制。
2022-12-05 cs.CV cs.LG stat.ML
Post-Training 4-bit Quantization on Embedding Tables
North Carolina State University(北卡罗来纳州立大学);Facebook, Inc(脸书公司)
连续表示已被广泛采用的推荐系统中,大量的实体表示使用嵌入向量。随着实体基数的增加,嵌入组件可以很容易地包含数百万个参数,并由于大量的内存消耗而成为存储和推理的瓶颈。这项工作的重点是后训练4位量化的连续嵌入。我们提出了逐行均匀量化与贪婪搜索和基于码本的量化,始终优于国家的最先进的量化方法,减少精度退化。我们在Facebook的生产模型上部署了我们的统一量化技术,并证明它可以将模型大小减少到单精度版本的13.89%,同时模型质量保持中立。
2019-11-05 cs.IR cs.LG stat.ML
Accumulator-Aware Post-Training Quantization for Large Language Models
AMD(AMD公司);TUM(慕尼黑工业大学);GSK(葛兰素史克);University of California San Diego(加州大学圣地亚哥分校)
针对大模型量化感知训练成本高、低精度累加易溢出的问题,提出首个累加器感知训练后量化框架AXE,支持多阶段累加,在Llama3 8B量化中性能接近FP16且优于传统位宽调整方法。
2025-07-31 cs.AI cs.DM cs.LG
Post-training Quantization for Neural Networks with Provable Guarantees
University of California San Diego(加州大学圣地亚哥分校)
虽然神经网络在广泛的应用中取得了显著的成功,但在资源受限的硬件中实现它们仍然是一个深入研究的领域。通过用量化的(例如,4位或二进制)对应,实现了计算成本、存储器和功耗的大量节省。为此,我们概括了一个后训练神经网络量化方法,GPFQ,这是基于贪婪的路径跟踪机制。除其他外,我们提出了修改,以促进稀疏的权重,并严格分析相关的错误。此外,我们的误差分析扩展了先前GPFQ工作的结果,以处理一般的量化字母表,表明对于量化单层网络,相对平方误差基本上在权重数量上线性衰减-即,过度参数化。我们的结果适用于一系列输入分布,并且适用于全连接和卷积架构,从而也扩展了以前的结果。为了对该方法进行经验评估,我们使用几种常见的架构,每种架构的权重都很少,并在ImageNet上进行测试,与未量化的模型相比,准确性只有轻微的损失。我们还表明,标准的修改,如偏差校正和混合精度量化,进一步提高精度。
2023-01-15 cs.AI cs.LG stat.ML
One Qubit Can Beat One Bit: Quantum Advantage for Post-Training Quantization
Fujitsu Limited(富士通公司);RIKEN(理化学研究所)
该研究提出量子随机存取量化(QRAQ)框架,证明其在重构风险等方面优于共享符号的1比特后训练量化,展现了后训练量化中的量子优势。
2026-08-07 cs.AI cs.LG quant-ph
ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
提出ScaleSweep方法,通过扫描可行块尺度候选并选择最小化目标函数的候选,优化NVFP4量化中的尺度初始化,理论推导扫描范围边界,在Llama和Qwen模型上提升量化性能,缩小与全精度的差距。
2026-05-30 cs.AI cs.CV cs.LG
Qronos: Correcting the Past by Shaping the Future... in Post-Training Quantization
Department of Mathematics University of California, San Diego(数学系加州大学圣地亚哥分校);Software Architecture Advanced Micro Devices, Inc.(软件架构先进微器件公司);Department of Mathematics & HDSI University of California, San Diego(数学系及HDSI加州大学圣地亚哥分校)
Qronos通过迭代优化框架在训练后量化中显式纠正误差并超越现有方法,提升模型精度。
2026-02-17 cs.AI cs.LG math.OC
ZeroQuant-FP: A Leap Forward in LLMs Post-Training W4A8 Quantization Using Floating-Point Formats
Microsoft(微软)
本研究针对大语言模型量化的效率与质量平衡难题,提出基于FP8/FP4的ZeroQuant-FP量化方法,结合缩放约束与LoRC策略,实现了W4A8量化下的优异性能,助力资源受限场景高效部署。
2023-07-20 cs.AI cs.CL cs.LG
ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models
MIT Operations Research Center(麻省理工学院运筹学中心);MIT Sloan School of Management(麻省理工学院斯隆管理学院);MIT Center for Statistics(麻省理工学院统计中心)
ADMM-Q是一种新的权重量化算法,通过交替方向乘子法的组合变体,优化层间重建误差并逐步施加量化约束,提升大语言模型的压缩性能。
2026-09-01 cs.LG
RepQ-ViT: Scale Reparameterization for Post-Training Quantization of Vision Transformers
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
RepQ-ViT提出通过量化尺度重参数化解耦量化与推理过程,在保持高效推理的同时显著提升视觉Transformer低比特训练后量化精度。
2023-08-07 cs.CV cs.LG
Mixed Precision Post Training Quantization of Neural Networks with Sensitivity Guided Search
University of Notre Dame(圣母大学);Google LLC(谷歌有限责任公司)
由于模型大小和复杂性的增加,高效且低延迟地服务大规模机器学习(ML)模型变得具有挑战性。量化模型可以同时减少内存和计算需求,促进其广泛访问。然而,对于大型模型,并非所有层都同样适用于相同的数值精度,并且激进的量化可能导致模型精度的不可接受的损失。防止这种精度下降的一种方法是混合精度量化,它允许不同的张量被量化到不同的数值精度水平,利用现代硬件的能力。这种混合精度量化可以更有效地将数值精度分配给不同的张量,以保持模型的准确性,同时减少占用空间和计算延迟。在本文中,我们提出了一种方法来有效地确定不同的张量在ML模型中使用后训练混合精度量化的量化配置。我们分析了三个敏感性指标,并评估他们指导配置搜索的两个算法。我们评估了我们的计算机视觉和自然语言处理方法,并证明与基线16位浮点模型相比,延迟降低了27.59%和34.31%,同时保证不超过1%的准确性下降。
2023-02-07 cs.LG
Robust Ultra Low-Bit Post-Training Quantization via Stable Diagonal Curvature Estimate
Seoul National University(首尔国立大学);Hanyang University(翰阳大学)
本文提出DASH-Q框架,通过使用对角Hessian近似和迭代加权最小二乘法,在超低比特条件下提升零样本准确率,实现更稳定的量化效果。
2026-09-17 cs.LG
Merge-Friendly Post-Training Quantization for Multi-Target Domain Adaptation
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对量化模型在多目标域适应中合并困难的问题,提出训练后量化方法HDRQ,通过最小化与源模型的偏差并平坦化损失面,有效促进了平滑的模型合并。
2025-05-29 cs.CV cs.LG
RepQuant: Towards Accurate Post-Training Quantization of Large Transformer Models via Scale Reparameterization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
RepQuant提出量化-推理解耦范式,通过尺度重参数化在训练后量化中兼顾精度与硬件兼容性,显著提升大型Transformer模型的压缩性能。
2024-02-08 cs.LG
DBellQuant: Breaking the Bell with Double-Bell Transformation for LLMs Post Training Binarization
University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学)
DBellQuant通过双铃变换实现LLMs预训练后量化,显著提升压缩性能与模型效果。
2026-01-29 cs.LG
Why Does Post-Training Quantization Work?
Tsinghua University(清华大学);Bosch AI Research(博世人工智能研究院)
本文探究训练后量化为何有效,发现层间误差抵消与LM头几何结构优先保留高置信词元分数是两大关键机制,解释了量化误差经多层传播仍影响甚微的原因。
2026-09-11 cs.CL cs.LG
PQD: Post-training Quantization for Efficient Diffusion Models
University of Oxford(牛津大学);Zhejiang Lab(浙江大学实验室)
本文提出PQD训练后量化框架,通过时间感知校准将扩散模型量化为8位或4位,在无需训练且保持性能的同时显著提升推理效率。
2024-12-30 cs.CV cs.LG
Enhancing Post-Training Quantization via Future Activation Awareness
Zhejiang University(浙江大学);Tencent(腾讯)
通过利用未来层激活信息,提出Future-Aware Quantization方法,有效提升后训练量化效果,适用于边缘部署。
2026-01-28 cs.CL cs.CV cs.LG
TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
Bar-Ilan University(巴伊兰大学)
提出TR-PTQ,通过泰勒区域重构和整数算术实现Transformer训练后量化,消除浮点硬件需求,在视觉和语言基准上精度损失小于1.5%。
2026-10-08 cs.LG