TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
Bar-Ilan University(巴伊兰大学)
提出TR-PTQ,通过泰勒区域重构和整数算术实现Transformer训练后量化,消除浮点硬件需求,在视觉和语言基准上精度损失小于1.5%。
2026-10-08 cs.LG
MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers
Khulna University of Engineering & Technology (KUET)(库尔纳工程技术大学)
针对现有PTQ方法精度分配低效问题,提出MixFrag框架,通过KL散度估计量化脆弱性并将位分配建模为MCKP,在ImageNet、COCO任务上实现最优混合精度PTQ性能。
2026-07-31 cs.CV cs.LG
SKIM: Any-bit Quantization Pushing The Limits of Post-Training Quantization
School of Software, Tsinghua University(清华大学软件学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对大语言模型低精度量化性能下降、比特方案有限的问题,提出SKIM训练后量化方法,通过贪心比特分配和可训练缩放向量实现任意比特量化,显著缩小3比特LLaMA与全精度模型的困惑度差距。
2024-12-07 cs.LG
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy
Massachusetts Institute of Technology(麻省理工学院);Shanghai Jiao Tong University(上海交通大学)
我们提出了在资源受限的硬件上进行高效深度学习推理的APQ。与以前的方法,分别搜索的神经结构,修剪政策,量化政策,我们优化他们的联合方式。为了处理它带来的更大的设计空间,一种有前途的方法是训练量化感知精度预测器,以快速获得量化模型的精度,并将其馈送到搜索引擎以选择最佳拟合。然而,训练该量化感知准确度预测器需要收集大量量化的<model,accuracy>对,这涉及量化感知微调,因此非常耗时。为了应对这一挑战,我们建议将知识从全精度(即,FP 32)精度预测器到量化感知(即,int 8)精度预测器,大大提高了样本效率。此外,收集fp 32精度预测器的数据集只需要从预先训练的一次性网络中采样来评估神经网络,而无需任何训练成本,这是非常高效的。在ImageNet上进行的大量实验证明了我们的联合优化方法的好处。在相同的准确性下,APQ将延迟/能量降低了2倍/1.3倍于MobileNetV 2 +HAQ。与单独的优化方法(ProxylessNAS+AMC+HAQ)相比,APQ实现了ImageNet精度提高2.3%,同时减少了几个数量级的GPU时间和CO2排放,推动了绿色AI的环保前沿。代码和视频是公开的。
2020-06-15 cs.CV cs.LG stat.ML
CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs
Shanghai Jiao Tong University(上海交通大学);Meituan(美团)
针对LLM低位量化性能差的问题,提出CLAQ框架,通过K-Means聚类动态生成量化质心、离群值引导自适应精度搜索及动态离群值保留三种策略,在LLaMA和Yi等模型上取得SOTA结果。
2024-06-03 cs.LG
BiLLM: Pushing the Limit of Post-Training Quantization for LLMs
The University of Hong Kong(香港大学);Beihang University(北京航空航天大学);ETH Zürich(苏黎世联邦理工学院)
针对大语言模型超低比特量化后性能下降的问题,提出BiLLM 1比特训练后量化方案,通过显著权值筛选、二值残差逼近和非显著权值分组二值化,在极低比特下实现高精度推理且效率优异。
2024-05-15 cs.AI cs.CL cs.LG
BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction
SenseTime Research(商汤科技研究院);University of Electronic Science and Technology of China(电子科技大学)
我们研究了神经网络量化的挑战性任务,而无需端到端的再训练,称为后训练量化(PTQ)。PTQ通常需要一小部分训练数据,但产生的量化模型不如量化感知训练(QAT)强大。在这项工作中,我们提出了一种新的PTQ框架,被称为BRECQ,它首次将PTQ中的位宽限制推低到INT2。BRECQ利用神经网络中的基本构建块并逐个重建它们。在一个全面的理论研究的二阶误差,我们表明,BRECQ实现了跨层依赖和泛化误差之间的良好平衡。为了进一步利用量化的能力,通过近似层间和层内灵敏度,将混合精度技术并入我们的框架中。对各种手工制作和搜索的神经架构进行了广泛的实验,用于图像分类和目标检测任务。我们第一次证明,在没有额外功能的情况下,PTQ可以实现与QAT相当的4位ResNet和MobileNetV2,并且量化模型的生成速度快240倍。代码可在https://github.com/yhhhli/BRECQ上获得。
2021-07-25 cs.CV cs.LG
Pushing the Limits of Large Language Model Quantization via the Linearity Theorem
Yandex;HSE University(高等经济大学);ISTA(奥地利科学技术研究所);GenAI CoE, KAUST(阿卜杜拉国王科技大学 GenAI 卓越中心);MIT(麻省理工学院);NeuralMagic
本文提出线性定理建立分层$\boldsymbol{\rho_2}$重构误差与量化困惑度增加的关系,提出HIGGS无数据量化方法及动态规划最优解,在多模型上提升精度-压缩权衡并实现GPU高效支持。
2024-11-26 cs.LG
Shedding the Bits: Pushing the Boundaries of Quantization with Minifloats on FPGAs
School of Computing, National University of Singapore(新加坡国立大学计算机学院);AMD Research and Advanced Development(AMD研究与高级开发部);Tampere University(坦佩雷大学);AMD(AMD公司)
本文提出minifloats低精度浮点格式,并在FPGA上系统比较其与整数表示在3至8位下的精度与硬件成本,证明其对视觉Transformer等负载具有优势。
2024-07-05 cs.AI cs.AR cs.CV
Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics
East China Normal University(华东师范大学);Tencent Youtu Lab(腾讯优图实验室);Tsinghua University(清华大学)
本文提出 SOLO 低比特优化器,通过定制对数量化和精度相关动量超参数,将 Adam 状态压缩至 2–3 比特并保持精度。
2025-06-09 cs.AI cs.LG
HBVLA: Pushing 1-Bit Post-Training Quantization for Vision-Language-Action Models
HBVLA通过改进的二值化框架,实现对视觉-语言-动作模型的高效1位量化,保留了高精度性能,适用于资源受限的机器人部署。
2026-08-21 cs.LG
RaZeR: Pushing the Limits of NVFP4 Quantization with Redundant Zero Remapping
Cornell(康奈尔大学);CornellCS(康奈尔大学计算机科学系);Stanford(斯坦福大学)
RaZeR通过冗余零重映射提升NVFP4量化精度,降低LLM推理的困惑度损失。
2026-01-31 cs.CL cs.LG
DAQ: Delta-Aware Quantization for Post-Training LLM Weight Compression
Tencent(腾讯)
DAQ通过Delta感知量化方法在无需数据的情况下实现训练后LLM权重压缩,优化方向保真度以恢复特定风格能力。
2026-03-20 cs.AI cs.LG
1-Bit FQT: Pushing the Limit of Fully Quantized Training to 1-bit
Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学)
本文首次探索1-bit全量化训练极限,基于Adam和SGD理论分析提出激活梯度剪枝与样本通道联合量化策略,在保持硬件友好性的同时显著提升准确率并实现最高5.13倍训练加速。
2024-08-26 cs.CV cs.LG
TopGQ: Fast GNN Post-Training Quantization Leveraging Topology Information
Seoul National University(首尔大学)
针对现有GNN量化方法开销大的问题,提出TopGQ框架,通过双轴尺度吸收和TopPIN拓扑分组实现快速后训练量化,量化时间降一个数量级且精度保留。
2026-09-01 cs.AI cs.LG
Attention Round for Post-Training Quantization
Institute of Microelectronics, Chinese Academy of Sciences(中国科学院微电子研究所);University of Chinese Academy of Sciences(中国科学院大学)
目前,神经网络模型的量化方法主要分为后训练量化(PTQ)和量化感知训练(QAT)。后训练量化只需要一小部分数据就可以完成量化过程,但其量化模型的性能不如量化感知训练。本文提出了一种新的量化方法称为注意轮。该方法使参数w有机会被映射到所有可能的量化值,而不仅仅是量化过程中w附近的两个量化值。被映射到不同量化值的概率与量化值与w之间的距离负相关,并以高斯函数衰减。此外,本文以有损编码长度为度量,为模型的不同层分配位宽,解决了混合精度量化问题,有效避免了求解组合优化问题。本文还对不同的模型进行了定量实验,实验结果证实了该方法的有效性。对于ResNet 18和MobileNetV 2,本文提出的后训练量化方法只需要1,024个训练数据和10分钟就可以完成量化过程,可以达到与量化感知训练相当的量化性能。
2022-07-07 cs.AI cs.LG
Optimal Post-Training Quantization Scales and Where to Find Them
AMD
提出PiSO算法,利用校准数据精确高效地计算逐通道最优量化尺度,并扩展到分组量化,在Llama和Qwen模型上显著提升困惑度和零样本准确率。
2026-10-20 cs.AI cs.LG
Identifying Sensitive Weights via Post-quantization Integral
Tsinghua University(清华大学)
针对LLMs部署成本高及现有量化敏感度指标不准确的问题,提出量化后积分(PQI)准确估计后验敏感度,并基于此构建ReQuant框架,显著提升了最先进训练后量化方法的性能。
2025-02-28 cs.AI cs.LG
CrossQuant: A Post-Training Quantization Method with Smaller Quantization Kernel for Precise Large Language Model Compression
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Mathematics, Tianjin University(天津大学数学学院)
本文提出了一种名为CrossQuant的训练后量化方法,通过利用行列绝对最大值向量交叉量化激活值来最小化“量化核”,从而在6.7B至70B参数的LLaMA和OPT模型上有效维持甚至提升了INT8量化后的精度。
2024-10-10 cs.AI cs.LG
Post Training Quantization of Large Language Models with Microscaling Formats
d-Matrix;Purdue University(普渡大学)
本文研究了SmoothQuant、AWQ和GPTQ三种训练后量化技术的组合应用,通过引入微缩格式扩展了PTQ算法的适用性,实现了4位权重和8位激活的量化且精度损失可忽略。
2024-10-15 cs.AI cs.LG
LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices
NAVER Cloud(NAVER云);KAIST AI(韩国科学技术院人工智能学院);AITRICS;SNU AI Center(首尔大学人工智能中心)
本文提出低秩量化方法LRQ,通过用低秩权重缩放矩阵替代全权重缩放矩阵来重建Transformer块输出,在显著减少可学习参数的同时提升量化LLMs的泛化能力,并在多种位宽量化设置下优于现有PTQ方法。
2025-02-09 cs.AI cs.LG
Beacon: Post-Training Quantization with Integrated Grid Selection
Beacon 提出了一种无需手动调优的后训练量化方法,通过利用标量量化几何特性自动确定最优缩放因子,实现高效的模型压缩。
2025-09-04 cs.AI cs.LG
A Quantized VAE-MLP Botnet Detection Model: A Systematic Evaluation of Quantization-Aware Training and Post-Training Quantization Strategies
University of New South Wales(新南威尔士大学)
本文提出VAE-MLP僵尸网络检测框架,并系统评估QAT与PTQ两种量化策略,证明PTQ在保持准确率的同时实现6倍加速和21倍压缩,适用于资源受限IoT设备。
2025-11-05 cs.AI cs.LG
Achieving binary weight and activation for LLMs using Post-Training Quantization
MAIS, Institute of Automation, Chinese Academy of Sciences(自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Central Media Technology Institute, Huawei Technologies Ltd.(华为技术有限公司媒体技术研究所)
提出W(1+1)A(1*4)训练后量化框架,通过Hessian感知分组和EM方案优化权重,将INT4激活分解为4*INT1并平滑缩放因子,在W2A4上超越SOTA基线,推动LLM完全二值化。
2025-06-30 cs.AI cs.LG
FP8-BERT: Post-Training Quantization for Transformer
North Carolina State University(北卡罗来纳州立大学);University of Michigan(密歇根大学);Moffett AI(莫菲特人工智能公司)
针对Transformer模型部署成本高、INT8训练后量化精度不足的问题,提出基于FP8格式的训练后量化方案,经实验验证其精度显著优于INT8方案,可达全精度模型水平。
2023-12-12 cs.AI cs.LG
RaanA: A Fast, Flexible, and Data-Efficient Post-Training Quantization Algorithm
Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机科学与数据科学学院);Physics of Artificial Intelligence Group, NTT Research, Inc.(NTT研究所人工智能物理组)
本文提出统一PTQ框架RaanA,结合RaBitQ-H量化变体与AllocateBits位宽分配算法,在仅需极少校准数据且支持灵活位分配的情况下,实现了与最先进方法相媲美的性能,有效平衡了效率与准确性。
2025-10-31 cs.AI cs.LG
Activation Sensitivity as a Unifying Principle for Post-Training Quantization
本文提出激活敏感性作为后训练量化的统一原则,通过理论框架解释AWQ和GPTQ等方法,并揭示其与经典剪枝技术的关系。
2026-10-21 cs.AI cs.LG
DAQ: Density-Aware Post-Training Weight-Only Quantization For LLMs
Zhejiang University(浙江大学)
本文提出密度感知训练后仅权重量化方法DAQ,通过密度中心对齐和可学习动态范围调整,在LLaMA系列模型上显著降低量化带来的困惑度损失。
2024-10-17 cs.AI cs.LG
Pushing the limits of fairness impossibility: Who's the fairest of them all?
LinkedIn Corporation(领英公司);Massachusetts Institute of Technology(麻省理工学院)
公平性不可能定理是算法公平性文献中的一个基本结果。它指出,在特殊情况之外,一个人不可能同时精确地满足所有三个常见的和直观的公平定义-人口均等,均衡赔率和预测率均等。这一结果促使大多数作品专注于一两个指标的解决方案。而不是效仿,在本文中,我们提出了一个框架,推动极限的不可能性定理,以满足所有三个指标,以最大限度地。我们开发了一种基于整数规划的方法,可以产生一个可证明的最佳后处理方法,同时满足多个公平性标准下的小违规。我们的实验表明,我们的后处理器可以同时提高不同定义的公平性,模型性能降低最小。我们还讨论了我们的模型选择和公平性解释框架的应用,从而试图回答这个问题:谁是最公平的?
2022-08-24 cs.AI cs.CY cs.LG
BoA: Attention-aware Post-training Quantization without Backpropagation
Samsung Research(三星研究院)
本文提出BoA,一种无需反向传播的注意力感知训练后量化算法,通过注意力感知Hessian矩阵建模层间依赖来优化量化权重,在LLMs上取得了最先进的权重-激活量化性能。
2025-06-06 cs.AI cs.LG
PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Illinois Institute of Technology(伊利诺伊大学香槟分校)
提出PTQ1.61,首次实现大语言模型权重1.61比特量化,通过结构化掩码和块级缩放优化,并引入量化预处理范式,在极低比特量化中达到最先进性能。
2025-08-06 cs.AI cs.LG
DNN Memory Footprint Reduction via Post-Training Intra-Layer Multi-Precision Quantization
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
本文提出训练后层内多精度量化方法 PTILMPQ,通过估计层和通道重要性进行精确比特分配,在无需大量训练数据的情况下有效减少 DNN 内存占用,并在 ResNet50 上以仅 1.08% 的精度损失实现 25.49% 的内存缩减。
2024-04-03 cs.AI cs.LG
MagR: Weight Magnitude Reduction for Enhancing Post-Training Quantization
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
本文提出了一种名为 MagR 的基于优化的权重幅度缩减预处理技术,通过 $\ell_\infty$-正则化平滑异常值且不引入推理开销,在 Llama 系列模型的训练后量化中实现了最先进的性能。
2024-10-17 cs.AI cs.LG
Towards Next-Level Post-Training Quantization of Hyper-Scale Transformers
Samsung Research(三星研究院)
本文提出一种名为aespa的新型训练后量化算法,通过逐层量化与注意力级重建相结合,在保证效率的同时考虑跨层依赖,实现对超大规模Transformer模型的准确高效量化。
2024-11-05 cs.AI cs.LG
MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning
Shanghai Jiao Tong University(上海交通大学);SII;GAIR Lab(GAIR实验室)
本文提出TextbookReasoning和MegaScience两个大规模科学推理数据集,并构建全面评估系统,实验证明其能显著提升多个开源模型在科学推理任务上的性能。
2025-08-27 cs.AI cs.CL cs.LG
Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs
d-Matrix
本研究揭示大语言模型低精度训练后量化效果逊于量化感知微调的原因是局部与全局目标函数优化错位,强调极低精度场景下直接量化感知微调的重要性。
2025-04-17 cs.LG
Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks
RWTH Aachen University(亚琛工业大学)
深度神经网络(DNN)部署在边缘设备上生成的数据附近的最大挑战是它们的大小,即,存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长,DNN的能量效率成比例地增加。然而,较低的字长通常会导致精度下降。为了抵消这种影响,量化的DNN被重新训练。不幸的是,训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题,我们提出了一个后训练量化流程,而不需要再培训。为此,我们研究了不同的量化选项。此外,我们的分析系统地评估了减少词长度的权重和激活的影响,揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关,并适用于均匀量化,允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下,我们量化到8位的精度超过了浮点精度。
2022-10-14 cs.AI cs.CV cs.LG
Loss Aware Post-training Quantization
Intel – Artificial Intelligence Products Group (AIPG)(英特尔——人工智能产品集团(AIPG));Technion – Israel Institute of Technology(以色列理工学院)
神经网络量化使得能够在资源受限的设备上部署大型模型。当前的后训练量化方法在针对INT 4(或更低)的准确度方面不足,但是为INT 8(或更高)提供合理的准确度。在这项工作中,我们研究了量化的损失景观的结构上的效果。此外,我们表明,该结构是平坦的,可分离的温和的量化,使简单的后训练量化方法,以达到良好的效果。我们发现,随着更积极的量化,损失景观变得高度不可分离的陡峭曲率,使量化参数的选择更具挑战性。有了这样的理解,我们设计了一种方法,量化层参数联合,使显着的准确性提高,目前的后训练量化方法。参考实现可从https://github.com/ynahshan/nn-quantization-pytorch/tree/master/lapq获得
2020-03-16 cs.CV cs.LG
Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization
Samsung Research(三星研究院)
各种后训练均匀量化方法通常是基于凸优化的研究。因此,大多数以前的依赖于量化误差最小化和/或二次近似。当采用大量的量化比特时,这样的方法在计算上是有效的和合理的。然而,当量化比特数相对较低时,非凸优化是不可避免的,以提高模型精度。在本文中,我们提出了一种新的后训练均匀量化技术考虑非凸性。我们的经验表明,超参数裁剪和舍入的权重和激活,可以探索通过监控任务损失。然后,冻结超参数的最佳搜索集以继续到下一层,使得能够针对后训练量化进行增量非凸优化。通过使用各种模型的广泛的实验结果,我们提出的技术提出了更高的模型精度,特别是对于低比特量化。
2021-05-05 cs.LG math.OC
ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation
Microsoft(微软)
本文系统研究了LLM训练后量化中不同方案、模型家族和比特精度的影响,发现现有方法在INT4权重量化下均无法保持原始模型质量,并提出低秩补偿方法LoRC以极小模型尺寸代价改善质量恢复。
2023-05-26 cs.AI cs.CL cs.LG
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.(三星半导体有限公司);Microsoft(微软)
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的,因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数,建立了一种统一的后训练量化方案,取得了令人满意的结果。然而,当量化到较低的比特宽度时,它遭受显著的性能下降。在本文中,我们提出了一个分段线性量化(PWLQ)计划,使张量值,具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域,每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明,与现有的训练后量化方法相比,该方法在图像分类、语义分割和目标检测等方面具有更好的性能,且开销较小.
2020-03-18 cs.CV cs.LG
FPTQ: Fine-grained Post-Training Quantization for Large Language Models
Meituan(美团);Nanjing University(南京大学)
针对大型语言模型部署难题,提出FPTQ方法,结合W4A8量化与逐层对数均衡激活量化及细粒度权重量化,无需微调即在BLOOM、LLaMA等模型上达到最先进性能。
2023-08-30 cs.AI cs.CL cs.LG
OptRot: Mitigating Weight Outliers via Data-Free Rotations for Post-Training Quantization
CISPA Helmholtz Center for Information Security, Germany(CISPA信息安全研究中心);Microsoft Research, Cambridge, UK(微软研究院)
OptRot通过数据无关旋转技术提升训练后量化效果,优于现有方法并改进激活量化性能。
2026-01-12 cs.AI cs.CL cs.LG
Athena: Efficient Block-Wise Post-Training Quantization for Large Language Models Using Second-Order Matrix Derivative Information
Peking University(北京大学)
Athena提出利用二阶矩阵导数信息指导分块训练后量化,通过按列或行分组并迭代优化,实现大型语言模型高效压缩且保持高精度。
2024-05-24 cs.AI cs.CL cs.LG
PTQ-SL: Exploring the Sub-layerwise Post-training Quantization
Center for Energy-Efficient Computing and Applications, Peking University(北京大学高能效计算与应用中心);Houmo AI(后摩智能)
网络量化是压缩卷积神经网络的一种有效方法。量化粒度决定了如何共享权值中的缩放因子,从而影响网络量化的性能。大多数现有的方法共享缩放因子逐层或逐通道用于卷积层的量化。逐层量化和逐层量化已经广泛地用于各种应用中。然而,很少探索其他量化粒度。在本文中,我们将探讨在多个输入和输出通道之间共享缩放因子的子层粒度。我们提出了一种有效的子层粒度后训练量化方法(PTQ-SL)。然后,我们在各种粒度上进行了系统的实验,并观察到量化的神经网络的预测精度与粒度有很强的相关性。此外,我们发现调整通道的位置可以改善子层量化的性能。因此,我们提出了一种方法来重新排序的子层量化的通道。实验表明,适当的信道重排序的子层量化可以优于信道量化。
2021-10-18 cs.CV cs.LG
FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, China(虚拟现实技术与系统国家重点实验室,北京航空航天大学);School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学)
针对视觉Transformer训练后量化在低比特下精度下降的问题,提出基于费舍尔信息矩阵近似的FIMA-Q方法,通过KL散度与FIM的关联及对角加低秩近似实现高效量化损失计算,显著提升低比特量化精度。
2025-06-13 cs.AI cs.CV cs.LG
Oscillations Make Neural Networks Robust to Quantization
Department of Computer Science, University of Copenhagen(计算机科学系,哥本哈根大学)
本研究通过引入振荡正则化器,证明在QAT中振荡有助于提升模型在量化后的性能。
2025-12-09 cs.LG
Improving Quantization with Post-Training Model Expansion
AMD
本文提出训练后选择性扩展模型的量化协同设计方法,无需端到端重训即可缩小4比特 LLM 与全精度模型的困惑度差距。
2025-08-28 cs.AI cs.AR cs.LG
Interactions Across Blocks in Post-Training Quantization of Large Language Models
Recogni(睿识科技);Technical University of Munich(慕尼黑工业大学)
本文针对大语言模型训练后量化中局部目标的两个简化假设,提出两种多块微调策略,发现其效果因模型而异,对部分模型有显著提升。
2024-11-06 cs.AI cs.CL cs.LG
Boost Post-Training Quantization via Null Space Optimization for Large Language Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出零空间优化方法Q2N,通过将量化权重扰动限制在输入激活的零空间内,有效缓解大语言模型后训练量化误差,并在多种模型上验证了其有效性。
2025-10-26 cs.LG
Accumulator-Aware Post-Training Quantization for Large Language Models
AMD(AMD公司);TUM(慕尼黑工业大学);GSK(葛兰素史克);University of California San Diego(加州大学圣地亚哥分校)
针对大模型量化感知训练成本高、低精度累加易溢出的问题,提出首个累加器感知训练后量化框架AXE,支持多阶段累加,在Llama3 8B量化中性能接近FP16且优于传统位宽调整方法。
2025-07-31 cs.AI cs.DM cs.LG
Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data
New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
研究利用自生成训练数据的顺序编码突破模型压缩极限,教师模型从学生分布选样本,学生代码记录选择,代码长度与参数和熵无关且更短,还能揭示现象、给出泛化保证、隔离可学习信息。
2026-07-14 cs.LG
Post-training Quantization for Neural Networks with Provable Guarantees
University of California San Diego(加州大学圣地亚哥分校)
虽然神经网络在广泛的应用中取得了显著的成功,但在资源受限的硬件中实现它们仍然是一个深入研究的领域。通过用量化的(例如,4位或二进制)对应,实现了计算成本、存储器和功耗的大量节省。为此,我们概括了一个后训练神经网络量化方法,GPFQ,这是基于贪婪的路径跟踪机制。除其他外,我们提出了修改,以促进稀疏的权重,并严格分析相关的错误。此外,我们的误差分析扩展了先前GPFQ工作的结果,以处理一般的量化字母表,表明对于量化单层网络,相对平方误差基本上在权重数量上线性衰减-即,过度参数化。我们的结果适用于一系列输入分布,并且适用于全连接和卷积架构,从而也扩展了以前的结果。为了对该方法进行经验评估,我们使用几种常见的架构,每种架构的权重都很少,并在ImageNet上进行测试,与未量化的模型相比,准确性只有轻微的损失。我们还表明,标准的修改,如偏差校正和混合精度量化,进一步提高精度。
2023-01-15 cs.AI cs.LG stat.ML
ZeroQuant-HERO: Hardware-Enhanced Robust Optimized Post-Training Quantization Framework for W8A8 Transformers
Microsoft(微软)
ZeroQuant-HERO提出硬件增强的W8A8训练后量化框架,同时优化内存带宽与计算密集型算子,并支持INT8模块灵活切换FP16/BF16以提升Transformer推理精度。
2023-10-26 cs.CL cs.LG