Error Diffusion: Post Training Quantization with Block-Scaled Number Formats for Neural Networks
AMD(超威半导体公司)
本文提出一种无需超参数且不依赖反向传播的后训练量化方法error diffusion(ED),通过将神经网络视为复合函数扩散各层量化误差,并配合基于PyTorch的TensorCast库支持块缩放数字格式,有效提升了视觉模型和LLMs的量化效果与部署。
2024-10-15 cs.LG
RepQ-ViT: Scale Reparameterization for Post-Training Quantization of Vision Transformers
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
RepQ-ViT提出通过量化尺度重参数化解耦量化与推理过程,在保持高效推理的同时显著提升视觉Transformer低比特训练后量化精度。
2023-08-07 cs.CV cs.LG
RepQuant: Towards Accurate Post-Training Quantization of Large Transformer Models via Scale Reparameterization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
RepQuant提出量化-推理解耦范式,通过尺度重参数化在训练后量化中兼顾精度与硬件兼容性,显著提升大型Transformer模型的压缩性能。
2024-02-08 cs.LG
Enhancing Post-Training Quantization via Future Activation Awareness
Zhejiang University(浙江大学);Tencent(腾讯)
通过利用未来层激活信息,提出Future-Aware Quantization方法,有效提升后训练量化效果,适用于边缘部署。
2026-01-28 cs.CL cs.CV cs.LG
It's All In the Teacher: Zero-Shot Quantization Brought Closer to the Teacher
Yonsei University(延世大学);NAVER(NAVER公司)
模型量化被认为是一种很有前途的方法,可以大大降低深度神经网络的资源需求。为了解决量化误差引起的性能下降,一种流行的方法是使用训练数据来微调量化网络。然而,在现实世界的环境中,这样的方法通常是不可行的,因为训练数据由于安全、隐私或机密性问题而不可用。Zero-shot量化解决了这些问题,通常通过从全精度教师网络的权重中获取信息来补偿量化网络的性能下降。在本文中,我们首先分析了国家的最先进的zero-shot量化技术的损失面,并提供了几个发现。与通常知识蒸馏问题相比,zero-shot量化通常遭受1)一起优化多个损失项的困难,以及2)由于使用合成样本而导致的较差的泛化能力。此外,我们观察到许多权重在训练量化网络期间未能越过舍入阈值,即使为了更好的性能而必须这样做。基于这些观察,我们提出了AIT,一种简单而强大的zero-shot量化技术,它以以下方式解决了上述两个问题:AIT i)仅使用KL距离损失而没有交叉熵损失,以及ii)操纵梯度以保证在越过舍入阈值后正确更新某一部分权重。实验表明,AIT的性能优于许多现有的方法的很大幅度,接管在该领域的整体国家的最先进的位置。
2022-04-01 cs.CV cs.LG
Gradient-Based Post-Training Quantization: Challenging the Status Quo
CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Datakalab
本文系统审视 GPTQ 的设计选择,给出问题建模与优化实践,并提出基于重要性的混合精度方法,显著提升多种网络和 GPTQ 方法的量化性能。
2023-08-15 cs.CV cs.LG
BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction
SenseTime Research(商汤科技研究院);University of Electronic Science and Technology of China(电子科技大学)
我们研究了神经网络量化的挑战性任务,而无需端到端的再训练,称为后训练量化(PTQ)。PTQ通常需要一小部分训练数据,但产生的量化模型不如量化感知训练(QAT)强大。在这项工作中,我们提出了一种新的PTQ框架,被称为BRECQ,它首次将PTQ中的位宽限制推低到INT2。BRECQ利用神经网络中的基本构建块并逐个重建它们。在一个全面的理论研究的二阶误差,我们表明,BRECQ实现了跨层依赖和泛化误差之间的良好平衡。为了进一步利用量化的能力,通过近似层间和层内灵敏度,将混合精度技术并入我们的框架中。对各种手工制作和搜索的神经架构进行了广泛的实验,用于图像分类和目标检测任务。我们第一次证明,在没有额外功能的情况下,PTQ可以实现与QAT相当的4位ResNet和MobileNetV2,并且量化模型的生成速度快240倍。代码可在https://github.com/yhhhli/BRECQ上获得。
2021-07-25 cs.CV cs.LG
EPTQ: Enhanced Post-Training Quantization via Hessian-guided Network-wise Optimization
Sony Semiconductor Israel(索尼半导体以色列公司)
提出增强型训练后量化方法EPTQ,利用无标签Hessian矩阵上界构建样本-层注意力分数与知识蒸馏损失,实现跨层依赖的网络级优化,在多种视觉任务上达到SOTA。
2024-09-26 cs.CV cs.LG
ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers
Microsoft(微软)
如何在实践中有效地服务于越来越大的训练自然语言模型,即使对于强大的云服务器也变得非常具有挑战性,因为它们的内存/计算要求过高。在这项工作中,我们提出了一种高效且经济实惠的后训练量化方法来压缩大型基于transformer的模型,称为ZeroQuant。ZeroQuant是一个端到端的量化和推理流水线,有三个主要组成部分:(1)用于权重和激活的细粒度硬件友好量化方案;(2)一种新颖的负担得起的逐层知识蒸馏算法(LKD),即使无法访问原始训练数据;(3)高度优化的量化系统后端支持,以消除量化/反量化开销。因此,我们能够证明:(1)ZeroQuant可以将BERT和GPT 3风格的模型的权重和激活精度以无成本的方式降低到INT 8,并且精度影响最小,与FP 16推理相比,这些模型的加速高达5.19倍/4.16倍;(2)ZeroQuant加上LKD可将全连接模块中的权重提供给INT 4,以及注意力模块中的INT 8权重和INT 8激活,与FP 16型号相比,内存占用减少了3倍;(3)ZeroQuant可以直接应用于两个最大的开源语言模型,包括GPT-J6 B和GPT-NeoX 20,我们的INT 8模型达到了与FP 16模型相似的精度,但效率提高了5.2倍。
2022-06-04 cs.CL cs.LG
On the Relationship between Model Quantization and Model Inversion Attacks
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本研究探讨模型量化对模型反演攻击的影响,提出一种隐私感知的训练后量化方法,通过任务敏感比特分配和联合优化,在保持高精度的同时显著降低反演攻击成功率。
2026-10-02 cs.CR cs.IT cs.LG
FAAR: Format-Aware Adaptive Rounding for NVFP4
Li Auto Inc.(李自动公司)
本文提出FAAR方法,通过整合NVFP4非均匀数域特性,改进低精度量化策略,降低取整误差,提升模型性能,实验表明在WikiText-2和Qwen3-1.7B上 perplexity 显著降低。
2026-03-23 cs.AI cs.LG
Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs
Intel(英特尔公司)
针对大语言模型部署的高内存存储问题,提出融合QAT与PTQ优势的SignRound方法,通过SignSGD仅200步优化权重量化,在低比特量化下实现显著性能提升且无额外推理开销。
2024-10-08 cs.AI cs.CL cs.LG
Efficient Adaptive Activation Rounding for Post-Training Quantization
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软)
针对训练后激活量化的舍入次优及运行时开销问题,提出AQuant框架,通过自适应激活舍入边界函数降低输出误差,采用粗粒度版本控开销,在2位量化下显著提升ResNet-18等模型准确率。
2023-08-24 cs.CV cs.LG
DiscQuant: A Quantization Method for Neural Networks Inspired by Discrepancy Theory
Cornell University(康奈尔大学);Microsoft Research(微软研究院);University of Washington(华盛顿大学)
该研究从偏差理论视角出发,提出神经网络权重量化的舍入算法DiscQuant,在Phi3mini-3.8B、Llama3.1-8B模型的多个基准上显著优于GPTQ和RTN方法。
2025-01-11 cs.AI cs.DS cs.LG
CafeQ: Calibration-free Quantization via Learned Transformations and Adaptive Rounding
Google(谷歌);University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of California Los Angeles(加州大学洛杉矶分校)
CafeQ通过学习变换和自适应四舍五入方法,在无需校准数据的情况下提升大语言模型的量化效果,实现更高效的推理性能。
2025-11-24 cs.LG
Is (Selective) Round-To-Nearest Quantization All You Need?
Oracle Labs(Oracle实验室)
本研究重新评估了RTN量化方法,证明其在成本、吞吐量和准确性上可与先进方法媲美,并通过选择性精度提升进一步优化,为LLM量化提供了实用选择。
2025-05-21 cs.LG
DAQ: Delta-Aware Quantization for Post-Training LLM Weight Compression
Tencent(腾讯)
DAQ通过Delta感知量化方法在无需数据的情况下实现训练后LLM权重压缩,优化方向保真度以恢复特定风格能力。
2026-03-20 cs.AI cs.LG
Up or Down? Adaptive Rounding for Post-Training Quantization
Qualcomm AI Research, an initiative of Qualcomm Technologies, Inc.(高通人工智能研究院(高通技术公司旗下研究机构))
当量化神经网络时,将每个浮点权重分配给其最近的定点值是主要的方法。我们发现,也许令人惊讶的是,这不是我们能做的最好的。在本文中,我们提出了AdaRound,一个更好的权重舍入机制,后训练量化,适应数据和任务损失。AdaRound速度快,不需要对网络进行微调,只使用少量未标记的数据。我们首先从理论上分析预训练神经网络的舍入问题。通过泰勒级数展开近似的任务损失,舍入任务是作为一个二次无约束的二元优化问题。我们将其简化为逐层局部损失,并建议使用软松弛来优化此损失。AdaRound不仅在性能上明显优于舍入到最近,而且还为多个网络和任务的后训练量化建立了一个新的最先进的方法。在没有微调的情况下,我们可以将Resnet18和Resnet50的权重调整为4位,同时保持在1%的精度损失内。
2020-06-30 cs.CV cs.LG stat.ML
TopGQ: Fast GNN Post-Training Quantization Leveraging Topology Information
Seoul National University(首尔大学)
针对现有GNN量化方法开销大的问题,提出TopGQ框架,通过双轴尺度吸收和TopPIN拓扑分组实现快速后训练量化,量化时间降一个数量级且精度保留。
2026-09-01 cs.AI cs.LG
Optimal Post-Training Quantization Scales and Where to Find Them
AMD
提出PiSO算法,利用校准数据精确高效地计算逐通道最优量化尺度,并扩展到分组量化,在Llama和Qwen模型上显著提升困惑度和零样本准确率。
2026-10-20 cs.AI cs.LG
Identifying Sensitive Weights via Post-quantization Integral
Tsinghua University(清华大学)
针对LLMs部署成本高及现有量化敏感度指标不准确的问题,提出量化后积分(PQI)准确估计后验敏感度,并基于此构建ReQuant框架,显著提升了最先进训练后量化方法的性能。
2025-02-28 cs.AI cs.LG
FAQS: Communication-efficient Federate DNN Architecture and Quantization Co-Search for personalized Hardware-aware Preferences
Tsinghua University(清华大学)
由于用户隐私和监管限制,联邦学习(FL)被提出作为一种分布式学习框架,用于在分散的数据客户端上训练深度神经网络(DNN)。FL的最新进展已经应用了神经架构搜索(NAS)来取代预定义的通用DNN模型,该模型对于各种数据分布的所有任务都不是最佳的,而是可搜索的DNN架构。然而,以前的方法遭受昂贵的通信成本增加频繁的大型模型参数之间的服务器和客户端传输。当结合NAS算法时,这种困难被进一步放大,NAS算法通常需要禁止计算和巨大的模型存储。为此,我们提出了FAQS,一个有效的个性化FL-NAS量化框架,以减少通信成本与三个功能:权重共享超级内核,比特共享量化和掩码传输。FAQS有一个负担得起的搜索时间,并要求在每一轮传输的消息非常有限的大小。通过在本地客户端设置不同的个性化帕累托函数损失,FAQS可以产生异构的硬件感知模型,以满足不同的用户偏好。实验结果表明,FAQS每轮通信带宽比普通FL框架平均减少1.58倍,比FL+NAS框架平均减少4.51倍。
2022-10-16 cs.AI cs.LG
CrossQuant: A Post-Training Quantization Method with Smaller Quantization Kernel for Precise Large Language Model Compression
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Mathematics, Tianjin University(天津大学数学学院)
本文提出了一种名为CrossQuant的训练后量化方法,通过利用行列绝对最大值向量交叉量化激活值来最小化“量化核”,从而在6.7B至70B参数的LLaMA和OPT模型上有效维持甚至提升了INT8量化后的精度。
2024-10-10 cs.AI cs.LG
Post Training Quantization of Large Language Models with Microscaling Formats
d-Matrix;Purdue University(普渡大学)
本文研究了SmoothQuant、AWQ和GPTQ三种训练后量化技术的组合应用,通过引入微缩格式扩展了PTQ算法的适用性,实现了4位权重和8位激活的量化且精度损失可忽略。
2024-10-15 cs.AI cs.LG
Optimization of the quantization of dense neural networks from an exact QUBO formulation
Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI), University of Jaén, 23071 Jaén, Spain(数据科学与计算智能安达卢西亚研究机构(DaSCI)、杰嫩大学)
提出一种基于 ADAROUND 的精确 QUBO 训练后量化方法,利用 Frobenius 距离建模权重与偏置舍入,并将全局问题精确分解后用模拟退火等启发式算法求解。
2025-10-17 cs.AI cs.LG
LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices
NAVER Cloud(NAVER云);KAIST AI(韩国科学技术院人工智能学院);AITRICS;SNU AI Center(首尔大学人工智能中心)
本文提出低秩量化方法LRQ,通过用低秩权重缩放矩阵替代全权重缩放矩阵来重建Transformer块输出,在显著减少可学习参数的同时提升量化LLMs的泛化能力,并在多种位宽量化设置下优于现有PTQ方法。
2025-02-09 cs.AI cs.LG
Beacon: Post-Training Quantization with Integrated Grid Selection
Beacon 提出了一种无需手动调优的后训练量化方法,通过利用标量量化几何特性自动确定最优缩放因子,实现高效的模型压缩。
2025-09-04 cs.AI cs.LG
Achieving binary weight and activation for LLMs using Post-Training Quantization
MAIS, Institute of Automation, Chinese Academy of Sciences(自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Central Media Technology Institute, Huawei Technologies Ltd.(华为技术有限公司媒体技术研究所)
提出W(1+1)A(1*4)训练后量化框架,通过Hessian感知分组和EM方案优化权重,将INT4激活分解为4*INT1并平滑缩放因子,在W2A4上超越SOTA基线,推动LLM完全二值化。
2025-06-30 cs.AI cs.LG
RaanA: A Fast, Flexible, and Data-Efficient Post-Training Quantization Algorithm
Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机科学与数据科学学院);Physics of Artificial Intelligence Group, NTT Research, Inc.(NTT研究所人工智能物理组)
本文提出统一PTQ框架RaanA,结合RaBitQ-H量化变体与AllocateBits位宽分配算法,在仅需极少校准数据且支持灵活位分配的情况下,实现了与最先进方法相媲美的性能,有效平衡了效率与准确性。
2025-10-31 cs.AI cs.LG
Activation Sensitivity as a Unifying Principle for Post-Training Quantization
本文提出激活敏感性作为后训练量化的统一原则,通过理论框架解释AWQ和GPTQ等方法,并揭示其与经典剪枝技术的关系。
2026-10-21 cs.AI cs.LG
DAQ: Density-Aware Post-Training Weight-Only Quantization For LLMs
Zhejiang University(浙江大学)
本文提出密度感知训练后仅权重量化方法DAQ,通过密度中心对齐和可学习动态范围调整,在LLaMA系列模型上显著降低量化带来的困惑度损失。
2024-10-17 cs.AI cs.LG
Decomposing MXFP4 quantization error for LLM reinforcement learning: reducible bias, recoverable deadzone, and an irreducible floor
Huawei Canada(华为加拿大)
本文通过将 MXFP4 量化误差分解为三个可加分量(尺度偏差、死区截断和网格噪声),并针对每个分量提出针对性修正(宏块缩放、异常值回退和自适应量化噪声),从而在 LLM 强化学习后训练中恢复精度。
2026-06-02 cs.AI cs.LG
BoA: Attention-aware Post-training Quantization without Backpropagation
Samsung Research(三星研究院)
本文提出BoA,一种无需反向传播的注意力感知训练后量化算法,通过注意力感知Hessian矩阵建模层间依赖来优化量化权重,在LLMs上取得了最先进的权重-激活量化性能。
2025-06-06 cs.AI cs.LG
DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning
University of Cambridge(剑桥大学)
联邦学习(FL)是一种强大的技术,用于以隐私保护的方式使用来自多个客户端的数据在服务器上训练模型。在FL中,服务器将模型发送给每个客户端,然后客户端在本地训练模型并将其发送回服务器。服务器聚合更新的模型并重复该过程几轮。FL会产生很大的通信成本,特别是在将更新的本地模型从客户端传输回服务器时。最近提出的算法优化模型参数,以有效地压缩FL通信。这些算法通常具有控制压缩因子的量化级别。我们发现,动态适应的量化级别可以提高压缩,而不牺牲模型的质量。首先,我们引入了一种时间自适应量化算法,随着训练的进行,该算法增加了量化级别。其次,我们引入了一种客户端自适应量化算法,该算法在每一轮为每个客户端分配最佳量化级别。最后,我们将这两种算法结合成DAdaQuant,双自适应量化算法。我们的实验表明,DAdaQuant始终提高客户端$\rightarrow$服务器压缩,性能优于最强的非自适应基线高达$2.8\times$。
2021-10-31 cs.LG
PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Illinois Institute of Technology(伊利诺伊大学香槟分校)
提出PTQ1.61,首次实现大语言模型权重1.61比特量化,通过结构化掩码和块级缩放优化,并引入量化预处理范式,在极低比特量化中达到最先进性能。
2025-08-06 cs.AI cs.LG
DNN Memory Footprint Reduction via Post-Training Intra-Layer Multi-Precision Quantization
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
本文提出训练后层内多精度量化方法 PTILMPQ,通过估计层和通道重要性进行精确比特分配,在无需大量训练数据的情况下有效减少 DNN 内存占用,并在 ResNet50 上以仅 1.08% 的精度损失实现 25.49% 的内存缩减。
2024-04-03 cs.AI cs.LG
AWEQ: Post-Training Quantization with Activation-Weight Equalization for Large Language Models
School of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
AWEQ是一种无需额外训练的后训练量化方法,通过通道均衡将激活量化难度转移至权重,在超低位和W8A8量化中实现精度与硬件效率的平衡,并在LLaMA和OPT上优于现有方法。
2023-11-12 cs.AI cs.CL cs.LG
TesseraQ: Ultra Low-Bit LLM Post-Training Quantization with Block Reconstruction
Yale University(耶鲁大学)
本文提出 TesseraQ,通过块重建、渐进式自适应舍入和反量化缩放优化实现超低比特 LLM PTQ,并可增强 AWQ、OmniQuant 等方法。
2024-10-24 cs.LG
Qronos: Correcting the Past by Shaping the Future... in Post-Training Quantization
Department of Mathematics University of California, San Diego(数学系加州大学圣地亚哥分校);Software Architecture Advanced Micro Devices, Inc.(软件架构先进微器件公司);Department of Mathematics & HDSI University of California, San Diego(数学系及HDSI加州大学圣地亚哥分校)
Qronos通过迭代优化框架在训练后量化中显式纠正误差并超越现有方法,提升模型精度。
2026-02-17 cs.AI cs.LG math.OC
Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs
d-Matrix
本研究揭示大语言模型低精度训练后量化效果逊于量化感知微调的原因是局部与全局目标函数优化错位,强调极低精度场景下直接量化感知微调的重要性。
2025-04-17 cs.LG
Loss Aware Post-training Quantization
Intel – Artificial Intelligence Products Group (AIPG)(英特尔——人工智能产品集团(AIPG));Technion – Israel Institute of Technology(以色列理工学院)
神经网络量化使得能够在资源受限的设备上部署大型模型。当前的后训练量化方法在针对INT 4(或更低)的准确度方面不足,但是为INT 8(或更高)提供合理的准确度。在这项工作中,我们研究了量化的损失景观的结构上的效果。此外,我们表明,该结构是平坦的,可分离的温和的量化,使简单的后训练量化方法,以达到良好的效果。我们发现,随着更积极的量化,损失景观变得高度不可分离的陡峭曲率,使量化参数的选择更具挑战性。有了这样的理解,我们设计了一种方法,量化层参数联合,使显着的准确性提高,目前的后训练量化方法。参考实现可从https://github.com/ynahshan/nn-quantization-pytorch/tree/master/lapq获得
2020-03-16 cs.CV cs.LG
Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks
RWTH Aachen University(亚琛工业大学)
深度神经网络(DNN)部署在边缘设备上生成的数据附近的最大挑战是它们的大小,即,存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长,DNN的能量效率成比例地增加。然而,较低的字长通常会导致精度下降。为了抵消这种影响,量化的DNN被重新训练。不幸的是,训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题,我们提出了一个后训练量化流程,而不需要再培训。为此,我们研究了不同的量化选项。此外,我们的分析系统地评估了减少词长度的权重和激活的影响,揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关,并适用于均匀量化,允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下,我们量化到8位的精度超过了浮点精度。
2022-10-14 cs.AI cs.CV cs.LG
Training Dynamics Impact Post-Training Quantization Robustness
ELLIS Institute Tübingen(图宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Tübingen AI Center(图宾根人工智能中心)
研究发现训练动态中的学习率衰减会影响量化鲁棒性,通过调整训练超参数可提升大规模量化效果。
2026-01-30 cs.LG
Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization
Samsung Research(三星研究院)
各种后训练均匀量化方法通常是基于凸优化的研究。因此,大多数以前的依赖于量化误差最小化和/或二次近似。当采用大量的量化比特时,这样的方法在计算上是有效的和合理的。然而,当量化比特数相对较低时,非凸优化是不可避免的,以提高模型精度。在本文中,我们提出了一种新的后训练均匀量化技术考虑非凸性。我们的经验表明,超参数裁剪和舍入的权重和激活,可以探索通过监控任务损失。然后,冻结超参数的最佳搜索集以继续到下一层,使得能够针对后训练量化进行增量非凸优化。通过使用各种模型的广泛的实验结果,我们提出的技术提出了更高的模型精度,特别是对于低比特量化。
2021-05-05 cs.LG math.OC
QuIP: 2-Bit Quantization of Large Language Models With Guarantees
Cornell University(康奈尔大学)
QuIP通过非相干预处理和自适应舍入,首次实现大语言模型每个权重仅2比特的有效量化,并提供理论保证,同时改进了OPTQ等现有方法。
2024-01-15 cs.CL cs.LG
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.(三星半导体有限公司);Microsoft(微软)
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的,因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数,建立了一种统一的后训练量化方案,取得了令人满意的结果。然而,当量化到较低的比特宽度时,它遭受显著的性能下降。在本文中,我们提出了一个分段线性量化(PWLQ)计划,使张量值,具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域,每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明,与现有的训练后量化方法相比,该方法在图像分类、语义分割和目标检测等方面具有更好的性能,且开销较小.
2020-03-18 cs.CV cs.LG
ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation
Microsoft(微软)
本文系统研究了LLM训练后量化中不同方案、模型家族和比特精度的影响,发现现有方法在INT4权重量化下均无法保持原始模型质量,并提出低秩补偿方法LoRC以极小模型尺寸代价改善质量恢复。
2023-05-26 cs.AI cs.CL cs.LG
FPTQ: Fine-grained Post-Training Quantization for Large Language Models
Meituan(美团);Nanjing University(南京大学)
针对大型语言模型部署难题,提出FPTQ方法,结合W4A8量化与逐层对数均衡激活量化及细粒度权重量化,无需微调即在BLOOM、LLaMA等模型上达到最先进性能。
2023-08-30 cs.AI cs.CL cs.LG
OptRot: Mitigating Weight Outliers via Data-Free Rotations for Post-Training Quantization
CISPA Helmholtz Center for Information Security, Germany(CISPA信息安全研究中心);Microsoft Research, Cambridge, UK(微软研究院)
OptRot通过数据无关旋转技术提升训练后量化效果,优于现有方法并改进激活量化性能。
2026-01-12 cs.AI cs.CL cs.LG
Optimal Brain Compression: A Framework for Accurate Post-Training Quantization and Pruning
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);Neural Magic(神经魔法公司)
我们考虑在具有挑战性的一次性/后训练设置中深度神经网络(DNN)的模型压缩问题,在这种情况下,我们得到了一个精确的训练模型,并且必须仅基于少量校准输入数据在没有任何重新训练的情况下对其进行压缩。这个问题已经变得流行,鉴于新兴的软件和硬件支持执行模型压缩通过修剪和/或量化与加速,以及性能良好的解决方案已经提出了独立的两种压缩方法。在本文中,我们介绍了一个新的压缩框架,它涵盖了重量修剪和量化在一个统一的设置,是时间和空间效率,并大大提高了现有的后训练方法的实际性能。在技术层面上,我们的方法是基于[LeCun,Denker和Solla,1990]的经典最佳脑外科医生(OBS)框架的精确和有效实现,该框架扩展到现代DNN规模的权重量化。从实际的角度来看,我们的实验结果表明,它可以显着改善现有的后训练方法的压缩精度的权衡,它可以使精确的修剪和量化的复合应用在后训练设置。
2023-01-08 cs.LG
Athena: Efficient Block-Wise Post-Training Quantization for Large Language Models Using Second-Order Matrix Derivative Information
Peking University(北京大学)
Athena提出利用二阶矩阵导数信息指导分块训练后量化,通过按列或行分组并迭代优化,实现大型语言模型高效压缩且保持高精度。
2024-05-24 cs.AI cs.CL cs.LG
EasyQuant: Post-training Quantization via Scale Optimization
DeepGlint(深瞳);OPEN AI LAB(开放智能实验室);Beijing Institute of Technology(北京理工大学)
8位量化已被广泛应用于加速各种深度学习应用中的网络推理。有两种量化方法,基于训练的量化和后训练量化。基于训练的方法存在训练过程繁琐的问题,而训练后的量化可能导致不可接受的精度下降。在本文中,我们提出了一种通过尺度优化的高效简单的后训练方法EasyQuant(EQ),它可以获得与基于训练的方法相当的精度。具体来说,我们首先交替优化卷积输出处所有层目标的权重和激活尺度,以进一步获得高量化精度。在不同的计算机视觉任务上的实验结果表明,EQ的性能优于TensorRT方法,在7位宽的训练后可以达到接近INT 8的精度。
2020-06-30 cs.CV cs.LG eess.IV
PTQ-SL: Exploring the Sub-layerwise Post-training Quantization
Center for Energy-Efficient Computing and Applications, Peking University(北京大学高能效计算与应用中心);Houmo AI(后摩智能)
网络量化是压缩卷积神经网络的一种有效方法。量化粒度决定了如何共享权值中的缩放因子,从而影响网络量化的性能。大多数现有的方法共享缩放因子逐层或逐通道用于卷积层的量化。逐层量化和逐层量化已经广泛地用于各种应用中。然而,很少探索其他量化粒度。在本文中,我们将探讨在多个输入和输出通道之间共享缩放因子的子层粒度。我们提出了一种有效的子层粒度后训练量化方法(PTQ-SL)。然后,我们在各种粒度上进行了系统的实验,并观察到量化的神经网络的预测精度与粒度有很强的相关性。此外,我们发现调整通道的位置可以改善子层量化的性能。因此,我们提出了一种方法来重新排序的子层量化的通道。实验表明,适当的信道重排序的子层量化可以优于信道量化。
2021-10-18 cs.CV cs.LG
FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, China(虚拟现实技术与系统国家重点实验室,北京航空航天大学);School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学)
针对视觉Transformer训练后量化在低比特下精度下降的问题,提出基于费舍尔信息矩阵近似的FIMA-Q方法,通过KL散度与FIM的关联及对角加低秩近似实现高效量化损失计算,显著提升低比特量化精度。
2025-06-13 cs.AI cs.CV cs.LG