Q-HyViT: Post-Training Quantization of Hybrid Vision Transformers with Bridge Block Reconstruction for IoT Systems
KAIST(韩国科学技术院)
针对现有ViT训练后量化方法应用于高效混合Transformer时精度骤降的问题,提出带桥接块重构的Q-HyViT量化方法,首次实现多类高效混合ViT的量化,8位和6位量化精度较现有方法平均提升17.73%和29.75%,适用于物联网系统。
2024-05-17 cs.AI cs.CV
PTQ4ARVG: Post-Training Quantization for AutoRegressive Visual Generation Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
PTQ4ARVG提出一种无需训练的后训练量化框架,解决ARVG模型在通道、令牌和样本层面的量化难题,实现8位和6位高效量化。
2026-01-29 cs.AI cs.CV
Automated Backend-Aware Post-Training Quantization
University of Washington(华盛顿大学);OctoML;Amazon Web Services(亚马逊云服务);Carnegie Mellon University(卡内基梅隆大学)
量化是降低神经网络部署所需资源、提高性能的关键技术。然而,不同的硬件后端(如x86 CPU、NVIDIA GPU、ARM CPU和加速器)可能需要不同的量化网络实现。这种多样性要求为每个硬件目标构建专门的训练后量化管道,这是一项工程工作,对于开发人员来说往往太大而无法跟上。我们使用一个名为HAGO的自动化训练后量化框架来解决这个问题。HAGO基于用户定义的硬件规范提供了一组通用量化图变换,并实现了一种搜索机制,以找到最佳量化策略,同时满足任何模型的硬件约束。我们观察到HAGO在Intel Xeon Cascade Lake CPU,NVIDIA Tesla T4 GPU,Raspberry Pi4上的ARM Cortex-A CPU上分别实现了2.09倍,1.97倍和2.48倍的加速,同时保持了每种情况下最高的训练后量化精度。
2021-03-27 cs.CV
Loss Aware Post-training Quantization
Intel – Artificial Intelligence Products Group (AIPG)(英特尔——人工智能产品集团(AIPG));Technion – Israel Institute of Technology(以色列理工学院)
神经网络量化使得能够在资源受限的设备上部署大型模型。当前的后训练量化方法在针对INT 4(或更低)的准确度方面不足,但是为INT 8(或更高)提供合理的准确度。在这项工作中,我们研究了量化的损失景观的结构上的效果。此外,我们表明,该结构是平坦的,可分离的温和的量化,使简单的后训练量化方法,以达到良好的效果。我们发现,随着更积极的量化,损失景观变得高度不可分离的陡峭曲率,使量化参数的选择更具挑战性。有了这样的理解,我们设计了一种方法,量化层参数联合,使显着的准确性提高,目前的后训练量化方法。参考实现可从https://github.com/ynahshan/nn-quantization-pytorch/tree/master/lapq获得
2020-03-16 cs.CV cs.LG
Post-Training Quantization for Vision Transformer
Peking University(北京大学);Huawei Technologies(华为技术有限公司);Peng Cheng Laboratory(鹏城实验室)
最近,Transformer在各种计算机视觉应用中取得了显著的性能。与主流的卷积神经网络相比,视觉Transformer通常具有用于提取强大特征表示的复杂架构,这在移动设备上更难开发。在本文中,我们提出了一个有效的后训练量化算法,以减少内存存储和计算成本的视觉Transformer。基本上,量化任务可以被视为分别为权重和输入找到最佳低位量化间隔。为了保持注意力机制的功能,我们在传统的量化目标中引入了排名损失,旨在保持量化后自注意力结果的相对顺序。此外,我们深入分析了不同层的量化损失和特征多样性之间的关系,并探索了一种混合精度的量化方案,利用每个注意力图和输出特征的核范数。在几个基准模型和数据集上验证了该方法的有效性,其性能优于最先进的后训练量化算法。例如,我们可以在ImageNet数据集上使用DeiT-B模型获得81.29\%的top-1准确率,约为8位量化。
2021-06-27 cs.CV
Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks
RWTH Aachen University(亚琛工业大学)
深度神经网络(DNN)部署在边缘设备上生成的数据附近的最大挑战是它们的大小,即,存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长,DNN的能量效率成比例地增加。然而,较低的字长通常会导致精度下降。为了抵消这种影响,量化的DNN被重新训练。不幸的是,训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题,我们提出了一个后训练量化流程,而不需要再培训。为此,我们研究了不同的量化选项。此外,我们的分析系统地评估了减少词长度的权重和激活的影响,揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关,并适用于均匀量化,允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下,我们量化到8位的精度超过了浮点精度。
2022-10-14 cs.AI cs.CV cs.LG
VLCQ: Post-training quantization for deep neural networks using variable length coding
Faculty of Engineering, Cairo University(开罗大学工程学院)
本文提出VLCQ训练后量化方法,放宽定点编码约束,在无需训练数据或微调的情况下,提升了图像分类等任务的模型压缩率与准确率,性能优于多数现有同类方法。
2026-10-14 cs.AI cs.CV cs.PF
Towards Accurate Post-Training Quantization for Vision Transformer
Beihang University(北京航空航天大学);Meituan(美团)
视觉Transformer作为视觉任务的潜在架构而出现。然而,其计算量大和不可忽略的时延限制了其在现实世界中的应用。作为一种广泛应用的模型压缩技术,现有的后训练量化方法仍然会导致严重的性能下降。我们发现主要原因在于(1)现有的校准度量在测量极低比特表示的量化影响时是不准确的;(2)现有的量化范式对Softmax的幂律分布不友好。基于这些观察,我们提出了一种新的精确训练后量化框架视觉Transformer,即APQ-ViT。首先,我们提出了一个统一的底部消除的BAUNAT校准方案来优化校准度量,以块方式感知整体量化干扰,并优先考虑对最终输出影响更大的关键量化误差。然后,我们为Softmax设计了一个保留马修效应的量化算法,既保持了Softmax的幂律特性,又保留了注意力机制的功能。在大规模分类和检测数据集上的综合实验表明,我们的APQ-ViT通过令人信服的余量超越了现有的训练后量化方法,特别是在较低的位宽设置下(例如,W4A4分类平均提高5.17%,检测平均提高24.43%。我们还强调,APQ-ViT享有多功能性,并在不同的Transformer变体上工作良好。
2023-03-25 cs.CV
NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers
Nanjing University(南京大学);University of California, Berkeley(加州大学伯克利分校);Peking University(北京大学)
NoisyQuant提出一种与量化器无关的噪声偏置增强方法,通过向激活值添加固定均匀噪声改变重尾分布,显著降低训练后量化误差,在ViT、DeiT和Swin Transformer上以极小开销提升6位激活量化的SOTA准确率。
2023-04-19 cs.CV
Post-training 4-bit quantization of convolution networks for rapid-deployment
Intel – Artificial Intelligence Products Group (AIPG)(英特尔——人工智能产品集团(AIPG));Technion – Israel Institute of Technology(以色列理工学院)
除了大量的计算资源之外,卷积神经网络还需要大量的内存带宽和存储用于中间计算。神经网络量化在减少中间结果的数量方面具有显著的好处,但它通常需要完整的数据集和耗时的微调来恢复量化后损失的精度。本文介绍了第一种实用的4位后训练量化方法:它不涉及训练量化模型(微调),也不需要完整数据集的可用性。我们的目标是量化的激活和权重,并建议三个互补的方法,最大限度地减少量化误差在张量水平,其中两个人获得了封闭形式的解析解。结合这些方法,我们的方法实现了精度,在广泛的卷积模型中,精度仅比最先进的基线低几个百分点。复制所有实验的源代码可在GitHub上获得:\url{https://github.com/submission2019/cnn-quantization}。
2019-05-29 cs.CV
PTQ4ViT: Post-training quantization for vision transformers with twin uniform quantization
School of Computer Science, Peking University(北京大学计算机学院);Houmo AI(出门问问);School of Integrated Circuits, Peking University(北京大学集成电路学院)
针对视觉Transformer训练后量化精度下降问题,提出双均匀量化法和Hessian引导缩放因子评估指标,构建PTQ4ViT框架,实现8位量化下ImageNet分类近无损精度。
2024-06-23 cs.CV
EasyQuant: Post-training Quantization via Scale Optimization
DeepGlint(深瞳);OPEN AI LAB(开放智能实验室);Beijing Institute of Technology(北京理工大学)
8位量化已被广泛应用于加速各种深度学习应用中的网络推理。有两种量化方法,基于训练的量化和后训练量化。基于训练的方法存在训练过程繁琐的问题,而训练后的量化可能导致不可接受的精度下降。在本文中,我们提出了一种通过尺度优化的高效简单的后训练方法EasyQuant(EQ),它可以获得与基于训练的方法相当的精度。具体来说,我们首先交替优化卷积输出处所有层目标的权重和激活尺度,以进一步获得高量化精度。在不同的计算机视觉任务上的实验结果表明,EQ的性能优于TensorRT方法,在7位宽的训练后可以达到接近INT 8的精度。
2020-06-30 cs.CV cs.LG eess.IV
PTQ-SL: Exploring the Sub-layerwise Post-training Quantization
Center for Energy-Efficient Computing and Applications, Peking University(北京大学高能效计算与应用中心);Houmo AI(后摩智能)
网络量化是压缩卷积神经网络的一种有效方法。量化粒度决定了如何共享权值中的缩放因子,从而影响网络量化的性能。大多数现有的方法共享缩放因子逐层或逐通道用于卷积层的量化。逐层量化和逐层量化已经广泛地用于各种应用中。然而,很少探索其他量化粒度。在本文中,我们将探讨在多个输入和输出通道之间共享缩放因子的子层粒度。我们提出了一种有效的子层粒度后训练量化方法(PTQ-SL)。然后,我们在各种粒度上进行了系统的实验,并观察到量化的神经网络的预测精度与粒度有很强的相关性。此外,我们发现调整通道的位置可以改善子层量化的性能。因此,我们提出了一种方法来重新排序的子层量化的通道。实验表明,适当的信道重排序的子层量化可以优于信道量化。
2021-10-18 cs.CV cs.LG
EfficientQuant: An Efficient Post-Training Quantization for CNN-Transformer Hybrid Models on Edge Devices
Oakland University(奥克兰大学)
针对CNN-Transformer混合模型边缘部署资源消耗高的问题,提出结构感知的训练后量化方法EfficientQuant,对不同模块采用适配量化策略,在ImageNet-1K上实现2.5倍至8.7倍延迟降低且精度损失极小,适配边缘设备实际部署。
2025-06-05 cs.CV
Sensitivity-Aware Post-Training Quantization for Deep Neural Networks
South China University of Technology(华南理工大学);Pazhou Laboratory(Pazhou实验室);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(大数据与智能机器人重点实验室,教育部)
本文提出一种基于参数敏感性分析的训练后量化方法,优先量化高敏感性参数并用低敏感性参数补偿误差,通过行并行框架和全局共享逆海森矩阵更新将计算复杂度降低一个数量级,在ResNet-50和YOLOv5s上实现20-200倍量化加速且平均精度损失低于0.3%。
2025-09-06 cs.CV
DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
针对视觉Transformer高计算成本及后训练量化性能易降问题,提出DopQ-ViT方法,通过引入Tan量化器保留幂律分布、MAD引导的最优缩放因子选择,在分类和检测任务上优于先前PTQ方法。
2026-07-29 cs.CV
SCULPT: Training Edge Vision Models for Post-Training Quantization Readiness
Valeo Vision Systems(法雷奥视觉系统);Valeo India Pvt. Ltd(法雷奥印度私人有限公司)
提出SCULPT方法,在FP32微调时抑制激活分布的不利统计特性,学习可直接用于PTQ的裁剪边界,无需QAT或事后修复,实现边缘视觉模型的低位宽部署。
2026-09-03 cs.CV
FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, China(虚拟现实技术与系统国家重点实验室,北京航空航天大学);School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学)
针对视觉Transformer训练后量化在低比特下精度下降的问题,提出基于费舍尔信息矩阵近似的FIMA-Q方法,通过KL散度与FIM的关联及对角加低秩近似实现高效量化损失计算,显著提升低比特量化精度。
2025-06-13 cs.AI cs.CV cs.LG
Hybrid and Non-Uniform quantization methods using retro synthesis data for efficient inference
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
现有的量化感知训练方法试图通过利用训练数据来补偿量化损失,像大多数训练后量化方法一样,并且也是耗时的。这两种方法对于隐私约束应用都不是有效的,因为它们与训练数据紧密耦合。相比之下,本文提出了一种数据独立的后训练量化方案,消除了对训练数据的需要。这是通过从FP 32模型层统计生成人造数据集(以下称为逆合成数据)并进一步将其用于量化来实现的。这种方法优于最先进的方法,包括但不限于ZeroQ和DFQ,在ImageNet和CIFAR-10数据集上具有和不具有批次归一化层的模型上,分别具有8位、6位和4位精度。我们还介绍了后训练量化方法的两种未来变体,即混合量化和非均匀量化
2020-12-26 cs.CV
QFT: Post-training quantization via fast joint finetuning of all degrees of freedom
Hailo(海洛科技)
训练后量化(PTQ)的挑战是使量化的神经网络精度接近原始精度,这一挑战受到了行业需求的广泛关注。许多方法强调对特定自由度(DoF)的优化,例如量化步长,预处理因子,偏置固定,通常在多步解决方案中与其他解决方案链接。在这里,我们重新考虑量化网络参数化的硬件感知方式,对所有量化自由度的统一分析,允许第一次联合端到端微调。我们的单步简单和可扩展的方法,被称为量化感知微调(QFT),实现4位权重量化结果与SoTA在PTQ的速度和资源的限制。
2022-12-05 cs.CV cs.LG stat.ML
Nonlinear Bipolar Compensation: Handling Outliers in Post-Training Quantization
State Key Laboratory of Novel Software Technology, Nanjing University, China(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University, China(南京大学人工智能学院)
本文提出非线性双极补偿方法,通过引入非线性补偿减少异常值影响,设计双极对数变换压缩异常值,提升训练后量化的效率与鲁棒性。
2026-05-14 cs.CV
ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
提出ScaleSweep方法,通过扫描可行块尺度候选并选择最小化目标函数的候选,优化NVFP4量化中的尺度初始化,理论推导扫描范围边界,在Llama和Qwen模型上提升量化性能,缩小与全精度的差距。
2026-05-30 cs.AI cs.CV cs.LG
QMamba: Post-Training Quantization for Vision State Space Models
University of Science and Technology of China(中国科学技术大学)
提出QMamba,首个基于激活分布分析的视觉SSM训练后量化框架,通过LtSQ和TGQ分别量化离散参数与隐藏状态,在ImageNet 4位激活下超越现有方法21.0%。
2025-01-23 cs.CV
MPTQ-ViT: Mixed-Precision Post-Training Quantization for Vision Transformer
National Taiwan University(台湾大学)
针对视觉Transformer低比特量化精度下降问题,提出含SQ-b、OPT-m的混合精度训练后量化框架MPTQ-ViT,在ImageNet上显著优于现有SOTA方法。
2024-02-01 cs.CV
Efficient Tuning Before Low-Bit Post-Training Quantization for Stochastic Gradient Descent-optimized Models
School of Information Science and Technology, Beijing University of Technology(北京工业大学信息科学与技术学院)
研究针对低位后训练量化性能易降问题,提出ETBQ方法,在随机梯度下降优化模型的PTQ前进行预处理调优,通过从量化误差分布采样扰动优化全精度模型,实验证明该方法能提升不同任务的低位PTQ性能。
2026-07-21 cs.CV
Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction
Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
本文提出两步训练后量化方法ERQ,依次通过激活量化误差缩减和权重量化误差缩减,显著降低视觉Transformer的量化误差并提升精度。
2025-02-04 cs.CV
Fine-grained Data Distribution Alignment for Post-Training Quantization
Tencent Youtu Lab(腾讯优图实验室);Xiamen University(厦门大学)
虽然后训练量化主要由于其在访问原始完整训练数据集时的逃避而受到欢迎,但其性能不佳也源于稀缺的图像。为了缓解这一限制,本文利用zero-shot量化引入的合成数据与校准数据集,并提出了一种细粒度数据分布对齐(FDDA)方法来提高训练后量化的性能。该方法基于我们在训练网络的深层中观察到的批量归一化统计(BNS)的两个重要性质,(即),类间分离和类内不凝聚。为了保持这种细粒度的分布信息:1)我们计算校准数据集的每类BNS作为每个类的BNS中心,并提出了一个BNS集中的损失,以迫使不同类的合成数据分布接近它们自己的中心。2)我们在中心加入高斯噪声来模拟不一致性,并提出了一种贝叶斯失真损失,迫使同类的合成数据分布接近失真中心。通过利用这两个细粒度的损失,我们的方法在ImageNet上表现出了最先进的性能,特别是当第一层和最后一层都量化到低位时。代码位于\url{https://github.com/zysxmu/FDDA}。
2022-07-05 cs.CV
Merge-Friendly Post-Training Quantization for Multi-Target Domain Adaptation
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对量化模型在多目标域适应中合并困难的问题,提出训练后量化方法HDRQ,通过最小化与源模型的偏差并平坦化损失面,有效促进了平滑的模型合并。
2025-05-29 cs.CV cs.LG
I&S-ViT: An Inclusive & Stable Method for Pushing the Limit of Post-Training ViTs Quantization
Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能学院);MAC Lab, Department of Artificial Intelligence, School of Informatics, Xiamen University(厦门大学信息学院人工智能系);Rakuten;Peng Cheng Laboratory(鹏城实验室)
I&S-ViT提出移位均匀log2量化器与三阶段平滑优化策略,解决ViT后训练量化中效率与稳定问题,在低位场景显著提升性能。
2025-10-09 cs.CV
RAPQ: Rescuing Accuracy for Power-of-Two Low-bit Post-training Quantization
Peking University(北京大学)
本文介绍了一种用于深度神经网络的二次幂低比特训练后量化(PTQ)方法,该方法满足硬件要求并且不需要长时间的再训练。二次幂量化可以将量化和反量化引入的乘法转换为比特移位,许多高效的加速器都采用这种方法。然而,2的幂比例因子具有较少的候选值,这导致更多的舍入或限幅误差。我们提出了一种新的Power-of-Two PTQ框架,称为RAPQ,它动态地调整整个网络的Power-of-Two尺度,而不是静态地逐层确定它们。理论上它可以平衡整个网络的舍入误差和削波误差。同时,RAPQ中的重建方法是基于每个单元的BN信息。在ImageNet上的大量实验证明了我们所提出的方法的优异性能。在没有花哨的情况下,RAPQ可以在ResNet-18和MobileNetV 2上分别达到65%和48%的准确率,并使用权重INT 2激活INT 4。本文首次提出了一种约束更严格、硬件友好的二次幂量化方案,并证明了它可以达到与SOTA PTQ方法几乎相同的精度。代码被释放了。
2022-09-25 cs.CV
PD-Quant: Post-Training Quantization based on Prediction Difference Metric
Huazhong University of Science & Technology(华中科技大学);Houmo AI(后摩智能)
后训练量化(PTQ)是一种神经网络压缩技术,它使用较低精度的数据类型将全精度模型转换为量化模型。虽然它可以帮助减少深度神经网络的大小和计算成本,但它也会引入量化噪声并降低预测精度,特别是在极低比特设置中。如何确定适当的量化参数(例如,比例因子和权重舍入)是目前面临的主要问题。现有的方法试图通过最小化量化前后特征之间的距离来确定这些参数,但这种方法只考虑局部信息,可能不会得到最优的量化参数。我们分析了这个问题,并提出了PD-Quant,一种通过考虑全局信息来解决这个限制的方法。该算法利用网络预测量化前后的差异信息来确定量化参数。此外,PD-Quant可以通过调整激活的分布来缓解PTQ中由少量校准集引起的过拟合问题。实验结果表明,PD-Quant算法可以获得更好的量化参数,提高量化模型的预测精度,尤其是在低比特率下。例如,PD-Quant将ResNet-18的准确率提高到53.14%,RegNetX-600 MF的准确率提高到40.67%。代码发布于https://github.com/hustvl/PD-Quant。
2023-03-27 cs.CV eess.IV
Enhancing Post-Training Quantization via Future Activation Awareness
Zhejiang University(浙江大学);Tencent(腾讯)
通过利用未来层激活信息,提出Future-Aware Quantization方法,有效提升后训练量化效果,适用于边缘部署。
2026-01-28 cs.CL cs.CV cs.LG
ViM-VQ: Efficient Post-Training Vector Quantization for Visual Mamba
Zhejiang University(浙江大学);vivo Mobile Communication Co., Ltd(vivo移动通信有限公司)
针对现有矢量量化方法直接应用于视觉Mamba网络精度不佳的问题,本文提出ViM-VQ,通过快速凸组合优化与增量量化策略,在各类视觉任务低比特量化中取得了SOTA性能。
2025-07-30 cs.CV
PIPE : Parallelized Inference Through Post-Training Quantization Ensembling of Residual Expansions
Datakalab(Datakalab公司);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所)
针对DNNs高推理成本及无数据量化方法缺乏设备适应性的问题,提出量化方法PIPE,利用残差误差扩展、组稀疏性和集成近似实现更好并行化,在多种任务、架构和位宽下均取得卓越性能。
2023-11-27 cs.CV
Efficient Adaptive Activation Rounding for Post-Training Quantization
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软)
针对训练后激活量化的舍入次优及运行时开销问题,提出AQuant框架,通过自适应激活舍入边界函数降低输出误差,采用粗粒度版本控开销,在2位量化下显著提升ResNet-18等模型准确率。
2023-08-24 cs.CV cs.LG
Tail-Aware Post-Training Quantization for 3D Geometry Models
Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院,清华大学,深圳,中国);MMLab, The Chinese University of Hong Kong, Hong Kong, China(MMLab,香港中文大学,香港,中国);Harbin Institute of Technology Shenzhen, China(哈尔滨工业大学深圳,中国);Huawei Technology, Shenzhen, China(华为技术,深圳,中国)
TAPTQ通过面向尾部的训练后量化方法,提升3D几何模型的部署效率和准确性。
2026-02-02 cs.CV
FQ-ViT: Post-Training Quantization for Fully Quantized Vision Transformer
MEGVII Technology(旷视科技)
网络量化显著降低了模型推理的复杂性,并已广泛应用于现实世界的部署。然而,大多数现有的量化方法主要是在卷积神经网络(CNN)上开发的,并且当应用于完全量化的视觉Transformer时遭受严重的退化。在这项工作中,我们证明了这些困难中的许多出现,因为严重的通道间变化LayerNorm输入,目前,功率的两个因素(PTF),一个系统的方法,以减少性能下降和推理的复杂性,完全量化的视觉Transformer。此外,观察到注意力地图中的极端非均匀分布,我们提出Log-Int-Softmax(LIS)来维持这一点,并通过使用4位量化和BitShift运算符来简化推理。在各种基于变换器的架构和基准测试上的综合实验表明,我们的全量化视觉Transformer(VIP-ViT)优于以前的作品,即使在注意力地图上使用较低的位宽。例如,我们在ImageNet上使用ViT-L达到了84.89%的top-1准确率,在COCO上使用Cascade Mask R-CNN(Swin-S)达到了50.8 mAP。据我们所知,我们是第一个在完全量化的视觉Transformer上实现无损精度下降(~1%)的公司。该代码可在https://github.com/megvii-research/FQ-ViT上获得。
2023-02-17 cs.CV
Weight Equalizing Shift Scaler-Coupled Post-training Quantization
Samsung Research, Samsung Electronics Co.(三星电子 三星研究院)
后训练,逐层量化是优选的,因为它无需再训练并且是硬件友好的。然而,当神经网络模型具有每个输出通道的权重范围的大的差异时,发生了准确性降低。特别是,MobileNet家族在ImageNet数据集上的top-1准确率在8位权重量化后从70.60% ~ 71.87%下降到0.1%。为了减轻这种显着的准确性降低,我们提出了一个新的权重均衡移位缩放器,即通过4位二进制移位重新缩放每个通道的权重范围,然后逐层量化。为了恢复原始输出范围,逆二进制移位被有效地融合到定制神经处理单元的固定计算卷积运算符中的现有每层尺度复合。二进制移位是我们算法的一个关键特性,它在不影响内存占用的情况下显着提高了精度性能。结果表明,该方法在MobileNets中的top-1准确率为69.78% ~ 70.96%,并且在不同的网络模型和任务中表现出鲁棒性,这与信道量化结果具有竞争力。
2020-08-13 cs.CV cs.LG stat.ML
Post-Training Sparsity-Aware Quantization
Technion — Israel Institute of Technology(以色列理工学院);Ruppin Academic Center(鲁平学术中心)
量化是一种在深度神经网络(DNN)中使用的技术,用于提高执行性能和硬件效率。统一的后训练量化(PTQ)方法是常见的,因为它们可以在硬件中有效地实现,并且不需要大量的硬件资源或训练集。使用统一PTQ将FP 32模型映射到INT 8产生的模型精度下降可以忽略不计;然而,使用PTQ将精度降低到8位以下具有挑战性,因为由于量化噪声的增加,精度下降变得明显。在本文中,我们提出了一种稀疏感知量化(SPARQ)方法,在该方法中,非结构化和动态激活稀疏性在不同的表示粒度中被利用。4-例如,通过动态检查8位值的位并选择4位的窗口,同时首先跳过零值位,来采用位量化。此外,不是将逐个激活量化为4位,而是关注成对的8位激活,并检查两者之一是否等于零。如果一个等于零,则第二个可以机会性地使用另一个的4比特预算;如果两者都不等于零,则每个被动态量化为4比特,如所描述的。SPARQ实现了较小的精度下降和实际的硬件实现。该代码可在https://github.com/gilshm/sparq上获得。
2021-10-28 cs.AR cs.CV cs.LG
EPTQ: Enhanced Post-Training Quantization via Hessian-guided Network-wise Optimization
Sony Semiconductor Israel(索尼半导体以色列公司)
提出增强型训练后量化方法EPTQ,利用无标签Hessian矩阵上界构建样本-层注意力分数与知识蒸馏损失,实现跨层依赖的网络级优化,在多种视觉任务上达到SOTA。
2024-09-26 cs.CV cs.LG
Gradient-Based Post-Training Quantization: Challenging the Status Quo
CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Datakalab
本文系统审视 GPTQ 的设计选择,给出问题建模与优化实践,并提出基于重要性的混合精度方法,显著提升多种网络和 GPTQ 方法的量化性能。
2023-08-15 cs.CV cs.LG
Up or Down? Adaptive Rounding for Post-Training Quantization
Qualcomm AI Research, an initiative of Qualcomm Technologies, Inc.(高通人工智能研究院(高通技术公司旗下研究机构))
当量化神经网络时,将每个浮点权重分配给其最近的定点值是主要的方法。我们发现,也许令人惊讶的是,这不是我们能做的最好的。在本文中,我们提出了AdaRound,一个更好的权重舍入机制,后训练量化,适应数据和任务损失。AdaRound速度快,不需要对网络进行微调,只使用少量未标记的数据。我们首先从理论上分析预训练神经网络的舍入问题。通过泰勒级数展开近似的任务损失,舍入任务是作为一个二次无约束的二元优化问题。我们将其简化为逐层局部损失,并建议使用软松弛来优化此损失。AdaRound不仅在性能上明显优于舍入到最近,而且还为多个网络和任务的后训练量化建立了一个新的最先进的方法。在没有微调的情况下,我们可以将Resnet18和Resnet50的权重调整为4位,同时保持在1%的精度损失内。
2020-06-30 cs.CV cs.LG stat.ML
BayesQ: Uncertainty-Guided Bayesian Quantization
Multidisciplinary Faculty of Nador, Mohammed Premier University, Oujda 60000, Morocco(摩洛哥奥伊达大学多学科学院);Laboratory LaSTI, ENSAK, Sultan Moulay Slimane University, Khouribga 54000, Morocco(摩洛哥库尔希布加大学LaSTI实验室)
提出BayesQ,一种不确定性引导的训练后量化框架,首次在posterior期望损失下优化量化,通过高斯posterior拟合、协方差白化、码本设计和贪婪背包混合精度分配,在ResNet-50和BERT-base上优于强PTQ基线。
2025-11-11 cs.CL cs.CV cs.LG
Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance
Houmo AI(后摩智能);Huazhong University of Science & Technology(华中科技大学);Tencent AI Lab(腾讯人工智能实验室);Peking University(北京大学)
后训练量化(PTQ)是一种用于压缩深度神经网络(DNN)而不修改其原始架构或训练过程的流行方法。尽管PTQ方法的有效性和方便性,但在一些极端情况下,如分布偏移和数据噪声的存在下,PTQ方法的可靠性仍有待进一步研究。本文首先研究了这个问题上的各种常用的PTQ方法。我们的目标是回答几个相关的研究问题的影响,校准集分布的变化,校准范式的选择,和数据增强或抽样策略PTQ的可靠性。一个系统的评估过程是在广泛的任务和常用的PTQ范式进行。结果表明,大多数现有的PTQ方法是不够可靠的最坏情况下的组性能,突出需要更强大的方法。我们的研究结果为开发PTQ方法提供了见解,这些方法可以有效地处理分布偏移场景,并在现实世界的应用中部署量化的DNN。
2023-03-23 cs.CV cs.LG
KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers
EPFL(洛桑联邦理工学院);Advanced Micro Devices, Inc.(超威半导体公司)
研究针对扩散Transformer训练后量化到W4A4质量严重下降问题,提出KroQuant方法,对激活值3个2元素块应用克罗内克结构可逆变换,存储参数少,运行快,结合离线LoRaQ权重校准,输出更接近FP参考且保持或提高图像质量。
2026-07-24 cs.CV cs.LG
HPTQ: Hardware-Friendly Post Training Quantization
Sony Semiconductor Israel(索尼半导体以色列公司)
神经网络量化支持在边缘设备上部署模型。其硬件效率的一个基本要求是量化器是硬件友好的:均匀,对称,并与2的幂阈值。据我们所知,目前的训练后量化方法并不能同时支持所有这些约束。在这项工作中,我们引入了一个硬件友好的后训练量化(HPTQ)框架,它通过协同结合几种已知的量化方法来解决这个问题。我们进行了大规模的研究四个任务:分类,目标检测,语义分割和姿势估计在各种各样的网络架构。我们广泛的实验表明,有竞争力的结果,可以在硬件友好的约束。
2021-11-16 cs.AI cs.CV
QDrop: Randomly Dropping Quantization for Extremely Low-bit Post-Training Quantization
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院)
最近,后训练量化(PTQ)已经引起了人们的广泛关注,以产生高效的神经网络,而无需长时间的再训练。尽管其成本低,但目前的PTQ工作往往在极低的位设置下失败。在这项研究中,我们开创性地确认,适当地将激活量化到PTQ重建的最终准确性的好处。为了深入理解其内在原因,建立了一个理论框架,指出优化后的低比特模型在校准和测试数据上的平坦性是至关重要的。在此基础上,提出了一种简单而有效的方法QDROP,该方法在PTQ过程中随机丢弃激活的量化。在包括计算机视觉(图像分类、目标检测)和自然语言处理(文本分类和问答)在内的各种任务上的广泛实验证明了其优越性。通过QDROP,PTQ的极限首次被推到2位激活,准确率提升高达51.49%。没有花里胡哨,QDROP为PTQ建立了一个新的艺术状态。我们的代码可以在https://github.com/wimh966/QDrop上找到,并已集成到MQBench(https://github.com/ModelTC/MQBench)中。
2023-02-21 cs.AI cs.CV
Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(多模态人工智能系统国家重点实验室,中国科学院自动化所);School of Artificial Intelligence, UCAS(人工智能学院,中国科学院大学);Beijing National Research Center for Information Science and Technology(北京信息科学研究中心);Institute of Artificial Intelligence, USTB(信息科学技术大学人工智能学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Zhongguancun Academy(中关村学院)
本文提出细粒度后训练量化方法,通过量化感知集成梯度评估token敏感性,提升大型视觉语言模型的精度与效率。
2026-03-18 cs.AI cs.CV
Evaluating the Impact of Post-Training Quantization on Reliable VQA with Multimodal LLMs
TU Darmstadt(图宾根大学);Toyota Motor Europe(丰田欧洲公司)
本文研究了后训练量化对多模态大语言模型可靠视觉问答的影响,提出通过选择器置信度估计器提升可靠性,并在不同量化方法中实现了效率与可靠性的最佳平衡。
2026-02-08 cs.AI cs.CV
QVD: Post-training Quantization for Video Diffusion Models
Beihang University(北京航空航天大学);Meituan(美团)
针对视频扩散模型的高延迟和内存消耗问题,提出首个定制训练后量化策略QVD,通过高时间判别性量化和分散通道范围集成方法,在W8A8上实现接近无损性能,FVD提升205.12。
2024-07-17 cs.AI cs.CV
IPTQ-ViT: Post-Training Quantization of Non-linear Functions for Integer-only Vision Transformers
Chungnam National University(Chungnam 国立大学);Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究院)
针对现有视觉Transformer量化方法难以兼顾无重训练、全整数推理与精度的问题,提出IPTQ-ViT训练后量化框架,通过定制非线性近似函数与层适配选择策略,实现了优于同类PTQ方法、媲美QAT方法的性能。
2025-11-19 cs.AI cs.CV
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.(三星半导体有限公司);Microsoft(微软)
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的,因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数,建立了一种统一的后训练量化方案,取得了令人满意的结果。然而,当量化到较低的比特宽度时,它遭受显著的性能下降。在本文中,我们提出了一个分段线性量化(PWLQ)计划,使张量值,具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域,每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明,与现有的训练后量化方法相比,该方法在图像分类、语义分割和目标检测等方面具有更好的性能,且开销较小.
2020-03-18 cs.CV cs.LG
AIQViT: Architecture-Informed Post-Training Quantization for Vision Transformers
Sun Yat-sen University(中山大学);Aviation University of Air Force(空军航空大学)
本文提出AIQViT方法,通过架构信息引导的低秩补偿和动态聚焦量化器,解决视觉Transformer训练后量化中权重量化损失和Softmax后激活分布不平衡问题,在多个视觉任务上取得优于现有PTQ方法的性能。
2025-02-07 cs.CV
Towards Accurate Post-training Quantization for Diffusion Models
Shenzhen International Graduate School(深圳国际研究生院);Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
本文提出无数据训练后量化框架ADP-DM,通过分组量化函数和最优时间步校准图像生成,显著降低扩散模型量化误差并提升图像生成性能。
2024-04-30 cs.CV