ROSAQ: Rotation-based Saliency-Aware Weight Quantization for Efficiently Compressing Large Language Models
Jeonbuk National University(全州国立大学);Naver;UNIST(全南国立科学技术大学)
针对大语言模型压缩需求,提出基于旋转不变性的ROSAQ量化方法,通过PCA投影识别显著通道并采用混合精度量化,性能优于现有方法,且内核融合后推理速度达FP16的2.3倍。
2025-06-17 cs.AI cs.CL
Scaling Law for Quantization-Aware Training
The University of Hong Kong(香港大学);ByteDance Seed(字节跳动种子)
针对现有量化感知训练(QAT)缩放定律忽略关键因素的问题,提出统一的QAT缩放定律,通过实验揭示W4A4量化误差的变化规律与来源,为QAT研发提供关键洞见。
2025-05-20 cs.CL cs.LG
L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models
Seoul National University(首尔国立大学);Sungkyunkwan University(松江大学)
本文提出 L4Q,将 QAT 与 LoRA 结合并通过内存优化层设计降低训练开销,在 4-bit/3-bit 量化及语言、少样本任务中优于解耦方案。
2025-07-22 cs.CL cs.LG
AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization
University of Waterloo(滑铁卢大学)
提出AAAC方法,通过每层两个小型学习码本(64字节)替代固定标量码本,以激活加权重建误差最小化选择码本,实现零额外存储开销的4位权重量化,在3-30分钟内完成量化,精度优于现有方法。
2026-06-05 cs.CL cs.LG
Enhancing Post-Training Quantization via Future Activation Awareness
Zhejiang University(浙江大学);Tencent(腾讯)
通过利用未来层激活信息,提出Future-Aware Quantization方法,有效提升后训练量化效果,适用于边缘部署。
2026-01-28 cs.CL cs.CV cs.LG
When Quantization Preserves Accuracy but Not Evidence: Explanation-Aware Post-Training Quantization for Medical LLMs
University of Alberta(阿尔伯塔大学)
针对医学LLM的PTQ,提出解释感知目标,通过保真度缓存保留支持答案的证据,优于仅保留准确性的基线。
2026-09-22 cs.AI cs.CL
SiLQ: Simple Large Language Model Quantization-Aware Training
IBM Research(IBM研究院)
提出SiLQ这一简单端到端量化感知训练方法,以不到0.1%的额外训练预算在多个基准上显著超越现有领先量化方法,且兼容不同架构与专用推理加速器。
2025-07-22 cs.AI cs.CL cs.LG
LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models
Georgia Tech(佐治亚理工学院);Microsoft Azure(微软Azure)
本文提出LoftQ框架,在量化LLM的同时为LoRA微调寻找合适的低秩初始化,以缩小量化模型与全精度模型的差距,在2位及2/4位混合精度下显著提升下游任务性能。
2023-11-28 cs.AI cs.CL cs.LG
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
Alibaba Token Hub, Alibaba Group(阿里巴巴集团阿里云Token Hub);Ohio State University(俄亥俄州立大学)
TRACE通过rollout引导的量化感知训练对齐训练与rollout路径,减少FP4 RL差异,实现MoE模型高效RL训练,性能接近BF16并获5.4倍加速。
2026-10-12 cs.CL cs.LG
Enhancing Ultra-Low-Bit Quantization of Large Language Models Through Saliency-Aware Partial Retraining
The University of Tokyo(东京大学);Department of Mechanical and Industrial Engineering, University of Toronto(多伦多大学机械与工业工程系)
针对大语言模型超低比特量化的精度下降问题,本研究基于对ApiQ方法的改进探索,提出显著性感知部分重训练方法,在LLaMA基准上显著降低精度损失,且无需全量重训练。
2025-07-30 cs.CL cs.LG
QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction
Together AI;Cornell University(康奈尔大学)
QUASAR是一种QAT方法,通过训练循环中轻量级损失感知重构降低大语言模型量化损失下限,在2-4比特下优于现有方法,提升了低比特模型准确率。
2026-10-07 cs.CL cs.LG stat.ML
GWQ: Gradient-Aware Weight Quantization for Large Language Models
PKU(北京大学);CASIA(中国科学院自动化研究所);THU(清华大学);USTB(中国矿业大学);UNITN(意大利那不勒斯);ETHz(苏黎世联邦理工学院);PolyU(香港理工大学);UCAS(中国科学院大学)
针对大型语言模型部署困难的问题,提出梯度感知权重量化方法(GWQ),利用梯度和少量校准数据定位异常值,保留前1%异常值为FP16精度,其余低比特存储,在多任务上优于其他方法并实现1.2倍推理加速。
2025-05-29 cs.AI cs.CL cs.LG
EfficientQAT: Efficient Quantization-Aware Training for Large Language Models
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室)
针对大语言模型量化感知训练资源消耗过高的问题,提出包含全参数分块训练与量化参数端到端训练两阶段的EfficientQAT算法,在多种规模与类型的LLM低比特量化任务中性能优于现有方法,且训练资源需求大幅降低。
2025-05-19 cs.AI cs.CL cs.LG
QUICK: Quantization-aware Interleaving and Conflict-free Kernel for efficient LLM inference
SqueezeBits Inc.(SqueezeBits公司)
本文提出QUICK,一组新型优化CUDA内核,通过离线交错量化权重矩阵以跳过反量化后的共享内存写回,解决了混合精度矩阵乘法的共享内存库冲突问题,在多种NVIDIA GPU上实现了最高1.91倍加速和1.94倍吞吐量提升。
2024-02-15 cs.AI cs.CL cs.LG
EAQuant: Enhancing Post-Training Quantization for MoE Models via Expert-Aware Optimization
Huawei Noah's Ark Lab(华为诺亚实验室);Beihang University(北航大学)
EAQuant通过专家意识优化创新,提升MoE模型在超低比特下的高精度量化性能,显著优于现有方法。
2026-02-01 cs.CL
AKVQ-VL: Attention-Aware KV Cache Adaptive 2-Bit Quantization for Vision-Language Models
Tsinghua University(清华大学);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出AKVQ-VL,一种面向视觉语言模型的自适应2比特KV缓存量化方法,利用文本和枢轴token显著注意力模式分配比特预算并结合WHT处理异常值,在12个任务上保持或提升准确率,显著降低内存并提升吞吐量。
2025-01-25 cs.CL
QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models
Seoul National University(首尔国立大学);Sungkyunkwan University(全北国立大学)
本文提出QWHA方法,通过将基于傅里叶变换的适配器与沃尔什-哈达玛变换结合,改进量化感知参数高效微调,有效减少量化误差并降低计算成本。
2026-01-27 cs.CL
SQuAT: Sharpness- and Quantization-Aware Training for BERT
量化是减少深度学习模型的内存占用、推理延迟和功耗的有效技术。然而,现有的量化方法相比于全精度(FP)模型,由于通过不可微量化层的粗梯度估计引入的误差而遭受精度降级。过度参数化模型的损失景观中存在尖锐的局部极小值(例如,Transformers)在低位(2、4位)设置中倾向于加重这种性能损失。在这项工作中,我们提出了清晰度和量化感知训练(SQuAT),这将鼓励模型在执行量化感知训练的同时收敛到更平坦的最小值。我们提出的方法在锐度目标和步长目标之间交替训练,这可能会让模型学习最合适的参数更新幅度,以达到收敛接近平坦的最小值。大量的实验表明,我们的方法可以始终优于国家的最先进的量化BERT模型下的2,3,和4位设置GLUE基准的1%,有时甚至可以优于全精度(32位)模型。我们对锐度的经验测量的实验也表明,与其他量化方法相比,我们的方法将导致更平坦的最小值。
2022-10-13 cs.CL cs.LG
QuAILoRA: Quantization-Aware Initialization for LoRA
Amazon(亚马逊公司)
本文提出QuAILoRA,一种面向LoRA的量化感知初始化方法,通过在初始化阶段减少量化误差来缓解QLoRA微调中的性能损失,在几乎不增加内存成本的情况下显著提升4位量化模型的验证困惑度和下游任务准确率。
2024-10-09 cs.CL cs.LG
Teacher Intervention: Improving Convergence of Quantization Aware Training for Ultra-Low Precision Transformers
Hanyang University(汉阳大学);Seoul National University(首尔国立大学)
预训练的Transformer模型(如BERT)在广泛的应用中取得了巨大的成功,但代价是模型复杂性大幅增加。量化感知训练(QAT)是一种很有前途的方法,以降低实现成本和能源消耗。然而,由于不稳定的收敛,低于2位的积极量化会导致相当大的精度下降,特别是当下游数据集不丰富时。这项工作提出了一种积极主动的知识蒸馏方法,称为教师干预(TI)的快速收敛QAT的超低精度预先训练的Transformers。TI用来自教师的完整信号干预逐层信号传播,以消除传播的量化误差的干扰,平滑QAT的损失表面并加速收敛。此外,我们提出了一个渐进的干预机制,以稳定恢复的Transformer层的子部分从量化。所提出的计划,使QAT的快速收敛,提高模型的精度,而不管下游微调任务的不同特点。我们证明,TI一贯实现卓越的准确性与显着较低的微调迭代著名的Transformers的自然语言处理以及计算机视觉相比,国家的最先进的QAT方法。
2023-02-23 cs.AI cs.CL
Quantization-Aware and Tensor-Compressed Training of Transformers for Natural Language Understanding
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出量化感知的张量压缩训练方法,将Transformer嵌入层和线性层压缩为低秩张量核心并结合可学习尺度因子的量化训练,在自然语言理解任务中实现最高63倍压缩率且精度损失极小。
2023-07-08 cs.AI cs.CL
Understanding and Improving Knowledge Distillation for Quantization-Aware Training of Large Transformer Encoders
Hanyang University(汉阳大学)
知识蒸馏(KD)是模型压缩的一种常用方法,它利用教师传授的知识来增强轻量级模型的能力。特别地,KD已被用于Transformer编码器(如BERT)的量化感知训练(QAT)中,以利用降低精度的权重参数来提高学生模型的准确性。然而,很少有人知道哪种KD方法最适合Transformers的QAT。在这项工作中,我们提供了一个深入的分析机制KD的注意力恢复的量化大Transformers。特别是,我们发现,以前采用的MSE损失的注意力分数是不够的恢复自我注意力的信息。因此,我们提出了两种KD方法:注意力地图和注意力输出损失。此外,我们探讨了这两种损失的统一,以解决注意力地图和输出损失之间的任务依赖性偏好。在各种Transformer编码器模型上的实验结果表明,所提出的KD方法实现了最先进的精度与子2位权重量化的QAT。
2022-11-20 cs.AI cs.CL
TARQ: Tail-Aware Reconstruction Quantization for Rare-Word Robust Automatic Speech Recognition
McGill University(麦吉尔大学);Boson AI;Arizona State University(亚利桑那州立大学)
提出TARQ,一种无标签的后训练量化框架,通过尾部感知重建损失和罕见词平衡规则,在不增加额外训练的情况下显著降低罕见词错误率。
2026-05-27 cs.CL cs.MM