Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva(日内瓦大学)
残差量化(RQ)框架被重新审视,其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发,引入了对码字方差的有效正则化,其允许针对非常大量的层以及针对高维数据扩展RQ,而不会过度训练。所提出的正则化残差量化(RRQ)导致额外稀疏的多层字典,这要归功于当应用于方差衰减数据时正则化的软阈值性质,方差衰减数据可以由应用于相关数据的去相关变换引起。此外,我们还提出了一个通用的预处理自然图像,使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试,以显示其在高维数据量化方面的效率。接下来,我们在面部图像数据库的超分辨率中使用RRQ,其中示出了来自测试集的低分辨率面部图像,该测试集使用在来自训练集的高分辨率图像上训练的码本量化,当使用这些码本重建时,显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
Saliency-Aware Regularized Quantization Calibration for Large Language Models
University of Science and Technology of China(中国科学技术大学);University College London(伦敦大学学院);Shanghai University of Finance and Economics(上海财经大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Copenhagen(哥本哈根大学);Imperial College London(伦敦帝国学院);Technical University of Denmark(丹麦技术大学);Peking University(北京大学)
本文提出SARQC,通过引入显著性感知正则化改进量化校准,提升大语言模型的泛化能力,实验表明在密集和专家混合模型中提升了困惑度和零样本准确率。
2026-05-08 cs.AI cs.LG
Quantization-Aware Collaborative Inference for Large Embodied AI Models
Department of Information Science and Engineering, KTH Royal Institute of Technology(信息科学与工程系,皇家理工学院);Research Institute for Digital Future, Khalifa University(数字未来研究院,哈利法大学);Department of Electrical and Computer Engineering, Princeton University(电气与计算机工程系,普林斯顿大学)
本文提出了一种量化感知的协作推理方法,通过联合优化量化位宽和计算频率,以在资源受限的具身AI系统中平衡推理质量、延迟和能耗。
2026-02-13 cs.LG eess.SP
TTQ: Activation-Aware Test-Time Quantization to Accelerate LLM Inference On The Fly
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
本文提出TTQ框架,在推理时动态压缩大模型,通过高效在线校准实现无需重训练的激活感知量化,提升推理速度并适应不同下游任务。
2026-03-11 cs.CL cs.LG eess.SP
TQ-DiT: Efficient Time-Aware Quantization for Diffusion Transformers
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出 TQ-DiT 方法,通过多区域量化和时间分组量化解决扩散 Transformer 中数值分布不对称及激活值时间变化问题,在 W8A8 和 W6A6 低比特量化下实现接近全精度模型的性能。
2025-02-06 cs.LG eess.SP
How to Parameterize Asymmetric Quantization Ranges for Quantization-Aware Training
Qualcomm AI Research(高通人工智能研究部)
本文研究了量化感知训练中非对称均匀量化的三种参数化方法,通过受控实验和大语言模型分析其对关键超参数的响应,并提出了稳定和加速训练的最佳实践。
2024-04-25 cs.AI cs.LG
Emotion and Theme Recognition in Music with Frequency-Aware RF-Regularized CNNs
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
我们向MediaEval 2019提交了CP-JKU提交;一种接受场(RF)正则化和频率感知的CNN方法,用于用情感/情绪标签标记音乐。我们对CNN的RF对其在该数据集上的性能的影响进行了调查。我们观察到,具有较小感受野的ResNet-最初适用于声学场景分类-在情感标签任务中也表现良好。我们使用频率感知和Shake-Shake正则化等技术来提高这种架构的性能,这些技术在以前的工作中用于一般的声学识别任务。
2019-10-28 cs.LG cs.MM cs.SD
Loss-aware Weight Quantization of Deep Networks
Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科技大学)
深度网络的巨大规模阻碍了它们在小型计算设备中的使用。在本文中,我们考虑压缩网络的重量量化。我们将最近提出的损失感知权重二值化方案扩展到三值化,对于正权重和负权重可能具有不同的缩放参数,以及m位(其中m > 2)量化。在前馈和递归神经网络上的实验表明,该方案优于最先进的权重量化算法,并且与全精度网络一样准确(甚至更准确)。
2018-05-10 cs.LG
An Uncertainty-Aware Pseudo-Label Selection Framework using Regularized Conformal Prediction
针对伪标签因模型校准差而产生错误高置信预测的问题,本文提出基于保形正则化不确定性集合的不确定性感知伪标签选择框架,以减少噪声训练样本。
2023-08-30 cs.LG
Optimal Clipping and Magnitude-aware Differentiation for Improved Quantization-aware Training
NVIDIA Corporation(英伟达公司)
数据裁剪对于减少量化操作中的噪声和提高量化感知训练(QAT)的可实现精度至关重要。目前的实践依赖于算法来设置裁剪阈值标量,并且不能被证明是最佳的。我们提出了最优裁剪张量和矢量(OCTAV),一个递归算法来确定MSE最优裁剪标量。OCTAV源自快速Newton-Raphson方法,在QAT例程的每次迭代中为每个张量动态地找到最佳裁剪标量。因此,QAT算法在每一步都用可证明的最小量化噪声来制定。此外,我们揭示了QAT中常见的梯度估计技术的局限性,并提出了幅度感知微分作为进一步提高准确性的补救措施。在实验中,支持OCTAV的QAT在多个任务上实现了最先进的精度。这些包括从头开始训练和重新训练ImageNet上的ResNets和MobileNets,以及使用BERT模型的Squad微调,其中支持OCTAV的QAT在低精度(4到6位)下始终保持准确性。我们的结果不需要修改基线训练配方,除了在适当的地方插入量化操作。
2022-06-13 cs.LG
Error-aware Quantization through Noise Tempering
量化已经成为模型压缩的主要方法,使得能够将在GPU上训练的大型模型部署到较小形状因子的设备上进行推理。量化感知训练(QAT)在模拟量化误差的同时,优化了最终任务的模型参数,从而获得了比训练后量化更好的性能。通过不可微量化算子的梯度近似通常使用直通估计器(STE)或加性噪声来实现。然而,基于STE-based的方法遭受不稳定,由于有偏梯度,而现有的基于噪声的方法不能减少所得到的方差。在这项工作中,我们将指数衰减的量化误差感知噪声与可学习的任务损失梯度尺度一起近似量化算子的效果。我们表明,该方法以更好的优化方式结合了梯度尺度和量化噪声,在每个权重和激活层的量化器bin大小处提供更细粒度的梯度估计。我们的受控噪声还包含一个隐式曲率项,可以鼓励更平坦的最小值,我们在实验中证明了这一点。在CIFAR-10,CIFAR-100和ImageNet基准测试上训练ResNet架构的实验表明,我们的方法在均匀(非混合精度)量化的情况下获得了最先进的top-1分类精度,比以前的方法绝对性能高出0.5-1.2%。
2022-12-11 cs.LG
Quantization through Piecewise-Affine Regularization: Optimization and Statistical Guarantees
University of Pennsylvania(宾夕法尼亚大学);Meta FAIR
本文研究分段仿射正则化(PAR)在监督学习中的优化与统计理论基础,证明过参数化下临界点具有量化特性,推导多种PAR的闭式近端映射及求解算法,并给出线性回归的统计保证。
2025-08-14 cs.AI cs.LG math.OC
DAQ: Delta-Aware Quantization for Post-Training LLM Weight Compression
Tencent(腾讯)
DAQ通过Delta感知量化方法在无需数据的情况下实现训练后LLM权重压缩,优化方向保真度以恢复特定风格能力。
2026-03-20 cs.AI cs.LG
Regularization-based Framework for Quantization-, Fault- and Variability-Aware Training
Electrical Engineering Department(电子工程系);IIT Bombay(印度理工学院班加罗尔)
提出基于正则化的量化感知训练框架,支持多种量化方式并扩展至脉冲神经网络,在非理想硬件中显著缓解故障与变异性影响,提升性能恢复。
2025-07-12 cs.LG
RepQ: Generalizing Quantization-Aware Training for Re-Parametrized Architectures
Huawei Technologies Co. Ltd.(华为技术有限公司)
针对重参数化与量化结合研究不足的问题,提出通用量化感知训练方法RepQ,基于重参数化层测试权重的可微函数形式实现训练,在多类模型上性能优于LSQ基线。
2023-11-09 cs.LG
Wideband and Entropy-Aware Deep Soft Bit Quantization
University of Texas at Austin(德克萨斯大学奥斯汀分校)
深度学习最近已被应用于数字通信系统中的物理层处理,以提高端到端性能。在这项工作中,我们介绍了一种新的深度学习解决方案,用于跨宽带信道的软比特量化。我们的方法是训练端到端的量化和熵感知增强的损失函数,并在推理与源编码结合使用,以实现近最佳的压缩增益在宽带信道。为了有效地训练我们的方法,我们证明和验证,一个固定的特征空间量化方案是足够的有效学习。当在训练期间从未见过的信道分布上进行测试时,与先前的最先进的方法相比,所提出的方法在高SNR状态下实现了高达$10 \%$的压缩增益。为了鼓励可重复的研究,我们的实现在https://github.com/utcsilab/wideband-llr-deep上公开。
2021-10-18 cs.IT cs.LG eess.SP
Flow-ERD: Agent-type Aware Flow Matching With Entropy-Regularized Distillation for Diverse Traffic Simulation
NAVER LABS Corp.(NAVER实验室公司)
为解决交通模拟中多样性未被充分探索的问题,提出Flow-ERD模拟器,其核心方法是智能体类型感知流匹配与熵正则化蒸馏,能联合追求现实性和多样性,在测试基准中排名第一,主导帕累托前沿。
2026-10-26 cs.LG cs.RO
Pioneering 4-Bit FP Quantization for Diffusion Models: Mixup-Sign Quantization and Timestep-Aware Fine-Tuning
School of Information Science and Technology, Fudan University(信息科学与技术学院,复旦大学);Academy for Engineering and Technology, Fudan University(工程与技术学院,复旦大学)
本文提出MSFP框架,首次在扩散模型4位量化中引入无符号浮点量化,结合TALoRA和DFA解决非对称分布与微调错位问题,性能超越现有4位整数量化方法。
2025-05-27 cs.AI cs.LG
Loss Aware Post-training Quantization
Intel – Artificial Intelligence Products Group (AIPG)(英特尔——人工智能产品集团(AIPG));Technion – Israel Institute of Technology(以色列理工学院)
神经网络量化使得能够在资源受限的设备上部署大型模型。当前的后训练量化方法在针对INT 4(或更低)的准确度方面不足,但是为INT 8(或更高)提供合理的准确度。在这项工作中,我们研究了量化的损失景观的结构上的效果。此外,我们表明,该结构是平坦的,可分离的温和的量化,使简单的后训练量化方法,以达到良好的效果。我们发现,随着更积极的量化,损失景观变得高度不可分离的陡峭曲率,使量化参数的选择更具挑战性。有了这样的理解,我们设计了一种方法,量化层参数联合,使显着的准确性提高,目前的后训练量化方法。参考实现可从https://github.com/ynahshan/nn-quantization-pytorch/tree/master/lapq获得
2020-03-16 cs.CV cs.LG
SQuAT: Sharpness- and Quantization-Aware Training for BERT
量化是减少深度学习模型的内存占用、推理延迟和功耗的有效技术。然而,现有的量化方法相比于全精度(FP)模型,由于通过不可微量化层的粗梯度估计引入的误差而遭受精度降级。过度参数化模型的损失景观中存在尖锐的局部极小值(例如,Transformers)在低位(2、4位)设置中倾向于加重这种性能损失。在这项工作中,我们提出了清晰度和量化感知训练(SQuAT),这将鼓励模型在执行量化感知训练的同时收敛到更平坦的最小值。我们提出的方法在锐度目标和步长目标之间交替训练,这可能会让模型学习最合适的参数更新幅度,以达到收敛接近平坦的最小值。大量的实验表明,我们的方法可以始终优于国家的最先进的量化BERT模型下的2,3,和4位设置GLUE基准的1%,有时甚至可以优于全精度(32位)模型。我们对锐度的经验测量的实验也表明,与其他量化方法相比,我们的方法将导致更平坦的最小值。
2022-10-13 cs.CL cs.LG
Arithmetic-Intensity-Aware Quantization
Harvard College(哈佛学院)
AIQ通过动态调整每层位宽提升算力并保持精度,适用于内存受限的神经网络模型。
2025-12-17 cs.AI cs.LG
Quantization-Aware Regularizers for Deep Neural Networks Compression
Italian MUR PRIN project(意大利MUR PRIN项目);National Plan for NRRP Complementary Investments(国家NRRP补充投资计划)
本文提出了一种深度神经网络压缩方法,通过在训练过程中引入每层正则化项,使权重自然形成聚类,从而减少量化带来的精度损失,同时保持压缩潜力,并首次将量化参数嵌入反向传播过程。
2026-02-03 cs.LG
Preserving Continuous Symmetry in Discrete Spaces: Geometric-Aware Quantization for SO(3)-Equivariant GNNs
本文提出几何感知量化框架,通过分离不变长度与等价方向,改进等价GNNs的量化方法,实现对称性保护并提升计算效率。
2026-03-16 cs.LG
FairQuant: Fairness-Aware Mixed-Precision Quantization for Medical Image Classification
Department of Computer Science, University of Copenhagen, Denmark(计算机科学系,哥本哈根大学,丹麦)
FairQuant通过公平性感知的混合精度量化方法,在医学图像分类中提升模型精度和公平性,实现性能与效率的平衡。
2026-02-26 cs.CV cs.LG
CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training
Anonymous Authors(匿名作者)
提出CAGE方法,通过曲率感知校正项改进直通估计器,平衡损失最小化与量化约束,在平滑非凸设置下提供收敛保证,显著提升低比特量化感知训练的精度。
2026-06-19 cs.LG
The Impact of Quantization on Large Reasoning Model Reinforcement Learning
Pennsylvania State University(宾夕法尼亚州立大学);d-Matrix
本文研究了量化对大推理模型强化学习的影响,发现量化感知训练对学习过程有负面影响,而PTQ和QLoRA能提升性能。
2025-11-19 cs.LG
FrostNet: Towards Quantization-Aware Network Architecture Search
Sogang University(西江大学);NAVER Corporation(NAVER公司)
INT 8量化已经成为在边缘设备上部署卷积神经网络(CNN)以减少内存和计算资源使用的标准技术之一。通过分析现有的移动目标网络架构的量化性能,我们可以提出一个问题,网络架构的重要性,最佳的INT 8量化。在本文中,我们提出了一个新的网络架构搜索(NAS)过程,以找到一个网络,保证全精度(FLOAT 32)和量化(INT 8)的性能。首先,我们提出了关键但简单的优化方法,使量化感知训练(QAT):浮点统计辅助(StatAssist)和随机梯度提升(GradBoost)。通过将基于梯度的NAS与StatAssist和GradBoost集成,我们发现了一个量化高效的网络构建块,Frost瓶颈。此外,我们使用Frost瓶颈作为硬件感知NAS的构建块,以获得量化效率高的网络FrostNets,与其他移动目标网络相比,它显示出更好的量化性能,同时保持有竞争力的FLOAT 32性能。我们的FrostNet比现有的CNN在量化时具有更高的识别准确率,由于更高的延迟减少率(平均65%)。
2020-11-30 cs.CV cs.LG stat.ML
Overcoming Oscillations in Quantization-Aware Training
Qualcomm AI Research, an initiative of Qualcomm Technologies, Inc.(高通人工智能研究院(高通技术公司旗下研究机构))
当用模拟量化训练神经网络时,我们观察到量化的权重可以在两个网格点之间振荡,这是出乎意料的。这种效应的重要性及其对量化感知训练(QAT)的影响在文献中没有得到很好的理解或研究。在本文中,我们深入研究了权重振荡现象,并表明由于在推理过程中错误估计了批量归一化统计数据,以及在训练过程中增加了噪声,它可能会导致显著的准确性下降。这些效应在具有深度可分离层的高效网络(例如MobileNet和EfficientNets)的低比特($\leq$ 4比特)量化中特别明显。在我们的分析中,我们调查了几个以前提出的QAT算法,并表明,其中大多数是无法克服振荡。最后,我们提出了两种新的QAT算法来克服训练过程中的振荡:振荡阻尼和迭代权重冻结。我们证明了我们的算法在低位(3位和4位)权重和有效架构(如MobileNetV 2,MobileNetV 3和ImageNet上的EfficentNet-lite)的激活量化方面达到了最先进的精度。我们的源代码可以在{https://github.com/qualcomm-ai-research/oscillations-qat}上找到。
2022-06-28 cs.LG
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);The Hong Kong Polytechnic University(香港理工大学)
提高点击率(CTR)预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起,具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中,利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性,提出了一种时间感知的注意力模型,该模型明确地使用绝对时间信号来表示用户的周期性行为,使用相对时间信号来表示项目之间的时间关系。此外,我们提出了一种正则化的对抗抽样策略的负采样,缓解了CTR数据的分类不平衡,并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率,并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集,从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
QuAILoRA: Quantization-Aware Initialization for LoRA
Amazon(亚马逊公司)
本文提出QuAILoRA,一种面向LoRA的量化感知初始化方法,通过在初始化阶段减少量化误差来缓解QLoRA微调中的性能损失,在几乎不增加内存成本的情况下显著提升4位量化模型的验证困惑度和下游任务准确率。
2024-10-09 cs.CL cs.LG
QUAIL: Quantization Aware Unlearning for Mitigating Misinformation in LLMs
Department of Computer Science University of British Columbia(计算机科学系 首都大学)
QUAIL通过量化感知去学习方法,有效缓解大语言模型中因量化导致的虚假信息恢复问题。
2026-01-21 cs.AI cs.LG
A Target-Centric Survey of Quantization-Aware Training
Northeastern University(东北大学);Shandong University(山东大学);LMU Munich(慕尼黑大学);MCML(慕尼黑计算与机器学习中心)
该研究针对大型语言模型的高内存与高计算需求问题,开展以目标为中心的量化感知训练(QAT)综述,梳理其理论基础、方法分类、评估范式及挑战,为未来研究指明方向。
2026-09-01 cs.LG
Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training
ISTA;EPFL
针对量化感知训练中激进量化损害性能的问题,提出Q-PACE方法,通过二阶敏感性模型动态分配层精度,在低内存预算下保持损失性能,并在40亿参数LLM上验证其有效性。
2026-10-08 cs.LG
Value-aware Quantization for Training and Inference of Neural Networks
Seoul National University(首尔国立大学);Facebook(脸书)
我们提出了一种新的值感知量化,它适用于积极降低精度的大部分数据,同时单独处理少量的大数据在高精度,这减少了总的量化误差下非常低的精度。我们提出了新的技术来应用所提出的量化训练和推理。实验表明,我们的3位激活方法(2%的大激活)可以提供与全精度相同的训练精度,同时与最先进的方法相比,ResNet-152和Inception-v3中激活的内存成本显着降低(41.6%和53.7%)。我们的实验还表明,Inception-v3、ResNet-101和DenseNet-121等深度网络可以量化,以进行4位权重和激活(1%的16位数据)的推理,其精度下降幅度在1%的top-1范围内。
2018-04-20 cs.LG cs.NE
Intrinsic Benefits of Categorical Distributional Loss: Uncertainty-aware Regularized Exploration in Reinforcement Learning
University of Alberta, Canada(阿尔伯塔大学);Harbin Engineering University, China(哈尔滨工程大学);Xi’an Jiaotong University, China(西安交通大学)
本文提出了一种基于类别分布损失的不确定性感知正则化方法,通过增强奖励信号提升强化学习的探索效率。
2025-12-24 cs.LG
Resource-aware Mixed-precision Quantization for Enhancing Deployability of Transformers for Time-series Forecasting on Embedded FPGAs
Intelligent Embedded Systems Lab, University of Duisburg-Essen(Duisburg-埃森大学智能嵌入式系统实验室)
本文提出面向资源的混合精度量化方法,通过灵活的资源类型选择和BRAM高效利用,解决嵌入式FPGA上整数量化Transformer部署难题,提升模型部署效率和适用性。
2026-04-21 cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich(苏黎世联邦理工学院);Singapore Management University(新加坡管理大学)
我们通过将其权重和激活量化为多个二进制基(称为多位网络(MBN))来研究深度神经网络的压缩,这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化(ALQ),一个新的MBN量化流水线,能够实现平均位宽低于一位,而不会显着损失的推理精度。与先前的MBN量化解决方案(其通过最小化误差来训练量化器以重构全精度权重)不同,ALQ直接最小化损失函数上的量化引起的误差,其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略,以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明,ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference
Fermi National Accelerator Laboratory(费米国家加速器实验室);University of California San Diego(加州大学圣地亚哥分校);Xilinx Research(赛灵思研究院);Northwestern University(西北大学)
针对硬件中的推理进行优化的高效机器学习实现具有广泛的优势,具体取决于应用,从较低的推理延迟到较高的数据吞吐量和降低的能耗。减少神经网络中计算的两种流行技术是修剪,去除不重要的突触,以及量化,降低计算的精度。在这项工作中,我们探索了在针对高能物理用例的超低延迟应用的神经网络训练期间修剪和量化之间的相互作用。为这项研究开发的技术在许多其他领域有潜在的应用。我们研究了在量化感知训练过程中修剪的各种配置,我们称之为量化感知修剪,以及正则化,批量归一化和不同修剪方案等技术对性能,计算复杂性和信息内容度量的影响。我们发现,量化感知修剪产生更多的计算效率比修剪或量化单独为我们的任务模型。此外,与其他神经架构搜索技术(如贝叶斯优化)相比,量化感知修剪通常在计算效率方面执行类似或更好。令人惊讶的是,虽然具有不同训练配置的网络对于基准应用程序可以具有相似的性能,但网络中的信息内容可能会有很大差异,从而影响其通用性。
2021-07-19 cs.LG hep-ex physics.data-an
LeanQuant: Accurate and Scalable Large Language Model Quantization with Loss-error-aware Grid
Dept. of Computer Science, Rice University(计算机科学系, Rice大学);ThirdAI Corp.(ThirdAI公司);Ken Kennedy Institute(肯尼迪研究所)
LeanQuant通过学习损失误差感知的网格,实现了准确且可扩展的大型语言模型量化,适用于多种量化类型并兼容更多框架。
2026-01-01 cs.LG
Domain-Aware Pruning: Sparsity and Domain Generalization via Regularized Probabilistic Masking
University of Tehran(德黑兰大学)
本研究提出算法无关的领域感知剪枝框架,通过正则化概率掩码识别领域不变子网络,在实现高稀疏性的同时,提升分布外鲁棒性与对抗鲁棒性,且模型可解释性强。
2026-08-11 cs.LG
Quantization Aware Factorization for Deep Neural Network Compression
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
本文提出一种量化感知的张量分解算法,利用ADMM直接获得CP分解的量化因子,在压缩神经网络的同时保持预测质量,并展现出与训练后量化方法相比的竞争力和灵活性。
2023-08-08 cs.LG
Inner Product Aware Quantization: Provably Fast, Accurate, and Adaptive Algorithms
University of Pennsylvania(宾夕法尼亚大学)
本文提出内积感知量化方法,通过优化目标函数并利用自适应随机量化(ASQ)理论,开发出快速且无偏的量化算法,在保证质量的同时比现有方法快2-10倍。
2026-05-29 cs.DS cs.LG
XOR-Trellis: Ultra-Low-Complexity Dequantization and Curvature-Aware Hadamard-Free LLM Quantization
Arm, Inc.(Arm公司);Rochester Institute of Technology(罗切斯特理工学院)
本文提出XOR-Trellis,通过超低复杂度反量化器和曲率感知目标,实现无需Hadamard变换的高质量超低位宽LLM量化,兼顾并行重建效率与精度。
2026-10-02 cs.AI cs.LG
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC(谷歌有限责任公司)
降低延迟和模型大小一直是现场自动语音识别(ASR)应用场景的重要研究问题。沿着这个方向,模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率,在这项研究中,我们建议开发具有本地量化感知训练的4位ASR模型,该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型,以评估我们提出的量化技术。首先,我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响,并获得了一个无损的4位Conformer模型,与float32模型相比,其大小减少了5.8倍。在此之后,我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性,并产生了具有混合4位和8位权重的无损Conformer ASR模型,与float32模型相比,其大小减少了5倍。
2023-03-03 cs.LG eess.AS
Q-MINO: A Minimal-Norm Method for Quantization-Aware Training
Portland State University(波特兰州立大学)
针对STE在超低位宽QAT中的梯度失配问题,提出Q-MINO最小范数优化器,结合梯度一致性、状态漂移正则化与对齐约束,经Frank-Wolfe求解,理论保证渐近收敛,实验验证有效。
2026-10-02 cs.AR cs.LG math.OC
Continual Quantization-Aware Pre-Training: When to transition from 16-bit to 1.58-bit pre-training for BitNet language models?
University of Southern Denmark(南丹麦大学)
针对BitNet语言模型,本文提出先16位后1.58位的持续量化感知预训练策略,并在11项下游任务上验证其优于全程1.58位训练。
2025-02-17 cs.AI cs.LG
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine(加利福尼亚大学尔湾分校);Department of Mathematics(数学系)
我们提出了一种自适应投影-梯度下降-收缩分裂方法(APGDSSM),将基于惩罚的通道修剪集成到量化感知训练(QAT)中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重,以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外,我们提出了一种新的互补变换l1惩罚,以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
DL-QAT: Weight-Decomposed Low-Rank Quantization-Aware Training for Large Language Models
Advanced Micro Devices, Inc.(超威半导体公司)
针对大语言模型低比特量化的效率与性能问题,提出DL-QAT方法,通过权重分解低秩策略仅训练不足1%参数,在LLaMA系列模型上实现比基线及现有QAT方法更优的量化性能,3比特LLaMA-7B在MMLU上提升4.2%。
2025-04-12 cs.AI cs.CV cs.LG
Accelerating Neural Network Inference by Overflow Aware Quantization
Alibaba Group(阿里巴巴集团)
深度神经网络固有的繁重计算阻碍了其广泛应用。一种广泛使用的加速模型推理的方法是量化,通过使用定点值替换网络的输入操作数。然后,大部分的计算成本集中在整数矩阵乘法累加。事实上,高位累加器会导致部分计算浪费,而低位累加器通常会发生数值溢出。为了解决这个问题,我们提出了一种溢出感知量化方法,通过设计可训练的自适应定点表示,以优化每个输入张量的位数,同时在计算过程中禁止数值溢出。利用该方法,我们能够充分利用计算能力,以最大限度地减少量化损失,并获得优化的推理性能。为了验证我们的方法的有效性,我们分别在ImageNet,Pascal VOC和COCO数据集上进行图像分类,目标检测和语义分割任务。实验结果表明,该方法可以实现与国家的最先进的量化方法相当的性能,同时加快约2倍的推理过程。
2020-05-27 cs.CV cs.LG
A Quantized VAE-MLP Botnet Detection Model: A Systematic Evaluation of Quantization-Aware Training and Post-Training Quantization Strategies
University of New South Wales(新南威尔士大学)
本文提出VAE-MLP僵尸网络检测框架,并系统评估QAT与PTQ两种量化策略,证明PTQ在保持准确率的同时实现6倍加速和21倍压缩,适用于资源受限IoT设备。
2025-11-05 cs.AI cs.LG
Modular Quantization-Aware Training for 6D Object Pose Estimation
CVLab, EPFL(EPFL计算机视觉实验室);Magic Leap(Magic Leap公司)
针对边缘设备上6D姿态估计网络过大问题,提出模块化量化感知训练(MQAT),利用架构模块化结构实现混合精度量化,在缩小模型4倍以上的同时提升精度超过7%。
2024-11-04 cs.CV cs.LG cs.RO
A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness
Duke University(杜克大学);Monta Vista High School(蒙塔维斯塔高中)
神经网络正以更高的能量和计算成本获得更好的精度。量化后,可以大大节省成本,量化后的模型更硬件友好,精度损失可以接受。另一方面,最近的研究发现神经网络容易受到对抗攻击,只有通过对抗训练等防御方法才能提高神经网络模型的鲁棒性。在这项工作中,我们发现,对抗训练的神经网络比普通模型更容易受到量化损失。为了同时最小化对抗和量化损失并使量化模型鲁棒,我们提出了一种逐层对抗感知量化方法,使用Lipschitz常数为神经网络选择最佳量化参数设置。我们从理论上推导出的损失,并证明我们的度量选择的一致性。实验结果表明,该方法可以有效地提高量化对抗训练神经网络的鲁棒性。
2021-10-23 cs.AI cs.CV cs.LG
PDE-regularized Dynamics-informed Diffusion with Uncertainty-aware Filtering for Long-Horizon Dynamics
本文提出PDYffusion框架,结合PDE正则化和不确定性感知预测,通过PDE正则化插值器和UKF预测器实现稳定长时预测,实验表明其在CRPS和MSE上表现优异,且保持稳定的不确定性行为。
2026-04-10 cs.AI cs.LG
FAQ: Mitigating Quantization Error via Regenerating Calibration Data with Family-Aware Quantization
Alibaba Cloud Computing(阿里云计算)
FAQ通过家庭感知量化方法生成高保真校准数据,有效减少量化误差,实验表明其在多个模型系列中将准确性损失降低28.5%。
2026-01-16 cs.AI cs.LG