Learning Representations for CSI Adaptive Quantization and Feedback
Technische Universität München(慕尼黑工业大学);Imperial College London(伦敦帝国理工学院)
针对FDD系统中现有CSI压缩量化方法重构误差高的问题,提出训练后量化和自编码器训练中生成码本两种自适应量化方法,均优于标准量化技术。
2022-07-13 cs.LG eess.SP
QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs
Department of Semiconductor Systems Engineering, Sungkyunkwan University(成均馆大学半导体系统工程系)
提出QTALE框架,通过多样化训练路径和后训练调整机制,实现令牌自适应层执行与量化的无缝集成,在保持精度的同时降低计算和内存开销。
2026-07-03 cs.LG
Adaptive Gradient Quantization for Data-Parallel SGD
University of Toronto(多伦多大学);Vector Institute;IST Austria(奥地利科学技术研究所);NeuralMagic
SGD的许多通信高效变体使用梯度量化方案。这些方案通常是启发式的,并且在训练过程中是固定的。我们根据经验观察到,深度模型的梯度统计数据在训练过程中会发生变化。出于这种观察,我们介绍了两种自适应量化方案,ALQ和AMQ。在这两种方案中,处理器通过有效地计算参数分布的足够的统计量来并行地更新它们的压缩方案。在具有挑战性的低成本通信设置中,我们在CIFAR-10上将验证准确性提高了近2%,在ImageNet上提高了1%。我们的自适应方法对超参数的选择也更加鲁棒。
2020-10-23 cs.LG stat.ML
Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University(首尔国立大学)
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中,我们提出了一个元学习的方法来实现这一目标。具体来说,我们提出了MEBQAT,一种简单而有效的位宽自适应量化感知训练(QAT)的方法,其中通过重新定义元学习任务来合并位宽,将元学习有效地与QAT相结合。在平台上部署后,MEBQAT允许(Meta)训练模型被量化为任何候选位宽,然后帮助进行推理,而不会因量化而降低准确性。此外,在少样本学习场景下,MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持(1)位宽自适应量化场景和(2)新的少样本学习场景,其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性,在多个QAT计划。通过比较它们的性能(位宽专用)QAT,现有的位宽自适应QAT和香草元学习,我们发现,合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich(苏黎世联邦理工学院);Singapore Management University(新加坡管理大学)
我们通过将其权重和激活量化为多个二进制基(称为多位网络(MBN))来研究深度神经网络的压缩,这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化(ALQ),一个新的MBN量化流水线,能够实现平均位宽低于一位,而不会显着损失的推理精度。与先前的MBN量化解决方案(其通过最小化误差来训练量化器以重构全精度权重)不同,ALQ直接最小化损失函数上的量化引起的误差,其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略,以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明,ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
Adaptive Training of Random Mapping for Data Quantization
Qingdao University(青岛大学);Macau University of Science and Technology(澳门科技大学)
数据量化学习具有特定要求的数据的编码结果,并为数据处理的许多实际应用提供了广阔的前景。然而,编码器的结果通常限于随机映射的多变量输入,并且二进制码的边信息很难尽可能地描述原始数据模式。在文献中,基于余弦的随机量化由于其固有的有界结果而引起了广泛的关注。然而,它通常遭受不确定的输出,和原始数据的信息不能完全保留在减少码。在这项工作中,一种新的二进制嵌入方法,称为自适应训练量化(ATQ),提出了学习随机编码器的理想变换,其中余弦随机映射的限制得到解决。作为一种自适应学习思想,利用数据组的思想自适应地计算约简映射,同时改进随机变换的偏差,以保持最多的匹配信息。实验结果表明,与其他随机量化方法相比,该方法能够获得优异的性能。
2017-05-26 cs.AI cs.LG
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine(加利福尼亚大学尔湾分校);Department of Mathematics(数学系)
我们提出了一种自适应投影-梯度下降-收缩分裂方法(APGDSSM),将基于惩罚的通道修剪集成到量化感知训练(QAT)中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重,以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外,我们提出了一种新的互补变换l1惩罚,以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning
Carnegie Mellon University(卡内基梅隆大学);Weizmann Institute of Science(魏茨曼科学研究所)
客户端节点和中央聚合服务器之间的模型更新通信是联邦学习的主要瓶颈,特别是在带宽有限的设置和高维模型中。梯度量化是减少传送每个模型更新所需的比特数的有效方式,尽管代价是由于随机梯度的较高方差而具有较高的错误平层。在这项工作中,我们提出了一种自适应量化策略,称为AdaQuantFL,旨在实现通信效率,以及通过在训练过程中改变量化级别的数量低的错误地板。训练深度神经网络的实验表明,与固定量化级别设置相比,我们的方法可以在更少的通信比特中收敛,对训练和测试精度几乎没有影响。
2021-02-08 cs.DC cs.LG stat.ML
Rate-Adaptive Quantization: A Multi-Rate Codebook Adaptation for Vector Quantization-based Generative Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出速率自适应量化(RAQ)框架,通过数据驱动方法从单一基线VQ模型生成多速率码本,实现压缩与重建保真度的灵活权衡,并支持无需重训练的聚类适配,有效提升了基于向量量化生成模型的多比特率适应能力。
2025-01-31 cs.CV cs.LG eess.IV
OAC: Output-adaptive Calibration for Accurate Post-training Quantization
Huawei Noah’s Ark Lab(华为诺亚实验室);Department of Mathematics and Statistics, McGill University(麦吉尔大学数学与统计学系)
本文提出输出自适应校准OAC,将模型输出交叉熵损失纳入训练后量化误差,利用近似输出自适应Hessian更新权重并检测敏感权重,在2比特和二进制等极低精度量化下优于SpQR和BiLLM。
2025-05-05 cs.CL cs.LG
ANT: Exploiting Adaptive Numerical Data Type for Low-bit Deep Neural Network Quantization
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);Microsoft Research(微软研究院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));University of Rochester(罗切斯特大学)
量化是一种减少DNN模型计算和内存成本的技术,DNN模型变得越来越大。现有的量化解决方案使用定点整数或浮点类型,其优点有限,因为两者都需要更多的位来保持原始模型的准确性。另一方面,可变长度量化对正常值使用低比特量化,对一小部分异常值使用高精度量化。尽管这类工作带来了算法上的好处,但由于可变长度的编码和解码,它也引入了显著的硬件开销。在这项工作中,我们提出了一个固定长度的自适应数值数据类型称为ANT,以实现低比特量化与微小的硬件开销。我们的数据类型ANT利用两个关键创新来利用DNN模型中的张量内和张量间自适应机会。首先,我们提出了一种特殊的数据类型flint,它结合了float和int的优点,以适应张量中不同值的重要性。其次,我们提出了一个自适应框架,根据其分布特性为每个张量选择最佳类型。我们为ANT设计了一个统一的处理元素架构,并展示了其与现有DNN加速器集成的便利性。我们的设计结果在2.8 $\times$的加速比和2.5 $\times$能源效率的改善,在国家的最先进的量化加速器。
2022-08-30 cs.LG
CALM: A CKA-Guided Adaptive Layer-Wise Modularization Framework for LLM Quantization
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学)
CALM提出一种基于CKA的自适应层级模块化框架,通过独立评估各层最佳量化策略,提升LLM量化效果。
2026-01-08 cs.AI cs.LG
Adaptive Quantization for Deep Neural Network
Singapore University of Technology and Design(新加坡科技设计大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
近年来,深度神经网络(DNN)在各种应用中得到了快速发展,同时架构也越来越复杂。这些DNN的性能增益通常伴随着高计算成本和大内存消耗,这对于移动平台来说可能是负担不起的。深度模型量化可以用于减少DNN的计算和内存成本,并在移动设备上部署复杂的DNN。在这项工作中,我们提出了一个深度模型量化的优化框架。首先,我们提出了一种测量方法来估计各个层中的参数量化误差对整体模型预测精度的影响。然后,我们提出了一个优化过程,基于此测量为每一层找到最佳量化位宽。本文首次从理论上分析了各层参数量化误差与模型精度的关系。我们的新量化算法优于以前的量化优化方法,并实现了20-40%的压缩率相比,在相同的模型预测精度的等位宽量化。
2017-12-04 cs.LG stat.ML
FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Hithink Research(海思睿研究中心);Electronic Engineering, Tsinghua University(清华大学电子工程系)
针对LLM部署的资源瓶颈,该研究提出FAMPWQ方法,通过费舍尔信息度量层敏感度结合强化学习分配位宽,在7个模型和5个基准上优于7种基线方法,提升了量化性能。
2026-09-01 cs.AI cs.DC cs.LG
Differentiable Dynamic Quantization with Mixed Precision and Adaptive Resolution
The Chinese University of Hong Kong(香港中文大学);SenseBrain, Ltd(SenseBrain有限公司);Shanghai AI Lab(上海人工智能实验室);The University of Hong Kong(香港大学)
由于许多繁琐的超参数,如精度(位宽),动态范围(最小和最大离散值)和步长(离散值之间的间隔),模型量化具有挑战性。与仔细调整这些值的现有技术不同,我们提出了一种完全可微的方法来学习所有这些值,称为可微动态量化(DDQ),它有几个好处。(1)DDQ能够解决像MobileNets这样具有挑战性的轻量级架构,其中不同的层喜欢不同的量化参数。(2)DDQ是硬件友好的,可以很容易地实现使用低精度矩阵向量乘法,使它能够在许多硬件,如ARM。(3)广泛的实验表明,DDQ优于现有技术在许多网络和基准测试,特别是当模型已经是高效和紧凑的。例如,在一个实施例中,DDQ是第一种在ImageNet上为MobileNetV2实现无损4位量化的方法。
2021-07-07 cs.LG
CafeQ: Calibration-free Quantization via Learned Transformations and Adaptive Rounding
Google(谷歌);University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of California Los Angeles(加州大学洛杉矶分校)
CafeQ通过学习变换和自适应四舍五入方法,在无需校准数据的情况下提升大语言模型的量化效果,实现更高效的推理性能。
2025-11-24 cs.LG
Efficient Adaptive Activation Rounding for Post-Training Quantization
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软)
针对训练后激活量化的舍入次优及运行时开销问题,提出AQuant框架,通过自适应激活舍入边界函数降低输出误差,采用粗粒度版本控开销,在2位量化下显著提升ResNet-18等模型准确率。
2023-08-24 cs.CV cs.LG
GANQ: GPU-Adaptive Non-Uniform Quantization for Large Language Models
The University of Hong Kong(香港大学)
本文提出 GANQ,一种面向 GPU、基于查找表 mpGEMM 的逐层训练后非均匀量化框架,以无需训练的自适应优化降低量化误差,并在 3/4-bit 设置下改善困惑度、实现最高 2.57× 推理加速。
2025-06-09 cs.AI cs.LG math.OC
Aggregated Learning: A Deep Learning Framework Based on Information-Bottleneck Vector Quantization
National Research Council Canada(加拿大国家研究委员会);University of Ottawa(渥太华大学);Beihang University(北京航空航天大学)
基于信息瓶颈(IB)的概念,我们制定了一个量化问题称为“IB量化”。我们表明IB量化等效于基于IB原则的学习。在这种等价性下,标准神经网络模型可以被看作是标量(单样本)IB量化器。从传统的率失真理论可知,标量量化器劣于矢量(多样本)量化器。这样的缺陷,然后启发我们开发一种新的学习框架,AgrLearn,对应于矢量IB量化器的学习与神经网络。与标准网络不同,AgrLearn同时针对多个数据样本进行优化。我们通过实验验证了AgrLearn在应用于当前几种用于图像识别和文本分类的深度学习架构时可以带来显著的改进。我们还通过经验证明,AgrLearn可以减少ResNet训练所需的训练样本的80%。
2019-02-12 cs.AI cs.IT cs.LG
AdaQAT: Adaptive Bit-Width Quantization-Aware Training
Univ. Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化研究所);CNES(法国国家太空研究中心)
提出AdaQAT方法,通过梯度下降在训练中自动优化权重和激活的位宽,实现高效的混合精度量化,在从头训练和微调场景中均表现优异。
2024-04-22 cs.AI cs.LG
Norm-Explicit Quantization: Improving Vector Quantization for Maximum Inner Product Search
The Chinese University of Hong Kong(香港中文大学)
矢量量化(VQ)技术被广泛用于数据压缩的相似性搜索、快速度量计算等。PQ,AQ)显式或隐式地最小化量化误差。本文提出了一种新的角度来分析量化误差,将量化误差分解为范数误差和方向误差。我们发现,量化误差的范数有更大的影响,内积比方向上的量化误差,小的量化误差并不一定会导致良好的性能在最大内积搜索(MIPS)。基于这一观察,我们提出了规范显式量化(NEQ)-一个通用的范例,改善现有的VQ技术MIPS。NEQ明确量化数据集中项目的范数,以减少范数误差,这对MIPS至关重要。对于方向向量,NEQ可以简单地重用现有的VQ技术来对它们进行重构而无需修改。我们在各种数据集和参数配置上进行了广泛的实验。实验结果表明,NEQ提高了各种VQ技术的性能MIPS,包括PQ,OPQ,RQ和AQ。
2019-11-20 cs.IR cs.LG
Homology-constrained vector quantization entropy regularizer
本文在分析矢量量化(VQ)嵌入的持续同调性的基础上,提出了一种熵正则化项。更高的嵌入熵与更高的码本利用率正相关,减轻了基于矢量量化的自编码器中的身份和码本崩溃的过拟合[1]。我们表明,同源约束正则化是一种有效的方式来增加熵的VQ过程(近似输入熵),同时保持近似的拓扑结构的量化的潜在空间,平均超过小批量。本文进一步探讨了矢量量化所形成的隐子的持久同源图的一些模式。我们实现和测试所提出的算法作为一个模块集成到一个样本VQ-VAE。链接代码库提供了一个功能实现的建议架构,称为同源约束矢量量化(HC-VQ)在这项工作中进一步。
2022-11-25 cs.LG
AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization
University of Waterloo(滑铁卢大学)
提出AAAC方法,通过每层两个小型学习码本(64字节)替代固定标量码本,以激活加权重建误差最小化选择码本,实现零额外存储开销的4位权重量化,在3-30分钟内完成量化,精度优于现有方法。
2026-06-05 cs.CL cs.LG
MixQuant: Adaptive Mixed-Precision Quantization for Large Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究针对大语言模型量化中预算变化及层敏感度评估问题,提出MixQuant自适应框架,通过边缘化失真获与预算无关分数、校准参数并惩罚不合理分配,在多种模型上优于基线,提升准确率并降低困惑度。
2026-07-28 cs.AI cs.LG
A High-Performance Adaptive Quantization Approach for Edge CNN Applications
National Tsing-Hua University(清华大学)
最近的卷积神经网络(CNN)开发继续推进各种应用的最新模型精度。然而,增强的准确性是以大量的内存带宽和存储要求以及苛刻的计算资源为代价的。尽管在过去,量化方法有效地降低了边缘设备的部署成本,但在处理当代CNN的有偏激活时,它会遭受显著的信息损失。因此,在本文中,我们引入了一种自适应高性能量化方法,通过根据任务丢失动态调整缩放和移位因子来解决有偏激活的问题。我们提出的方法已经在使用ImageNet数据集的图像分类模型(ResNet-18/34/50,MobileNet-V2,EfficientNet-B 0),使用COCO数据集的目标检测模型(YOLO-V4)以及使用PTB数据集的语言模型上进行了广泛的评估。结果表明,我们的4位整数(INT 4)量化模型比最先进的4位模型实现了更好的精度,在某些情况下,甚至超过了黄金全精度模型。最终设计已成功部署到资源极其有限的边缘设备上,用于许多实际应用。
2021-07-18 cs.CV cs.LG
APreQEL: Adaptive Mixed Precision Quantization For Edge LLMs
Lab-STICC, CNRS UMR 6285 , ENSTA, Institut Polytechnique de Paris(法国巴黎理工学院STICC实验室、CNRS UMR 6285、ENSTA);National Taiwan University(台湾国立台湾大学)
本文提出了一种适应性混合精度量化方法,通过分析层间贡献和硬件平台行为,优化边缘部署中的内存、延迟和精度平衡。
2026-03-24 cs.AI cs.LG
Accelerating Large-Scale Inference with Anisotropic Vector Quantization
Google Research(谷歌研究院)
基于量化的技术是目前最先进的最大内积搜索的规模庞大的数据库。传统的量化方法旨在最小化数据库点的重建误差。基于观察到,对于一个给定的查询,具有最大的内积的数据库点更相关,我们开发了一个家庭的各向异性量化损失函数。在自然的统计假设下,我们表明,量化与这些损失函数导致一个新的变量的矢量量化,更大程度上惩罚的并行组件的数据点的残差相对于其正交分量。所提出的方法实现了国家的最先进的结果在公共基准\url{ann-benchmarks.com}。
2020-12-04 cs.LG stat.ML
A Convergence Analysis of Adaptive Optimizers under Floating-point Quantization
The University of Hong Kong(香港大学);Renmin University of China(中国人民大学)
本文提出理论框架分析自适应优化器在浮点量化下的收敛性,揭示Adam和Muon在不同量化下的表现差异,通过实验验证理论结果。
2026-03-01 cs.AI cs.LG stat.ML
Task Vector Quantization for Memory-Efficient Model Merging
Yale University(耶鲁大学);Sungkyunkwan University(全州大学)
本文提出量化任务向量并引入残差任务向量量化,在极低位精度下最小化误差,仅用8%内存保持或提升模型合并性能。
2025-08-07 cs.LG
DiVeQ: Differentiable Vector Quantization Using the Reparameterization Trick
ELLIS Institute Finland & Department of Computer Science, Aalto University, Finland(芬兰ELLIS研究所及阿尔托大学计算机科学系);Department of Information and Communications Engineering, Aalto University, Finland(芬兰阿尔托大学信息与通信工程系)
提出DiVeQ方法,通过重参数化技巧将量化视为添加模拟量化失真的误差向量,实现前向传播硬量化而梯度可流动,并引入空间填充变体SF-DiVeQ减少量化误差并充分利用码本,在VQ-VAE、VQGAN和DAC任务中提升重建质量和样本质量。
2026-05-26 cs.LG
Restructuring Vector Quantization with the Rotation Trick
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
针对 VQ-VAE 直通估计丢失量化信息的问题,本文提出用旋转与重缩放线性变换重构量化层,使梯度携带相对大小和角度信息,并在 11 种训练范式中提升重建、码本利用率与量化误差。
2025-03-16 cs.CV cs.LG
Distribution Adaptive INT8 Quantization for Training CNNs
Machine Intelligence Technology Lab, Alibaba Group(阿里巴巴集团机器智能技术实验室)
研究表明,低位宽(例如,INT8)量化可以用来加速推理过程。这使得梯度量化非常有前途,因为反向传播需要大约两倍以上的计算比前向一个。由于梯度分布的可变性和不确定性,已经提出了许多方法来获得训练稳定性。然而,他们中的大多数忽略了通道的梯度分布和不同大小的梯度的影响,导致最终精度的下降。本文提出了一种新的卷积神经网络的INT 8量化训练框架来解决上述问题。具体地说,我们采用梯度矢量量化的基础上,观察到逐层梯度包含沿通道维度的多个分布的梯度。在此基础上,引入幅度感知的限幅策略,在最小化量化误差时考虑梯度的幅度,并给出了不同分布下的量化参数的理论推导。广泛的计算机视觉任务,如图像分类,目标检测和视频分类的实验结果表明,所提出的分布自适应INT8量化训练方法已经实现了几乎无损的训练精度为不同的骨干,包括ResNet,MobileNetV2,InceptionV3,VGG和AlexNet,这是优于国家的最先进的技术。此外,我们进一步实现了在最新的图灵架构下可以加速训练迭代超过200%的INT 8内核,即,我们的方法在训练精度和速度上都很出色。
2021-02-09 cs.AI cs.CV cs.LG
Pushing Toward the Simplex Vertices: A Simple Remedy for Code Collapse in Smoothed Vector Quantization
Academy of Emerging Sciences(新兴科学学院);Chubu University(名古屋大学);Institute for Advanced Research(先进研究所);Nagoya University(名古屋大学)
本研究提出一种简单正则化方法,通过最小化单纯形顶点与K-近邻平滑量化器的距离,解决平滑向量量化中的代码坍塌问题,提升代码本利用和性能。
2026-09-29 cs.AI cs.LG
A review of learning vector quantization classifiers
University of Chile(智利大学)
在这项工作中,我们提出了一个审查的学习矢量量化(LVQ)分类器的艺术状态。提出了一种分类法,它集成了迄今为止最相关的LVQ方法。定义了与现代LVQ方法相关的主要概念。使用一个真实世界和两个人工数据集之间的比较LVQ分类器。
2015-09-23 astro-ph.IM cs.LG cs.NE
FIXAR: A Fixed-Point Deep Reinforcement Learning Platform with Quantization-Aware Training and Adaptive Parallelism
School of Electrical Engineering KAIST(韩国科学技术院电气工程学院)
在本文中,我们提出了一个名为FIXAR的深度强化学习平台,该平台首次采用了固定点数据类型和算术单元,并采用了软硬件协同设计的方法。从32位定点数据开始,量化感知训练(QAT)根据激活范围降低其数据精度,并执行再训练以最大限度地减少奖励降级。FIXAR提出了由可配置处理元件组成的自适应阵列处理核心,以支持高吞吐量推理和训练的层内并行和批内并行。最后,在Xilinx U 50上实现了FIXAR,达到了每秒25293.3次推理(IPS)的训练吞吐量和2638.0 IPS/W的加速器效率,比CPU-GPU平台快2.7倍,节能15.4倍,而精度没有任何下降。
2021-02-24 cs.AR cs.LG
AdaBits: Neural Network Quantization with Adaptive Bit-Widths
ByteDance Inc.(字节跳动公司)
具有自适应配置的深度神经网络由于在具有不同资源预算的平台上即时和灵活地部署这些模型而受到越来越多的关注。在本文中,我们研究了一种新的选择,以实现这一目标,使自适应位宽的权重和激活模型。我们首先检查了使用自适应比特宽度训练量化模型的好处和挑战,然后实验了几种方法,包括直接自适应、渐进训练和联合训练。我们发现,联合训练能够在自适应模型上产生与单个模型相当的性能。我们进一步提出了一种新的技术,称为可切换限幅电平(S-CL),以进一步提高量化模型在最低位宽。通过将我们提出的技术应用于包括MobileNet-V1/V2和ResNet-50在内的一系列模型,我们证明了权重和激活的位宽是自适应可执行深度神经网络的一个新选择,为改进准确性-效率权衡以及根据实际应用中的平台约束进行即时适应提供了一个独特的机会。
2020-03-15 cs.CV cs.LG cs.NE
AQUILA: Communication Efficient Federated Learning with Adaptive Quantization in Device Selection Strategy
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Shanghai AI Lab(上海人工智能实验室);George Washington University(乔治华盛顿大学);Ryerson University(瑞尔森大学)
针对联邦学习通信开销高、现有自适应量化方法假设不切实际且自适应能力不足的问题,提出AQUILA框架,结合优先考虑更新质量的设备选择方法与创新量化标准,在多种非同质场景下显著降本且保持模型性能。
2023-10-04 cs.DC cs.LG
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization
Department of Engineering, King’s College London(伦敦国王学院工程系);Advanced Technology Group, Ericsson Inc.(爱立信公司先进科技组);Institute for Digital Communication, Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔兰根-纽伦堡弗里德里希-亚历山大大学数字通信研究所)
针对联邦微调 LLM 的资源、异构性、带宽与聚合难题,提出 HAFLQ,通过自适应量化、参数截断冻结、带宽感知精度调整和秩-1矩阵聚合,显著降本增效并提升准确率。
2025-05-16 cs.AI cs.DC cs.LG
A probabilistic framework for dynamic quantization
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本研究提出一种神经网络动态量化的概率框架,通过轻量级代理模型实现逐输入的量化参数自适应调整,在计算机视觉任务上验证显示性能损失极小,实现了性能与计算开销的最优权衡。
2025-05-15 cs.CV cs.LG
Residual vector quantization for KV cache compression in large language model
本文提出将残差向量量化用于LLM的KV缓存压缩,通过标准差缩放、通道分组和指数移动平均学习码本,在残差深度8时恢复大部分性能,实现5.5倍压缩且方法简单。
2024-10-21 cs.LG
Individualized non-uniform quantization for vector search
IBM(IBM公司)
本文提出NVQ非均匀向量量化方法,通过为每个向量单独学习简约高效的非线性量化器,在高保真条件下以极低计算成本提升向量搜索准确率。
2025-09-22 cs.IR cs.LG
Activation Functions for Generalized Learning Vector Quantization - A Performance Comparison
适当选择激活函数(如ReLU、sigmoid或swish)对(深度)多层感知器(MLP)进行分类和回归学习的性能起着重要作用。基于原型的分类学习方法,如(广义)学习矢量量化(GLVQ)是强大的替代方案。这些模型也处理激活函数,但在这里它们被应用于所谓的分类器函数。在本文中,我们调查成功的候选人的激活函数已知的MLP应用在GLVQ和他们的影响的性能。
2019-01-17 cs.LG stat.ML
Adaptive Mesh-Quantization for Neural PDE Solvers
QUVA Lab University of Amsterdam(阿姆斯特丹大学QUVA实验室);AMLAB University of Amsterdam(阿姆斯特丹大学AMLAB实验室);FunAI Lab University of Technology Nuremberg(纽伦堡技术大学FunAI实验室)
本研究提出自适应网格量化方法,通过动态调整位宽优化神经PDE求解器的资源分配,提升复杂物理问题的求解效率。
2025-11-23 cs.LG
Enhancing Vector Quantization with Distributional Matching: A Theoretical and Empirical Study
University of Toronto(多伦多大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Boston College(波士顿学院);Lehigh University(莱特大学);Southern University of Science and Technology(南方科技大学)
针对向量量化中的训练不稳定与码本崩溃问题,提出用Wasserstein距离对齐特征与码向量分布,实现近100%码本利用率并降低量化误差,经理论与实证验证。
2025-06-18 cs.CV cs.LG
VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference
NVIDIA(英伟达)
量化通过减少模型内存占用和利用低成本整数数学硬件单元来实现深度神经网络的高效加速。量化使用比例因子将训练模型中的浮点权重和激活映射到低位宽整数值。过度量化,过于激进地降低精度,导致精度下降。当比例因子在每个张量的许多维度上以粗粒度共享时,张量内的各个元素的有效精度受到限制。为了减少量化相关的准确性损失,我们建议使用一个单独的比例因子为每个小向量($\approx$ 16-64)元素在一个单一的维度的张量。为了实现有效的硬件实现,当使用两级量化方案校准时,可以用低位宽整数来实现每矢量比例因子。我们发现,每向量缩放一致地实现更好的推理精度在低精度相比,传统的缩放技术,流行的神经网络,而不需要再训练。我们还修改了一个深度学习加速器硬件设计,以研究每个向量缩放支持的面积和能量开销。我们的评估表明,具有4位权重和激活的每个矢量缩放量化实现了37%的面积节省和24%的节能,同时保持了ImageNet上ResNet 50的75%以上的准确度。4-位权重和8位激活可在SQuAD上实现BERT-base和BERT-large的近全精度,同时与8位基线相比减少了26%的面积。
2021-02-08 cs.AR cs.LG
Does Vector Quantization Fail in Spatio-Temporal Forecasting? Exploring a Differentiable Sparse Soft-Vector Quantization Approach
Central South University(中南大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对传统向量量化因不可微、表征能力弱而难以提升时空预测精度的问题,提出具备完全可微性的稀疏软向量量化方法,在多个时空基准数据集上取得当前最优效果。
2025-05-18 cs.CV cs.LG
MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization
Peng Cheng Laboratory(鹏城实验室)
本文提出MARR,一种模块自适应残差重建方法,通过为每个模块分配特定的缩放系数,平衡残差相关的HA偏差和累积误差校正,从而在低比特量化中提升性能。
2026-11-10 cs.AI cs.CV cs.LG
Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization
Mila(米拉);Google(谷歌);National University of Singapore(新加坡国立大学)
矢量量化(VQ)是一种离散化潜在表示的方法,已成为深度学习工具包的主要组成部分。理论和经验表明,表示的离散化导致改进的泛化,包括在强化学习中,其中离散化可以用于瓶颈多智能体通信,以促进代理专业化和鲁棒性。大多数基于矢量量化的方法的离散化紧密度由表示矢量中的离散码的数量和码本大小定义,它们被固定为超参数。在这项工作中,我们建议学习动态选择离散化的输入条件下的紧密性,基于假设数据自然包含的复杂性,要求不同程度的代表性粗糙度的变化。我们表明,动态变化的紧密性的通信瓶颈可以提高模型的视觉推理和强化学习任务的性能。
2022-02-02 cs.AI cs.LG
DNA-TEQ: An Adaptive Exponential Quantization of Tensors for DNN Inference
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学(UPC))
本文提出DNA-TEQ,一种基于张量指数分布特性的自适应量化方法,在指数域执行点积运算,相比INT8线性基线实现平均40%压缩比和66%能耗节省,且精度损失可忽略。
2023-11-22 cs.AR cs.LG
RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression
Key Laboratory of Multimedia Trusted Perception(多媒体可信感知关键实验室);Efficient Computing, Ministry of Education of China, Xiamen University, Xiamen, China(高效计算,中华人民共和国教育部,厦门大学,厦门,中国)
本文提出RQ-MoE框架,结合双层专家混合与双流量化,实现输入依赖的代码本自适应,提升向量量化效率,并在解码速度上优于现有方法。
2026-05-14 cs.AI cs.LG
Asymmetric Learning Vector Quantization for Efficient Nearest Neighbor Classification in Dynamic Time Warping Spaces
Technische Universität Berlin(柏林工业大学)
最近邻法和动态时间规整距离是时间序列分类中最常用的方法之一。这种方法对于大型训练集具有高存储和计算要求。为了解决这两个问题,本文将学习矢量量化(LVQ)从欧氏空间扩展到DTW空间。所提出的LVQ方案使用非对称加权平均作为更新规则。实验结果表明,非对称广义LVQ(GLVQ)优于其他国家的最先进的原型生成方法的最近邻分类的性能。
2017-03-24 cs.LG stat.ML
Representation Collapsing Problems in Vector Quantization
College of Design and Engineering(设计与工程学院);National University of Singapore(新加坡国立大学);Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
针对生成模型中向量量化表示坍缩问题(码本token或潜在嵌入因收敛到有限值子集失去判别能力),本研究通过合成与真实数据集明确坍缩类型、严重程度及触发条件(受限初始化、有限编码器容量),并提出潜在解决方案,是首个全面研究该问题的工作。
2024-11-25 cs.AI cs.LG
Pyramid Vector Quantization for Deep Learning
Ocean Logic Pty Ltd(海洋逻辑有限公司)
本文探讨了使用金字塔矢量量化(PVQ)来降低各种神经网络(NN)的计算成本,同时压缩描述它们的权重。这是基于这样的事实,即实数的N维向量和N维PVQ向量之间的点积可以仅用加法和减法以及一次乘法来计算。这是有利的,因为通常用于NN中的张量积可以重新转换为点积或点积的集合。最后,需要强调的是,任何基于可以重新转换为点积的运算的NN架构都可以从这里描述的技术中受益。
2017-04-10 cs.LG cs.NE
HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization
BRAIn Lab(BRAIn实验室)
提出HARP,一种可学习的结构化双正交处理器,替代固定随机哈达玛变换,通过自适应旋转基来改善极端低位量化中的激活异常值和各向异性权重曲率问题,在2-4比特设置下提升困惑度和零样本准确率,并保持部署效率。
2026-09-04 cs.AI cs.LG