Optimal Quantization for Matrix Multiplication
Hebrew University of Jerusalem(耶路撒冷希伯来大学);MIT(麻省理工学院)
本文研究矩阵乘法的量化压缩,提出基于嵌套格点的通用量化器,给出均方误差下界并实现渐近最优,揭示低速率下需降维的相变现象。
2025-10-15 cs.AI cs.CL cs.IT
Accurate Neural Training with 4-bit Matrix Multiplications at Standard Formats
Habana Labs(哈巴纳实验室);Technion(以色列理工学院)
本文提出对数无偏量化(LUQ)方法,将神经网络训练的前向与后向阶段均量化至4位,在标准格式下以无额外开销实现最先进的4位训练精度。
2024-06-09 cs.LG
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
University of Washington(华盛顿大学);Facebook AI Research(脸书人工智能研究院);Hugging Face(拥抱脸);ENS Paris-Saclay(巴黎萨克雷高等师范学院)
大语言模型已被广泛采用,但需要大量的GPU内存进行推理。我们开发了一个Int 8矩阵乘法的程序,用于Transformers中的前馈和注意力投影层,它将推理所需的内存减少了一半,同时保持了完整的精度性能。使用我们的方法,可以加载175 B参数16/32位检查点,转换为Int 8,并立即使用,而不会降低性能。这是通过理解和解决Transformer语言模型中高度系统化的涌现特征的属性来实现的,这些特征支配着注意力和Transformer预测性能。为了应对这些特性,我们开发了一个两部分量化过程LLM.int8()。我们首先使用矢量量化,对矩阵乘法中的每个内积使用单独的归一化常数,以消除大多数特征。然而,对于出现的异常值,我们还包括一个新的混合精度分解方案,该方案将异常值特征维度隔离到16位矩阵乘法中,同时仍有超过99.9%的值以8位相乘。使用LLM.int8(),我们根据经验证明,可以在具有多达175 B参数的LLM中执行推理,而不会降低任何性能。这一结果使得这些模型更容易访问,例如,可以在具有消费者GPU的单个服务器上使用OPT-175 B/BLOOM。我们开源我们的软件。
2022-11-10 cs.AI cs.LG
High-Rate Quantized Matrix Multiplication II
Hebrew University of Jerusalem(希伯来大学杰里科分校);MIT(麻省理工学院)
本文研究在已知第二因子列协方差矩阵情况下高速率量化矩阵乘法,通过水填充算法改进LLM量化方法,展示WaterSIC方案在信息论极限下的性能。
2026-06-08 cs.AI cs.IT cs.LG
Fast Matrix Multiplications for Lookup Table-Quantized LLMs
Massachusetts Institute of Technology(麻省理工学院);High School of Mathematics Plovdiv(普罗夫迪夫数学中学);Carnegie Mellon University(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Petuum Inc.(派图公司)
针对查找表量化大语言模型推理的内存带宽瓶颈与高性能内核开发难题,本文提出FLUTE引擎,通过权重离线重构、查找表向量化复制等优化,实现比现有GEMM内核2-4倍的速度提升,并应用于LLaMA3量化获得1.5-2倍端到端吞吐量提升。
2025-01-17 cs.CL cs.DC cs.LG
PROM: Prioritize Reduction of Multiplications Over Lower Bit-Widths for Efficient CNNs
Robert Bosch GmbH(博世公司)
PROM通过选择性量化深度可分离CNN的逐点卷积为三值权重、其余为8位,将乘法转为int8加法,在ImageNet上实现23.9倍能耗降低和2.7倍存储缩减,保持精度。
2025-08-06 cs.CV cs.LG
SME: ReRAM-based Sparse-Multiplication-Engine to Squeeze-Out Bit Sparsity of Neural Network
School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University(上海交通大学电子信息与电气工程学院)
电阻式随机存取存储器(ReRAM)交叉开关是一种用于深度神经网络(DNN)加速器的很有前途的技术,这得益于其用于向量矩阵乘法和累加(VMM)的存储器内和原位模拟计算能力。然而,利用DNN中的稀疏性对于交叉开关架构是具有挑战性的。由于紧耦合交叉结构的限制,利用细粒度稀疏性不可避免地会导致复杂和昂贵的控制。作为对策,我们开发了一种新的基于ReRAM的DNN加速器,命名为稀疏乘法引擎(SME),基于硬件和软件协同设计框架。首先,我们编排的比特稀疏模式,以增加密度的比特稀疏的基础上现有的量化方法。其次,我们提出了一种新的权重映射机制,将权重的位跨横杆进行切片,并将激活结果拼接到外围电路中。该机制可以解耦紧耦合的交叉结构,并在交叉结构中累积稀疏性。最后,一个更好的挤出方案清空了前两个步骤中映射有高度稀疏非零的交叉杆。我们设计了SME架构,并讨论了它在其他量化方法和不同ReRAM单元技术中的用途。与现有的最先进的设计相比,SME使用Resent-50和MobileNet-v2分别将交叉杆的使用缩小到8.7倍和2.1倍,ImageNet的准确率下降不到0.3%。
2021-03-02 cs.AR cs.CV cs.LG
Neural Network-Inspired Analog-to-Digital Conversion to Achieve Super-Resolution with Low-Precision RRAM Devices
Washington University(华盛顿大学)
最近的工作提出了神经网络-(NN-)启发的模数转换器(NADC),并证明了它们在许多新兴应用中的巨大潜力。这些NNADC通常依赖于电阻式随机存取存储器(RRAM)器件来实现NN操作,并且需要高精度RRAM单元(6~12位)来实现适度的量化分辨率(4~8位)。然而,RRAM阵列在大规模生产过程中的制造数据并不支持RRAM分辨率的这种乐观假设。在本文中,我们提出了一种基于低精度RRAM器件的NN启发的超分辨率ADC,利用协同设计方法,结合了流水线硬件架构与自定义NN训练框架。SPICE仿真结果表明,该方法能够有效地利用3位RRAM器件实现14位超分辨率ADC的鲁棒设计,并具有更高的功耗和速度性能以及具有竞争力的品质因数(FoM)。除了线性均匀量化之外,所提出的ADC还可以支持可配置的高分辨率非线性量化,具有高转换速度和低转换能量,为近传感器分析和处理提供未来的智能模拟到信息接口。
2019-11-28 cs.AR cs.ET cs.LG
QUICK: Quantization-aware Interleaving and Conflict-free Kernel for efficient LLM inference
SqueezeBits Inc.(SqueezeBits公司)
本文提出QUICK,一组新型优化CUDA内核,通过离线交错量化权重矩阵以跳过反量化后的共享内存写回,解决了混合精度矩阵乘法的共享内存库冲突问题,在多种NVIDIA GPU上实现了最高1.91倍加速和1.94倍吞吐量提升。
2024-02-15 cs.AI cs.CL cs.LG
FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs
Microsoft(微软);NVIDIA(英伟达)
针对大语言模型内存需求大、推理成本高的问题,提出仅权重细粒度量化方法FineQuant,自适应确定量化粒度,无需微调适配MoE与稠密模型,结合高效GPU GEMM实现,在极小精度损失下大幅提升推理吞吐量。
2023-08-16 cs.CL cs.LG
Integer-Only Neural Network Quantization Scheme Based on Shift-Batch-Normalization
Peking University(北京大学)
神经网络在许多领域都非常流行,但是巨大的计算复杂度使得神经网络难以在资源有限的设备上运行。为了解决这个问题,量化方法被用来减少模型的大小和计算成本,使得神经网络在嵌入式平台或移动设备上的使用成为可能。本文介绍了一种仅限整数的量化方案。该方案使用一个层,该层结合了基于移位的批量归一化和均匀量化来实现4位仅整数的推断。该方案不需要大整数乘法(在以前的仅整数量化方法中使用),可以实现良好的功率和延迟效率,并且特别适合于部署在协同设计的硬件平台上。测试证明,该方案对于简单的任务非常有效。对于困难的任务,其推理效率可以容忍性能损失。我们的工作可以在github上找到:https://github.com/hguq/IntegerNet。
2021-05-28 cs.LG
Accelerating PoT Quantization on Edge Devices
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
本文提出开源流程PoTAcc,通过设计基于位移的处理单元和加速器,在边缘设备上端到端加速PoT量化DNN,实现显著加速与能耗降低。
2024-10-22 cs.AR cs.LG
Pyramid Vector Quantization for Deep Learning
Ocean Logic Pty Ltd(海洋逻辑有限公司)
本文探讨了使用金字塔矢量量化(PVQ)来降低各种神经网络(NN)的计算成本,同时压缩描述它们的权重。这是基于这样的事实,即实数的N维向量和N维PVQ向量之间的点积可以仅用加法和减法以及一次乘法来计算。这是有利的,因为通常用于NN中的张量积可以重新转换为点积或点积的集合。最后,需要强调的是,任何基于可以重新转换为点积的运算的NN架构都可以从这里描述的技术中受益。
2017-04-10 cs.LG cs.NE
Efficient Arbitrary Precision Acceleration for Large Language Models on GPU Tensor Cores
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Integrated Circuits, Sun Yat-sen University(中山大学集成电路学院)
针对任意精度超低比特 LLM 推理受限于 Tensor Core 与内存管理的问题,提出 bipolar-INT、比特级矩阵乘、预处理及恢复导向内存管理方案,实现最高 6.7 倍推理加速。
2024-10-18 cs.AI cs.AR cs.LG
NestQuant: Nested Lattice Quantization for Matrix Products and LLMs
MIT(麻省理工学院);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出基于自相似嵌套格与 Gosset 格的 NestQuant 训练后量化方法,可即插即用地量化 LLM 权重、激活和 KV-cache,并在 4 bit 设置及最高 70B 模型上显著降低困惑度损失。
2025-07-26 cs.AI cs.IT cs.LG
DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two Quantization
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);University of Montreal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
提出DenseShift网络,通过无零位移机制、符号-尺度分解和低方差随机初始化策略,解决低比特二次幂量化网络的精度与推理效率问题,在视觉和语音任务中实现与全精度网络相当的性能且具备强迁移能力。
2023-10-24 cs.AI cs.CV cs.LG
MixDiT: Accelerating Image Diffusion Transformer Inference with Mixed-Precision MX Quantization
Korea Advanced Institute of Science and Technology(韩国科学技术院)
MixDiT通过算法-硬件协同设计,利用混合MX格式对DiT激活值进行选择性量化,并设计专用加速器实现精度灵活的乘法,在保持FID无损的情况下相比RTX 3090获得2.10至5.32倍加速。
2025-04-11 cs.AR cs.LG
CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks
New York University Abu Dhabi(纽约大学阿布扎比分校);Technische Universität Wien (TU Wien)(维也纳工业大学);Politecnico di Torino(都灵理工大学)
在当今智能网络物理系统的时代,深度神经网络(DNN)由于其在复杂的现实世界应用中的最先进性能而变得无处不在。这些网络的高计算复杂性转化为增加的能耗,是在资源受限系统中部署大型DNN的最大障碍。通过训练后量化实现的定点(FP)实现通常用于减少这些网络的能耗。然而,FP中的均匀量化间隔将数据结构的比特宽度限制为大值,这是由于需要以足够的分辨率表示大多数数字并避免高量化误差。在本文中,我们利用了关键的见解,即(在大多数情况下)DNN权重和激活大多集中在零附近,只有少数具有较大的幅度。我们提出了CoNLoCNN,这是一种通过利用以下内容实现节能低精度深度卷积神经网络推理的框架:(1)权重的非均匀量化,从而简化复杂的乘法运算;以及(2)激活值之间的相关性,从而能够以低成本部分补偿量化误差,而无需任何运行时开销。为了从非均匀量化中显著受益,我们还提出了一种新的数据表示格式,编码低精度二进制有符号数字,以压缩权重的位宽,同时确保直接使用编码权重进行处理,使用新的乘法和累加(MAC)单元设计。
2022-07-31 cs.AR cs.LG
Mix and Match: A Novel FPGA-Centric Deep Neural Network Quantization Framework
Northeastern University(东北大学);The University of Hong Kong(香港大学);University of Southern California(南加州大学)
深度神经网络(DNN)在各种应用领域都取得了非凡的性能。为了支持不同的DNN模型,DNN推理在边缘计算平台上的有效实现,例如,ASIC、FPGA和嵌入式系统得到了广泛的研究。由于模型大小和计算量巨大,模型压缩是在边缘设备上部署DNN模型的关键步骤。本文重点介绍了权重量化,一个硬件友好的模型压缩的方法,是补充重量修剪。与现有的方法,使用相同的量化方案的所有权重,我们提出了第一个解决方案,适用于不同的权重矩阵的不同行的量化方案。其动机是(1)不同行中权重的分布不相同;以及(2)实现更好地利用异构FPGA硬件资源的潜力。为了实现这一目标,我们首先提出了一种硬件友好的量化方案,名为2的幂和(SP2),适合于高斯型权重分布,其中乘法运算可以用逻辑移位器和加法器代替,从而实现了FPGA LUT资源的高效实现。相比之下,现有的定点量化适合于均匀类权重分布,并且可以由DSP高效地实现。然后,为了充分利用资源,我们提出了一个以FPGA为中心的混合方案量化(MSQ)与所提出的SP2和定点方案的集成。组合这两种方案可以保持,甚至由于与权重分布的更好匹配而增加准确性。
2020-12-12 cs.AR cs.LG
GANQ: GPU-Adaptive Non-Uniform Quantization for Large Language Models
The University of Hong Kong(香港大学)
本文提出 GANQ,一种面向 GPU、基于查找表 mpGEMM 的逐层训练后非均匀量化框架,以无需训练的自适应优化降低量化误差,并在 3/4-bit 设置下改善困惑度、实现最高 2.57× 推理加速。
2025-06-09 cs.AI cs.LG math.OC
FPGA Co-Design for Efficient N:M Sparse and Quantized Model Inference
本文提出了一种FPGA协同设计方法,通过N:M稀疏性和量化技术提升LLM在资源受限环境下的推断效率。
2026-01-20 cs.AR cs.LG
Accelerating Neural Network Inference by Overflow Aware Quantization
Alibaba Group(阿里巴巴集团)
深度神经网络固有的繁重计算阻碍了其广泛应用。一种广泛使用的加速模型推理的方法是量化,通过使用定点值替换网络的输入操作数。然后,大部分的计算成本集中在整数矩阵乘法累加。事实上,高位累加器会导致部分计算浪费,而低位累加器通常会发生数值溢出。为了解决这个问题,我们提出了一种溢出感知量化方法,通过设计可训练的自适应定点表示,以优化每个输入张量的位数,同时在计算过程中禁止数值溢出。利用该方法,我们能够充分利用计算能力,以最大限度地减少量化损失,并获得优化的推理性能。为了验证我们的方法的有效性,我们分别在ImageNet,Pascal VOC和COCO数据集上进行图像分类,目标检测和语义分割任务。实验结果表明,该方法可以实现与国家的最先进的量化方法相当的性能,同时加快约2倍的推理过程。
2020-05-27 cs.CV cs.LG
GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization
Information Systems Technology and Design(信息系统技术与设计);Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing (IHPC)(高性能计算研究所);Agency for Science, Technology and Research (A*STAR)(科技研究局)
针对低比特量化中二次幂格式的低角度分辨率问题,提出几何正交残差投影量化(GoQuant),通过双基几何投影和移位加操作合成高分辨率残差格点,实现硬件高效且无需乘法器的量化方法。
2026-07-29 cs.AI cs.LG
OASIS: Outlier-Aware LUT-Based GEMM with Dual-Side Quantization for LLM Inference Acceleration
National University of Singapore(新加坡国立大学)
提出OASIS架构,利用预计算笛卡尔积查找表实现非均匀量化权重与激活的高效通用矩阵乘法,通过离群点感知量化方案和实时离群点检测引擎Orizuru,在保持精度的同时显著提升推理速度和能效。
2026-06-02 cs.AR cs.LG
FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels
Peking University(北京大学)
本文提出FairyFuse,通过融合三进制权重的八次实值子GEMV,实现CPU上的无乘法LLM推理,显著提升性能,单CPU达到32.4 tokens/s,质量接近FP16。
2026-04-22 cs.LG
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research(Meta现实实验室研究部门);AGH UST(AGH科技大学)
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性,通常通过量化权重。大多数现有的作品采用线性量化,这会导致相当大的下降,在精度的权重位宽低于8。由于权重的分布通常是不均匀的(大多数权重集中在零附近),因此其他方法(如对数量化)更适合,因为它们能够更精确地保持权重分布的形状。此外,使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中,我们探讨利用较低的位精度的非线性量化技术,并确定有利的硬件实现选项。我们开发了量化感知训练(QAT)算法,该算法允许训练低位宽的二次幂(PoT)网络,并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术,并研究了三种不同量化方案(均匀,PoT和附加PoT(APoT))的MAC单元的硬件设计,以显示使用所提出的方法时提高的效率。实验结果表明,对于低位宽精度,非均匀量化的性能优于均匀量化,同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
EuclidNets: An Alternative Operation for Efficient Inference of Deep Learning Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);McGill University(麦吉尔大学);Polytechnique Montreal(蒙特利尔理工学院)
随着边缘设备上深度学习应用的出现,研究人员积极尝试优化其在低功耗和内存受限设备上的部署。有建立的压缩方法,如量化,修剪和架构搜索,利用商品硬件。除了传统的压缩算法之外,可以重新设计深度学习模型的操作,以实现更高效的实现。为此,我们提出了EuclidNet,一种压缩方法,旨在实现硬件,取代乘法,$xw$,与欧几里得距离$(x-w)^2$。我们证明了EuclidNet与矩阵乘法对齐,并且在卷积层的情况下,它可以用作相似性的度量。此外,我们表明,在各种变换和噪声场景下,EuclidNet与使用乘法运算设计的深度学习模型相比表现出相同的性能。
2022-12-22 cs.LG
A method of using RSVD in residual calculation of LowBit GEMM
lnstitute of Software Chinese Academy of Sciences Beijing China;lnstitute of Software Chinese Academy of Sciences
提出LRQMM方法,通过在低精度量化矩阵乘法残差补偿中引入低秩近似,在仅增加BLAS-2级开销下将误差降低1~2个数量级,显著提升了深度学习网络中的计算精度。
2024-09-27 cs.LG cs.MS
Stella Nera: A Differentiable Maddness-Based Hardware Accelerator for Efficient Approximate Matrix Multiplication
Integrated Systems Laboratory ETH Zurich(ETH Zurich 系统整合实验室);Computing Systems Lab Zurich Research Center, Huawei Technologies(华为技术 Zurich 研究中心计算系统实验室);University of Bologna(博洛尼亚大学)
本文提出首个基于 Maddness 的矩阵乘法加速器 Stella Nera,并引入可微分近似以支持梯度微调,实现 161 TOp/s/W 能效和 CIFAR-10 92.5% Top-1 准确率。
2025-07-25 cs.AR cs.CV cs.LG
FlattenQuant: Breaking Through the Inference Compute-bound for Large Language Models with Per-tensor Quantization
Zhejiang Lab(之江实验室)
针对LLM大批量、长序列推理的计算瓶颈,提出FlattenQuant逐张量低比特量化方法,通过展平大通道降低张量最大值,实现最高2倍加速与2.3倍显存降低。
2024-02-28 cs.AI cs.CL cs.LG
F-BFQ: Flexible Block Floating-Point Quantization Accelerator for LLMs
School of Computing Science, University of Glasgow(计算科学学院,格拉斯哥大学)
针对BFP量化LLM层间变体需重配置的问题,提出F-BFQ加速器,动态切换两种BFP变体执行MatMul,在AMD Kria板上平均提速1.4倍,达5.2 tokens/s。
2025-10-15 cs.AR cs.DC cs.LG
MergeQuant: Accurate 4-bit Static Quantization of Large Language Models by Channel-wise Calibration
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学网络与交换技术国家重点实验室);PengCheng Laboratory(鹏城实验室)
MergeQuant提出逐通道静态量化框架,通过量化步骤迁移消除动态量化开销,并结合维度重建与自适应裁剪,在4位量化下显著缩小精度差距并实现最高2.06倍端到端加速。
2025-03-07 cs.LG
RSR-core: A High-Performance Engine for Low-Bit Matrix-Vector Multiplication
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出RSR-core,一种基于RSR算法的高性能引擎,实现低比特矩阵向量乘法的优化低层内核,支持CPU和CUDA环境,显著提升推理效率。
2026-03-29 cs.DS cs.LG cs.PF
AlignedKV: Reducing Memory Access of KV-Cache with Precision-Aligned Quantization
Tsinghua University(清华大学);Sunlune(三朗科技)
本文提出“精度对齐”准则并构建定量框架评估混合精度量化中参数重要性,据此开发动态KV缓存量化技术,在几乎无损精度下减少25%内存访问并实现最高1.3倍解码加速。
2024-10-21 cs.LG
Exploring Layer-wise Information Effectiveness for Post-Training Quantization in Small Language Models
The University of Hong Kong(香港大学);Huazhong University of Science and Technology(华中科技大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生学院)
LieQ通过分层信息有效性量化方法,在亚8B模型中实现高效低比特压缩,减少精度损失并提升边缘设备部署可行性。
2025-12-27 cs.AI cs.LG
FireQ: Fast INT4-FP8 Kernel and RoPE-aware Quantization for LLM Inference Acceleration
Cloud Research Team, Samsung SDS(三星SDS云研究团队)
FireQ提出INT4-FP8混合量化框架与专用矩阵乘法内核,结合离群值平滑和RoPE感知缩放策略,在Llama模型上实现显著推理加速且精度损失极小。
2025-07-18 cs.LG
Beyond Accuracy: Prefix-Invariant Realizations of Low-Precision Fast Matrix Multiplication
Beijing Tongming Lake Information Technology Application Innovation Center (TLAIC)(北京通明湖信息技术应用创新中心);Fudan University Institute of Systems for Advanced Computing(复旦大学先进计算系统研究院);Harbin Institute of Technology(哈尔滨工业大学);Key Lab of HCST (PKU), MOE(北京大学高可信软件技术教育部重点实验室;北京大学计算机学院);SCS, Peking University(上海开放计算系统研究院);Shanghai Institute of Systems for Open Computing
针对快速矩阵乘法破坏前缀不变性的问题,提出有界整数编码上两级Strassen的认证实现,通过独立量化token行并精确相消,保证逐位等价于行局部int8算子,使实现选择成为纯成本决策。
2026-10-01 cs.LG
Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
研究speculative decoding与quantization结合时计算负载削弱内存收益的问题,提出分层框架利用小模型将树形草稿转为序列草稿,在4位权重Llama-3-70B上实现2.78倍加速,比EAGLE-2快1.31倍。
2025-05-29 cs.AI cs.CL cs.LG
Multi-Scale Dequant: Eliminating Dequantization Bottleneck via Activation Decomposition for Efficient LLM Inference
Huawei(华为)
本文提出多尺度去量化方法,通过分解高精度激活为多个低精度组件,避免权重转换,提升LLM推理效率。
2026-05-13 cs.AI cs.LG stat.ML
FlexQ: Efficient Post-training INT6 Quantization for LLM Serving via Algorithm-System Co-Design
本文提出FlexQ,一种结合算法与系统协同设计的训练后INT6量化框架,通过统一的6位权重量化、自适应8位激活保留及专用BTC等效GPU内核,在保持接近FP16精度的同时显著提升了LLM推理速度与内存效率。
2025-11-03 cs.LG
Agile-Quant: Activation-Guided Quantization for Faster Inference of LLMs on the Edge
Oracle
本文提出Agile-Quant,一种激活引导的量化框架,实现对LLM权重和激活的同步量化,在边缘设备上实现高达2.55倍推理加速,同时保持任务性能。
2025-04-21 cs.AI cs.CL cs.LG
Trainable Fixed-Point Quantization for Deep Learning Acceleration on FPGAs
Cornell University(康奈尔大学);Tsinghua University(清华大学)
本文提出可训练定点量化方法QFX,训练中自动学习小数点位置并支持无乘数量化以减少DSP占用,基于PyTorch实现且兼容FPGA HLS部署,在CIFAR-10、ImageNet上精度优于训练后量化,还在嵌入式FPGA加速器上验证了有效性。
2024-01-31 cs.CV cs.LG
EFQ-Softmax: Exp-Free Quantization for Softmax
Huawei Technologies Co., Ltd(华为技术有限公司);Shandong University of Finance and Economics(山东财经大学)
EFQ-Softmax提出无指数低位概率生成方法,直接映射注意力分数为E2M1操作数,替代先指数后量化路径,在保持模型质量的同时降低延迟。
2026-09-21 cs.LG
Training of mixed-signal optical convolutional neural network with reduced quantization level
University of Central Florida(中佛罗里达大学)
采用模拟矩阵乘法加速器的混合信号人工神经网络(ANN)可以实现更高的速度和更高的功率效率。虽然模拟计算容易受到噪声和设备缺陷的影响,但由于人工神经网络的鲁棒性,各种模拟计算范式被认为是解决机器学习应用中不断增长的计算需求的有前途的解决方案。这种鲁棒性已经在低精度、定点ANN模型中进行了探索,这些模型已经被证明在数字计算机上成功地压缩了ANN模型的大小。然而,这些有希望的结果和网络训练算法不能轻易地迁移到模拟加速器。原因是数字计算机通常携带具有较高位宽的中间结果,尽管每个ANN层的输入和权重具有较低的位宽;而模拟中间结果具有较低的精度,类似于具有降低的量化水平的数字信号。在这里,我们报告了一种训练方法的混合信号人工神经网络与两种类型的错误,在其模拟信号,随机噪声和确定性的错误(失真)。实验结果表明,在噪声水平为理想量化步长的50%的情况下,用该方法训练的混合信号神经网络可以达到与理想量化步长相当的分类精度。我们已经在基于衍射光学的混合信号光学卷积神经网络上证明了这种训练方法。
2020-08-20 cs.LG cs.NE eess.SP
ShiftAddNet: A Hardware-Inspired Deep Network
Rice University(莱斯大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出硬件启发的ShiftAddNet,用位移和加法替代乘法构建深度网络,在保持准确率的同时大幅降低训练与推理能耗并提升鲁棒性。
2025-03-03 cs.LG
KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
University of California, Berkeley(加州大学伯克利分校);ICSI;LBNL(劳伦斯伯克利国家实验室)
KVQuant 提出多种低精度 KV 缓存量化新方法,在 3-bit 下实现极低困惑度下降,支持千万级上下文推理并带来显著加速。
2025-05-28 cs.LG
Mixed Low-precision Deep Learning Inference using Dynamic Fixed Point
Intel Labs(英特尔实验室)
我们提出了一种基于聚类的量化方法,将预训练的全精度权重转换为三进制权重,对精度的影响最小。此外,我们还将激活限制为8位,从而实现子8位全整数推理流水线。我们的方法使用较小的N个滤波器的集群与一个共同的缩放因子,以最大限度地减少量化损失,同时也最大限度地提高了三进制操作的数量。我们表明,在Resnet-101上,当集群大小为N=4时,可以实现71.8%的TOP-1精度,在最佳全精度结果的6%以内,同时用8位累加替换约85%的乘法。使用相同的方法,4位权重达到76.3%的TOP-1精度,在2%的全精度结果。我们还研究了集群大小对性能和精度的影响,较大的集群大小N=64可以用三元运算代替~98%的乘法,但精度会显著下降,这需要对参数进行微调,并以较低的精度重新训练网络。为了解决这个问题,我们还通过使用全精度权重预初始化网络,训练了具有8位激活和三进制权重的低精度Resnet-50,并在4个额外的epoch内实现了68.9%的TOP-1精度。我们最终的量化模型可以在完整的8位计算管道上运行,与基线全精度模型相比,性能可能提高16倍。
2017-02-01 cs.LG cs.NE
Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization
Rakuten Mobile, Inc.(乐天移动公司)
在低延迟或移动应用中,需要更低的计算复杂度、更低的存储器占用和更好的能量效率。许多先前的工作通过去除冗余参数来解决这一需求。参数量化用较低精度的定点运算取代浮点运算,进一步降低了复杂度。量化权重神经网络的典型训练从完全量化的权重开始。量化产生随机噪声。作为补偿这种噪声的一种方法,在训练过程中,我们建议在保持其他权重浮点精度的同时,增加一些权重。深度神经网络有很多层。为了得到一个完全量化的权重网络,我们从一个量化层开始,然后覆盖越来越多的层。我们表明,层量化的顺序影响精度。对于深度神经网络来说,订单数量很大。提出了一种灵敏度预训练来指导层量化顺序。最近在权重二值化方面的工作用加法代替了权重输入矩阵乘法。我们将所提出的迭代训练应用于权重二值化。我们的实验涵盖了MNIST、CIFAR-10和ImageNet数据集上的全连接和卷积网络。我们的经验表明,从部分二进制权重而不是从完全二进制权重开始,训练达到完全二进制权重网络,对于更大更深的网络具有更好的准确性。按前向顺序进行的层二值化导致更好的精度。引导层二值化可以进一步改善这一点。这些改进是以延长培训时间为代价的。
2021-11-13 cs.LG
QuantAttack: Exploiting Dynamic Quantization to Attack Vision Transformers
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对视觉Transformer量化技术的动态行为与平均性能假设漏洞,提出QuantAttack攻击方法,可触发量化模型最坏性能、降低效率,且在多模态任务中有效并具有跨模型迁移性。
2024-11-28 cs.CR cs.CV cs.LG
Fixed-point Quantization of Convolutional Neural Networks for Quantized Inference on Embedded Platforms
Eindhoven University of Technology(埃因霍温理工大学);Philips Innovation Services(飞利浦创新服务)
卷积神经网络(CNN)已被证明是用于图像分类任务的强大的最先进的方法。然而,一个缺点是CNN的高计算复杂性和高存储器消耗,这使得它们在嵌入式平台上执行是不可行的,嵌入式平台被限制在支持CNN所需的物理资源上。量化经常被用来有效地优化CNN的内存和计算复杂性,代价是损失预测精度。因此,我们提出了一种方法来优化预训练的CNN的每一层的权重、偏差和激活,同时控制推理准确性的损失以实现量化推理。我们将32位浮点精度参数转换为低位宽定点表示,从而为给定CNN的每一层的参数找到最佳位宽和分数偏移。我们对CNN后训练的参数进行训练而不重新训练它。我们的方法被设计为考虑其他参数如何量化来对CNN的参数进行训练,因为忽略由于其他量化参数引起的量化误差会导致低精度CNN,其精度损失高达50%,这远远超出了可接受的范围。因此,我们的最终方法给出了一个低精度的CNN,准确性损失小于1%。与商业工具使用的将所有参数转换为8位的方法相比,我们的方法提供了量化的CNN,对于在我们测试的四个数据集上训练的两个CNN,平均降低了53%的内存消耗和77.5%的乘法执行成本。我们发现,参数的逐层量化在这个过程中有很大的帮助。
2021-02-03 cs.CV cs.LG
NUPES : Non-Uniform Post-Training Quantization via Power Exponent Search
Datakalab(Datakalab公司);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
NUPES提出基于幂指数搜索的非均匀训练后量化方法,利用自同构保持标量乘法,并在整个量化空间学习权重和优化量化算子,在无数据与数据驱动配置下均实现领先压缩率。
2023-08-10 cs.CV cs.LG