Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance
AMD(超威半导体)
我们引入了一个量化感知的训练算法,保证避免数值溢出时,减少推理过程中的精度的迭代。我们利用权重归一化作为在训练过程中使用我们推导出的累加器位宽界限来约束参数的一种手段。我们评估我们的算法在多个量化的模型,我们训练不同的任务,表明我们的方法可以降低精度的预测,同时保持模型的精度相对于浮点基线。然后,我们表明,这种减少转化为定制的基于FPGA的加速器的设计效率提高。最后,我们表明,我们的算法不仅限制权重,以适应用户定义的位宽的累加器,但也增加了稀疏性和压缩性的权重。在我们所有使用8位权重和激活训练的基准模型中,我们观察到,将量化神经网络的隐藏层限制为适合16位卷积,平均稀疏度为98.2%,估计压缩率为46.5倍,同时保持99.2%的浮点性能。
2023-01-31 cs.AI cs.AR cs.CV
Pareto-Optimal Quantized ResNet Is Mostly 4-bit
University of California Riverside(加州大学河滨分校);Google Research(谷歌研究院)
本文以ResNet为案例研究量化对推理计算成本与质量权衡的影响,发现4-bit量化模型能产生最佳Pareto曲线,并在ImageNet上通过量化感知训练达到77.09%的top-1准确率,同时开源了JAX量化库。
2021-05-07 cs.CV cs.LG
Vertical Layering of Quantized Neural Networks for Heterogeneous Inference
The University of Hong Kong(香港大学)
尽管在用于有效推理的神经网络量化方面已经取得了相当大的进展,但是现有方法不能扩展到异构设备,因为需要针对一个特定硬件设置来训练、传输和存储一个专用模型,从而在模型训练和维护方面产生相当大的成本。在本文中,我们研究了一种新的垂直分层表示的神经网络的权重封装成一个单一的量化模型。有了这种表示,我们可以在理论上实现任何精确的网络按需服务,而只需要训练和维护一个模型。为此,我们提出了一个简单的一次量化感知训练(QAT)计划,以获得高性能的垂直分层模型。我们的设计采用了级联下采样机制,该机制允许我们通过逐步将较高精度的权重映射到相邻的较低精度权重,从一个全精度源模型中获得多个量化网络。然后,针对同一源模型的不同位宽的网络,采用多目标优化方法对共享源模型权值进行训练,使其能够同时更新,同时考虑所有网络的性能。通过这样做,共享权重将被优化以平衡不同量化模型的性能,从而使得权重在不同位宽之间可转移。实验结果表明,本文提出的垂直分层表示方法和一次QAT方法能够有效地将多个量化网络合并为一个网络,并允许一次训练,其性能与任何特定位宽的量化模型相当。代码将可用。
2022-12-10 cs.LG
True 4-Bit Quantized Convolutional Neural Network Training on CPU: Achieving Full-Precision Parity
本文提出在标准CPU上使用PyTorch操作训练4位精度CNN的方法,通过tanh-based软权重裁剪技术等实现稳定收敛和高精度,实验显示在CIFAR-10上达到与全精度相同的测试准确率。
2026-03-14 cs.LG
Hardware Acceleration of Fully Quantized BERT for Efficient Natural Language Processing
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
BERT是最新的基于transformer的模型,在各种NLP任务中实现了最先进的性能。在本文中,我们研究的硬件加速BERT在FPGA上的边缘计算。为了解决巨大的计算复杂性和内存占用的问题,我们提出了对BERT(B-BERT)进行完全的扩展,包括权重、激活、softmax、层归一化和所有的中间结果。实验结果表明,该算法可以实现7.94倍的权值压缩,而性能损失可以忽略不计。然后,我们提出了一个加速器量身定制的BERT和评估Xilinx ZCU 102和ZCU 111 FPGA。它可以实现3.18 fps/W的性能每瓦,这是28.91倍和12.72倍的英特尔(R)核心(TM)i7-8700 CPU和NVIDIA K80 GPU,分别。
2021-03-04 cs.AR cs.CL
Low-Bit Quantization Favors Undertrained LLMs: Scaling Laws for Quantized LLMs with 100T Training Tokens
University of Virginia(弗吉尼亚大学);Tencent AI Lab(腾讯AI实验室)
该研究揭示低比特量化对欠训练LLM更友好,通过分析1500多个量化LLM checkpoint推导缩放定律,可衡量模型训练水平、预测量化性能,为低比特量化研究提供新视角与数据支持。
2024-11-27 cs.CL cs.LG
Mixture of Quantized Experts (MoQE): Complementary Effect of Low-bit Quantization and Robustness
Microsoft(微软)
针对大型MoE模型部署时内存消耗大、带宽瓶颈突出的问题,提出仅对专家权重做2比特超低比特量化的MoQE方法,无需额外训练即可大幅缩减内存、提升推理速度,且性能优于同数据集训练的稠密模型。
2023-10-03 cs.CL cs.LG
Empirical Evaluation of Post-Training Quantization Methods for Language Tasks
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
像BERT这样的基于transformer的架构在广泛的自然语言任务中取得了巨大的成功。尽管它们的性能不错,但这些模型仍然有许多参数和高计算复杂性,阻碍了它们在资源受限环境中的部署。训练后量化(PTQ)可以在不进行额外训练的情况下进行低位计算,可能是一种很有前途的工具。在这项工作中,我们对BERT-Base和BERT-Large上的三种PTQ方法进行了实证评估:线性量化(LQ),分析限幅量化(ACIQ)和异常通道分裂(OCS)。OCS算法在最小化均方量化误差和避免权值异常值失真方面优于其他算法。这与GLUE基准测试的大多数语言任务和阅读理解任务SQuAD的评估结果一致。此外,低比特量化的BERT模型可以在几个小的语言任务上优于相应的32比特基线,我们将其归因于过度参数化的缓解。我们进一步探讨了量化位的限制,并表明OCS可以将BERT-Base和BERT-Large扩展到3位,并相应地保持GLUE基准测试的98%和96%的性能。此外,我们对整个BERT族进行量化,即,BERT模型在不同的配置,并全面评估其性能上的GLUE基准和SQuAD,希望提供有价值的指导方针,其部署在各种计算环境。
2022-10-29 cs.CL
BiBERT: Accurate Fully Binarized BERT
Beihang University(北京航空航天大学);Baidu Inc.(百度公司);Nanyang Technological University(南洋理工大学)
大型预训练的BERT在自然语言处理(NLP)任务上取得了显着的性能,但也是计算和内存昂贵的。二值化作为一种强大的压缩方法,通过使用1位参数和逐位操作,极大地减少了计算量和内存消耗。不幸的是,BERT的完全二进制化(即,1-位权重、嵌入和激活)通常遭受显著的性能下降,并且很少有研究解决该问题。本文通过理论论证和实证分析,指出前向传播和后向传播过程中的信息退化和优化方向失配是导致性能严重下降的主要原因,并提出了一种精确的全二值化BERT--双BERT,以消除性能瓶颈。具体来说,双BERT引入了一个有效的双注意力结构,最大限度地提高代表性的信息统计和方向匹配蒸馏(DMD)计划,以优化全二进制BERT准确。大量的实验表明,BiBERT在NLP基准测试中的令人信服的裕度优于直接基线和现有的最先进的量化BERT,具有超低位激活。作为第一个完全二进制化的BERT,我们的方法产生了令人印象深刻的56.3倍和31.2倍的FLOP和模型大小的节省,展示了巨大的优势和潜力,在现实世界的资源受限的情况下,完全二进制化的BERT模型。
2022-03-12 cs.CL
Direct Quantized Training of Language Models with Stochastic Rounding
The University of Tokyo(东京大学);Fujitsu Limited(富士通有限公司)
本文提出直接更新量化低精度权重并采用随机舍入,无需直通估计,在LLaMA模型上实现高效训练,8位性能媲美BitNet b1.58,且支持三值推理。
2025-10-10 cs.CL cs.LG
Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment
University of California, Berkeley(加州大学伯克利分校)
最近在扩展大语言模型方面取得的进展表明,在广泛的基于文本的任务中执行少样本学习的能力令人印象深刻。然而,一个关键的限制是这些语言模型从根本上缺乏视觉感知-这是扩展这些模型以能够与现实世界交互并解决视觉任务所需的关键属性,例如在视觉问答和机器人技术中。之前的工作主要是通过预训练和/或对策划的图像-文本数据集进行微调来将图像连接到文本,这可能是一个昂贵且昂贵的过程。为了解决这个限制,我们提出了一种简单而有效的方法,称为语言量化自动编码器(LQAE),它是VQ-VAE的修改,通过利用预训练的语言模型(例如,BERT,Roberta).我们的主要思想是通过使用预先训练的语言码本直接量化图像嵌入来将图像编码为文本标记序列。然后,我们应用随机掩蔽,然后是BERT模型,并让解码器从BERT预测的文本标记嵌入中重建原始图像。通过这样做,LQAE学会用相似的文本标记集群来表示相似的图像,从而在不使用对齐的文本图像对的情况下对齐这两种模态。这使得能够利用大语言模型图像分类(例如,GPT-3)以及基于BERT文本特征的图像线性分类。据我们所知,我们的工作是第一个通过利用预训练的语言模型的力量将未对齐的图像用于多模态任务的工作。
2023-02-03 cs.CL cs.CV cs.LG
ApiQ: Finetuning of 2-Bit Quantized Large Language Model
University of Amsterdam(阿姆斯特丹大学);eBay Inc.(eBay公司)
针对现有内存高效微调方法在不同量化位宽和任务上性能不稳定的问题,提出ApiQ量化框架,同步初始化LoRA组件与量化权重以降低激活误差,在多模型多任务的不同位宽下均实现更优微调效果。
2024-06-21 cs.CL cs.LG
LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Petuum Inc.(Petuum公司);Massachusetts Institute of Technology(麻省理工学院)
本文提出LQ-LoRA方法,通过整数线性规划将预训练矩阵分解为固定的量化组件和可更新的低秩组件,实现内存高效的语言模型微调与压缩,在极低比特下仍保持优异性能。
2024-08-27 cs.CL cs.LG
Block-wise Bit-Compression of Transformer-based Models
针对Transformer模型计算量大、内存占用高且延迟高的问题,提出无需重新训练的分块比特压缩方法BBCT,对整个模型进行细粒度压缩,在GLUE基准测试中多数任务准确率下降不到1%。
2023-04-01 cs.CL cs.LG
Improving Quantized Model Performance in Qualitative Analysis with Multi-Pass Prompt Verification
University of Turku, Turku, Finland(图尔库大学,芬兰图尔库);Brilloconnetz Partners avoin yhtiö, Turku, Finland(Brilloconnetz Partners 有限公司,芬兰图尔库)
本文研究了不同位数量化级别和类型对LLaMA-3.1(8B)在定性分析中的性能影响,提出了一种量化感知的多轮提示验证方法以提高模型的稳定性和准确性,结果显示8位模型最接近黄金标准,4位模型在应用方法后变得稳定,3位和2位模型在提示设计和验证后性能有所提升。
2026-04-04 cs.AI cs.CL cs.LG
BiTimeBERT: Extending Pre-Trained Language Representations with Bi-Temporal Information
South China University of Technology(华南理工大学);University of Innsbruck(因斯布鲁克大学);Kyoto University(京都大学)
本文提出 BiTimeBERT,通过两个利用不同时间信号的预训练任务,在大跨度时间新闻语料上学习时间感知语言表示,并在多个时间相关下游任务上显著优于 BERT。
2023-04-27 cs.CL
QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead
New York University(纽约大学);Yale University(耶鲁大学);Adobe Research(奥多比研究机构)
QJL通过JL变换加符号位量化消除量化常数存储开销,实现零开销KV缓存量化,在3比特下减少五倍内存且不损精度。
2024-07-18 cs.AI cs.CL cs.LG
Quecto-V1: Empirical Analysis of 8-bit Quantized Small Language Models for On-Device Legal Retrieval
Indian Institute of Information Technology, Pune(浦那印度信息技术学院);Compunnel Inc(Compunnel公司)
Quecto-V1通过8位量化和专门训练,在设备端实现高效法律检索,优于通用小型模型。
2026-02-18 cs.CL
Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
本研究实证考察量化对LLM涌现能力(上下文学习、思维链推理、指令跟随)的影响,发现4位量化保留能力而2位严重退化,并提出细粒度分析与微调补偿方法。
2023-07-26 cs.AI cs.CL
LLM-FP4: 4-Bit Floating-Point Quantized Transformers
Hong Kong University of Science and Technology(香港科技大学);Meta Reality Labs(元宇宙现实实验室)
提出LLM-FP4方法,通过搜索最优量化参数构建强基线,并利用逐通道激活量化及指数偏置重参数化,首次将LLaMA-13B权重和激活量化至4位浮点数,显著优于现有方法。
2023-10-25 cs.AI cs.AR cs.CL