QuBLAST: A Framework for Quantizing Large Language Models with Block-Level Compression Approach and Activation Scaling Strategy
QuBLAST: 一种采用块级压缩方法和激活缩放策略量化大语言模型的框架
机构 * eBRAIN Lab, Division of Engineering, New York University (NYU) Abu Dhabi(eBRAIN实验室,工程系,纽约大学(NYU)阿布扎赫德分校)
专题命中 效率与部署 :large language model(title);language model(title);post-training(abstract);分类 cs.AI、cs.LG
AI总结 针对大语言模型部署困难,提出QuBLAST框架,通过块级混合精度量化和激活缩放策略,在降低模型大小40%-45.2%的同时保持困惑度增加不超过5%。
Comments 10 pages, 9 figures, 5 tables