Activation Outliers Matter: Robust Recovery for Quantized Multimodal LLMs
激活异常值很重要:量化多模态大语言模型的鲁棒恢复
机构 * Huawei(华为)
专题命中 效率与部署 :large language model(abstract,abstract_cn);language model(abstract,abstract_cn);分类 cs.LG
AI总结 本研究针对多模态大语言模型超低比特量化的性能损失问题,提出Residual Fallback Quantization框架,可有效恢复MXFP4、HiF4量化下的性能,缩小与BF16基线的差距。
Comments 14 Pages, 5 figures, 5 tables