LeanQuant: Accurate and Scalable Large Language Model Quantization with Loss-error-aware Grid
LeanQuant: 一种准确且可扩展的大型语言模型量化方法,具有损失误差感知的网格
机构 * Dept. of Computer Science, Rice University(计算机科学系, Rice大学) ; ThirdAI Corp.(ThirdAI公司) ; Ken Kennedy Institute(肯尼迪研究所)
AI总结 LeanQuant通过学习损失误差感知的网格,实现了准确且可扩展的大型语言模型量化,适用于多种量化类型并兼容更多框架。
Comments Published in ICLR 2025