CafeQ: Calibration-free Quantization via Learned Transformations and Adaptive Rounding
CafeQ: 无需校准的量化方法通过学习变换和自适应四舍五入
机构 * Google(谷歌) ; University of Wisconsin Madison(威斯康星大学麦迪逊分校) ; University of California Los Angeles(加州大学洛杉矶分校)
AI总结 CafeQ通过学习变换和自适应四舍五入方法,在无需校准数据的情况下提升大语言模型的量化效果,实现更高效的推理性能。