PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration
PolarQuant: 利用极坐标变换实现高效键缓存量化和解码加速
机构 * Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院) ; ShanghaiTech University(上海科技大学) ; Meituan(美团)
AI总结 提出PolarQuant方法,通过将键向量分组为二维子向量并编码为量化半径和极角,解决键缓存量化中的异常值问题,同时通过查表加速解码,保持全精度模型性能。
Comments NeurIPS 2025 version with minor revisions to the methodology