Meituan（美团）

DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization

DAMP：感知衰减的混合精度循环状态量化

Tao Zhang, Jianchao Tan, Pingwei Sun, Yanqi Yu, Zixu Jiang, Yuchen Xie, Xunliang Cai, Ziqian Zeng

机构 * South China University of Technology（华南理工大学） ； Meituan（美团） ； East China Normal University（华东师范大学） 纠错

AI总结 DAMP是针对GDN、KDA类语言模型循环状态的混合精度量化方法，通过识别高风险通道差异化精度存储，在接近FP32基线精度的同时大幅降低存储、加速更新并减少推理延迟。