DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
DAMP:感知衰减的混合精度循环状态量化
机构 * South China University of Technology(华南理工大学) ; Meituan(美团) ; East China Normal University(华东师范大学)
专题命中 代码生成 :code generation(abstract);分类 cs.AI、cs.LG
AI总结 DAMP是针对GDN、KDA类语言模型循环状态的混合精度量化方法,通过识别高风险通道差异化精度存储,在接近FP32基线精度的同时大幅降低存储、加速更新并减少推理延迟。