GAMMA: Global Bit Allocation for Mixed-Precision Models under Arbitrary Budgets
GAMMA:在任意预算下为混合精度模型进行全局位分配
机构 * Beihang University(北航) ; Tsinghua University(清华) ; ByteDance Inc(字节跳动)
AI总结 本文提出GAMMA框架,通过后训练流水线学习模块级精度偏好,优化教师强制隐藏状态重建目标并利用整数规划实现精确预算分配,从而在任意预算下提升大语言模型的精度,优于固定精度基线和搜索基混合精度方法。