Zhi-Hua Zhou

EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation

EdgeRazor: 一种通过混合精度量化感知蒸馏实现大语言模型轻量化的框架

Shu-Hao Zhang, Le-Tong Huang, Xiang-Sheng Deng, Xin-Yi Zou, Chen Wu, Nan Li, Shao-Qun Zhang, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Microsoft AI（微软AI） 纠错

AI总结 本文提出EdgeRazor框架，通过混合精度量化感知蒸馏方法，在资源受限设备上部署大语言模型，实现了更高的压缩比和更高效的性能。