Post-Training Quantization of OpenPangu Models for Efficient Deployment on Atlas A2
在Atlas A2上对OpenPangu模型进行训练后量化以实现高效部署
机构 * School of Computer Science and Technology, Tianjin University(计算机科学与技术学院,天津大学)
专题命中 代码评测 :code generation(abstract);分类 cs.AI、cs.LG
AI总结 本文提出在Atlas A2上通过低比特量化提升OpenPangu模型的推理效率,实现高效CoT推理并保持高精度。