OpenAI

MOONSHOT : A Framework for Multi-Objective Pruning of Vision and Large Language Models

MOONSHOT：一种用于视觉和大语言模型多目标剪枝的框架

Gabriel Afriat, Xiang Meng, Shibal Ibrahim, Hussein Hazimeh, Rahul Mazumder

机构 * Google（谷歌） ； OpenAI ； Massachusetts Institute of Technology（麻省理工学院） 纠错

AI总结 MOONSHOT通过联合优化层重建误差和训练损失的二阶泰勒近似，提升视觉和大语言模型在无重新训练下的压缩效果，显著提升模型性能。