Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities
在大语言模型、多模态大语言模型及更广泛的领域中进行模型融合:方法、理论、应用与机遇
机构 * Shenzhen Campus of Sun Yat-sen University, China(中山大学深圳校区) ; Northeastern University China(东北大学) ; Shenzhen Campus of Sun Yat-sen University China(中山大学深圳校区) ; Nanyang Technological University Singapore(南洋理工大学) ; Northeastern University(东北大学) ; Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区) ; Nanyang Technological University(南洋理工大学) ; Institute for Clarity in Documentation Dublin Ohio USA(文档清晰研究所) ; Inria Paris-Rocquencourt Rocquencourt France(巴黎-罗quentourt研究所) ; Rajiv Gandhi University Doimukh Arunachal Pradesh India(拉贾·甘地大学) ; Tsinghua University Haidian Qu Beijing Shi China(清华大学) ; Palmer Research Laboratories San Antonio Texas USA(帕勒研究中心) ; Institute for Clarity in Documentation(文档清晰研究所) ; Inria Paris-Rocquencourt(巴黎-罗quentourt研究所) ; Rajiv Gandhi University(拉贾·甘地大学) ; Tsinghua University(清华大学) ; Palmer Research Laboratories(帕勒研究中心)
AI总结 本文综述了模型融合的方法、理论、应用及未来方向,提出新的分类方法并探讨其在多个机器学习领域的应用及挑战。