Will it Merge? On The Causes of Model Mergeability
是否会合并?关于模型合并性的原因
机构 * Technion - Israel Institute of Technology(技术ion-以色列理工学院) ; IBM Research AI(IBM人工智能研究部) ; MIT(麻省理工学院) ; MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室) ; Hebrew University of Jerusalem(耶路撒冷希伯来大学) ; Kempner Institute, Harvard University(哈弗大学凯普纳研究所)
AI总结 本文研究了模型合并性的原因,提出了一种可测量的定义,并提出了一种加权合并技术以保留基础模型的知识。