GAST: Gradient-aligned Sparse Tuning of Large Language Models with Data-layer Selection
GAST:基于梯度对齐的大型语言模型稀疏调优与数据层选择
机构 * Ant Group(蚂蚁集团) ; Cornell University(康奈尔大学) ; University of Liverpool(利物浦大学) ; Soochow University(苏州大学) ; Cleveland Clinic Lerner Research Institution(克利夫兰诊所勒纳研究机构)
AI总结 GAST通过同时进行数据和层维度的选择性微调,解决现有方法忽略数据对不同层贡献差异的问题,提升大型语言模型的微调效果。