Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning
稀疏层尖锐性感知最小化用于高效的微调
机构 * School of Cyber Science and Technology, Sun Yat-sen University, Shenzhen Campus(网络安全科学与技术学院,中山大学深圳校区) ; School of Computing, National University of Singapore(计算学院,新加坡国立大学) ; Baidu Inc(百度公司) ; Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室(深圳))
AI总结 SL-SAM通过稀疏技术优化微调过程,减少计算成本并提升效率,实现与先进基线相当的性能。