2606.03209
2026-06-03
cs.LG
DECA: Decentralizing Block-Wise Adam for Efficient LLM Full-Parameter Fine-Tuning on Non-IID Data
DECA: 去中心化逐块Adam优化器用于非独立同分布数据上的高效大语言模型全参数微调
Yunsheng Yuan, Shaowei Li, Kai Wang, Zhongyuan Sun, Zheng Zhang, Kai Han, Jun Luo, Feng Li
发表机构
*
School of Computer Science and Technology, Shandong University, Qingdao China(山东大学计算机科学与技术学院,青岛中国)
;
School of Mathematical Science, Peking University, China(北京大学数学科学学院,中国)
;
IEIT SYSTEM, China(IEIT SYSTEM,中国)
;
School of Computer Science and Artificial Intelligence, Shanghai University of Finance and Economics, Shanghai, China(上海财经大学计算机科学与人工智能学院,上海中国)
;
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算与数据科学学院,新加坡)
AI总结
针对隐私敏感和资源受限环境中的大语言模型微调,提出DECA框架,通过逐块Adam优化和去中心化共识机制,在非独立同分布数据上实现高效的全参数微调,兼顾收敛速度、下游性能和资源效率。