FedAdamW: A Communication-Efficient Optimizer with Convergence and Generalization Guarantees for Federated Large Models
FedAdamW: 一种具有收敛性和泛化保证的联邦大模型高效优化器
机构 * School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院) ; Medical College, Tianjin University(天津大学医学院) ; School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院) ; State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室) ; Pazhou Laboratory (Huangpu), Guangzhou, Guangdong, China(广州黄埔 Pazhou 实验室)
AI总结 本文提出FedAdamW,通过局部修正机制和解耦权重衰减缓解联邦学习中的局部过拟合和方差问题,理论证明其收敛速率并实验证明其在语言和视觉Transformer模型中的有效性。
Journal ref AAAI 2026