arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节(Veterans Day),12 日无更新
arXiv 2007.03797cs.LGcs.DCstat.ML
收藏

基于非IID数据的个性化跨筒仓联邦学习

Personalized Cross-Silo Federated Learning on Non-IID Data

Simon Fraser University(西蒙弗雷泽大学);McMaster University(麦克马斯特大学);Huawei Technologies Canada(华为技术加拿大公司)

Yutao Huang, Lingyang Chu, Zirui Zhou, Lanjun Wang, Jiangchuan Liu, Jian Pei, Yong Zhang

摘要:

非IID数据对联邦学习提出了严峻的挑战。在本文中,我们探索了一个新的想法,促进客户端之间的相似数据的成对合作。我们提出了FedAMP,一种新的方法,采用联邦关注的消息传递,以方便类似的客户端进行更多的合作。我们建立了凸模型和非凸模型的FedAMP的收敛性,并提出了一种探试法,以进一步提高FedAMP的性能时,客户端采用深度神经网络作为个性化的模型。我们在基准数据集上的大量实验证明了所提出的方法的优越性能。

英文摘要:

Non-IID data present a tough challenge for federated learning. In this paper, we explore a novel idea of facilitating pairwise collaborations between clients with similar data. We propose FedAMP, a new method employing federated attentive message passing to facilitate similar clients to collaborate more. We establish the convergence of FedAMP for both convex and non-convex models, and propose a heuristic method to further improve the performance of FedAMP when clients adopt deep neural networks as personalized models. Our extensive experiments on benchmark data sets demonstrate the superior performance of the proposed methods.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑