Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降（SGD）是分散式联邦学习（DFL）的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中，我们提出了一个通用的DFL框架，它实现了多个本地更新和多个节点间的通信周期，以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证，而无需假设凸目标。DFL的收敛速度可以被优化，以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率，将压缩通信作为一种新的方案引入到DFL中，命名为DFL with compressed communication（C-DFL）。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明，DFL优于传统的分散SGD方法，并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Michigan State University (MSU)（密歇根州立大学）
针对联邦学习中极端数据异质性导致的收敛障碍，提出FedPeWS方法，通过预热阶段让参与者学习个性化掩码并更新子网络，再切换至标准联邦优化，提升了准确率和收敛速度。
2025-04-16 cs.DC cs.LG
Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework
Sun Yat-sen University（中山大学）
物联网（IoT）已经广泛渗透到现代生活的各个方面，许多智能物联网服务和应用正在涌现。最近，联邦学习被提出来通过利用物联网设备上的大量用户生成的数据样本来训练全球共享模型，同时防止数据泄漏。然而，复杂物联网环境中固有的设备、统计和模型异构性对传统联邦学习提出了巨大挑战，使其不适合直接部署。在本文中，我们提倡在智能物联网应用的云边缘架构中使用个性化的联邦学习框架。为了应对物联网环境中的异构性问题，我们研究了新兴的个性化联邦学习方法，这些方法能够在不同方面减轻异构性造成的负面影响。借助边缘计算的强大功能，还可以实现智能物联网应用中对快速处理能力和低延迟的要求。最后，我们提供了一个基于物联网的人类活动识别的案例研究，以证明个性化联邦学习对智能物联网应用的有效性。
2020-05-02 cs.DC cs.LG cs.NI
An Empirical Study of Personalized Federated Learning
Osaka University（大阪大学）
联邦学习是一种分布式机器学习方法，其中单个服务器和多个客户端协作构建机器学习模型，而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性（即，数据分布在客户端之间可能不同）。为了解决这个问题，许多联邦学习方法都是针对个性化的联邦学习，为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法，但实验设置（例如，比较方法、数据集和客户端设置）彼此不同，并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准（即，非个性化）联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试，评价每种方法的特点。我们的实验研究表明：（1）不存在冠军方法，（2）大数据异构性通常会导致高准确度的预测，以及（3）具有微调的标准联邦学习方法（例如FedAvg）通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench，供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
GFL: A Decentralized Federated Learning Framework Based On Blockchain
Polytechnic Institute, Zhejiang University（浙江大学理工学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Public Affairs, Zhejiang University（浙江大学公共管理学院）
联邦学习（FL）是一个快速发展的领域，已经提出了许多集中式和分散式的FL框架。然而，如何提高FL框架的通信性能，保持FL框架在恶意节点攻击下的安全性和鲁棒性，是当前FL框架面临的一大挑战。在本文中，我们提出了银河联邦学习框架（GFL），一个基于区块链的去中心化FL框架。GFL引入了一致性哈希算法来提高通信性能，并提出了一种新的环形分散FL算法（RDFL）来提高分散FL的性能和带宽利用率。此外，GFL引入星际文件系统（IPFS）和区块链，进一步提升通信效率和FL安全性。实验结果表明，GFL在恶意节点和非独立同分布（Non-IID）数据集的数据投毒下，提高了通信性能和分散FL性能.
2021-04-13 cs.CR cs.DC cs.LG
A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus
Sun Yat-sen University（中山大学）；WeBank Co. Ltd.（微众银行股份有限公司）
联邦学习已被广泛研究并应用于各种场景。在移动计算场景中，联邦学习保护用户不暴露他们的私人数据，同时为各种真实世界的应用程序合作训练全局模型。然而，由于恶意客户端或中心服务器不断攻击全局模型或用户隐私数据，联邦学习的安全性越来越受到质疑。为了解决这些安全问题，我们提出了一种基于区块链的去中心化联邦学习框架，即，基于区块链的联邦学习框架与委员会共识（BFLC）。该框架使用区块链进行全局模型存储和本地模型更新交换。为了使拟议的BFLC，我们还设计了一个创新的委员会共识机制，它可以有效地减少共识计算量，减少恶意攻击。然后，我们讨论了BFLC的可扩展性，包括理论安全性、存储优化和激励措施。最后，我们使用真实世界的数据集进行实验，以验证BFLC框架的有效性。
2020-04-02 cs.DC cs.LG
Straggler-Resilient Personalized Federated Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）；UC Santa Barbara（加州大学圣塔芭芭拉分校）
联邦学习是一种新兴的学习范式，它允许从分布在大型客户端网络中的样本中训练模型，同时尊重隐私和通信限制。尽管取得了成功，但联邦学习面临着与其分散性质相关的几个挑战。在这项工作中，我们开发了一种新的算法程序，理论上的加速保证，同时处理两个这些障碍，即（i）数据异构性，即，数据分布可以在客户端之间显著变化，以及（i i）系统异质性，即，客户端的计算能力可能显著不同。我们的方法依赖于表示学习理论的思想，使用所有客户端的数据找到一个全球通用的表示，并学习一组用户特定的参数，为每个客户端提供个性化的解决方案。此外，我们的方法通过基于计算特性和统计显著性自适应地选择客户端来减轻掉队者的影响，从而首次实现了接近最佳的样本复杂度和可证明的对数加速比。实验结果支持我们的理论研究结果显示，我们的方法优于其他个性化的联邦计划在系统和数据异构环境。
2022-06-05 cs.DC cs.LG
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Microsoft（微软）；Nokia Bell Labs（诺基亚贝尔实验室）
联邦学习是一个很有前途的框架，用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本，并且可以提高隐私性，因为分布式站点不必透露隐私敏感数据。在本文中，我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法（ADMM），并检查其隐私的弱点。与以前的工作，使用差分隐私或同态加密的隐私，我们开发了一个协议，控制参与者之间的通信，在每一轮的聚合，以尽量减少隐私泄漏。我们建立了隐私保证，以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式，灵感来自组合块设计理论。我们的安全聚合协议的基础上，这种新的组通信模式的设计，导致一个有效的算法，联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明，我们的算法执行的标准集中式联邦学习方法，同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Rethinking Personalized Federated Learning with Clustering-based Dynamic Graph Propagation
The Pennsylvania State University（宾夕法尼亚州立大学）；Visa Research（Visa研究院）
针对现有个性化联邦学习方法实现与调参复杂的问题，本文提出基于聚类动态图传播的简洁框架，通过聚类建图传播更新参数并设计个性化分配策略，经多数据集实验验证了有效性。
2024-01-29 cs.DC cs.LG
FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
本文提出一种半去中心化的云-边-端分层联邦学习框架FedSR，结合环形集群内的增量次梯度优化算法，有效缓解了物联网系统中数据异构性对模型性能的影响及云服务器的通信瓶颈。
2024-03-19 cs.DC cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）；Sony AI（索尼人工智能）；North Carolina State University（北卡罗来纳州立大学）
本文提出pFedHR框架，通过异构模型重组将个性化建模为服务器端模型匹配优化问题，自动生成多样化候选模型，在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
FLoBC: A Decentralized Blockchain-Based Federated Learning Framework
The American University in Cairo（开罗美国大学）
全球范围内数据的快速扩展需要更多的分布式解决方案，以便在更广泛的范围内应用机器学习。由此产生的分布式学习系统可以具有不同程度的集中化。在这项工作中，我们展示了我们的解决方案FLoBC，用于使用区块链技术构建一个通用的分散式联邦学习系统，适应任何与梯度下降优化兼容的机器学习模型。我们提出了我们的系统设计，包括两个分散的演员：训练器和验证器，以及我们的方法，以确保该系统的可靠和有效的操作。最后，我们利用FLoBC作为一个实验沙箱，比较和对比训练者与验证者的比例，奖惩政策和模型同步方案对整体系统性能的影响，最终通过例子表明，分散的联邦学习系统确实是一个可行的替代方案，以更集中的架构。
2022-10-07 cs.DC cs.LG cs.MA
Adaptive Personalized Federated Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
对联邦学习算法中个性化程度的研究表明，只有最大化全局模型的性能才能限制局部模型的个性化能力。在本文中，我们提倡一种自适应个性化联邦学习（APFL）算法，每个客户端将训练他们的本地模型，同时有助于全球模型。我们推导了局部和全局模型混合的推广界，并找到了最佳的混合参数。我们还提出了一种通信效率的优化方法来协同学习个性化模型，并分析其收敛性在光滑强凸和非凸设置。大量的实验证明了我们的个性化模式的有效性，以及建立泛化理论的正确性。
2020-11-06 cs.DC cs.LG stat.ML
Parameterized Knowledge Transfer for Personalized Federated Learning
The Hong Kong Polytechnic University（香港理工大学）；HUST（华中科技大学）
近年来，个性化联邦学习（pFL）因其在处理客户间统计异质性方面的潜力而受到越来越多的关注。然而，最先进的pFL方法依赖于在服务器端的模型参数聚合，这要求所有模型具有相同的结构和大小，从而限制了应用于更异构的场景。为了处理这样的模型约束，我们利用异构模型设置的潜力，并提出了一种新的训练框架，采用个性化的模型，为不同的客户端。具体而言，我们制定了在原始pFL的聚合过程到个性化的群体知识转移训练算法，即，KT-pFL，这使得每个客户端保持个性化的软预测在服务器端，以指导其他人的本地训练。KT-pFL通过知识系数矩阵对所有局部软预测进行线性组合，更新每个客户端的个性化软预测，从而自适应地加强拥有相似数据分布的客户端之间的协作。此外，为了量化每个客户端对其他客户端的个性化训练的贡献，知识系数矩阵被参数化，以便它可以与模型同时训练。知识系数矩阵和模型参数在每轮中按照梯度下降的方式交替更新。在不同的设置（异构模型和数据分布）下，对各种数据集（EMNIST，Fashion\_MNIST，CIFAR-10）进行了广泛的实验。实验结果表明，该框架是第一个通过参数化群体知识转移实现个性化模型训练的联邦学习范例，同时与最先进的算法相比，实现了显著的性能增益。
2021-11-04 cs.DC cs.LG
Personalized Federated Learning with Moreau Envelopes
The University of Sydney（悉尼大学）；The University of Melbourne（墨尔本大学）
联邦学习（FL）是一种去中心化和隐私保护的机器学习技术，其中一组客户端与服务器协作以学习全局模型而不共享客户端的数据。与FL相关的一个挑战是客户端之间的统计多样性，这限制了全局模型在每个客户端的任务上提供良好的性能。为了解决这个问题，我们提出了一种个性化FL算法（pFedMe），使用Moreau包络作为客户端的正则化损失函数，这有助于将个性化模型优化与个性化FL风格化的双层问题中的全局模型学习解耦。理论上，我们证明了pFedMe的收敛速度是最先进的：对强凸目标实现了二次加速比，对光滑非凸目标实现了2/3阶次线性加速比。实验上，我们验证了pFedMe优于经验性能相比，香草FedAvg和每FedAvg，基于元学习的个性化FL算法。
2022-01-26 cs.DC cs.LG stat.ML
Implicit Model Specialization through DAG-based Decentralized Federated Learning
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）；Charité – Universitätsmedizin Berlin（夏里特医学院）
联邦学习允许一组分布式客户端在私有数据上训练公共机器学习模型。模型更新的交换由中央实体或分散的方式（例如区块链）管理。然而，所有客户端的强泛化使得这些方法不适合非独立和同分布（非IID）数据。我们提出了一个统一的方法，分散和个性化的联邦学习，是基于有向无环图（DAG）的模型更新。客户端不是训练单个全局模型，而是专注于其本地数据，同时根据其各自数据的相似性使用来自其他客户端的模型更新。这种专门化隐含地出现在基于DAG的通信和模型更新的选择中。因此，我们实现了专门模型的发展，这些模型专注于数据的一个子集，因此比集中式或基于区块链的设置中的联邦学习更好地覆盖非IID数据。据我们所知，所提出的解决方案是第一个在完全分散的联邦学习中将个性化和中毒鲁棒性结合起来的解决方案。我们的评估表明，模型的专业化直接来自三个不同数据集上基于DAG的模型更新通信。此外，与联邦平均相比，我们显示了稳定的模型准确性和更小的客户端方差。
2021-11-03 cs.DC cs.LG
WAFFLE: Weighted Averaging for Personalized Federated Learning
EPFL（洛桑联邦理工学院）
在联邦学习中，模型个性化是处理客户端异构训练数据的非常有效的策略。我们介绍WAFFLE（加权平均联邦学习），一个个性化的协作机器学习算法，利用随机控制变量更快的收敛。WAFFLE使用客户端更新之间的欧几里德距离来衡量他们的个人贡献，从而最大限度地减少感兴趣的特定代理的个性化模型损失。通过一系列的实验，我们将我们的新方法与最近的两种个性化联邦学习方法-权重侵蚀和APFL-以及两种通用FL方法-联邦平均和SCAFFOLD进行了比较。性能评估使用两个类别的不相同的客户端数据分布-概念转移和标签倾斜-在两个图像数据集（MNIST和CIFAR 10）。我们的实验证明了WAFFLE的相对有效性，因为它实现或提高了精度，收敛速度更快。
2021-12-13 cs.LG
pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup
Florida International University（佛罗里达国际大学）；USC Information Sciences Institute（南加州大学信息科学研究所）
pMixFed 提出一种动态逐层个性化联邦学习方法，通过在全局与局部模型间引入自适应 mixup、渐进个性化过渡和新聚合机制，缓解客户端漂移与灾难性遗忘，提升非IID场景下的精度与训练效率。
2025-11-09 cs.DC cs.LG
Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
PersA-FL: Personalized Asynchronous Federated Learning
Yahoo! Research（雅虎研究院）
针对异步更新下的个性化联邦学习问题，研究基于MAML和ME的两种框架，提出移除同步通信与梯度有界假设的方法，给出有界陈旧性异步FL的统一收敛证明，实验验证其性能与陈旧性容忍度。
2023-10-04 cs.AI cs.DC cs.LG
Decentralized Federated Learning via Mutual Knowledge Transfer
Tsinghua University（清华大学）；Syracuse University（雪城大学）
在本文中，我们研究了物联网（IoT）系统中的分散式联邦学习（DFL）问题，其中许多IoT客户端训练模型共同完成一项共同任务，而无需在没有中央服务器的情况下共享其私有训练数据。大多数现有的DFL方案由两个交替步骤组成，即，模型更新和模型平均。然而，直接平均模型参数以在本地客户端融合不同模型会遭受客户端漂移，特别是当训练数据在不同客户端上是异构的时。这导致收敛速度慢和学习性能下降。作为一种可能的解决方案，我们提出了分散式联合学习通过相互知识转移（Def-KT）算法，其中本地客户端通过相互转移他们的学习知识来融合模型。我们在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验表明，所提出的Def-KT算法显著优于具有模型平均的基线DFL方法，即，Combo和FullAvg，特别是当训练数据在不同客户端之间不是独立和相同分布（非IID）时。
2021-05-12 cs.DC cs.LG
Hypernetworks for Model-Heterogeneous Personalized Federated Learning
the Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)（青岛软件研究所、计算机科学与技术学院、中国石油大学（华东））；the Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能石油与天然气工业软件重点实验室）；National University of Singapore（新加坡国立大学）
针对现有个性化联邦学习方法在模型异构场景下的局限，提出基于超网络的MH-pFedHN及集成轻量全局模型的MH-pFedHNGD框架，在保护隐私的同时实现了有竞争力的准确率与强泛化性。
2025-07-30 cs.DC cs.LG
Provably Personalized and Robust Federated Learning
University of California, Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
针对联邦学习个性化问题，论文将按聚类学习模型形式化为随机优化，提出可识别客户端聚类并训练每簇模型的迭代算法，取得最优收敛率且对 Byzantine 恶意客户端鲁棒。
2023-12-18 cs.DC cs.LG
GPFL: Simultaneously Learning Global and Personalized Feature Information for Personalized Federated Learning
Queen’s University Belfast（贝尔法斯特女王大学）；Louisiana State University（路易斯安那州立大学）；Shanghai Jiao Tong University（上海交通大学）
针对现有pFL方法仅提取全局或个性化特征信息的问题，提出GPFL方法，在每个客户端同时学习全局和个性化特征信息，在六个数据集上优于十种先进方法，准确率提升最高8.99%。
2023-10-14 cs.CR cs.DC cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning
针对去中心化联邦学习中客户端数据异构、低连通网络下性能与通信成本问题，提出基于软聚类的个性化算法FedSPD，兼顾模型共识与客户端定制，降低通信成本，在低连通场景下性能优于同类算法。
2025-09-02 cs.LG
Learn What You Need in Personalized Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）；Cooperative Medianet Innovation Center (CMIC), Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出基于算法展开的个性化联邦学习框架 Learn2pFed，通过将各本地模型参数的协作参与程度优化为可学习参数，实现自适应定制协作方式，并在多种任务上显著超越现有方法。
2024-01-16 cs.LG
Personalized Federated Learning via Stacking
提出一种基于堆叠泛化的个性化联邦学习方法，客户端交换隐私保护模型作为基础模型训练元模型，适用于多种数据划分和隐私技术，并支持贡献评估。
2024-04-21 cs.CR cs.DC cs.LG
FedEmbed: Personalized Private Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
联邦学习使得能够将机器学习部署到集中式数据汇集不切实际的问题。添加差分隐私保证了隐私的界限，同时数据被贡献给全局模型。将个性化添加到联邦学习中会带来新的挑战，因为我们必须考虑单个用户的偏好，其中数据样本可能具有冲突的标签，因为一个用户子群体可能会积极看待输入，但其他子群体可能会消极看待相同的输入。我们提出了FedEmbed，这是一种新的私有联邦学习方法，用于个性化全局模型，该模型使用（1）相似用户的子群体，以及（2）个人嵌入。我们证明了当前的联邦学习方法不足以处理具有冲突标签的数据，并且我们表明FedEmbed比个性化私人联邦学习的基线方法提高了45%。
2022-02-18 cs.LG
Personalized Cross-Silo Federated Learning on Non-IID Data
Simon Fraser University（西蒙弗雷泽大学）；McMaster University（麦克马斯特大学）；Huawei Technologies Canada（华为技术加拿大公司）
非IID数据对联邦学习提出了严峻的挑战。在本文中，我们探索了一个新的想法，促进客户端之间的相似数据的成对合作。我们提出了FedAMP，一种新的方法，采用联邦关注的消息传递，以方便类似的客户端进行更多的合作。我们建立了凸模型和非凸模型的FedAMP的收敛性，并提出了一种探试法，以进一步提高FedAMP的性能时，客户端采用深度神经网络作为个性化的模型。我们在基准数据集上的大量实验证明了所提出的方法的优越性能。
2021-12-14 cs.DC cs.LG stat.ML
Learn Electronic Health Records by Fully Decentralized Federated Learning
University of Minnesota（明尼苏达大学）；IQVIA（艾昆纬）
联邦学习在星型网络中的分布式训练问题中具有很高的通信效率，这为联邦学习提供了许多研究机会。在本文中，我们专注于提高通信效率的完全分散的联邦学习在一个图，该算法执行本地更新几次迭代，然后使节点之间的通信。这样，在不损失解的最优性的情况下，可以显著地节省交换参数的共同兴趣的通信回合。基于大型真实世界电子健康记录数据库的多个数值模拟显示了分散式联邦学习与经典方法相比的优越性。
2019-12-10 cs.LG cs.NE stat.ML
Connecting Low-Loss Subspace for Personalized Federated Learning
Ulsan National Institute of Science and Technology（蔚山科学技术院）；Kakao Enterprise（Kakao企业）
由于客户端之间统计异质性的诅咒，采用个性化的联邦学习方法已成为成功部署基于联邦学习的服务的必要选择。在个性化技术的不同分支中，基于模型混合的个性化方法是优选的，因为作为联邦学习的结果，每个客户端具有其自己的个性化模型。它通常需要一个本地模型和一个联邦模型，但这种方法要么局限于部分参数交换，要么需要额外的本地更新，每一个都是无助的新客户端和客户端的计算能力的负担。由于已经发现在两个或多个独立的深度网络之间存在包含不同低损失解决方案的连接子空间，我们将这个有趣的特性与基于模型混合的个性化联邦学习方法相结合，以提高个性化的性能。我们提出了SuperFed，一种个性化的联邦学习方法，该方法在权重空间中引入局部和联邦模型的最优值之间的显式连接，以相互提升。通过在多个基准数据集上的大量实验，我们证明了我们的方法在个性化性能和对现实服务中可能出现的问题场景的鲁棒性方面都取得了一致的收益。
2022-08-11 cs.AI cs.LG
Personalized Federated Learning with Hidden Information on Personalized Prior
Sichuan University（四川大学）
联邦学习（FL）是一种分布式机器学习技术，它利用全局服务器和协作客户端来实现隐私保护的全局模型训练，而无需直接的数据共享。然而，异构数据问题，作为FL的主要问题之一，使得它很难有效地执行每个客户端的本地数据的全局模型。因此，个性化的联邦学习（PFL用于简化）旨在尽可能地提高模型在本地数据上的性能。贝叶斯学习，其中模型的参数被视为具有先验假设的随机变量，是异构数据问题的可行解决方案，因为模型使用的局部数据越多，它就越关注局部数据，否则就关注先验。当贝叶斯学习应用于PFL时，全局模型提供全局知识作为局部训练过程之前。在本文中，我们采用贝叶斯学习模型PFL假设在缩放指数家庭的先验，因此提出pFedBreD，一个框架来解决我们使用Bregman发散正则化模型的问题。经验上，我们的实验表明，在球面高斯和一阶策略的均值选择的先验假设下，我们的建议显着优于其他PFL算法在多个公共基准。
2022-11-24 cs.AI cs.DC cs.LG
A Coalition Formation Game Approach for Personalized Federated Learning
The Hong Kong Polytechnic University（香港理工大学）；Beijing Institute of Technology（北京理工大学）
面对客户端局部数据分布统计多样性的挑战，个性化联邦学习（PFL）逐渐成为研究热点。尽管基于模型相似性的成对协作方法已经取得了令人满意的性能，但它们忽略了一个事实，即模型聚合本质上是联盟内的协作过程，其中复杂的多方向影响发生在客户端之间。在本文中，我们首先应用Shapley值（SV）从联盟博弈论到PFL的情况。为了衡量一组客户之间的多方面合作对个性化学习绩效的影响，SV将他们对最终结果的边际贡献作为度量。我们提出了一种新的个性化算法：pFedSV，它可以1。确定每个客户的最佳合作者联盟; 2.基于SV进行个性化模型聚合。使用不同的非IID数据设置（病理学和Dirichlet）对各种数据集（MNIST，Fashion-MNIST和CIFAR-10）进行了广泛的实验。结果表明，与最先进的基准测试相比，pFedSV可以为每个客户端实现卓越的个性化准确性。
2022-02-08 cs.AI cs.DC cs.LG
Tensor Decomposition based Personalized Federated Learning
Tianjin University（天津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
联邦学习（Federated learning，FL）是一种新的分布式机器学习框架，能够在不收集用户隐私数据的情况下实现可靠的协作训练。然而，由于FL的频繁通信和平均聚合策略，他们在扩展到统计多样性数据和大规模模型方面遇到了挑战。在本文中，我们提出了一个个性化的FL框架，名为张量分解的个性化联邦学习（TDPFed），在其中，我们设计了一个新的张量化的局部模型与张量化的线性层和卷积层，以减少通信成本。TDPFed使用双层损失函数，通过控制个性化模型和张量化局部模型之间的间隙，将个性化模型优化与全局模型学习解耦。此外，一个有效的分布式学习策略和两个不同的模型聚合策略被很好地设计了所提出的TDPFed框架。理论收敛性分析和充分的实验表明，我们提出的TDPFed框架实现了最先进的性能，同时降低了通信成本。
2022-08-27 cs.LG
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives
个性化联邦学习（FL）促进了多个客户端之间的协作，以学习个性化模型，而无需共享私有数据。该机制减轻了系统中通常遇到的统计异质性，即，不同客户端上的非IID数据。现有的个性化算法通常假设所有客户都自愿进行个性化。然而，潜在的参与者可能仍然不愿意个性化模型，因为它们可能无法很好地工作。在这种情况下，客户端选择使用全局模型。为了避免不切实际的假设，我们引入个性化率，衡量的客户端愿意训练个性化模型的分数，到联邦设置，并提出DyPFL。这种动态个性化FL技术激励客户参与个性化本地模型，同时允许在全局模型表现更好时采用全局模型。我们表明，DyPFL中的算法管道保证了良好的收敛性能，使其在广泛的条件下优于其他个性化方法，包括异质性，客户端数量，局部时期和批量大小的变化。
2022-09-22 cs.AI cs.LG
Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
Macquarie University（麦考瑞大学）；Northeastern University（东北大学）
针对现有个性化联邦学习未充分处理客户端不确定性与异质性、表征解耦依赖特设方法的问题，提出含共享与个性化不确定性表征的通用贝叶斯个性化联邦学习框架及其实例BPFed，加入先验持续更新机制，并提供理论分析与实验验证。
2023-10-03 cs.LG
Decentralized Federated Learning: A Segmented Gossip Approach
Tsinghua University（清华大学）；Jilin University（吉林大学）；Peng Cheng Laboratory（鹏城实验室）
对数据隐私和安全性的新担忧激发了联邦学习的提出，它允许节点只同步本地训练的模型，而不是自己的原始数据。传统的联邦学习架构继承自参数服务器设计，依赖于高度集中的拓扑结构和大的节点到服务器带宽的假设。然而，在现实世界的联邦学习场景中，节点之间的网络容量是高度均匀分布的，并且小于数据中心中的网络容量。传统的联邦学习方法难以有效利用节点间的网络容量。在本文中，我们提出了一个模型段级分散联邦学习来解决这个问题。特别是，我们提出了一种分段的流言方法，它不仅充分利用了节点到节点的带宽，而且具有良好的训练收敛性。实验结果表明，与集中式联邦学习相比，即使是训练时间也可以大大减少。
2019-08-21 cs.DC cs.LG cs.NI
The Effect of Training Parameters and Mechanisms on Decentralized Federated Learning based on MNIST Dataset
Georgia Institute of Technology（佐治亚理工学院）
联邦学习是一种适合在分散数据上训练模型的算法，但对中央“服务器”节点的要求是一个瓶颈。在本文中，我们首先介绍了分散式联邦学习（DFL）的概念。然后，我们在不同的设置上进行各种实验，例如改变模型聚合频率，从独立同分布（IID）数据集分区切换到部分全局共享的非IID分区，在客户端之间使用不同的优化方法，以及将模型分解为部分共享的片段。所有实验都在MNIST手写数字数据集上运行。我们观察到，这些改变的训练程序通常是健壮的，尽管不是最佳的。当模型权重之间的方差太大时，我们也观察到训练失败。开源实验代码可通过GitHub \footnote{Code was uploaded at \url{https://github.com/zhzhang2018/DecentralizedFL}}访问。
2021-08-07 cs.LG
DID-eFed: Facilitating Federated Learning as a Service with Decentralized Identities
University of Stavanger（斯塔万格大学）
我们已经进入大数据时代，它被认为是人工智能应用蓬勃发展的“燃料”。欧盟《通用数据保护条例》（GDPR）的颁布引发了人们对大数据中个人隐私的担忧。联邦学习（FL）作为一种功能解决方案出现，可以帮助构建在多方之间共享的高性能模型，同时仍然符合用户隐私和数据机密性要求。虽然FL已经被深入研究并在实际应用中使用，但对于感兴趣的第三方来说，与其作为FLaaS（联邦学习即服务）的前景和应用相关的研究仍然有限。在本文中，我们提出了一个FLaaS系统：DID-eFed，其中FL由分散身份（DID）和智能合约提供便利。DID在我们的系统中实现了更灵活和可信的分散访问管理，而智能合约提供了一个无摩擦和更少出错的过程。我们特别描述了我们的DID-eFed在医院和研究机构之间实现FLaaS的场景。
2021-05-19 cs.CR cs.DC cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University（杜克大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习是一种流行的分布式机器学习范例，具有增强的隐私性。它的主要目标是学习一个全球模型，为尽可能多的参与者提供良好的性能。该技术正在快速发展，面临许多尚未解决的挑战，其中包括统计异质性（即，非IID）和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中，我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架，通过利用彩票假设。在LotteryFL中，每个客户端学习彩票网络（即，基本模型的子网络），并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同，每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸，通信成本可以显著降低。为了支持我们框架的训练和评估，我们考虑特征分布偏差、标签分布偏差和数量偏差，基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明，LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Semi-Decentralized Federated Learning with Collaborative Relaying
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Imperial College London（伦敦帝国理工学院）
我们提出了一个半分散的联邦学习算法，其中客户端协作中继他们的邻居的本地更新到一个中央参数服务器（PS）。在到PS的每一轮通信中，每个客户端计算来自其相邻客户端的更新的本地共识，并最终将其自己的更新和其相邻客户端的更新的加权平均值发送到PS。我们适当地优化这些平均权重，以确保在PS的全局更新是无偏的，并减少在PS的全局更新的方差，从而提高收敛速度。数值模拟证实了我们的理论主张，并展示了客户端和PS之间的间歇性连接设置，我们提出的算法与联邦平均算法相比，显示出更高的收敛速度和准确性。
2022-05-23 cs.DC cs.LG cs.MA
Personalized Federated Learning for Multi-task Fault Diagnosis of Rotating Machinery
Digital Research Institute, ENN Group（新奥集团数字研究院）
智能故障诊断是保证机械安全运行的关键。然而，由于现场机械故障样本稀缺和数据异构性，基于深度学习的诊断方法容易出现过拟合，泛化能力较差。针对这一问题，提出了一种个性化的联邦学习框架，使多任务故障诊断方法能够以隐私保护的方式跨多个工厂进行。首先，旋转机械从不同的工厂相似的振动特征数据进行分类到机器组使用联邦聚类方法。在此基础上，构建了基于卷积神经网络的多任务深度学习模型，对异构信息融合的机械多故障进行诊断。最后，提出了一个个性化的联邦学习框架，采用自适应层次聚合策略解决跨机器的数据异构性问题。通过对实际机器采集数据的实例分析，验证了该框架的有效性.结果表明，采用个性化联邦学习可以显著提高故障诊断的准确率，尤其是对于故障样本较少的设备。
2022-11-17 cs.AI cs.LG
UPFL: Unsupervised Personalized Federated Learning towards New Clients
East China Normal University（华东师范大学）；Ant Group（蚂蚁集团）
针对联邦模型部署后未标记新客户端加入的挑战，提出无监督个性化联邦学习方法FedTTA，通过代理正则化、基于熵的早停及知识蒸馏损失优化模型适应并解决设备异质性，实验证明其有效性。
2023-07-29 cs.AI cs.LG
Dual Attention Heads for Personalized Federated Learning in ECG Classification
IEEE MWSCAS 2026
针对心电图数据异质性带来的联邦学习分类挑战，提出FedDualAtt方法，将Transformer注意力头分全局和局部分支，全局头聚合捕获共享模式，局部头适应客户端特征，实验表明该方法在心电图分类任务中表现优于现有方法。
2026-07-09 cs.LG
Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation
Xiamen University（厦门大学）；Zhejiang Lab（之江实验室）
个性化联邦学习（PFL）旨在以隐私保护的方式基于所有客户端的知识为每个客户端学习个性化模型。现有的PFL方法通常假设跨所有客户端的底层全局数据是均匀分布的，而没有考虑长尾分布。FL环境中的数据异构性和长尾分布的联合问题更具挑战性，并严重影响个性化模型的性能。在本文中，我们提出了一种PFL方法称为联邦学习与对抗特征增强（FedAFA），以解决这个联合问题PFL。FedAFA通过生成平衡的特征集来增强本地少数类，从而为每个客户端优化个性化模型。局部少数类特征是通过从全局模型提取的局部多数类特征中以对抗性示例学习方式传递知识而生成的。在不同的数据异构性和长尾分布设置下的测试结果表明，与PFL算法相比，FedAFA算法显著提高了每个客户端的个性化性能.该代码可在https://github.com/pxqian/FedAFA上获得。
2023-03-27 cs.LG
Achieving Personalized Federated Learning with Sparse Local Models
South China University of Technology（华南理工大学）；Eindhoven University of Technology（埃因霍温理工大学）；JD Explore Academy（京东探索研究院）
联邦学习（FL）容易受到异构分布数据的影响，因为FL中的通用全局模型可能无法适应每个用户的异构数据分布。为了解决这个问题，个性化FL（PFL）被提出来为每个单独的用户生成专用的本地模型。然而，PFL还远未成熟，因为现有的PFL解决方案要么对不同的模型架构表现出不令人满意的泛化能力，要么需要大量的额外计算和内存。在这项工作中，我们提出了联邦学习与个性化的稀疏掩码（FedSpa），一种新的PFL计划，采用个性化的稀疏掩码定制稀疏的局部模型的边缘。FedSpa不是训练完整的（或密集的）PFL模型，而是在整个训练过程中只保持固定数量的活动参数（也称为稀疏到稀疏训练），这使得用户的模型能够以廉价的通信，计算和内存成本实现个性化。我们从理论上证明了由FedSpa得到的迭代以$\mathcal{O}(\frac{1}{\sqrt{T}})$的速度收敛到SPFL问题的局部极小值。综合实验表明，FedSpa显着节省通信和计算成本，同时实现更高的模型精度和更快的收敛速度比几个国家的最先进的PFL方法。
2022-01-27 cs.AI cs.DC cs.LG
IPLS : A Framework for Decentralized Federated Learning
University Of Thessaly（塞萨利大学）；HKUST（香港科技大学）
存储丰富、多维和隐私敏感用户数据的资源丰富的移动设备的激增激发了联邦学习（FL）的设计，这是一种机器学习（ML）范式，使移动设备能够在不共享数据的情况下生成ML模型。然而，大多数现有的FL框架依赖于集中的实体。在这项工作中，我们介绍了IPLS，一个完全分散的联邦学习框架，部分基于星际文件系统（IPFS）。通过使用IPLS并连接到相应的私有IPFS网络，任何一方都可以启动ML模型的训练过程，或者加入另一方已经开始的正在进行的训练过程。IPLS随着参与者的数量而扩展，对间歇性连接和动态参与者离开/到达具有鲁棒性，需要最少的资源，并保证训练模型的准确性快速收敛到集中式FL框架的准确性，准确性下降小于千分之一。
2021-01-06 cs.DC cs.LG cs.NI
Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
本文提出适用于多种个性化联邦学习目标的通用优化器（Local SGD变体及加速坐标下降/加速SVRCD变体），建立统一优化理论，恢复已知最优通信与计算保证，使任务专用优化器设计在许多场景下不再必要。
2023-05-26 cs.LG
DFCA: Decentralized Federated Clustering Algorithm
Fraunhofer Institute for Software and Systems Engineering（弗劳恩霍夫软件与系统工程研究所）；Lamarr Institute for Machine Learning and AI（拉马尔人工智能与机器学习研究所）
DFCA是一种去中心化的联邦学习聚类算法，通过邻居的顺序运行平均聚合模型，实现高效通信和保持聚类性能，实验表明其在动态网络中表现优异。
2026-03-02 cs.LG
FedRewind: Rewinding Continual Model Exchange for Decentralized Federated Learning
University of Catania（卡塔尼亚大学）
本文提出FedRewind，一种受持续学习启发的去中心化联邦学习方法，通过节点间周期性回退模型进行有限迭代交换，有效缓解数据分布偏移，在多项基准测试中超越标准方法并成功应对时空数据偏移的联邦持续学习任务。
2024-11-14 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
University of California Irvine（加州大学欧文分校）
针对动态非平稳环境下预训练模型难以适应流式数据实时预测的问题，本文提出一种结合本地微调模型与服务器多轮联邦模型的个性化联邦学习算法，理论与实验均验证了其在实时预测和联邦微调上的有效性。
2024-10-28 cs.LG
Personalized Federated Learning with Multiple Known Clusters
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们考虑的个性化联邦学习的问题时，有已知的用户内的集群结构。一种直观的方法是正则化参数，以便同一集群中的用户共享类似的模型权重。然后可以将聚类之间的距离正则化以反映不同用户聚类之间的相似性。我们开发了一种算法，允许每个集群独立通信，并得出收敛结果。我们研究了一个分层线性模型，从理论上证明我们的方法优于独立学习的代理和学习单个共享权重的代理。最后，我们使用模拟和真实世界的数据证明了我们的方法的优势。
2022-04-28 cs.LG
