Rethinking Personalized Federated Learning with Clustering-based Dynamic Graph Propagation
The Pennsylvania State University（宾夕法尼亚州立大学）；Visa Research（Visa研究院）
针对现有个性化联邦学习方法实现与调参复杂的问题，本文提出基于聚类动态图传播的简洁框架，通过聚类建图传播更新参数并设计个性化分配策略，经多数据集实验验证了有效性。
2024-01-29 cs.DC cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）；Sony AI（索尼人工智能）；North Carolina State University（北卡罗来纳州立大学）
本文提出pFedHR框架，通过异构模型重组将个性化建模为服务器端模型匹配优化问题，自动生成多样化候选模型，在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
Parameterized Knowledge Transfer for Personalized Federated Learning
The Hong Kong Polytechnic University（香港理工大学）；HUST（华中科技大学）
近年来，个性化联邦学习（pFL）因其在处理客户间统计异质性方面的潜力而受到越来越多的关注。然而，最先进的pFL方法依赖于在服务器端的模型参数聚合，这要求所有模型具有相同的结构和大小，从而限制了应用于更异构的场景。为了处理这样的模型约束，我们利用异构模型设置的潜力，并提出了一种新的训练框架，采用个性化的模型，为不同的客户端。具体而言，我们制定了在原始pFL的聚合过程到个性化的群体知识转移训练算法，即，KT-pFL，这使得每个客户端保持个性化的软预测在服务器端，以指导其他人的本地训练。KT-pFL通过知识系数矩阵对所有局部软预测进行线性组合，更新每个客户端的个性化软预测，从而自适应地加强拥有相似数据分布的客户端之间的协作。此外，为了量化每个客户端对其他客户端的个性化训练的贡献，知识系数矩阵被参数化，以便它可以与模型同时训练。知识系数矩阵和模型参数在每轮中按照梯度下降的方式交替更新。在不同的设置（异构模型和数据分布）下，对各种数据集（EMNIST，Fashion\_MNIST，CIFAR-10）进行了广泛的实验。实验结果表明，该框架是第一个通过参数化群体知识转移实现个性化模型训练的联邦学习范例，同时与最先进的算法相比，实现了显著的性能增益。
2021-11-04 cs.DC cs.LG
pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup
Florida International University（佛罗里达国际大学）；USC Information Sciences Institute（南加州大学信息科学研究所）
pMixFed 提出一种动态逐层个性化联邦学习方法，通过在全局与局部模型间引入自适应 mixup、渐进个性化过渡和新聚合机制，缓解客户端漂移与灾难性遗忘，提升非IID场景下的精度与训练效率。
2025-11-09 cs.DC cs.LG
Hypernetworks for Model-Heterogeneous Personalized Federated Learning
the Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)（青岛软件研究所、计算机科学与技术学院、中国石油大学（华东））；the Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能石油与天然气工业软件重点实验室）；National University of Singapore（新加坡国立大学）
针对现有个性化联邦学习方法在模型异构场景下的局限，提出基于超网络的MH-pFedHN及集成轻量全局模型的MH-pFedHNGD框架，在保护隐私的同时实现了有竞争力的准确率与强泛化性。
2025-07-30 cs.DC cs.LG
Provably Personalized and Robust Federated Learning
University of California, Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
针对联邦学习个性化问题，论文将按聚类学习模型形式化为随机优化，提出可识别客户端聚类并训练每簇模型的迭代算法，取得最优收敛率且对 Byzantine 恶意客户端鲁棒。
2023-12-18 cs.DC cs.LG
PFL-MoE: Personalized Federated Learning Based on Mixture of Experts
Sun Yat-sen University（中山大学）；Tencent Inc.（腾讯公司）
联邦学习（Federated learning，FL）是一种新兴的分布式机器学习范式，它避免了训练节点之间的数据共享，从而保护了数据隐私。在FL服务器的协调下，每个客户端使用自己的计算资源和私有数据集进行模型训练。可以通过汇总客户的培训结果来创建全局模型。为了应对高度非IID的数据分布，已经提出了个性化的联邦学习（PFL），以通过允许每个客户端学习个性化的模型来提高整体性能。然而，个性化模型的一个主要缺点是泛化能力的丧失。为了实现模型个性化，同时保持泛化，在本文中，我们提出了一种新的方法，名为PFL-MoE，通过MoE架构混合输出的个性化模型和全球模型。PFL-MoE是一种通用的方法，可以通过集成现有的PFL算法来实例化。特别地，我们提出了PFL-MF算法，这是PFL-MoE的一个实例，基于冻结基PFL算法。通过提高MoE选通网络的决策能力，进一步改进了PFL-MF算法，提出了一种改进的PFL-MFE算法。我们通过在具有非IID分区的Fashion-MNIST和CIFAR-10数据集上训练LeNet-5和VGG-16模型来证明PFL-MoE的有效性。
2020-12-31 cs.DC cs.LG
pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning
Nankai University（南开大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tianjin University（天津大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学）
针对模型异构个性化联邦学习中的隐私、性能与成本平衡问题，提出pFedMoE方法，通过为本地异构大模型分配共享小特征提取器与本地门控网络构建混合专家，实现数据级个性化并支持模型异构。
2024-02-11 cs.DC cs.LG
Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework
Sun Yat-sen University（中山大学）
物联网（IoT）已经广泛渗透到现代生活的各个方面，许多智能物联网服务和应用正在涌现。最近，联邦学习被提出来通过利用物联网设备上的大量用户生成的数据样本来训练全球共享模型，同时防止数据泄漏。然而，复杂物联网环境中固有的设备、统计和模型异构性对传统联邦学习提出了巨大挑战，使其不适合直接部署。在本文中，我们提倡在智能物联网应用的云边缘架构中使用个性化的联邦学习框架。为了应对物联网环境中的异构性问题，我们研究了新兴的个性化联邦学习方法，这些方法能够在不同方面减轻异构性造成的负面影响。借助边缘计算的强大功能，还可以实现智能物联网应用中对快速处理能力和低延迟的要求。最后，我们提供了一个基于物联网的人类活动识别的案例研究，以证明个性化联邦学习对智能物联网应用的有效性。
2020-05-02 cs.DC cs.LG cs.NI
An Empirical Study of Personalized Federated Learning
Osaka University（大阪大学）
联邦学习是一种分布式机器学习方法，其中单个服务器和多个客户端协作构建机器学习模型，而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性（即，数据分布在客户端之间可能不同）。为了解决这个问题，许多联邦学习方法都是针对个性化的联邦学习，为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法，但实验设置（例如，比较方法、数据集和客户端设置）彼此不同，并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准（即，非个性化）联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试，评价每种方法的特点。我们的实验研究表明：（1）不存在冠军方法，（2）大数据异构性通常会导致高准确度的预测，以及（3）具有微调的标准联邦学习方法（例如FedAvg）通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench，供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks
Seoul National University（首尔国立大学）
个性化联邦学习旨在允许众多客户端训练个性化模型，同时以通信高效的方式参与协作训练，而无需交换私有数据。然而，许多个性化的联邦学习算法假设客户端具有相同的神经网络架构，而异构模型的算法仍然没有得到充分研究。在这项研究中，我们提出了一种新的个性化联邦学习方法称为联邦分类器平均（FedClassAvg）。用于监督学习任务的深度神经网络由特征提取器和分类器层组成。FedClassAvg聚合分类器权重作为特征空间上决策边界的协议，以便具有非独立和相同分布（非iid）数据的客户端可以了解稀缺标签。此外，局部特征表示学习被应用于稳定决策边界和提高客户端的局部特征提取能力。虽然现有的方法需要收集辅助数据或模型权重来生成副本，但FedClassAvg只需要客户端与几个完全连接的层进行通信，这是非常高效的通信。此外，FedClassAvg不需要额外的优化问题，如知识转移，这需要密集的计算开销。我们通过大量的实验评估了FedClassAvg，并证明它在异构个性化联邦学习任务上优于当前最先进的算法。
2022-10-27 cs.AI cs.DC cs.LG
Personalized Interpretation on Federated Learning: A Virtual Concepts approach
University of Technology Sydney（悉尼科技大学）
本文提出一种虚拟概念方法，将联邦学习中客户端的非IID数据解释为可学习或可预定义的概念向量混合，从而在提升个性化解释性的同时增强训练鲁棒性，并在基准数据集上验证了有效性。
2024-06-28 cs.DC cs.LG
pFedSOP : Accelerating Training Of Personalized Federated Learning Using Second-Order Optimization
Department of Artificial Intelligence, Indian Institute of Technology, Hyderabad（人工智能系，印度理工学院，海得拉巴）
针对个性化联邦学习一阶优化收敛慢、通信轮次多及额外局部计算问题，提出pFedSOP，用Gompertz归一化夹角和正则化FIM近似Hessian实现二阶优化，实验性能优于现有方法。
2025-06-08 cs.DC cs.LG
Lower Bounds and Optimal Algorithms for Personalized Federated Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在这项工作中，我们考虑了Hanzely和Richtárik（2020）最近引入的个性化联邦学习的优化公式，该公式被证明可以对本地{ \tt SGD}方法的工作原理给出另一种解释。我们的第一个贡献是建立第一个下界，这个配方，为通信复杂性和本地预言复杂性。我们的第二个贡献是几个最佳的方法匹配这些下限在几乎所有的制度的设计。这些是第一个可证明的个性化联邦学习的最佳方法。我们的优化方法包括{ \tt FedProx}的加速变体和{ \tt FedAvg}/Local { \tt SGD}的加速方差缩减版本。我们通过大量的数值实验证明了我们的方法的实际优势。
2020-10-05 cs.DC cs.LG math.OC
Adaptive Personalized Federated Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
对联邦学习算法中个性化程度的研究表明，只有最大化全局模型的性能才能限制局部模型的个性化能力。在本文中，我们提倡一种自适应个性化联邦学习（APFL）算法，每个客户端将训练他们的本地模型，同时有助于全球模型。我们推导了局部和全局模型混合的推广界，并找到了最佳的混合参数。我们还提出了一种通信效率的优化方法来协同学习个性化模型，并分析其收敛性在光滑强凸和非凸设置。大量的实验证明了我们的个性化模式的有效性，以及建立泛化理论的正确性。
2020-11-06 cs.DC cs.LG stat.ML
Personalized Federated Learning with Moreau Envelopes
The University of Sydney（悉尼大学）；The University of Melbourne（墨尔本大学）
联邦学习（FL）是一种去中心化和隐私保护的机器学习技术，其中一组客户端与服务器协作以学习全局模型而不共享客户端的数据。与FL相关的一个挑战是客户端之间的统计多样性，这限制了全局模型在每个客户端的任务上提供良好的性能。为了解决这个问题，我们提出了一种个性化FL算法（pFedMe），使用Moreau包络作为客户端的正则化损失函数，这有助于将个性化模型优化与个性化FL风格化的双层问题中的全局模型学习解耦。理论上，我们证明了pFedMe的收敛速度是最先进的：对强凸目标实现了二次加速比，对光滑非凸目标实现了2/3阶次线性加速比。实验上，我们验证了pFedMe优于经验性能相比，香草FedAvg和每FedAvg，基于元学习的个性化FL算法。
2022-01-26 cs.DC cs.LG stat.ML
WAFFLE: Weighted Averaging for Personalized Federated Learning
EPFL（洛桑联邦理工学院）
在联邦学习中，模型个性化是处理客户端异构训练数据的非常有效的策略。我们介绍WAFFLE（加权平均联邦学习），一个个性化的协作机器学习算法，利用随机控制变量更快的收敛。WAFFLE使用客户端更新之间的欧几里德距离来衡量他们的个人贡献，从而最大限度地减少感兴趣的特定代理的个性化模型损失。通过一系列的实验，我们将我们的新方法与最近的两种个性化联邦学习方法-权重侵蚀和APFL-以及两种通用FL方法-联邦平均和SCAFFOLD进行了比较。性能评估使用两个类别的不相同的客户端数据分布-概念转移和标签倾斜-在两个图像数据集（MNIST和CIFAR 10）。我们的实验证明了WAFFLE的相对有效性，因为它实现或提高了精度，收敛速度更快。
2021-12-13 cs.LG
Personalized Federated Learning using Hypernetworks
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达公司）
个性化联邦学习的任务是为多个客户端训练机器学习模型，每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型，同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题，使用超网络，称为pFedHN个性化的联邦超网络。在这种方法中，中央超网络模型被训练以生成一组模型，每个客户端一个模型。这种架构提供了跨客户端的有效参数共享，同时保持了生成独特和多样化的个人模型的能力。此外，由于超网络参数从来没有被传输，这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试，发现它优于以前的方法。最后，由于超网络在客户端之间共享信息，我们表明pFedHN可以更好地推广到新客户端，其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
GPFL: Simultaneously Learning Global and Personalized Feature Information for Personalized Federated Learning
Queen’s University Belfast（贝尔法斯特女王大学）；Louisiana State University（路易斯安那州立大学）；Shanghai Jiao Tong University（上海交通大学）
针对现有pFL方法仅提取全局或个性化特征信息的问题，提出GPFL方法，在每个客户端同时学习全局和个性化特征信息，在六个数据集上优于十种先进方法，准确率提升最高8.99%。
2023-10-14 cs.CR cs.DC cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
Learn What You Need in Personalized Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）；Cooperative Medianet Innovation Center (CMIC), Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出基于算法展开的个性化联邦学习框架 Learn2pFed，通过将各本地模型参数的协作参与程度优化为可学习参数，实现自适应定制协作方式，并在多种任务上显著超越现有方法。
2024-01-16 cs.LG
Personalized Federated Learning via Stacking
提出一种基于堆叠泛化的个性化联邦学习方法，客户端交换隐私保护模型作为基础模型训练元模型，适用于多种数据划分和隐私技术，并支持贡献评估。
2024-04-21 cs.CR cs.DC cs.LG
FedEmbed: Personalized Private Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
联邦学习使得能够将机器学习部署到集中式数据汇集不切实际的问题。添加差分隐私保证了隐私的界限，同时数据被贡献给全局模型。将个性化添加到联邦学习中会带来新的挑战，因为我们必须考虑单个用户的偏好，其中数据样本可能具有冲突的标签，因为一个用户子群体可能会积极看待输入，但其他子群体可能会消极看待相同的输入。我们提出了FedEmbed，这是一种新的私有联邦学习方法，用于个性化全局模型，该模型使用（1）相似用户的子群体，以及（2）个人嵌入。我们证明了当前的联邦学习方法不足以处理具有冲突标签的数据，并且我们表明FedEmbed比个性化私人联邦学习的基线方法提高了45%。
2022-02-18 cs.LG
Personalized Cross-Silo Federated Learning on Non-IID Data
Simon Fraser University（西蒙弗雷泽大学）；McMaster University（麦克马斯特大学）；Huawei Technologies Canada（华为技术加拿大公司）
非IID数据对联邦学习提出了严峻的挑战。在本文中，我们探索了一个新的想法，促进客户端之间的相似数据的成对合作。我们提出了FedAMP，一种新的方法，采用联邦关注的消息传递，以方便类似的客户端进行更多的合作。我们建立了凸模型和非凸模型的FedAMP的收敛性，并提出了一种探试法，以进一步提高FedAMP的性能时，客户端采用深度神经网络作为个性化的模型。我们在基准数据集上的大量实验证明了所提出的方法的优越性能。
2021-12-14 cs.DC cs.LG stat.ML
PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Mohamed Bin Zayed University Of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习作为一种分布式机器学习方法越来越受欢迎，可用于部署依赖AI的物联网应用程序，同时保护客户端数据隐私和安全。由于客户端的差异性，单一的全局模型不一定能在所有客户端上表现良好，因此为每个客户端训练更适合其个性化需求的个性化模型的个性化联邦学习方法成为研究热点。然而，大多数个性化的联邦学习研究都集中在数据异构性上，而忽略了模型架构异构性的需求。现有的大多数联邦学习方法都统一设置了所有参与联邦学习的客户端的模型架构，这对于每个客户端的个体模型和本地数据分布要求都不方便，也增加了客户端模型泄露的风险。提出了一种基于协同训练和生成对抗网络（GANs）的联邦学习方法，允许每个客户端设计自己的模型独立参与联邦学习训练，而无需与其他客户端或中心共享任何模型架构或参数信息。在我们的实验中，所提出的方法优于现有的方法在平均测试精度的42%时，客户端的模型架构和数据分布变化显着。
2022-02-18 cs.LG
Personalized Federated Learning with Hidden Information on Personalized Prior
Sichuan University（四川大学）
联邦学习（FL）是一种分布式机器学习技术，它利用全局服务器和协作客户端来实现隐私保护的全局模型训练，而无需直接的数据共享。然而，异构数据问题，作为FL的主要问题之一，使得它很难有效地执行每个客户端的本地数据的全局模型。因此，个性化的联邦学习（PFL用于简化）旨在尽可能地提高模型在本地数据上的性能。贝叶斯学习，其中模型的参数被视为具有先验假设的随机变量，是异构数据问题的可行解决方案，因为模型使用的局部数据越多，它就越关注局部数据，否则就关注先验。当贝叶斯学习应用于PFL时，全局模型提供全局知识作为局部训练过程之前。在本文中，我们采用贝叶斯学习模型PFL假设在缩放指数家庭的先验，因此提出pFedBreD，一个框架来解决我们使用Bregman发散正则化模型的问题。经验上，我们的实验表明，在球面高斯和一阶策略的均值选择的先验假设下，我们的建议显着优于其他PFL算法在多个公共基准。
2022-11-24 cs.AI cs.DC cs.LG
A Coalition Formation Game Approach for Personalized Federated Learning
The Hong Kong Polytechnic University（香港理工大学）；Beijing Institute of Technology（北京理工大学）
面对客户端局部数据分布统计多样性的挑战，个性化联邦学习（PFL）逐渐成为研究热点。尽管基于模型相似性的成对协作方法已经取得了令人满意的性能，但它们忽略了一个事实，即模型聚合本质上是联盟内的协作过程，其中复杂的多方向影响发生在客户端之间。在本文中，我们首先应用Shapley值（SV）从联盟博弈论到PFL的情况。为了衡量一组客户之间的多方面合作对个性化学习绩效的影响，SV将他们对最终结果的边际贡献作为度量。我们提出了一种新的个性化算法：pFedSV，它可以1。确定每个客户的最佳合作者联盟; 2.基于SV进行个性化模型聚合。使用不同的非IID数据设置（病理学和Dirichlet）对各种数据集（MNIST，Fashion-MNIST和CIFAR-10）进行了广泛的实验。结果表明，与最先进的基准测试相比，pFedSV可以为每个客户端实现卓越的个性化准确性。
2022-02-08 cs.AI cs.DC cs.LG
Tensor Decomposition based Personalized Federated Learning
Tianjin University（天津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
联邦学习（Federated learning，FL）是一种新的分布式机器学习框架，能够在不收集用户隐私数据的情况下实现可靠的协作训练。然而，由于FL的频繁通信和平均聚合策略，他们在扩展到统计多样性数据和大规模模型方面遇到了挑战。在本文中，我们提出了一个个性化的FL框架，名为张量分解的个性化联邦学习（TDPFed），在其中，我们设计了一个新的张量化的局部模型与张量化的线性层和卷积层，以减少通信成本。TDPFed使用双层损失函数，通过控制个性化模型和张量化局部模型之间的间隙，将个性化模型优化与全局模型学习解耦。此外，一个有效的分布式学习策略和两个不同的模型聚合策略被很好地设计了所提出的TDPFed框架。理论收敛性分析和充分的实验表明，我们提出的TDPFed框架实现了最先进的性能，同时降低了通信成本。
2022-08-27 cs.LG
Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
Macquarie University（麦考瑞大学）；Northeastern University（东北大学）
针对现有个性化联邦学习未充分处理客户端不确定性与异质性、表征解耦依赖特设方法的问题，提出含共享与个性化不确定性表征的通用贝叶斯个性化联邦学习框架及其实例BPFed，加入先验持续更新机制，并提供理论分析与实验验证。
2023-10-03 cs.LG
Personalized Multi-tier Federated Learning
本文提出多层架构下的个性化联邦学习（PerMFL），以低通信成本捕获数据异质性，为设备提供定制化模型，并给出理论收敛保证及实验验证。
2024-07-19 cs.AI cs.LG math.OC
FedLog: Personalized Federated Classification with Less Communication and More Flexibility
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
针对联邦表示学习共享模型参数导致通信开销巨大的问题，提出FedLog方法，通过共享编码最小充分统计量的数据摘要和贝叶斯推断进行全局聚合，并扩展差分隐私框架，实现了高精度与低通信开销。
2024-10-12 cs.DC cs.LG stat.ML
FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning
针对去中心化联邦学习中客户端数据异构、低连通网络下性能与通信成本问题，提出基于软聚类的个性化算法FedSPD，兼顾模型共识与客户端定制，降低通信成本，在低连通场景下性能优于同类算法。
2025-09-02 cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University（杜克大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习是一种流行的分布式机器学习范例，具有增强的隐私性。它的主要目标是学习一个全球模型，为尽可能多的参与者提供良好的性能。该技术正在快速发展，面临许多尚未解决的挑战，其中包括统计异质性（即，非IID）和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中，我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架，通过利用彩票假设。在LotteryFL中，每个客户端学习彩票网络（即，基本模型的子网络），并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同，每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸，通信成本可以显著降低。为了支持我们框架的训练和评估，我们考虑特征分布偏差、标签分布偏差和数量偏差，基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明，LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Dual Attention Heads for Personalized Federated Learning in ECG Classification
IEEE MWSCAS 2026
针对心电图数据异质性带来的联邦学习分类挑战，提出FedDualAtt方法，将Transformer注意力头分全局和局部分支，全局头聚合捕获共享模式，局部头适应客户端特征，实验表明该方法在心电图分类任务中表现优于现有方法。
2026-07-09 cs.LG
Connecting Low-Loss Subspace for Personalized Federated Learning
Ulsan National Institute of Science and Technology（蔚山科学技术院）；Kakao Enterprise（Kakao企业）
由于客户端之间统计异质性的诅咒，采用个性化的联邦学习方法已成为成功部署基于联邦学习的服务的必要选择。在个性化技术的不同分支中，基于模型混合的个性化方法是优选的，因为作为联邦学习的结果，每个客户端具有其自己的个性化模型。它通常需要一个本地模型和一个联邦模型，但这种方法要么局限于部分参数交换，要么需要额外的本地更新，每一个都是无助的新客户端和客户端的计算能力的负担。由于已经发现在两个或多个独立的深度网络之间存在包含不同低损失解决方案的连接子空间，我们将这个有趣的特性与基于模型混合的个性化联邦学习方法相结合，以提高个性化的性能。我们提出了SuperFed，一种个性化的联邦学习方法，该方法在权重空间中引入局部和联邦模型的最优值之间的显式连接，以相互提升。通过在多个基准数据集上的大量实验，我们证明了我们的方法在个性化性能和对现实服务中可能出现的问题场景的鲁棒性方面都取得了一致的收益。
2022-08-11 cs.AI cs.LG
Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation
Xiamen University（厦门大学）；Zhejiang Lab（之江实验室）
个性化联邦学习（PFL）旨在以隐私保护的方式基于所有客户端的知识为每个客户端学习个性化模型。现有的PFL方法通常假设跨所有客户端的底层全局数据是均匀分布的，而没有考虑长尾分布。FL环境中的数据异构性和长尾分布的联合问题更具挑战性，并严重影响个性化模型的性能。在本文中，我们提出了一种PFL方法称为联邦学习与对抗特征增强（FedAFA），以解决这个联合问题PFL。FedAFA通过生成平衡的特征集来增强本地少数类，从而为每个客户端优化个性化模型。局部少数类特征是通过从全局模型提取的局部多数类特征中以对抗性示例学习方式传递知识而生成的。在不同的数据异构性和长尾分布设置下的测试结果表明，与PFL算法相比，FedAFA算法显著提高了每个客户端的个性化性能.该代码可在https://github.com/pxqian/FedAFA上获得。
2023-03-27 cs.LG
FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis
The University of Sydney（悉尼大学）
大多数现有的联邦学习方法假设客户端已经完全标记了数据进行训练，而在现实中，由于用户的隐私问题，高标签成本或缺乏专业知识，客户端很难获得特定于任务的标签。这项工作考虑了服务器与一个小的标记数据集，并打算使用未标记的数据在多个客户端的半监督学习。我们提出了一个新的框架，一个广义的模型，联邦增量学习（FedIL），以解决如何利用标记的数据在服务器和未标记的数据在客户端分开的情况下，联邦学习（FL）的问题。FedIL使用迭代相似性融合来强制服务器-客户端对未标记数据的预测的一致性，并使用增量置信度在每个客户端中建立可信的伪标签集。我们证明了FedIL将加速模型收敛的余弦相似与规范化，证明了Banach不动点定理。该代码可在https://anonymous.4open.science/r/fedil上获得。
2023-02-23 cs.LG
Achieving Personalized Federated Learning with Sparse Local Models
South China University of Technology（华南理工大学）；Eindhoven University of Technology（埃因霍温理工大学）；JD Explore Academy（京东探索研究院）
联邦学习（FL）容易受到异构分布数据的影响，因为FL中的通用全局模型可能无法适应每个用户的异构数据分布。为了解决这个问题，个性化FL（PFL）被提出来为每个单独的用户生成专用的本地模型。然而，PFL还远未成熟，因为现有的PFL解决方案要么对不同的模型架构表现出不令人满意的泛化能力，要么需要大量的额外计算和内存。在这项工作中，我们提出了联邦学习与个性化的稀疏掩码（FedSpa），一种新的PFL计划，采用个性化的稀疏掩码定制稀疏的局部模型的边缘。FedSpa不是训练完整的（或密集的）PFL模型，而是在整个训练过程中只保持固定数量的活动参数（也称为稀疏到稀疏训练），这使得用户的模型能够以廉价的通信，计算和内存成本实现个性化。我们从理论上证明了由FedSpa得到的迭代以$\mathcal{O}(\frac{1}{\sqrt{T}})$的速度收敛到SPFL问题的局部极小值。综合实验表明，FedSpa显着节省通信和计算成本，同时实现更高的模型精度和更快的收敛速度比几个国家的最先进的PFL方法。
2022-01-27 cs.AI cs.DC cs.LG
Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
本文提出适用于多种个性化联邦学习目标的通用优化器（Local SGD变体及加速坐标下降/加速SVRCD变体），建立统一优化理论，恢复已知最优通信与计算保证，使任务专用优化器设计在许多场景下不再必要。
2023-05-26 cs.LG
Robust Decentralized Personalized Federated Learning via Prediction-Constrained Neighborhood Collaboration
Faculty of Applied Sciences, Macao Polytechnic University（澳门理工大学应用科学学院）；School of Engineering and Technology, Central Queensland University（中央昆士兰大学工程与技术学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
提出鲁棒去中心化个性化联邦学习方法R-DPFL，通过邻域方向估计和基于历史的更新趋势预测抵御拜占庭攻击，在CIFAR-10上优于现有基线。
2026-09-09 cs.CR cs.DC cs.LG
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives
个性化联邦学习（FL）促进了多个客户端之间的协作，以学习个性化模型，而无需共享私有数据。该机制减轻了系统中通常遇到的统计异质性，即，不同客户端上的非IID数据。现有的个性化算法通常假设所有客户都自愿进行个性化。然而，潜在的参与者可能仍然不愿意个性化模型，因为它们可能无法很好地工作。在这种情况下，客户端选择使用全局模型。为了避免不切实际的假设，我们引入个性化率，衡量的客户端愿意训练个性化模型的分数，到联邦设置，并提出DyPFL。这种动态个性化FL技术激励客户参与个性化本地模型，同时允许在全局模型表现更好时采用全局模型。我们表明，DyPFL中的算法管道保证了良好的收敛性能，使其在广泛的条件下优于其他个性化方法，包括异质性，客户端数量，局部时期和批量大小的变化。
2022-09-22 cs.AI cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
个性化联邦学习（FL）的目标是训练模型，使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而，大多数个性化FL的工作都假设在所有客户端使用相同的模型架构，并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中，客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中，我们提出了一个个性化的FL框架，PerFed-CKT，客户端可以使用异构的模型架构，不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏，其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性，并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比，通信成本降低了几个数量级，实现了高测试精度。
2021-09-16 cs.LG
ADEPT: Hierarchical Bayes Approach to Personalized Federated Unsupervised Learning
University of California, Los Angeles（加州大学洛杉矶分校）
针对联邦学习中客户端数据异质性，提出基于分层贝叶斯框架的自适应个性化无监督学习算法，覆盖降维与扩散模型，理论分析与实验验证协作可有效放大个性化任务样本。
2025-01-24 cs.LG
Communication-Efficient Personalized Adaptation via Federated-Local Model Merging
Elmore Family School of Electrical and Computer Engineering, Purdue University（电气与计算机工程系，普渡大学）
Potara通过融合联邦和本地模型实现高效个性化适应，提升性能与通信的平衡。
2026-02-20 cs.LG
Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
University of California Irvine（加州大学欧文分校）
针对动态非平稳环境下预训练模型难以适应流式数据实时预测的问题，本文提出一种结合本地微调模型与服务器多轮联邦模型的个性化联邦学习算法，理论与实验均验证了其在实时预测和联邦微调上的有效性。
2024-10-28 cs.LG
Personalized Federated Learning with First Order Model Optimization
Stanford University（斯坦福大学）；NVIDIA（英伟达）
虽然联邦学习传统上旨在跨分散的本地数据集训练单个全局模型，但一个模型可能并不总是适合所有参与的客户端。在这里，我们提出了一种替代方案，每个客户端只与其他相关客户端联合，以获得每个客户端特定目标的更强大的模型。为了实现这种个性化，而不是像传统FL那样为整个联邦计算具有恒定权重的单个模型平均值，我们根据计算出客户端可以从另一个模型中受益多少来有效地计算每个客户端的最佳加权模型组合。我们不假设任何底层数据分布或客户端相似性的知识，并允许每个客户端针对感兴趣的任意目标分布进行优化，从而实现更大的个性化灵活性。我们评估和描述我们的方法在各种联邦设置，数据集和本地数据异构性的程度。我们的方法优于现有的替代方案，同时还为个性化FL提供了新功能，例如在本地数据分布之外进行传输。
2021-03-26 cs.DC cs.LG stat.ML
Personalized Federated Learning with Multiple Known Clusters
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们考虑的个性化联邦学习的问题时，有已知的用户内的集群结构。一种直观的方法是正则化参数，以便同一集群中的用户共享类似的模型权重。然后可以将聚类之间的距离正则化以反映不同用户聚类之间的相似性。我们开发了一种算法，允许每个集群独立通信，并得出收敛结果。我们研究了一个分层线性模型，从理论上证明我们的方法优于独立学习的代理和学习单个共享权重的代理。最后，我们使用模拟和真实世界的数据证明了我们的方法的优势。
2022-04-28 cs.LG
New Metrics to Evaluate the Performance and Fairness of Personalized Federated Learning
Purdue University（普渡大学）
在联邦学习（FL）中，客户端通过中央聚合器学习单个全局模型（FedAvg）。在这种设置中，跨客户端的数据的非IID分布限制了全局FL模型对每个客户端的本地数据提供良好的性能。个性化FL旨在通过为每个客户找到个性化模型来解决这个问题。最近的工作广泛报告了数据集的特定数据分割的平均个性化模型准确性，以评估其方法的有效性。然而，考虑到众多的个性化方法，它是至关重要的，以研究每个用户的个性化准确性和准确性的改善用户之间的公平的公平的概念。为了解决这些问题，我们提出了一套性能和公平性指标，旨在评估个性化FL方法的质量。我们将这些指标应用于最近提出的四种个性化FL方法，CIFAR-10数据集的三个不同数据分割上的PRFL，FedPer，pFedMe和Per-FedAvg。我们的评估表明，在用户中平均准确度最高的个性化模型可能不一定是最公平的。我们的代码可在https://tinyurl.com/1hp9ywfa上获得，供公众使用。
2021-07-28 cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（美国NEC实验室）；Florida International University（佛罗里达国际大学）；AWS AI Labs, Amazon（亚马逊AWS人工智能实验室）
个性化联邦学习（PFL）是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行，它已被观察到，现有的PFL方法导致次优的解决方案时，当地客户端之间的联合分布发散。为了解决这个问题，我们提出了联邦模块化网络（FedMN），一种新的PFL方法，自适应地从模块池中选择子模块，为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布，并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担，我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验，在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
Personalized Federated Learning via Variational Bayesian Inference
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
由于客户缺乏数据和统计多样性，联邦学习面临着模型过拟合的巨大挑战。为了解决这些问题，提出了一种基于贝叶斯变分推理的个性化联邦学习方法pFedBayes。为了减轻过拟合，权重不确定性被引入到神经网络的客户端和服务器。为了实现个性化，每个客户端通过平衡其在私有数据上的构造误差以及其KL发散与来自服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上界，并证明了该算法的泛化误差的收敛速度是极大极小最优的。实验表明，该方法在个性化模型上优于其他先进的个性化方法，例如，在非独立同分布情况下，pFedBayes算法在MNIST、FMNIST和CIFAR-10上的性能分别比其他SOTA算法高1.25%、0.42%和11.71%。有限的数据。
2022-06-16 cs.LG
Data-Driven Laplacian-Constrained Personalized Federated Learning
Division of Decision and Control Systems KTH Royal Institute of Technology（决策与控制系统系 瑞典皇家理工学院）
针对联邦学习中的客户端统计异质性，提出 KARULA 正则化个性化方法，利用适配联邦场景的 1-Wasserstein 距离代理量约束模型相异性，并给出收敛的非精确投影随机梯度算法。
2026-10-28 cs.LG
Personalized Federated Hierarchical Gaussian Processes for Privacy-Preserving Modeling of Heterogeneous Distributed Systems
Arizona State University（亚利桑那州立大学）
提出个性化联邦分层高斯过程，通过共享全局组件与局部残差分解实现异构客户端隐私保护的概率建模，在故障分类和空气质量建模中取得高效结果。
2026-09-18 cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST（韩国科学技术院）；AITRICS（艾特里克斯）
在现实世界的联邦学习场景中，由于使用不同的标签排列或处理完全不同的任务或域，参与者可能拥有自己的个性化标签，这些标签与其他客户端的标签不兼容。然而，大多数现有的FL方法不能有效地解决这种极端异构的情况下，因为他们经常假设（1）所有参与者使用一组同步的标签，（2）他们训练相同的任务，从同一个域。在这项工作中，为了应对这些挑战，我们引入了Factorized-FL，它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置，其中一个向量捕获不同标签和任务之间的公共知识，另一个向量捕获每个本地模型处理的特定于任务的知识。此外，基于客户端特定向量空间中的距离，Factorized-FL执行选择性聚合方案，以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法，在这些设置上，它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
Personalized Federated Learning for Multi-task Fault Diagnosis of Rotating Machinery
Digital Research Institute, ENN Group（新奥集团数字研究院）
智能故障诊断是保证机械安全运行的关键。然而，由于现场机械故障样本稀缺和数据异构性，基于深度学习的诊断方法容易出现过拟合，泛化能力较差。针对这一问题，提出了一种个性化的联邦学习框架，使多任务故障诊断方法能够以隐私保护的方式跨多个工厂进行。首先，旋转机械从不同的工厂相似的振动特征数据进行分类到机器组使用联邦聚类方法。在此基础上，构建了基于卷积神经网络的多任务深度学习模型，对异构信息融合的机械多故障进行诊断。最后，提出了一个个性化的联邦学习框架，采用自适应层次聚合策略解决跨机器的数据异构性问题。通过对实际机器采集数据的实例分析，验证了该框架的有效性.结果表明，采用个性化联邦学习可以显著提高故障诊断的准确率，尤其是对于故障样本较少的设备。
2022-11-17 cs.AI cs.LG
