Look Back for More: Harnessing Historical Sequential Updates for Personalized Federated Adapter Tuning
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）；EVYD Technology（EVYD科技公司）
本文提出pFedSeq框架，利用选择性状态空间模型对客户端历史适配器更新序列进行建模，以提升个性化联邦学习中适配器微调的性能。
2025-01-03 cs.DC cs.LG
Efficient Cluster Selection for Personalized Federated Learning: A Multi-Armed Bandit Approach
University of Kansas（堪萨斯大学）
本文针对个性化联邦学习中的动态用户聚类问题，提出受多臂老虎机启发的dUCB算法，以平衡探索与利用，帮助新用户高效找到最佳聚类，并通过多场景实验验证其有效性。
2023-10-29 cs.DC cs.LG
Lower Bounds and Optimal Algorithms for Personalized Federated Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在这项工作中，我们考虑了Hanzely和Richtárik（2020）最近引入的个性化联邦学习的优化公式，该公式被证明可以对本地{ \tt SGD}方法的工作原理给出另一种解释。我们的第一个贡献是建立第一个下界，这个配方，为通信复杂性和本地预言复杂性。我们的第二个贡献是几个最佳的方法匹配这些下限在几乎所有的制度的设计。这些是第一个可证明的个性化联邦学习的最佳方法。我们的优化方法包括{ \tt FedProx}的加速变体和{ \tt FedAvg}/Local { \tt SGD}的加速方差缩减版本。我们通过大量的数值实验证明了我们的方法的实际优势。
2020-10-05 cs.DC cs.LG math.OC
Straggler-Resilient Personalized Federated Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）；UC Santa Barbara（加州大学圣塔芭芭拉分校）
联邦学习是一种新兴的学习范式，它允许从分布在大型客户端网络中的样本中训练模型，同时尊重隐私和通信限制。尽管取得了成功，但联邦学习面临着与其分散性质相关的几个挑战。在这项工作中，我们开发了一种新的算法程序，理论上的加速保证，同时处理两个这些障碍，即（i）数据异构性，即，数据分布可以在客户端之间显著变化，以及（i i）系统异质性，即，客户端的计算能力可能显著不同。我们的方法依赖于表示学习理论的思想，使用所有客户端的数据找到一个全球通用的表示，并学习一组用户特定的参数，为每个客户端提供个性化的解决方案。此外，我们的方法通过基于计算特性和统计显著性自适应地选择客户端来减轻掉队者的影响，从而首次实现了接近最佳的样本复杂度和可证明的对数加速比。实验结果支持我们的理论研究结果显示，我们的方法优于其他个性化的联邦计划在系统和数据异构环境。
2022-06-05 cs.DC cs.LG
Rethinking Personalized Federated Learning with Clustering-based Dynamic Graph Propagation
The Pennsylvania State University（宾夕法尼亚州立大学）；Visa Research（Visa研究院）
针对现有个性化联邦学习方法实现与调参复杂的问题，本文提出基于聚类动态图传播的简洁框架，通过聚类建图传播更新参数并设计个性化分配策略，经多数据集实验验证了有效性。
2024-01-29 cs.DC cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）；Sony AI（索尼人工智能）；North Carolina State University（北卡罗来纳州立大学）
本文提出pFedHR框架，通过异构模型重组将个性化建模为服务器端模型匹配优化问题，自动生成多样化候选模型，在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
Adaptive Personalized Federated Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
对联邦学习算法中个性化程度的研究表明，只有最大化全局模型的性能才能限制局部模型的个性化能力。在本文中，我们提倡一种自适应个性化联邦学习（APFL）算法，每个客户端将训练他们的本地模型，同时有助于全球模型。我们推导了局部和全局模型混合的推广界，并找到了最佳的混合参数。我们还提出了一种通信效率的优化方法来协同学习个性化模型，并分析其收敛性在光滑强凸和非凸设置。大量的实验证明了我们的个性化模式的有效性，以及建立泛化理论的正确性。
2020-11-06 cs.DC cs.LG stat.ML
Personalized Federated Learning with Moreau Envelopes
The University of Sydney（悉尼大学）；The University of Melbourne（墨尔本大学）
联邦学习（FL）是一种去中心化和隐私保护的机器学习技术，其中一组客户端与服务器协作以学习全局模型而不共享客户端的数据。与FL相关的一个挑战是客户端之间的统计多样性，这限制了全局模型在每个客户端的任务上提供良好的性能。为了解决这个问题，我们提出了一种个性化FL算法（pFedMe），使用Moreau包络作为客户端的正则化损失函数，这有助于将个性化模型优化与个性化FL风格化的双层问题中的全局模型学习解耦。理论上，我们证明了pFedMe的收敛速度是最先进的：对强凸目标实现了二次加速比，对光滑非凸目标实现了2/3阶次线性加速比。实验上，我们验证了pFedMe优于经验性能相比，香草FedAvg和每FedAvg，基于元学习的个性化FL算法。
2022-01-26 cs.DC cs.LG stat.ML
Parameterized Knowledge Transfer for Personalized Federated Learning
The Hong Kong Polytechnic University（香港理工大学）；HUST（华中科技大学）
近年来，个性化联邦学习（pFL）因其在处理客户间统计异质性方面的潜力而受到越来越多的关注。然而，最先进的pFL方法依赖于在服务器端的模型参数聚合，这要求所有模型具有相同的结构和大小，从而限制了应用于更异构的场景。为了处理这样的模型约束，我们利用异构模型设置的潜力，并提出了一种新的训练框架，采用个性化的模型，为不同的客户端。具体而言，我们制定了在原始pFL的聚合过程到个性化的群体知识转移训练算法，即，KT-pFL，这使得每个客户端保持个性化的软预测在服务器端，以指导其他人的本地训练。KT-pFL通过知识系数矩阵对所有局部软预测进行线性组合，更新每个客户端的个性化软预测，从而自适应地加强拥有相似数据分布的客户端之间的协作。此外，为了量化每个客户端对其他客户端的个性化训练的贡献，知识系数矩阵被参数化，以便它可以与模型同时训练。知识系数矩阵和模型参数在每轮中按照梯度下降的方式交替更新。在不同的设置（异构模型和数据分布）下，对各种数据集（EMNIST，Fashion\_MNIST，CIFAR-10）进行了广泛的实验。实验结果表明，该框架是第一个通过参数化群体知识转移实现个性化模型训练的联邦学习范例，同时与最先进的算法相比，实现了显著的性能增益。
2021-11-04 cs.DC cs.LG
pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup
Florida International University（佛罗里达国际大学）；USC Information Sciences Institute（南加州大学信息科学研究所）
pMixFed 提出一种动态逐层个性化联邦学习方法，通过在全局与局部模型间引入自适应 mixup、渐进个性化过渡和新聚合机制，缓解客户端漂移与灾难性遗忘，提升非IID场景下的精度与训练效率。
2025-11-09 cs.DC cs.LG
A Model-agnostic Strategy to Mitigate Embedding Degradation in Personalized Federated Recommendation
本文提出模型无关的个性化局部-全局协作策略 PLGC，通过冻结全局物品嵌入、神经正切核动态平衡和对比目标函数缓解联邦推荐中的维度坍缩与嵌入退化问题，并在多个数据集上验证其有效性。
2025-08-27 cs.DC cs.IR
Hypernetworks for Model-Heterogeneous Personalized Federated Learning
the Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)（青岛软件研究所、计算机科学与技术学院、中国石油大学（华东））；the Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能石油与天然气工业软件重点实验室）；National University of Singapore（新加坡国立大学）
针对现有个性化联邦学习方法在模型异构场景下的局限，提出基于超网络的MH-pFedHN及集成轻量全局模型的MH-pFedHNGD框架，在保护隐私的同时实现了有竞争力的准确率与强泛化性。
2025-07-30 cs.DC cs.LG
Provably Personalized and Robust Federated Learning
University of California, Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
针对联邦学习个性化问题，论文将按聚类学习模型形式化为随机优化，提出可识别客户端聚类并训练每簇模型的迭代算法，取得最优收敛率且对 Byzantine 恶意客户端鲁棒。
2023-12-18 cs.DC cs.LG
Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare
Institut intelligence et données (IID)（智能与数据研究所）；Université Laval（拉瓦尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）
本文提出一种通过正交LoRA适配器解耦通用与客户端特定知识的个性化联邦微调方法，用于医疗视觉基础模型，在真实医学影像任务上表现具有竞争力。
2025-10-14 cs.CV cs.DC
PFL-MoE: Personalized Federated Learning Based on Mixture of Experts
Sun Yat-sen University（中山大学）；Tencent Inc.（腾讯公司）
联邦学习（Federated learning，FL）是一种新兴的分布式机器学习范式，它避免了训练节点之间的数据共享，从而保护了数据隐私。在FL服务器的协调下，每个客户端使用自己的计算资源和私有数据集进行模型训练。可以通过汇总客户的培训结果来创建全局模型。为了应对高度非IID的数据分布，已经提出了个性化的联邦学习（PFL），以通过允许每个客户端学习个性化的模型来提高整体性能。然而，个性化模型的一个主要缺点是泛化能力的丧失。为了实现模型个性化，同时保持泛化，在本文中，我们提出了一种新的方法，名为PFL-MoE，通过MoE架构混合输出的个性化模型和全球模型。PFL-MoE是一种通用的方法，可以通过集成现有的PFL算法来实例化。特别地，我们提出了PFL-MF算法，这是PFL-MoE的一个实例，基于冻结基PFL算法。通过提高MoE选通网络的决策能力，进一步改进了PFL-MF算法，提出了一种改进的PFL-MFE算法。我们通过在具有非IID分区的Fashion-MNIST和CIFAR-10数据集上训练LeNet-5和VGG-16模型来证明PFL-MoE的有效性。
2020-12-31 cs.DC cs.LG
Momentum-Guided Federated Split Distillation for Personalized Temporal Edge Intelligence
CESI（法国高等工业研究中心）；CESI LINEACT UR 7527（法国高等工业研究中心LINEACT联合研究单位UR 7527）
本文提出动量引导的联邦分裂蒸馏框架，结合TeRR-SAtt与AMGF，在智能建筑数据上显著降低边缘训练/推理延迟与资源占用，并提升本地学习精度。
2026-09-28 cs.AI cs.DC
GPFL: Simultaneously Learning Global and Personalized Feature Information for Personalized Federated Learning
Queen’s University Belfast（贝尔法斯特女王大学）；Louisiana State University（路易斯安那州立大学）；Shanghai Jiao Tong University（上海交通大学）
针对现有pFL方法仅提取全局或个性化特征信息的问题，提出GPFL方法，在每个客户端同时学习全局和个性化特征信息，在六个数据集上优于十种先进方法，准确率提升最高8.99%。
2023-10-14 cs.CR cs.DC cs.LG
pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning
Nankai University（南开大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tianjin University（天津大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学）
针对模型异构个性化联邦学习中的隐私、性能与成本平衡问题，提出pFedMoE方法，通过为本地异构大模型分配共享小特征提取器与本地门控网络构建混合专家，实现数据级个性化并支持模型异构。
2024-02-11 cs.DC cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
Personalized Interpretation on Federated Learning: A Virtual Concepts approach
University of Technology Sydney（悉尼科技大学）
本文提出一种虚拟概念方法，将联邦学习中客户端的非IID数据解释为可学习或可预定义的概念向量混合，从而在提升个性化解释性的同时增强训练鲁棒性，并在基准数据集上验证了有效性。
2024-06-28 cs.DC cs.LG
pFedSOP : Accelerating Training Of Personalized Federated Learning Using Second-Order Optimization
Department of Artificial Intelligence, Indian Institute of Technology, Hyderabad（人工智能系，印度理工学院，海得拉巴）
针对个性化联邦学习一阶优化收敛慢、通信轮次多及额外局部计算问题，提出pFedSOP，用Gompertz归一化夹角和正则化FIM近似Hessian实现二阶优化，实验性能优于现有方法。
2025-06-08 cs.DC cs.LG
Personalized Federated Learning via Stacking
提出一种基于堆叠泛化的个性化联邦学习方法，客户端交换隐私保护模型作为基础模型训练元模型，适用于多种数据划分和隐私技术，并支持贡献评估。
2024-04-21 cs.CR cs.DC cs.LG
Personalized Cross-Silo Federated Learning on Non-IID Data
Simon Fraser University（西蒙弗雷泽大学）；McMaster University（麦克马斯特大学）；Huawei Technologies Canada（华为技术加拿大公司）
非IID数据对联邦学习提出了严峻的挑战。在本文中，我们探索了一个新的想法，促进客户端之间的相似数据的成对合作。我们提出了FedAMP，一种新的方法，采用联邦关注的消息传递，以方便类似的客户端进行更多的合作。我们建立了凸模型和非凸模型的FedAMP的收敛性，并提出了一种探试法，以进一步提高FedAMP的性能时，客户端采用深度神经网络作为个性化的模型。我们在基准数据集上的大量实验证明了所提出的方法的优越性能。
2021-12-14 cs.DC cs.LG stat.ML
Personalized Federated Learning with Hidden Information on Personalized Prior
Sichuan University（四川大学）
联邦学习（FL）是一种分布式机器学习技术，它利用全局服务器和协作客户端来实现隐私保护的全局模型训练，而无需直接的数据共享。然而，异构数据问题，作为FL的主要问题之一，使得它很难有效地执行每个客户端的本地数据的全局模型。因此，个性化的联邦学习（PFL用于简化）旨在尽可能地提高模型在本地数据上的性能。贝叶斯学习，其中模型的参数被视为具有先验假设的随机变量，是异构数据问题的可行解决方案，因为模型使用的局部数据越多，它就越关注局部数据，否则就关注先验。当贝叶斯学习应用于PFL时，全局模型提供全局知识作为局部训练过程之前。在本文中，我们采用贝叶斯学习模型PFL假设在缩放指数家庭的先验，因此提出pFedBreD，一个框架来解决我们使用Bregman发散正则化模型的问题。经验上，我们的实验表明，在球面高斯和一阶策略的均值选择的先验假设下，我们的建议显着优于其他PFL算法在多个公共基准。
2022-11-24 cs.AI cs.DC cs.LG
A Coalition Formation Game Approach for Personalized Federated Learning
The Hong Kong Polytechnic University（香港理工大学）；Beijing Institute of Technology（北京理工大学）
面对客户端局部数据分布统计多样性的挑战，个性化联邦学习（PFL）逐渐成为研究热点。尽管基于模型相似性的成对协作方法已经取得了令人满意的性能，但它们忽略了一个事实，即模型聚合本质上是联盟内的协作过程，其中复杂的多方向影响发生在客户端之间。在本文中，我们首先应用Shapley值（SV）从联盟博弈论到PFL的情况。为了衡量一组客户之间的多方面合作对个性化学习绩效的影响，SV将他们对最终结果的边际贡献作为度量。我们提出了一种新的个性化算法：pFedSV，它可以1。确定每个客户的最佳合作者联盟; 2.基于SV进行个性化模型聚合。使用不同的非IID数据设置（病理学和Dirichlet）对各种数据集（MNIST，Fashion-MNIST和CIFAR-10）进行了广泛的实验。结果表明，与最先进的基准测试相比，pFedSV可以为每个客户端实现卓越的个性化准确性。
2022-02-08 cs.AI cs.DC cs.LG
FedLog: Personalized Federated Classification with Less Communication and More Flexibility
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
针对联邦表示学习共享模型参数导致通信开销巨大的问题，提出FedLog方法，通过共享编码最小充分统计量的数据摘要和贝叶斯推断进行全局聚合，并扩展差分隐私框架，实现了高精度与低通信开销。
2024-10-12 cs.DC cs.LG stat.ML
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University（杜克大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习是一种流行的分布式机器学习范例，具有增强的隐私性。它的主要目标是学习一个全球模型，为尽可能多的参与者提供良好的性能。该技术正在快速发展，面临许多尚未解决的挑战，其中包括统计异质性（即，非IID）和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中，我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架，通过利用彩票假设。在LotteryFL中，每个客户端学习彩票网络（即，基本模型的子网络），并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同，每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸，通信成本可以显著降低。为了支持我们框架的训练和评估，我们考虑特征分布偏差、标签分布偏差和数量偏差，基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明，LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Federated Quantum Natural Gradient Descent for Quantum Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
量子联合学习（QFL）的核心与跨多个本地量子设备的分布式学习架构相关联，并且QFL的更有效的训练算法有望最大限度地减少不同量子参与者之间的通信开销。在这项工作中，我们提出了一个有效的学习算法，即联邦量子自然梯度下降（FUNDERED），应用于QFL框架，该框架由变分量子线路（VQC）为基础的量子神经网络（QNN）。该算法允许更少的训练迭代以使QFL模型收敛，并且它可以显着降低本地量子设备之间的总通信成本。与其他联邦学习算法相比，我们在手写体数字分类数据集上的实验证实了QFL的ARNGD算法在训练数据集上的收敛速度更快，在测试数据集上的准确率更高。
2022-08-15 cs.DC cs.LG quant-ph
Achieving Personalized Federated Learning with Sparse Local Models
South China University of Technology（华南理工大学）；Eindhoven University of Technology（埃因霍温理工大学）；JD Explore Academy（京东探索研究院）
联邦学习（FL）容易受到异构分布数据的影响，因为FL中的通用全局模型可能无法适应每个用户的异构数据分布。为了解决这个问题，个性化FL（PFL）被提出来为每个单独的用户生成专用的本地模型。然而，PFL还远未成熟，因为现有的PFL解决方案要么对不同的模型架构表现出不令人满意的泛化能力，要么需要大量的额外计算和内存。在这项工作中，我们提出了联邦学习与个性化的稀疏掩码（FedSpa），一种新的PFL计划，采用个性化的稀疏掩码定制稀疏的局部模型的边缘。FedSpa不是训练完整的（或密集的）PFL模型，而是在整个训练过程中只保持固定数量的活动参数（也称为稀疏到稀疏训练），这使得用户的模型能够以廉价的通信，计算和内存成本实现个性化。我们从理论上证明了由FedSpa得到的迭代以$\mathcal{O}(\frac{1}{\sqrt{T}})$的速度收敛到SPFL问题的局部极小值。综合实验表明，FedSpa显着节省通信和计算成本，同时实现更高的模型精度和更快的收敛速度比几个国家的最先进的PFL方法。
2022-01-27 cs.AI cs.DC cs.LG
Robust Decentralized Personalized Federated Learning via Prediction-Constrained Neighborhood Collaboration
Faculty of Applied Sciences, Macao Polytechnic University（澳门理工大学应用科学学院）；School of Engineering and Technology, Central Queensland University（中央昆士兰大学工程与技术学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
提出鲁棒去中心化个性化联邦学习方法R-DPFL，通过邻域方向估计和基于历史的更新趋势预测抵御拜占庭攻击，在CIFAR-10上优于现有基线。
2026-09-09 cs.CR cs.DC cs.LG
Personalized Federated Learning with First Order Model Optimization
Stanford University（斯坦福大学）；NVIDIA（英伟达）
虽然联邦学习传统上旨在跨分散的本地数据集训练单个全局模型，但一个模型可能并不总是适合所有参与的客户端。在这里，我们提出了一种替代方案，每个客户端只与其他相关客户端联合，以获得每个客户端特定目标的更强大的模型。为了实现这种个性化，而不是像传统FL那样为整个联邦计算具有恒定权重的单个模型平均值，我们根据计算出客户端可以从另一个模型中受益多少来有效地计算每个客户端的最佳加权模型组合。我们不假设任何底层数据分布或客户端相似性的知识，并允许每个客户端针对感兴趣的任意目标分布进行优化，从而实现更大的个性化灵活性。我们评估和描述我们的方法在各种联邦设置，数据集和本地数据异构性的程度。我们的方法优于现有的替代方案，同时还为个性化FL提供了新功能，例如在本地数据分布之外进行传输。
2021-03-26 cs.DC cs.LG stat.ML
Understanding the Statistical Accuracy-Communication Trade-off in Personalized Federated Learning with Minimax Guarantees
本文研究了个性化联邦学习中统计准确性与通信的权衡，定量刻画了个性化程度对样本与算法效率的影响，提供了选择个性化程度的理论见解，并证明了广泛研究的PFL公式的minimax最优性。
2025-06-01 cs.DC cs.LG math.ST
PersA-FL: Personalized Asynchronous Federated Learning
Yahoo! Research（雅虎研究院）
针对异步更新下的个性化联邦学习问题，研究基于MAML和ME的两种框架，提出移除同步通信与梯度有界假设的方法，给出有界陈旧性异步FL的统一收敛证明，实验验证其性能与陈旧性容忍度。
2023-10-04 cs.AI cs.DC cs.LG
FedGrAINS: Personalized SubGraph Federated Learning with Adaptive Neighbor Sampling
University of Southern California（南加州大学）；Emory University（埃默里大学）；University of Birmingham（伯明翰大学）
本文提出FedGrAINS，一种基于生成流网络的自适应邻居采样正则化方法，用于解决个性化子图联邦学习中的客户端异质性挑战，实验证明其能持续提升联邦学习性能。
2025-01-23 cs.AI cs.DC cs.IR
