Heterogeneity-Aware Personalized Federated Learning for Industrial Predictive Analytics
Edward P. Fitts Department of Industrial and Systems Engineering, North Carolina State University(爱德华·P·菲茨斯工业与系统工程系,北卡罗来纳州立大学)
本文提出一种面向工业预测分析的异质感知个性化联邦学习模型,通过迭代促进具有相似退化模式的客户端间的协作,提升个性化联邦学习性能,同时实现模型个性化、数据隐私保护和全面故障时间分布提供。
2026-04-21 cs.LG stat.ML
Factor-Assisted Federated Learning for Personalized Optimization with Heterogeneous Data
Center for Applied Statistics(应用统计中心);School of Statistics(统计学院);Renmin University of China(中国人民大学)
本文提出FedFac框架,通过因子分析实现异构数据的共享与个性化分解,提升联邦学习的收敛速度和预测性能。
2025-11-26 cs.LG stat.ML
Personalized Federated X -armed Bandit
Purdue University(普渡大学)
本文研究个性化联邦 $\mathcal{X}$-armed bandit 问题,提出具有双重淘汰策略的 \texttt{PF-PNE} 算法,在保护数据机密性下优化异构局部目标,理论分析证明其优于单客户端算法,并在合成和真实数据集上表现更佳。
2023-10-25 cs.LG stat.ML
Personalized Federated Learning through Local Memorization
Inria(法国国家信息与自动化研究所);Accenture Labs(埃森哲实验室)
联邦学习允许客户协作学习统计模型,同时保持数据本地化。联邦学习最初用于训练一个唯一的全局模型,以服务于所有客户端,但这种方法可能是次优的客户端的本地数据分布是异构的。为了解决这个限制,最近的个性化联邦学习方法训练为每个客户端一个单独的模型,同时仍然利用其他客户端可用的知识。在这项工作中,我们利用深度神经网络的能力从非表格数据中提取高质量的向量表示(嵌入),例如,图像和文本,提出了一种基于本地记忆的个性化机制。通过基于由全局模型提供的共享表示用局部$k$ -最近邻(kNN)模型内插集体训练的全局模型来获得个性化。我们为二进制分类的情况下所提出的方法提供了泛化范围,并且我们在一组联邦数据集上表明,这种方法比最先进的方法具有更高的准确性和公平性。
2022-06-17 cs.LG stat.ML
An Empirical Study of Personalized Federated Learning
Osaka University(大阪大学)
联邦学习是一种分布式机器学习方法,其中单个服务器和多个客户端协作构建机器学习模型,而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性(即,数据分布在客户端之间可能不同)。为了解决这个问题,许多联邦学习方法都是针对个性化的联邦学习,为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法,但实验设置(例如,比较方法、数据集和客户端设置)彼此不同,并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准(即,非个性化)联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试,评价每种方法的特点。我们的实验研究表明:(1)不存在冠军方法,(2)大数据异构性通常会导致高准确度的预测,以及(3)具有微调的标准联邦学习方法(例如FedAvg)通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench,供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
Row-wise Fusion Regularization: An Interpretable Personalized Federated Learning Framework in Large-Scale Scenarios
Department of Statistics, University of Science and Technology of China(统计系,中国科学技术大学)
针对多变量响应个性化联邦学习中的异构建模与结构共享问题,提出 SROF 正则化和 RowFed 算法,实现可解释的行级聚类、稀疏恢复、收敛保证及更优预测性能。
2025-10-19 cs.LG stat.ML
Adaptive Personalized Federated Learning
The Pennsylvania State University(宾夕法尼亚州立大学)
对联邦学习算法中个性化程度的研究表明,只有最大化全局模型的性能才能限制局部模型的个性化能力。在本文中,我们提倡一种自适应个性化联邦学习(APFL)算法,每个客户端将训练他们的本地模型,同时有助于全球模型。我们推导了局部和全局模型混合的推广界,并找到了最佳的混合参数。我们还提出了一种通信效率的优化方法来协同学习个性化模型,并分析其收敛性在光滑强凸和非凸设置。大量的实验证明了我们的个性化模式的有效性,以及建立泛化理论的正确性。
2020-11-06 cs.DC cs.LG stat.ML
Personalized Federated Learning with Moreau Envelopes
The University of Sydney(悉尼大学);The University of Melbourne(墨尔本大学)
联邦学习(FL)是一种去中心化和隐私保护的机器学习技术,其中一组客户端与服务器协作以学习全局模型而不共享客户端的数据。与FL相关的一个挑战是客户端之间的统计多样性,这限制了全局模型在每个客户端的任务上提供良好的性能。为了解决这个问题,我们提出了一种个性化FL算法(pFedMe),使用Moreau包络作为客户端的正则化损失函数,这有助于将个性化模型优化与个性化FL风格化的双层问题中的全局模型学习解耦。理论上,我们证明了pFedMe的收敛速度是最先进的:对强凸目标实现了二次加速比,对光滑非凸目标实现了2/3阶次线性加速比。实验上,我们验证了pFedMe优于经验性能相比,香草FedAvg和每FedAvg,基于元学习的个性化FL算法。
2022-01-26 cs.DC cs.LG stat.ML
WAFFLE: Weighted Averaging for Personalized Federated Learning
EPFL(洛桑联邦理工学院)
在联邦学习中,模型个性化是处理客户端异构训练数据的非常有效的策略。我们介绍WAFFLE(加权平均联邦学习),一个个性化的协作机器学习算法,利用随机控制变量更快的收敛。WAFFLE使用客户端更新之间的欧几里德距离来衡量他们的个人贡献,从而最大限度地减少感兴趣的特定代理的个性化模型损失。通过一系列的实验,我们将我们的新方法与最近的两种个性化联邦学习方法-权重侵蚀和APFL-以及两种通用FL方法-联邦平均和SCAFFOLD进行了比较。性能评估使用两个类别的不相同的客户端数据分布-概念转移和标签倾斜-在两个图像数据集(MNIST和CIFAR 10)。我们的实验证明了WAFFLE的相对有效性,因为它实现或提高了精度,收敛速度更快。
2021-12-13 cs.LG
Personalized Federated Learning using Hypernetworks
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达公司)
个性化联邦学习的任务是为多个客户端训练机器学习模型,每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型,同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题,使用超网络,称为pFedHN个性化的联邦超网络。在这种方法中,中央超网络模型被训练以生成一组模型,每个客户端一个模型。这种架构提供了跨客户端的有效参数共享,同时保持了生成独特和多样化的个人模型的能力。此外,由于超网络参数从来没有被传输,这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试,发现它优于以前的方法。最后,由于超网络在客户端之间共享信息,我们表明pFedHN可以更好地推广到新客户端,其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
Learn What You Need in Personalized Federated Learning
Shanghai Jiao Tong University(上海交通大学);Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University(上海交通大学图像处理与模式识别研究所);Cooperative Medianet Innovation Center (CMIC), Shanghai Jiao Tong University(上海交通大学协同媒体创新中心);Shanghai AI Laboratory(上海人工智能实验室)
本文提出基于算法展开的个性化联邦学习框架 Learn2pFed,通过将各本地模型参数的协作参与程度优化为可学习参数,实现自适应定制协作方式,并在多种任务上显著超越现有方法。
2024-01-16 cs.LG
FedEmbed: Personalized Private Federated Learning
Georgia Institute of Technology(佐治亚理工学院);Apple(苹果公司)
联邦学习使得能够将机器学习部署到集中式数据汇集不切实际的问题。添加差分隐私保证了隐私的界限,同时数据被贡献给全局模型。将个性化添加到联邦学习中会带来新的挑战,因为我们必须考虑单个用户的偏好,其中数据样本可能具有冲突的标签,因为一个用户子群体可能会积极看待输入,但其他子群体可能会消极看待相同的输入。我们提出了FedEmbed,这是一种新的私有联邦学习方法,用于个性化全局模型,该模型使用(1)相似用户的子群体,以及(2)个人嵌入。我们证明了当前的联邦学习方法不足以处理具有冲突标签的数据,并且我们表明FedEmbed比个性化私人联邦学习的基线方法提高了45%。
2022-02-18 cs.LG
An Optimal Transport Approach to Personalized Federated Learning
The Chinese University of Hong Kong(香港中文大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Santa Barbara(加州大学圣巴巴拉分校)
联邦学习是一种分布式机器学习范式,其目的是使用许多分布式客户端的本地数据来训练模型。联邦学习中的一个关键挑战是跨客户端的数据样本可能不是完全相同的分布。为了应对这一挑战,已经提出了个性化的联邦学习,其目标是根据每个客户端的数据分布来定制学习模型。在本文中,我们专注于这个问题,并提出了一种新的个性化的联邦学习计划的基础上最佳运输(FedOT)作为一种学习算法,学习的最佳运输地图的数据点转移到一个共同的分布,以及预测模型下应用的运输地图。为了制定FedOT问题,我们将两个概率分布之间的标准最优运输任务扩展到多边缘最优运输问题,其目标是将样本从多个分布运输到一个共同的概率域。然后,我们利用多边际最优运输问题的结果,制定FedOT作为一个最小最大优化问题,并分析其推广和优化性能。我们讨论了几个数值实验的结果,以评估FedOT在联邦学习问题中的异构数据分布下的性能。
2022-06-06 cs.AI cs.LG stat.ML
Personalized Cross-Silo Federated Learning on Non-IID Data
Simon Fraser University(西蒙弗雷泽大学);McMaster University(麦克马斯特大学);Huawei Technologies Canada(华为技术加拿大公司)
非IID数据对联邦学习提出了严峻的挑战。在本文中,我们探索了一个新的想法,促进客户端之间的相似数据的成对合作。我们提出了FedAMP,一种新的方法,采用联邦关注的消息传递,以方便类似的客户端进行更多的合作。我们建立了凸模型和非凸模型的FedAMP的收敛性,并提出了一种探试法,以进一步提高FedAMP的性能时,客户端采用深度神经网络作为个性化的模型。我们在基准数据集上的大量实验证明了所提出的方法的优越性能。
2021-12-14 cs.DC cs.LG stat.ML
Personalized Federated Learning through Global Knowledge Distillation and Local Head Adaptation
Universidade Federal do Ceará(塞阿拉联邦大学);Uppsala University(乌普萨拉大学)
针对联邦学习中统计异质性导致单一全局分类器失效的问题,提出pFedKDH方法,仅聚合共享主干并保留客户端特定头部,利用重新校准的全局头部进行知识蒸馏,在多个数据集上取得最优准确率。
2026-09-16 cs.LG stat.ML stat.OT
Tensor Decomposition based Personalized Federated Learning
Tianjin University(天津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
联邦学习(Federated learning,FL)是一种新的分布式机器学习框架,能够在不收集用户隐私数据的情况下实现可靠的协作训练。然而,由于FL的频繁通信和平均聚合策略,他们在扩展到统计多样性数据和大规模模型方面遇到了挑战。在本文中,我们提出了一个个性化的FL框架,名为张量分解的个性化联邦学习(TDPFed),在其中,我们设计了一个新的张量化的局部模型与张量化的线性层和卷积层,以减少通信成本。TDPFed使用双层损失函数,通过控制个性化模型和张量化局部模型之间的间隙,将个性化模型优化与全局模型学习解耦。此外,一个有效的分布式学习策略和两个不同的模型聚合策略被很好地设计了所提出的TDPFed框架。理论收敛性分析和充分的实验表明,我们提出的TDPFed框架实现了最先进的性能,同时降低了通信成本。
2022-08-27 cs.LG
Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
Macquarie University(麦考瑞大学);Northeastern University(东北大学)
针对现有个性化联邦学习未充分处理客户端不确定性与异质性、表征解耦依赖特设方法的问题,提出含共享与个性化不确定性表征的通用贝叶斯个性化联邦学习框架及其实例BPFed,加入先验持续更新机制,并提供理论分析与实验验证。
2023-10-03 cs.LG
Personalized Multi-tier Federated Learning
本文提出多层架构下的个性化联邦学习(PerMFL),以低通信成本捕获数据异质性,为设备提供定制化模型,并给出理论收敛保证及实验验证。
2024-07-19 cs.AI cs.LG math.OC
FedLog: Personalized Federated Classification with Less Communication and More Flexibility
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
针对联邦表示学习共享模型参数导致通信开销巨大的问题,提出FedLog方法,通过共享编码最小充分统计量的数据摘要和贝叶斯推断进行全局聚合,并扩展差分隐私框架,实现了高精度与低通信开销。
2024-10-12 cs.DC cs.LG stat.ML
Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning
The Hong Kong Polytechnic University(香港理工大学)
最近,本地客户端上的训练数据集之间的数据异构性(也称为,非IID数据)引起了联邦学习(Federated Learning,FL)的极大兴趣,许多个性化的联邦学习方法被提出来处理它。然而,尽管在现实世界中,训练数据集和测试数据集之间的分布偏移在FL中是普遍存在的,但FL从未考虑过。我们注意到分布偏移(也称为,由于个性化信息和虚假信息之间的纠缠,非IID联邦设置下的分布外泛化(out-of-distribution generalization)问题变得相当具有挑战性。为了解决上述问题,我们详细阐述了一个通用的双重正则化学习框架,以探索个性化的不变性,与现有的个性化联邦学习方法,由一个单一的基线(通常是全局模型)进行正则化。利用个性化的不变特征,开发的个性化模型可以有效地利用最相关的信息,同时消除虚假信息,以提高每个客户端的分布外泛化性能。理论分析和实验结果表明,在不同的分布外和非IID数据情况下,该方法优于现有的联邦学习和不变学习方法.
2022-11-21 cs.DC cs.LG
FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning
针对去中心化联邦学习中客户端数据异构、低连通网络下性能与通信成本问题,提出基于软聚类的个性化算法FedSPD,兼顾模型共识与客户端定制,降低通信成本,在低连通场景下性能优于同类算法。
2025-09-02 cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University(杜克大学);Alibaba DAMO Academy(阿里巴巴达摩院)
联邦学习是一种流行的分布式机器学习范例,具有增强的隐私性。它的主要目标是学习一个全球模型,为尽可能多的参与者提供良好的性能。该技术正在快速发展,面临许多尚未解决的挑战,其中包括统计异质性(即,非IID)和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中,我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架,通过利用彩票假设。在LotteryFL中,每个客户端学习彩票网络(即,基本模型的子网络),并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同,每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸,通信成本可以显著降低。为了支持我们框架的训练和评估,我们考虑特征分布偏差、标签分布偏差和数量偏差,基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明,LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Federated Multi-view Matrix Factorization for Personalized Recommendations
Helsinki Research Center(赫尔辛基研究中心);Europe Cloud Service Competence Center(欧洲云服务能力中心);Huawei Technologies Oy (Finland) Co. Ltd(华为技术有限公司(芬兰))
我们引入了联邦多视图矩阵分解方法,将联邦学习框架扩展到多数据源的矩阵分解。我们的方法是能够学习多视图模型,而无需将用户的个人数据传输到中央服务器。据我们所知,这是第一个使用多视图矩阵分解提供推荐的联邦模型。该模型在生产环境的三个数据集上进行了严格的评估。实证验证证实,联邦多视图矩阵分解优于不考虑数据多视图结构的简单方法,此外,它还证明了所提出的方法对于冷启动联邦推荐的挑战性预测任务的有用性。
2020-04-08 cs.IR cs.LG stat.ML
DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));National University of Defense Technology(国防科技大学);Dongguan University of Technology(东莞理工大学)
本文提出DA-PFL模型,通过从互补视角构建亲和力度量并设计动态聚合策略,在每轮联邦学习中动态聚合客户端,以缓解类别不平衡问题,并在三个真实数据集上显著提升各客户端准确性。
2024-03-14 cs.DC cs.LG
Dual Attention Heads for Personalized Federated Learning in ECG Classification
IEEE MWSCAS 2026
针对心电图数据异质性带来的联邦学习分类挑战,提出FedDualAtt方法,将Transformer注意力头分全局和局部分支,全局头聚合捕获共享模式,局部头适应客户端特征,实验表明该方法在心电图分类任务中表现优于现有方法。
2026-07-09 cs.LG
Connecting Low-Loss Subspace for Personalized Federated Learning
Ulsan National Institute of Science and Technology(蔚山科学技术院);Kakao Enterprise(Kakao企业)
由于客户端之间统计异质性的诅咒,采用个性化的联邦学习方法已成为成功部署基于联邦学习的服务的必要选择。在个性化技术的不同分支中,基于模型混合的个性化方法是优选的,因为作为联邦学习的结果,每个客户端具有其自己的个性化模型。它通常需要一个本地模型和一个联邦模型,但这种方法要么局限于部分参数交换,要么需要额外的本地更新,每一个都是无助的新客户端和客户端的计算能力的负担。由于已经发现在两个或多个独立的深度网络之间存在包含不同低损失解决方案的连接子空间,我们将这个有趣的特性与基于模型混合的个性化联邦学习方法相结合,以提高个性化的性能。我们提出了SuperFed,一种个性化的联邦学习方法,该方法在权重空间中引入局部和联邦模型的最优值之间的显式连接,以相互提升。通过在多个基准数据集上的大量实验,我们证明了我们的方法在个性化性能和对现实服务中可能出现的问题场景的鲁棒性方面都取得了一致的收益。
2022-08-11 cs.AI cs.LG
Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation
Xiamen University(厦门大学);Zhejiang Lab(之江实验室)
个性化联邦学习(PFL)旨在以隐私保护的方式基于所有客户端的知识为每个客户端学习个性化模型。现有的PFL方法通常假设跨所有客户端的底层全局数据是均匀分布的,而没有考虑长尾分布。FL环境中的数据异构性和长尾分布的联合问题更具挑战性,并严重影响个性化模型的性能。在本文中,我们提出了一种PFL方法称为联邦学习与对抗特征增强(FedAFA),以解决这个联合问题PFL。FedAFA通过生成平衡的特征集来增强本地少数类,从而为每个客户端优化个性化模型。局部少数类特征是通过从全局模型提取的局部多数类特征中以对抗性示例学习方式传递知识而生成的。在不同的数据异构性和长尾分布设置下的测试结果表明,与PFL算法相比,FedAFA算法显著提高了每个客户端的个性化性能.该代码可在https://github.com/pxqian/FedAFA上获得。
2023-03-27 cs.LG
Personalized Federated Learning with Attention-based Client Selection
University of Virginia(弗吉尼亚大学)
提出FedACS算法,利用注意力机制选择相似数据分布的客户端,缓解非独立同分布和数据稀缺问题,提升个性化联邦学习性能。
2023-12-23 cs.IT cs.LG eess.SP
Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院)
本文提出适用于多种个性化联邦学习目标的通用优化器(Local SGD变体及加速坐标下降/加速SVRCD变体),建立统一优化理论,恢复已知最优通信与计算保证,使任务专用优化器设计在许多场景下不再必要。
2023-05-26 cs.LG
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives
个性化联邦学习(FL)促进了多个客户端之间的协作,以学习个性化模型,而无需共享私有数据。该机制减轻了系统中通常遇到的统计异质性,即,不同客户端上的非IID数据。现有的个性化算法通常假设所有客户都自愿进行个性化。然而,潜在的参与者可能仍然不愿意个性化模型,因为它们可能无法很好地工作。在这种情况下,客户端选择使用全局模型。为了避免不切实际的假设,我们引入个性化率,衡量的客户端愿意训练个性化模型的分数,到联邦设置,并提出DyPFL。这种动态个性化FL技术激励客户参与个性化本地模型,同时允许在全局模型表现更好时采用全局模型。我们表明,DyPFL中的算法管道保证了良好的收敛性能,使其在广泛的条件下优于其他个性化方法,包括异质性,客户端数量,局部时期和批量大小的变化。
2022-09-22 cs.AI cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习(FL)的目标是训练模型,使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而,大多数个性化FL的工作都假设在所有客户端使用相同的模型架构,并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中,客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中,我们提出了一个个性化的FL框架,PerFed-CKT,客户端可以使用异构的模型架构,不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏,其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性,并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比,通信成本降低了几个数量级,实现了高测试精度。
2021-09-16 cs.LG
Communication-Efficient Personalized Adaptation via Federated-Local Model Merging
Elmore Family School of Electrical and Computer Engineering, Purdue University(电气与计算机工程系,普渡大学)
Potara通过融合联邦和本地模型实现高效个性化适应,提升性能与通信的平衡。
2026-02-20 cs.LG
Personalized Federated Learning: A Meta-Learning Approach
Massachusetts Institute of Technology(麻省理工学院);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在联邦学习中,我们的目标是跨多个计算单元(用户)训练模型,而用户只能与一个公共的中央服务器通信,而不交换他们的数据样本。这种机制利用了所有用户的计算能力,并允许用户获得更丰富的模型,因为他们的模型是在更大的数据点集上训练的。然而,该方案仅为所有用户开发公共输出,因此,它不使模型适应每个用户。这是一个重要的缺失特性,特别是考虑到不同用户的底层数据分布的异构性。在本文中,我们研究了联邦学习的个性化变体,其中我们的目标是找到一个初始共享模型,当前或新用户可以通过执行一个或几个步骤来轻松地适应其本地数据集相对于他们自己的数据的梯度下降。这种方法保留了联邦学习架构的所有优点,并且通过结构为每个用户带来了更加个性化的模型。我们可以在模型不可知元学习(MAML)框架内研究这个问题。受这种连接的启发,我们研究了一个个性化的变种著名的联邦平均算法和评估其性能的非凸损失函数的梯度范数。此外,我们的特点是如何影响这种性能的用户数据的底层分布的接近程度,测量的分布距离,如总变差和1-Wasserstein度量。
2020-10-23 cs.LG math.OC stat.ML
Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
University of California Irvine(加州大学欧文分校)
针对动态非平稳环境下预训练模型难以适应流式数据实时预测的问题,本文提出一种结合本地微调模型与服务器多轮联邦模型的个性化联邦学习算法,理论与实验均验证了其在实时预测和联邦微调上的有效性。
2024-10-28 cs.LG
Personalized Federated Learning with First Order Model Optimization
Stanford University(斯坦福大学);NVIDIA(英伟达)
虽然联邦学习传统上旨在跨分散的本地数据集训练单个全局模型,但一个模型可能并不总是适合所有参与的客户端。在这里,我们提出了一种替代方案,每个客户端只与其他相关客户端联合,以获得每个客户端特定目标的更强大的模型。为了实现这种个性化,而不是像传统FL那样为整个联邦计算具有恒定权重的单个模型平均值,我们根据计算出客户端可以从另一个模型中受益多少来有效地计算每个客户端的最佳加权模型组合。我们不假设任何底层数据分布或客户端相似性的知识,并允许每个客户端针对感兴趣的任意目标分布进行优化,从而实现更大的个性化灵活性。我们评估和描述我们的方法在各种联邦设置,数据集和本地数据异构性的程度。我们的方法优于现有的替代方案,同时还为个性化FL提供了新功能,例如在本地数据分布之外进行传输。
2021-03-26 cs.DC cs.LG stat.ML
Personalized Federated Learning with Multiple Known Clusters
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们考虑的个性化联邦学习的问题时,有已知的用户内的集群结构。一种直观的方法是正则化参数,以便同一集群中的用户共享类似的模型权重。然后可以将聚类之间的距离正则化以反映不同用户聚类之间的相似性。我们开发了一种算法,允许每个集群独立通信,并得出收敛结果。我们研究了一个分层线性模型,从理论上证明我们的方法优于独立学习的代理和学习单个共享权重的代理。最后,我们使用模拟和真实世界的数据证明了我们的方法的优势。
2022-04-28 cs.LG
New Metrics to Evaluate the Performance and Fairness of Personalized Federated Learning
Purdue University(普渡大学)
在联邦学习(FL)中,客户端通过中央聚合器学习单个全局模型(FedAvg)。在这种设置中,跨客户端的数据的非IID分布限制了全局FL模型对每个客户端的本地数据提供良好的性能。个性化FL旨在通过为每个客户找到个性化模型来解决这个问题。最近的工作广泛报告了数据集的特定数据分割的平均个性化模型准确性,以评估其方法的有效性。然而,考虑到众多的个性化方法,它是至关重要的,以研究每个用户的个性化准确性和准确性的改善用户之间的公平的公平的概念。为了解决这些问题,我们提出了一套性能和公平性指标,旨在评估个性化FL方法的质量。我们将这些指标应用于最近提出的四种个性化FL方法,CIFAR-10数据集的三个不同数据分割上的PRFL,FedPer,pFedMe和Per-FedAvg。我们的评估表明,在用户中平均准确度最高的个性化模型可能不一定是最公平的。我们的代码可在https://tinyurl.com/1hp9ywfa上获得,供公众使用。
2021-07-28 cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University(宾夕法尼亚州立大学);NEC Laboratories America(美国NEC实验室);Florida International University(佛罗里达国际大学);AWS AI Labs, Amazon(亚马逊AWS人工智能实验室)
个性化联邦学习(PFL)是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行,它已被观察到,现有的PFL方法导致次优的解决方案时,当地客户端之间的联合分布发散。为了解决这个问题,我们提出了联邦模块化网络(FedMN),一种新的PFL方法,自适应地从模块池中选择子模块,为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布,并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担,我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验,在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
Personalized Federated Learning via Variational Bayesian Inference
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室)
由于客户缺乏数据和统计多样性,联邦学习面临着模型过拟合的巨大挑战。为了解决这些问题,提出了一种基于贝叶斯变分推理的个性化联邦学习方法pFedBayes。为了减轻过拟合,权重不确定性被引入到神经网络的客户端和服务器。为了实现个性化,每个客户端通过平衡其在私有数据上的构造误差以及其KL发散与来自服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上界,并证明了该算法的泛化误差的收敛速度是极大极小最优的。实验表明,该方法在个性化模型上优于其他先进的个性化方法,例如,在非独立同分布情况下,pFedBayes算法在MNIST、FMNIST和CIFAR-10上的性能分别比其他SOTA算法高1.25%、0.42%和11.71%。有限的数据。
2022-06-16 cs.LG
Data-Driven Laplacian-Constrained Personalized Federated Learning
Division of Decision and Control Systems KTH Royal Institute of Technology(决策与控制系统系 瑞典皇家理工学院)
针对联邦学习中的客户端统计异质性,提出 KARULA 正则化个性化方法,利用适配联邦场景的 1-Wasserstein 距离代理量约束模型相异性,并给出收敛的非精确投影随机梯度算法。
2026-10-28 cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
在现实世界的联邦学习场景中,由于使用不同的标签排列或处理完全不同的任务或域,参与者可能拥有自己的个性化标签,这些标签与其他客户端的标签不兼容。然而,大多数现有的FL方法不能有效地解决这种极端异构的情况下,因为他们经常假设(1)所有参与者使用一组同步的标签,(2)他们训练相同的任务,从同一个域。在这项工作中,为了应对这些挑战,我们引入了Factorized-FL,它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置,其中一个向量捕获不同标签和任务之间的公共知识,另一个向量捕获每个本地模型处理的特定于任务的知识。此外,基于客户端特定向量空间中的距离,Factorized-FL执行选择性聚合方案,以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法,在这些设置上,它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
Personalized Federated Learning for Multi-task Fault Diagnosis of Rotating Machinery
Digital Research Institute, ENN Group(新奥集团数字研究院)
智能故障诊断是保证机械安全运行的关键。然而,由于现场机械故障样本稀缺和数据异构性,基于深度学习的诊断方法容易出现过拟合,泛化能力较差。针对这一问题,提出了一种个性化的联邦学习框架,使多任务故障诊断方法能够以隐私保护的方式跨多个工厂进行。首先,旋转机械从不同的工厂相似的振动特征数据进行分类到机器组使用联邦聚类方法。在此基础上,构建了基于卷积神经网络的多任务深度学习模型,对异构信息融合的机械多故障进行诊断。最后,提出了一个个性化的联邦学习框架,采用自适应层次聚合策略解决跨机器的数据异构性问题。通过对实际机器采集数据的实例分析,验证了该框架的有效性.结果表明,采用个性化联邦学习可以显著提高故障诊断的准确率,尤其是对于故障样本较少的设备。
2022-11-17 cs.AI cs.LG
UPFL: Unsupervised Personalized Federated Learning towards New Clients
East China Normal University(华东师范大学);Ant Group(蚂蚁集团)
针对联邦模型部署后未标记新客户端加入的挑战,提出无监督个性化联邦学习方法FedTTA,通过代理正则化、基于熵的早停及知识蒸馏损失优化模型适应并解决设备异质性,实验证明其有效性。
2023-07-29 cs.AI cs.LG
Real-Time Personalized Content Adaptation through Matrix Factorization and Context-Aware Federated Learning
Department of Computer Science(计算机科学系);The University of Texas at El Paso(德克萨斯理工大学);Southern Illinois University(伊利诺伊大学苏尔特分校)
本研究通过联邦学习与矩阵分解技术,实现社交媒体的实时个性化内容推荐,提升用户互动与内容相关性,同时保障隐私。
2025-11-23 cs.LG
FlatLand: Personalized Graph Federated Learning via Tailored Lorentz Space
The Chinese University of Hong Kong(香港中文大学);Yale University(耶鲁大学);Huawei Technologies Co., Ltd.(华为技术有限公司);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
该研究针对图联邦学习中客户端图结构异质性问题,提出FlatLand方法,通过定制洛伦兹空间与参数解耦策略实现个性化联邦学习,在低维设置下表现更优。
2026-08-24 cs.LG
Fusion of Global and Local Knowledge for Personalized Federated Learning
Georgia Institute of Technology(佐治亚理工学院);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学);South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室)
个性化联邦学习作为联邦学习的一种变体,使用客户端异构分布的数据为客户端训练定制模型。然而,如何设计出更好地表示共享全局知识和个性化模式的个性化模型,目前还没有定论。为了弥补这一差距,本文探讨了具有低秩和稀疏分解的个性化模型。具体地说,我们采用适当的正则化提取一个低秩的全球知识表示(GKR),从而提取全球知识到一个紧凑的表示。随后,我们采用了稀疏组件在获得的GKR融合到全球知识的个性化模式。作为一种解决方案,我们提出了一个两阶段的基于邻近的算法命名为\textbf{Fed} erated学习与混合\textbf{S}解析和\textbf{L}低- \textbf{R}银行表示(FedSLR),以有效地搜索混合模型。理论上,在适当的假设下,我们证明了FedSLR训练的GKR至少可以亚线性地收敛到正则化问题的一个稳定点,并且在适当的设置下,被融合的稀疏分量可以收敛到其稳定点。大量的实验也证明了FedSLR优越的经验性能。此外,FedSLR减少了参数的数量,并降低了下行链路通信复杂性,这都是联邦学习算法所期望的。源代码在\url{https://github.com/huangtiansheng/fedslr}中提供。
2023-02-21 cs.LG
PPFL: A Personalized Federated Learning Framework for Heterogeneous Population
School of Management, Xi’an Jiaotong University(西安交通大学管理学院);W.P. Carey School of Business, Arizona State University(亚利桑那州立大学W.P. Carey商学院)
本文提出PPFL,一种基于规范模型和成员向量的个性化联邦学习框架,以隐私保护方式刻画异质性人群偏好,并设计随机块坐标下降算法求解,实验验证其有效性。
2025-08-05 cs.LG
PeFLL: Personalized Federated Learning by Learning to Learn
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本研究提出个性化联邦学习算法PeFLL,通过联合训练嵌入网络与超网络的学会学习方法,提升模型精度、降低通信与端侧计算量并具备泛化理论保证,在多个基准上达到最优性能。
2025-01-16 cs.LG
Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework
Sun Yat-sen University(中山大学)
物联网(IoT)已经广泛渗透到现代生活的各个方面,许多智能物联网服务和应用正在涌现。最近,联邦学习被提出来通过利用物联网设备上的大量用户生成的数据样本来训练全球共享模型,同时防止数据泄漏。然而,复杂物联网环境中固有的设备、统计和模型异构性对传统联邦学习提出了巨大挑战,使其不适合直接部署。在本文中,我们提倡在智能物联网应用的云边缘架构中使用个性化的联邦学习框架。为了应对物联网环境中的异构性问题,我们研究了新兴的个性化联邦学习方法,这些方法能够在不同方面减轻异构性造成的负面影响。借助边缘计算的强大功能,还可以实现智能物联网应用中对快速处理能力和低延迟的要求。最后,我们提供了一个基于物联网的人类活动识别的案例研究,以证明个性化联邦学习对智能物联网应用的有效性。
2020-05-02 cs.DC cs.LG cs.NI
Personalized Federated Learning With Graph
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);University of Washington(华盛顿大学);University of Maryland, College Park(马里兰大学帕克分校)
知识共享和模型个性化是个性化联邦学习(PFL)概念框架中的两个关键组成部分。现有的PFL方法集中在提出新的模型个性化机制,而简单地实现知识共享的聚合模型从所有的客户端,无论他们的关系图。本文旨在通过利用客户之间基于图的结构化信息来增强PFL中的知识共享过程。我们提出了一种新的结构化联邦学习(SFL)框架,使用客户端关系图和客户端的私有数据同时学习全局和个性化模型。我们将带图的SFL转化为一种新的优化问题,可以通过统一的框架来建模客户端复杂关系和基于图的结构拓扑。此外,除了使用现有的关系图,SFL可以扩展到学习客户端之间的隐藏关系。在交通和图像基准数据集上的实验证明了该方法的有效性。所有实现代码都可以在Github上找到
2022-04-30 cs.LG
DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training
University of Science and Technology of China(中国科学技术大学);JD Explore Academy(京东探索研究院);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Institute of Artificial Intelligence(人工智能研究院)
个性化的联邦学习被提出来处理客户端之间的数据异构性问题,通过学习专门定制的本地模型为每个用户。然而,现有的作品往往是内置的一个集中的方式,导致高通信压力和高脆弱性时,发生故障或攻击的中央服务器。在这项工作中,我们提出了一种新的个性化的联邦学习框架中的分散(对等)通信协议命名为Dis-PFL,采用个性化的稀疏掩模定制稀疏局部模型的边缘。为了进一步节省通信和计算成本,我们提出了一种分散的稀疏训练技术,这意味着在整个局部训练和对等通信过程中,Dis-PFL中的每个局部模型仅保持固定数量的活动参数。综合实验结果表明,该算法有效地解决了所有客户端中最繁忙节点的通信瓶颈问题,同时以更少的计算开销和通信次数获得了更高的模型精度。此外,我们证明了我们的方法可以很容易地适应不同的计算复杂度的异构本地客户端,并实现更好的个性化性能。
2022-06-01 cs.LG
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks
Seoul National University(首尔国立大学)
个性化联邦学习旨在允许众多客户端训练个性化模型,同时以通信高效的方式参与协作训练,而无需交换私有数据。然而,许多个性化的联邦学习算法假设客户端具有相同的神经网络架构,而异构模型的算法仍然没有得到充分研究。在这项研究中,我们提出了一种新的个性化联邦学习方法称为联邦分类器平均(FedClassAvg)。用于监督学习任务的深度神经网络由特征提取器和分类器层组成。FedClassAvg聚合分类器权重作为特征空间上决策边界的协议,以便具有非独立和相同分布(非iid)数据的客户端可以了解稀缺标签。此外,局部特征表示学习被应用于稳定决策边界和提高客户端的局部特征提取能力。虽然现有的方法需要收集辅助数据或模型权重来生成副本,但FedClassAvg只需要客户端与几个完全连接的层进行通信,这是非常高效的通信。此外,FedClassAvg不需要额外的优化问题,如知识转移,这需要密集的计算开销。我们通过大量的实验评估了FedClassAvg,并证明它在异构个性化联邦学习任务上优于当前最先进的算法。
2022-10-27 cs.AI cs.DC cs.LG
FedMCSA: Personalized Federated Learning via Model Components Self-Attention
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)促进多个客户端联合训练机器学习模型,而无需共享其私有数据。然而,客户端的非IID数据对FL提出了严峻的挑战。现有的个性化FL方法严重依赖于将一个完整的模型作为基本单元的默认处理,而忽略了不同层对客户端非IID数据的重要性。在这项工作中,我们提出了一个新的框架,联邦模型组件自注意力(FedMCSA),处理非IID数据在FL,它采用模型组件自注意力机制,粒度促进不同客户端之间的合作。该机制促进了相似模型组件之间的协作,同时减少了具有较大差异的模型组件之间的干扰。我们进行了广泛的实验,以证明FedMCSA优于以前的方法在四个基准数据集。此外,我们实证表明,该模型组件的自注意力机制,这是现有的个性化外语的补充,可以显着提高外语的性能的有效性。
2022-08-23 cs.LG
FedSPC: Shared Parameter Correction for Personalized Federated Learning
DENSO AUTOMOTIVE Deutschland GmbH(电装汽车德国有限公司);DENSO International America, Inc.(电装国际美国公司);Technical University of Munich(慕尼黑工业大学)
针对个性化联邦学习中共享参数因客户端局部目标不一致而更新冲突的问题,提出模块化校正方法FedSPC,仅对共享参数应用控制变量校正,在多种PFL设置下提升性能。
2026-06-15 cs.LG