Cross-Fusion Rule for Personalized Federated Learning
Zhejiang University of Technology(浙江工业大学)
数据稀缺性和异构性对个性化联邦学习提出了显著的性能挑战,这些挑战主要体现在现有方法的过拟合和低精度上。为了克服这些挑战,本文提出了一种多层多融合策略框架,服务器采用各客户端上传模型的网络层参数作为融合的基本单位进行信息共享计算。然后,有针对性地提出了一种融合个性化与通用性相结合的融合策略,并根据网络层功能设计了每种融合策略的网络层数融合阈值。在该机制下,采用L2-Norm负指数相似性度量计算每个客户端对应的特征提取层参数的融合权重,从而提高了异构数据个性化协作的效率。同时,在网络全连接层采用联邦全局最优模型近似融合策略,避免了强个性化带来的过拟合问题。实验结果表明,该方法优于现有的方法。
2023-02-06 cs.AI cs.LG
Personalized Multi-tier Federated Learning
本文提出多层架构下的个性化联邦学习(PerMFL),以低通信成本捕获数据异质性,为设备提供定制化模型,并给出理论收敛保证及实验验证。
2024-07-19 cs.AI cs.LG math.OC
Personalized Federated Learning with Clustering: Non-IID Heart Rate Variability Data Application
College of Computing and Informatics, Sungkyunkwan University(成均馆大学计算与信息学院);Bio-Medical IT Convergence Research Division, Electronics and Telecommunications Research Institute(电子通信研究院生物医学IT融合研究部);Samsung Medical Center(三星医疗中心)
虽然机器学习技术因其在大型数据集中发现复杂关系的卓越能力而被应用于各个领域,但对数据所有权和隐私的监管加强导致其应用于医疗数据的难度越来越大。鉴于此,最近提出了联邦学习作为在不违反机密性的情况下对私人数据进行训练的解决方案。这种隐私保护在医疗保健领域特别有吸引力,因为患者数据是高度机密的。然而,许多研究表明,它的假设独立和同分布的数据是不现实的医疗数据。在本文中,我们提出了个性化的联邦聚类模型,一个层次聚类为基础的FL过程,预测严重抑郁症的严重程度,从心率变异性。通过允许客户端接收更个性化的模型,我们解决了由非IID数据引起的问题,显示出严重性预测的准确性增加。性能的这种提高可能足以在许多现有的联邦学习方案中使用个性化联合集群模型。
2021-08-11 cs.AI cs.LG
Personalized Federated Learning with Server-Side Information
snu(首尔国立大学)
个性化联邦学习是一个新兴的研究领域,它在客户端数据异构的情况下学习一个易于适应的全局模型。然而,个性化FL的主要挑战之一是严重依赖客户端的计算资源来计算高阶梯度,因为客户端数据与服务器隔离以确保隐私。为了解决这个问题,我们专注于一个问题设置,服务器可能拥有自己的数据独立于客户端的数据-在各种应用程序中普遍存在的问题设置,但在现有的文献中相对未被探索。具体来说,我们提出了FedSIM,个性化FL的一种新方法,积极利用这些服务器数据,以提高个性化性能的服务器中的元梯度计算。在实验中,我们通过各种基准测试和消融证明,FedSIM在准确性方面优于现有方法,通过计算服务器中的完整元梯度,计算效率更高,收敛速度快34.2%。
2022-06-13 cs.AI cs.LG
FedAGHN: Personalized Federated Learning with Attentive Graph HyperNetworks
Tsinghua University(清华大学);Fuyao University of Science and Technology(福耀科技大学);Hong Kong University of Science and Technology(香港科技大学);Shenzhen University(深圳大学);Southern University of Science and Technology(南方科技大学)
针对联邦学习中客户端数据异质性问题,提出基于注意力图超网络的个性化联邦学习方法,动态建模客户端协作关系以生成个性化初始模型,实验验证其优越性。
2025-10-08 cs.AI cs.LG
On Bridging Generic and Personalized Federated Learning for Image Classification
The Ohio State University(俄亥俄州立大学)
联邦学习是有前途的,因为它有能力与多个客户端协作训练模型,而无需访问他们的数据,但当客户端的数据分布彼此不同时,它就很容易受到攻击。这种分歧进一步导致了一个困境:“我们应该优先考虑学习模型的通用性能(供将来在服务器上使用)还是其个性化性能(针对每个客户端)?“这两个看似相互竞争的目标使社区分裂,专注于其中一个或另一个,但在本文中,我们表明有可能同时实现这两个目标。具体来说,我们提出了一个新的联邦学习框架,明确地将模型的双重职责与两个预测任务相结合。一方面,我们引入了一个家庭的损失,是强大的不相同的类分布,使客户端训练一个通用的预测与一致的目标在他们之间。另一方面,我们制定个性化的预测作为一个轻量级的自适应模块,学习,以尽量减少每个客户端的经验风险的通用预测。有了这个双损失,双预测器框架,我们将其命名为联邦鲁棒解耦(Federated Robust Decoupling,Fed-RoD),学习模型可以同时实现最先进的通用和个性化性能,基本上桥接了这两个任务。
2022-07-11 cs.AI cs.LG
Personalized Federated Dictionary Learning for Modeling Heterogeneity in Multi-site fMRI Data
Tulane Center for Biomedical Informatics and Genomics(Tulane生物医学信息学与基因组学中心);School of Medicine, Tulane University(Tulane大学医学院);State University of New York at Oswego(纽约州立大学奥尔巴尼分校)
针对多站点fMRI数据隐私与异质性挑战,提出个性化联邦字典学习框架PFedDL,通过分解共享与个性化字典实现协作建模,在ABIDE数据集上优于现有方法。
2025-09-25 cs.AI cs.LG
Personalized Federated Learning via Feature Distribution Adaptation
Northeastern University(东北大学)
针对异构客户端下联邦学习训练不稳定及现有个性化方法偏差-方差权衡难的问题,提出pFedFDA算法,将表征学习构建为生成式任务,通过适配全局分类器与本地特征分布生成个性化模型,在数据稀缺的视觉任务中性能显著优于现有方法。
2024-11-01 cs.AI cs.LG
FHBench: Towards Efficient and Personalized Federated Learning for Multimodal Healthcare
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对现实医疗数据多模态及计算资源有限的挑战,本文开发FHBench基准(源自真实医疗应用数据集)并提出EPFL框架,支持多模态医疗评估,提升联邦学习的效率与个性化效果。
2025-04-15 cs.AI cs.LG
Self-Aware Personalized Federated Learning
Alexa AI, Amazon(亚马逊Alexa人工智能部门)
在个性化联邦学习(FL)的背景下,关键的挑战是当个人和全局目标可能不完全一致时,平衡局部模型改进和全局模型调整。受贝叶斯分层模型的启发,我们开发了一种自我感知的个性化FL方法,每个客户端可以自动平衡其本地个人模型和全局模型的训练,这些模型隐含地有助于其他客户端的训练。这种平衡来自客户间和客户内不确定性的量化。更大的客户端差异意味着需要更多的个性化。相应地,我们的方法使用不确定性驱动的局部训练步骤和聚集规则,而不是传统的局部微调和基于样本大小的聚集。通过对合成数据、Amazon Alexa音频数据和公共数据集(如MNIST、FEMNIST、CIFAR10和Sent140)的实验研究,我们表明,与现有方法相比,我们提出的方法可以显著提高个性化性能。
2022-04-17 cs.AI cs.LG
FedCP: Separating Feature Information for Personalized Federated Learning via Conditional Policy
Shanghai Jiao Tong University(上海交通大学);Louisiana State University(路易斯安那州立大学)
本文提出FedCP方法,通过为每个样本生成条件策略分离特征中的全局与个性化信息,并分别用全局头和个性化头处理,以样本特定方式实现更细粒度的个性化联邦学习,在多个任务上超越现有方法且对客户端掉线具有鲁棒性。
2023-10-28 cs.AI cs.LG
An Empirical Study of Personalized Federated Learning
Osaka University(大阪大学)
联邦学习是一种分布式机器学习方法,其中单个服务器和多个客户端协作构建机器学习模型,而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性(即,数据分布在客户端之间可能不同)。为了解决这个问题,许多联邦学习方法都是针对个性化的联邦学习,为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法,但实验设置(例如,比较方法、数据集和客户端设置)彼此不同,并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准(即,非个性化)联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试,评价每种方法的特点。我们的实验研究表明:(1)不存在冠军方法,(2)大数据异构性通常会导致高准确度的预测,以及(3)具有微调的标准联邦学习方法(例如FedAvg)通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench,供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
WAFFLE: Weighted Averaging for Personalized Federated Learning
EPFL(洛桑联邦理工学院)
在联邦学习中,模型个性化是处理客户端异构训练数据的非常有效的策略。我们介绍WAFFLE(加权平均联邦学习),一个个性化的协作机器学习算法,利用随机控制变量更快的收敛。WAFFLE使用客户端更新之间的欧几里德距离来衡量他们的个人贡献,从而最大限度地减少感兴趣的特定代理的个性化模型损失。通过一系列的实验,我们将我们的新方法与最近的两种个性化联邦学习方法-权重侵蚀和APFL-以及两种通用FL方法-联邦平均和SCAFFOLD进行了比较。性能评估使用两个类别的不相同的客户端数据分布-概念转移和标签倾斜-在两个图像数据集(MNIST和CIFAR 10)。我们的实验证明了WAFFLE的相对有效性,因为它实现或提高了精度,收敛速度更快。
2021-12-13 cs.LG
Personalized Federated Learning using Hypernetworks
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达公司)
个性化联邦学习的任务是为多个客户端训练机器学习模型,每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型,同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题,使用超网络,称为pFedHN个性化的联邦超网络。在这种方法中,中央超网络模型被训练以生成一组模型,每个客户端一个模型。这种架构提供了跨客户端的有效参数共享,同时保持了生成独特和多样化的个人模型的能力。此外,由于超网络参数从来没有被传输,这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试,发现它优于以前的方法。最后,由于超网络在客户端之间共享信息,我们表明pFedHN可以更好地推广到新客户端,其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer
Zhejiang University(浙江大学)
本文提出FedAFK方法,通过自适应特征聚合与知识迁移平衡泛化与个性化,在Non-IID数据上提升个性化联邦学习性能,并在多数据集实验中优于13个基线。
2024-10-19 cs.AI cs.CR cs.LG
Learn What You Need in Personalized Federated Learning
Shanghai Jiao Tong University(上海交通大学);Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University(上海交通大学图像处理与模式识别研究所);Cooperative Medianet Innovation Center (CMIC), Shanghai Jiao Tong University(上海交通大学协同媒体创新中心);Shanghai AI Laboratory(上海人工智能实验室)
本文提出基于算法展开的个性化联邦学习框架 Learn2pFed,通过将各本地模型参数的协作参与程度优化为可学习参数,实现自适应定制协作方式,并在多种任务上显著超越现有方法。
2024-01-16 cs.LG
FedEmbed: Personalized Private Federated Learning
Georgia Institute of Technology(佐治亚理工学院);Apple(苹果公司)
联邦学习使得能够将机器学习部署到集中式数据汇集不切实际的问题。添加差分隐私保证了隐私的界限,同时数据被贡献给全局模型。将个性化添加到联邦学习中会带来新的挑战,因为我们必须考虑单个用户的偏好,其中数据样本可能具有冲突的标签,因为一个用户子群体可能会积极看待输入,但其他子群体可能会消极看待相同的输入。我们提出了FedEmbed,这是一种新的私有联邦学习方法,用于个性化全局模型,该模型使用(1)相似用户的子群体,以及(2)个人嵌入。我们证明了当前的联邦学习方法不足以处理具有冲突标签的数据,并且我们表明FedEmbed比个性化私人联邦学习的基线方法提高了45%。
2022-02-18 cs.LG
Practical and Secure Federated Recommendation with Personalized Masks
Hong Kong University of Science and Technology(香港科技大学);Clustar;Peking University(北京大学);Fuzhou University(福州大学)
联合推荐解决了推荐系统的数据孤岛和隐私问题。目前的联合推荐系统主要利用密码学或混淆方法来保护原始评分不被泄露。然而,前者带来了额外的通信和计算成本,后者损害了模型的准确性。这两种方法都不能同时满足推荐系统的实时反馈和精确个性化的要求。在本文中,我们提出了联邦屏蔽矩阵分解(FedMMF),以保护联邦推荐系统中的数据隐私,而不牺牲效率和效果。更详细地说,我们介绍了新的思想,个性化的面具只产生从本地数据,并将其应用在FedMMF。一方面,个性化口罩为参与者的私人数据提供了保护,而不会损失有效性。另一方面,结合自适应安全聚合协议,个性化掩码可以进一步提高效率。从理论上分析了个性化口罩的安全性。从经验上讲,我们还显示了所设计的模型在不同的现实世界的数据集上的优越性。
2022-06-20 cs.AI cs.CR cs.IR
Personalized Federated Learning with Hidden Information on Personalized Prior
Sichuan University(四川大学)
联邦学习(FL)是一种分布式机器学习技术,它利用全局服务器和协作客户端来实现隐私保护的全局模型训练,而无需直接的数据共享。然而,异构数据问题,作为FL的主要问题之一,使得它很难有效地执行每个客户端的本地数据的全局模型。因此,个性化的联邦学习(PFL用于简化)旨在尽可能地提高模型在本地数据上的性能。贝叶斯学习,其中模型的参数被视为具有先验假设的随机变量,是异构数据问题的可行解决方案,因为模型使用的局部数据越多,它就越关注局部数据,否则就关注先验。当贝叶斯学习应用于PFL时,全局模型提供全局知识作为局部训练过程之前。在本文中,我们采用贝叶斯学习模型PFL假设在缩放指数家庭的先验,因此提出pFedBreD,一个框架来解决我们使用Bregman发散正则化模型的问题。经验上,我们的实验表明,在球面高斯和一阶策略的均值选择的先验假设下,我们的建议显着优于其他PFL算法在多个公共基准。
2022-11-24 cs.AI cs.DC cs.LG
A Coalition Formation Game Approach for Personalized Federated Learning
The Hong Kong Polytechnic University(香港理工大学);Beijing Institute of Technology(北京理工大学)
面对客户端局部数据分布统计多样性的挑战,个性化联邦学习(PFL)逐渐成为研究热点。尽管基于模型相似性的成对协作方法已经取得了令人满意的性能,但它们忽略了一个事实,即模型聚合本质上是联盟内的协作过程,其中复杂的多方向影响发生在客户端之间。在本文中,我们首先应用Shapley值(SV)从联盟博弈论到PFL的情况。为了衡量一组客户之间的多方面合作对个性化学习绩效的影响,SV将他们对最终结果的边际贡献作为度量。我们提出了一种新的个性化算法:pFedSV,它可以1。确定每个客户的最佳合作者联盟; 2.基于SV进行个性化模型聚合。使用不同的非IID数据设置(病理学和Dirichlet)对各种数据集(MNIST,Fashion-MNIST和CIFAR-10)进行了广泛的实验。结果表明,与最先进的基准测试相比,pFedSV可以为每个客户端实现卓越的个性化准确性。
2022-02-08 cs.AI cs.DC cs.LG
Tensor Decomposition based Personalized Federated Learning
Tianjin University(天津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
联邦学习(Federated learning,FL)是一种新的分布式机器学习框架,能够在不收集用户隐私数据的情况下实现可靠的协作训练。然而,由于FL的频繁通信和平均聚合策略,他们在扩展到统计多样性数据和大规模模型方面遇到了挑战。在本文中,我们提出了一个个性化的FL框架,名为张量分解的个性化联邦学习(TDPFed),在其中,我们设计了一个新的张量化的局部模型与张量化的线性层和卷积层,以减少通信成本。TDPFed使用双层损失函数,通过控制个性化模型和张量化局部模型之间的间隙,将个性化模型优化与全局模型学习解耦。此外,一个有效的分布式学习策略和两个不同的模型聚合策略被很好地设计了所提出的TDPFed框架。理论收敛性分析和充分的实验表明,我们提出的TDPFed框架实现了最先进的性能,同时降低了通信成本。
2022-08-27 cs.LG
Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
Macquarie University(麦考瑞大学);Northeastern University(东北大学)
针对现有个性化联邦学习未充分处理客户端不确定性与异质性、表征解耦依赖特设方法的问题,提出含共享与个性化不确定性表征的通用贝叶斯个性化联邦学习框架及其实例BPFed,加入先验持续更新机制,并提供理论分析与实验验证。
2023-10-03 cs.LG
FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning
针对去中心化联邦学习中客户端数据异构、低连通网络下性能与通信成本问题,提出基于软聚类的个性化算法FedSPD,兼顾模型共识与客户端定制,降低通信成本,在低连通场景下性能优于同类算法。
2025-09-02 cs.LG
DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));National University of Defense Technology(国防科技大学);Dongguan University of Technology(东莞理工大学)
本文提出DA-PFL模型,通过从互补视角构建亲和力度量并设计动态聚合策略,在每轮联邦学习中动态聚合客户端,以缓解类别不平衡问题,并在三个真实数据集上显著提升各客户端准确性。
2024-03-14 cs.DC cs.LG
Dual Attention Heads for Personalized Federated Learning in ECG Classification
IEEE MWSCAS 2026
针对心电图数据异质性带来的联邦学习分类挑战,提出FedDualAtt方法,将Transformer注意力头分全局和局部分支,全局头聚合捕获共享模式,局部头适应客户端特征,实验表明该方法在心电图分类任务中表现优于现有方法。
2026-07-09 cs.LG
Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation
Xiamen University(厦门大学);Zhejiang Lab(之江实验室)
个性化联邦学习(PFL)旨在以隐私保护的方式基于所有客户端的知识为每个客户端学习个性化模型。现有的PFL方法通常假设跨所有客户端的底层全局数据是均匀分布的,而没有考虑长尾分布。FL环境中的数据异构性和长尾分布的联合问题更具挑战性,并严重影响个性化模型的性能。在本文中,我们提出了一种PFL方法称为联邦学习与对抗特征增强(FedAFA),以解决这个联合问题PFL。FedAFA通过生成平衡的特征集来增强本地少数类,从而为每个客户端优化个性化模型。局部少数类特征是通过从全局模型提取的局部多数类特征中以对抗性示例学习方式传递知识而生成的。在不同的数据异构性和长尾分布设置下的测试结果表明,与PFL算法相比,FedAFA算法显著提高了每个客户端的个性化性能.该代码可在https://github.com/pxqian/FedAFA上获得。
2023-03-27 cs.LG
Achieving Personalized Federated Learning with Sparse Local Models
South China University of Technology(华南理工大学);Eindhoven University of Technology(埃因霍温理工大学);JD Explore Academy(京东探索研究院)
联邦学习(FL)容易受到异构分布数据的影响,因为FL中的通用全局模型可能无法适应每个用户的异构数据分布。为了解决这个问题,个性化FL(PFL)被提出来为每个单独的用户生成专用的本地模型。然而,PFL还远未成熟,因为现有的PFL解决方案要么对不同的模型架构表现出不令人满意的泛化能力,要么需要大量的额外计算和内存。在这项工作中,我们提出了联邦学习与个性化的稀疏掩码(FedSpa),一种新的PFL计划,采用个性化的稀疏掩码定制稀疏的局部模型的边缘。FedSpa不是训练完整的(或密集的)PFL模型,而是在整个训练过程中只保持固定数量的活动参数(也称为稀疏到稀疏训练),这使得用户的模型能够以廉价的通信,计算和内存成本实现个性化。我们从理论上证明了由FedSpa得到的迭代以$\mathcal{O}(\frac{1}{\sqrt{T}})$的速度收敛到SPFL问题的局部极小值。综合实验表明,FedSpa显着节省通信和计算成本,同时实现更高的模型精度和更快的收敛速度比几个国家的最先进的PFL方法。
2022-01-27 cs.AI cs.DC cs.LG
Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院)
本文提出适用于多种个性化联邦学习目标的通用优化器(Local SGD变体及加速坐标下降/加速SVRCD变体),建立统一优化理论,恢复已知最优通信与计算保证,使任务专用优化器设计在许多场景下不再必要。
2023-05-26 cs.LG
Energy-Aware Edge Association for Cluster-based Personalized Federated Learning
Beijing University of Posts and Telecommunications(北京邮电大学);China Academy of Information and Communications Technology(中国信息通信研究院)
无线网络上的联邦学习(FL)通过利用网络边缘的泛在智能进行隐私保护模型训练来实现数据感知服务。随着上下文感知服务的普及,个性化偏好的多样化导致用户数据之间的条件分布不一致,从而导致推理性能下降。从这个意义上说,提出了集群式联邦学习来对具有相似偏好的用户设备进行分组,并为每个集群提供个性化模型。这就需要在边缘关联中进行创新设计,包括用户聚类和资源管理优化。通过综合考虑模型精度、通信资源分配和能量消耗,提出了一个精度-成本权衡优化问题。为了符合FL中的参数加密技术,我们提出了一种迭代求解过程,该过程在云服务器处采用基于深度强化学习的方法进行边缘关联。奖励函数包括在每个基站的能量消耗最小化和所有用户的平均模型精度。在我们提出的解决方案下,多个边缘基站被充分利用,以实现具有成本效益的个性化联邦学习,而无需任何先验知识的模型参数。仿真结果表明,我们提出的策略优于现有的策略,在实现准确的学习,低能耗成本。
2022-02-06 cs.AI cs.LG cs.NI
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习(FL)的目标是训练模型,使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而,大多数个性化FL的工作都假设在所有客户端使用相同的模型架构,并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中,客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中,我们提出了一个个性化的FL框架,PerFed-CKT,客户端可以使用异构的模型架构,不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏,其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性,并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比,通信成本降低了几个数量级,实现了高测试精度。
2021-09-16 cs.LG
Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
University of California Irvine(加州大学欧文分校)
针对动态非平稳环境下预训练模型难以适应流式数据实时预测的问题,本文提出一种结合本地微调模型与服务器多轮联邦模型的个性化联邦学习算法,理论与实验均验证了其在实时预测和联邦微调上的有效性。
2024-10-28 cs.LG
Personalized Federated Learning with Multiple Known Clusters
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们考虑的个性化联邦学习的问题时,有已知的用户内的集群结构。一种直观的方法是正则化参数,以便同一集群中的用户共享类似的模型权重。然后可以将聚类之间的距离正则化以反映不同用户聚类之间的相似性。我们开发了一种算法,允许每个集群独立通信,并得出收敛结果。我们研究了一个分层线性模型,从理论上证明我们的方法优于独立学习的代理和学习单个共享权重的代理。最后,我们使用模拟和真实世界的数据证明了我们的方法的优势。
2022-04-28 cs.LG
New Metrics to Evaluate the Performance and Fairness of Personalized Federated Learning
Purdue University(普渡大学)
在联邦学习(FL)中,客户端通过中央聚合器学习单个全局模型(FedAvg)。在这种设置中,跨客户端的数据的非IID分布限制了全局FL模型对每个客户端的本地数据提供良好的性能。个性化FL旨在通过为每个客户找到个性化模型来解决这个问题。最近的工作广泛报告了数据集的特定数据分割的平均个性化模型准确性,以评估其方法的有效性。然而,考虑到众多的个性化方法,它是至关重要的,以研究每个用户的个性化准确性和准确性的改善用户之间的公平的公平的概念。为了解决这些问题,我们提出了一套性能和公平性指标,旨在评估个性化FL方法的质量。我们将这些指标应用于最近提出的四种个性化FL方法,CIFAR-10数据集的三个不同数据分割上的PRFL,FedPer,pFedMe和Per-FedAvg。我们的评估表明,在用户中平均准确度最高的个性化模型可能不一定是最公平的。我们的代码可在https://tinyurl.com/1hp9ywfa上获得,供公众使用。
2021-07-28 cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University(宾夕法尼亚州立大学);NEC Laboratories America(美国NEC实验室);Florida International University(佛罗里达国际大学);AWS AI Labs, Amazon(亚马逊AWS人工智能实验室)
个性化联邦学习(PFL)是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行,它已被观察到,现有的PFL方法导致次优的解决方案时,当地客户端之间的联合分布发散。为了解决这个问题,我们提出了联邦模块化网络(FedMN),一种新的PFL方法,自适应地从模块池中选择子模块,为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布,并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担,我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验,在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
Personalized Federated Learning via Variational Bayesian Inference
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室)
由于客户缺乏数据和统计多样性,联邦学习面临着模型过拟合的巨大挑战。为了解决这些问题,提出了一种基于贝叶斯变分推理的个性化联邦学习方法pFedBayes。为了减轻过拟合,权重不确定性被引入到神经网络的客户端和服务器。为了实现个性化,每个客户端通过平衡其在私有数据上的构造误差以及其KL发散与来自服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上界,并证明了该算法的泛化误差的收敛速度是极大极小最优的。实验表明,该方法在个性化模型上优于其他先进的个性化方法,例如,在非独立同分布情况下,pFedBayes算法在MNIST、FMNIST和CIFAR-10上的性能分别比其他SOTA算法高1.25%、0.42%和11.71%。有限的数据。
2022-06-16 cs.LG
Data-Driven Laplacian-Constrained Personalized Federated Learning
Division of Decision and Control Systems KTH Royal Institute of Technology(决策与控制系统系 瑞典皇家理工学院)
针对联邦学习中的客户端统计异质性,提出 KARULA 正则化个性化方法,利用适配联邦场景的 1-Wasserstein 距离代理量约束模型相异性,并给出收敛的非精确投影随机梯度算法。
2026-10-28 cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
在现实世界的联邦学习场景中,由于使用不同的标签排列或处理完全不同的任务或域,参与者可能拥有自己的个性化标签,这些标签与其他客户端的标签不兼容。然而,大多数现有的FL方法不能有效地解决这种极端异构的情况下,因为他们经常假设(1)所有参与者使用一组同步的标签,(2)他们训练相同的任务,从同一个域。在这项工作中,为了应对这些挑战,我们引入了Factorized-FL,它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置,其中一个向量捕获不同标签和任务之间的公共知识,另一个向量捕获每个本地模型处理的特定于任务的知识。此外,基于客户端特定向量空间中的距离,Factorized-FL执行选择性聚合方案,以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法,在这些设置上,它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
FlatLand: Personalized Graph Federated Learning via Tailored Lorentz Space
The Chinese University of Hong Kong(香港中文大学);Yale University(耶鲁大学);Huawei Technologies Co., Ltd.(华为技术有限公司);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
该研究针对图联邦学习中客户端图结构异质性问题,提出FlatLand方法,通过定制洛伦兹空间与参数解耦策略实现个性化联邦学习,在低维设置下表现更优。
2026-08-24 cs.LG
Fusion of Global and Local Knowledge for Personalized Federated Learning
Georgia Institute of Technology(佐治亚理工学院);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学);South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室)
个性化联邦学习作为联邦学习的一种变体,使用客户端异构分布的数据为客户端训练定制模型。然而,如何设计出更好地表示共享全局知识和个性化模式的个性化模型,目前还没有定论。为了弥补这一差距,本文探讨了具有低秩和稀疏分解的个性化模型。具体地说,我们采用适当的正则化提取一个低秩的全球知识表示(GKR),从而提取全球知识到一个紧凑的表示。随后,我们采用了稀疏组件在获得的GKR融合到全球知识的个性化模式。作为一种解决方案,我们提出了一个两阶段的基于邻近的算法命名为\textbf{Fed} erated学习与混合\textbf{S}解析和\textbf{L}低- \textbf{R}银行表示(FedSLR),以有效地搜索混合模型。理论上,在适当的假设下,我们证明了FedSLR训练的GKR至少可以亚线性地收敛到正则化问题的一个稳定点,并且在适当的设置下,被融合的稀疏分量可以收敛到其稳定点。大量的实验也证明了FedSLR优越的经验性能。此外,FedSLR减少了参数的数量,并降低了下行链路通信复杂性,这都是联邦学习算法所期望的。源代码在\url{https://github.com/huangtiansheng/fedslr}中提供。
2023-02-21 cs.LG
PPFL: A Personalized Federated Learning Framework for Heterogeneous Population
School of Management, Xi’an Jiaotong University(西安交通大学管理学院);W.P. Carey School of Business, Arizona State University(亚利桑那州立大学W.P. Carey商学院)
本文提出PPFL,一种基于规范模型和成员向量的个性化联邦学习框架,以隐私保护方式刻画异质性人群偏好,并设计随机块坐标下降算法求解,实验验证其有效性。
2025-08-05 cs.LG
PeFLL: Personalized Federated Learning by Learning to Learn
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本研究提出个性化联邦学习算法PeFLL,通过联合训练嵌入网络与超网络的学会学习方法,提升模型精度、降低通信与端侧计算量并具备泛化理论保证,在多个基准上达到最优性能。
2025-01-16 cs.LG
Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework
Sun Yat-sen University(中山大学)
物联网(IoT)已经广泛渗透到现代生活的各个方面,许多智能物联网服务和应用正在涌现。最近,联邦学习被提出来通过利用物联网设备上的大量用户生成的数据样本来训练全球共享模型,同时防止数据泄漏。然而,复杂物联网环境中固有的设备、统计和模型异构性对传统联邦学习提出了巨大挑战,使其不适合直接部署。在本文中,我们提倡在智能物联网应用的云边缘架构中使用个性化的联邦学习框架。为了应对物联网环境中的异构性问题,我们研究了新兴的个性化联邦学习方法,这些方法能够在不同方面减轻异构性造成的负面影响。借助边缘计算的强大功能,还可以实现智能物联网应用中对快速处理能力和低延迟的要求。最后,我们提供了一个基于物联网的人类活动识别的案例研究,以证明个性化联邦学习对智能物联网应用的有效性。
2020-05-02 cs.DC cs.LG cs.NI
Personalized Federated Learning With Graph
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);University of Washington(华盛顿大学);University of Maryland, College Park(马里兰大学帕克分校)
知识共享和模型个性化是个性化联邦学习(PFL)概念框架中的两个关键组成部分。现有的PFL方法集中在提出新的模型个性化机制,而简单地实现知识共享的聚合模型从所有的客户端,无论他们的关系图。本文旨在通过利用客户之间基于图的结构化信息来增强PFL中的知识共享过程。我们提出了一种新的结构化联邦学习(SFL)框架,使用客户端关系图和客户端的私有数据同时学习全局和个性化模型。我们将带图的SFL转化为一种新的优化问题,可以通过统一的框架来建模客户端复杂关系和基于图的结构拓扑。此外,除了使用现有的关系图,SFL可以扩展到学习客户端之间的隐藏关系。在交通和图像基准数据集上的实验证明了该方法的有效性。所有实现代码都可以在Github上找到
2022-04-30 cs.LG
DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training
University of Science and Technology of China(中国科学技术大学);JD Explore Academy(京东探索研究院);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Institute of Artificial Intelligence(人工智能研究院)
个性化的联邦学习被提出来处理客户端之间的数据异构性问题,通过学习专门定制的本地模型为每个用户。然而,现有的作品往往是内置的一个集中的方式,导致高通信压力和高脆弱性时,发生故障或攻击的中央服务器。在这项工作中,我们提出了一种新的个性化的联邦学习框架中的分散(对等)通信协议命名为Dis-PFL,采用个性化的稀疏掩模定制稀疏局部模型的边缘。为了进一步节省通信和计算成本,我们提出了一种分散的稀疏训练技术,这意味着在整个局部训练和对等通信过程中,Dis-PFL中的每个局部模型仅保持固定数量的活动参数。综合实验结果表明,该算法有效地解决了所有客户端中最繁忙节点的通信瓶颈问题,同时以更少的计算开销和通信次数获得了更高的模型精度。此外,我们证明了我们的方法可以很容易地适应不同的计算复杂度的异构本地客户端,并实现更好的个性化性能。
2022-06-01 cs.LG
FedMCSA: Personalized Federated Learning via Model Components Self-Attention
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)促进多个客户端联合训练机器学习模型,而无需共享其私有数据。然而,客户端的非IID数据对FL提出了严峻的挑战。现有的个性化FL方法严重依赖于将一个完整的模型作为基本单元的默认处理,而忽略了不同层对客户端非IID数据的重要性。在这项工作中,我们提出了一个新的框架,联邦模型组件自注意力(FedMCSA),处理非IID数据在FL,它采用模型组件自注意力机制,粒度促进不同客户端之间的合作。该机制促进了相似模型组件之间的协作,同时减少了具有较大差异的模型组件之间的干扰。我们进行了广泛的实验,以证明FedMCSA优于以前的方法在四个基准数据集。此外,我们实证表明,该模型组件的自注意力机制,这是现有的个性化外语的补充,可以显着提高外语的性能的有效性。
2022-08-23 cs.LG
FedSPC: Shared Parameter Correction for Personalized Federated Learning
DENSO AUTOMOTIVE Deutschland GmbH(电装汽车德国有限公司);DENSO International America, Inc.(电装国际美国公司);Technical University of Munich(慕尼黑工业大学)
针对个性化联邦学习中共享参数因客户端局部目标不一致而更新冲突的问题,提出模块化校正方法FedSPC,仅对共享参数应用控制变量校正,在多种PFL设置下提升性能。
2026-06-15 cs.LG
Find Your Friends: Personalized Federated Learning with the Right Collaborators
Layer 6 AI;Carleton University(卡尔顿大学)
在传统的联邦学习设置中,中央服务器协调客户端网络来训练一个全局模型。然而,由于数据异构性,全局模型可能无法很好地服务于许多客户端。此外,可能不存在可以协调客户端以确保它们中的每一个可以从其他客户端受益的可信中心方。为了解决这些问题,我们提出了一个新的去中心化框架FedeRiCo,每个客户端可以从其他客户端学习尽可能多或尽可能少的本地数据分布。基于期望最大化,FedeRiCo估计其他参与者的模型对每个客户数据的效用,以便每个人都可以选择正确的合作者进行学习。因此,我们的算法在几个基准数据集上的性能优于其他联合、个性化和/或分散的方法,是唯一一种始终优于仅使用本地数据进行训练的方法。
2022-10-14 cs.LG
Heterogeneity-Aware Personalized Federated Learning for Industrial Predictive Analytics
Edward P. Fitts Department of Industrial and Systems Engineering, North Carolina State University(爱德华·P·菲茨斯工业与系统工程系,北卡罗来纳州立大学)
本文提出一种面向工业预测分析的异质感知个性化联邦学习模型,通过迭代促进具有相似退化模式的客户端间的协作,提升个性化联邦学习性能,同时实现模型个性化、数据隐私保护和全面故障时间分布提供。
2026-04-21 cs.LG stat.ML
Flow: Per-Instance Personalized Federated Learning Through Dynamic Routing
Adobe Research(奥多比研究院)
本文提出Flow,一种细粒度无状态个性化联邦学习方法,通过动态路由机制为每个输入实例选择本地或全局参数,提升预测准确率并适用于大规模场景。
2024-02-10 cs.LG
Lower Bounds and Optimal Algorithms for Personalized Federated Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
在这项工作中,我们考虑了Hanzely和Richtárik(2020)最近引入的个性化联邦学习的优化公式,该公式被证明可以对本地{ \tt SGD}方法的工作原理给出另一种解释。我们的第一个贡献是建立第一个下界,这个配方,为通信复杂性和本地预言复杂性。我们的第二个贡献是几个最佳的方法匹配这些下限在几乎所有的制度的设计。这些是第一个可证明的个性化联邦学习的最佳方法。我们的优化方法包括{ \tt FedProx}的加速变体和{ \tt FedAvg}/Local { \tt SGD}的加速方差缩减版本。我们通过大量的数值实验证明了我们的方法的实际优势。
2020-10-05 cs.DC cs.LG math.OC
Decentralized Personalized Federated Learning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
本文提出DPFL方法,通过双层优化和约束贪心算法构建细粒度协作图,在去中心化联邦学习中兼顾个性化建模与通信资源效率,并通过多数据集实验验证其优越性。
2024-06-10 cs.AI cs.CV cs.LG
FedGrAINS: Personalized SubGraph Federated Learning with Adaptive Neighbor Sampling
University of Southern California(南加州大学);Emory University(埃默里大学);University of Birmingham(伯明翰大学)
本文提出FedGrAINS,一种基于生成流网络的自适应邻居采样正则化方法,用于解决个性化子图联邦学习中的客户端异质性挑战,实验证明其能持续提升联邦学习性能。
2025-01-23 cs.AI cs.DC cs.IR
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Michigan State University (MSU)(密歇根州立大学)
针对联邦学习中极端数据异质性导致的收敛障碍,提出FedPeWS方法,通过预热阶段让参与者学习个性化掩码并更新子网络,再切换至标准联邦优化,提升了准确率和收敛速度。
2025-04-16 cs.DC cs.LG
Differential Privacy Personalized Federated Learning Based on Dynamically Sparsified Client Updates
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);No.208 Research Institute of China Ordnance Industries(中国兵器工业第二〇八研究所)
针对差分隐私个性化联邦学习中个性化不足及隐私与性能平衡欠佳的问题,提出DP-pFedDSU方法,通过重参数化和自适应范数动态稀疏化客户端更新,有效减少噪声并提升模型性能。
2025-04-27 cs.CR cs.LG