Personalized Privacy-Preserving Framework for Cross-Silo Federated Learning
VinUniversity(VinUniversity(文大学))
联邦学习(FL)最近作为一种有前途的去中心化深度学习(DL)框架而蓬勃发展,该框架使基于DL的方法能够在客户端之间进行协作训练,而无需共享私有数据。然而,在中心方主动和不诚实的情况下,个人客户的数据可能会被完美重构,导致敏感信息泄露的可能性很大。此外,FL还受到客户端之间的非独立同分布(non-IID)数据的影响,导致对本地客户端数据的推理性能下降。在本文中,我们提出了一个新的框架,即个性化的隐私保护联邦学习(PPPFL),集中在跨筒仓FL克服这些挑战。具体来说,我们引入了模型不可知元学习(MAML)算法的稳定变体,以协同训练由差分私有生成对抗网络(DP-GANs)生成的客户端合成数据的全局初始化。在达到收敛之后,全局初始化将由客户端本地适配到其私有数据。通过大量的实验,我们实证表明,我们提出的框架在不同的数据集上优于多个FL基线,包括MNIST,Fashion-MNIST,CIFAR-10和CIFAR-100。
2023-02-22 cs.LG
Cross-Silo Prototypical Calibration for Federated Learning with Non-IID Data
Shandong University(山东大学);Shandong Research Institute of Industrial Technology(山东产业技术研究院);Beijing Institute of Technology(北京理工大学)
本文提出跨孤岛原型校准方法FedCSPC,通过数据原型建模和增强对比学习在服务器端学习统一特征空间,缓解非独立同分布数据下的数据集偏差,在四个数据集上验证了其优于现有方法的性能。
2023-08-07 cs.CV cs.LG
Cross-silo Federated Learning with Record-level Personalized Differential Privacy
Renmin University of China(中国人民大学);Zhejiang University(浙江大学);Emory University(埃默里大学)
本文针对跨孤岛联邦学习提出 rPDP-FL 框架,通过客户端级均匀采样与记录级非均匀采样实现记录级个性化差分隐私,并利用 Simulation-CurveFitting 建模采样概率与隐私预算的非线性关系,显著提升模型性能。
2024-06-29 cs.AI cs.CR cs.LG
Personalized Federated Learning over non-IID Data for Indoor Localization
Northeastern University(东北大学);Hanyang University(汉阳大学)
由于无线信道传播模型的物理特性的复杂性,使用数据驱动的方法定位和跟踪对象是一个热门话题。在这些建模方法中,需要收集数据以准确地训练模型,同时维护用户的隐私。联邦学习(FL)是一种以合作方式实现这些目标的有吸引力的方案。FL方案中的一个挑战是存在非独立和同分布(非IID)数据,这是由不同区域的不均匀探索造成的。在本文中,我们考虑使用最近FL计划训练一组个性化的模型,然后通过贝叶斯规则,这使得它适合在室内定位的背景下,最佳融合。
2021-07-21 cs.LG eess.SP
Clust-PSI-PFL: A Population Stability Index Approach for Clustered Non-IID Personalized Federated Learning
Department of Computer, Control;Management Engineering Sapienza University of Rome Rome, Italy;Telef\'onica Research Barcelona, Spain;Keysight AI Labs Barcelona, Spain
Clust-PSI-PFL通过群体稳定性指数实现集群非IID个性化联邦学习,提升全局准确率和客户端公平性。
2026-02-20 cs.AI cs.DC cs.LG
FedSLIM: Privacy-Preserving Federated MDL-Based Descriptive Pattern Mining Across Data Silos
Arab Academy for Science, Technology and Maritime Transport(阿拉伯科学、技术与海事运输学院);Leiden University(莱顿大学);Leiden University Medical Center(莱顿大学医学中心)
研究针对联邦描述性分析未被充分探索的问题,提出基于联邦MDL的FedSLIM框架及两种互补变体,通过引入相关指标评估联邦MDL挖掘,实验表明其能保持高质量压缩结构,减少搜索量,还能恢复全局信息模式,为隐私保护描述性分析奠定基础。
2026-07-28 cs.AI cs.LG stat.ML
PSI-PFL: Population Stability Index for Client Selection in non-IID Personalized Federated Learning
Sapienza University of Rome(萨皮恩扎罗马大学);Telefonica(电信公司)
针对非独立同分布数据导致的联邦学习性能下降问题,提出PSI-PFL框架,利用人口稳定性指数选择同质客户端以缓解数据异构性,在多种模态上显著提升全局准确率并超越基线10%。
2025-05-31 cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory(阿贡国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);VMWare Research(威睿研究院);The University of Chicago(芝加哥大学)
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题,提出带算力感知调度器的半异步算法FedCompass,兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh(孟加拉国美国国际大学);North South University(北南大学)
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法,比较APPLE+DP与APPLE+HE算法,发现前者执行效率高,后者整体表现更优,为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
Personalized Interpretation on Federated Learning: A Virtual Concepts approach
University of Technology Sydney(悉尼科技大学)
本文提出一种虚拟概念方法,将联邦学习中客户端的非IID数据解释为可学习或可预定义的概念向量混合,从而在提升个性化解释性的同时增强训练鲁棒性,并在基准数据集上验证了有效性。
2024-06-28 cs.DC cs.LG
PLayer-FL: A Principled Approach to Personalized Layer-wise Cross-Silo Federated Learning
研究非IID数据联邦学习中客户端性能问题,提出PLayer-FL方法,通过系统分析分层泛化动态,计算联邦敏感性度量选择最佳分割点,在多任务中性能具竞争力,能更公平分配收益并减少客户端回归。
2026-07-21 cs.LG
FedOrbit: Adaptive Personalized Federated Learning for Non-IID LEO Satellite Constellations
FedOrbit针对LEO卫星星座的Non-IID数据问题,结合多类技术提升联邦学习性能,在遥感基准上较基线有显著准确率提升且误差小。
2026-08-11 cs.LG
Personalized Federated Learning with Clustering: Non-IID Heart Rate Variability Data Application
College of Computing and Informatics, Sungkyunkwan University(成均馆大学计算与信息学院);Bio-Medical IT Convergence Research Division, Electronics and Telecommunications Research Institute(电子通信研究院生物医学IT融合研究部);Samsung Medical Center(三星医疗中心)
虽然机器学习技术因其在大型数据集中发现复杂关系的卓越能力而被应用于各个领域,但对数据所有权和隐私的监管加强导致其应用于医疗数据的难度越来越大。鉴于此,最近提出了联邦学习作为在不违反机密性的情况下对私人数据进行训练的解决方案。这种隐私保护在医疗保健领域特别有吸引力,因为患者数据是高度机密的。然而,许多研究表明,它的假设独立和同分布的数据是不现实的医疗数据。在本文中,我们提出了个性化的联邦聚类模型,一个层次聚类为基础的FL过程,预测严重抑郁症的严重程度,从心率变异性。通过允许客户端接收更个性化的模型,我们解决了由非IID数据引起的问题,显示出严重性预测的准确性增加。性能的这种提高可能足以在许多现有的联邦学习方案中使用个性化联合集群模型。
2021-08-11 cs.AI cs.LG
FedPBS: Proximal-Balanced Scaling Federated Learning Model for Robust Personalized Training for Non-IID Data
Computer Science Department, Faculty of Science, Menoufia University(数学与计算机科学系,孟菲亚大学);Computer Science Department, Faculty of Computers and Information, Menoufia University(计算机科学系,计算机与信息学院,孟菲亚大学)
FedPBS结合FedBS和FedProx的优点,动态调整批量大小并应用近端校正,提升非IID数据下的收敛性和模型质量。
2026-03-24 cs.AI cs.DC cs.LG
FedPrism: Adaptive Personalized Federated Learning under Non-IID Data
IISER Bhopal(印度比哈尔州IISER布帕尔)
FedPrism通过Prism分解和双流设计,在非独立同分布数据下实现适应性个性化联邦学习,提升模型准确率与泛化能力。
2026-03-10 cs.LG
Bold but Cautious: Unlocking the Potential of Personalized Federated Learning through Cautiously Aggressive Collaboration
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Zhengzhou University(郑州大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出个性化联邦学习协作新准则和FedCAC方法,通过定量评估参数对非IID数据的敏感性并谨慎选择协作者,允许客户端共享更多参数,从而在多样化数据分布场景下取得优于现有方法的性能。
2023-09-20 cs.LG
FedMCSA: Personalized Federated Learning via Model Components Self-Attention
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)促进多个客户端联合训练机器学习模型,而无需共享其私有数据。然而,客户端的非IID数据对FL提出了严峻的挑战。现有的个性化FL方法严重依赖于将一个完整的模型作为基本单元的默认处理,而忽略了不同层对客户端非IID数据的重要性。在这项工作中,我们提出了一个新的框架,联邦模型组件自注意力(FedMCSA),处理非IID数据在FL,它采用模型组件自注意力机制,粒度促进不同客户端之间的合作。该机制促进了相似模型组件之间的协作,同时减少了具有较大差异的模型组件之间的干扰。我们进行了广泛的实验,以证明FedMCSA优于以前的方法在四个基准数据集。此外,我们实证表明,该模型组件的自注意力机制,这是现有的个性化外语的补充,可以显着提高外语的性能的有效性。
2022-08-23 cs.LG
FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution
University of California San Diego(加州大学圣地亚哥分校)
经典的联邦学习方法在参与者的非IID数据分布的情况下会产生显著的性能下降。当每个局部数据集的分布与全局数据集的分布差异很大时,每个客户端的局部目标将与全局最优值不一致,从而导致局部更新的漂移。这种现象严重影响了客户的业绩。而客户参与联邦学习的主要动机是获得更好的个性化模型。为了解决上述问题,我们提出了一种新的算法,FLIS,它组的客户端人口在集群中的联合训练的数据分布,利用客户端的模型的推理相似性。该框架捕获了不同用户组有自己的目标(学习任务)的设置,但通过将他们的数据与同一集群中的其他用户(相同的学习任务)聚合,以执行更有效和个性化的联邦学习。我们目前的实验结果表明,FLIS的好处超过了最先进的基准CIFAR-100/10,SVHN和FMNIST数据集。我们的代码可在https://github.com/MMorafah/FLIS上获得。
2022-08-20 cs.DC cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University(宾夕法尼亚州立大学);National University of Singapore(新加坡国立大学);Sony AI(索尼人工智能);North Carolina State University(北卡罗来纳州立大学)
本文提出pFedHR框架,通过异构模型重组将个性化建模为服务器端模型匹配优化问题,自动生成多样化候选模型,在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
Personalized Additive Modeling for Multi-level Federated Learning
University of Technology Sydney(悉尼科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出FeMAM,通过多级共享模型和加法组合构建个性化预测器,有效处理复杂非独立同分布数据,优于传统联邦学习基线。
2026-06-24 cs.LG
Optimizing the Collaboration Structure in Cross-Silo Federated Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对联邦学习中存在的负迁移问题,提出新型框架FedCollab,通过按分布距离和数据量划分客户端联盟来优化协作结构,在多种设置下均能有效缓解负迁移且性能优于现有聚类式联邦学习算法。
2023-06-10 cs.LG
Personalized Federated Learning with Attention-based Client Selection
University of Virginia(弗吉尼亚大学)
提出FedACS算法,利用注意力机制选择相似数据分布的客户端,缓解非独立同分布和数据稀缺问题,提升个性化联邦学习性能。
2023-12-23 cs.IT cs.LG eess.SP
FedCoSR: Personalized Federated Learning with Contrastive Shareable Representations for Label Heterogeneity in Non-IID Data
Department of Data Science and AI, Faculty of IT and Monash Energy Institute, Monash University(数据科学与人工智能系,IT学院和莫纳什能源研究所,莫纳什大学);School of Computer Science and Technology, University of Electronic Science and Technology of China (UESTC), Chengdu, and Shenzhen Institute for Advanced Study of UESTC, Shenzhen, China(计算机科学与技术学院,电子科技大学(UESTC)成都校区,以及UESTC深圳高级研究所,深圳,中国)
针对非独立同分布数据中标签偏斜与数据稀缺导致的不准确和不公平问题,提出个性化联邦学习算法FedCoSR,通过全局聚合浅层参数与本地表示、结合对比学习及自适应本地聚合,有效提升了准确性与公平性。
2025-09-17 cs.AI cs.LG
Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer
Zhejiang University(浙江大学)
本文提出FedAFK方法,通过自适应特征聚合与知识迁移平衡泛化与个性化,在Non-IID数据上提升个性化联邦学习性能,并在多数据集实验中优于13个基线。
2024-10-19 cs.AI cs.CR cs.LG
On the Convergence of Clustered Federated Learning
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);University of Washington, Seattle(西雅图华盛顿大学);University of Maryland, College Park(马里兰大学帕克分校)
知识共享和模型个性化是解决联邦学习(FL)中非IID挑战的重要组成部分。大多数现有的FL方法集中在两个极端:1)学习一个共享的模型,以服务于所有客户端的非IID数据,和2)学习个性化的模型,为每个客户端,即个性化FL。有一个折衷的解决方案,即集群FL或集群明智的个性化FL,其目的是集群相似的客户端到一个集群,然后学习一个共享的模型为集群内的所有客户端。本文将重新审视聚类FL的研究,将其制定成一个双层优化框架,可以统一现有的方法。我们提出了一个新的理论分析框架来证明收敛考虑客户端之间的集群性。此外,我们体现了这一框架的算法,名为加权联合联邦学习(WeCFL)。实证分析验证了理论结果,并证明了在提出的集群非IID设置下提出的WeCFL的有效性。
2022-06-07 cs.LG
FedHiP: Heterogeneity-Invariant Personalized Federated Learning Through Closed-Form Solutions
PKU, China(北京大学);CSU, China(中国科技大学);HKU, China(香港大学);SCUT, China(华南理工大学);UMBC, USA(伯克利大学)
针对PFL中数据异质性导致梯度更新敏感的问题,提出基于闭式解的FedHiP方案,实现异质性不变的个人化模型,在基准上准确率提升5.79%-20.97%。
2025-08-06 cs.LG
FedABC: Targeting Fair Competition in Personalized Federated Learning
JD Explore Academy(京东探索研究院)
联邦学习的目标是协作训练模型,而无需访问客户的本地私有数据。对于不同的客户端,数据可能是非IID的,从而导致性能低下。最近,个性化联邦学习(PFL)通过在局部优化中强制正则化或改进服务器上的模型聚合方案,在处理非IID数据方面取得了巨大成功。然而,大多数的PFL方法没有考虑到不公平的竞争问题所造成的不平衡的数据分布和缺乏积极的样本,在每个客户端的某些类。为了解决这个问题,我们提出了一个新的和通用的PFL框架,称为联邦平均通过二进制分类,称为FedABC。特别是,我们在每个客户端采用“one-vs-all”的训练策略,通过为每个类构建个性化的二进制分类问题来减轻类间的不公平竞争。这可能会加剧类不平衡的挑战,因此设计了一种新的个性化的二进制分类损失,结合了欠采样和硬样本挖掘策略。在两个流行的数据集上进行了大量的实验,结果表明,我们的FedABC可以显着优于现有的同行。
2023-02-15 cs.CR cs.LG
Personalized Federated Dictionary Learning for Modeling Heterogeneity in Multi-site fMRI Data
Tulane Center for Biomedical Informatics and Genomics(Tulane生物医学信息学与基因组学中心);School of Medicine, Tulane University(Tulane大学医学院);State University of New York at Oswego(纽约州立大学奥尔巴尼分校)
针对多站点fMRI数据隐私与异质性挑战,提出个性化联邦字典学习框架PFedDL,通过分解共享与个性化字典实现协作建模,在ABIDE数据集上优于现有方法。
2025-09-25 cs.AI cs.LG
Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data
Zhejiang University(浙江大学);Midea Group(美的集团);Fuzhou University(福州大学)
本文提出FedU2框架,通过灵活的均匀正则化器(FUR)避免局部表示坍缩,并利用高效的统一聚合器(EUA)约束客户端模型更新以促进统一表示,有效解决了非独立同分布数据下联邦无监督学习的表示不足问题。
2024-03-25 cs.AI cs.LG
The Diversity Bonus: Learning from Dissimilar Distributed Clients in Personalized Federated Learning
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校金德尔管理学院);Department of Statistics, The University of Chicago(芝加哥大学统计系);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系)
本文提出DiversiFed方法,通过推离不同分布客户端模型、拉近相似分布模型,使个性化联邦学习能从分布不同的客户端获益,实验优于现有方法。
2024-07-22 cs.DC cs.LG
QFedAgent: Quantum-Enhanced Personalized Federated Learning for Multi-Agent Activity Recognition
Department of Electrical and Computer Engineering(电气与计算机工程系);FAMU-FSU College of Engineering, Florida State University(佛罗里达州立大学工程学院)
提出QFedAgent混合量子-经典个性化联邦学习框架,通过变分量子电路融合模块减少参数开销,在非独立同分布多模态数据上实现97.7%准确率。
2026-07-03 cs.AI cs.LG
UA-PDFL: A Personalized Approach for Decentralized Federated Learning
School of Artificial Intelligence and Computer Science, Jiangnan University(江南大学人工智能与计算机学院);Jiangsu Key University Laboratory of Software and Media Technology under Human-Computer Cooperation (Jiangnan University)(江南大学江苏省人机协同软件与媒体技术重点实验室)
针对去中心化联邦学习中的非独立同分布数据挑战,提出UA-PDFL框架,利用单元表示自适应调整个性化层程度,并结合客户端级丢弃和层级个性化,实验验证其有效性。
2024-12-16 cs.AI cs.LG
FedBiCross: Personalized One-Shot Federated Learning on Medical Images
School of Computer Science and Engineering, Northwestern Polytechnical University, China(西北工业大学计算机科学与工程学院);School of Science and Technology, Hong Kong Metropolitan University, Hong Kong(香港 Metropolitan 大学科学与技术学院);Department of Computer Science, Hong Kong Baptist University, Hong Kong(香港 Baptist 大学计算机科学系)
提出FedBiCross框架,通过聚类、双层跨簇优化和个性化蒸馏解决非独立同分布数据下一次性联邦学习中知识蒸馏效果差的问题,在四个医学图像数据集上优于现有方法。
2026-06-12 cs.LG
SCEI: A Smart-Contract Driven Edge Intelligence Framework for IoT Systems
Deakin University(迪肯大学);Jilin University(吉林大学);Changchun University of Technology(长春工业大学);Macquarie University(麦考瑞大学);Qilu University of Technology(齐鲁工业大学);Shandong Computer Science Center(山东计算机科学中心);Facebook(脸书)
本文提出SCEI框架,结合区块链智能合约与联邦学习,通过动态优化个性化模型权重,解决非iid数据偏移和设备信任问题,实验证明其准确率和收敛速度优于传统方法。
2023-07-05 cs.DC cs.LG
APFL: Analytic Personalized Federated Learning via Dual-Stream Least Squares
针对个性化联邦学习中的非独立同分布数据问题,提出基于双流最小二乘的解析个性化联邦学习方法,通过共享主流和专用细化流实现全局泛化与本地个性化,具备异构不变性且准确率提升1.10%-15.45%。
2025-08-14 cs.AI cs.LG
DistFL: Distribution-aware Federated Learning for Mobile Scenarios
Peking University(北京大学);Microsoft Research(微软研究院)
联邦学习(FL)已经成为移动客户端去中心化和隐私保护机器学习的有效解决方案。传统的FL算法在证明其优越性的同时,忽略了移动场景中广泛存在的非独立同分布(non-iid,independently identical distributed)情况。如果不处理非iid情况,可能会导致性能下降和可能的攻击等问题。以前的研究直接关注“症状”,因为他们试图通过在传统FL模型中添加额外的步骤来提高准确性或检测可能的攻击。然而,以前的技术忽略了“症状”的根本原因:盲目聚集模型与非iid分布。在本文中,我们试图从根本上解决这个问题,通过将整体非iid情况分解为几个iid集群,并在每个集群中进行聚合。具体来说,我们提出了\textbf{DistFL},一个新的框架,以实现自动化和准确的\textbf{Dist} ribution-aware \textbf{F} ederated \textbf{L}收入的成本效益的方式。DistFL通过从上传的模型中提取和比较\textit{distribution knowledge}来实现聚类。有了这个框架,我们能够生成多个具有独特分布的个性化模型,并将它们分配给相应的客户端。广泛的实验与流行的模型架构的移动场景已经证明了DistFL的有效性。
2021-10-22 cs.DC cs.LG
A Coalition Formation Game Approach for Personalized Federated Learning
The Hong Kong Polytechnic University(香港理工大学);Beijing Institute of Technology(北京理工大学)
面对客户端局部数据分布统计多样性的挑战,个性化联邦学习(PFL)逐渐成为研究热点。尽管基于模型相似性的成对协作方法已经取得了令人满意的性能,但它们忽略了一个事实,即模型聚合本质上是联盟内的协作过程,其中复杂的多方向影响发生在客户端之间。在本文中,我们首先应用Shapley值(SV)从联盟博弈论到PFL的情况。为了衡量一组客户之间的多方面合作对个性化学习绩效的影响,SV将他们对最终结果的边际贡献作为度量。我们提出了一种新的个性化算法:pFedSV,它可以1。确定每个客户的最佳合作者联盟; 2.基于SV进行个性化模型聚合。使用不同的非IID数据设置(病理学和Dirichlet)对各种数据集(MNIST,Fashion-MNIST和CIFAR-10)进行了广泛的实验。结果表明,与最先进的基准测试相比,pFedSV可以为每个客户端实现卓越的个性化准确性。
2022-02-08 cs.AI cs.DC cs.LG
Decentralized federated learning of deep neural networks on non-iid data
RISE Research Institutes of Sweden(瑞典RISE研究院);Chalmers University of Technology(查尔姆斯理工大学);KTH Royal Institute of Technology(KTH皇家理工学院)
我们解决了在分散设置中学习个性化深度学习模型的非凸问题。更具体地说,我们研究分散的联邦学习,这是一种点对点的设置,数据分布在许多客户端之间,没有中央服务器来协调训练。在现实世界的场景中,客户端之间的数据分布通常是异构的。因此,在这项工作中,我们研究的问题是如何有效地学习一个模型在对等系统与非iid客户端数据。我们提出了一种名为基于性能的邻居选择(PENS)的方法,其中具有相似数据分布的客户端通过评估彼此数据的训练损失来检测彼此并进行合作,以学习适合本地数据分布的模型。我们在基准数据集上的实验表明,与强基线相比,我们所提出的方法能够实现更高的精度。
2021-07-20 cs.LG
Towards Heterogeneous Clients with Elastic Federated Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));JD AI Lab(京东人工智能实验室);Ping An Technology(平安科技)
联邦学习涉及在设备或数据孤岛(如边缘处理器或数据仓库)上训练机器学习模型,同时将数据保持在本地。在异构和潜在的大规模网络中进行训练会给系统带来偏差,这源于非IID数据和现实中的低参与率。在本文中,我们提出了弹性联邦学习(EFL),一个无偏的算法来解决系统中的异构性,这使得最具信息量的参数在训练过程中波动较小,并利用不完整的局部更新。它是一种高效且有效的算法,可压缩上游和下游通信。从理论上讲,该算法在低参与率下对非IID数据进行训练时具有收敛性保证。实证实验证实了EFL框架在鲁棒性和效率方面的竞争力。
2021-06-17 cs.AI cs.LG
H-FedSN: Personalized Sparse Networks for Efficient and Accurate Hierarchical Federated Learning for IoT Applications
University of Virginia(弗吉尼亚大学);University of Southern California(南加利福尼亚大学)
针对物联网分层联邦学习的通信低效等问题,提出带二值掩码与贝叶斯聚合的H-FedSN,可降通信成本最多477倍且保持高准确率,适配物联网部署。
2026-09-01 cs.LG
Towards Personalized Federated Learning
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Alibaba Group(阿里巴巴集团);Shandong University(山东大学);Joint SDU-NTU Centre for Artificial Intelligence Research(山东大学-南洋理工大学人工智能联合研究院);Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
随着人工智能(AI)研究的进步,人工智能(AI)的迅速采用,人们对数据隐私的认识和担忧也越来越多。数据监管领域最近的重大发展促使人们对隐私保护AI的兴趣发生了巨大的转变。这促进了联邦学习(FL)的流行,FL是以隐私保护方式在数据孤岛上训练机器学习模型的领先范例。在这项调查中,我们探讨了个性化FL(PFL)领域,以解决FL对异构数据的根本挑战,这是所有现实世界数据集固有的普遍特征。我们分析了PFL的主要动机,并根据PFL中的关键挑战和个性化策略对PFL技术进行了独特的分类。我们强调了他们的关键思想,挑战和机遇,并展望了未来有前途的研究轨迹,新的PFL建筑设计,现实的PFL基准测试和值得信赖的PFL方法。
2022-03-17 cs.AI cs.DC cs.LG
FedVeca: Federated Vectorized Averaging on Non-IID Data with Adaptive Bi-directional Global Objective
Hainan Blockchain Technology Engineering Research Center(海南区块链技术工程研究中心);Temple University(天普大学)
针对联邦学习中非独立同分布数据及客户端本地更新步数差异影响模型性能的问题,提出带自适应双向全局目标的FedVeca方法,通过双向向量平均和步长自适应调整优化训练,实验验证了其有效性与高效性。
2024-09-18 cs.LG
Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity
University of California San Diego(加州大学圣迭戈分校)
FL中的传统方法试图在中央服务器的编排下,在多个客户端的帮助下协作地学习单个全局模型。然而,在数据异构的情况下,学习单个全局模型可能无法很好地适用于参与FL的所有客户端。因此,全局模型的个性化在处理统计异质性和数据的非IID分布所带来的挑战方面变得至关重要。与以前的作品不同,在这项工作中,我们提出了一种新的方法,从客户端级别的目标获得个性化的模型。这进一步激励了所有客户端即使在统计异质性下也参与联合,以提高其性能,而不仅仅是中央服务器的数据和模型训练的来源。为了实现这种个性化,我们通过应用混合修剪(结构化和非结构化修剪的组合)和非结构化修剪来为每个客户端找到一个小型子网。通过对不同基准测试的一系列实验,我们观察到具有相似数据(标签)的客户端共享相似的个人参数。通过为每个客户端查找子网...
2021-05-10 cs.DC cs.LG
pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup
Florida International University(佛罗里达国际大学);USC Information Sciences Institute(南加州大学信息科学研究所)
pMixFed 提出一种动态逐层个性化联邦学习方法,通过在全局与局部模型间引入自适应 mixup、渐进个性化过渡和新聚合机制,缓解客户端漂移与灾难性遗忘,提升非IID场景下的精度与训练效率。
2025-11-09 cs.DC cs.LG
FedPPA: Progressive Parameter Alignment for Personalized Federated Learning
Universitas Gadjah Mada, Indonesia(加雅玛大学);Monash University, Indonesia(墨尔本大学)
针对联邦学习中客户端计算资源异构与数据非独立同分布导致的模型和数据异构共存问题,提出渐进式参数对齐方法FedPPA,通过逐步对齐公共层权重并整合熵加权平均,在三个数据集上实现更优的个性化性能。
2025-10-16 cs.AI cs.LG
Mitigating Membership Inference Vulnerability in Personalized Federated Learning
INRIA(法国国家信息与自动化研究所);EPFL(洛桑联邦理工学院);LIX, École Polytechnique(巴黎综合理工学院LIX实验室)
本文提出IFCA-MIR方法,将成员推理攻击风险评估融入迭代联邦聚类过程,使客户端基于模型性能与隐私脆弱性选择簇,在保持准确性和公平性的同时显著降低成员推理攻击风险。
2025-03-12 cs.CR cs.LG
Federated Learning on Non-IID Graphs via Structural Knowledge Sharing
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);Data61, CSIRO(联邦科学与工业研究组织Data61研究所)
图神经网络(GNNs)在图形数据建模方面显示出其优越性。由于联邦学习的优势,联邦图学习(FGL)使客户端能够以分布式方式训练强大的GNN模型,而无需共享其私有数据。联邦系统的一个核心挑战是非IID问题,它也广泛存在于现实世界的图数据中。例如,客户端的本地数据可以来自不同的数据集或甚至域,例如,社交网络和分子,增加了FGL方法捕获共同共享知识和学习通用编码器的难度。从真实世界的图数据集,我们观察到,一些结构属性共享的各个领域,在FGL共享结构知识呈现出巨大的潜力。受此启发,我们提出了FedStar,一个FGL框架,提取和共享图间联邦学习任务的公共底层结构信息。为了显式地提取结构信息,而不是将它们与节点特征一起编码,我们定义了结构嵌入并使用独立的结构编码器对其进行编码。然后,在客户端之间共享结构编码器,同时以个性化的方式学习基于特征的知识,使FedStar能够捕获更多基于结构的域不变信息,并避免特征不对齐问题。我们在跨数据集和跨域非IID FGL设置上进行了广泛的实验,证明了FedStar的优越性。
2022-11-23 cs.AI cs.DC cs.LG
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives
个性化联邦学习(FL)促进了多个客户端之间的协作,以学习个性化模型,而无需共享私有数据。该机制减轻了系统中通常遇到的统计异质性,即,不同客户端上的非IID数据。现有的个性化算法通常假设所有客户都自愿进行个性化。然而,潜在的参与者可能仍然不愿意个性化模型,因为它们可能无法很好地工作。在这种情况下,客户端选择使用全局模型。为了避免不切实际的假设,我们引入个性化率,衡量的客户端愿意训练个性化模型的分数,到联邦设置,并提出DyPFL。这种动态个性化FL技术激励客户参与个性化本地模型,同时允许在全局模型表现更好时采用全局模型。我们表明,DyPFL中的算法管道保证了良好的收敛性能,使其在广泛的条件下优于其他个性化方法,包括异质性,客户端数量,局部时期和批量大小的变化。
2022-09-22 cs.AI cs.LG
Personalizing Federated Learning for Hierarchical Edge Networks with Non-IID Data
The University of Sydney(悉尼大学);University of Oxford(牛津大学);The University of Melbourne(墨尔本大学)
针对分层联邦学习中被忽视的分层非IID特性导致的跨边缘性能不一致问题,提出PHE-FL为每个边缘模型个性化,在4种场景下评估显示其准确率最高提升83%且稳定性更优。
2025-04-11 cs.AI cs.DC cs.LG
FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update
RMIT University(皇家墨尔本理工大学);Swinburne University of Technology(斯威本科技大学)
针对资源受限设备的PFL面临计算通信瓶颈及联邦丢弃策略的偏差问题,提出FedSPU,通过在保留完整模型架构的同时随机冻结部分神经元更新参数,平均准确率提升7.57%,训练时间减少24.8%-70.4%。
2025-01-21 cs.LG
Motley: Benchmarking Heterogeneity and Personalization in Federated Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习考虑异构网络中每个客户端唯一的学习模型。由此产生的特定于客户端的模型已被声称,以提高指标,如准确性,公平性和健壮性,在联邦网络。然而,尽管在这一领域已经做了大量的工作,但仍然不清楚:(1)哪些个性化技术在各种设置中最有效,以及(2)个性化对于实际的联邦应用程序有多重要。为了更好地回答这些问题,我们提出了Motley,一个个性化联邦学习的基准。Motley由一套来自不同问题领域的跨设备和跨竖井联合数据集组成,以及用于更好地理解个性化可能影响的全面评估指标。我们通过比较一些具有代表性的个性化联邦学习方法,在基准上建立基线。这些初步结果突出了现有方法的优点和缺点,并为社区提出了几个开放的问题。Motley旨在提供一种可重复的方法,以推进个性化和异构感知联邦学习的发展,以及迁移学习、元学习和多任务学习的相关领域。
2022-09-26 cs.DC cs.LG
Lazy But Effective: Collaborative Personalized Federated Learning with Heterogeneous Data
Artificial Intelligence Laboratory EPFL(苏黎世联邦理工学院人工智能实验室);Telenor Research(Telenor研究)
本文提出了一种简单有效的个性化联邦学习框架pFedLIA,通过使用计算效率高的影响近似方法'Lazy Influence',在分布式 manner 中对客户端进行聚类,从而在模型聚合前协同训练模型以捕捉客户端特定的数据模式,实验证明其在非iid数据集上能有效恢复全局模型性能,并在多个基准任务中优于现有基线方法。
2025-05-05 cs.AI cs.LG
DPMM-CFL: Clustered Federated Learning via Dirichlet Process Mixture Model Nonparametric Clustering
Dept. of Electrical \& Computer Engineering, Northeastern University, Boston, MA, USA
DPMM-CFL通过非参数贝叶斯推断自动确定聚类数量和客户端分配,实现更灵活的联邦学习框架。
2026-01-29 cs.DC cs.LG stat.ML
New Metrics to Evaluate the Performance and Fairness of Personalized Federated Learning
Purdue University(普渡大学)
在联邦学习(FL)中,客户端通过中央聚合器学习单个全局模型(FedAvg)。在这种设置中,跨客户端的数据的非IID分布限制了全局FL模型对每个客户端的本地数据提供良好的性能。个性化FL旨在通过为每个客户找到个性化模型来解决这个问题。最近的工作广泛报告了数据集的特定数据分割的平均个性化模型准确性,以评估其方法的有效性。然而,考虑到众多的个性化方法,它是至关重要的,以研究每个用户的个性化准确性和准确性的改善用户之间的公平的公平的概念。为了解决这些问题,我们提出了一套性能和公平性指标,旨在评估个性化FL方法的质量。我们将这些指标应用于最近提出的四种个性化FL方法,CIFAR-10数据集的三个不同数据分割上的PRFL,FedPer,pFedMe和Per-FedAvg。我们的评估表明,在用户中平均准确度最高的个性化模型可能不一定是最公平的。我们的代码可在https://tinyurl.com/1hp9ywfa上获得,供公众使用。
2021-07-28 cs.LG