ParallelSFL: A Novel Split Federated Learning Framework Tackling Heterogeneity Issues
针对边缘分割联邦学习中的统计与系统异构性,本文提出 ParallelSFL 框架,通过效用优化聚类和差异化本地更新频率,在80台 Jetson 上实现降流量、加速训练并提升准确率。
2024-10-02 cs.DC
Personalized Federated Learning on Data with Dynamic Heterogeneity under Limited Storage
针对数据动态异构与存储受限导致的局部灾难性遗忘及协作度难估计问题,提出基于低消耗生成式回放架构的个性化联邦学习框架pFedGRP,通过按类别解耦生成器、局部模型优化及数据重构实现个性化聚合与知识转移,在五个数据集上优于八种基线方法。
2025-01-31 cs.DC
Navigating High-Degree Heterogeneity: Federated Learning in Aerial and Space Networks
University of Calgary(卡尔加里大学)
该研究聚焦空天网络联邦学习中的异质性与类别不平衡问题,分析了异质性对类别不平衡的影响及电池等约束的加剧作用,指出现有算法难以有效应对该场景下的高度异质性挑战。
2024-09-17 cs.DC cs.LG
Tackling Resource-Constrained and Data-Heterogeneity in Federated Learning with Double-Weight Sparse Pack
FedCSPACK通过余弦稀疏打包和双权重聚合方法,有效解决联邦学习中资源受限和数据异质性问题,提升通信和计算效率的同时保持高模型精度。
2026-01-05 cs.DC cs.LG
Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(教育部新一代人工智能技术及其交叉应用重点实验室(东南大学))
本文针对私有数据倾斜分布的联邦学习挑战,提出带个性化的联邦原型校正方法,通过联邦个性化构建平衡决策边界并利用类间判别与类内一致性校正原型,在个性化和泛化上均优于现有方法。
2024-08-23 cs.DC cs.LG
Tackling Privacy Heterogeneity in Differentially Private Federated Learning
Department of Information Engineering, The Chinese University of Hong Kong(信息工程系,香港中文大学);School of Science and Engineering, Shenzhen Institute of Artificial Intelligence and Robotics for Society(科学与工程学院,深圳人工智能与机器人社会研究院)
本文提出了一种隐私感知的客户端选择策略,通过理论分析和实验验证,在异构隐私预算下提升了联邦学习的测试准确率。
2026-02-26 cs.DC cs.LG
Tackling Intertwined Data and Device Heterogeneities in Federated Learning with Unlimited Staleness
University of Pittsburgh(匹兹堡大学)
本文提出一种新的联邦学习框架,通过从陈旧模型更新中估计客户端本地数据分布来生成非陈旧更新,有效解决交织的数据与设备异构性及无限延迟问题,无需额外开销且将模型准确率最高提升25%。
2024-12-24 cs.DC cs.LG
Architectural Blueprint For Heterogeneity-Resilient Federated Learning
London South Bank University(伦敦南岸大学)
针对边缘环境中的数据异构与算力约束,提出三层隐私保护联邦学习架构,更有效处理 non-IID 数据并提升准确率、降低通信开销。
2024-06-14 cs.DC cs.LG cs.NI
Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning
University of Nevada, Reno(内华达大学里诺分校);IBM Research(IBM研究院);University of Virginia(弗吉尼亚大学)
数据异构性已被确定为联邦学习的关键特征之一,但在对对抗攻击的鲁棒性方面往往被忽视。本文通过使用合成和LEAF基准测试的综合实验,重点描述和理解其对联邦学习中后门攻击的影响。我们的实验结果驱动的初步印象表明,数据异构性是攻击有效性的主导因素,它可能是防御后门的救赎,因为它使攻击效率降低,设计有效的攻击策略更具挑战性,攻击结果也变得更难预测。然而,通过进一步的调查,我们发现数据异构性更像是一种诅咒而不是救赎,因为只需调整客户端后门定时就可以显着提高攻击效率。更重要的是,数据异构性可能导致在良性客户端的本地训练中过度拟合,攻击者可以利用这些过度拟合来伪装自己并欺骗基于倾斜特征的防御。此外,还可以通过调整攻击数据分布来制定有效的攻击策略。最后,我们讨论了防御数据异构带来的诅咒的潜在方向。从我们广泛的实验和分析中获得的结果和经验教训为设计健壮的联邦学习方法和系统提供了新的见解
2021-02-01 cs.DC cs.LG
Motley: Benchmarking Heterogeneity and Personalization in Federated Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习考虑异构网络中每个客户端唯一的学习模型。由此产生的特定于客户端的模型已被声称,以提高指标,如准确性,公平性和健壮性,在联邦网络。然而,尽管在这一领域已经做了大量的工作,但仍然不清楚:(1)哪些个性化技术在各种设置中最有效,以及(2)个性化对于实际的联邦应用程序有多重要。为了更好地回答这些问题,我们提出了Motley,一个个性化联邦学习的基准。Motley由一套来自不同问题领域的跨设备和跨竖井联合数据集组成,以及用于更好地理解个性化可能影响的全面评估指标。我们通过比较一些具有代表性的个性化联邦学习方法,在基准上建立基线。这些初步结果突出了现有方法的优点和缺点,并为社区提出了几个开放的问题。Motley旨在提供一种可重复的方法,以推进个性化和异构感知联邦学习的发展,以及迁移学习、元学习和多任务学习的相关领域。
2022-09-26 cs.DC cs.LG
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Sony AI(索尼人工智能研究院);Huawei Cloud & AI(华为云与计算)
本地客户端的非独立同分布(non-IID)数据的统计异质性极大地限制了联邦学习的性能。以前的尝试,如FedProx,SCAFFOLD,MOON,FedNova和FedDyn诉诸于优化的角度,这需要一个辅助项或重新加权本地更新来校准学习偏差或目标不一致性。然而,除了以前对联邦平均改进的探索之外,我们的分析表明,另一个关键瓶颈是在更异构的条件下客户端模型的最优值较差。因此,我们引入了一种名为FedSkip的数据驱动方法,通过定期跳过联邦平均和将本地模型分散到跨设备来改善客户端优化。我们从理论上分析了FedSkip可能带来的好处,并在一系列数据集上进行了广泛的实验,以证明FedSkip实现了更高的准确性,更好的聚合效率和竞争的通信效率。源代码可在https://github.com/MediaBrain-SJTU/FedSkip上获得。
2022-12-14 cs.DC cs.LG
Against Multifaceted Graph Heterogeneity via Asymmetric Federated Prompt Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对联邦图学习中数据与任务的多面异质性,提出FedGPL框架,通过分割联邦保留通用与领域知识,并利用HiDTA层次化传递跨任务知识、VPG自适应生成图结构,实现高效非对称图知识转移,显著提升准确性与效率。
2024-11-04 cs.AI cs.DC cs.LG
Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
针对联邦 LoRA 中客户端秩异构导致零填充聚合稀释高秩信息的问题,提出基于复制的填充策略,以保留高质量客户端信息并提升全局模型收敛与预测性能。
2025-02-15 cs.DC cs.LG
Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network
York University(约克大学)
针对联邦学习中设备计算异构性问题,提出FedPMT方法,让低算力设备训练全局模型子集,实现与FedAvg相近的收敛速率,并显著优于FedDrop,在精度与完成时间间取得更优平衡。
2023-11-16 cs.AI cs.DC cs.LG
Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology
Zhejiang University(浙江大学);The Pennsylvania State University(宾夕法尼亚州立大学)
我们开发了一个通用的框架,统一了几个基于梯度的随机最优化方法的经验风险最小化问题,在集中式和分布式的情况下。该框架的关键在于引入一个增强图,该图由对样本进行建模的节点和对设备间通信和设备内随机梯度计算进行建模的边组成。通过适当设计的拓扑结构的增强图,我们能够恢复作为特殊情况下著名的本地SGD和DSGD算法,并提供了一个统一的视角方差减少(VR)和梯度跟踪(GT)的方法,如SAGA,本地SVRG和GT-SAGA。我们还提供了一个统一的收敛性分析光滑和(强)凸的目标依赖于一个适当的结构李雅普诺夫函数,所获得的速度可以恢复最好的已知结果,许多现有的算法。速率结果进一步表明,VR和GT方法可以分别有效地消除设备内和设备间的数据异构性,从而使算法精确收敛到最优解。数值实验证实了本文的研究结果。
2022-07-08 cs.DC cs.LG math.OC
Heterogeneity-Aware Cooperative Federated Edge Learning with Adaptive Computation and Communication Compression
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出异构感知协作边缘联邦学习方案HCEF,通过理论分析收敛误差界并设计在线控制算法,动态调整局部更新频率和压缩比,在保持模型精度的同时降低训练延迟和能耗。
2024-11-21 cs.DC cs.LG
No Request Left Behind: Tackling Heterogeneity in Long-Context LLM Inference with Medha
Microsoft(微软公司);Georgia Institute of Technology(佐治亚理工学院);UC San Diego(圣地亚哥大学)
Medha 通过引入细粒度抢占式调度和新型并行策略,有效解决长上下文LLM推理中的异质性问题,显著提升系统吞吐量和响应效率。
2025-11-26 cs.DC cs.LG
Local Gradient Regulation Stabilizes Federated Learning under Client Heterogeneity
National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology(国家并行与分布式计算实验室,计算机科学与技术学院,国防科技大学)
本文提出通过调节局部梯度动态来稳定联邦学习,采用ECGR方法平衡对齐和错位梯度,提升异构数据下的收敛性能。
2026-01-07 cs.DC cs.LG
Investigation of Federated Learning Algorithms for Retinal Optical Coherence Tomography Image Classification with Statistical Heterogeneity
NAAMII(尼泊尔应用数学与信息学研究所);Base Gene Therapeutics Limited(基础基因治疗有限公司);University College London(伦敦大学学院);University of Aberdeen(阿伯丁大学)
本研究在IID和Non-IID设置下评估FedAvg和FedProx两种联邦学习算法对视网膜OCT图像分类的性能,发现统计异质性会降低两者性能,但FedProx表现出更强的鲁棒性。
2024-02-15 cs.CV cs.DC
Synthetic data shuffling accelerates the convergence of federated learning under data heterogeneity
Technical University of Denmark(丹麦技术大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
针对联邦学习中的数据异构性问题,本文建立跨客户端数据混洗比例与收敛速率参数的量化关系,证明混洗可二次降低梯度相异性,并提出混洗本地合成数据的权限友好方法,显著提升多种联邦学习算法性能。
2024-04-08 cs.CV cs.DC cs.LG
Virtual Homogeneity Learning: Defending against Data Heterogeneity in Federated Learning
Hong Kong Baptist University(香港浸会大学);The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
在联邦学习(FL)中,模型性能通常会受到由数据异构引起的客户端漂移的影响,主流研究集中在纠正客户端漂移上。我们提出了一种不同的方法,称为虚拟同质性学习(VHL)直接“纠正”数据的异质性。特别是,VHL使用一个虚拟的同质数据集进行FL,该数据集满足两个条件:不包含私有信息和可分离。虚拟数据集可以从跨客户端共享的纯噪声生成,旨在校准来自异构客户端的特征。从理论上证明了VHL在自然分布上具有可证明的推广性能。经验上,我们表明,VHL赋予FL大幅提高收敛速度和泛化性能。VHL是首次尝试使用虚拟数据集来解决数据异构性,为FL提供了新的有效手段。
2022-06-24 cs.AI cs.DC cs.LG
On the Impact of Device and Behavioral Heterogeneity in Federated Learning
KAUST(阿卜杜拉国王科技大学);UCLouvain(鲁汶大学);IST(ULisboa)/INESC-ID(里斯本大学高等技术学院/信息与通信技术研究所)
联邦学习(FL)正在成为一种流行的模式,用于在非信任实体拥有的分布式私有数据集上进行协作学习。FL已经在生产环境中成功部署,并已在虚拟键盘、自动完成、项目推荐和多个物联网应用程序等服务中采用。然而,FL面临着在集中式FL服务器无法控制的大部分异构数据集、设备和网络上执行训练的挑战。在这种固有设置的激励下,我们迈出了表征设备和行为异质性对训练模型的影响的第一步。我们进行了广泛的实证研究,跨越近1.5K独特的配置上五个流行的FL基准。我们的分析表明,这些来源的异质性有重大影响的模型性能和公平性,从而揭示了在FL系统设计中考虑异质性的重要性。
2021-02-15 cs.DC cs.LG cs.PF
FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology
University of Miami(迈阿密大学)
本文提出FedMM框架,通过联邦训练多个单模态特征提取器解决计算病理学中多模态数据异构与隐私问题,使资源有限的医院也能完成下游分类任务,并在两个公开数据集上显著优于基线方法。
2024-02-24 cs.CV cs.DC
Heterogeneity: An Open Challenge for Federated On-board Machine Learning
University of Luxembourg(卢森堡大学);SnT(SnT研究院);FSTM(FSTM学院)
本文针对跨运营商异构卫星协作的星载联邦学习场景,系统性梳理了系统异构性带来的各类挑战,概述了对应研究现状,为后续深入研究提供切入点。
2024-08-13 cs.DC cs.LG
Virtual Nodes Can Help: Tackling Distribution Shifts in Federated Graph Learning
University of Virginia(弗吉尼亚大学)
针对联邦图学习中客户端间图数据分布偏移导致性能下降的问题,提出基于可学习虚拟节点与个性化边生成的FedVN框架,经理论验证和多数据集实验,性能优于9种基线方法。
2025-02-21 cs.DC cs.LG
Heterogeneity-Aware Client Selection Methodology For Efficient Federated Learning
University of Oregon, US(俄勒冈大学);Boston College, US(波士顿学院);Microsoft Research, India(微软研究院)
Terraform通过梯度更新和确定性算法选择异质性客户端,提升联邦学习的准确率至47%以上。
2026-02-24 cs.DC cs.LG
AutoFL: Enabling Heterogeneity-Aware Energy Efficient Federated Learning
Soongsil University(崇实大学);Arizona State University(亚利桑那州立大学);Facebook AI Research(脸书人工智能研究院)
联邦学习使边缘的分散式移动设备集群能够协作训练共享的机器学习模型,同时将所有原始训练样本保留在设备上。这种分散的训练方法被证明是一种切实可行的解决方案,以减轻隐私泄露的风险。然而,由于非IID训练数据分布、广泛的系统异构性和现场随机变化的运行时效应,在边缘实现高效的FL部署具有挑战性。本文通过考虑边缘执行的随机性,联合优化了最先进FL用例的收敛时间和能效。我们提出AutoFL通过量身定制设计一个强化学习算法,学习和确定哪些K参与设备和每个设备的执行目标,每个FL模型聚合轮随机运行时方差,系统和数据的异构性的存在。通过明智地考虑FL边缘部署的独特特性,AutoFL在K个参与者的集群上分别为本地客户端和全局客户端实现了3.6倍的模型收敛时间和4.7倍和5.2倍的能效。
2021-07-16 cs.DC cs.LG
Solution-space heterogeneity shapes federated learning dynamics across partial differential equations
College of Computer Science and Technology(计算机科学与技术学院)
该研究针对偏微分方程联邦学习缺乏可迁移非IID数据定义的问题,提出PDE-Dirichlet协议,揭示解空间异质性对联邦学习动态的影响,为评估非IID联邦PDE学习提供通用基础。
2026-10-30 cs.DC cs.LG
FedGPO: Heterogeneity-Aware Global Parameter Optimization for Efficient Federated Learning
Korea University(高丽大学);Meta
联邦学习(FL)已经成为处理机器学习训练中隐私泄露风险的解决方案。该方法允许各种移动设备协作地训练机器学习模型,而无需与云共享原始设备上训练数据。然而,由于系统/数据异构性和运行时差异,FL的有效边缘部署具有挑战性。本文通过考虑上述挑战,在保证模型收敛的同时优化了FL用例的能效。我们提出了基于强化学习,学习如何识别最佳的全局参数(B,E,K)为每个FL聚合轮适应系统/数据的异质性和随机运行时方差的Federisk。在我们的实验中,Federix将模型收敛时间提高了2.4倍,并实现了比基线设置高3.6倍的能效。
2022-11-30 cs.CR cs.DC cs.LG
HeteroSwitch: Characterizing and Taming System-Induced Data Heterogeneity in Federated Learning
Korea University(高丽大学);Arizona State University(亚利桑那州立大学);Meta
本文研究联邦学习中设备软硬件碎片化导致的系统型数据异质性,提出HeteroSwitch依据偏差自适应结合ISP transformation与SWAD,在FLAIR上将跨设备平均精度方差降低6.3%。
2024-05-10 cs.DC cs.LG
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity
UC Santa Barbara(加州大学圣巴巴拉分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学)
联邦学习是一种新的范式,它涉及从分布在大型客户端网络中的数据样本中学习,而数据仍然是本地的。然而,众所周知,联邦学习容易面临多个系统挑战,包括客户端具有不同计算和通信能力的系统异构性。客户端计算速度的这种异质性对联邦学习算法的可扩展性具有负面影响,并且由于离散者的存在而导致其运行时的显著减慢。在本文中,我们提出了一种新的离散弹性的联邦学习方法,结合客户端的数据的统计特征,以自适应地选择客户端,以加快学习过程。我们的算法的核心思想是从速度较快的节点开始训练过程,一旦达到当前参与节点对应的数据的统计精度,就逐渐将速度较慢的节点纳入模型训练。所提出的方法减少了实现所有节点的数据的统计准确性所需的整体运行时间,因为每个阶段的解决方案接近于具有更多样本的后续阶段的解决方案,并且可以用作热启动。我们的理论结果的特征加速增益相比,标准的联邦基准强凸目标,我们的数值实验也证明了显着的加速比,在挂钟时间的离散弹性方法相比,联邦学习基准。
2020-12-28 cs.DC cs.LG stat.ML
Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity
University of California San Diego(加州大学圣迭戈分校)
FL中的传统方法试图在中央服务器的编排下,在多个客户端的帮助下协作地学习单个全局模型。然而,在数据异构的情况下,学习单个全局模型可能无法很好地适用于参与FL的所有客户端。因此,全局模型的个性化在处理统计异质性和数据的非IID分布所带来的挑战方面变得至关重要。与以前的作品不同,在这项工作中,我们提出了一种新的方法,从客户端级别的目标获得个性化的模型。这进一步激励了所有客户端即使在统计异质性下也参与联合,以提高其性能,而不仅仅是中央服务器的数据和模型训练的来源。为了实现这种个性化,我们通过应用混合修剪(结构化和非结构化修剪的组合)和非结构化修剪来为每个客户端找到一个小型子网。通过对不同基准测试的一系列实验,我们观察到具有相似数据(标签)的客户端共享相似的个人参数。通过为每个客户端查找子网...
2021-05-10 cs.DC cs.LG
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Michigan State University (MSU)(密歇根州立大学)
针对联邦学习中极端数据异质性导致的收敛障碍,提出FedPeWS方法,通过预热阶段让参与者学习个性化掩码并更新子网络,再切换至标准联邦优化,提升了准确率和收敛速度。
2025-04-16 cs.DC cs.LG
A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning
McGill University(麦吉尔大学);Mila-Quebec AI Institute(魁北克AI研究院);The University of Adelaide(阿德莱德大学);University of Southern Queensland(南方昆士兰大学);Deakin University(德肯大学);Monash University(墨尔本大学)
本文提出FedHydra,一种统一的无数据一次性联邦学习框架,通过两阶段学习机制中的模型分层与异质性感知分层聚合,同时缓解模型异质性和数据异质性问题,并在多个基准数据集上优于现有方法。
2025-06-01 cs.DC cs.LG
Device Heterogeneity in Federated Learning: A Superquantile Approach
UGA(格勒诺布尔阿尔卑斯大学);University of Washington(华盛顿大学);CNRS(法国国家科学研究中心)
针对联邦学习中不符合总体数据分布的异构设备问题,提出基于参数化超分数目标的优化框架,结合安全聚合与设备过滤实现,并在视觉和NLP任务上验证有效性。
2020-02-25 cs.DC cs.LG math.OC
Lumos: Heterogeneity-aware Federated Graph Learning over Decentralized Devices
UM-SJTU Joint Institute, Shanghai Jiao Tong University(上海交通大学UM-SJTU联合学院);Cooperative Medianet Innovation Center (CMIC), Shanghai Jiao Tong University(上海交通大学合作媒体创新中心);McMaster University(麦克马斯特大学)
本文提出首个节点级联邦图神经网络框架Lumos,通过树构造器和基于马尔可夫链蒙特卡洛的算法解决结构信息有限与度异构性导致的负载不平衡问题,在提升准确率的同时显著降低了通信成本和训练时间。
2024-02-17 cs.DC cs.LG
FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
本文提出一种半去中心化的云-边-端分层联邦学习框架FedSR,结合环形集群内的增量次梯度优化算法,有效缓解了物联网系统中数据异构性对模型性能的影响及云服务器的通信瓶颈。
2024-03-19 cs.DC cs.LG
Linear Convergence in Federated Learning: Tackling Client Heterogeneity and Sparse Gradients
University of Pennsylvania(宾夕法尼亚大学)
我们考虑一个标准的联邦学习(FL)架构,其中一组客户端定期与中央服务器协调训练统计模型。我们开发了一个通用的算法框架FedLin来解决FL固有的一些关键挑战,即客观异质性,系统异质性,以及不频繁和不精确的通信。我们的框架的动机是观察到,在这些挑战下,各种现有的FL算法遭受基本的速度-精度冲突:它们要么保证线性收敛,但到一个不正确的点,要么收敛到全局最小值,但在次线性速率,即,快速收敛是以牺牲精度为代价的。相比之下,当客户的本地损失函数是光滑和强凸的,我们证明了FedLin保证线性收敛到全局最小值,尽管任意的目标和系统的异质性。然后,我们建立匹配的上界和下界的收敛速度的FedLin,突出间歇性通信的影响。最后,我们证明了FedLin在积极的梯度稀疏化下保持线性收敛速度,并量化了压缩水平对收敛速度的影响。我们的工作是第一个提供严格的线性收敛速度保证,并构成了第一个全面的分析梯度稀疏在FL。
2021-08-30 cs.DC cs.LG cs.SY
Tackling Selfish Clients in Federated Learning
Department of Engineering, University of Palermo, Palermo, Italy(工程系,帕尔梅罗大学);Department of Computer Science, Missouri University of Science and Technology, Rolla, USA(计算机科学系,密苏里科技大学);Department of Computer Science, BITS-Pilani, Dubai, UAE(计算机科学系,比斯帕利尼学院)
针对联邦学习中自私客户端刻意偏离训练流程、拉低全局模型准确率的问题,提出基于范数中位数恢复自私客户端真实更新的鲁棒聚合策略RFL-Self,可有效缓解自私行为影响且不损害全局模型性能。
2024-07-22 cs.AI cs.DC cs.LG
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning
University of Central Florida(中佛罗里达大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Tulane University(杜兰大学)
联邦学习(FL)是一种很有前途的策略,用于利用客户端网络(即,边缘设备)。然而,客户端之间的数据分布通常本质上是非IID的,这使得高效优化变得困难。为了缓解这个问题,许多FL算法专注于通过引入各种近似项来减轻客户端之间的数据异构性的影响,其中一些会产生相当大的计算和/或内存开销,以限制相对于全局模型的局部更新。相反,我们考虑重新思考FL中数据异构性的解决方案,重点是局部学习的一般性,而不是近端限制。为此,我们首先提出了一个由二阶指标提供信息的系统性研究,以更好地了解FL中的算法有效性。有趣的是,我们发现标准正则化方法在减轻数据异质性影响方面表现惊人。基于我们的研究结果,我们进一步提出了一个简单而有效的方法,FedAlign,以克服数据异构性和以前的方法的陷阱。FedAlign在各种设置中使用最先进的FL方法实现了具有竞争力的精度,同时最大限度地减少了计算和内存开销。代码可在https://github.com/mmendiet/FedAlign上获得
2022-04-13 cs.CV cs.DC cs.LG
Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients
针对联邦学习中的拜占庭攻击与数据异构性问题,提出Fed-NGA算法,通过聚合归一化梯度实现高效鲁棒训练,具有低时间复杂度并证明收敛性。
2025-10-25 cs.DC cs.LG
Tackling System and Statistical Heterogeneity for Federated Learning with Adaptive Client Sampling
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Yale University(耶鲁大学)
当参与者数量较多且服务器的通信带宽有限时,联邦学习(FL)算法通常在每轮中对一小部分客户端进行采样(部分参与)。最近关于FL收敛性分析的工作集中在无偏客户抽样上,例如,随机均匀采样,由于高度的系统异质性和统计异质性,收敛的时钟时间很慢。本文旨在设计一种自适应客户端采样算法,解决系统和统计异质性,以最大限度地减少挂钟收敛时间。我们得到了一个新的易于处理的收敛界FL算法与任意客户端采样概率。在此基础上,我们解析地建立了总学习时间和采样概率之间的关系,从而得到了一个非凸优化问题的训练时间最小化。我们设计了一个有效的算法来学习收敛界中的未知参数,并开发了一个低复杂度的算法来近似解决非凸问题。从硬件原型和仿真的实验结果表明,我们提出的采样方案显着减少收敛时间相比,几个基线采样方案。值得注意的是,我们的方案在硬件原型上花费的时间比均匀采样基线少73%,以达到相同的目标损失。
2021-12-21 cs.AI cs.DC cs.LG
Federated Learning with Personalization Layers
Adobe Research(奥多比研究院);Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
新兴的联邦学习范式致力于在网络边缘实现机器学习模型的协作训练,而无需集中聚合原始数据,从而提高数据隐私。这大大偏离了传统的机器学习,并且需要设计对各种异质性来源鲁棒的算法。具体而言,用户设备之间的数据统计异质性可能会严重降低传统机器学习应用(如使用深度学习进行个性化)的标准联邦平均的性能。本文提出了FedPer,一种用于深度前馈神经网络联邦训练的基础+个性化层方法,可以对抗统计异质性的不良影响。我们证明了FedPerfor非相同的数据分区的CIFARnets和个性化的图像美学数据集从Flickr的有效性。
2019-12-02 cs.DC cs.LG stat.ML
Characterizing Impacts of Heterogeneity in Federated Learning upon Large-Scale Smartphone Data
Key Lab of High Confidence Software Technologies (Peking University)(高可信软件技术重点实验室(北京大学));State Key Laboratory of Networking and Switching Technology (BUPT)(网络与交换技术国家重点实验室(北京邮电大学));Department of Computer Science and Technology, Peking University(北京大学计算机科学技术系);Microsoft Research(微软研究院)
联邦学习(FL)是一种新兴的、保护隐私的机器学习范式,引起了学术界和工业界的极大关注。FL的一个独特特征是异质性,异质性存在于参与设备的各种硬件规格和动态状态中。从理论上讲,异质性会对外语训练过程产生巨大的影响,例如,导致设备不能用于训练或不能上传其模型更新。不幸的是,这些影响从来没有被系统地研究和量化在现有的FL文献。在本文中,我们进行了第一次实证研究,以表征异质性在FL的影响。我们收集了大规模的数据,从136k智能手机,可以忠实地反映在现实世界中的异质性设置。我们还建立了一个异质性感知FL平台,符合标准FL协议,但考虑到异质性。基于这些数据和平台,我们进行了大量的实验,以比较最先进的FL算法在异质性感知和异质性感知设置下的性能。结果表明,异构性导致FL的性能下降,包括高达9.2%的准确率下降,2.32倍的训练时间延长,并破坏了公平性。此外,我们分析了潜在的影响因素,发现设备故障和参与者偏见是性能下降的两个潜在因素。我们的研究提供了深刻的启示外语从业者。一方面,我们的研究结果表明,FL算法设计者在评估过程中考虑了必要的异质性。另一方面,我们的研究结果敦促系统提供商设计具体的机制,以减轻异质性的影响。
2021-03-12 cs.DC cs.LG stat.ML
FedSPM: Routing-Enabled Federated Learning under Dual Heterogeneity via Semiparametric Mixture
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);Department of Statistics and Actuarial Science, University of Waterloo(滑铁卢大学统计与精算科学系)
针对路由预测联邦学习中未考虑客户端内潜在亚群致双重异质性影响路由和预测的问题,提出FedSPM框架,用特定客户端潜在组件表示客户端,结合分类预测与路由特征分布,开发算法并证明收敛,实验验证其有效性。
2026-10-01 cs.AI cs.DC cs.LG
FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging
Indian Institute of Technology Patna(印度理工学院巴特那分校);Rajiv Gandhi Institute of Petroleum Technology(拉吉夫·甘地石油技术学院)
针对联邦医学影像学习中客户端数据非独立同分布导致的全局模型性能下降问题,提出融合公平损失、MARL近端项计算与SOM自适应权重调整的FedMRL框架,在两个公开医学数据集上性能优于现有最优方法。
2024-07-08 cs.AI cs.CV cs.DC
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
在真实世界的联邦系统中训练分类模型的一个核心挑战是使用非IID数据进行学习。为了解决这个问题,大多数现有的工作涉及在局部优化中强制正则化或改进服务器上的模型聚合方案。其他作品也共享公共数据集或合成样本,以补充代表性不足的类的训练或引入一定程度的个性化。虽然有效,但他们缺乏对数据异构性如何影响深度分类模型的每一层的深入理解。在本文中,我们通过对不同层学习的表示进行实验分析来弥合这一差距。我们的观察结果令人惊讶:(1)在分类器中存在比其他层更大的偏差,以及(2)通过在联邦训练之后对分类器进行后校准可以显著提高分类性能。出于上述研究结果,我们提出了一种新的和简单的算法,称为分类器校准与虚拟表示(CCVR),调整分类器使用虚拟表示采样从近似高斯混合模型。实验结果表明,CCVR在流行的联邦学习基准测试(包括CIFAR-10、CIFAR-100和CINIC-10)上达到了最先进的性能。我们希望我们简单而有效的方法可以为未来的非IID数据联邦学习研究提供一些启示。
2021-10-28 cs.CV cs.DC cs.LG
Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity
Department of Computer Science, University of Exeter(埃克塞特大学计算机科学系)
本文针对联邦低秩适应中因客户端异质性导致的秩坍缩问题,提出raFLoRA方法,通过分解本地更新并加权聚合提升模型性能和鲁棒性。
2026-09-29 cs.AI cs.DC cs.LG
FedDM: Enhancing Communication Efficiency and Handling Data Heterogeneity in Federated Diffusion Models
University of California, Davis(加利福尼亚大学戴维斯分校);University of South Florida(南佛罗里达大学)
FedDM提出面向扩散模型的联邦训练框架,含多种算法处理数据异构并量化更新,在多个数据集上提升通信效率至4倍,但FID略有增加。
2024-07-20 cs.CV cs.DC cs.LG
Federated Minimax Optimization with Client Heterogeneity
Carnegie Mellon University(卡内基梅隆大学)
随着GANs等现代应用的出现,极大极小优化的兴趣激增,它本质上比简单的最小化更具挑战性。驻留在多个边缘设备或\textit{clients}上的训练数据加剧了这种困难,特别是当这些客户端可以具有异构数据集和本地计算能力时。我们提出了一个通用的联邦极大极小优化框架,它包含了这样的设置和几个现有的方法,如本地SGDA。我们表明,天真的聚集异构本地进展的结果优化不匹配的目标函数-以前在标准联邦最小化观察到的现象。为了解决这个问题,我们建议通过连续通信回合之间进行的本地步骤的数量来规范化客户端更新。我们分析了所提出的算法的收敛性的非凸-凹和非凸-非凹函数的类和特征的异构客户端数据,部分客户端的参与,和异构本地计算的影响。我们的分析工作在更一般的假设下,客户端内的噪音和客户端间的异质性比迄今为止考虑在文献中。对于所有考虑的函数类,我们显着改善现有的计算和通信复杂性的结果。实验结果支持我们的理论主张。
2023-02-09 cs.DC cs.LG math.OC
HiFlash: Communication-Efficient Hierarchical Federated Learning with Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association
Sun Yat-sen University(中山大学);Xi’an Jiaotong University(西安交通大学);University of California Davis(加州大学戴维斯分校)
联邦学习(FL)是一种很有前途的范例,它能够在大规模客户端之间协作学习共享模型,同时将训练数据保持在本地。然而,对于许多现有的FL系统,客户端需要频繁地通过广域网(WAN)直接与远程云服务器交换大数据大小的模型参数,导致显著的通信开销和长的传输时间。为了缓解通信瓶颈,我们采用HiFL的分层联邦学习范式,该范式利用了移动边缘计算的优势,并将同步客户端边缘模型聚合和异步边缘云模型聚合结合在一起,以大大减少WAN传输的流量。具体而言,我们首先从理论上分析了HiFL的收敛范围,并确定了模型性能改善的关键可控因素。然后,我们倡导HiFlash的增强设计,创新性地集成基于深度强化学习的自适应陈旧控制和异构感知客户端边缘关联策略,以提高系统效率并减轻陈旧效应,而不影响模型准确性。大量的实验证实了HiFlash在模型精度、通信减少和系统效率方面的卓越性能。
2023-01-16 cs.AI cs.DC cs.NI
A Lightweight Method for Tackling Unknown Participation Statistics in Federated Averaging
IBM T. J. Watson Research Center(IBM TJ沃森研究中心);University of Utah(犹他大学)
针对联邦学习中客户端参与统计特性未知且现有方法内存开销大的问题,提出基于参与历史自适应加权的轻量算法FedAU,经理论与实验验证其收敛性与性能优势。
2024-04-15 cs.DC cs.IT cs.LG
Towards Model Agnostic Federated Learning Using Knowledge Distillation
EPFL(洛桑联邦理工学院);UC Berkeley(加州大学伯克利分校)
有没有可能为联邦学习设计一个通用的API,让一组特定的数据持有者(代理)相互协作并执行联邦学习?这样的API必须是模型不可知的,即不对代理使用的模型架构做出任何假设,也不能依赖于手头有代表性的公共数据。知识蒸馏(KD)是设计此类协议的首选工具。然而,令人惊讶的是,我们发现大多数基于KD的自然联邦学习协议的性能很差。为了研究这一点,我们提出了一个新的理论框架,联邦核岭回归,它可以捕捉模型的异质性以及数据的异质性。我们的分析表明,退化很大程度上是由于数据异构下的知识蒸馏的基本限制。我们进一步验证我们的框架,分析和设计新的协议的基础上KD。他们在使用神经网络的真实世界实验中的表现,尽管仍然不令人满意,但与我们的理论预测非常吻合。
2022-05-11 cs.DC cs.LG math.OC
Mitigating Heterogeneity-Induced Drift in Hierarchical Sign-Based Federated Learning
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对层次化联邦学习中簇间数据异质性导致的模型漂移问题,提出DC-HierSignSGD算法,通过云辅助梯度校正消除偏差,在保持二进制通信的同时提升精度。
2026-06-15 cs.DC cs.IT cs.LG