Straggler-Resilient Personalized Federated Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学);UC Santa Barbara(加州大学圣塔芭芭拉分校)
联邦学习是一种新兴的学习范式,它允许从分布在大型客户端网络中的样本中训练模型,同时尊重隐私和通信限制。尽管取得了成功,但联邦学习面临着与其分散性质相关的几个挑战。在这项工作中,我们开发了一种新的算法程序,理论上的加速保证,同时处理两个这些障碍,即(i)数据异构性,即,数据分布可以在客户端之间显著变化,以及(i i)系统异质性,即,客户端的计算能力可能显著不同。我们的方法依赖于表示学习理论的思想,使用所有客户端的数据找到一个全球通用的表示,并学习一组用户特定的参数,为每个客户端提供个性化的解决方案。此外,我们的方法通过基于计算特性和统计显著性自适应地选择客户端来减轻掉队者的影响,从而首次实现了接近最佳的样本复杂度和可证明的对数加速比。实验结果支持我们的理论研究结果显示,我们的方法优于其他个性化的联邦计划在系统和数据异构环境。
2022-06-05 cs.DC cs.LG
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity
UC Santa Barbara(加州大学圣巴巴拉分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学)
联邦学习是一种新的范式,它涉及从分布在大型客户端网络中的数据样本中学习,而数据仍然是本地的。然而,众所周知,联邦学习容易面临多个系统挑战,包括客户端具有不同计算和通信能力的系统异构性。客户端计算速度的这种异质性对联邦学习算法的可扩展性具有负面影响,并且由于离散者的存在而导致其运行时的显著减慢。在本文中,我们提出了一种新的离散弹性的联邦学习方法,结合客户端的数据的统计特征,以自适应地选择客户端,以加快学习过程。我们的算法的核心思想是从速度较快的节点开始训练过程,一旦达到当前参与节点对应的数据的统计精度,就逐渐将速度较慢的节点纳入模型训练。所提出的方法减少了实现所有节点的数据的统计准确性所需的整体运行时间,因为每个阶段的解决方案接近于具有更多样本的后续阶段的解决方案,并且可以用作热启动。我们的理论结果的特征加速增益相比,标准的联邦基准强凸目标,我们的数值实验也证明了显着的加速比,在挂钟时间的离散弹性方法相比,联邦学习基准。
2020-12-28 cs.DC cs.LG stat.ML
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此,由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST,一个无偏的算法,动态学习的可用性相关的客户端选择策略,渐近最小化的影响,客户端采样方差的全局模型收敛,提高性能的联邦学习。所提出的算法进行了测试,在各种设置下的间歇性可用的客户端通信的限制,和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上,我们的准确率分别比FedAvg提高了186%和8%,比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Stragglers Can Contribute More: Uncertainty-Aware Distillation for Asynchronous Federated Learning
College of Information Sciences and Technology, Pennsylvania State University(信息科学与技术学院,宾夕法尼亚州立大学)
FedEcho通过不确定性感知蒸馏,有效缓解异步联邦学习中滞后客户端和数据异质性带来的负面影响,提升模型性能。
2025-11-25 cs.DC cs.LG
Towards Straggler-Resilient Split Federated Learning: An Unbalanced Update Approach
Rochester Institute of Technology(罗切斯特理工学院);Purdue University(普渡大学)
针对分割联邦学习中的掉队者问题,提出MU-SplitFed算法,通过不平衡更新机制解耦训练进度与延迟,实现非凸目标下的线性加速,实验验证其有效性。
2025-10-24 cs.AI cs.DC cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习(FedCS),通过揭示客户端对实例潜在表示的偏差,仅训练一个鲁棒全局模型即可直接部署到未见客户端,性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
JSAM: Privacy Straggler-Resilient Joint Client Selection and Incentive Mechanism Design in Differentially Private Federated Learning
Department of Information Engineering, The Chinese University of Hong Kong(信息工程系,香港中文大学);School of Science and Engineering, Shenzhen Institute of Artificial Intelligence and Robotics for Society(科学与工程学院,深圳人工智能与机器人研究院);The Chinese University of Hong Kong(香港中文大学)
JSAM通过联合优化客户端选择与隐私补偿,提升差分隐私联邦学习的训练效果和效率,实现隐私保护与参与激励的平衡。
2026-02-25 cs.DC cs.GT cs.LG
FedCore: Straggler-Free Federated Learning with Distributed Coresets
IBM Research(IBM研究院)
针对联邦学习中的慢速客户端掉队者问题,提出分布式核心集算法FedCore,将核心集优化转化为k中心点聚类在各客户端本地执行,在保证隐私与模型精度的前提下将训练时间缩短8倍,且适配现有联邦学习框架。
2024-01-31 cs.AI cs.DC cs.LG
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University(北京大学);Michigan Technological University(密歇根理工大学)
垂直联邦学习是一种协作机器学习框架,用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是,将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先,大多数现有的垂直联邦学习方法都有一个很强的假设,即至少有一方持有所有数据样本的完整标签集,而这个假设在许多实际场景中并不满足,其中标签是水平划分的,各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签,这可能会导致端到端反向传播模型更新不足。第二,计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者,并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中,这种掉队者问题会被夸大。为了解决这些问题,我们提出了一种新的垂直联邦学习框架级联垂直联邦学习(CVFL),充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题,我们设计了一个新的优化目标,可以增加离散的贡献训练模型。我们进行了一系列的定性实验,严格验证CVFL的有效性。结果表明,CVFL可以实现相当的性能(例如,分类任务的准确性)。与只使用异步聚合机制相比,新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation
Division of Information Science and Engineering, School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(信息科学与工程系,电气工程与计算机科学学院,皇家理工学院)
针对联邦学习中的掉队者问题,提出自适应编码联邦学习(ACFL),通过自适应调整聚合权重,在保护隐私的同时提升学习性能,仿真验证其优于非自适应方法。
2025-08-06 cs.CR cs.LG eess.SP
FedLesScan: Mitigating Stragglers in Serverless Federated Learning
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
联邦学习(FL)是一种机器学习范例,它能够在分布式客户端之间训练共享的全局模型,同时保持训练数据本地化。虽然大多数先前的FL系统设计工作都集中在使用有状态的始终运行的组件上,但最近的工作表明,FL系统中的组件可以从无服务器计算和功能即服务技术的使用中受益匪浅。为此,使用无服务器FL系统对模型进行分布式训练可以比传统FL系统更节省资源和更便宜。然而,无服务器FL系统仍然遭受落伍者的存在,即,由于客户端的资源和统计异质性,它们的速度较慢。虽然已经提出了几种策略来减轻FL中的落伍者,但大多数方法都没有考虑到无服务器环境的特定特征,即,冷启动、性能变化以及函数实例的短暂无状态特性。为此,我们提出了FedLesScan,一种新的基于集群的半异步训练策略,专门为无服务器FL定制。FedLesScan动态适应客户端的行为,并最大限度地减少掉队者对整个系统的影响。我们通过扩展一个名为FedLess的开源无服务器FL系统来实现我们的策略。此外,我们使用第二代Google Cloud Functions对我们的策略进行了全面评估,其中包含四个数据集和不同百分比的落伍者。我们的实验结果表明,与其他方法相比,FedLesScan平均分别减少了8%和20%的训练时间和成本,同时更好地利用客户端,有效更新率平均提高了17.75%。
2022-11-28 cs.DC cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria(奥地利科学技术研究所)
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP,可在不共享数据的前提下实现联邦学习下的标签传播,在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs(埃森哲实验室);INRIA Sophia-Antipolis(索菲亚·安蒂波利斯国立计算机与自动化研究所);INRIA Paris(巴黎国立计算机与自动化研究所);DIENS - PSL(巴黎文理研究大学计算机科学系)
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题,提出SIFU方法,适用于凸与非凸优化,无需额外客户端计算成本,提供正式遗忘质量保证,并在实验中优于现有方法。
2024-03-16 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA(法国原子能与替代能源委员会 LIST 研究所);Université Paris-Saclay(巴黎萨克雷大学)
联邦学习使各方能够在服务器的编排下协作构建全局模型,同时将训练数据保存在客户端的设备上。但是,当客户端具有异构数据时,性能会受到影响。为了解决这个问题,我们假设,尽管数据的异质性,有组的客户端谁拥有类似的数据分布,可以集群。在以前的方法中,为了集群客户端,服务器要求客户端同时发送它们的参数。然而,在存在可能具有有限可用性的大量参与者的上下文中,这可能是有问题的。为了防止这样的瓶颈,我们提出了FLIC(联邦学习与增量聚类),其中服务器利用客户端在联合训练期间发送的更新,而不是要求他们同时发送参数。因此,除了经典的联邦学习所需要的,服务器和客户机之间不需要额外的通信。我们经验证明,对于各种非IID的情况下,我们的方法成功地将客户端分成组,遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明,FLIC是一个强大的防御中毒攻击,即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
Personalized Federated Learning using Hypernetworks
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达公司)
个性化联邦学习的任务是为多个客户端训练机器学习模型,每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型,同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题,使用超网络,称为pFedHN个性化的联邦超网络。在这种方法中,中央超网络模型被训练以生成一组模型,每个客户端一个模型。这种架构提供了跨客户端的有效参数共享,同时保持了生成独特和多样化的个人模型的能力。此外,由于超网络参数从来没有被传输,这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试,发现它优于以前的方法。最后,由于超网络在客户端之间共享信息,我们表明pFedHN可以更好地推广到新客户端,其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Sony AI(索尼人工智能);Zhongguancun Laboratory(中关村实验室);Institute for Precision Medicine of Tsinghua University(清华大学精准医学研究院)
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题,提出数据均匀采样策略FedSampling,基于服务器期望样本量与总样本量进行本地数据采样,并结合差分隐私保护估计总样本量,有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University(巴伊兰大学);NVIDIA Research(英伟达研究院)
在联邦学习(FL)中,多个客户端通过中央服务器协作学习共享模型,同时保持数据分散。个性化联邦学习(PFL)通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中,所有客户端都参与训练过程,并且他们的标记数据用于训练。然而,实际上,新的客户端可能希望在部署预测服务之后加入预测服务,从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里,我们介绍了一种新的学习设置,按需无标签PFL(OD-PFL),其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题,ODPFL-HN,它学会为后期的一方客户端生成一个新的模型。具体来说,我们训练一个编码器网络,该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络,该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估,我们发现ODPFL-HN比当前的FL和PFL方法更好地推广,特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差,并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
FedVS: Straggler-Resilient and Privacy-Preserving Vertical Federated Learning for Split Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本文提出FedVS框架,通过秘密共享方案同时解决拆分垂直联邦学习中掉队客户端导致的性能下降和嵌入上传引发的隐私泄露问题,并在多种数据集上验证了其优势。
2023-07-06 cs.CR cs.IT cs.LG
CodedPaddedFL and CodedSecAgg: Straggler Mitigation and Secure Aggregation in Federated Learning
Simula UiB;Chalmers University of Technology(查尔姆斯理工大学)
我们提出了两种新的联邦学习(FL)计划,通过在网络上的设备数据上引入冗余来减轻离散设备的影响。与文献中的其他方案相比,这些方案通过忽略它们的贡献来处理掉队者或设备辍学,所提出的方案不受客户端漂移问题的影响。第一个方案,CodedPaddedFL,减轻了掉队的影响,同时保留传统FL的隐私级别。它结合了一次性填充用户数据隐私与梯度码产生掉队弹性。第二个方案CodedSecAgg基于Shamir的秘密共享,提供了对模型反演攻击的离散弹性和鲁棒性。我们将CodedPaddedFL和CodedSecAgg应用于分类问题。对于具有120个设备的场景,与传统FL相比,CodedPaddedFL在MNIST数据集上实现了95%的准确度,加速因子为18。此外,与Prakash等人最近提出的方案相比,它在延迟方面产生了类似的性能。没有额外泄漏私有数据的缺点。CodedSecAgg的性能优于最先进的安全聚合方案LightSecAgg,MNIST数据集的加速因子为6.6-18.7,准确率为95%。
2022-06-03 cs.CR cs.IT cs.LG
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
研究联邦学习中客户端漂移问题,从频域新视角提供实验证据,提出 FedFFT 方法,过滤 SAM 扰动低频成分,无需额外通信,实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习(FL)的目标是训练模型,使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而,大多数个性化FL的工作都假设在所有客户端使用相同的模型架构,并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中,客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中,我们提出了一个个性化的FL框架,PerFed-CKT,客户端可以使用异构的模型架构,不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏,其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性,并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比,通信成本降低了几个数量级,实现了高测试精度。
2021-09-16 cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着人们对数据隐私的日益关注和数据量的快速增长,联邦学习(FL)已成为一种重要的学习范式。然而,在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务,因为与神经网络相关的复杂性,例如跨客户端的不同架构,神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络(FedHeNN)框架,允许每个客户端建立一个个性化的模型,而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化,同时仍然受益于其他(可能更强大的)客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明,FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València(巴塞罗那理工大学);Universitat Jaume I(Jaime I 大学);Openchip & Software Technologies S.L.(Openchip 及软件技术公司)
FedOUI通过OUI指标优化联邦聚合,利用激活结构信息提升异构环境下的聚合质量,优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
数据异构的联邦学习(FL)系统存在两个重要的收敛误差来源:1)在客户端执行多个局部优化步骤导致的客户端漂移误差; 2)只有一小部分边缘客户端参与每轮训练的事实导致的部分客户端参与误差。我们发现,其中,只有前者在文献中得到了显着的关注。为了弥补这一点,我们提出了FedVARP,一种新的方差减少算法应用在服务器上,消除了错误,由于部分客户端的参与。为此,服务器只需在内存中维护每个客户端的最新更新,并在每一轮中使用这些更新作为非参与客户端的代理更新。此外,为了减轻在服务器上的内存需求,我们提出了一种新的基于聚类的方差减少算法FederFedVARP。与以前提出的方法不同,FedVARP和FedVARP都不需要在客户端进行额外的计算或传递额外的优化参数。通过大量的实验,我们表明,FedVARP优于国家的最先进的方法,和FedVARP实现性能媲美FedVARP的内存需求少得多。
2022-07-28 cs.LG
Client Selection in Federated Learning: Principles, Challenges, and Opportunities
Bank of Jiangsu(江苏银行);Fudan University(复旦大学);Shandong University(山东大学);Ohio State University(俄亥俄州立大学);University of California, Davis(加州大学戴维斯分校)
本文系统综述了联邦学习中客户端选择这一新兴领域的最新进展、挑战与机遇,旨在解决客户端异构性问题并帮助从业者与研究者更好地理解和应用相关机制。
2023-07-26 cs.LG
FedGS: Federated Graph-based Sampling with Arbitrary Client Availability
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University(厦门大学信息学院福建省智慧城市感知与计算重点实验室);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
虽然联邦学习在优化机器学习模型而无需直接存取原始数据方面表现出了很好的效果,但其性能可能会受到间歇性客户端可用性的阻碍,这会减慢收敛速度并使最终学习模型产生偏差。在任意客户端可用性下实现稳定和无偏差的培训存在重大挑战。为了解决这些挑战,我们提出了一个名为Federated Graph-based Sampling(FedGS)的框架,以稳定全局模型更新并同时减轻任意客户端可用性的长期偏差。首先,我们使用数据分布依赖图(3DG)对客户端的数据相关性进行建模,该图有助于将采样的客户端数据彼此分开,这在理论上可以提高最佳模型更新的近似值。其次,受样本客户数据分布距离较远的约束,进一步最小化样本客户被抽样次数的方差,以减小长期偏差。为了验证FedGS的有效性,我们在七种客户端可用性模式下对三个数据集进行了实验。我们的实验结果证实了FedGS的优势,使一个公平的客户端采样方案,并提高模型的性能在任意客户端的可用性。我们的代码可在\url{https://github.com/WwZzz/FedGS}上获得。
2022-12-07 cs.LG
FedPCD: Priority-Constrained Federated Aggregation
American University of Sharjah(沙迦美国大学);Massachusetts Institute of Technology(麻省理工学院)
FedPCD是一种优先级约束的联邦优化框架,通过分离全局优化目标与客户端保护,在异质联邦学习基准中实现更高全局准确率、更优最差客户端准确率及更快收敛,性能优于现有最优基线。
2026-10-12 cs.LG
FedPrune: Towards Inclusive Federated Learning
LUMS(拉合尔管理科学大学)
联邦学习(FL)是一种分布式学习技术,它以隐私保护的方式在分布式数据上训练共享模型。不幸的是,FL的性能下降时,有(i)在计算和内存资源(系统异构性)和(ii)非IID数据分布在客户端(统计异构性)方面的客户端特性的变化。例如,在FL方案中,慢客户端会被丢弃,例如Federated Averaging(FedAvg),这不仅限制了整体学习,而且会使结果偏向于快客户端。我们提出FedPrune,一个系统,通过修剪慢客户端的设备特性的基础上的全球模型来应对这一挑战。通过这样做,慢客户端可以快速训练一个小模型并参与FL,从而提高测试的准确性和公平性。通过使用中心极限定理的见解,FedPrune采用了一种新的聚合技术,该技术在非IID数据上实现了强大的性能。实验结果表明,与联邦平均算法相比,Federated- Prune算法具有更好的公平性和鲁棒性.
2021-10-27 cs.LG
Federated Mutual Learning
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);Huazhong University of Science and Technology(华中科技大学)
联邦学习(FL)支持在分散数据上协作训练深度学习模型。然而,有三种类型的异质性在FL设置带来了独特的挑战,规范的联邦学习算法(FedAvg)。首先,由于数据的非IID性,全局共享模型可能比仅在其私有数据上训练的局部模型性能更差;其次,中心服务器和客户端的目标可能不同,其中中心服务器寻求通用模型,而客户端追求个性化模型,并且客户端可能运行不同的任务;第三,客户端可能需要针对各种场景和任务设计其定制模型;在这项工作中,我们提出了一种新的联邦学习范式,命名为联邦相互学习(FML),处理这三个异质性。FML允许客户协同训练通用模型和独立训练个性化模型,并设计他们的私人定制模型。因此,数据的非IID性不再是一个错误,而是一个可以更好地为客户提供个性化服务的功能。实验结果表明,在典型的FL环境下,FML可以获得比替代方案更好的性能,客户端可以受益于不同的模型和任务的FML。
2020-09-17 cs.LG
Adversarial Client Detection via Non-parametric Subspace Monitoring in the Internet of Federated Things
Arizona State University(亚利桑那州立大学);University of Florida(佛罗里达大学);Clemson University(克莱姆森大学)
针对联邦物联网中联邦学习易遭对抗攻击的安全问题,提出非参数方法FedRR,利用传输参数更新的低秩特征检测对抗客户端,可在无攻击场景下控制误报率,经MNIST数字识别实验验证有效。
2023-10-02 cs.LG
An Empirical Study of Personalized Federated Learning
Osaka University(大阪大学)
联邦学习是一种分布式机器学习方法,其中单个服务器和多个客户端协作构建机器学习模型,而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性(即,数据分布在客户端之间可能不同)。为了解决这个问题,许多联邦学习方法都是针对个性化的联邦学习,为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法,但实验设置(例如,比较方法、数据集和客户端设置)彼此不同,并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准(即,非个性化)联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试,评价每种方法的特点。我们的实验研究表明:(1)不存在冠军方法,(2)大数据异构性通常会导致高准确度的预测,以及(3)具有微调的标准联邦学习方法(例如FedAvg)通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench,供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
Personalized Online Federated Learning with Multiple Kernels
University of California Irvine(加州大学尔湾分校)
本文提出一种基于随机特征近似的可扩展在线联邦多核学习算法,以低通信成本处理客户端数据异构性,并证明每个客户端享有次线性遗憾,实验验证其优于现有方法。
2023-11-09 cs.LG
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Sichuan University(四川大学);The Hong Kong Polytechnic University(香港理工大学)
联邦学习(FL)作为一种新型的分布式学习范式,在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入,以提高FL的鲁棒性。其中,原始-对偶算法,如交替方向的方法乘数(ADMM)已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而,背后的原因仍然是一个谜。在本文中,我们首先揭示了一个事实,即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性,但它的普通版本缺乏适应客户机异构程度的能力。此外,在客户端采样的服务器端的全局模型是有偏的,这减缓了实际收敛。为了超越ADMM,我们提出了一种新的原始-对偶FL算法,称为FedVRA,它允许一个自适应控制方差减少水平和全局模型的偏差。此外,FedVRA统一了几种典型的FL算法,它们要么是FedVRA的特殊实例,要么是接近FedVRA的实例,并将FedVRA扩展到半/无监督学习。基于(半)监督图像分类任务的实验表明,FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
Representation-Aligned Multi-Scale Personalization for Federated Learning
Department of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(南洋理工大学电气与电子工程学院)
本文提出FRAMP框架,通过生成客户端特定模型实现个性化和资源适应的联邦学习,提升泛化能力和适应性。
2026-04-13 cs.LG
Coding for Straggler Mitigation in Federated Learning
Simula UiB(卑尔根西穆拉研究中心);Chalmers University of Technology(查尔姆斯理工大学)
我们提出了一种新的编码的联邦学习(FL)计划的线性回归,减轻了离散设备的影响,同时保留传统FL的隐私水平。该计划结合了一次性填充,以保持隐私和梯度代码,以产生弹性对掉队者,包括两个阶段。在第一阶段,设备与其他设备的子集共享其本地数据的一次性填充版本。在第二阶段中,设备和中央服务器协作地并且迭代地训练全局线性模型,该全局线性模型使用对一次性填充的本地数据的梯度码。为了将一次性填充应用于真实数据,我们的方案利用了数据的定点运算表示。与Prakash \emph{et al.}最近提出的编码FL方案不同,该方案在实现类似训练时间的同时保持了与传统FL相同的隐私水平。与传统的FL相比,我们表明,该方案实现了训练加速因子$6.6$和$9.2$的MNIST和时尚MNIST数据集的准确性$95\%$和$85\%$,分别。
2022-02-15 cs.IT cs.LG math.IT
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
由于联邦学习中的通信约束和间歇性客户端可用性,只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择,最近的工作有偏见的客户端选择表明,选择具有较高的本地损失的客户端可以提高误差收敛速度。然而,以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失,或利用陈旧的本地损失,这甚至可以使模型发散。在本文中,我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS,实现了更快的收敛,降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.(谷歌公司)
联邦学习(FL)是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止,大多数FL算法在多轮中学习“全局”服务器模型。在每一轮,相同的服务器模型被广播到所有参与的客户端,在本地更新,然后跨客户端聚合。在这项工作中,我们提出了一个更一般的程序,客户端“选择”什么值发送给他们。值得注意的是,这允许客户端在更小的数据依赖切片上操作。为了实现这一点,我们概述了一个原始的,联邦选择,使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练,并表明它可以大幅减少通信和客户端内存使用,从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任,这反过来又影响可能的系统约束和设计的影响。最后,我们讨论了开放的问题,模型架构,隐私保护技术,和实际FL系统。
2022-08-19 cs.DC cs.LG
FedSTaS: Client Stratification and Client Level Sampling for Efficient Federated Learning
University of Alberta(阿尔伯塔大学)
本文提出FedSTaS方法,通过客户端分层、最优Neyman分配和本地数据均匀采样,在固定训练轮数内提升联邦学习的准确率。
2024-12-29 cs.LG stat.ML
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin(柏林技术大学)
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法,以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark(丹麦技术大学)
我们提出了一种联邦学习方法,用于在数据在客户端之间非相同和非独立分布(非IID)时学习客户端自适应的鲁棒模型。通过模拟异构客户端,我们表明,添加学习的客户端特定的条件提高模型的性能,该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现,并且当每个客户端的数据分布之间存在很大差异时特别有益,这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong(香港大学)
针对联邦学习客户端选择中数据异构与计算负担问题,提出基于梯度投影的GPFL框架,通过比较下降方向并引入利用-探索机制,在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University(杜克大学)
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而,这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中,我们提出了第一个基于假客户端的模型中毒攻击,称为MPAF。具体来说,我们假设攻击者将假客户端注入联邦学习系统,并在训练期间将精心制作的假本地模型更新发送到云服务器,这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标,我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说,在每一轮联邦学习中,假客户端都会制作指向基础模型的假本地模型更新,并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明,MPAF可以显着降低测试精度的全球模型,即使采用经典的防御和范数裁剪,突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana(瑞士大学);INRAE Paris(巴黎国家农业研究院)
针对联邦学习中客户端演化行为难以解释的问题,提出联邦行为平面(FBPs)方法实现客户端行为的分析可视化,基于其识别的模式设计Federated Behavioural Shields聚合技术,防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
Controlling Participation in Federated Learning with Feedback
Imperial College London(伦敦帝国理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对联邦学习客户端参与问题,提出基于控制论的确定性方法FedBack,通过积分反馈控制器动态调整参与率,实现全局收敛并提升50%通信与计算效率。
2025-05-27 cs.LG math.OC
Learning-Based Client Selection for Federated Learning Services Over Wireless Networks with Constrained Monetary Budgets
Xiamen University(厦门大学);Western University(韦仕敦大学)
我们研究了无线网络中多个联邦学习(FL)服务的数据质量感知的动态客户端选择问题,每个客户端提供动态数据集用于同时训练多个FL服务,每个FL服务需求者必须在有限的货币预算下为客户端支付费用。该问题被形式化为一个非合作马尔可夫博弈的训练轮。提出了一种基于多智能体混合深度强化学习的算法,在避免动作冲突的同时,优化联合客户选择和支付动作。仿真结果表明,我们提出的算法可以显着提高训练性能。
2022-12-26 cs.AI cs.LG
Abnormal Client Behavior Detection in Federated Learning
HKUST(香港科技大学);WeBank(微众银行)
在联邦学习系统中,客户端是自治的,因为它们的行为不完全由服务器控制。因此,客户端可能有意或无意地偏离联邦模型训练的规定过程,导致异常行为,例如变成恶意攻击者或故障客户端。因此,及时发现这些异常客户端对于尽量减少其不利影响至关重要。在这项工作中,我们建议在服务器端检测异常客户端。特别是,我们生成模型权重向量的低维代理,并使用它们来执行异常检测。我们通过FEMNIST数据集上的图像分类模型训练实验来评估我们的解决方案。实验结果表明,所提出的基于检测的方法显着优于传统的基于防御的方法。
2019-12-06 cs.LG stat.ML
Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network
York University(约克大学)
针对联邦学习中设备计算异构性问题,提出FedPMT方法,让低算力设备训练全局模型子集,实现与FedAvg相近的收敛速率,并显著优于FedDrop,在精度与完成时间间取得更优平衡。
2023-11-16 cs.AI cs.DC cs.LG
Client Selection and Bandwidth Allocation in Wireless Federated Learning Networks: A Long-Term Perspective
University of Miami(迈阿密大学)
本文研究了联邦学习(FL)在一个经典的无线网络,其中学习客户端共享一个共同的无线链路到协调服务器执行联邦模型训练使用他们的本地数据。在此类无线联邦学习网络(WFLN)中,优化学习性能至关重要,这取决于如何选择客户端以及如何在每轮学习中在所选客户端之间分配带宽,因为无线电和客户端能源资源都是有限的。虽然现有的工作已经做出了一些尝试,以分配有限的无线资源,以优化FL,他们专注于在个别学习轮的问题,忽略了一个固有的,但关键的特点,联邦学习。本文带来了一个新的长期的视角,资源分配在WFLN,实现学习轮不仅是时间上相互依赖的,但也有不同的意义,对最终的学习成果。为此,我们首先设计数据驱动的实验,以表明不同的时间客户端选择模式导致相当不同的学习性能。与所获得的见解,我们制定了一个随机优化问题的联合客户端选择和带宽分配下的长期客户端的能量约束,并开发了一种新的算法,只利用目前可用的无线信道信息,但可以实现长期的性能保证。进一步的实验表明,我们的算法在所需的时间客户端选择模式的结果,是适应不断变化的网络环境,远远优于基准忽略FL的长期影响。
2020-04-09 cs.DC cs.LG
GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
University of British Columbia(不列颠哥伦比亚大学);Purdue University(普渡大学);Tianjin University(天津大学)
联邦学习(FL)是一种有效的技术,可以直接将边缘设备参与机器学习训练,同时保护客户端隐私。然而,FL的大量通信开销使得当边缘设备具有有限的网络带宽时训练具有挑战性。优化FL带宽的现有工作忽略了下游传输,并且没有考虑FL客户端采样。在本文中,我们提出了一个框架,它结合了新的客户端采样和模型压缩算法,以减轻低下载带宽的FL客户端。GALGOFL优先考虑最近使用的客户端,并限制每轮压缩掩码中更改位置的数量。在三种流行的FL数据集和三种最先进的策略中,GSTYLE FL平均将下游客户端带宽减少了27%,平均将训练时间减少了29%。
2022-12-03 cs.DC cs.LG
FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning
University of Central Florida(中央佛罗里达大学)
FMCL通过基础模型生成语义客户端签名,实现一次聚类,提升异构联邦学习性能并保持稳定性。
2026-04-30 cs.CV cs.LG
Federated Learning as a Network Effects Game
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
联邦学习(FL)旨在促进客户群体之间的协作,以提高机器学习的准确性,而无需直接共享本地数据。虽然有丰富的文献设计联邦学习算法,大多数以前的作品隐含地假设,所有的客户端都愿意参与FL计划。在实践中,客户可能不会从加入FL中受益,特别是考虑到与隐私和计算等问题相关的潜在成本。在这项工作中,我们研究了客户在联邦学习中的动机,以帮助服务提供商设计更好的解决方案,并确保客户做出更好的决策。我们是第一个将FL中的客户行为建模为网络效应游戏的公司,每个客户的利益取决于也加入网络的其他客户。使用这种设置,我们分析客户的参与动态和特征的均衡,没有客户有动机改变他们的决定。具体来说,我们表明,在人口动态自然收敛到平衡,而不需要明确的干预。最后,我们提供了一个具有成本效益的支付方案,激励客户端达到理想的平衡时,初始网络是空的。
2023-02-16 cs.DC cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.(壳牌全球解决方案国际有限公司);Delft University of Technology (TU Delft)(代尔夫特理工大学);Myant Inc.(迈安特公司)
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的,并且相对较慢,在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法(FLT),通过学习客户端之间的任务相关性来更有效地联合聚合异构数据,从而概括了这一方向。在一个一次性的过程中,服务器为客户端提供一个预先训练(和微调)的编码器,将其数据压缩成潜在的表示,并将其数据的签名传输回服务器。然后,服务器通过流形学习来学习客户端之间的任务相关性,并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图,当没有显式的客户端集群,以及有效地将其分解成(不相交)集群的联邦学习。我们证明,FLT不仅优于现有的国家的最先进的基线在非IID的情况下,但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Welfare and Fairness Dynamics in Federated Learning: A Client Selection Perspective
University of Minnesota(明尼苏达大学)
联邦学习(FL)是一种隐私保护学习技术,其使得分布式计算设备能够跨数据孤岛协作地训练共享学习模型。现有的FL工作主要集中在设计先进的FL算法,以提高模型的性能。然而,客户的经济考虑因素,如公平和激励,尚未得到充分探讨。如果没有这些考虑,自我激励的客户可能会失去兴趣并离开联合会。为了解决这个问题,我们设计了一个新的激励机制,包括客户选择过程,以消除低质量的客户和资金转移过程,以确保公平的奖励分配。实验结果表明,该激励机制能有效地提高联盟的持续时间和公平性。
2023-02-17 cs.LG stat.ML
EvoCSFL: Surrogate-Assisted Evolutionary Client Selection for Efficient and Robust Federated Learning
Jiangnan University(江南大学);The Hong Kong Polytechnic University(香港理工大学)
针对联邦学习中客户端数据与系统异构性导致收敛慢、鲁棒性差的问题,提出代理辅助的进化客户端选择框架,将选择问题建模为组合优化,用代理模型加速进化搜索,实验表明收敛更快、能耗更低、鲁棒性更强。
2026-06-05 cs.AI cs.LG