HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
Duke University(杜克大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
联邦学习(FL)是一种在分布在大量可能异构的客户端(如移动电话和物联网设备)上的私有数据上训练机器学习模型的方法。在这项工作中,我们提出了一个新的联邦学习框架命名为HeteroFL,以解决异构客户端配备了非常不同的计算和通信能力。我们的解决方案可以使不同的计算复杂度的异构局部模型的训练,仍然产生一个单一的全局推理模型。第一次,我们的方法挑战了现有工作的基本假设,即本地模型必须与全局模型共享相同的架构。我们展示了几种策略来增强FL训练,并进行了广泛的实证评估,包括三个数据集上的三个模型架构的五个计算复杂度级别。我们表明,自适应分布子网根据客户端的能力是计算和通信效率。
2021-12-14 cs.LG stat.ML
Differentially Private Federated Learning: A Client Level Perspective
SAP SE(思爱普股份公司);ETH Zurich(苏黎世联邦理工学院)
联邦学习是隐私保护领域的一个新进展。在这种情况下,受信任的策展人聚合多个客户端以分散方式优化的参数。然后将生成的模型分发回所有客户端,最终汇聚为一个联合代表模型,而无需显式地共享数据。然而,该协议容易受到差分攻击,这可能来自联邦优化过程中的任何一方。在这种攻击中,客户端在训练期间的贡献以及有关其数据集的信息通过分析分布式模型来揭示。我们解决这个问题,并提出了一个算法,客户端侧的差分隐私保护联邦优化。其目的是在训练过程中隐藏客户的贡献,平衡隐私损失和模型性能之间的权衡。实证研究表明,如果有足够多的参与客户端,我们提出的程序可以保持客户端级别的差分隐私,只有一个较小的成本模型的性能。
2018-03-01 cs.CR cs.LG stat.ML
FedCM: Federated Learning with Client-level Momentum
Peking University(北京大学);Tsinghua University(清华大学)
联邦学习是一种分布式机器学习方法,它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum(FedCM),以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息,并使用类似动量项修改客户端梯度下降,可以有效地纠正偏差,提高局部SGD的稳定性。我们提供了理论分析,以突出FedCM的好处。我们还进行了广泛的实证研究,并证明FedCM在各种任务中取得了优异的性能,并对不同级别的客户数量,参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此,由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST,一个无偏的算法,动态学习的可用性相关的客户端选择策略,渐近最小化的影响,客户端采样方差的全局模型收敛,提高性能的联邦学习。所提出的算法进行了测试,在各种设置下的间歇性可用的客户端通信的限制,和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上,我们的准确率分别比FedAvg提高了186%和8%,比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习(FedCS),通过揭示客户端对实例潜在表示的偏差,仅训练一个鲁棒全局模型即可直接部署到未见客户端,性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Learning to Detect Malicious Clients for Robust Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
联邦学习系统容易受到恶意客户端的攻击。由于系统中的中央服务器无法控制客户端的行为,因此流氓客户端可以通过向服务器发送恶意模型更新来发起攻击,从而降低学习性能或实施有针对性的模型中毒攻击(也称为“攻击”)。后门攻击)。因此,及时检测这些恶意模型更新和底层攻击者变得至关重要。在这项工作中,我们提出了一个新的框架,强大的联邦学习,中央服务器学习检测和删除恶意模型更新使用一个强大的检测模型,导致有针对性的防御。我们评估我们的解决方案在图像分类和情感分析任务与各种机器学习模型。实验结果表明,我们的解决方案确保了强大的联邦学习,是弹性的拜占庭攻击和有针对性的模型中毒攻击。
2020-02-01 cs.CR cs.LG stat.ML
Towards Fair Federated Learning with Zero-Shot Data Augmentation
Duke University(杜克大学);Samsung(三星);State University of New York at Buffalo(纽约州立大学布法罗分校)
联邦学习已经成为一种重要的分布式学习范式,其中服务器从许多客户端训练的模型中聚合全局模型,而不能访问客户端数据。虽然人们认识到,客户端本地数据的统计异质性会导致全局模型收敛较慢,但很少有人认识到,它也会导致有偏见的联合全局模型,在客户端之间具有很高的准确性差异。在这项工作中,我们的目标是提供联邦学习计划,提高公平性。为了应对这一挑战,我们提出了一种新的联邦学习系统,该系统在代表性不足的数据上采用zero-shot数据增强,以减轻统计异质性,并鼓励联邦网络中的客户端实现更均匀的准确性性能。我们研究了该方案的两个变体,Fed-ZDAC(在客户端具有zero-shot数据增强的联邦学习)和Fed-ZDAS(在服务器端具有zero-shot数据增强的联邦学习)。一组数据集上的实验结果表明,我们的方法在同时提高测试精度和公平性的有效性。
2021-04-27 cs.CV cs.LG stat.ML
Personalized Federated Learning with First Order Model Optimization
Stanford University(斯坦福大学);NVIDIA(英伟达)
虽然联邦学习传统上旨在跨分散的本地数据集训练单个全局模型,但一个模型可能并不总是适合所有参与的客户端。在这里,我们提出了一种替代方案,每个客户端只与其他相关客户端联合,以获得每个客户端特定目标的更强大的模型。为了实现这种个性化,而不是像传统FL那样为整个联邦计算具有恒定权重的单个模型平均值,我们根据计算出客户端可以从另一个模型中受益多少来有效地计算每个客户端的最佳加权模型组合。我们不假设任何底层数据分布或客户端相似性的知识,并允许每个客户端针对感兴趣的任意目标分布进行优化,从而实现更大的个性化灵活性。我们评估和描述我们的方法在各种联邦设置,数据集和本地数据异构性的程度。我们的方法优于现有的替代方案,同时还为个性化FL提供了新功能,例如在本地数据分布之外进行传输。
2021-03-26 cs.DC cs.LG stat.ML
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology(佐治亚理工学院)
联邦学习(FL)是一种新兴的分布式机器学习框架,用于与客户端(边缘设备)网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而,最近的研究表明,即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击,并侵犯客户端关于其训练数据的隐私。在本文中,我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析,以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据(例如,局部梯度或权重更新向量)。然后,我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量,评估和分析客户端隐私泄漏攻击的有效性时,使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略,以强调提供系统的攻击评估框架的重要性,以深入了解联邦学习中各种形式的客户端隐私泄露威胁,并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria(奥地利科学技术研究所)
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP,可在不共享数据的前提下实现联邦学习下的标签传播,在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Towards Federated Learning With Byzantine-Robust Client Weighting
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
联邦学习(FL)是一种分布式机器学习范例,其中数据分布在客户端之间,这些客户端在由中央服务器协调的计算过程中协作训练模型。通过根据每个客户端拥有的数据实例的比例为每个客户端分配权重,可以大大加快收敛到精确联合模型的速度。以前的一些作品在拜占庭环境中研究了FL,其中一小部分客户端可能会发送关于其模型的任意甚至恶意信息。然而,这些作品要么完全忽略了数据不平衡的问题,要么假设客户端的权重是先验已知的服务器,而在实践中,它很可能是由客户端自己向服务器报告的权重,因此不能依赖。我们首次提出了一种实用的基于权重截断的预处理方法,并通过经验证明它能够在模型质量和拜占庭鲁棒性之间取得良好的平衡。我们还建立分析,我们的方法可以应用于随机选择的客户端权重的样本。
2021-05-18 cs.CR cs.LG stat.ML
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs(埃森哲实验室);INRIA Sophia-Antipolis(索菲亚·安蒂波利斯国立计算机与自动化研究所);INRIA Paris(巴黎国立计算机与自动化研究所);DIENS - PSL(巴黎文理研究大学计算机科学系)
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题,提出SIFU方法,适用于凸与非凸优化,无需额外客户端计算成本,提供正式遗忘质量保证,并在实验中优于现有方法。
2024-03-16 cs.LG
Federated learning with incremental clustering for heterogeneous data
Institut LIST, CEA(法国原子能与替代能源委员会 LIST 研究所);Université Paris-Saclay(巴黎萨克雷大学)
联邦学习使各方能够在服务器的编排下协作构建全局模型,同时将训练数据保存在客户端的设备上。但是,当客户端具有异构数据时,性能会受到影响。为了解决这个问题,我们假设,尽管数据的异质性,有组的客户端谁拥有类似的数据分布,可以集群。在以前的方法中,为了集群客户端,服务器要求客户端同时发送它们的参数。然而,在存在可能具有有限可用性的大量参与者的上下文中,这可能是有问题的。为了防止这样的瓶颈,我们提出了FLIC(联邦学习与增量聚类),其中服务器利用客户端在联合训练期间发送的更新,而不是要求他们同时发送参数。因此,除了经典的联邦学习所需要的,服务器和客户机之间不需要额外的通信。我们经验证明,对于各种非IID的情况下,我们的方法成功地将客户端分成组,遵循相同的数据分布。我们还通过研究FLIC在联邦学习过程的早期阶段有效地划分客户端的能力来识别FLIC的局限性。我们进一步解决攻击模型作为一种形式的数据异构性和经验表明,FLIC是一个强大的防御中毒攻击,即使恶意客户端的比例高于50%。
2022-06-17 cs.LG
Personalized Federated Learning using Hypernetworks
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达公司)
个性化联邦学习的任务是为多个客户端训练机器学习模型,每个客户端都有自己的数据分布。目标是以协作方式训练个性化模型,同时考虑客户端之间的数据差异并降低通信成本。我们提出了一种新的方法来解决这个问题,使用超网络,称为pFedHN个性化的联邦超网络。在这种方法中,中央超网络模型被训练以生成一组模型,每个客户端一个模型。这种架构提供了跨客户端的有效参数共享,同时保持了生成独特和多样化的个人模型的能力。此外,由于超网络参数从来没有被传输,这种方法从可训练的模型大小的通信成本。我们在几个个性化的联邦学习挑战中对pFedHN进行了经验测试,发现它优于以前的方法。最后,由于超网络在客户端之间共享信息,我们表明pFedHN可以更好地推广到新客户端,其分布不同于训练过程中观察到的任何客户端。
2021-03-08 cs.LG
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Sony AI(索尼人工智能);Zhongguancun Laboratory(中关村实验室);Institute for Precision Medicine of Tsinghua University(清华大学精准医学研究院)
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题,提出数据均匀采样策略FedSampling,基于服务器期望样本量与总样本量进行本地数据采样,并结合差分隐私保护估计总样本量,有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University(巴伊兰大学);NVIDIA Research(英伟达研究院)
在联邦学习(FL)中,多个客户端通过中央服务器协作学习共享模型,同时保持数据分散。个性化联邦学习(PFL)通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中,所有客户端都参与训练过程,并且他们的标记数据用于训练。然而,实际上,新的客户端可能希望在部署预测服务之后加入预测服务,从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里,我们介绍了一种新的学习设置,按需无标签PFL(OD-PFL),其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题,ODPFL-HN,它学会为后期的一方客户端生成一个新的模型。具体来说,我们训练一个编码器网络,该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络,该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估,我们发现ODPFL-HN比当前的FL和PFL方法更好地推广,特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差,并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
由于联邦学习中的通信约束和间歇性客户端可用性,只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择,最近的工作有偏见的客户端选择表明,选择具有较高的本地损失的客户端可以提高误差收敛速度。然而,以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失,或利用陈旧的本地损失,这甚至可以使模型发散。在本文中,我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS,实现了更快的收敛,降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
研究联邦学习中客户端漂移问题,从频域新视角提供实验证据,提出 FedFFT 方法,过滤 SAM 扰动低频成分,无需额外通信,实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习(FL)的目标是训练模型,使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而,大多数个性化FL的工作都假设在所有客户端使用相同的模型架构,并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中,客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中,我们提出了一个个性化的FL框架,PerFed-CKT,客户端可以使用异构的模型架构,不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏,其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性,并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比,通信成本降低了几个数量级,实现了高测试精度。
2021-09-16 cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着人们对数据隐私的日益关注和数据量的快速增长,联邦学习(FL)已成为一种重要的学习范式。然而,在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务,因为与神经网络相关的复杂性,例如跨客户端的不同架构,神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络(FedHeNN)框架,允许每个客户端建立一个个性化的模型,而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化,同时仍然受益于其他(可能更强大的)客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明,FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.(谷歌公司)
联邦学习(FL)是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止,大多数FL算法在多轮中学习“全局”服务器模型。在每一轮,相同的服务器模型被广播到所有参与的客户端,在本地更新,然后跨客户端聚合。在这项工作中,我们提出了一个更一般的程序,客户端“选择”什么值发送给他们。值得注意的是,这允许客户端在更小的数据依赖切片上操作。为了实现这一点,我们概述了一个原始的,联邦选择,使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练,并表明它可以大幅减少通信和客户端内存使用,从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任,这反过来又影响可能的系统约束和设计的影响。最后,我们讨论了开放的问题,模型架构,隐私保护技术,和实际FL系统。
2022-08-19 cs.DC cs.LG
Personalized Federated Learning with Attention-based Client Selection
University of Virginia(弗吉尼亚大学)
提出FedACS算法,利用注意力机制选择相似数据分布的客户端,缓解非独立同分布和数据稀缺问题,提升个性化联邦学习性能。
2023-12-23 cs.IT cs.LG eess.SP
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin(柏林技术大学)
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法,以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong(香港大学)
针对联邦学习客户端选择中数据异构与计算负担问题,提出基于梯度投影的GPFL框架,通过比较下降方向并引入利用-探索机制,在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University(杜克大学)
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而,这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中,我们提出了第一个基于假客户端的模型中毒攻击,称为MPAF。具体来说,我们假设攻击者将假客户端注入联邦学习系统,并在训练期间将精心制作的假本地模型更新发送到云服务器,这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标,我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说,在每一轮联邦学习中,假客户端都会制作指向基础模型的假本地模型更新,并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明,MPAF可以显着降低测试精度的全球模型,即使采用经典的防御和范数裁剪,突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana(瑞士大学);INRAE Paris(巴黎国家农业研究院)
针对联邦学习中客户端演化行为难以解释的问题,提出联邦行为平面(FBPs)方法实现客户端行为的分析可视化,基于其识别的模式设计Federated Behavioural Shields聚合技术,防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València(巴塞罗那理工大学);Universitat Jaume I(Jaime I 大学);Openchip & Software Technologies S.L.(Openchip 及软件技术公司)
FedOUI通过OUI指标优化联邦聚合,利用激活结构信息提升异构环境下的聚合质量,优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
数据异构的联邦学习(FL)系统存在两个重要的收敛误差来源:1)在客户端执行多个局部优化步骤导致的客户端漂移误差; 2)只有一小部分边缘客户端参与每轮训练的事实导致的部分客户端参与误差。我们发现,其中,只有前者在文献中得到了显着的关注。为了弥补这一点,我们提出了FedVARP,一种新的方差减少算法应用在服务器上,消除了错误,由于部分客户端的参与。为此,服务器只需在内存中维护每个客户端的最新更新,并在每一轮中使用这些更新作为非参与客户端的代理更新。此外,为了减轻在服务器上的内存需求,我们提出了一种新的基于聚类的方差减少算法FederFedVARP。与以前提出的方法不同,FedVARP和FedVARP都不需要在客户端进行额外的计算或传递额外的优化参数。通过大量的实验,我们表明,FedVARP优于国家的最先进的方法,和FedVARP实现性能媲美FedVARP的内存需求少得多。
2022-07-28 cs.LG
Client Selection in Federated Learning: Principles, Challenges, and Opportunities
Bank of Jiangsu(江苏银行);Fudan University(复旦大学);Shandong University(山东大学);Ohio State University(俄亥俄州立大学);University of California, Davis(加州大学戴维斯分校)
本文系统综述了联邦学习中客户端选择这一新兴领域的最新进展、挑战与机遇,旨在解决客户端异构性问题并帮助从业者与研究者更好地理解和应用相关机制。
2023-07-26 cs.LG
Controlling Participation in Federated Learning with Feedback
Imperial College London(伦敦帝国理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对联邦学习客户端参与问题,提出基于控制论的确定性方法FedBack,通过积分反馈控制器动态调整参与率,实现全局收敛并提升50%通信与计算效率。
2025-05-27 cs.LG math.OC
Provably Secure Federated Learning against Malicious Clients
Duke University(杜克大学)
联邦学习使客户端能够协作学习共享的全局模型,而无需与云服务器共享其本地训练数据。然而,恶意客户端可以破坏全局模型,以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而,这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是,给定任何基础联邦学习算法,我们使用该算法学习多个全局模型,每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时,我们在全局模型中进行多数投票。我们表明,我们的集成联邦学习与任何基础联邦学习算法是可证明的安全,对恶意客户端。具体来说,我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外,我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如,当1,000个客户端中有20个是恶意客户端时,我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
FedGS: Federated Graph-based Sampling with Arbitrary Client Availability
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University(厦门大学信息学院福建省智慧城市感知与计算重点实验室);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
虽然联邦学习在优化机器学习模型而无需直接存取原始数据方面表现出了很好的效果,但其性能可能会受到间歇性客户端可用性的阻碍,这会减慢收敛速度并使最终学习模型产生偏差。在任意客户端可用性下实现稳定和无偏差的培训存在重大挑战。为了解决这些挑战,我们提出了一个名为Federated Graph-based Sampling(FedGS)的框架,以稳定全局模型更新并同时减轻任意客户端可用性的长期偏差。首先,我们使用数据分布依赖图(3DG)对客户端的数据相关性进行建模,该图有助于将采样的客户端数据彼此分开,这在理论上可以提高最佳模型更新的近似值。其次,受样本客户数据分布距离较远的约束,进一步最小化样本客户被抽样次数的方差,以减小长期偏差。为了验证FedGS的有效性,我们在七种客户端可用性模式下对三个数据集进行了实验。我们的实验结果证实了FedGS的优势,使一个公平的客户端采样方案,并提高模型的性能在任意客户端的可用性。我们的代码可在\url{https://github.com/WwZzz/FedGS}上获得。
2022-12-07 cs.LG
FedPCD: Priority-Constrained Federated Aggregation
American University of Sharjah(沙迦美国大学);Massachusetts Institute of Technology(麻省理工学院)
FedPCD是一种优先级约束的联邦优化框架,通过分离全局优化目标与客户端保护,在异质联邦学习基准中实现更高全局准确率、更优最差客户端准确率及更快收敛,性能优于现有最优基线。
2026-10-12 cs.LG
FedPrune: Towards Inclusive Federated Learning
LUMS(拉合尔管理科学大学)
联邦学习(FL)是一种分布式学习技术,它以隐私保护的方式在分布式数据上训练共享模型。不幸的是,FL的性能下降时,有(i)在计算和内存资源(系统异构性)和(ii)非IID数据分布在客户端(统计异构性)方面的客户端特性的变化。例如,在FL方案中,慢客户端会被丢弃,例如Federated Averaging(FedAvg),这不仅限制了整体学习,而且会使结果偏向于快客户端。我们提出FedPrune,一个系统,通过修剪慢客户端的设备特性的基础上的全球模型来应对这一挑战。通过这样做,慢客户端可以快速训练一个小模型并参与FL,从而提高测试的准确性和公平性。通过使用中心极限定理的见解,FedPrune采用了一种新的聚合技术,该技术在非IID数据上实现了强大的性能。实验结果表明,与联邦平均算法相比,Federated- Prune算法具有更好的公平性和鲁棒性.
2021-10-27 cs.LG
Learning-Based Client Selection for Federated Learning Services Over Wireless Networks with Constrained Monetary Budgets
Xiamen University(厦门大学);Western University(韦仕敦大学)
我们研究了无线网络中多个联邦学习(FL)服务的数据质量感知的动态客户端选择问题,每个客户端提供动态数据集用于同时训练多个FL服务,每个FL服务需求者必须在有限的货币预算下为客户端支付费用。该问题被形式化为一个非合作马尔可夫博弈的训练轮。提出了一种基于多智能体混合深度强化学习的算法,在避免动作冲突的同时,优化联合客户选择和支付动作。仿真结果表明,我们提出的算法可以显着提高训练性能。
2022-12-26 cs.AI cs.LG
Federated Mutual Learning
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);Huazhong University of Science and Technology(华中科技大学)
联邦学习(FL)支持在分散数据上协作训练深度学习模型。然而,有三种类型的异质性在FL设置带来了独特的挑战,规范的联邦学习算法(FedAvg)。首先,由于数据的非IID性,全局共享模型可能比仅在其私有数据上训练的局部模型性能更差;其次,中心服务器和客户端的目标可能不同,其中中心服务器寻求通用模型,而客户端追求个性化模型,并且客户端可能运行不同的任务;第三,客户端可能需要针对各种场景和任务设计其定制模型;在这项工作中,我们提出了一种新的联邦学习范式,命名为联邦相互学习(FML),处理这三个异质性。FML允许客户协同训练通用模型和独立训练个性化模型,并设计他们的私人定制模型。因此,数据的非IID性不再是一个错误,而是一个可以更好地为客户提供个性化服务的功能。实验结果表明,在典型的FL环境下,FML可以获得比替代方案更好的性能,客户端可以受益于不同的模型和任务的FML。
2020-09-17 cs.LG
FilFL: Client Filtering for Optimized Client Participation in Federated Learning
KAUST(阿卜杜拉国王科技大学);Purdue University(普渡大学)
本文提出FilFL框架,通过贪心过滤算法定期选择最大化组合目标函数的客户端子集参与训练,以优化联邦学习中的客户端参与,提升模型泛化能力、学习效率与收敛速度,实现约10%的准确率提升。
2024-08-29 cs.AI cs.DC cs.LG
Adversarial Client Detection via Non-parametric Subspace Monitoring in the Internet of Federated Things
Arizona State University(亚利桑那州立大学);University of Florida(佛罗里达大学);Clemson University(克莱姆森大学)
针对联邦物联网中联邦学习易遭对抗攻击的安全问题,提出非参数方法FedRR,利用传输参数更新的低秩特征检测对抗客户端,可在无攻击场景下控制误报率,经MNIST数字识别实验验证有效。
2023-10-02 cs.LG
An Empirical Study of Personalized Federated Learning
Osaka University(大阪大学)
联邦学习是一种分布式机器学习方法,其中单个服务器和多个客户端协作构建机器学习模型,而无需在客户端上共享数据集。联邦学习的一个挑战性问题是数据异构性(即,数据分布在客户端之间可能不同)。为了解决这个问题,许多联邦学习方法都是针对个性化的联邦学习,为客户建立优化的模型。虽然现有的研究经验性地评估了他们自己的方法,但实验设置(例如,比较方法、数据集和客户端设置)彼此不同,并且不清楚哪种个性化联邦成员学习方法实现了最佳性能以及通过使用这些方法而不是标准(即,非个性化)联邦学习。本文通过综合实验对现有个性化联邦学习的性能进行基准测试,评价每种方法的特点。我们的实验研究表明:(1)不存在冠军方法,(2)大数据异构性通常会导致高准确度的预测,以及(3)具有微调的标准联邦学习方法(例如FedAvg)通常优于个性化的方法。联邦学习方法。我们开放了我们的基准测试工具FedBench,供研究人员使用各种实验设置进行实验研究。
2022-06-27 cs.LG
Personalized Online Federated Learning with Multiple Kernels
University of California Irvine(加州大学尔湾分校)
本文提出一种基于随机特征近似的可扩展在线联邦多核学习算法,以低通信成本处理客户端数据异构性,并证明每个客户端享有次线性遗憾,实验验证其优于现有方法。
2023-11-09 cs.LG
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Sichuan University(四川大学);The Hong Kong Polytechnic University(香港理工大学)
联邦学习(FL)作为一种新型的分布式学习范式,在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入,以提高FL的鲁棒性。其中,原始-对偶算法,如交替方向的方法乘数(ADMM)已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而,背后的原因仍然是一个谜。在本文中,我们首先揭示了一个事实,即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性,但它的普通版本缺乏适应客户机异构程度的能力。此外,在客户端采样的服务器端的全局模型是有偏的,这减缓了实际收敛。为了超越ADMM,我们提出了一种新的原始-对偶FL算法,称为FedVRA,它允许一个自适应控制方差减少水平和全局模型的偏差。此外,FedVRA统一了几种典型的FL算法,它们要么是FedVRA的特殊实例,要么是接近FedVRA的实例,并将FedVRA扩展到半/无监督学习。基于(半)监督图像分类任务的实验表明,FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
Representation-Aligned Multi-Scale Personalization for Federated Learning
Department of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(南洋理工大学电气与电子工程学院)
本文提出FRAMP框架,通过生成客户端特定模型实现个性化和资源适应的联邦学习,提升泛化能力和适应性。
2026-04-13 cs.LG
FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning
Sungkyunkwan University(成均馆大学)
客户贡献评估,也称为数据估值,是联邦学习(FL)中客户选择和激励分配的关键方法。然而,由于原始数据的可访问性的限制,只有有限的信息,如每个客户端的本地权重和本地数据大小是开放的,以量化客户端的贡献。利用现有信息的数据大小,我们引入了一种经验评估方法,称为联邦客户贡献评估通过准确性近似(FedCCEA)。该方法建立了准确度近似模型(AAM),以样本数据量为输入,估计模拟测试的准确度,提取客户的数据质量和数据量来衡量客户的贡献。FedCCEA加强了一些优势:(1)支持客户端的数据大小选择,(2)无论客户端数量如何,都有可行的评估时间,以及(3)在非IID设置中的精确估计。我们证明了FedCCEA的优越性相比,以前的方法,通过几个实验:客户端的贡献分布,客户端删除,部分参与和鲁棒性测试。
2021-06-04 cs.AI cs.DC cs.GT
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India(IBM印度研究院)
联邦学习(FL)的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中,每个客户端的数据都是私有的,不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注,但在外语教学过程中,如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择(FRCS)。由于服务器对每个客户端拥有的数据的性质没有明确的控制,因此在FL设置中选择相关客户端的问题非常复杂。在本文中,我们解决重要的和相关的FRCS问题,即,选择具有相关数据的客户端,检测拥有与特定目标标签相关的数据的客户端,以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题,并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此,我们提出了一个合作的游戏,涉及到客户端共享的梯度。使用这个游戏,我们计算Shapley值的客户端,然后提出基于Shapley值的联邦平均(S-FedAvg)算法,使服务器选择相关的客户端具有高概率。事实证明,S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后,我们对图像分类和语音识别任务进行了全面的实证分析,以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
Maximizing Global Model Appeal in Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
联邦学习通常考虑在边缘客户端使用本地数据协作训练全局模型。客户可能有自己的个人要求,例如具有最小的训练损失阈值,他们希望全局模型能够满足这些要求。然而,由于客户端的异质性,全局模型可能无法满足每个客户端的要求,并且只有一小部分人可能会发现全局模型具有吸引力。在这项工作中,我们探讨的问题,全球模式缺乏吸引力的客户端,由于无法满足当地的要求。我们提出了MaxFL,旨在最大限度地增加发现全球模式吸引力的客户数量。我们表明,具有较高的全局模型吸引力对于保持足够的客户端进行训练非常重要,并且可以直接提高可见和不可见客户端的测试准确性。我们为MaxFL提供了收敛保证,并表明MaxFL实现了$22$ - $40\%$和$18$ - $50\%$测试精度分别为培训客户端和看不见的客户端的改进,相比广泛的FL建模方法,包括那些解决数据异构性,旨在激励客户端,并学习个性化或公平的模型。
2023-02-04 cs.LG
Client Selection and Bandwidth Allocation in Wireless Federated Learning Networks: A Long-Term Perspective
University of Miami(迈阿密大学)
本文研究了联邦学习(FL)在一个经典的无线网络,其中学习客户端共享一个共同的无线链路到协调服务器执行联邦模型训练使用他们的本地数据。在此类无线联邦学习网络(WFLN)中,优化学习性能至关重要,这取决于如何选择客户端以及如何在每轮学习中在所选客户端之间分配带宽,因为无线电和客户端能源资源都是有限的。虽然现有的工作已经做出了一些尝试,以分配有限的无线资源,以优化FL,他们专注于在个别学习轮的问题,忽略了一个固有的,但关键的特点,联邦学习。本文带来了一个新的长期的视角,资源分配在WFLN,实现学习轮不仅是时间上相互依赖的,但也有不同的意义,对最终的学习成果。为此,我们首先设计数据驱动的实验,以表明不同的时间客户端选择模式导致相当不同的学习性能。与所获得的见解,我们制定了一个随机优化问题的联合客户端选择和带宽分配下的长期客户端的能量约束,并开发了一种新的算法,只利用目前可用的无线信道信息,但可以实现长期的性能保证。进一步的实验表明,我们的算法在所需的时间客户端选择模式的结果,是适应不断变化的网络环境,远远优于基准忽略FL的长期影响。
2020-04-09 cs.DC cs.LG
GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
University of British Columbia(不列颠哥伦比亚大学);Purdue University(普渡大学);Tianjin University(天津大学)
联邦学习(FL)是一种有效的技术,可以直接将边缘设备参与机器学习训练,同时保护客户端隐私。然而,FL的大量通信开销使得当边缘设备具有有限的网络带宽时训练具有挑战性。优化FL带宽的现有工作忽略了下游传输,并且没有考虑FL客户端采样。在本文中,我们提出了一个框架,它结合了新的客户端采样和模型压缩算法,以减轻低下载带宽的FL客户端。GALGOFL优先考虑最近使用的客户端,并限制每轮压缩掩码中更改位置的数量。在三种流行的FL数据集和三种最先进的策略中,GSTYLE FL平均将下游客户端带宽减少了27%,平均将训练时间减少了29%。
2022-12-03 cs.DC cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur(蔚蓝海岸大学);Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安提波利斯分部);Accenture Labs(埃森哲实验室)
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案,通过引入随机聚合权重来表示客户端更新时间的可变性,例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置,客户端具有异构数据集,并执行至少一个步骤的随机梯度下降(SGD)。我们证明了这样一个计划的收敛性,并提供了足够的条件,相关的最小是最佳的联邦问题。我们表明,我们的一般框架适用于现有的优化方案,包括集中式学习,FedAvg,异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是,我们在这项工作中开发FedFix,FedAvg的一个新的扩展,使高效的异步联邦训练,同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明,异步FedAvg导致快速收敛的稳定性为代价,我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning
University of Central Florida(中央佛罗里达大学)
FMCL通过基础模型生成语义客户端签名,实现一次聚类,提升异构联邦学习性能并保持稳定性。
2026-04-30 cs.CV cs.LG
Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
FIPA通过参数级Fisher信息权重改进联邦学习,提升异构数据下的模型性能和准确性。
2026-01-20 cs.LG
Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
University of California Irvine(加州大学欧文分校)
针对动态非平稳环境下预训练模型难以适应流式数据实时预测的问题,本文提出一种结合本地微调模型与服务器多轮联邦模型的个性化联邦学习算法,理论与实验均验证了其在实时预测和联邦微调上的有效性。
2024-10-28 cs.LG
CCVA-FL: Cross-Client Variations Adaptive Federated Learning for Medical Imaging
针对医学成像联邦学习中跨客户端数据差异与标注有限的问题,提出CCVA-FL方法,通过公共特征空间转换、目标客户端选择及DiT生成合成图像等策略,有效提升模型性能且保护隐私。
2025-08-25 cs.AI cs.CV cs.LG
Similarity-Aware Personalized Federated Learning in Heterogeneous Environments
Deakin University(迪肯大学);Applied Artificial Intelligence Initiative(应用人工智能倡议)
针对异构环境下联邦学习的分布不匹配问题,提出SAPE-FL框架,通过双锚定机制平衡全局与对等知识,在高异构低数据场景下性能优于现有方法。
2026-09-03 cs.LG