Resilience Beyond Stationary Client Unavailability: Unlocking Efficient and Unbiased Federated Learning
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
针对实际联邦学习中客户端非静态不可用性问题,提出轻量高效的FedSWE算法,可补偿错过计算、稳定扩散全局更新,收敛性好且开销小,经实验验证其有效性。
2026-09-07 cs.DC cs.LG math.OC
On the Convergence of Federated Averaging with Cyclic Client Participation
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);HKUST(香港科技大学)
联邦平均(Federated Averaging,FedAvg)及其变体是联邦学习(Federated Learning,FL)中最流行的优化算法。以前的FedAvg收敛分析要么假设完全的客户端参与,要么假设部分客户端参与,其中客户端可以被统一采样。然而,在实际的跨设备FL系统中,在给定时间,只有满足本地标准(例如电池状态、网络连接和最大参与频率要求(以确保隐私))的客户端的子集可用于训练。因此,客户端可用性遵循自然的循环模式。我们提供(据我们所知)的第一个理论框架来分析FedAvg与循环客户端参与的收敛与几个不同的客户端优化器,如GD,SGD和洗牌SGD。我们的分析发现,循环的客户端参与可以实现更快的渐近收敛速度比香草FedAvg与均匀的客户端参与在适当的条件下,客户端采样协议的设计提供了有价值的见解。
2023-02-06 cs.DC cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.(谷歌公司)
联邦学习(FL)是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止,大多数FL算法在多轮中学习“全局”服务器模型。在每一轮,相同的服务器模型被广播到所有参与的客户端,在本地更新,然后跨客户端聚合。在这项工作中,我们提出了一个更一般的程序,客户端“选择”什么值发送给他们。值得注意的是,这允许客户端在更小的数据依赖切片上操作。为了实现这一点,我们概述了一个原始的,联邦选择,使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练,并表明它可以大幅减少通信和客户端内存使用,从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任,这反过来又影响可能的系统约束和设计的影响。最后,我们讨论了开放的问题,模型架构,隐私保护技术,和实际FL系统。
2022-08-19 cs.DC cs.LG
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong(香港大学)
针对联邦学习客户端选择中数据异构与计算负担问题,提出基于梯度投影的GPFL框架,通过比较下降方向并引入利用-探索机制,在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana(瑞士大学);INRAE Paris(巴黎国家农业研究院)
针对联邦学习中客户端演化行为难以解释的问题,提出联邦行为平面(FBPs)方法实现客户端行为的分析可视化,基于其识别的模式设计Federated Behavioural Shields聚合技术,防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
Controlling Participation in Federated Learning with Feedback
Imperial College London(伦敦帝国理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对联邦学习客户端参与问题,提出基于控制论的确定性方法FedBack,通过积分反馈控制器动态调整参与率,实现全局收敛并提升50%通信与计算效率。
2025-05-27 cs.LG math.OC
Federated Minimax Optimization with Client Heterogeneity
Carnegie Mellon University(卡内基梅隆大学)
随着GANs等现代应用的出现,极大极小优化的兴趣激增,它本质上比简单的最小化更具挑战性。驻留在多个边缘设备或\textit{clients}上的训练数据加剧了这种困难,特别是当这些客户端可以具有异构数据集和本地计算能力时。我们提出了一个通用的联邦极大极小优化框架,它包含了这样的设置和几个现有的方法,如本地SGDA。我们表明,天真的聚集异构本地进展的结果优化不匹配的目标函数-以前在标准联邦最小化观察到的现象。为了解决这个问题,我们建议通过连续通信回合之间进行的本地步骤的数量来规范化客户端更新。我们分析了所提出的算法的收敛性的非凸-凹和非凸-非凹函数的类和特征的异构客户端数据,部分客户端的参与,和异构本地计算的影响。我们的分析工作在更一般的假设下,客户端内的噪音和客户端间的异质性比迄今为止考虑在文献中。对于所有考虑的函数类,我们显着改善现有的计算和通信复杂性的结果。实验结果支持我们的理论主张。
2023-02-09 cs.DC cs.LG math.OC
Client Selection and Bandwidth Allocation in Wireless Federated Learning Networks: A Long-Term Perspective
University of Miami(迈阿密大学)
本文研究了联邦学习(FL)在一个经典的无线网络,其中学习客户端共享一个共同的无线链路到协调服务器执行联邦模型训练使用他们的本地数据。在此类无线联邦学习网络(WFLN)中,优化学习性能至关重要,这取决于如何选择客户端以及如何在每轮学习中在所选客户端之间分配带宽,因为无线电和客户端能源资源都是有限的。虽然现有的工作已经做出了一些尝试,以分配有限的无线资源,以优化FL,他们专注于在个别学习轮的问题,忽略了一个固有的,但关键的特点,联邦学习。本文带来了一个新的长期的视角,资源分配在WFLN,实现学习轮不仅是时间上相互依赖的,但也有不同的意义,对最终的学习成果。为此,我们首先设计数据驱动的实验,以表明不同的时间客户端选择模式导致相当不同的学习性能。与所获得的见解,我们制定了一个随机优化问题的联合客户端选择和带宽分配下的长期客户端的能量约束,并开发了一种新的算法,只利用目前可用的无线信道信息,但可以实现长期的性能保证。进一步的实验表明,我们的算法在所需的时间客户端选择模式的结果,是适应不断变化的网络环境,远远优于基准忽略FL的长期影响。
2020-04-09 cs.DC cs.LG
GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
University of British Columbia(不列颠哥伦比亚大学);Purdue University(普渡大学);Tianjin University(天津大学)
联邦学习(FL)是一种有效的技术,可以直接将边缘设备参与机器学习训练,同时保护客户端隐私。然而,FL的大量通信开销使得当边缘设备具有有限的网络带宽时训练具有挑战性。优化FL带宽的现有工作忽略了下游传输,并且没有考虑FL客户端采样。在本文中,我们提出了一个框架,它结合了新的客户端采样和模型压缩算法,以减轻低下载带宽的FL客户端。GALGOFL优先考虑最近使用的客户端,并限制每轮压缩掩码中更改位置的数量。在三种流行的FL数据集和三种最先进的策略中,GSTYLE FL平均将下游客户端带宽减少了27%,平均将训练时间减少了29%。
2022-12-03 cs.DC cs.LG
Federated Learning as a Network Effects Game
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
联邦学习(FL)旨在促进客户群体之间的协作,以提高机器学习的准确性,而无需直接共享本地数据。虽然有丰富的文献设计联邦学习算法,大多数以前的作品隐含地假设,所有的客户端都愿意参与FL计划。在实践中,客户可能不会从加入FL中受益,特别是考虑到与隐私和计算等问题相关的潜在成本。在这项工作中,我们研究了客户在联邦学习中的动机,以帮助服务提供商设计更好的解决方案,并确保客户做出更好的决策。我们是第一个将FL中的客户行为建模为网络效应游戏的公司,每个客户的利益取决于也加入网络的其他客户。使用这种设置,我们分析客户的参与动态和特征的均衡,没有客户有动机改变他们的决定。具体来说,我们表明,在人口动态自然收敛到平衡,而不需要明确的干预。最后,我们提供了一个具有成本效益的支付方案,激励客户端达到理想的平衡时,初始网络是空的。
2023-02-16 cs.DC cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.(壳牌全球解决方案国际有限公司);Delft University of Technology (TU Delft)(代尔夫特理工大学);Myant Inc.(迈安特公司)
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的,并且相对较慢,在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法(FLT),通过学习客户端之间的任务相关性来更有效地联合聚合异构数据,从而概括了这一方向。在一个一次性的过程中,服务器为客户端提供一个预先训练(和微调)的编码器,将其数据压缩成潜在的表示,并将其数据的签名传输回服务器。然后,服务器通过流形学习来学习客户端之间的任务相关性,并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图,当没有显式的客户端集群,以及有效地将其分解成(不相交)集群的联邦学习。我们证明,FLT不仅优于现有的国家的最先进的基线在非IID的情况下,但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Adaptive Determinantal Client Scheduling in Federated Learning
University of Toronto(多伦多大学);Ericsson(爱立信)
针对联邦学习中客户端调度忽视多样性的问题,提出基于行列式点过程的自适应调度算法ADCS,实现质量-多样性权衡,并给出收敛性分析,实验证明其优于现有算法。
2026-09-22 cs.DC cs.LG
Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies
Carnegie Mellon University(卡内基梅隆大学)
联邦学习是一种分布式优化范例,它使大量资源有限的客户端节点能够在没有数据共享的情况下协作训练模型。有几篇文章分析了联邦学习的收敛性,包括数据异构性、通信和计算限制以及部分客户端参与。然而,他们假设客户的参与是无偏见的,客户是随机选择的,或者是按照数据大小的比例选择的。在本文中,我们提出了第一个有偏见的客户端选择策略的联邦优化的收敛性分析,并量化选择偏见如何影响收敛速度。我们发现,偏置客户端的选择对客户端具有较高的本地损失实现更快的误差收敛。利用这一洞察力,我们提出了选择的力量,一个通信和计算效率的客户端选择框架,可以灵活地跨越收敛速度和解决方案之间的权衡。我们的实验表明,权力的选择策略收敛到3 $\times$更快,并给出$10$ %的测试精度比基线随机选择。
2020-10-03 cs.DC cs.LG stat.ML
Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces
UC San Diego(加州大学圣地亚哥分校);Czech Technical University(捷克技术大学);UCF(中佛罗里达大学)
通过将客户分组到集群中,分布式联邦学习(FL)已被证明可以产生有希望的结果。这在不同的客户端组在其本地数据分布方面存在显著差异的情况下尤其有效。现有的集群FL算法本质上是试图将具有相似分布的客户端分组在一起,以便同一集群中的客户端可以利用彼此的数据来更好地执行联邦学习。然而,现有的聚类FL算法试图在训练期间间接地学习这些分布相似性,这可能非常耗时,因为可能需要多轮联邦学习,直到聚类的形成稳定为止。在本文中,我们提出了一种新的方法来联邦学习,直接旨在通过分析客户端数据子空间之间的主要角度,有效地识别客户端之间的分布相似性。每个客户端以单次方式对其本地数据应用截断奇异值分解(SVD)步骤,以导出一小组主向量,从而提供简洁地捕获底层分布的主要特征的签名。将这一小组主向量提供给服务器,使得服务器可以直接识别客户端之间的分布相似性以形成集群。这是通过比较由这些主向量跨越的客户端数据子空间之间的主角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架,解决了广泛的数据异构性问题,超越了简单形式的非IID,如标签偏斜。我们的聚类FL方法还可以保证非凸目标的收敛性。我们的代码可在https://github.com/MMorafah/PACFL上获得。
2022-09-21 cs.AI cs.DC cs.LG
SAFL: Structure-Aware Personalized Federated Learning via Client-Specific Clustering and SCSI-Guided Model Pruning
本文提出SAFL框架,通过客户端特定聚类和SCSI引导的模型剪枝解决联邦学习中的高开销和本地数据不足问题,显著降低计算开销并提升异构数据环境下的推理准确性与模型效率。
2025-01-30 cs.DC cs.LG
Semi-decentralized Federated Time Series Prediction with Client Availability Budgets
Department of Electrical and Software Engineering, University of Calgary(电气与软件工程系,卡尔加里大学);Department of Geomatics Engineering, University of Calgary(测绘工程系,卡尔加里大学)
针对联邦学习中客户端能量与可用预算受限问题,提出半去中心化客户端选择方法FedDeCAB,通过概率排序选客户端、离线时从近邻获取参数优化,在多场景下均有效。
2025-09-03 cs.DC cs.LG
Provably Secure Federated Learning against Malicious Clients
Duke University(杜克大学)
联邦学习使客户端能够协作学习共享的全局模型,而无需与云服务器共享其本地训练数据。然而,恶意客户端可以破坏全局模型,以预测用于测试示例的不正确标签。针对恶意客户端的现有防御利用拜占庭健壮的联邦学习方法。然而,这些方法不能证明地保证用于测试示例的预测标签不受恶意客户端的影响。我们通过集成联邦学习来弥合这一差距。特别是,给定任何基础联邦学习算法,我们使用该算法学习多个全局模型,每个模型都是使用随机选择的客户端子集学习的。在预测测试样本的标签时,我们在全局模型中进行多数投票。我们表明,我们的集成联邦学习与任何基础联邦学习算法是可证明的安全,对恶意客户端。具体来说,我们的集成全局模型预测的测试示例的标签是可证明不受恶意客户端的有限数量的影响。此外,我们证明了我们导出的界是紧的。我们在MNIST和人类活动识别数据集上评估了我们的方法。例如,当1,000个客户端中有20个是恶意客户端时,我们的方法可以在MNIST上实现88%的认证准确率。
2021-10-27 cs.CR cs.DC cs.LG
FedProto: Federated Prototype Learning across Heterogeneous Clients
University of Technology Sydney(悉尼科技大学);University of Washington(华盛顿大学);University of Maryland(马里兰大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
联邦学习(FL)中,当客户知识在梯度空间中聚集时,客户间的异质性会影响优化收敛和泛化性能。例如,客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面不同,这可能容易导致其局部梯度的不对准。为了提高对异构性的容忍度,我们提出了一种新的联邦原型学习(FedProto)框架,在该框架中,客户端和服务器之间的通信抽象类原型,而不是梯度。FedProto将从不同客户端收集的本地原型进行聚合,然后将全局原型发送回所有客户端,以规范本地模型的训练。对每个客户端的训练旨在最大限度地减少本地数据的分类错误,同时保持所产生的本地原型与相应的全局原型足够接近。此外,我们提供了一个理论分析FedProto的收敛速度下的非凸目标。在实验中,我们提出了一个为异构FL量身定制的基准设置,FedProto在多个数据集上的表现优于最近的几种FL方法。
2022-03-05 cs.DC cs.LG
FilFL: Client Filtering for Optimized Client Participation in Federated Learning
KAUST(阿卜杜拉国王科技大学);Purdue University(普渡大学)
本文提出FilFL框架,通过贪心过滤算法定期选择最大化组合目标函数的客户端子集参与训练,以优化联邦学习中的客户端参与,提升模型泛化能力、学习效率与收敛速度,实现约10%的准确率提升。
2024-08-29 cs.AI cs.DC cs.LG
FedAL: Black-Box Federated Knowledge Distillation Enabled by Adversarial Learning
School of Information Engineering, Guangdong University of Technology(广东工业大学信息工程学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院)
本文提出FedAL框架,通过服务器作为判别器的对抗学习缓解联邦知识蒸馏中的数据异构性问题,并设计少遗忘正则化防止灾难性遗忘,实验证明其准确率优于其他基线方法。
2024-06-02 cs.DC cs.LG
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India(IBM印度研究院)
联邦学习(FL)的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中,每个客户端的数据都是私有的,不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注,但在外语教学过程中,如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择(FRCS)。由于服务器对每个客户端拥有的数据的性质没有明确的控制,因此在FL设置中选择相关客户端的问题非常复杂。在本文中,我们解决重要的和相关的FRCS问题,即,选择具有相关数据的客户端,检测拥有与特定目标标签相关的数据的客户端,以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题,并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此,我们提出了一个合作的游戏,涉及到客户端共享的梯度。使用这个游戏,我们计算Shapley值的客户端,然后提出基于Shapley值的联邦平均(S-FedAvg)算法,使服务器选择相关的客户端具有高概率。事实证明,S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后,我们对图像分类和语音识别任务进行了全面的实证分析,以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
FedSS: Federated Learning with Smart Selection of clients
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对联邦学习现有客户端选择机制歧视慢速客户端、导致训练偏见的问题,提出FedSS,通过智能客户端选择与调度在快速收敛和客户端异构性之间取得平衡。
2023-09-26 cs.DC cs.LG cs.NI
Multi-Criteria Client Selection and Scheduling with Fairness Guarantee for Federated Learning Service
University of Memphis(孟菲斯大学);Shenzhen University(深圳大学)
针对联邦学习中的客户端选择与调度问题,提出一种多准则公平性保证方案,通过两阶段贪心与启发式算法,在预算内最大化得分并确保每个客户端至少被选一次,实验证明在非独立同分布数据下能提升模型质量。
2023-12-05 cs.DC cs.LG
FedCM: Federated Learning with Client-level Momentum
Peking University(北京大学);Tsinghua University(清华大学)
联邦学习是一种分布式机器学习方法,它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum(FedCM),以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息,并使用类似动量项修改客户端梯度下降,可以有效地纠正偏差,提高局部SGD的稳定性。我们提供了理论分析,以突出FedCM的好处。我们还进行了广泛的实证研究,并证明FedCM在各种任务中取得了优异的性能,并对不同级别的客户数量,参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory(阿贡国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);VMWare Research(威睿研究院);The University of Chicago(芝加哥大学)
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题,提出带算力感知调度器的半异步算法FedCompass,兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Towards Client Driven Federated Learning
Southeast University(东南大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对传统联邦学习服务器驱动模式的局限,提出客户端驱动的联邦学习框架CDFL,让客户端异步发起更新,服务器维护聚类模型并优化估计,实现快速适应新任务,提升性能与计算效率。
2024-05-24 cs.DC cs.LG
Optimal Client Sampling for Federated Learning
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
众所周知,客户机-主机通信可能是联邦学习中的主要瓶颈。在这项工作中,我们解决了这个问题,一个新的客户端二次抽样方案,我们限制了客户端的数量允许他们的更新通信回主节点。在每一轮通信中,所有参与的客户端都计算它们的更新,但只有那些具有“重要”更新的客户端才与主服务器通信。我们表明,重要性可以衡量,只使用规范的更新,并给出了一个公式,最佳的客户端参与。这个公式最小化了完全更新(所有客户端都参与)和有限更新(参与客户端的数量受到限制)之间的距离。此外,我们提供了一个简单的算法,近似的客户端参与,这只需要安全的聚合,从而不会损害客户端的隐私的最佳公式。我们从理论上和经验上表明,对于分布式SGD(DSGD)和联邦平均(FedAvg),我们的方法的性能可以接近充分参与,并优于参与客户端均匀采样的基线。此外,我们的方法是正交的,并与现有的方法,以减少通信开销,如本地方法和通信压缩方法兼容。
2022-08-22 cs.DC cs.LG
Debiasing Federated Learning with Correlated Client Participation
Northwestern University(西北大学);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
针对跨设备联邦学习中客户端非均匀、跨轮相关参与导致的偏差,本文用马尔可夫链建模并分析最小间隔机制,提出可在未知可用性分布下收敛至无偏最优解的 FedAvg 去偏算法。
2024-10-02 cs.DC cs.LG
Distributionally Robust Federated Learning with Multi-Source Data
Peking University(北京大学);University of Groningen(格罗宁根大学)
针对联邦学习中客户端混合比例未知及客户端内分布模糊问题,提出构建全局模糊集并开发联邦算法,提供样本外性能保证并验证有效性。
2026-09-18 cs.LG math.OC
Federated Self-supervised Learning for Heterogeneous Clients
University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习由于其隐私性和计算性的优点而成为一种重要的学习范式。随着该领域的发展,仍然需要解决的两个关键挑战是:(1)系统异构性-每个客户端上存在的计算和/或数据资源的可变性,以及(2)在某些联合设置中缺乏标记数据。最近的一些事态发展试图独立地克服这些挑战。在这项工作中,我们提出了一个统一的和系统的框架,\emph{Heterogeneous Self-supervised Federated Learning}(异质SSFL),使自监督学习与联邦异构客户端。所提出的框架允许协作表示学习在所有的客户端,而不施加架构约束或要求存在的标记数据。Hetero-SSFL的核心思想是让每个客户端训练其独特的自监督模型,并通过在公共数据集上对齐低维表示来实现跨客户端的联合学习。整个训练过程可以被视为自我和同行监督,因为本地训练和对齐过程都不需要存在任何标记数据。与传统的自监督学习一样,所获得的客户端模型与任务无关,可以用于不同的终端任务。我们提供了一个收敛性的保证,所提出的框架,在异构环境中的非凸目标,也经验证明,我们提出的方法优于最先进的方法的显着利润率。
2022-05-31 cs.DC cs.LG
Efficient Client Selection in Federated Learning
University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本文提出一种结合差分隐私与容错机制的自适应联邦学习客户端选择框架,在UNSW-NB15和ROAD数据集上实现准确率提升7%且训练时间减少25%。
2025-01-25 cs.AI cs.DC cs.LG
FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning
Sungkyunkwan University(成均馆大学)
客户贡献评估,也称为数据估值,是联邦学习(FL)中客户选择和激励分配的关键方法。然而,由于原始数据的可访问性的限制,只有有限的信息,如每个客户端的本地权重和本地数据大小是开放的,以量化客户端的贡献。利用现有信息的数据大小,我们引入了一种经验评估方法,称为联邦客户贡献评估通过准确性近似(FedCCEA)。该方法建立了准确度近似模型(AAM),以样本数据量为输入,估计模拟测试的准确度,提取客户的数据质量和数据量来衡量客户的贡献。FedCCEA加强了一些优势:(1)支持客户端的数据大小选择,(2)无论客户端数量如何,都有可行的评估时间,以及(3)在非IID设置中的精确估计。我们证明了FedCCEA的优越性相比,以前的方法,通过几个实验:客户端的贡献分布,客户端删除,部分参与和鲁棒性测试。
2021-06-04 cs.AI cs.DC cs.GT
Client Selection Approach in Support of Clustered Federated Learning over Wireless Edge Networks
Hamad Bin Khalifa University(哈马德·本·哈利法大学)
针对数据不平衡、非独立同分布的情况,提出了一种有效的联合多任务学习方法(CFL).(非独立和同分布)时尚之间的客户。虽然相似性度量指标(如余弦相似性)可用于为客户端组赋予专门的模型,但此过程可能很艰巨,因为服务器应在每一轮联邦学习中涉及所有客户端。因此,由于网络边缘的有限带宽和延迟约束,必须定期选择客户端的子集。为此,本文提出了一种新的客户端选择算法,旨在加快收敛速度,以获得专门的机器学习模型,实现高测试精度的所有客户端组。具体来说,我们引入了一种客户端选择方法,利用设备的异构性,根据其轮延迟来调度客户端,并利用带宽重用的客户端,消耗更多的时间来更新模型。然后,服务器执行模型平均并基于预定义的阈值对客户端进行聚类。当一个特定的集群到达一个稳定点,该算法使用贪婪调度算法,该组通过选择具有较少的延迟来更新模型的客户端。大量的实验表明,该方法降低了训练时间,加快了收敛速度高达50%,同时为每个客户端注入了适合其本地数据分布的专用模型。
2021-08-16 cs.DC cs.LG
Federated Graph Learning with Graphless Clients
University of Virginia(弗吉尼亚大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Computer Science(计算机科学系)
针对部分客户端仅有节点特征而无图结构的联邦图学习问题,提出框架FedGLS,通过本地图学习器、特征编码器与GNN模型结合知识蒸馏机制实现结构知识跨客户端传输,实验证明其优于五个基线。
2024-11-13 cs.DC cs.LG
Beyond the Federation: Topology-aware Federated Learning for Generalization to Unseen Clients
University of Delaware(特拉华大学)
针对联邦学习在未知客户端上泛化差且难以扩展的问题,提出利用隐私保护客户端拓扑的 TFL 框架,并验证其 OOF 鲁棒性与可扩展性。
2024-07-06 cs.DC cs.LG
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning
School of Computer Science, Fudan University(复旦大学计算机科学学院);Tandon School of Engineering, New York University(纽约大学坦登工程学院)
针对联邦学习客户端优化中加速与稳定性难以兼顾的问题,提出FedCAda,通过客户端Adam矩估计自适应修正和服务器端参数聚合,在CV与NLP任务上实现更优收敛、稳定性和整体性能。
2024-05-20 cs.DC cs.LG
Heterogeneity-Aware Client Selection Methodology For Efficient Federated Learning
University of Oregon, US(俄勒冈大学);Boston College, US(波士顿学院);Microsoft Research, India(微软研究院)
Terraform通过梯度更新和确定性算法选择异质性客户端,提升联邦学习的准确率至47%以上。
2026-02-24 cs.DC cs.LG
Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning
University of Science and Technology of China(中国科学技术大学)
联邦学习(FL)允许多个客户机协作训练模型而不公开本地数据。然而,现有的工作未能解决所有这些实际问题在FL:有限的通信资源,动态的网络条件和异构的客户端属性,这减慢了FL的收敛。为了解决上述挑战,我们提出了一个异构性感知FL框架,称为FedCG,自适应客户端选择和梯度压缩。具体地,参数服务器(PS)考虑统计异质性选择代表性客户端子集,并将全局模型发送给它们。在本地训练之后,这些选定的客户端将与其能力相匹配的压缩模型更新上传到PS以进行聚合,这显著地减轻了通信负载并减轻了掉队者效应。我们从理论上分析了客户端选择和梯度压缩对收敛性能的影响。在导出的收敛速度的指导下,我们开发了一种基于迭代的算法,使用子模最大化和线性规划来联合优化客户端选择和压缩比决策。在真实世界的原型和模拟上的大量实验表明,与其他方法相比,FedCG可以提供高达5.3 $\times$的加速比。
2022-12-19 cs.DC cs.LG
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies(HCL科技公司)
联邦学习(FL)是一种新兴技术,用于协作训练全局机器学习模型,同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同(非IID)数据分布,这会减慢收敛速度并降低性能。为了解决这个根本问题,我们提出了一种方法(ComFed),它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明,ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients
The Hong Kong University of Science and Technology(香港科技大学);Southeast University(东南大学)
针对异构客户端下FedAvg同步慢的问题,提出异步联邦学习框架DeFedAvg,允许客户端按自身节奏使用陈旧模型训练,在保证收敛速率的同时首次实现线性加速。
2024-02-17 cs.DC cs.LG
Version age-based client scheduling policy for federated learning
ZJU-UIUC Institute, Zhejiang University(浙江大学ZJU-UIUC联合学院)
针对联邦学习中客户端调度导致的过时更新问题,提出基于版本年龄信息(VAoI)的调度策略,兼顾时效与内容,最小化平均VAoI,提升系统稳定性。
2024-02-08 cs.DC cs.LG
Greedy Shapley Client Selection for Communication-Efficient Federated Learning
IIT Bombay(印度理工学院孟买分校);Aalborg University(奥尔堡大学)
针对联邦学习中客户端异质性导致收敛慢的问题,提出基于Shapley值快速近似的贪心客户端选择策略GreedyFed,在通信轮次受限下实现快速稳定收敛和高精度。
2024-02-07 cs.DC cs.LG
TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients
Technical University of Munich(慕尼黑工业大学)
针对联邦学习中客户端计算受限导致的收敛慢问题,提出TurboSVM-FL聚合策略,利用SVM进行选择性聚合和最大间隔正则化,在不增加客户端负担下加速收敛,并在多个数据集上优于现有算法。
2025-04-25 cs.DC cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此,由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST,一个无偏的算法,动态学习的可用性相关的客户端选择策略,渐近最小化的影响,客户端采样方差的全局模型收敛,提高性能的联邦学习。所提出的算法进行了测试,在各种设置下的间歇性可用的客户端通信的限制,和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上,我们的准确率分别比FedAvg提高了186%和8%,比FedAdam提高了8%和7%。
2022-05-13 cs.LG
RobustFSM: Submodular Maximization in Federated Setting with Malicious Clients
Department of Computer Science, University of Massachusetts, Boston, USA(计算机科学系,马萨诸塞大学波士顿分校)
针对联邦子模最大化中恶意客户端共享虚假信息的问题,本文提出鲁棒的RobustFSM方案,并通过真实数据集验证其在严重攻击下解质量可显著优于传统联邦算法,提升幅度最高达200%。
2025-11-08 cs.AI cs.DC cs.LG
FedCor: Correlation-Based Active Client Selection Strategy for Heterogeneous Federated Learning
Duke University(杜克大学);Tsinghua University(清华大学)
在联邦学习(FL)中,客户端数据异构性是阻碍有效训练的主要问题之一。由于每个客户端上的数据分布可能会有很大的不同,客户端选择策略可以显着影响FL过程的收敛速度。主动客户选择策略是近年来研究的热点。然而,他们忽略了客户端之间的损失相关性,并实现了边际改善相比,统一的选择策略。在这项工作中,我们提出了FedCor --一个建立在基于相关性的客户选择策略上的FL框架,以提高FL的收敛速度。具体来说,我们首先使用高斯过程(GP)对客户之间的损失相关性进行建模。基于GP模型,我们得到了一个客户端选择策略,在每一轮的预期全球损失显着减少。此外,我们开发了一个有效的GP训练方法,在FL场景下,通过利用协方差平稳性的低通信开销。实验结果表明,与现有方法相比,FedCorr算法在FMNIST和CIFAR-10上的收敛速度分别提高了$34\%\sim 99\%$和$26\%\sim 51\%$.
2022-03-24 cs.DC cs.LG
Unlocking Dynamic Inter-Client Spatial Dependencies: A Federated Spatio-Temporal Graph Learning Method for Traffic Flow Forecasting
针对联邦场景下交通流预测难以建模动态客户端间空间依赖的问题,提出FedSTGD框架,通过分解模块、嵌入增强模块与协同协议实现动态依赖建模,实验证明其性能优于现有联邦基线、接近集中式方法且鲁棒性强。
2025-11-13 cs.DC cs.LG
Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
University of Nevada, Reno(内华达大学拉斯维加斯分校)
提出Fed-pilot框架,通过背包优化选择LoRA模块子集,并采用动态补偿聚合规则,解决异构客户端内存约束下的联邦微调问题,实验证明其有效性和高效性。
2025-06-20 cs.DC cs.LG
Anomalous Client Detection in Federated Learning
University of Calabria(卡拉布里亚大学)
针对联邦学习中的恶意攻击和客户端漂移问题,提出异常客户端检测算法,通过移除异常客户端提升系统安全与效率,相比随机选择减少约50%通信轮次。
2024-11-03 cs.CR cs.DC cs.LG
Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
Rochester Institute of Technology(罗切斯特理工学院);The Ohio State University(俄亥俄州立大学);Wayne State University(韦恩州立大学);Duke University(杜克大学)
针对不完整客户端参与问题,本文首次从理论上证明传统FL不可PAC学习而SA-FL可恢复可学习性,并提出SAFARI算法,享有线性收敛加速保证,实验验证其显著提升性能。
2024-05-25 cs.DC cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习(FedCS),通过揭示客户端对实例潜在表示的偏差,仅训练一个鲁棒全局模型即可直接部署到未见客户端,性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark(丹麦技术大学)
我们提出了一种联邦学习方法,用于在数据在客户端之间非相同和非独立分布(非IID)时学习客户端自适应的鲁棒模型。通过模拟异构客户端,我们表明,添加学习的客户端特定的条件提高模型的性能,该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现,并且当每个客户端的数据分布之间存在很大差异时特别有益,这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks
University of Electronic Science and Technology of China(电子科技大学);Pengcheng Laboratory(鹏城实验室);Mohamed Bin Zayed University Of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
联邦学习作为一种分布式机器学习方法越来越受欢迎,可用于部署依赖AI的物联网应用程序,同时保护客户端数据隐私和安全。由于客户端的差异性,单一的全局模型不一定能在所有客户端上表现良好,因此为每个客户端训练更适合其个性化需求的个性化模型的个性化联邦学习方法成为研究热点。然而,大多数个性化的联邦学习研究都集中在数据异构性上,而忽略了模型架构异构性的需求。现有的大多数联邦学习方法都统一设置了所有参与联邦学习的客户端的模型架构,这对于每个客户端的个体模型和本地数据分布要求都不方便,也增加了客户端模型泄露的风险。提出了一种基于协同训练和生成对抗网络(GANs)的联邦学习方法,允许每个客户端设计自己的模型独立参与联邦学习训练,而无需与其他客户端或中心共享任何模型架构或参数信息。在我们的实验中,所提出的方法优于现有的方法在平均测试精度的42%时,客户端的模型架构和数据分布变化显着。
2022-02-18 cs.LG