FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning
Sungkyunkwan University(成均馆大学)
客户贡献评估,也称为数据估值,是联邦学习(FL)中客户选择和激励分配的关键方法。然而,由于原始数据的可访问性的限制,只有有限的信息,如每个客户端的本地权重和本地数据大小是开放的,以量化客户端的贡献。利用现有信息的数据大小,我们引入了一种经验评估方法,称为联邦客户贡献评估通过准确性近似(FedCCEA)。该方法建立了准确度近似模型(AAM),以样本数据量为输入,估计模拟测试的准确度,提取客户的数据质量和数据量来衡量客户的贡献。FedCCEA加强了一些优势:(1)支持客户端的数据大小选择,(2)无论客户端数量如何,都有可行的评估时间,以及(3)在非IID设置中的精确估计。我们证明了FedCCEA的优越性相比,以前的方法,通过几个实验:客户端的贡献分布,客户端删除,部分参与和鲁棒性测试。
2021-06-04 cs.AI cs.DC cs.GT
Federated Noisy Client Learning
University of Macau(澳门大学);Hong Kong Baptist University(香港浸会大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
联邦学习(FL)根据多个本地客户端协作训练共享的全局模型,同时保持训练数据分散,以保护数据隐私。然而,标准FL方法忽略了嘈杂的客户端问题,这可能会损害共享模型的整体性能。我们首先调查FL中嘈杂客户端引起的关键问题,并根据不同层学习的表示来量化嘈杂客户端的负面影响。我们有以下两个关键观察结果:(1)嘈杂的客户端可能严重影响FL中全局模型的收敛性和性能,以及(2)嘈杂的客户端可能会在全局模型的较深层中引起比前几层更大的偏差。基于上述观察,我们提出了Fed-NCL,一个框架,进行鲁棒的联邦学习与嘈杂的客户端。具体地说,Fed-NCL首先通过估计数据质量和模型分歧来识别噪声客户端。然后,鲁棒分层聚合提出了自适应聚合每个客户端的本地模型,以处理噪声客户端造成的数据异构性。我们进一步对噪声客户端执行标签校正,以提高全局模型的泛化能力。在各种数据集上的实验结果表明,我们的算法提高了不同的国家的最先进的系统与嘈杂的客户端的性能。我们的代码可在https://github.com/TKH666/Fed-NCL上获得
2022-12-01 cs.AI cs.CV cs.DC
Efficient Client Selection in Federated Learning
University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本文提出一种结合差分隐私与容错机制的自适应联邦学习客户端选择框架,在UNSW-NB15和ROAD数据集上实现准确率提升7%且训练时间减少25%。
2025-01-25 cs.AI cs.DC cs.LG
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark(丹麦技术大学)
我们提出了一种联邦学习方法,用于在数据在客户端之间非相同和非独立分布(非IID)时学习客户端自适应的鲁棒模型。通过模拟异构客户端,我们表明,添加学习的客户端特定的条件提高模型的性能,该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现,并且当每个客户端的数据分布之间存在很大差异时特别有益,这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
Towards Fair, Robust and Efficient Client Contribution Evaluation in Federated Learning
University of Memphis(孟菲斯大学)
本文提出FRECA方法,利用FedTruth框架估计全局模型真实更新,平衡客户端贡献并过滤恶意影响,实现对联邦学习客户端贡献的公平、稳健且高效评估。
2024-02-06 cs.AI cs.CR cs.DC
RobustFSM: Submodular Maximization in Federated Setting with Malicious Clients
Department of Computer Science, University of Massachusetts, Boston, USA(计算机科学系,马萨诸塞大学波士顿分校)
针对联邦子模最大化中恶意客户端共享虚假信息的问题,本文提出鲁棒的RobustFSM方案,并通过真实数据集验证其在严重攻击下解质量可显著优于传统联邦算法,提升幅度最高达200%。
2025-11-08 cs.AI cs.DC cs.LG
Federated Learning Client Pruning for Noisy Labels
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Central Florida(中佛罗里达大学)
本文提出ClipFL框架,通过噪声候选分数(NCS)识别并排除噪声客户端,在干净客户端上微调全局模型,有效解决联邦学习中的噪声标签问题,提升性能并降低通信成本。
2024-11-11 cs.AI cs.CV cs.DC
Scalable Federated Learning for Clients with Different Input Image Sizes and Numbers of Output Categories
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心)
针对联邦学习中客户端输入图像尺寸和输出类别数量异构的问题,提出ScalableFL方法,通过调整本地模型深度和宽度以适应客户端,并给出泛化差距新界,在图像分类和目标检测任务中验证了有效性。
2023-11-15 cs.CR cs.CV cs.LG
Anomalous Client Detection in Federated Learning
University of Calabria(卡拉布里亚大学)
针对联邦学习中的恶意攻击和客户端漂移问题,提出异常客户端检测算法,通过移除异常客户端提升系统安全与效率,相比随机选择减少约50%通信轮次。
2024-11-03 cs.CR cs.DC cs.LG
Client-Side Patching against Backdoor Attacks in Federated Learning
针对联邦学习中的后门攻击,提出结合对抗学习与模型补丁的客户端防御机制,在MNIST和Fashion-MNIST上有效降低后门准确率并保持干净数据准确率,优于现有防御方法。
2024-12-20 cs.AI cs.CR cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
由于联邦学习中的通信约束和间歇性客户端可用性,只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择,最近的工作有偏见的客户端选择表明,选择具有较高的本地损失的客户端可以提高误差收敛速度。然而,以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失,或利用陈旧的本地损失,这甚至可以使模型发散。在本文中,我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS,实现了更快的收敛,降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.(谷歌公司)
联邦学习(FL)是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止,大多数FL算法在多轮中学习“全局”服务器模型。在每一轮,相同的服务器模型被广播到所有参与的客户端,在本地更新,然后跨客户端聚合。在这项工作中,我们提出了一个更一般的程序,客户端“选择”什么值发送给他们。值得注意的是,这允许客户端在更小的数据依赖切片上操作。为了实现这一点,我们概述了一个原始的,联邦选择,使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练,并表明它可以大幅减少通信和客户端内存使用,从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任,这反过来又影响可能的系统约束和设计的影响。最后,我们讨论了开放的问题,模型架构,隐私保护技术,和实际FL系统。
2022-08-19 cs.DC cs.LG
Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection
Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)是一种分布式机器学习范式,允许客户端在自己的本地数据上协作训练模型。FL保证了客户端的隐私,其安全性可以通过诸如加性同态加密(HE)的密码学方法来加强。然而,FL的效率可能会严重受到客户之间的数据分布差异和全局分布偏度的统计异质性的影响。我们从数学上证明了FL性能下降的原因,并在各种数据集上检查FL的性能。为了解决统计异质性问题,我们提出了一种可插拔的系统级客户端选择方法Dubhe,它允许客户端主动参与训练,同时在HE的帮助下保护他们的隐私。实验结果表明,Dubhe算法在分类精度上与最优贪婪算法相当,而加密和通信开销可以忽略不计。
2021-09-08 cs.CR cs.DC cs.LG
FedCM: Federated Learning with Client-level Momentum
Peking University(北京大学);Tsinghua University(清华大学)
联邦学习是一种分布式机器学习方法,它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum(FedCM),以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息,并使用类似动量项修改客户端梯度下降,可以有效地纠正偏差,提高局部SGD的稳定性。我们提供了理论分析,以突出FedCM的好处。我们还进行了广泛的实证研究,并证明FedCM在各种任务中取得了优异的性能,并对不同级别的客户数量,参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Detection and Prevention Against Poisoning Attacks in Federated Learning
AI Sweden(瑞典人工智能);Beacom College(比科姆学院);Dakota State University(达科他州立大学)
本文提出并研究了一种新的方法来检测和防止几种不同类型的中毒攻击影响集中式联邦学习模型通过平均精度偏差检测(AADD)。通过将每个客户端的准确度与所有客户端的平均准确度进行比较,AADD可以检测出存在准确度偏差的客户端。该实现还能够将被认为中毒的客户端列入黑名单,从而保护全局模型不受中毒节点的影响。所提出的实施方案显示出可喜的成果,在检测中毒的客户端和防止全球模型的准确性恶化。
2022-10-24 cs.AI cs.CR cs.LG
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin(柏林技术大学)
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法,以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
Random Client Selection on Contrastive Federated Learning for Tabular Data
Department of Computing, The Hong Kong Polytechnic University(计算机学院,香港理工大学)
针对对比联邦学习仍易受梯度攻击的隐私问题,本文通过全面实验分析验证了随机客户端选择作为防御策略的有效性,为构建更安全的协作学习框架提供参考。
2025-05-16 cs.CR cs.DC cs.LG
Robust Asymmetric Heterogeneous Federated Learning with Corrupted Clients
Taikang Center for Life and Medical Sciences(泰康生命与医学科学中心)
本文提出RAHFL框架,通过多样性增强监督对比学习和非对称异构联邦学习策略,解决模型异构与数据损坏客户端下的鲁棒联邦学习问题。
2025-03-12 cs.AI cs.CV cs.LG
Differentially Private Federated Learning: A Client Level Perspective
SAP SE(思爱普股份公司);ETH Zurich(苏黎世联邦理工学院)
联邦学习是隐私保护领域的一个新进展。在这种情况下,受信任的策展人聚合多个客户端以分散方式优化的参数。然后将生成的模型分发回所有客户端,最终汇聚为一个联合代表模型,而无需显式地共享数据。然而,该协议容易受到差分攻击,这可能来自联邦优化过程中的任何一方。在这种攻击中,客户端在训练期间的贡献以及有关其数据集的信息通过分析分布式模型来揭示。我们解决这个问题,并提出了一个算法,客户端侧的差分隐私保护联邦优化。其目的是在训练过程中隐藏客户的贡献,平衡隐私损失和模型性能之间的权衡。实证研究表明,如果有足够多的参与客户端,我们提出的程序可以保持客户端级别的差分隐私,只有一个较小的成本模型的性能。
2018-03-01 cs.CR cs.LG stat.ML
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong(香港大学)
针对联邦学习客户端选择中数据异构与计算负担问题,提出基于梯度投影的GPFL框架,通过比较下降方向并引入利用-探索机制,在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University(杜克大学)
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而,这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中,我们提出了第一个基于假客户端的模型中毒攻击,称为MPAF。具体来说,我们假设攻击者将假客户端注入联邦学习系统,并在训练期间将精心制作的假本地模型更新发送到云服务器,这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标,我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说,在每一轮联邦学习中,假客户端都会制作指向基础模型的假本地模型更新,并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明,MPAF可以显着降低测试精度的全球模型,即使采用经典的防御和范数裁剪,突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning
Università della Svizzera italiana(瑞士大学);INRAE Paris(巴黎国家农业研究院)
针对联邦学习中客户端演化行为难以解释的问题,提出联邦行为平面(FBPs)方法实现客户端行为的分析可视化,基于其识别的模式设计Federated Behavioural Shields聚合技术,防御效果优于现有最优方案。
2025-07-23 cs.DC cs.LG
A General Theory for Client Sampling in Federated Learning
Inria Sophia Antipolis(索菲亚·安提波利斯国家信息与自动化研究所);Accenture Labs(埃森哲实验室)
虽然客户端采样是当前最先进的联邦学习(FL)方法的核心操作,但该过程对FL的收敛和速度的影响仍有待研究。在这项工作中,我们提供了一个通用的理论框架来量化客户端的抽样方案和客户端的异质性对联邦优化的影响。首先,我们提供了一个统一的理论基础,以前报道的抽样方案的实验结果之间的关系FL收敛和聚集权重的方差。其次,我们首次证明了FL收敛的质量也受到聚合权重之间的协方差的影响。我们的理论是一般的,并在这里适用于多项分布(MD)和均匀抽样,两个默认的无偏客户端抽样方案的FL,并通过一系列的实验证明在非iid和不平衡的情况下。我们的研究结果表明,MD抽样应作为默认的抽样方案,由于在学习过程中的数据比率的变化的弹性,而均匀抽样是优越的,只有在特殊情况下,当客户端有相同的数据量。
2022-06-14 cs.AI cs.DC cs.LG
Learning-Based Client Selection for Federated Learning Services Over Wireless Networks with Constrained Monetary Budgets
Xiamen University(厦门大学);Western University(韦仕敦大学)
我们研究了无线网络中多个联邦学习(FL)服务的数据质量感知的动态客户端选择问题,每个客户端提供动态数据集用于同时训练多个FL服务,每个FL服务需求者必须在有限的货币预算下为客户端支付费用。该问题被形式化为一个非合作马尔可夫博弈的训练轮。提出了一种基于多智能体混合深度强化学习的算法,在避免动作冲突的同时,优化联合客户选择和支付动作。仿真结果表明,我们提出的算法可以显着提高训练性能。
2022-12-26 cs.AI cs.LG
FedSS: Federated Learning with Smart Selection of clients
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对联邦学习现有客户端选择机制歧视慢速客户端、导致训练偏见的问题,提出FedSS,通过智能客户端选择与调度在快速收敛和客户端异构性之间取得平衡。
2023-09-26 cs.DC cs.LG cs.NI
Fairness-Aware Client Selection for Federated Learning
Nanyang Technological University (NTU)(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院);Alibaba Group(阿里巴巴集团);University of Science and Technology of China(中国科学技术大学)
针对联邦学习客户端选择中性能与公平难以平衡的问题,提出基于Lyapunov优化的FairFedCS方法,联合多维度动态调整选择概率,实验验证其在公平性和准确率上均优于现有前沿方法。
2023-07-20 cs.AI cs.DC cs.LG
When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning
Peking University(北京大学);Renmin University of China(中国人民大学);Shanghai AI Lab(上海人工智能实验室);Tencent Inc.(腾讯公司);Tsinghua University(清华大学)
联邦学习已经成为一种广泛使用的框架,它允许在保护本地数据隐私的条件下,在分散的本地数据集上学习全局模型。然而,当训练样本不是独立同分布(非独立同分布)时,联邦学习面临严重的优化困难。在本文中,我们指出,客户抽样的做法起着决定性的作用,在上述优化困难。我们发现,负客户端采样将导致合并的数据分布的当前采样的客户端严重不一致的所有可用的客户端,并进一步使聚合梯度不可靠。为了解决这个问题,我们提出了一种新的学习率自适应机制,自适应调整服务器学习率的聚合梯度在每一轮,根据合并数据分布的一致性,当前采样的客户端和所有可用的客户端。具体而言,通过理论推导,找到了一个与最优服务器学习率正相关、能有效反映样本客户端合并数据分布的有意义且鲁棒的指标,并将其用于服务器学习率自适应。在多个图像和文本分类任务上的大量实验验证了该方法的有效性。
2023-01-25 cs.AI cs.CR cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此,由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST,一个无偏的算法,动态学习的可用性相关的客户端选择策略,渐近最小化的影响,客户端采样方差的全局模型收敛,提高性能的联邦学习。所提出的算法进行了测试,在各种设置下的间歇性可用的客户端通信的限制,和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上,我们的准确率分别比FedAvg提高了186%和8%,比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Fair Federated Medical Image Segmentation via Client Contribution Estimation
The Chinese University of Hong Kong(香港中文大学);NVIDIA(英伟达)
如何保证公平性是联邦学习的一个重要课题。最近的研究调查了如何根据客户的贡献(合作公平性)来奖励客户,以及如何在客户之间实现一致的绩效(绩效公平性)。尽管在这两个方面都取得了进展,但我们认为,为了吸引和激励更多不同的客户加入FL,以获得高质量的全球模式,将它们放在一起考虑至关重要。在这项工作中,我们提出了一种新的方法来同时优化这两种类型的公平性。具体来说,我们建议在梯度和数据空间中估计客户端的贡献。在梯度空间中,我们监控每个客户端相对于其他客户端的梯度方向差异。在数据空间中,我们使用辅助模型来度量客户端数据的预测误差。基于这种贡献估计,我们提出了一种FL方法,通过贡献估计的联邦训练(FedCE),即,使用估计作为全局模型聚合权重。我们从理论上分析了我们的方法,并在两个真实世界的医疗数据集上进行了经验评估。我们的方法的有效性已被验证与显着的性能改进,更好的协作公平性,更好的性能公平性,以及全面的分析研究。
2023-03-29 cs.AI cs.CV cs.LG
Client Selection and Bandwidth Allocation in Wireless Federated Learning Networks: A Long-Term Perspective
University of Miami(迈阿密大学)
本文研究了联邦学习(FL)在一个经典的无线网络,其中学习客户端共享一个共同的无线链路到协调服务器执行联邦模型训练使用他们的本地数据。在此类无线联邦学习网络(WFLN)中,优化学习性能至关重要,这取决于如何选择客户端以及如何在每轮学习中在所选客户端之间分配带宽,因为无线电和客户端能源资源都是有限的。虽然现有的工作已经做出了一些尝试,以分配有限的无线资源,以优化FL,他们专注于在个别学习轮的问题,忽略了一个固有的,但关键的特点,联邦学习。本文带来了一个新的长期的视角,资源分配在WFLN,实现学习轮不仅是时间上相互依赖的,但也有不同的意义,对最终的学习成果。为此,我们首先设计数据驱动的实验,以表明不同的时间客户端选择模式导致相当不同的学习性能。与所获得的见解,我们制定了一个随机优化问题的联合客户端选择和带宽分配下的长期客户端的能量约束,并开发了一种新的算法,只利用目前可用的无线信道信息,但可以实现长期的性能保证。进一步的实验表明,我们的算法在所需的时间客户端选择模式的结果,是适应不断变化的网络环境,远远优于基准忽略FL的长期影响。
2020-04-09 cs.DC cs.LG
GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
University of British Columbia(不列颠哥伦比亚大学);Purdue University(普渡大学);Tianjin University(天津大学)
联邦学习(FL)是一种有效的技术,可以直接将边缘设备参与机器学习训练,同时保护客户端隐私。然而,FL的大量通信开销使得当边缘设备具有有限的网络带宽时训练具有挑战性。优化FL带宽的现有工作忽略了下游传输,并且没有考虑FL客户端采样。在本文中,我们提出了一个框架,它结合了新的客户端采样和模型压缩算法,以减轻低下载带宽的FL客户端。GALGOFL优先考虑最近使用的客户端,并限制每轮压缩掩码中更改位置的数量。在三种流行的FL数据集和三种最先进的策略中,GSTYLE FL平均将下游客户端带宽减少了27%,平均将训练时间减少了29%。
2022-12-03 cs.DC cs.LG
FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning
University of Central Florida(中央佛罗里达大学)
FMCL通过基础模型生成语义客户端签名,实现一次聚类,提升异构联邦学习性能并保持稳定性。
2026-04-30 cs.CV cs.LG
Anomaly Detection via Federated Learning
Deloitte & Touche LLP(德勤华永会计师事务所(特殊普通合伙));Persistent Systems Limited(Persistent系统有限公司)
机器学习通过结合分类器和自动编码器来破译正常和异常行为,帮助推进异常检测领域。此外,联邦学习提供了一种使用多个客户端数据训练全局模型的方法,而无需客户端直接共享其数据。本文提出了一种新的异常检测器,通过联邦学习来检测客户端服务器上的恶意网络活动。在我们的实验中,我们在联邦学习框架中使用带有分类器的自动编码器来确定网络活动是良性的还是恶意的。通过使用我们新的最小-最大标量和采样技术,称为FedSam,我们确定联邦学习允许全局模型从每个客户端的数据中学习,反过来,为每个客户端提供一种方法来提高其入侵检测系统对网络攻击的防御能力。
2022-10-12 cs.AI cs.CR cs.LG
Rethinking Semi-Supervised Federated Learning: How to co-train fully-labeled and fully-unlabeled client imaging data
University of Oxford(牛津大学)
本文针对半监督联邦学习中标注与未标注客户端目标函数不一致的瓶颈,提出隔离联邦学习IsoFed,通过隔离聚合与局部自监督预训练避免简单平均,并在MedMNIST多模态医学影像数据上验证其有效性。
2023-10-28 cs.AI cs.CV cs.LG
Federated Learning as a Network Effects Game
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
联邦学习(FL)旨在促进客户群体之间的协作,以提高机器学习的准确性,而无需直接共享本地数据。虽然有丰富的文献设计联邦学习算法,大多数以前的作品隐含地假设,所有的客户端都愿意参与FL计划。在实践中,客户可能不会从加入FL中受益,特别是考虑到与隐私和计算等问题相关的潜在成本。在这项工作中,我们研究了客户在联邦学习中的动机,以帮助服务提供商设计更好的解决方案,并确保客户做出更好的决策。我们是第一个将FL中的客户行为建模为网络效应游戏的公司,每个客户的利益取决于也加入网络的其他客户。使用这种设置,我们分析客户的参与动态和特征的均衡,没有客户有动机改变他们的决定。具体来说,我们表明,在人口动态自然收敛到平衡,而不需要明确的干预。最后,我们提供了一个具有成本效益的支付方案,激励客户端达到理想的平衡时,初始网络是空的。
2023-02-16 cs.DC cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.(壳牌全球解决方案国际有限公司);Delft University of Technology (TU Delft)(代尔夫特理工大学);Myant Inc.(迈安特公司)
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的,并且相对较慢,在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法(FLT),通过学习客户端之间的任务相关性来更有效地联合聚合异构数据,从而概括了这一方向。在一个一次性的过程中,服务器为客户端提供一个预先训练(和微调)的编码器,将其数据压缩成潜在的表示,并将其数据的签名传输回服务器。然后,服务器通过流形学习来学习客户端之间的任务相关性,并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图,当没有显式的客户端集群,以及有效地将其分解成(不相交)集群的联邦学习。我们证明,FLT不仅优于现有的国家的最先进的基线在非IID的情况下,但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces
UC San Diego(加州大学圣地亚哥分校);Czech Technical University(捷克技术大学);UCF(中佛罗里达大学)
通过将客户分组到集群中,分布式联邦学习(FL)已被证明可以产生有希望的结果。这在不同的客户端组在其本地数据分布方面存在显著差异的情况下尤其有效。现有的集群FL算法本质上是试图将具有相似分布的客户端分组在一起,以便同一集群中的客户端可以利用彼此的数据来更好地执行联邦学习。然而,现有的聚类FL算法试图在训练期间间接地学习这些分布相似性,这可能非常耗时,因为可能需要多轮联邦学习,直到聚类的形成稳定为止。在本文中,我们提出了一种新的方法来联邦学习,直接旨在通过分析客户端数据子空间之间的主要角度,有效地识别客户端之间的分布相似性。每个客户端以单次方式对其本地数据应用截断奇异值分解(SVD)步骤,以导出一小组主向量,从而提供简洁地捕获底层分布的主要特征的签名。将这一小组主向量提供给服务器,使得服务器可以直接识别客户端之间的分布相似性以形成集群。这是通过比较由这些主向量跨越的客户端数据子空间之间的主角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架,解决了广泛的数据异构性问题,超越了简单形式的非IID,如标签偏斜。我们的聚类FL方法还可以保证非凸目标的收敛性。我们的代码可在https://github.com/MMorafah/PACFL上获得。
2022-09-21 cs.AI cs.DC cs.LG
Study of the performance and scalability of federated learning for medical imaging with intermittent clients
Instituto de Física de Cantabria (IFCA), CSIC-UC(坎塔布里亚物理研究所(IFCA),西班牙国家研究委员会-坎塔布里亚大学)
联邦学习是一种数据分散隐私保护技术,用于以安全的方式执行机器或深度学习。在本文中,我们提出了关于联邦学习的理论方面,例如聚合运算符的呈现,不同类型的联邦学习,以及与客户端数据分布相关的问题,以及对客户端数量变化的用例的详尽分析。具体而言,提出了一个医学图像分析的用例,使用从开放数据存储库获得的胸部X射线图像。除了与隐私相关的优势外,还将研究与经典情况(集中式方法)相比预测的改进(在准确性,损失和曲线下面积方面)和执行时间的减少。将从以不平衡的方式选择的训练数据模拟不同的客户端。考虑三个或十个客户端的结果被暴露出来,并在它们之间进行比较,并与集中的情况进行比较。间歇性客户端相关的两个不同的问题进行了讨论,连同两种方法来遵循他们每个人。具体而言,这类问题可能会发生,因为在真实场景中,一些客户端可能会离开培训,而其他客户端可能会进入培训,另一方面是因为客户端技术或连接问题。最后,改进和未来的工作在该领域提出了建议。
2022-11-03 cs.AI cs.CV cs.LG
EvoCSFL: Surrogate-Assisted Evolutionary Client Selection for Efficient and Robust Federated Learning
Jiangnan University(江南大学);The Hong Kong Polytechnic University(香港理工大学)
针对联邦学习中客户端数据与系统异构性导致收敛慢、鲁棒性差的问题,提出代理辅助的进化客户端选择框架,将选择问题建模为组合优化,用代理模型加速进化搜索,实验表明收敛更快、能耗更低、鲁棒性更强。
2026-06-05 cs.AI cs.LG
Every Client Is an Environment: Federated De-confounding for Spatio-Temporal Forecasting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shanghai Jiao Tong University(上海交通大学);Harbin Engineering University(哈尔滨工程大学)
针对时空预测,提出联邦去混淆框架\method,将客户端视为不同因果环境,利用客户端异质性作为分布式环境证据,学习全局原型码本捕获共享环境模式,推导理论边界,实验证明其优于联邦基线,提供可转移等环境表示。
2026-07-28 cs.AI cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习(FedCS),通过揭示客户端对实例潜在表示的偏差,仅训练一个鲁棒全局模型即可直接部署到未见客户端,性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Semi-decentralized Federated Time Series Prediction with Client Availability Budgets
Department of Electrical and Software Engineering, University of Calgary(电气与软件工程系,卡尔加里大学);Department of Geomatics Engineering, University of Calgary(测绘工程系,卡尔加里大学)
针对联邦学习中客户端能量与可用预算受限问题,提出半去中心化客户端选择方法FedDeCAB,通过概率排序选客户端、离线时从近邻获取参数优化,在多场景下均有效。
2025-09-03 cs.DC cs.LG
FedFair^3: Unlocking Threefold Fairness in Federated Learning
School of Computing and Informatics(计算与信息学院);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
针对联邦学习中客户端参与公平性与效率难兼顾的问题,提出实现选择策略、参与轮次、准确率分布三重公平的FedFair^3方法,在不降低全局准确率的同时显著降低准确率方差并缩短训练时间。
2024-01-29 cs.AI cs.CY cs.DC
Protea: Client Profiling within Federated Systems using Flower
University of Cambridge(剑桥大学);Samsung AI(三星人工智能)
联邦学习(FL)已经成为一种有前景的解决方案,它有助于在不损害用户隐私的情况下训练高性能的集中式模型。虽然取得了成功,但目前的研究受到在实验早期阶段建立一个现实的大规模FL系统的可能性的限制。模拟可以帮助加速这一过程。为了方便高效的可扩展FL模拟异构客户端,我们设计和实现Protea,一个灵活的和轻量级的客户端分析组件在联邦系统中使用FL框架花。它允许自动收集系统级统计信息并估计每个客户端所需的资源,从而以资源感知的方式运行模拟。结果表明,我们的设计成功地提高了并行度,使时钟时间加快了1.66 $\times$,GPU利用率提高了2.6 $\times$,从而能够在异构客户端上进行大规模实验。
2022-08-31 cs.AI cs.DC cs.LG
Personalized Federated Learning via Learning Dynamic Graphs
Nanjing University of Science and Technology(南京理工大学);Beijing University of Posts and Telecommunications(北京邮电大学);Southeast University(东南大学)
本文提出pFedGAT方法,通过图注意力网络动态学习客户端间潜在图结构并细粒度控制聚合过程,在多个数据集上验证了其优于现有方法的个性化联邦学习性能。
2025-03-07 cs.AI cs.LG
Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning
Concordia University(康考迪亚大学);Mila(米拉人工智能研究所);McGill University(麦吉尔大学)
本文针对联邦学习中客户端数据异质性导致的灾难性遗忘问题,提出通过逐客户端重新加权softmax logits来修改交叉熵目标,保护客户端标签集之外的类别表征,实验表明该方法能有效缓解遗忘并提升标准联邦学习算法性能。
2023-04-11 cs.AI cs.LG
Adaptive Federated Learning with Auto-Tuned Clients
Rice University(莱斯大学)
本文提出Δ-SGD步长规则,使联邦学习中各客户端能根据局部平滑度自动调整自身步长,从而解决客户端超参数调优难题,并通过理论与实验验证了其优势。
2024-05-02 cs.DC cs.LG math.OC
Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning
National Yang Ming Chiao Tung University(国立阳明交通大学)
该研究针对联邦学习中不完美数据集引发的问题,提出隐私保护的客户端贡献评分方法,实验验证了评估效果。
2026-08-04 cs.AI cs.LG
PGFed: Personalize Each Client's Global Objective for Federated Learning
University of Pittsburgh(匹兹堡大学);University of Central Florida(中佛罗里达大学)
提出PGFed框架,通过显式自适应聚合各客户端经验风险来个性化全局目标,并开发动量升级版PGFedMo,在四个数据集上持续超越现有最先进方法。
2023-09-07 cs.CV cs.LG
Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
针对联邦学习中异构非平稳的客户端不可用问题,提出仅需O(1)额外开销、通过隐式gossip扩散更新的FedAPM算法,可在非凸目标下实现线性加速并经真实数据实验验证。
2024-10-31 cs.DC cs.LG math.OC
Online Decentralized Federated Multi-task Learning With Trustworthiness in Cyber-Physical Systems
School of Computing University of Glasgow(计算学院格拉斯哥大学)
针对在线去中心化联邦学习场景下的数据异质性与拜占庭客户端占多数的容错难题,提出一种利用信息物理特性分配本地模型信任概率的多任务学习算法,可兼顾模型个性化与容错性,性能接近无拜占庭客户端的理想水平。
2025-08-31 cs.AI cs.LG
Communication-Efficient Federated Learning with Accelerated Client Gradient
Seoul National University(首尔大学);IPAI, Seoul National University(首尔大学IPAI)
本文提出一种带有前瞻梯度的通信高效联邦学习框架,通过广播超调全局模型并正则化局部更新,在低客户端参与率下显著提升收敛稳定性、准确率与通信效率。
2024-04-01 cs.AI cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Client Recruitment for Federated Learning in ICU Length of Stay Prediction
KU Leuven(鲁汶大学);STADIUS Center for Dynamical Systems(STADIUS动力系统中心);Signal Processing and Data Analytics(信号处理与数据分析(机构))
本研究针对联邦学习在医疗数据分散、隐私受限场景下的应用痛点,提出仅基于客户端输出分布与样本量的招募方法,在ICU住院时长预测任务中实现性能提升与训练加速。
2023-04-28 cs.AI cs.LG