Decentralized Wireless Federated Learning with Differential Privacy
本文研究了无线物联网中的分散式联邦学习算法。传统的联邦学习参数服务器架构存在容错能力低、通信开销大、私有数据不可访问等问题。为了解决这些问题,我们提出了一种分布式无线联合学习算法DWFL。该算法工作在一个系统中,工人组织在一个对等和无服务器的方式,和工人交换他们的隐私保护数据的模拟传输方案通过无线信道并行。通过严格的分析,我们表明,DWFL满足$(ε,δ)$ -差分隐私和隐私预算每个工人规模为$\mathcal{O}(\frac{1}{\sqrt{N}})$,在正交传输方法中的恒定预算相比。此外,DWFL的收敛速度与具有中央参数服务器的最知名的集中式算法的$\mathcal{O}(\sqrt{\frac{1}{TN}})$相同。大量的实验表明,我们的算法DWFL也表现良好,在真实的设置。
2022-01-15 cs.DC
UniTrans: A Unified Vertical Federated Knowledge Transfer Framework for Enhancing Cross-Hospital Collaboration
Peking University(北京大学);Beihang University(北京航空航天大学)
提出统一纵向联邦知识迁移框架UniTrans,通过联邦表示学习与领域自适应知识迁移,提升跨医院协作中非重叠患者的医疗预测性能。
2025-01-20 cs.DC cs.LG
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies(HCL科技公司)
联邦学习(FL)是一种新兴技术,用于协作训练全局机器学习模型,同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同(非IID)数据分布,这会减慢收敛速度并降低性能。为了解决这个根本问题,我们提出了一种方法(ComFed),它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明,ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
Just Talk Once: Communication-Efficient Split Federated LLM Fine-Tuning on Edge Devices
Duke Kunshan University(杜克昆山大学);The University of Hong Kong(香港大学)
针对边缘设备LLM微调的通信与客户端在线时间瓶颈,提出L型SFT及基于它的一次性SFT框架,实现仅一次通信即可完成微调,显著降低了通信成本和客户端在线时间。
2026-09-02 cs.DC
FairGFL: Privacy-Preserving Fairness-Aware Federated Learning with Overlapping Subgraphs
National Engineering Laboratory for Big Data Analytics (NEL-BDA)(大数据分析国家工程实验室);School of Mathematics and Statistics(数学与统计学学院);Ministry of Education Key Lab for Intelligent Networks and Network Security(教育部智能网络与网络安全重点实验室);School of Computer Science and Technology(计算机科学与技术学院)
FairGFL通过保护隐私的方式,在联邦学习中提升跨客户端公平性,通过可解释的加权聚合和正则化器优化模型实用性与公平性的平衡。
2025-12-29 cs.DC cs.LG
Improving Federated Learning Communication Efficiency with Global Momentum Fusion for Gradient Compression Schemes
联邦学习中的通信成本阻碍了系统从更多客户端获取更多数据的可扩展性。拟议的FL采用轴辐式网络拓扑结构。所有客户端都通过中央服务器进行通信。因此,已经提出了通过诸如数据压缩的技术来减少通信开销以缓解该问题。联邦学习的另一个挑战是不平衡的数据分布,在典型的联邦学习设置中,每个客户端上的数据不是独立和相同分布的(非IID)。在本文中,我们提出了一种新的压缩补偿方案,称为全球动量融合(GMF),减少FL客户端和服务器之间的通信开销,并保持可比的模型精度在非IID数据的存在。GitHub资源库:https://github.com/tony92151/global-momentum-fusion-fl
2022-11-17 cs.DC
Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients
Delft University of Technology(代尔夫特理工大学)
针对传统单服务器同步联邦学习的服务器空闲与瓶颈问题,提出首个完全异步多服务器联邦学习架构,客户端仅连最近服务器、服务器间异步更新,在多数据集上精度相当或更高,地理分布场景下收敛时间缩短61%。
2024-06-20 cs.DC cs.LG
FedEx: Expediting Federated Learning over Heterogeneous Mobile Devices by Overlapping and Participant Selection
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(网络与交换技术国家重点实验室,北京邮电大学);College of Electronic Information Engineering, Taiyuan University of Technology(电子信息工程学院,太原科技大学);Department of Advanced Interdisciplinary Research, Pengcheng Laboratory(先进跨学科研究部,鹏城实验室);Department of Electrical and Computer Engineering, University of Houston(电气与计算机工程系,德克萨斯大学)
针对异构移动设备联邦学习中重叠训练引发的模型陈旧、漂移及掉队者等问题,提出FedEx方法,通过带陈旧上限的重叠流程、整体参与者选择及重叠触发指标,以有限内存开销显著降低训练延迟。
2025-05-20 cs.DC cs.LG
On the Role of Server Momentum in Federated Learning
University of Virginia(弗吉尼亚大学);University of Pittsburgh(匹兹堡大学);University of Maryland College Park(马里兰大学帕克分校)
针对FedAvg在异构环境下的收敛问题,提出通用服务器动量框架,涵盖多种动量方案、支持分阶段超参数调度及异构异步计算,并提供严格收敛分析,实验验证其有效性。
2023-12-19 cs.AI cs.DC cs.LG
FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server
Soochow University(苏州大学);Baidu Inc.(百度公司);Auburn University(奥本大学);North Carolina State University(北卡罗来纳州立大学)
尽管联邦学习(FL)取得了卓越的性能,但它面临着两个关键挑战,即,计算资源有限,训练效率低。在本文中,我们提出了一种新的FL框架,即,FedDUAP,有两个原创贡献,利用服务器上的不敏感数据和边缘设备上的分散数据,进一步提高训练效率。首先,设计了一种动态服务器更新算法,利用服务器上的不敏感数据,动态确定服务器更新的最优步长,提高全局模型的收敛性和精度。其次,提出了一种分层自适应的模型剪枝方法,对不同维度和重要性的多层模型进行独特的剪枝操作,在效率和效果之间取得了较好的平衡。通过将两种原始技术整合在一起,我们提出的FL模型FedDUAP在准确性(高出4.8%),效率(快2.8倍)和计算成本(小61.9%)方面明显优于基线方法。
2022-04-25 cs.AI cs.DC
Federated Learning with Server Learning: Enhancing Performance for Non-IID Data
National Institute of Standards and Technology(美国国家标准与技术研究院);University of Maryland(马里兰大学)
针对 Non-IID 数据导致联邦学习性能下降、收敛变慢的问题,提出让服务器利用小型数据集进行辅助学习,并证明其可显著提升准确率与收敛速度。
2023-08-15 cs.DC cs.LG math.OC
Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation
Eindhoven University of Technology(埃因霍温理工大学)
本文提出 FedCompress 方法,结合动态权重聚类与服务器端知识蒸馏,在降低联邦学习通信成本的同时学习高泛化模型,并在多个公开数据集上验证了其在通信成本和推理速度上的优势。
2024-02-25 cs.DC cs.LG
LIFL: A Lightweight, Event-driven Serverless Platform for Federated Learning
University of California, Riverside(加州大学河滨分校);Cisco Research(思科研究院)
针对现有联邦学习系统资源利用效率低、管理缺乏弹性的问题,提出轻量级事件驱动无服务器平台LIFL,通过eBPF代理、共享内存处理等技术,显著提升大规模联邦学习的资源效率与聚合速度。
2024-05-05 cs.DC cs.LG
FedLesScan: Mitigating Stragglers in Serverless Federated Learning
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
联邦学习(FL)是一种机器学习范例,它能够在分布式客户端之间训练共享的全局模型,同时保持训练数据本地化。虽然大多数先前的FL系统设计工作都集中在使用有状态的始终运行的组件上,但最近的工作表明,FL系统中的组件可以从无服务器计算和功能即服务技术的使用中受益匪浅。为此,使用无服务器FL系统对模型进行分布式训练可以比传统FL系统更节省资源和更便宜。然而,无服务器FL系统仍然遭受落伍者的存在,即,由于客户端的资源和统计异质性,它们的速度较慢。虽然已经提出了几种策略来减轻FL中的落伍者,但大多数方法都没有考虑到无服务器环境的特定特征,即,冷启动、性能变化以及函数实例的短暂无状态特性。为此,我们提出了FedLesScan,一种新的基于集群的半异步训练策略,专门为无服务器FL定制。FedLesScan动态适应客户端的行为,并最大限度地减少掉队者对整个系统的影响。我们通过扩展一个名为FedLess的开源无服务器FL系统来实现我们的策略。此外,我们使用第二代Google Cloud Functions对我们的策略进行了全面评估,其中包含四个数据集和不同百分比的落伍者。我们的实验结果表明,与其他方法相比,FedLesScan平均分别减少了8%和20%的训练时间和成本,同时更好地利用客户端,有效更新率平均提高了17.75%。
2022-11-28 cs.DC cs.LG
Decentralized Federated Averaging
Federated averaging(FedAvg)是一种高效的分布式训练算法,适用于大量客户端。在FedAvg中,客户端将其数据保存在本地以进行隐私保护;中央参数服务器用于客户端之间的通信。该中央服务器将参数分发给每个客户端,并从客户端收集更新的参数。FedAvg主要是以集中的方式进行研究的,这需要在每次通信中服务器和客户端之间进行大量通信。此外,攻击中央服务器可以破坏整个系统的隐私。在本文中,我们研究了分散的FedAvg与动量(DFedAvgM),这是由一个无向图连接的客户端上实现的。在DFedAvgM中,所有客户端都使用动量执行随机梯度下降,并且仅与其邻居通信。为了进一步降低通信成本,我们还考虑了量化的DFedAvgM。我们证明了(量化)DFedAvgM的收敛性在平凡的假设下,收敛速度可以提高时,损失函数满足Pestan属性。最后,我们数值验证DFedAvgM的有效性。
2021-04-23 cs.DC stat.ML
Confederated Learning: Federated Learning with Decentralized Edge Servers
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(史蒂文斯理工学院);Sun Yat-Sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习(FL)是一种新兴的机器学习范例,其允许在不聚集中央服务器处的数据的情况下完成模型训练。大多数关于FL的研究考虑集中式框架,其中单个服务器被赋予中央权限以协调多个设备以迭代方式执行模型训练。由于严格的通信和带宽限制,这种集中式框架随着设备数量的增长而具有有限的可扩展性。为了解决这个问题,在本文中,我们提出了一个联合学习(CFL)框架。拟议的CFL由多个服务器组成,其中每个服务器与传统FL框架中的一组单独的设备连接,并且在服务器之间利用分散的协作,以充分利用分散在整个网络中的数据。提出了一种交替方向乘子法(ADMM)的CFL算法。所提出的算法采用随机调度策略,随机选择一个子集的设备访问各自的服务器在每次迭代,从而减轻了需要上传大量的信息从设备到服务器。理论分析证明所提出的方法。数值结果表明,该方法可以收敛到一个体面的解决方案显着快于基于梯度的FL算法,从而拥有一个显着的优势,在通信效率方面。
2022-05-30 cs.DC cs.LG math.OC
Collaborative Split Federated Learning with Parallel Training and Aggregation
Department of Informatics, Athens University of Economics and Business(信息学院,雅典经济与商业大学);Munich Research Center, Huawei Technologies Duesseldorf GmbH(慕尼黑研究中心,华为技术杜塞尔多夫有限公司)
针对联邦学习中的计算与通信负担,提出协作式分割联邦学习(C-SFL),将模型分为三部分并在客户端与服务器并行训练聚合,以降低延迟和开销并提升精度。
2025-04-22 cs.AI cs.DC
Shard the Gradient, Scale the Model: Serverless Federated Aggregation via Gradient Partitioning
Department of Computer Science and Engineering, Oakland University(计算机科学与工程系,奥克兰大学)
本文提出GradsSharding方法,通过将梯度张量划分为多个碎片,实现无服务器环境下的联邦学习聚合,解决了内存限制问题,支持更大模型。
2026-04-23 cs.AI cs.DC
Scalable and Low-Latency Federated Learning with Cooperative Mobile Edge Networking
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
联邦学习(FL)支持协作模型训练,而无需集中数据。然而,传统的FL框架是基于云的,并且具有高通信延迟。另一方面,依赖于与移动基站共置的边缘服务器用于模型聚合的基于边缘的FL框架具有低通信延迟,但是由于边缘服务器的有限覆盖而遭受降低的模型准确性。针对基于云的高精度高延迟FL和基于边缘的低延迟低精度FL,提出了一种基于协作移动边缘网络的FL框架--协作联邦边缘学习(CFEL),以实现移动边缘网络的高精度和低延迟分布式智能。考虑到CFEL独特的两层网络架构,进一步开发了一种新的联邦优化方法,称为基于合作边缘的联邦平均(CE-FedAvg),其中每个边缘服务器既协调其自身覆盖范围内的设备之间的协作模型训练,又与其他边缘服务器合作,通过分散的共识来学习共享的全局模型。基于基准数据集的实验结果表明,CFEL可以大大减少训练时间,以达到目标模型的精度相比,以前的FL框架。
2022-10-27 cs.DC cs.LG
Federated Learning Versus Classical Machine Learning: A Convergence Comparison
Nagoya Institute of Technology(名古屋工业大学)
在过去的几十年里,机器学习已经彻底改变了大规模应用的数据处理。与此同时,趋势应用程序中越来越多的隐私威胁导致了对经典数据训练模型的重新设计。特别是,经典的机器学习涉及集中式数据训练,其中收集数据,整个训练过程在中央服务器上执行。尽管有显著的融合,但当与中央云服务器共享时,此培训涉及参与者数据的几个隐私威胁。为此,联邦学习在分布式数据训练中取得了显著的重要性。特别地,联邦学习允许参与者在本地数据上协作地训练本地模型,而不向中央云服务器泄露他们的敏感信息。在本文中,我们在两个公开可用的数据集,即逻辑回归-MNIST数据集和图像分类-CIFAR-10数据集上,对经典机器学习和联邦学习进行了收敛性比较。仿真结果表明,联邦学习在保持参与者匿名性的同时,在有限的通信轮数内实现了更高的收敛性。我们希望这项研究能够显示出它的好处,并帮助联邦学习得到广泛的实施。
2021-07-22 cs.DC cs.LG
Coordinating Momenta for Cross-silo Federated Learning
University of Pittsburgh(匹兹堡大学)
通信效率是联邦学习(FL)的关键。在客户端中进行本地训练步骤以减少客户端和服务器之间的通信频率是解决此问题的常用方法。然而,由于\textit{non-i.i.d.}数据分布在不同的客户端中,这种策略导致了客户端漂移问题,这严重降低了性能。在这项工作中,我们提出了一种新的方法来提高训练性能,在跨筒仓FL通过保持双动量缓冲。在该算法中,一个动量缓冲区用于跟踪服务器模型更新方向,另一个动量缓冲区用于跟踪局部模型更新方向。更重要的是,我们引入了一种新的动量融合技术来协调服务器和本地动量缓冲区。我们还得到了第一个理论上的收敛性分析,涉及服务器和本地标准动量SGD。大量的深度FL实验结果验证了我们的新方法比FedAvg和现有的标准动量SGD变体具有更好的训练性能。
2022-01-19 cs.DC cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
GAS: Generative Activation-Aided Asynchronous Split Federated Learning
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对异步分割联邦学习中激活异步传输导致的模型更新偏差问题,提出生成式激活辅助的异步SFL(GAS),通过生成激活来校正更新,并推导更紧的收敛界,实验验证有效性。
2024-12-14 cs.DC cs.LG
Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
针对无服务器联邦学习中客户端模型异构性挑战,本文利用知识蒸馏技术优化FedMD和FedDF的无服务器工作流,实验表明优化后的无服务器FedDF在鲁棒性、速度和成本上均优于FedMD。
2024-02-11 cs.AI cs.DC cs.LG
Federated Learning via Indirect Server-Client Communications
University of Miami(迈阿密大学);University of Virginia(弗吉尼亚大学)
联邦学习(FL)是一种通信高效、隐私保护的分布式机器学习框架,近年来得到了大量的研究关注。尽管FL算法的形式不同(例如,同步FL、异步FL)和底层优化方法,几乎所有现有的工作都隐含地假设了通信基础设施的存在,该通信基础设施促进了服务器和客户端之间用于模型数据交换的直接通信。然而,这种假设在许多可以受益于分布式学习但缺乏适当的通信基础设施(例如,在偏远地区的智能传感)。在本文中,我们提出了一种新的FL框架,名为FedEx(FL via Model Express Delivery的缩写),它利用移动运输工具(例如,无人机)来建立服务器和客户端之间的间接通信信道。两个算法,称为联邦快递同步和联邦快递异步,开发取决于是否采用同步或同步调度的运输商。即使间接通信引入异构延迟的客户端的全球模型传播和本地模型收集,我们证明了联邦快递的两个版本的收敛。收敛性分析随后揭示了如何将客户端分配给不同的传输器并设计客户端之间的路由。通过在两个公共数据集上的模拟网络中的实验来评估联邦快递的性能。
2023-02-14 cs.AI cs.DC
Towards Client Driven Federated Learning
Southeast University(东南大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对传统联邦学习服务器驱动模式的局限,提出客户端驱动的联邦学习框架CDFL,让客户端异步发起更新,服务器维护聚类模型并优化估计,实现快速适应新任务,提升性能与计算效率。
2024-05-24 cs.DC cs.LG
Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
Rochester Institute of Technology(罗切斯特理工学院);The Ohio State University(俄亥俄州立大学);Wayne State University(韦恩州立大学);Duke University(杜克大学)
针对不完整客户端参与问题,本文首次从理论上证明传统FL不可PAC学习而SA-FL可恢复可学习性,并提出SAFARI算法,享有线性收敛加速保证,实验验证其显著提升性能。
2024-05-25 cs.DC cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.(壳牌全球解决方案国际有限公司);Delft University of Technology (TU Delft)(代尔夫特理工大学);Myant Inc.(迈安特公司)
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的,并且相对较慢,在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法(FLT),通过学习客户端之间的任务相关性来更有效地联合聚合异构数据,从而概括了这一方向。在一个一次性的过程中,服务器为客户端提供一个预先训练(和微调)的编码器,将其数据压缩成潜在的表示,并将其数据的签名传输回服务器。然后,服务器通过流形学习来学习客户端之间的任务相关性,并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图,当没有显式的客户端集群,以及有效地将其分解成(不相交)集群的联邦学习。我们证明,FLT不仅优于现有的国家的最先进的基线在非IID的情况下,但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Apodotiko: Enabling Efficient Serverless Federated Learning in Heterogeneous Environments
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
针对无服务器联邦学习中异构硬件导致的落后者问题,提出异步训练策略Apodotiko,通过评估客户端硬件与数据集大小的评分机制智能选择客户端,实现最高7.03倍加速并显著减少冷启动。
2024-04-22 cs.DC cs.LG
Hear No Evil: Detecting Gradient Leakage by Malicious Servers in Federated Learning
University of Toronto(多伦多大学)
本文从防御者视角首次全面分析了联邦学习中恶意服务器引发的梯度泄露攻击,揭示其隐蔽性与有效性存在核心权衡,并提出一种轻量级客户端检测机制以标记可疑更新。
2026-11-02 cs.AI cs.CR cs.DC
RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data
University of Chinese Academy of Sciences(中国科学院大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
联邦学习是一种广泛使用的分布式深度学习框架,它通过交换模型参数而不是原始数据来保护每个客户端的隐私。然而,联邦学习存在通信成本高的问题,因为在训练过程中需要多次传输相当数量的模型参数,使得该方法效率低下,特别是在通信网络带宽有限的情况下。本文提出了RingFed,一种新的框架,以减少联邦学习的训练过程中的通信开销。与原始联邦学习中在中心服务器和每个客户端之间传输参数不同,在所提出的RingFed中,更新后的参数在每个客户端之间依次传输,并且仅将最终结果传输到中心服务器,从而大大减少了通信开销。在几次本地更新之后,客户端首先将其参数发送到另一个邻近的客户端,而不是直接发送到中心服务器,以进行预聚合。在两个不同的公开数据集上的实验表明,RingFed算法具有收敛速度快、模型精度高、通信代价低的特点。
2021-07-19 cs.DC cs.LG
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India(IBM印度研究院)
联邦学习(FL)的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中,每个客户端的数据都是私有的,不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注,但在外语教学过程中,如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择(FRCS)。由于服务器对每个客户端拥有的数据的性质没有明确的控制,因此在FL设置中选择相关客户端的问题非常复杂。在本文中,我们解决重要的和相关的FRCS问题,即,选择具有相关数据的客户端,检测拥有与特定目标标签相关的数据的客户端,以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题,并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此,我们提出了一个合作的游戏,涉及到客户端共享的梯度。使用这个游戏,我们计算Shapley值的客户端,然后提出基于Shapley值的联邦平均(S-FedAvg)算法,使服务器选择相关的客户端具有高概率。事实证明,S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后,我们对图像分类和语音识别任务进行了全面的实证分析,以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
Accelerating Hybrid Federated Learning Convergence under Partial Participation
University of Miami(迈阿密大学);University of Virginia(弗吉尼亚大学)
针对部分参与制约混合联邦学习收敛速度的问题,提出FedCLG算法,通过发挥服务器本地训练与梯度引导的双重作用提升收敛效率,实验验证其性能优于现有最优方法。
2024-05-18 cs.DC cs.LG
Graph Federated Learning Based on the Decentralized Framework
Southwest University(西南大学);University of Auckland(奥克兰大学)
针对图联邦学习经典客户端-服务器框架的单点故障、可扩展性差问题,提出引入去中心化框架、基于节点数据相似度确定置信度并线性加权聚合梯度的方法,性能优于FedAvg等现有方法。
2023-07-19 cs.DC cs.LG
An Upload-Efficient Scheme for Transferring Knowledge From a Server-Side Pre-trained Generator to Clients in Heterogeneous Federated Learning
Shanghai Jiao Tong University(上海交通大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Queen’s University Belfast(贝尔法斯特女王大学)
针对异构联邦学习中知识迁移难的问题,提出以预训练生成器为桥梁的FedKTL上传高效方案,通过生成任务相关原型对实现知识迁移,性能优于现有方法且适配云边场景。
2024-08-19 cs.AI cs.DC
Towards Trustworthy Federated Learning with Untrusted Participants
EPFL(洛桑联邦理工学院)
本文提出CafCor算法,通过参与者间共享随机性种子实现鲁棒梯度聚合与相关噪声注入,在不可信服务器和恶意参与者勾结场景下取得接近中心差分隐私的效用,同时保持对恶意攻击的鲁棒性。
2025-06-04 cs.CR cs.DC cs.LG
DSFL: A Dual-Server Byzantine-Resilient Federated Learning Framework via Group-Based Secure Aggregation
DSFL提出双服务器分组安全聚合框架,无需加密或可信假设,通过信用过滤和奖惩机制防御拜占庭客户端,在非IID数据下显著提升模型准确率并保持轻量级。
2025-09-10 cs.AI cs.CR cs.DC
A Demonstration of Smart Doorbell Design Using Federated Deep Learning
Pandit Deendayal Petroleum University(潘迪特·丁代亚尔石油大学);NUI Galway(爱尔兰国立高威大学)
智能门铃在保护我们的现代家居方面发挥着重要作用。将视频流发送到集中式服务器(或云)以进行视频分析的现有方法一直面临许多挑战,诸如延迟、带宽成本以及更重要的用户隐私问题。为了应对这些挑战,本文展示了基于联合深度学习的智能智能门铃的能力,它可以跨边缘和云资源部署和管理视频分析应用程序,例如智能门铃。该平台可以扩展,与多个设备一起工作,无缝管理应用程序组件的在线编排。所提出的框架是使用最先进的技术实现的。我们使用Flask框架实现Federated Server,使用Nginx和Gunicorn进行容器化,部署在AWS EC2和AWS Serverless架构上。
2020-10-19 cs.AI cs.DC cs.LG
Ampere: Communication-Efficient and High-Accuracy Split Federated Learning
Rakuten Mobile, Inc.(乐天移动株式会社)
Ampere是一种新型分裂联邦学习系统,通过单向模块训练与轻量级辅助网络降低通信开销与设备计算量,在非独立同分布数据下精度更高、速度更快且性能更稳定。
2026-08-31 cs.DC cs.LG
DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
DisAgg通过分布式聚合器实现高效安全聚合,减少通信轮次和计算开销,提升10万维更新向量处理速度达4.6倍。
2026-05-13 cs.CR cs.DC cs.LG
Stochastic Coded Federated Learning with Convergence and Privacy Guarantees
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong Polytechnic University(香港理工大学)
联邦学习(FL)作为一种隐私保护的分布式机器学习框架已经引起了广泛的关注,其中许多客户端通过与参数服务器交换模型更新而不是共享其原始数据来协作训练机器学习模型。然而,FL训练由于客户端的异构计算资源和波动的通信速率引起的离散而收敛缓慢且性能不稳定。本文提出了一种编码的联邦学习框架,即随机编码的联邦学习(SCFL),以减轻掉队的问题。在这个框架中,每个客户端通过向其本地数据的随机线性组合添加加性噪声来生成隐私保护编码数据集。服务器从所有客户端收集编码数据集以构建复合数据集,这有助于补偿离散效应。在训练过程中,服务器和客户端执行小批量随机梯度下降(SGD),并且服务器在模型聚合中添加补充项以获得无偏梯度估计。我们用互信息差分隐私(MI-DP)来描述隐私保证,并分析了联邦学习的收敛性能。此外,通过分析隐私约束对收敛速度的影响,我们证明了所提出的SCFL方法的隐私性能折衷。最后,数值实验证实了我们的分析,并显示SCFL在实现快速收敛,同时保护数据隐私的好处。
2022-09-08 cs.DC cs.LG
EFU: Enforcing Federated Unlearning via Functional Encryption
RISE Research Institutes of Sweden(瑞典RISE研究机构);Mälardalen University(马尔默大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出EFU框架,利用函数加密强制执行联邦遗忘,使客户端能在对服务器隐藏意图的情况下发起遗忘,并结合对抗样本与参数正则化掩盖模型变化,实现了安全、可验证且与底层算法无关的联邦遗忘。
2025-08-11 cs.CR cs.DC cs.LG
Robust Federated Learning by Mixture of Experts
University of Toronto(多伦多大学)
提出了一种基于混合专家模型(MoE)概念的加权平均模型,以提高联邦学习(FL)对中毒/损坏/过时局部模型的鲁棒性。这些威胁以及数据集的非IID性质可以大大降低FL模型的准确性。我们提出的MoE-FL设置依赖于用户和服务器之间的信任,其中用户与服务器共享其公共数据集的一部分。服务器通过解决优化问题或Softmax方法来应用鲁棒聚合方法,以突出异常情况并减少其对FL过程的不利影响。我们的实验表明,MoE-FL的性能优于传统的聚合方法的高速率的中毒数据从攻击者。
2021-04-23 cs.DC cs.LG cs.NE
Poisoning Attacks and Defenses to Federated Unlearning
ShanghaiTech University(上海科技大学);Xidian University(西安电子科技大学);North Carolina State University(北卡罗来纳州立大学);University of North Texas(北德克萨斯大学);University of Louisville(路易斯维尔大学)
本文提出首个针对联邦遗忘的投毒攻击BadUnlearn及可证明鲁棒的防御框架UnlearnGuard,通过服务器估计和过滤客户端更新,确保遗忘模型接近从头训练的模型。
2025-01-29 cs.CR cs.DC cs.LG
Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data
Hithink RoyalFlush Information Network Co., Ltd.(同花顺网络信息股份有限公司);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心);Baidu Research(百度研究院);Software Institute, Peking University(北京大学软件学院);Auburn University(奥本大学);North Carolina State University(北卡罗来纳州立大学);School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对联邦学习训练效率低、资源受限的问题,提出FedDUMAP框架,融合动态服务器更新、全局动量自适应优化与层自适应剪枝,显著提升效率、准确率并降低计算成本。
2024-08-11 cs.AI cs.DC cs.LG
Subspace based Federated Unlearning
National University of Defense Technology(国防科技大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学);Beijing Institute of Technology(北京理工大学)
联邦学习(FL)使多个客户端能够协作地训练机器学习模型,而无需交换其本地数据。联邦遗忘是一个逆FL过程,旨在消除特定目标客户端在FL中的贡献,以满足用户的遗忘权。大多数现有的联合学习算法要求服务器存储参数更新的历史,这不适用于服务器存储资源受限的场景。在本文中,我们提出了一种简单而有效的基于子空间的联邦非学习方法,称为SFU,它可以让全局模型在其他客户端形成的输入梯度空间的正交空间中执行梯度上升,以消除目标客户端的贡献,而无需额外的存储。具体地,服务器首先收集目标客户端进行梯度上升后生成的梯度,其余客户端在本地计算输入表示矩阵。我们还设计了一种差分隐私方法来保护表示矩阵的隐私。然后服务器合并这些表示矩阵以获得输入梯度子空间,并在输入梯度子空间的正交子空间中更新全局模型,以最小的模型性能下降来完成遗忘任务。在MNIST、CIFAR10和CIFAR100上的实验表明,SFU在各种设置下的性能都大大优于几种最先进的(SOTA)联邦非学习算法。
2023-02-24 cs.CR cs.DC cs.LG
Federated Domain Generalization with Data-free On-server Matching Gradient
Pusan National University(釜山国立大学);Trinity College Dublin(都柏林三一学院)
提出FedOMG方法,通过服务器端梯度内积最大化利用分布式域信息,实现联邦域泛化,无需额外通信成本,在多个基准数据集上超越现有SOTA。
2025-05-26 cs.AI cs.DC cs.LG
Optimizing Resource-Efficiency for Federated Edge Intelligence in IoT Networks
Xidian University(西安电子科技大学);Princeton University(普林斯顿大学)
本文研究了一种基于边缘智能的物联网网络,其中一组边缘服务器基于从多技术支持的物联网网络上传的数据集,使用联邦学习(FL)学习共享模型。物联网网络的数据上传性能和边缘服务器的计算能力在影响FL模型训练过程中相互纠缠。我们提出了一个新的框架,称为联邦边缘智能(FEI),允许边缘服务器根据物联网网络的能源成本及其本地数据处理能力来评估所需的数据样本数量,并仅请求足以训练令人满意的模型的数据量。我们评估了两种广泛使用的物联网解决方案时数据上传的能源成本:许可频段物联网(例如,5G NB-IoT)和未授权频带IoT(例如,Wi-Fi、ZigBee和5G NR-U)可用于每个IoT设备。我们证明了整个物联网网络的成本最小化问题是可分离的,可以分为一组子问题,每个子问题都可以由单个边缘服务器解决。我们还引入了一个映射函数来量化边缘服务器在三个关键参数的不同组合下的计算负载:数据集大小,本地批量大小和本地训练次数。最后,我们采用了基于ADMM的方法来联合优化物联网网络的能源成本和边缘服务器的平均计算资源利用率。我们证明了我们提出的算法不会导致任何数据泄漏,也不会泄露物联网网络的任何拓扑信息。仿真结果表明,我们提出的框架显着提高了物联网网络和边缘服务器的资源效率,只有有限的牺牲模型收敛性能。
2020-11-25 cs.AI cs.DC cs.NI
Federated Learning Meets Natural Language Processing: A Survey
Deakin University(迪肯大学)
联邦学习旨在从多个分散的边缘设备(例如手机)或服务器学习机器学习模型,而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而,大型深度神经和语言模型都是用大量数据训练的,这些数据通常位于服务器端。由于文本数据广泛来源于最终用户,在这项工作中,我们研究了最近的NLP模型和技术,使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战,包括算法挑战,系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后,我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
Federated Automatic Differentiation
Google Research(谷歌研究院)
本文提出联邦自动微分(FAD)框架,实现跨客户端与服务器通信边界的导数计算,并展示其可用于自动调整FedAvg服务器优化步骤和学习加权方案以提升联邦学习性能。
2024-11-22 cs.DC cs.LG cs.SC
Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning
Princeton University(普林斯顿大学)
在移动网络上操作的机器学习算法可以被表征为三个不同的类别。第一种是经典的情况,其中终端用户设备将其数据发送到中央服务器,在中央服务器中该数据用于训练模型。第二种是分布式设置,其中每个设备训练自己的模型并将其模型参数发送到中央服务器,在中央服务器中,这些模型参数被聚合以创建一个最终模型。第三种是联邦学习设置,其中,在任何给定时间$t$,一定数量的活动终端用户利用其自己的本地数据以及由中央服务器提供的反馈进行训练,然后将其新估计的模型参数发送到中央服务器。然后,服务器聚合这些新参数,更新自己的模型,并将更新后的参数反馈给所有最终用户,继续这个过程,直到它收敛。这项工作的主要目标是提供一个信息理论的框架,所有上述的学习范式。此外,使用所提供的框架,我们开发的泛化误差的上限和下限与隐私泄漏的经典,分布式和联邦学习设置的界限。关键词:联邦学习,分布式学习,机器学习,模型聚合。
2020-05-05 cs.CR cs.DC cs.LG
FedLess: Secure and Scalable Federated Learning Using Serverless Computing
Technische Universität München(慕尼黑工业大学)
传统的以云为中心的深度学习(DL)方法需要在中央服务器上收集和处理训练数据,这在医疗保健等隐私敏感领域通常具有挑战性。为此,一个新的学习范式称为联邦学习(FL)已被提出,带来了DL的潜力,这些领域,同时解决隐私和数据所有权问题。FL使远程客户端能够学习共享的ML模型,同时将数据保持在本地。然而,传统的FL系统面临着几个挑战,例如可扩展性,复杂的基础设施管理,以及由于空闲客户端而浪费的计算和产生的成本。FL系统的这些挑战与无服务器计算和功能即服务(FaaS)平台旨在解决的核心问题密切相关。这些优势包括快速的可扩展性、无需基础设施管理、空闲客户端自动缩放到零,以及按使用付费的计费模式。为此,我们提出了一个新的系统和框架,无服务器FL,称为FedLess。我们的系统支持多个商业和自托管FaaS提供商,可以部署在云中,机构数据中心的内部部署和边缘设备上。据我们所知,我们是第一个在异构FaaS提供商的大型结构中启用FL的公司,同时提供安全性和差分隐私等重要功能。我们通过全面的实验证明,使用我们的系统可以轻松地成功训练DNN,用于多达200个客户端功能的不同任务。此外,我们通过与传统FL系统进行比较,证明了我们的方法的实际可行性,并表明它可以更便宜,更节省资源。
2021-11-05 cs.CR cs.DC cs.LG
Optimizing Server Placement for Vertical Federated Learning in Dynamic Edge/Fog Networks
Department of Electrical and Computer Engineering, Purdue University(普洛威斯顿大学电子工程与计算机科学系)
本文研究动态边缘/雾网络中垂直联邦学习的控制与优化,提出SC-DN方法,通过联合优化服务器部署、传输功率、处理器频率和本地训练迭代数,提升模型性能与资源利用率。
2026-05-10 cs.DC cs.LG cs.NI