Evaluating Multi-Global Server Architecture for Federated Learning
University of New Brunswick(新不伦瑞克大学);RMIT University(皇家墨尔本理工大学)
提出多全局服务器联邦学习框架以解决单点故障风险,实验表明其性能差异小于1%且通信容错问题得到有效解决。
2023-11-26 cs.DC cs.LG
Serverless Federated Learning with flwr-serverless
本文提出 flwr-serverless 框架,通过包装 Flower 包实现同步与异步联邦学习,支持无中央服务器运行,降低训练成本并提升可访问性。
2023-10-23 cs.AI cs.LG
Personalized Federated Learning with Server-Side Information
snu(首尔国立大学)
个性化联邦学习是一个新兴的研究领域,它在客户端数据异构的情况下学习一个易于适应的全局模型。然而,个性化FL的主要挑战之一是严重依赖客户端的计算资源来计算高阶梯度,因为客户端数据与服务器隔离以确保隐私。为了解决这个问题,我们专注于一个问题设置,服务器可能拥有自己的数据独立于客户端的数据-在各种应用程序中普遍存在的问题设置,但在现有的文献中相对未被探索。具体来说,我们提出了FedSIM,个性化FL的一种新方法,积极利用这些服务器数据,以提高个性化性能的服务器中的元梯度计算。在实验中,我们通过各种基准测试和消融证明,FedSIM在准确性方面优于现有方法,通过计算服务器中的完整元梯度,计算效率更高,收敛速度快34.2%。
2022-06-13 cs.AI cs.LG
FedSSO: A Federated Server-Side Second-Order Optimization Algorithm
Yidu Cloud Technology Inc.(医渡云科技有限公司);Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院);Army Engineering University of PLA(中国人民解放军陆军工程大学)
在这项工作中,我们提出了FedSSO,服务器端二阶优化方法的联邦学习(FL)。与以前在这个方向上的工作相比,我们采用了服务器端近似的拟牛顿方法,而不需要任何训练数据从客户端。通过这种方式,我们不仅将计算负担从客户端转移到服务器,而且完全消除了客户端和服务器之间的二阶更新的额外通信。我们提供了理论保证,我们的新方法的收敛性,并实证证明我们的快速收敛和通信节省在凸和非凸设置。
2022-08-23 cs.AI cs.LG math.OC
Enhancing Robustness of Federated Learning via Server Learning
National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院);University of Maryland, College Park(马里兰大学帕克分校);Tata Consultancy Services Research(塔塔咨询服务公司研究院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出结合服务器学习与客户端更新过滤的启发式算法,通过几何中位数聚合提升联邦学习在恶意攻击下的模型准确率,即使在恶意客户端比例高达50%且服务器数据集较小的情况下也有效。
2026-04-03 cs.AI cs.LG
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies(HCL科技公司)
联邦学习(FL)是一种新兴技术,用于协作训练全局机器学习模型,同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同(非IID)数据分布,这会减慢收敛速度并降低性能。为了解决这个根本问题,我们提出了一种方法(ComFed),它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明,ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
针对无服务器联邦学习中客户端模型异构性挑战,本文利用知识蒸馏技术优化FedMD和FedDF的无服务器工作流,实验表明优化后的无服务器FedDF在鲁棒性、速度和成本上均优于FedMD。
2024-02-11 cs.AI cs.DC cs.LG
FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion
Fudan University(复旦大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
如今,数据通常分散在数十亿资源受限的边缘设备中,这些设备具有安全和隐私限制。联邦学习(Federated Learning,FL)已经成为一种可行的学习全局模型同时保持数据私有性的解决方案,但是FL的模型复杂度受到边缘节点计算资源的限制。在这项工作中,我们研究了一种新的范式,利用一个强大的服务器模型,突破模型容量FL。通过选择性地学习多个教师客户端和自己,服务器模型开发深入的知识,并将其知识转移回客户端,以提高各自的性能。我们提出的框架在服务器和客户端模型上实现了卓越的性能,并在统一的框架中提供了几个优点,包括异构客户端架构的灵活性,对中毒攻击的鲁棒性,以及客户端和服务器之间在各种图像分类任务上的通信效率。
2021-12-07 cs.AI cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients
Delft University of Technology(代尔夫特理工大学)
针对传统单服务器同步联邦学习的服务器空闲与瓶颈问题,提出首个完全异步多服务器联邦学习架构,客户端仅连最近服务器、服务器间异步更新,在多数据集上精度相当或更高,地理分布场景下收敛时间缩短61%。
2024-06-20 cs.DC cs.LG
Central Server Free Federated Learning over Single-sided Trust Social Networks
University of Southern California(南加州大学);WeBank(微众银行);University of Rochester(罗切斯特大学);University of Michigan(密歇根大学);Kwai Inc.(快手公司)
联邦学习对于现代机器学习来说变得越来越重要,特别是对于数据隐私敏感的场景。现有的联邦学习大多采用基于中心服务器的架构或集中式架构。然而,在许多社交网络场景中,集中式联邦学习不适用(例如,连接所有用户的中央代理或服务器可能不存在,或者到中央服务器的通信成本是负担不起的)。在本文中,我们考虑一个通用的设置:1)中央服务器可能不存在,以及2)社交网络是单向的或单侧信任的(即,用户A信任用户B,但用户B可能不信任用户A)。我们提出了一个中央服务器免费的联邦学习算法,名为在线推和(OPS)方法,来处理这个具有挑战性的,但通用的情况。还提供了一个严格的遗憾分析,它显示了用户如何在联邦学习场景中从与可信用户的通信中受益的非常有趣的结果。这项工作建立在通用社交网络场景中联邦学习的基本算法框架和理论保证的基础上。
2020-08-01 cs.LG cs.SI stat.ML
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India(IBM印度研究院)
联邦学习(FL)的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中,每个客户端的数据都是私有的,不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注,但在外语教学过程中,如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择(FRCS)。由于服务器对每个客户端拥有的数据的性质没有明确的控制,因此在FL设置中选择相关客户端的问题非常复杂。在本文中,我们解决重要的和相关的FRCS问题,即,选择具有相关数据的客户端,检测拥有与特定目标标签相关的数据的客户端,以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题,并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此,我们提出了一个合作的游戏,涉及到客户端共享的梯度。使用这个游戏,我们计算Shapley值的客户端,然后提出基于Shapley值的联邦平均(S-FedAvg)算法,使服务器选择相关的客户端具有高概率。事实证明,S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后,我们对图像分类和语音识别任务进行了全面的实证分析,以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
A Demonstration of Smart Doorbell Design Using Federated Deep Learning
Pandit Deendayal Petroleum University(潘迪特·丁代亚尔石油大学);NUI Galway(爱尔兰国立高威大学)
智能门铃在保护我们的现代家居方面发挥着重要作用。将视频流发送到集中式服务器(或云)以进行视频分析的现有方法一直面临许多挑战,诸如延迟、带宽成本以及更重要的用户隐私问题。为了应对这些挑战,本文展示了基于联合深度学习的智能智能门铃的能力,它可以跨边缘和云资源部署和管理视频分析应用程序,例如智能门铃。该平台可以扩展,与多个设备一起工作,无缝管理应用程序组件的在线编排。所提出的框架是使用最先进的技术实现的。我们使用Flask框架实现Federated Server,使用Nginx和Gunicorn进行容器化,部署在AWS EC2和AWS Serverless架构上。
2020-10-19 cs.AI cs.DC cs.LG
Federated Learning with Server Learning: Enhancing Performance for Non-IID Data
National Institute of Standards and Technology(美国国家标准与技术研究院);University of Maryland(马里兰大学)
针对 Non-IID 数据导致联邦学习性能下降、收敛变慢的问题,提出让服务器利用小型数据集进行辅助学习,并证明其可显著提升准确率与收敛速度。
2023-08-15 cs.DC cs.LG math.OC
Federated Inference with Reliable Uncertainty Quantification over Wireless Channels via Conformal Prediction
Beijing University of Posts and Telecommunications(北京邮电大学)
本文针对无线联邦推理场景,首次提出基于TBMA和分位数校正的WFCP协议,为无线环境下的联邦共形预测提供可靠性保证,在通信资源有限或设备众多时性能优于现有方案。
2023-12-15 cs.AI cs.IT cs.LG
Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data
Hithink RoyalFlush Information Network Co., Ltd.(同花顺网络信息股份有限公司);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心);Baidu Research(百度研究院);Software Institute, Peking University(北京大学软件学院);Auburn University(奥本大学);North Carolina State University(北卡罗来纳州立大学);School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对联邦学习训练效率低、资源受限的问题,提出FedDUMAP框架,融合动态服务器更新、全局动量自适应优化与层自适应剪枝,显著提升效率、准确率并降低计算成本。
2024-08-11 cs.AI cs.DC cs.LG
Asynchronous Hierarchical Federated Learning
Splunk Inc.(Splunk公司);University of Illinois(伊利诺伊大学)
联邦学习是一个快速发展的研究领域,具有各种好处和行业应用。典型的联邦模式有一些固有的问题,比如服务器流量大、收敛时间长和准确性不可靠。在本文中,我们通过提出异步分层联邦学习来解决这些问题,在这种学习中,中央服务器使用网络拓扑或某种聚类算法来为工作者分配集群(即,客户端设备)。在每个集群中,选择一个特殊的聚合器设备,以实现分层学习,导致服务器和工人之间的有效通信,从而可以显着减少服务器的负担。此外,异步联邦学习模式用于容忍系统的异构性并实现快速收敛,即,服务器将来自工作者的梯度通过陈旧参数加权进行聚合以更新全局模型,并且在工作者中执行正则化随机梯度下降,从而可以减轻异步学习的不稳定性。在CIFAR-10图像分类任务上对所提算法进行了评估,实验结果证明了异步分层联邦学习的有效性。
2022-05-31 cs.LG
Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation
Eindhoven University of Technology(埃因霍温理工大学)
本文提出 FedCompress 方法,结合动态权重聚类与服务器端知识蒸馏,在降低联邦学习通信成本的同时学习高泛化模型,并在多个公开数据集上验证了其在通信成本和推理速度上的优势。
2024-02-25 cs.DC cs.LG
Distributed Federated Learning by Alternating Periods of Training
本文提出了一种分布式联邦学习算法,通过客户端和服务器间的交替训练周期,提高系统的可扩展性和容错性。
2026-01-05 cs.LG cs.SY eess.SY
LIFL: A Lightweight, Event-driven Serverless Platform for Federated Learning
University of California, Riverside(加州大学河滨分校);Cisco Research(思科研究院)
针对现有联邦学习系统资源利用效率低、管理缺乏弹性的问题,提出轻量级事件驱动无服务器平台LIFL,通过eBPF代理、共享内存处理等技术,显著提升大规模联邦学习的资源效率与聚合速度。
2024-05-05 cs.DC cs.LG
Confederated Learning: Federated Learning with Decentralized Edge Servers
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(史蒂文斯理工学院);Sun Yat-Sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习(FL)是一种新兴的机器学习范例,其允许在不聚集中央服务器处的数据的情况下完成模型训练。大多数关于FL的研究考虑集中式框架,其中单个服务器被赋予中央权限以协调多个设备以迭代方式执行模型训练。由于严格的通信和带宽限制,这种集中式框架随着设备数量的增长而具有有限的可扩展性。为了解决这个问题,在本文中,我们提出了一个联合学习(CFL)框架。拟议的CFL由多个服务器组成,其中每个服务器与传统FL框架中的一组单独的设备连接,并且在服务器之间利用分散的协作,以充分利用分散在整个网络中的数据。提出了一种交替方向乘子法(ADMM)的CFL算法。所提出的算法采用随机调度策略,随机选择一个子集的设备访问各自的服务器在每次迭代,从而减轻了需要上传大量的信息从设备到服务器。理论分析证明所提出的方法。数值结果表明,该方法可以收敛到一个体面的解决方案显着快于基于梯度的FL算法,从而拥有一个显着的优势,在通信效率方面。
2022-05-30 cs.DC cs.LG math.OC
Computation and Communication Efficient Federated Unlearning via On-server Gradient Conflict Mitigation and Expression
本文提出FOUL框架,通过学习-反学习阶段和服务器知识聚合阶段,解决联邦反学习中的跨客户端知识不可达和高计算通信成本问题,提出时间到遗忘指标,实验证明其在效率和隐私保护上的优势。
2026-03-14 cs.AI cs.LG
FedLesScan: Mitigating Stragglers in Serverless Federated Learning
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
联邦学习(FL)是一种机器学习范例,它能够在分布式客户端之间训练共享的全局模型,同时保持训练数据本地化。虽然大多数先前的FL系统设计工作都集中在使用有状态的始终运行的组件上,但最近的工作表明,FL系统中的组件可以从无服务器计算和功能即服务技术的使用中受益匪浅。为此,使用无服务器FL系统对模型进行分布式训练可以比传统FL系统更节省资源和更便宜。然而,无服务器FL系统仍然遭受落伍者的存在,即,由于客户端的资源和统计异质性,它们的速度较慢。虽然已经提出了几种策略来减轻FL中的落伍者,但大多数方法都没有考虑到无服务器环境的特定特征,即,冷启动、性能变化以及函数实例的短暂无状态特性。为此,我们提出了FedLesScan,一种新的基于集群的半异步训练策略,专门为无服务器FL定制。FedLesScan动态适应客户端的行为,并最大限度地减少掉队者对整个系统的影响。我们通过扩展一个名为FedLess的开源无服务器FL系统来实现我们的策略。此外,我们使用第二代Google Cloud Functions对我们的策略进行了全面评估,其中包含四个数据集和不同百分比的落伍者。我们的实验结果表明,与其他方法相比,FedLesScan平均分别减少了8%和20%的训练时间和成本,同时更好地利用客户端,有效更新率平均提高了17.75%。
2022-11-28 cs.DC cs.LG
Scalable and Low-Latency Federated Learning with Cooperative Mobile Edge Networking
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
联邦学习(FL)支持协作模型训练,而无需集中数据。然而,传统的FL框架是基于云的,并且具有高通信延迟。另一方面,依赖于与移动基站共置的边缘服务器用于模型聚合的基于边缘的FL框架具有低通信延迟,但是由于边缘服务器的有限覆盖而遭受降低的模型准确性。针对基于云的高精度高延迟FL和基于边缘的低延迟低精度FL,提出了一种基于协作移动边缘网络的FL框架--协作联邦边缘学习(CFEL),以实现移动边缘网络的高精度和低延迟分布式智能。考虑到CFEL独特的两层网络架构,进一步开发了一种新的联邦优化方法,称为基于合作边缘的联邦平均(CE-FedAvg),其中每个边缘服务器既协调其自身覆盖范围内的设备之间的协作模型训练,又与其他边缘服务器合作,通过分散的共识来学习共享的全局模型。基于基准数据集的实验结果表明,CFEL可以大大减少训练时间,以达到目标模型的精度相比,以前的FL框架。
2022-10-27 cs.DC cs.LG
Federated Learning Versus Classical Machine Learning: A Convergence Comparison
Nagoya Institute of Technology(名古屋工业大学)
在过去的几十年里,机器学习已经彻底改变了大规模应用的数据处理。与此同时,趋势应用程序中越来越多的隐私威胁导致了对经典数据训练模型的重新设计。特别是,经典的机器学习涉及集中式数据训练,其中收集数据,整个训练过程在中央服务器上执行。尽管有显著的融合,但当与中央云服务器共享时,此培训涉及参与者数据的几个隐私威胁。为此,联邦学习在分布式数据训练中取得了显著的重要性。特别地,联邦学习允许参与者在本地数据上协作地训练本地模型,而不向中央云服务器泄露他们的敏感信息。在本文中,我们在两个公开可用的数据集,即逻辑回归-MNIST数据集和图像分类-CIFAR-10数据集上,对经典机器学习和联邦学习进行了收敛性比较。仿真结果表明,联邦学习在保持参与者匿名性的同时,在有限的通信轮数内实现了更高的收敛性。我们希望这项研究能够显示出它的好处,并帮助联邦学习得到广泛的实施。
2021-07-22 cs.DC cs.LG
Coordinating Momenta for Cross-silo Federated Learning
University of Pittsburgh(匹兹堡大学)
通信效率是联邦学习(FL)的关键。在客户端中进行本地训练步骤以减少客户端和服务器之间的通信频率是解决此问题的常用方法。然而,由于\textit{non-i.i.d.}数据分布在不同的客户端中,这种策略导致了客户端漂移问题,这严重降低了性能。在这项工作中,我们提出了一种新的方法来提高训练性能,在跨筒仓FL通过保持双动量缓冲。在该算法中,一个动量缓冲区用于跟踪服务器模型更新方向,另一个动量缓冲区用于跟踪局部模型更新方向。更重要的是,我们引入了一种新的动量融合技术来协调服务器和本地动量缓冲区。我们还得到了第一个理论上的收敛性分析,涉及服务器和本地标准动量SGD。大量的深度FL实验结果验证了我们的新方法比FedAvg和现有的标准动量SGD变体具有更好的训练性能。
2022-01-19 cs.DC cs.LG
Domain Discrepancy Aware Distillation for Model Aggregation in Federated Learning
Fudan University(复旦大学)
知识蒸馏作为联邦学习服务器上的模型聚合方法,最近变得流行起来。通常假设服务器上存在大量的公共未标记数据。然而,在现实中,服务器域和客户端域的数据集之间存在域差异,这限制了知识蒸馏的性能。如何在这样的领域差异设置下提高聚合仍然是一个悬而未决的问题。本文首先分析了客户领域知识蒸馏所产生的聚合模型的泛化界,然后描述了领域差异给聚合模型带来的两个挑战:服务器到客户端差异和客户端到客户端差异。在此基础上,提出了一种基于领域差异感知的自适应知识聚合算法FedD3A。FedD3A在每轮FL中在样本级别执行自适应加权。对于服务器域中的每个样本,仅选择其相似域的客户端模型来扮演教师角色。为了实现这一点,我们表明,服务器端的样本和客户端域之间的差异可以近似测量使用子空间投影矩阵计算每个客户端,而无需访问其原始数据。因此,服务器可以利用来自多个客户端的投影矩阵来为每个服务器端样本的对应教师模型分配权重。我们在两个流行的跨域数据集上验证了FedD3A,并表明它在跨竖井和跨设备FL设置中优于比较的竞争对手。
2022-10-04 cs.AI cs.LG
GAS: Generative Activation-Aided Asynchronous Split Federated Learning
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对异步分割联邦学习中激活异步传输导致的模型更新偏差问题,提出生成式激活辅助的异步SFL(GAS),通过生成激活来校正更新,并推导更紧的收敛界,实验验证有效性。
2024-12-14 cs.DC cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Hear No Evil: Detecting Gradient Leakage by Malicious Servers in Federated Learning
University of Toronto(多伦多大学)
本文从防御者视角首次全面分析了联邦学习中恶意服务器引发的梯度泄露攻击,揭示其隐蔽性与有效性存在核心权衡,并提出一种轻量级客户端检测机制以标记可疑更新。
2026-11-02 cs.AI cs.CR cs.DC
Global Outlier Detection in a Federated Learning Setting with Isolation Forest
IDSIA (USI-SUPSI)(IDSIA(瑞士意大利语区大学与瑞士应用科学与艺术大学卢加诺分校联合机构))
提出一种基于 Isolation Forest 的联邦学习全局异常检测策略,通过双服务器、数据掩码与置换机制保护隐私,使客户端能在模型训练前移除本地异常,效果与集中式执行相当。
2024-09-20 cs.AI cs.LG
Serverless Federated AUPRC Optimization for Multi-Party Collaborative Imbalanced Data Mining
University of Pittsburgh(匹兹堡大学);Duke University(杜克大学);University of Maryland(马里兰大学)
本文首次研究无服务器多方协作AUPRC最大化问题,提出SLATE算法直接优化AUPRC,并进一步提出SLATE-M算法利用动量方差缩减提升收敛速度,达到与单机在线方法相当的最优理论收敛结果。
2023-08-06 cs.AI cs.LG
COSMOS: Model-Agnostic Personalized Federated Learning with Clustered Server Models and Pseudo-Label-Only Communication
Washington University in St. Louis(华盛顿大学圣路易斯分校)
COSMOS通过伪标签通信实现服务器端个性化,利用客户端本地模型预测公共数据并聚类,训练集群特定模型并回传知识蒸馏,理论分析显示其能有效降低个性化风险,实验验证其在异构环境中优于现有基线方法。
2026-10-21 cs.LG
Towards Client Driven Federated Learning
Southeast University(东南大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对传统联邦学习服务器驱动模式的局限,提出客户端驱动的联邦学习框架CDFL,让客户端异步发起更新,服务器维护聚类模型并优化估计,实现快速适应新任务,提升性能与计算效率。
2024-05-24 cs.DC cs.LG
Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
Rochester Institute of Technology(罗切斯特理工学院);The Ohio State University(俄亥俄州立大学);Wayne State University(韦恩州立大学);Duke University(杜克大学)
针对不完整客户端参与问题,本文首次从理论上证明传统FL不可PAC学习而SA-FL可恢复可学习性,并提出SAFARI算法,享有线性收敛加速保证,实验验证其显著提升性能。
2024-05-25 cs.DC cs.LG
Differentially Private Federated Learning: Servers Trustworthiness, Estimation, and Statistical Inference
Rutgers University(罗格斯大学)
本文研究了差分隐私联邦学习中的高维估计与推断挑战,分别在不可信和可信中央服务器场景下证明了估计困难并提出了针对线性回归的新型联邦估计算法及统计推断方法。
2024-04-25 cs.CR cs.LG math.ST
Perfectly Accurate Membership Inference by a Dishonest Central Server in Federated Learning
Technische Universität Wien(维也纳技术大学);CSC-CONICET(阿根廷国家科学技术研究委员会);Universidad de Buenos Aires(布宜诺斯艾利斯大学);MILA - Quebec AI Institute(魁北克人工智能研究所);CNRS(法国国家科学研究中心);CentraleSupélec(中央高等电力学院)
针对联邦学习的隐私保障论断,提出不诚实中央服务器下仅需单步训练、利用ReLU特性的成员推理攻击,在多视觉数据集上实现完全准确率,还发现数据集中存在重复图像。
2023-11-09 cs.AI cs.CR cs.LG
ESFL: Efficient Split Federated Learning over Resource-Constrained Heterogeneous Wireless Devices
University of Florida(佛罗里达大学);Shandong University(山东大学);University of Hong Kong(香港大学);City University of Hong Kong(香港城市大学)
针对联邦学习中设备与服务器资源高效利用的难题,提出高效拆分联邦学习算法ESFL,通过拆分模型并联合优化用户侧负载与服务器资源分配,在异构设备场景下显著提升学习效率。
2024-04-17 cs.AI cs.LG cs.NI
Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning
Amirkabir University(阿米尔卡比尔理工大学);Virginia Tech(弗吉尼亚理工大学)
在联邦学习(FL)中,机器学习模型以分散的方式在多个节点上训练,同时保持数据本地化,不与其他节点共享。然而,FL要求节点还将关于模型参数的信息发送到中央服务器以进行聚合。然而,从节点发送到服务器的信息可能会泄露每个节点本地数据的一些细节,从而引发隐私问题。此外,从节点到服务器的重复上行链路传输可能导致通信开销和网络拥塞。为了解决这两个问题,本文提出了一种新的两比特聚合算法,保证差分隐私和减少上行链路通信开销。大量实验表明,该算法在MNIST、Fashion MNIST、CIFAR-10和CIFAR-100等数据集上可以达到与现有方法相同的性能,同时保证了差分隐私,提高了通信效率.
2021-10-06 cs.CR cs.DC cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.(壳牌全球解决方案国际有限公司);Delft University of Technology (TU Delft)(代尔夫特理工大学);Myant Inc.(迈安特公司)
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的,并且相对较慢,在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法(FLT),通过学习客户端之间的任务相关性来更有效地联合聚合异构数据,从而概括了这一方向。在一个一次性的过程中,服务器为客户端提供一个预先训练(和微调)的编码器,将其数据压缩成潜在的表示,并将其数据的签名传输回服务器。然后,服务器通过流形学习来学习客户端之间的任务相关性,并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图,当没有显式的客户端集群,以及有效地将其分解成(不相交)集群的联邦学习。我们证明,FLT不仅优于现有的国家的最先进的基线在非IID的情况下,但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
FLVoogd: Robust And Privacy Preserving Federated Learning
Delft University of Technology(代尔夫特理工大学);University of Greenwich(格林威治大学)
在这项工作中,我们提出了FLVoogd,一个更新的联邦学习方法,其中服务器和客户端协作消除拜占庭攻击,同时保护隐私。特别是,服务器使用自动的基于密度的空间聚类的应用程序与噪声(DBSCAN)结合S2 PC集群的良性大多数,而不获取敏感的个人信息。同时,客户端建立双模型,并进行基于测试的距离控制,以调整他们的本地模型向全球之一,以实现个性化。我们的框架是自动和自适应的,服务器/客户端不需要在训练过程中调整参数。此外,我们的框架利用安全多方计算(SMPC)操作,包括乘法,加法和比较,不需要昂贵的操作,如除法和平方根。对来自图像分类领域的一些常规数据集进行评价。实验结果表明,FLVoogd在大多数情况下都能有效地拒绝恶意上传,同时避免了服务器端的数据泄露。
2022-06-24 cs.AI cs.CR cs.LG
A Graph Federated Architecture with Privacy Preserving Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
联邦学习涉及一个中央处理器,它与多个代理一起工作,以找到一个全局模型。这一过程包括反复交换估计数,从而传播与当地私人数据有关的信息。这样的方案在处理敏感数据时可能不方便,因此,需要算法的私有化。此外,连接到多个客户端的服务器的当前架构对服务器处的通信故障和计算过载高度敏感。因此,在这项工作中,我们开发了一个私人的多服务器联邦学习计划,我们称之为图联邦学习。我们使用加密和差分隐私的概念来私有化的联邦学习算法,我们扩展到图结构。我们研究了私有化的学习算法的性能一般的私人计划,可以建模为加性噪声的影响。我们的凸性和Lipschitz条件下,私有化的过程中匹配的非私有算法的性能,即使当我们增加噪声方差。
2021-04-26 cs.AI cs.CR cs.LG
Agentic Federated Learning: Rule-Based Client and Server Agents for Adaptive Training
Model Engineering College(模范工程学院);APJ Abdul Kalam Technological University(APJ阿卜杜勒·卡拉姆技术大学)
本文提出智能体联邦学习(AFL)框架,通过客户端侧智能体(CSA)和服务器端编排智能体(SSOA)实现自适应训练,在CIFAR-10上优于FedAvg和FedProx,提升准确率、鲁棒性和通信效率。
2026-09-30 cs.LG cs.MA
RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data
University of Chinese Academy of Sciences(中国科学院大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
联邦学习是一种广泛使用的分布式深度学习框架,它通过交换模型参数而不是原始数据来保护每个客户端的隐私。然而,联邦学习存在通信成本高的问题,因为在训练过程中需要多次传输相当数量的模型参数,使得该方法效率低下,特别是在通信网络带宽有限的情况下。本文提出了RingFed,一种新的框架,以减少联邦学习的训练过程中的通信开销。与原始联邦学习中在中心服务器和每个客户端之间传输参数不同,在所提出的RingFed中,更新后的参数在每个客户端之间依次传输,并且仅将最终结果传输到中心服务器,从而大大减少了通信开销。在几次本地更新之后,客户端首先将其参数发送到另一个邻近的客户端,而不是直接发送到中心服务器,以进行预聚合。在两个不同的公开数据集上的实验表明,RingFed算法具有收敛速度快、模型精度高、通信代价低的特点。
2021-07-19 cs.DC cs.LG
Towards Trustworthy Federated Learning with Untrusted Participants
EPFL(洛桑联邦理工学院)
本文提出CafCor算法,通过参与者间共享随机性种子实现鲁棒梯度聚合与相关噪声注入,在不可信服务器和恶意参与者勾结场景下取得接近中心差分隐私的效用,同时保持对恶意攻击的鲁棒性。
2025-06-04 cs.CR cs.DC cs.LG
Vertical Federated Principal Component Analysis and Its Kernel Extension on Feature-wise Distributed Data
Hong Kong Baptist University(香港浸会大学);Xidian University(西安电子科技大学)
尽管联邦学习(FL)在各个领域有着巨大的研究兴趣和快速的应用,但现有的研究大多集中在水平分区局部数据集环境下的有监督联邦学习。本文将研究垂直分区数据集下的无监督FL。因此,本文提出了垂直分区数据集联合主成分分析(VFedPCA)方法,该方法对所有客户端的联合数据集进行降维,并提取主成分特征信息用于下游数据分析。我们进一步利用非线性降维,并提出了垂直联邦高级核主成分分析(VFedAKPCA)方法,它可以有效地和协同建模的非线性性质存在于许多真实的数据集。此外,我们还研究了两种通信拓扑结构。第一种是服务器-客户端拓扑,其中半信任服务器协调联合训练,而第二种是完全分散的拓扑,通过允许客户端自己与邻居通信,进一步消除了对服务器的要求。在五种真实数据集上进行的大量实验证实了垂直分区FL设置下VFedPCA和VFedAKPCA的有效性。代码可在:https://github.com/juyongjiang/VFedPCA-VFedAKPCA
2022-03-03 cs.DC cs.LG
Time Minimization in Hierarchical Federated Learning
Nanyang Technological University(南洋理工大学)
联邦学习是一种现代分散式机器学习技术,其中用户设备在本地执行机器学习任务,然后将模型参数上传到中央服务器。在本文中,我们考虑了一个3层的分层联邦学习系统,其中包括云和边缘服务器之间的模型参数交换,以及边缘服务器和用户设备。在分层联邦学习模型中,模型参数的通信和计算延迟对实现预定义的全局模型精度有很大影响。因此,我们制定了一个联合学习和通信优化问题,以最大限度地减少总模型参数的通信和计算延迟,通过优化局部迭代计数和边缘迭代计数。为了解决这个问题,提出了一种迭代算法。在此基础上,提出了一种时间最小化的UE到边缘关联算法,该算法降低了系统的最大延迟。仿真结果表明,在最优边缘服务器和局部迭代次数下,全局模型收敛速度更快。分层联邦学习延迟与所提出的UE到边缘关联策略最小化。
2022-10-07 cs.AI cs.LG cs.NI
Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization
KAUST(阿卜杜拉国王科技大学);Inria Sierra(法国国家信息与自动化研究所塞拉实验室)
本文对联邦学习中的服务器端优化进行了理论研究。我们的研究结果是第一个表明,广泛流行的启发式扩展客户端更新与一个额外的参数是非常有用的背景下,联邦平均(FedAvg)与本地通过客户端数据。每次本地传递都使用随机重排执行,无需替换,这是我们可以显示出更高复杂性的关键原因。特别是,我们证明,每当局部步长很小,更新方向是由FedAvg与随机重排在所有客户端,可以采取一个大的飞跃,在获得的方向和提高率凸,强凸,非凸目标。特别地,在非凸区域中,我们得到了从$\mathcal{O}\left(\varepsilon^{-3}\right)$到$\mathcal{O}\left(\varepsilon^{-2}\right)$的收敛速度的增强。这个结果甚至对于在单个节点上执行的随机重排也是新的。相比之下,如果本地步长较大,我们证明了客户端采样的噪声可以通过使用一个小的服务器端步长来控制。据我们所知,这是第一次证明地方步骤有助于克服沟通瓶颈。总之,我们的研究结果的优势,大,小的服务器端步长提供了一个正式的理由的做法,自适应服务器端优化联邦学习。此外,我们认为我们的算法的一个变种,支持部分客户端的参与,这使得该方法更实用。
2022-01-26 cs.LG math.OC
DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
DisAgg通过分布式聚合器实现高效安全聚合,减少通信轮次和计算开销,提升10万维更新向量处理速度达4.6倍。
2026-05-13 cs.CR cs.DC cs.LG
Fast Server Learning Rate Tuning for Coded Federated Dropout
KTH Royal Institute of Technology(KTH皇家理工学院)
在跨设备联邦学习(FL)中,计算能力低的客户端通过更新而不是潜在的私有数据交换参数来训练公共\linebreak [4]机器模型。联合丢弃(FD)是通过选择要在每个训练轮中更新的模型参数的\emph{subset}来提高FL会话的通信效率的技术。然而,与标准FL相比,FD产生相当低的精度并且面临更长的收敛时间。在本文中,我们利用\textit{coding theory}来增强FD,允许在每个客户端使用不同的子模型。我们还表明,通过仔细调整服务器学习率超参数,我们可以实现更高的训练速度,同时也实现了与无辍学情况相同的最终精度。对于EMNIST数据集,我们的机制实现了99.6%的最终准确度的无辍学的情况下,而需要$2.43\times$更少的带宽,以达到这一水平的准确性。
2022-09-15 cs.LG
Fingerprint Attack: Client De-Anonymization in Federated Learning
The University of Melbourne(墨尔本大学)
本文提出一种针对联邦学习梯度的新型指纹攻击,证明梯度聚类可轻易打破洗牌匿名化,并验证差分隐私训练可有效防御该攻击。
2023-09-12 cs.AI cs.CL cs.CR
Client-Edge-Cloud Hierarchical Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习是一个协作机器学习框架,用于训练深度学习模型,而无需访问客户的私有数据。以前的工作假设一个中央参数服务器在云或边缘。云服务器可以访问更多的数据,但通信开销过大,延迟时间长,而边缘服务器与客户端的通信效率更高。为了结合它们的优点,我们提出了一个客户端-边缘-云分层联邦学习系统,支持HierFAVG算法,允许多个边缘服务器执行部分模型聚合。通过这种方式,可以更快地训练模型,并且可以实现更好的通信-计算权衡。收敛性分析提供HierFAVG和关键参数的影响也进行了研究,从而导致定性的设计准则。实证实验验证了分析,并证明了这种层次结构的好处,在不同的数据分布场景。特别是,它表明,通过引入中间边缘服务器,模型训练时间和终端设备的能耗可以同时减少相比,基于云的联邦学习。
2019-10-31 cs.LG cs.NI
Mix2FLD: Downlink Federated Learning After Uplink Federated Distillation With Two-Way Mixup
Yonsei University(延世大学);Deakin University(迪肯大学);Samsung Research, Samsung Electronics(三星电子三星研究院);University of Oulu(奥卢大学)
这封信提出了一种新的通信高效和隐私保护的分布式机器学习框架,称为Mix 2FLD。为了解决上行链路-下行链路容量不对称,本地模型输出在上行链路中被上传到服务器,如在联合蒸馏(FD)中,而全局模型参数在下行链路中被下载,如在联邦学习(FL)中。这需要在从设备收集额外的数据样本后,在服务器上进行模型输出到参数的转换。为了在不影响准确性的同时保护隐私,上传线性混合的本地样本,并在服务器上的不同设备上反向混合。数值评估表明,Mix 2FLD实现高达16.7%的测试精度提高,同时减少收敛时间高达18.8%,在不对称的上行链路-下行链路信道相比,FL。
2020-06-17 cs.LG stat.ML
Fast-Convergent Federated Learning via Cyclic Aggregation
KAIST(韩国科学技术院);King’s College London(伦敦国王学院)
联邦学习(FL)旨在优化多个边缘设备上的共享全局模型,而无需将(私有)数据传输到中央服务器。虽然理论上众所周知,FL在温和的条件下产生最佳模型-集中训练的模型假设中央服务器上所有边缘设备数据的可用性,但在实践中,它通常需要大量的迭代直到收敛,特别是在存在统计/计算异质性的情况下。本文在服务器端利用循环学习率来减少训练迭代次数,同时提高性能,而不会为服务器和边缘设备带来任何额外的计算成本。数值结果表明,简单地插入所提出的循环聚合到现有的FL算法有效地减少了训练迭代次数,提高了性能。
2022-10-29 cs.LG eess.SP