Meta Federated Learning
University of Maryland(马里兰大学);IBM Research(IBM研究院);University of Virginia(弗吉尼亚大学)
由于其分布式方法及其隐私保护功能,联邦学习(FL)容易受到训练时间对抗攻击的影响。在这项研究中,我们的重点是后门攻击,其中对手的目标是造成有针对性的错误分类的输入嵌入了一个对抗性的触发器,同时保持一个可接受的性能在手头的主要学习任务。针对联邦学习中后门攻击的当代防御需要直接存取每个客户端的更新,这在最近部署安全聚合的FL设置中是不可行的。在这项研究中,我们试图回答以下问题,当安全聚合到位时,是否有可能防御后门攻击?,这是现有技术尚未解决的问题。为此,我们提出了Meta联邦学习(Meta-FL),一种新的变体的联邦学习,它不仅是兼容的安全聚合协议,但也有利于防御后门攻击。我们在两个分类数据集:SVHN和GTSRB上对Meta-FL进行了系统的评估。实验结果表明,Meta-FL不仅比经典FL具有更好的实用性,而且在抵抗对抗攻击的鲁棒性方面也提高了现代防御系统的性能.
2021-02-10 cs.CR cs.DC cs.LG
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech(弗吉尼亚理工大学)
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决,即模型压缩、部分设备参与和周期性聚合,代价是增加训练方差。与传统的分布式学习系统不同,联邦学习存在数据异构性(因为设备从可能不同的分布中采样数据),这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响,而它们通常需要额外的通信资源来提供必要的控制信息。此外,数据隐私仍然是FL中的一个关键问题,因此已经有人尝试将差分隐私引入该框架,作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡,以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Accurate and Fast Federated Learning via IID and Communication-Aware Grouping
Korea Advanced Institute of Science and Technology(韩国科学技术院)
联邦学习已经成为协作机器学习的一种新范式;然而,它也面临着一些挑战,例如非独立同分布(IID)数据和高通信成本。为此,我们提出了一种新的框架,IID和通信感知组联邦学习,同时最大限度地提高准确性和通信速度分组节点的基础上的数据分布和物理位置的节点。此外,我们提供了一个正式的收敛性分析和一个有效的优化算法称为FedAvg-IC。实验结果表明,与现有算法相比,FedAvg-IC测试精度提高了22.2%,同时通信时间缩短了12%。
2020-12-09 cs.DC cs.LG
RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data
University of Chinese Academy of Sciences(中国科学院大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
联邦学习是一种广泛使用的分布式深度学习框架,它通过交换模型参数而不是原始数据来保护每个客户端的隐私。然而,联邦学习存在通信成本高的问题,因为在训练过程中需要多次传输相当数量的模型参数,使得该方法效率低下,特别是在通信网络带宽有限的情况下。本文提出了RingFed,一种新的框架,以减少联邦学习的训练过程中的通信开销。与原始联邦学习中在中心服务器和每个客户端之间传输参数不同,在所提出的RingFed中,更新后的参数在每个客户端之间依次传输,并且仅将最终结果传输到中心服务器,从而大大减少了通信开销。在几次本地更新之后,客户端首先将其参数发送到另一个邻近的客户端,而不是直接发送到中心服务器,以进行预聚合。在两个不同的公开数据集上的实验表明,RingFed算法具有收敛速度快、模型精度高、通信代价低的特点。
2021-07-19 cs.DC cs.LG
Federated LoRA with Sparse Communication
Carnegie Mellon University(卡内基梅隆大学)
本文提出联邦稀疏通信方法 FLASC,在通信时对 LoRA 施加稀疏性而允许客户端本地微调完整模块,以最多 10 倍通信减少达到与稠密 LoRA 相当的性能,并在异质性和隐私方面优于现有方法。
2024-06-07 cs.DC cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.(谷歌公司)
联邦学习(FL)是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止,大多数FL算法在多轮中学习“全局”服务器模型。在每一轮,相同的服务器模型被广播到所有参与的客户端,在本地更新,然后跨客户端聚合。在这项工作中,我们提出了一个更一般的程序,客户端“选择”什么值发送给他们。值得注意的是,这允许客户端在更小的数据依赖切片上操作。为了实现这一点,我们概述了一个原始的,联邦选择,使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练,并表明它可以大幅减少通信和客户端内存使用,从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任,这反过来又影响可能的系统约束和设计的影响。最后,我们讨论了开放的问题,模型架构,隐私保护技术,和实际FL系统。
2022-08-19 cs.DC cs.LG
ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
提出ParaBlock方法,通过并行化通信与计算线程,在联邦学习大语言模型时提升通信效率,并理论证明其收敛率与标准方法相同,实验验证其性能与效率优势。
2026-06-02 cs.DC cs.LG
Detailed comparison of communication efficiency of split learning and federated learning
Massachusetts Institute of Technology(麻省理工学院)
我们比较了两个引人注目的分布式机器学习方法的分裂学习和联邦学习的通信效率。我们展示了有用的设置下,每种方法优于其他方面的通信效率。我们考虑分布式学习设置的各种实际场景,并将这两种方法在各种现实生活中的场景下并列。我们考虑了小客户端和大客户端数量以及小模型(1 M-6 M参数),大模型(10 M-200 M参数)和超大模型(10亿-1000亿参数)的设置。我们发现,增加客户端的数量或增加模型的大小有利于分裂学习设置联邦,而增加数据样本的数量,同时保持客户端的数量或模型的大小低,使联邦学习更有效的沟通。
2019-09-18 cs.DC cs.LG stat.ML
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降(SGD)是分散式联邦学习(DFL)的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中,我们提出了一个通用的DFL框架,它实现了多个本地更新和多个节点间的通信周期,以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证,而无需假设凸目标。DFL的收敛速度可以被优化,以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率,将压缩通信作为一种新的方案引入到DFL中,命名为DFL with compressed communication(C-DFL)。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明,DFL优于传统的分散SGD方法,并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models
University of Maryland, College Park(马里兰大学彭福分校);Queen Mary University of London(伦敦玛丽女王大学);Google DeepMind(谷歌DeepMind)
本文从理论和实验上证明,对于大型基础模型,单轮聚合的一次性联邦微调即可达到与多轮联邦微调相当的性能,显著降低通信成本并增强隐私性。
2025-11-06 cs.DC cs.LG
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置,通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而,当将联邦学习扩展到生产环境时,通信效率仍然是一个主要瓶颈,特别是由于上行链路通信期间的带宽限制。在本文中,我们正式和解决的问题,压缩客户端到服务器的模型更新下的安全聚合原语,联邦学习管道,允许服务器聚合客户端更新,而无需单独访问它们的核心组件。特别是,我们适应标准的标量量化和修剪方法安全聚合,并提出安全索引,安全聚合的一个变种,支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果,在上行链路通信中进行了多达40次$\times$压缩,与未压缩的基线相比,效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning
The University of Hong Kong(香港大学)
联邦学习(FL)能够管理边缘设备以协作地训练模型,同时保持训练数据本地和私有。FL中的一个常见假设是,所有边缘设备在训练中共享相同的机器学习模型,例如,相同的神经网络架构。然而,不同设备的计算和存储能力可能不同。此外,减少通信开销可以提高训练效率,但它仍然是一个具有挑战性的问题,在FL。在本文中,我们提出了一种新的FL方法,称为FedHe,灵感来自知识蒸馏,它可以训练异构模型,并支持异步训练过程,显着减少通信开销。我们的分析和实验结果表明,我们提出的方法的性能优于国家的最先进的算法在通信开销和模型的准确性。
2021-10-19 cs.DC cs.LG
SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
为了在诸如无线网络的带宽需求环境中实现大规模机器学习,最近在借助于通信压缩来设计通信高效的联邦学习算法方面取得了重大进展。另一方面,隐私保护,特别是在客户端级别,是另一个重要的迫切需要,尚未同时解决的先进的通信压缩技术的存在。在本文中,我们提出了一个统一的框架,提高了私人联邦学习的通信效率与通信压缩。利用一般的压缩算子和局部差分隐私,我们首先检查一个简单的算法,直接适用于压缩差分私人随机梯度下降,并确定其局限性。然后,我们提出了一个统一的框架SoteriaFL私人联邦学习,它容纳了一般家庭的局部梯度估计,包括流行的随机方差降低梯度方法和国家的最先进的移位压缩方案。我们提供了一个全面的特性,其性能权衡的隐私,实用程序和通信的复杂性,SoteraFL被证明可以实现更好的通信复杂性,而不牺牲隐私,也不实用比其他私人联邦学习算法没有通信压缩。
2022-10-12 cs.DC cs.DS cs.LG
Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习(FL)是一种很有前途且功能强大的方法,用于在不共享客户端原始数据的情况下训练深度学习模型。在FL的训练过程中,中心服务器和分布式客户端需要定期交换大量的模型信息。为了应对通信密集型训练的挑战,我们提出了一种新的训练方法,称为双侧低秩压缩(FedDLR)的联邦学习,其中深度学习模型在服务器和客户端都通过低秩近似进行压缩。建议FedDLR不仅减少了在训练阶段的通信开销,但也直接生成一个紧凑的模型,以加快推理过程。我们将提供收敛性分析,调查的关键参数的影响,并实证表明,FedDLR优于国家的最先进的解决方案在通信和计算效率方面。
2021-04-26 cs.DC cs.LG
Communication-Efficient Federated Learning with Compensated Overlap-FedAvg
Sichuan University(四川大学)
新兴的物联网(IoT)每天都会产生数PB的数据,但由于担心数据和隐私泄露,只有很少的数据可以最终收集并用于机器学习(ML)目的,这严重阻碍了ML的发展。为了缓解这个问题,联邦学习被提出来通过多个客户端的组合数据来执行模型训练,而无需在集群内共享数据集。然而,联邦学习引入了大量的通信开销,因为每个时期的同步数据与模型的大小相同,从而导致通信效率低。因此,提出了各种方法,主要集中在减少通信轮数和数据压缩,以减少联邦学习的通信开销。在本文中,我们提出了重叠FedAvg,一个框架,模型训练阶段与模型上传和下载阶段并行,使后者可以完全覆盖前一阶段。与传统的FedAvg相比,Overlap-FedAvg在层次计算策略、数据补偿机制和nesterov加速梯度算法(NAG)等方面得到了进一步的改进。此外,Overlap-FedAvg与许多其他压缩方法正交,因此它们可以一起应用,以最大限度地提高集群的利用率。此外,理论分析证明了所提出的重叠FedAvg框架的收敛性。在多个模型和数据集的常规和经常性任务上进行的大量实验也表明,所提出的Overlap-FedAvg框架大大提高了联邦学习过程。
2021-06-16 cs.DC cs.LG
A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret
Cornell University(康奈尔大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对中央服务器连接 M 个客户端的分布式在线随机优化问题,本文提出一种通信高效的自适应联邦学习算法,以总传输比特数为统一成本,实现阶最优累积遗憾。
2023-06-05 cs.DC cs.LG
MUC-FL: Block-Wise Marginal Utility Contribution for Communication-Efficient Federated Learning
Arizona State University(亚利桑那州立大学)
提出分块边际效用贡献框架,通过选择性传输高贡献数据块,在MIMIC多模态数据集上实现45-50%通信削减并提升宏F1分数至0.8566。
2026-09-11 cs.DC cs.LG
Federated Communication-Efficient Multi-Objective Optimization
Carnegie Mellon University(卡内基梅隆大学)
本文提出通信高效联邦多目标优化算法FedCMOO,通过单梯度聚合降低通信成本,提供收敛性分析,并支持目标偏好设置,实验验证其优越性。
2025-04-19 cs.DC cs.LG
Communication-Efficient Federated Learning over MIMO Multiple Access Channels
通信效率对于无线联邦学习系统是非常重要的。在本文中,我们提出了一个多输入多输出(MIMO)多址信道(MAC)上的联邦学习的通信有效的策略。拟议战略包括两个部分。当发送本地计算的梯度时,每个设备使用块稀疏化将高维局部梯度压缩为多个低维梯度向量。当经由MIMO-MAC接收到压缩局部梯度的叠加时,参数服务器(PS)执行联合MIMO检测和稀疏局部梯度恢复。受Turbo解码原理的启发,我们的联合检测和恢复算法通过迭代地交换MIMO检测和稀疏局部梯度恢复输出的信念来准确地恢复高维局部梯度。然后,我们分析了所提出的算法的重建误差及其对联邦学习的收敛速度的影响。从模拟,我们的梯度压缩和联合检测和恢复方法大大降低了通信成本,同时实现了相同的分类精度的情况下,没有任何压缩。
2022-06-12 cs.DC cs.IT math.IT
FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission
Beijing University of Posts and Telecommunications (BUPT)(北京邮电大学(BUPT))
针对跨筒仓联邦大模型通信瓶颈,提出融合RDMA并采用分块传输与多项优化的FedRDMA系统,真实场景下较TCP/IP方案最高提速3.8倍。
2024-03-01 cs.DC cs.LG cs.NI
Federated Learning with Communication Delay in Edge Networks
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
联邦学习作为通过边缘网络分布机器学习(ML)模型训练的潜在解决方案已经受到了极大的关注。这项工作解决了联邦学习在网络边缘的一个重要考虑因素:边缘节点和聚合器之间的通信延迟。开发了一种称为FedDelAvg(联合延迟平均)的技术,该技术概括了标准的联合平均算法,以在同步步骤期间在每个设备处接收到的当前本地模型和延迟的全局模型之间加入权重。通过理论分析,得到了FedDelAvg全局模型损失的上界,揭示了学习性能对权值和学习率的强烈依赖性.在一个流行的ML任务上的实验结果表明,在优化加权方案以考虑延迟时,收敛速度有了显着提高。
2020-08-21 cs.DC cs.LG stat.ML
FedPAGE: A Fast Local Stochastic Gradient Method for Communication-Efficient Federated Learning
Princeton University(普林斯顿大学);KAUST(阿卜杜拉国王科技大学)
联合平均(FedAvg,也称为Local-SGD)(McMahan等人,2017)是一种经典的联邦学习算法,其中客户端在将其更新传送到编排服务器之前运行多个本地SGD步骤。我们提出了一种新的联邦学习算法FedPAGE,它能够通过利用最近的最佳PAGE方法进一步降低通信复杂度(Li et al.,2021)而不是FedAvg中的普通SGD。我们发现,FedPAGE使用更少的通信轮比以前的本地方法联邦凸和非凸优化。具体地,1)在凸设置中,FedPAGE的通信轮数是$O(\frac{N^{3/4}}{Sε})$,改进了SCAFFOLD的最公知结果$O(\frac{N}{Sε})$(Karimireddy等人,2020),其中$N^{1/4}$是客户端的总数(通常在联邦学习中非常大),$S$是每个通信轮中客户端的采样子集,$ε$是目标误差; 2)在非凸设置中,FedPAGE的通信轮数是$O(\frac{\sqrt{N}+S}{Sε^2})$,改进了SCAFFOLD的最知名结果$O(\frac{N^{2/3}}{S^{2/3}ε^2})$(Karimireddy et al.,2020),如果采样的客户端为$S\leq \sqrt{N}$,则通过因子$N^{1/6}S^{1/3}$。请注意,在这两种设置中,FedPAGE和SCAFFOLD每轮的通信成本是相同的。因此,FedPAGE在联邦凸优…
2021-08-10 cs.DC cs.DS cs.LG
Communication Efficiency Optimization of Federated Learning for Computing and Network Convergence of 6G Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Research Institute of China Telecom Co., Ltd.(中国电信股份有限公司研究院)
本文研究6G网络计算与网络融合场景下联邦学习通信效率优化问题,提出根据网络状况和设备算力对训练过程进行决策的方法,实验表明该方法能应对复杂网络、平衡训练时延、提升参数传输效率与资源利用率。
2023-11-28 cs.DC cs.LG cs.NI
FedLog: Personalized Federated Classification with Less Communication and More Flexibility
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
针对联邦表示学习共享模型参数导致通信开销巨大的问题,提出FedLog方法,通过共享编码最小充分统计量的数据摘要和贝叶斯推断进行全局聚合,并扩展差分隐私框架,实现了高精度与低通信开销。
2024-10-12 cs.DC cs.LG stat.ML
Federated Learning of Neural ODE Models with Different Iteration Counts
Keio University(庆应义塾大学)
本文提出一种基于神经ODE模型的灵活联邦学习方法,可聚合不同迭代次数或深度的模型,减少通信开销,并在CIFAR-10上相比ResNet降低通信量达92.4%。
2023-09-05 cs.DC cs.LG
Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团)
提出FedKSeed,利用零阶优化和随机种子将联邦全参数微调通信成本降至千字节级,实现十亿级LLM在设备上的高效微调,并在多个场景中优于现有方法。
2024-05-27 cs.DC cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University(杜克大学);Alibaba DAMO Academy(阿里巴巴达摩院)
联邦学习是一种流行的分布式机器学习范例,具有增强的隐私性。它的主要目标是学习一个全球模型,为尽可能多的参与者提供良好的性能。该技术正在快速发展,面临许多尚未解决的挑战,其中包括统计异质性(即,非IID)和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中,我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架,通过利用彩票假设。在LotteryFL中,每个客户端学习彩票网络(即,基本模型的子网络),并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同,每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸,通信成本可以显著降低。为了支持我们框架的训练和评估,我们考虑特征分布偏差、标签分布偏差和数量偏差,基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明,LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
联邦学习允许多方在其组合数据上联合训练深度学习模型,而无需任何参与者将其本地数据透露给集中式服务器。然而,这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题,在分布式训练文献中已经提出了几种压缩方法,可以将所需的通信量减少多达三个数量级。然而,这些现有的方法在联邦学习设置中仅具有有限的效用,因为它们或者仅压缩从客户端到服务器的上游通信(使下游通信未压缩),或者仅在理想化条件(诸如客户端数据的iid分布)下表现良好,这通常不能在联邦学习中找到。在这项工作中,我们提出了稀疏三进制压缩(STC),一个新的压缩框架,专门设计,以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明,STC在常见的联邦学习场景中明显优于联合平均,其中客户端a)持有非iid数据,b)在训练期间使用小批量,或者c)客户端数量很大,每个通信回合的参与率很低。我们还表明,即使客户端持有iid数据并使用中等规模的批次进行训练,STC仍然表现出Pareto优于Federated Averaging,因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Computation and Communication Efficient Lightweighting Vertical Federated Learning for Smart Building IoT
Peng Cheng Laboratory(鹏城实验室)
针对智能建筑物联网设备资源有限、现有水平联邦学习技术无法直接应用于垂直联邦学习的问题,提出轻量化垂直联邦学习框架,通过优化特征模型复杂度和压缩特征嵌入提升效率,并推导收敛界,实验验证其性能与资源效率。
2025-04-14 cs.DC cs.LG
FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization
UC Santa Barbara(加州大学圣巴巴拉分校);UT Austin(德克萨斯大学奥斯汀分校);UPenn(宾夕法尼亚大学);MIT(麻省理工学院)
联邦学习是一种分布式框架,根据该框架,在一组设备上训练模型,同时保持数据本地化。该框架面临着几个面向系统的挑战,其中包括(i)由于大量设备将其本地更新上传到参数服务器而产生的通信瓶颈,以及(ii)由于联合网络由数百万个设备组成而产生的可扩展性。由于这些系统挑战以及与数据的统计异质性和隐私问题相关的问题,设计一种可证明有效的联邦学习方法具有重要意义,但它仍然具有挑战性。在本文中,我们提出了FedPAQ,一个通信效率高的联邦学习方法与周期平均和量化。FedPAQ依赖于三个关键特性:(1)定期平均,其中模型在设备上本地更新,并且仅在服务器上定期平均;(2)部分设备参与,其中只有一小部分设备参与每轮训练;以及(3)量化消息传递,其中边缘节点在上传到参数服务器之前对其更新进行验证。这些特性解决了联邦学习中的通信和可伸缩性挑战。我们还表明,FedPAQ实现了近最佳的理论保证强凸和非凸损失函数和经验证明我们的方法提供的通信计算权衡。
2020-06-07 cs.DC cs.LG math.OC
FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning
Tsinghua University(清华大学);Huawei Wireless Technology Lab(华为无线技术实验室);Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)作为一种高效的、隐私保护的分布式学习方案已经得到了广泛的应用。在这项工作中,我们主要集中在优化的计算和通信的FL从修剪的角度。通过在局部训练和联邦更新中采用逐层剪枝,我们制定了一个显式FL剪枝框架FedLP(Federated Layer-wise Pruning),该框架对不同类型的深度学习模型具有模型无关性和通用性。分别针对局部模型同质和异构的场景设计了FedLP的两种具体方案。理论和实验评估,以验证FedLP缓解系统的通信和计算瓶颈与边际性能衰减。据我们所知,FedLP是第一个正式将逐层剪枝引入FL的框架。在联邦学习的范围内,可以基于FedLP进一步设计更多的变体和组合。
2023-03-11 cs.AI cs.DC cs.LG
Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems
University of Maryland(马里兰大学);University of Pittsburgh(匹兹堡大学)
本文针对联邦双层优化提出通信高效算法FedBiOAcc,利用分布式超梯度估计和动量方差缩减,实现O(ε^{-1})通信复杂度与线性加速,并在联邦数据清洗和超表示学习任务中验证了其优越性。
2024-02-27 cs.DC cs.LG math.OC
Bayesian Federated Model Compression for Communication and Computation Efficiency
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对联邦学习的通信与计算效率问题,提出融合分层稀疏先验与去中心化Turbo框架的D-Turbo-VBI算法,可双向降低通信开销与本地推理复杂度,且已证明收敛性,实验效果优于基线。
2024-04-11 cs.AI cs.DC cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Communication-Efficient Federated Learning via Predictive Coding
NC State University(北卡罗来纳州立大学)
联邦学习可以使远程工作人员能够协作地训练共享的机器学习模型,同时允许将训练数据保持在本地。在无线移动设备的使用情况下,由于有限的功率和带宽,通信开销是关键瓶颈。先前的工作已经利用了各种数据压缩工具,例如量化和稀疏化,以减少开销。在本文中,我们提出了一个基于预测编码的压缩方案的联邦学习。该方案在所有设备之间共享预测功能,并允许每个工作者传输从参考导出的压缩残差向量。在每一轮通信中,我们根据率失真代价选择预测器和量化器,并通过熵编码进一步减少冗余。大量的仿真表明,与其他基线方法相比,通信成本可以降低高达99%,甚至更好的学习性能。
2022-01-09 cs.AI cs.DC cs.LG
Scaff-PD: Communication Efficient Fair and Robust Federated Learning
University of California, Berkeley(加州大学伯克利分校)
本文提出Scaff-PD,一种通信高效的分布鲁棒联邦学习算法,通过加速原始对偶和偏差校正局部步骤提升公平性与鲁棒性,在基准数据集上验证了其有效性。
2023-07-25 cs.DC cs.LG math.OC
Non-IID Quantum Federated Learning with One-shot Communication Complexity
Zhili College, Tsinghua University(清华大学致理书院)
联合学习是指基于来自多个客户端的分散数据的机器学习任务,具有安全的数据隐私。最近的研究表明,量子算法可以用来提高其性能。然而,当客户端的数据不是独立同分布的(IID),传统的联邦算法的性能是已知的恶化。在这项工作中,我们探讨了非IID问题在量子联邦学习的理论和数值分析。我们进一步证明了一个全局量子信道可以被精确地分解成由每个客户端训练的局部信道,并借助于局部密度估计器。这一观察结果为具有一次性通信复杂性的非IID数据的量子联邦学习提供了一个通用框架。数值仿真表明,该算法在非IID设置下明显优于传统算法。
2023-01-18 cs.DC cs.LG quant-ph
Communication-Efficient Adaptive Federated Learning
Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
本文提出通信高效且具备收敛保证的自适应联邦学习方法FedCAMS,在非凸随机优化中保持与非压缩方法相同的收敛率,并通过多基准实验验证其有效性。
2023-04-19 cs.AI cs.DC cs.LG
Communication-Efficient Federated Optimization over Semi-Decentralized Networks
Carnegie Mellon University(卡内基梅隆大学)
本文针对大规模联邦与分散式学习中的通信瓶颈,提出半分散通信协议下的PISCO算法,结合梯度跟踪与多次本地更新,实现通信高效并保持线性加速,数值验证其鲁棒性。
2025-02-23 cs.DC cs.LG math.OC
Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving
The University of Hong Kong(香港大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Damo Institute, Alibaba(阿里巴巴达摩院);the University of New South Wales(新南威尔士大学)
针对端到端自动驾驶中通信资源受限的分层联邦学习问题,提出CRCHFL框架,利用混合数据与模型聚合最小化泛化误差,并在CARLA中验证其更快收敛与更优性能。
2023-06-28 cs.DC cs.LG cs.RO
Ternary Compression for Communication-Efficient Federated Learning
East China University of Science and Technology(华东理工大学);Tongji University(同济大学);University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学)
对存储在不同位置的海量数据进行学习在许多现实世界的应用中是必不可少的。然而,随着智能移动设备和物联网设备的使用越来越多,对隐私和安全性的要求越来越高,共享数据充满了挑战。联邦学习通过联合训练全局模型而无需将分布在多个设备上的数据上传到中央服务器,为隐私保护和安全机器学习提供了一种潜在的解决方案。然而,现有的联邦学习大多采用全精度权值的机器学习模型,这些模型中几乎都包含大量不需要传输到服务器的冗余参数,消耗了过多的通信开销。为了解决这个问题,我们提出了一个联邦训练的三进制量化(FTTQ)算法,通过自学习的量化因子优化客户端上的量化网络。给出了量化因子的收敛性、FTTQ的无偏性以及减小的权发散的理论证明。在FTTQ的基础上,提出了一种三元联邦平均协议(T-FedAvg),以减少联邦学习系统的上下游通信。在公开数据集上进行了实证实验,以训练广泛使用的深度学习模型,我们的结果表明,与规范的联邦学习算法相比,所提出的T-FedAvg在降低通信成本方面是有效的,甚至可以在非IID数据上实现更好的性能。
2022-03-29 cs.DC cs.LG stat.ML
Toward Communication Efficient Adaptive Gradient Method
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
近年来,分布式优化被证明是加速诸如深度神经网络之类的大规模机器学习模型的训练的有效方法。随着GPU计算能力的提高,分布式训练中训练速度的瓶颈逐渐从计算转移到通信。与此同时,为了在移动设备上训练机器学习模型,一种名为"联邦学习“的新分布式训练范式已经流行起来。由于移动设备的低带宽,联邦学习中的通信时间尤为重要。虽然已经提出了各种提高联邦学习通信效率的方法,但大多数方法都是以SGD为原型训练算法设计的。虽然自适应梯度方法已被证明是有效的训练神经网络,自适应梯度方法在联邦学习的研究是稀缺的。在本文中,我们提出了一种自适应梯度方法,可以保证收敛性和通信效率的联邦学习。
2021-09-10 cs.DC cs.LG stat.ML
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
H-FL: A Hierarchical Communication-Efficient and Privacy-Protected Architecture for Federated Learning
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)的长期目标要求严格的隐私保证和低通信开销,同时保持相对较高的模型准确性。然而,同时实现所有目标是极具挑战性的。在本文中,我们提出了一个新的框架称为分层联邦学习(H-FL)来应对这一挑战。考虑到训练数据的统计异质性会降低模型的性能,本文提出了一种运行时分布重构策略,该策略对客户端进行适当的重新分配,并利用中介器重新安排客户端的局部训练。此外,我们设计了一个压缩校正机制纳入H-FL,以减少通信开销,同时不牺牲模型的性能。为了进一步提供隐私保证,我们在执行本地训练时引入了差分隐私,这只会在完整模型的一部分中注入适量的噪声。实验结果表明,我们的H-FL框架实现了最先进的性能在不同的数据集上的真实世界的图像识别任务。
2021-06-01 cs.CR cs.DC cs.LG
Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning
Carnegie Mellon University(卡内基梅隆大学);Weizmann Institute of Science(魏茨曼科学研究所)
客户端节点和中央聚合服务器之间的模型更新通信是联邦学习的主要瓶颈,特别是在带宽有限的设置和高维模型中。梯度量化是减少传送每个模型更新所需的比特数的有效方式,尽管代价是由于随机梯度的较高方差而具有较高的错误平层。在这项工作中,我们提出了一种自适应量化策略,称为AdaQuantFL,旨在实现通信效率,以及通过在训练过程中改变量化级别的数量低的错误地板。训练深度神经网络的实验表明,与固定量化级别设置相比,我们的方法可以在更少的通信比特中收敛,对训练和测试精度几乎没有影响。
2021-02-08 cs.DC cs.LG stat.ML
L-FGADMM: Layer-Wise Federated Group ADMM for Communication Efficient Decentralized Deep Learning
University of Oulu(奥卢大学)
本文提出了一种通信高效的分散式深度学习算法,即分层联邦组ADMM(L-FGADMM)。为了最小化经验风险,L-FGADMM中的每个工作者定期与两个邻居通信,其中针对其深层神经网络的不同层分别调整周期。一个约束优化问题,这种设置制定和解决使用随机版本的GADMM提出在我们以前的工作。数值计算表明,通过减少最大层的交换频率,L-FGADMM可以显着降低通信成本,而不会影响收敛速度。令人惊讶的是,尽管交换的信息和分散的操作较少,但间歇性地跳过L-FGADMM中的最大层共识会产生正则化效应,从而实现与联邦学习(FL)一样高的测试准确性,FL是一种借助中央实体实现整个层共识的基线方法。
2020-07-05 cs.DC cs.LG cs.NI
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory
Google Research(谷歌研究院)
联邦学习(FL)中的一个重要瓶颈是从客户端设备向中央服务器发送模型更新的网络通信成本。我们提出了一个全面的实证研究模型更新的统计数据在FL,以及各种压缩技术的作用和好处。受这些观察结果的启发,我们提出了一种新的方法来降低平均通信成本,该方法在许多用例中接近最佳,并且在堆栈溢出下一个词预测方面优于Top-K,DRIVE,3LC和QSGD,这是一个现实且具有挑战性的FL基准。这是通过使用率失真理论检查问题,并提出失真作为模型精度的可靠代理来实现的。失真可以更有效地用于优化模型性能和跨客户端的通信成本之间的权衡。我们的经验表明,尽管非独立同分布。由于联邦学习的本质,率失真边界在数据集、优化器、客户端和训练轮之间是一致的。
2022-05-19 cs.DC cs.IT cs.LG
FedRobo: Federated Learning Driven Autonomous Inter Robots Communication For Optimal Chemical Sprays
University of Asia Pacific(亚太大学);University of North Texas(北得克萨斯大学);Green University of Bangladesh(孟加拉国绿色大学);Southern Illinois University Carbondale(南伊利诺伊大学卡本代尔分校)
本研究提出FedRobo框架,采用基于集群的联邦学习实现机器人间自主通信以优化农业化学喷洒,可减少浪费、提升产量并降低计算与通信开销,同时指出了当前面临的多项挑战。
2024-08-15 cs.CV cs.DC cs.LG
Privacy and Efficiency of Communications in Federated Split Learning
Boston University(波士顿大学);Saint Louis University(圣路易斯大学)
每天,大量的敏感数据分布在手机、可穿戴设备和其他传感器上。传统上,这些庞大的数据集是在一个系统上处理的,复杂的模型被训练来做出有价值的预测。最近开发了分布式机器学习技术,例如联合学习和分裂学习,以在确保高性能的同时更好地保护用户数据和隐私。这两种分布式学习架构各有优缺点。在本文中,我们研究了这些权衡,并提出了一种新的混合联邦分裂学习架构,结合了两者的效率和隐私优势。我们的评估展示了我们的混合联合分裂学习方法如何降低运行分布式学习系统的每个客户端所需的处理能力,减少训练和推理时间,同时保持类似的准确性。我们还讨论了我们的方法对深度学习隐私推理攻击的弹性,并将我们的解决方案与其他最近提出的基准进行了比较。
2023-01-07 cs.CR cs.DC cs.LG
Communication-Efficient Federated Group Distributionally Robust Optimization
Texas A&M University(德克萨斯农工大学)
本文针对联邦学习数据异构性导致的泛化问题,提出通信高效的联邦组分布鲁棒优化算法FGDRO-CVaR、FGDRO-KL及FGDRO-KL-Adam,显著降低通信复杂度并在真实任务中验证了有效性。
2024-11-11 cs.DC cs.LG stat.ML
SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
针对资源受限设备微调大型预训练模型的隐私与高通信开销问题,提出SFPrompt方法,结合分割学习与联邦学习,引入软提示、数据集剪枝和本地损失更新策略,在保持性能的同时大幅降低计算与通信成本。
2024-07-24 cs.AI cs.DC cs.LG