ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
提出ParaBlock方法,通过并行化通信与计算线程,在联邦学习大语言模型时提升通信效率,并理论证明其收敛率与标准方法相同,实验验证其性能与效率优势。
2026-06-02 cs.DC cs.LG
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降(SGD)是分散式联邦学习(DFL)的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中,我们提出了一个通用的DFL框架,它实现了多个本地更新和多个节点间的通信周期,以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证,而无需假设凸目标。DFL的收敛速度可以被优化,以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率,将压缩通信作为一种新的方案引入到DFL中,命名为DFL with compressed communication(C-DFL)。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明,DFL优于传统的分散SGD方法,并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models
University of Maryland, College Park(马里兰大学彭福分校);Queen Mary University of London(伦敦玛丽女王大学);Google DeepMind(谷歌DeepMind)
本文从理论和实验上证明,对于大型基础模型,单轮聚合的一次性联邦微调即可达到与多轮联邦微调相当的性能,显著降低通信成本并增强隐私性。
2025-11-06 cs.DC cs.LG
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning
The University of Hong Kong(香港大学)
联邦学习(FL)能够管理边缘设备以协作地训练模型,同时保持训练数据本地和私有。FL中的一个常见假设是,所有边缘设备在训练中共享相同的机器学习模型,例如,相同的神经网络架构。然而,不同设备的计算和存储能力可能不同。此外,减少通信开销可以提高训练效率,但它仍然是一个具有挑战性的问题,在FL。在本文中,我们提出了一种新的FL方法,称为FedHe,灵感来自知识蒸馏,它可以训练异构模型,并支持异步训练过程,显着减少通信开销。我们的分析和实验结果表明,我们提出的方法的性能优于国家的最先进的算法在通信开销和模型的准确性。
2021-10-19 cs.DC cs.LG
Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习(FL)是一种很有前途且功能强大的方法,用于在不共享客户端原始数据的情况下训练深度学习模型。在FL的训练过程中,中心服务器和分布式客户端需要定期交换大量的模型信息。为了应对通信密集型训练的挑战,我们提出了一种新的训练方法,称为双侧低秩压缩(FedDLR)的联邦学习,其中深度学习模型在服务器和客户端都通过低秩近似进行压缩。建议FedDLR不仅减少了在训练阶段的通信开销,但也直接生成一个紧凑的模型,以加快推理过程。我们将提供收敛性分析,调查的关键参数的影响,并实证表明,FedDLR优于国家的最先进的解决方案在通信和计算效率方面。
2021-04-26 cs.DC cs.LG
Communication-Efficient Federated Learning with Compensated Overlap-FedAvg
Sichuan University(四川大学)
新兴的物联网(IoT)每天都会产生数PB的数据,但由于担心数据和隐私泄露,只有很少的数据可以最终收集并用于机器学习(ML)目的,这严重阻碍了ML的发展。为了缓解这个问题,联邦学习被提出来通过多个客户端的组合数据来执行模型训练,而无需在集群内共享数据集。然而,联邦学习引入了大量的通信开销,因为每个时期的同步数据与模型的大小相同,从而导致通信效率低。因此,提出了各种方法,主要集中在减少通信轮数和数据压缩,以减少联邦学习的通信开销。在本文中,我们提出了重叠FedAvg,一个框架,模型训练阶段与模型上传和下载阶段并行,使后者可以完全覆盖前一阶段。与传统的FedAvg相比,Overlap-FedAvg在层次计算策略、数据补偿机制和nesterov加速梯度算法(NAG)等方面得到了进一步的改进。此外,Overlap-FedAvg与许多其他压缩方法正交,因此它们可以一起应用,以最大限度地提高集群的利用率。此外,理论分析证明了所提出的重叠FedAvg框架的收敛性。在多个模型和数据集的常规和经常性任务上进行的大量实验也表明,所提出的Overlap-FedAvg框架大大提高了联邦学习过程。
2021-06-16 cs.DC cs.LG
A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret
Cornell University(康奈尔大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对中央服务器连接 M 个客户端的分布式在线随机优化问题,本文提出一种通信高效的自适应联邦学习算法,以总传输比特数为统一成本,实现阶最优累积遗憾。
2023-06-05 cs.DC cs.LG
MUC-FL: Block-Wise Marginal Utility Contribution for Communication-Efficient Federated Learning
Arizona State University(亚利桑那州立大学)
提出分块边际效用贡献框架,通过选择性传输高贡献数据块,在MIMIC多模态数据集上实现45-50%通信削减并提升宏F1分数至0.8566。
2026-09-11 cs.DC cs.LG
Detailed comparison of communication efficiency of split learning and federated learning
Massachusetts Institute of Technology(麻省理工学院)
我们比较了两个引人注目的分布式机器学习方法的分裂学习和联邦学习的通信效率。我们展示了有用的设置下,每种方法优于其他方面的通信效率。我们考虑分布式学习设置的各种实际场景,并将这两种方法在各种现实生活中的场景下并列。我们考虑了小客户端和大客户端数量以及小模型(1 M-6 M参数),大模型(10 M-200 M参数)和超大模型(10亿-1000亿参数)的设置。我们发现,增加客户端的数量或增加模型的大小有利于分裂学习设置联邦,而增加数据样本的数量,同时保持客户端的数量或模型的大小低,使联邦学习更有效的沟通。
2019-09-18 cs.DC cs.LG stat.ML
Federated Learning of Neural ODE Models with Different Iteration Counts
Keio University(庆应义塾大学)
本文提出一种基于神经ODE模型的灵活联邦学习方法,可聚合不同迭代次数或深度的模型,减少通信开销,并在CIFAR-10上相比ResNet降低通信量达92.4%。
2023-09-05 cs.DC cs.LG
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置,通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而,当将联邦学习扩展到生产环境时,通信效率仍然是一个主要瓶颈,特别是由于上行链路通信期间的带宽限制。在本文中,我们正式和解决的问题,压缩客户端到服务器的模型更新下的安全聚合原语,联邦学习管道,允许服务器聚合客户端更新,而无需单独访问它们的核心组件。特别是,我们适应标准的标量量化和修剪方法安全聚合,并提出安全索引,安全聚合的一个变种,支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果,在上行链路通信中进行了多达40次$\times$压缩,与未压缩的基线相比,效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
Computation and Communication Efficient Lightweighting Vertical Federated Learning for Smart Building IoT
Peng Cheng Laboratory(鹏城实验室)
针对智能建筑物联网设备资源有限、现有水平联邦学习技术无法直接应用于垂直联邦学习的问题,提出轻量化垂直联邦学习框架,通过优化特征模型复杂度和压缩特征嵌入提升效率,并推导收敛界,实验验证其性能与资源效率。
2025-04-14 cs.DC cs.LG
Federated Multiple Label Hashing (FedMLH): Communication Efficient Federated Learning on Extreme Classification Tasks
Rice University(莱斯大学)
联邦学习使许多本地设备能够联合训练深度学习模型,而无需共享本地数据。目前,大多数联邦训练方案通过平均局部模型的参数来学习全局模型。然而,这些训练方案中的大多数遭受高的通信成本导致的传输全部本地模型参数。此外,由于不同设备上的类不平衡的非iid数据,直接平均模型参数会导致显著的性能下降。特别是对于涉及极端分类的现实生活中的联邦学习任务,(1)通信成为主要瓶颈,因为模型大小与输出类的数量成比例地增加;(2)极端分类(例如用户推荐)通常具有极不平衡的类和不同设备上的异构数据。为了克服这个问题,我们提出了联邦多标签哈希(FedMLH),它利用标签散列来同时减小模型大小(最多减少3.40倍),包括通信费用(最多减少18.75倍),并实现了更高的准确性(相对精度提高高达35.5%)和更快的收敛速度(最多增加5.5倍),与联邦平均算法相比,在联邦极端分类任务上免费使用。
2021-10-23 cs.LG
Communication-Efficient ADMM-based Federated Learning
ITP Lab, Department of EEE(ITP实验室,电子与电机工程系);Imperial College London(帝国理工学院)
联邦学习在过去几年中已经显示出了它的进步,但也面临着许多挑战,例如算法如何节省通信资源,如何降低计算成本,以及它们是否收敛。为了解决这些问题,本文提出了精确和不精确的基于ADMM的联邦学习。它们不仅通信效率高,而且在非常温和的条件下线性收敛,例如无凸性和与数据分布无关。此外,不精确版本具有低计算复杂性,从而显著减轻了计算负担。
2022-01-29 cs.LG
FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission
Beijing University of Posts and Telecommunications (BUPT)(北京邮电大学(BUPT))
针对跨筒仓联邦大模型通信瓶颈,提出融合RDMA并采用分块传输与多项优化的FedRDMA系统,真实场景下较TCP/IP方案最高提速3.8倍。
2024-03-01 cs.DC cs.LG cs.NI
Federated Learning with Communication Delay in Edge Networks
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
联邦学习作为通过边缘网络分布机器学习(ML)模型训练的潜在解决方案已经受到了极大的关注。这项工作解决了联邦学习在网络边缘的一个重要考虑因素:边缘节点和聚合器之间的通信延迟。开发了一种称为FedDelAvg(联合延迟平均)的技术,该技术概括了标准的联合平均算法,以在同步步骤期间在每个设备处接收到的当前本地模型和延迟的全局模型之间加入权重。通过理论分析,得到了FedDelAvg全局模型损失的上界,揭示了学习性能对权值和学习率的强烈依赖性.在一个流行的ML任务上的实验结果表明,在优化加权方案以考虑延迟时,收敛速度有了显着提高。
2020-08-21 cs.DC cs.LG stat.ML
Dynamic Sampling and Selective Masking for Communication-Efficient Federated Learning
Aalto University(阿尔托大学);Columbia University(哥伦比亚大学);Nokia Bell Labs(诺基亚贝尔实验室);The University of Queensland(昆士兰大学)
联邦学习(FL)是一种新型的机器学习设置,通过分散式训练和联邦优化实现设备上的智能。深度神经网络的快速发展促进了对复杂问题建模的学习技术,并在联邦环境下出现了联邦深度学习。然而,大量的模型参数给通信网络带来了高传输负载的负担。本文介绍了两种提高通信效率的方法,即动态采样和顶部$k$选择性掩蔽.前者动态地控制所选客户机模型的比例,而后者选择具有最大差异值的前$k$参数进行联合更新。在三个公共数据集上进行了卷积图像分类和递归语言建模的实验,以证明我们提出的方法的有效性。
2021-09-20 cs.LG
SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
为了在诸如无线网络的带宽需求环境中实现大规模机器学习,最近在借助于通信压缩来设计通信高效的联邦学习算法方面取得了重大进展。另一方面,隐私保护,特别是在客户端级别,是另一个重要的迫切需要,尚未同时解决的先进的通信压缩技术的存在。在本文中,我们提出了一个统一的框架,提高了私人联邦学习的通信效率与通信压缩。利用一般的压缩算子和局部差分隐私,我们首先检查一个简单的算法,直接适用于压缩差分私人随机梯度下降,并确定其局限性。然后,我们提出了一个统一的框架SoteriaFL私人联邦学习,它容纳了一般家庭的局部梯度估计,包括流行的随机方差降低梯度方法和国家的最先进的移位压缩方案。我们提供了一个全面的特性,其性能权衡的隐私,实用程序和通信的复杂性,SoteraFL被证明可以实现更好的通信复杂性,而不牺牲隐私,也不实用比其他私人联邦学习算法没有通信压缩。
2022-10-12 cs.DC cs.DS cs.LG
Communication Efficiency Optimization of Federated Learning for Computing and Network Convergence of 6G Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Research Institute of China Telecom Co., Ltd.(中国电信股份有限公司研究院)
本文研究6G网络计算与网络融合场景下联邦学习通信效率优化问题,提出根据网络状况和设备算力对训练过程进行决策的方法,实验表明该方法能应对复杂网络、平衡训练时延、提升参数传输效率与资源利用率。
2023-11-28 cs.DC cs.LG cs.NI
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University(杜克大学);Alibaba DAMO Academy(阿里巴巴达摩院)
联邦学习是一种流行的分布式机器学习范例,具有增强的隐私性。它的主要目标是学习一个全球模型,为尽可能多的参与者提供良好的性能。该技术正在快速发展,面临许多尚未解决的挑战,其中包括统计异质性(即,非IID)和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中,我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架,通过利用彩票假设。在LotteryFL中,每个客户端学习彩票网络(即,基本模型的子网络),并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同,每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸,通信成本可以显著降低。为了支持我们框架的训练和评估,我们考虑特征分布偏差、标签分布偏差和数量偏差,基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明,LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Bayesian Federated Model Compression for Communication and Computation Efficiency
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对联邦学习的通信与计算效率问题,提出融合分层稀疏先验与去中心化Turbo框架的D-Turbo-VBI算法,可双向降低通信开销与本地推理复杂度,且已证明收敛性,实验效果优于基线。
2024-04-11 cs.AI cs.DC cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此,由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST,一个无偏的算法,动态学习的可用性相关的客户端选择策略,渐近最小化的影响,客户端采样方差的全局模型收敛,提高性能的联邦学习。所提出的算法进行了测试,在各种设置下的间歇性可用的客户端通信的限制,和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上,我们的准确率分别比FedAvg提高了186%和8%,比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Communication-Efficient Federated Distillation
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
通信约束是阻碍联邦学习系统广泛采用的主要挑战之一。最近,出现了一种新的联邦学习算法范例--联邦蒸馏(Federated Distillation,FD),它具有根本不同的通信特性。FD方法利用集成蒸馏技术和交换模型输出,在中央服务器和参与的客户端之间,在未标记的公共数据集上呈现为软标签。而对于传统的联邦学习算法,如联合平均(FA),通信与联合训练的模型的大小成比例,在FD通信中与蒸馏数据集大小成比例,导致有利的通信属性,特别是当训练大模型时。在这项工作中,我们调查FD从通信效率的角度来看,通过分析的影响,积极蒸馏数据整理,软标签量化和增量编码技术。基于从这种分析中收集的见解,我们提出了压缩联合蒸馏(CFD),一种有效的联合蒸馏方法。联邦图像分类和语言建模问题的大量实验表明,我们的方法可以减少必要的通信量,以实现固定的性能目标超过两个数量级,相比FD和超过四个数量级相比,FA。
2020-12-01 cs.AI cs.LG stat.ML
FedPAGE: A Fast Local Stochastic Gradient Method for Communication-Efficient Federated Learning
Princeton University(普林斯顿大学);KAUST(阿卜杜拉国王科技大学)
联合平均(FedAvg,也称为Local-SGD)(McMahan等人,2017)是一种经典的联邦学习算法,其中客户端在将其更新传送到编排服务器之前运行多个本地SGD步骤。我们提出了一种新的联邦学习算法FedPAGE,它能够通过利用最近的最佳PAGE方法进一步降低通信复杂度(Li et al.,2021)而不是FedAvg中的普通SGD。我们发现,FedPAGE使用更少的通信轮比以前的本地方法联邦凸和非凸优化。具体地,1)在凸设置中,FedPAGE的通信轮数是$O(\frac{N^{3/4}}{Sε})$,改进了SCAFFOLD的最公知结果$O(\frac{N}{Sε})$(Karimireddy等人,2020),其中$N^{1/4}$是客户端的总数(通常在联邦学习中非常大),$S$是每个通信轮中客户端的采样子集,$ε$是目标误差; 2)在非凸设置中,FedPAGE的通信轮数是$O(\frac{\sqrt{N}+S}{Sε^2})$,改进了SCAFFOLD的最知名结果$O(\frac{N^{2/3}}{S^{2/3}ε^2})$(Karimireddy et al.,2020),如果采样的客户端为$S\leq \sqrt{N}$,则通过因子$N^{1/6}S^{1/3}$。请注意,在这两种设置中,FedPAGE和SCAFFOLD每轮的通信成本是相同的。因此,FedPAGE在联邦凸优…
2021-08-10 cs.DC cs.DS cs.LG
Communication-Efficient Federated Optimization over Semi-Decentralized Networks
Carnegie Mellon University(卡内基梅隆大学)
本文针对大规模联邦与分散式学习中的通信瓶颈,提出半分散通信协议下的PISCO算法,结合梯度跟踪与多次本地更新,实现通信高效并保持线性加速,数值验证其鲁棒性。
2025-02-23 cs.DC cs.LG math.OC
Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving
The University of Hong Kong(香港大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Damo Institute, Alibaba(阿里巴巴达摩院);the University of New South Wales(新南威尔士大学)
针对端到端自动驾驶中通信资源受限的分层联邦学习问题,提出CRCHFL框架,利用混合数据与模型聚合最小化泛化误差,并在CARLA中验证其更快收敛与更优性能。
2023-06-28 cs.DC cs.LG cs.RO
Ternary Compression for Communication-Efficient Federated Learning
East China University of Science and Technology(华东理工大学);Tongji University(同济大学);University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学)
对存储在不同位置的海量数据进行学习在许多现实世界的应用中是必不可少的。然而,随着智能移动设备和物联网设备的使用越来越多,对隐私和安全性的要求越来越高,共享数据充满了挑战。联邦学习通过联合训练全局模型而无需将分布在多个设备上的数据上传到中央服务器,为隐私保护和安全机器学习提供了一种潜在的解决方案。然而,现有的联邦学习大多采用全精度权值的机器学习模型,这些模型中几乎都包含大量不需要传输到服务器的冗余参数,消耗了过多的通信开销。为了解决这个问题,我们提出了一个联邦训练的三进制量化(FTTQ)算法,通过自学习的量化因子优化客户端上的量化网络。给出了量化因子的收敛性、FTTQ的无偏性以及减小的权发散的理论证明。在FTTQ的基础上,提出了一种三元联邦平均协议(T-FedAvg),以减少联邦学习系统的上下游通信。在公开数据集上进行了实证实验,以训练广泛使用的深度学习模型,我们的结果表明,与规范的联邦学习算法相比,所提出的T-FedAvg在降低通信成本方面是有效的,甚至可以在非IID数据上实现更好的性能。
2022-03-29 cs.DC cs.LG stat.ML
Toward Communication Efficient Adaptive Gradient Method
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
近年来,分布式优化被证明是加速诸如深度神经网络之类的大规模机器学习模型的训练的有效方法。随着GPU计算能力的提高,分布式训练中训练速度的瓶颈逐渐从计算转移到通信。与此同时,为了在移动设备上训练机器学习模型,一种名为"联邦学习“的新分布式训练范式已经流行起来。由于移动设备的低带宽,联邦学习中的通信时间尤为重要。虽然已经提出了各种提高联邦学习通信效率的方法,但大多数方法都是以SGD为原型训练算法设计的。虽然自适应梯度方法已被证明是有效的训练神经网络,自适应梯度方法在联邦学习的研究是稀缺的。在本文中,我们提出了一种自适应梯度方法,可以保证收敛性和通信效率的联邦学习。
2021-09-10 cs.DC cs.LG stat.ML
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
联邦学习允许多方在其组合数据上联合训练深度学习模型,而无需任何参与者将其本地数据透露给集中式服务器。然而,这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题,在分布式训练文献中已经提出了几种压缩方法,可以将所需的通信量减少多达三个数量级。然而,这些现有的方法在联邦学习设置中仅具有有限的效用,因为它们或者仅压缩从客户端到服务器的上游通信(使下游通信未压缩),或者仅在理想化条件(诸如客户端数据的iid分布)下表现良好,这通常不能在联邦学习中找到。在这项工作中,我们提出了稀疏三进制压缩(STC),一个新的压缩框架,专门设计,以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明,STC在常见的联邦学习场景中明显优于联合平均,其中客户端a)持有非iid数据,b)在训练期间使用小批量,或者c)客户端数量很大,每个通信回合的参与率很低。我们还表明,即使客户端持有iid数据并使用中等规模的批次进行训练,STC仍然表现出Pareto优于Federated Averaging,因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Communication-Efficient Federated Distillation with Active Data Sampling
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)是一种很有前途的范例,可以从分布式数据中实现隐私保护深度学习。大多数以前的工作是基于联邦平均(FedAvg),然而,它面临着几个关键问题,包括高通信开销和处理异构模型架构的困难。联邦蒸馏(FD)是最近提出的一种替代方案,使通信高效和强大的FL,它实现了数量级的通信开销减少相比,FedAvg,是灵活的处理客户端的异构模型。然而,到目前为止,还没有统一的算法框架或理论分析的FD为基础的方法。在本文中,我们首先提出了一个通用的元算法FD和调查的影响,通过实证实验的关键参数。然后,我们从理论上验证了经验观察。基于实验结果和理论,我们提出了一个通信有效的FD算法与主动数据采样,以提高模型的性能,减少通信开销。在基准数据集上的实证模拟表明,我们提出的算法有效地,显着地减少了通信开销,同时取得了令人满意的性能。
2022-03-14 cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
H-FL: A Hierarchical Communication-Efficient and Privacy-Protected Architecture for Federated Learning
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)的长期目标要求严格的隐私保证和低通信开销,同时保持相对较高的模型准确性。然而,同时实现所有目标是极具挑战性的。在本文中,我们提出了一个新的框架称为分层联邦学习(H-FL)来应对这一挑战。考虑到训练数据的统计异质性会降低模型的性能,本文提出了一种运行时分布重构策略,该策略对客户端进行适当的重新分配,并利用中介器重新安排客户端的局部训练。此外,我们设计了一个压缩校正机制纳入H-FL,以减少通信开销,同时不牺牲模型的性能。为了进一步提供隐私保证,我们在执行本地训练时引入了差分隐私,这只会在完整模型的一部分中注入适量的噪声。实验结果表明,我们的H-FL框架实现了最先进的性能在不同的数据集上的真实世界的图像识别任务。
2021-06-01 cs.CR cs.DC cs.LG
FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization
UC Santa Barbara(加州大学圣巴巴拉分校);UT Austin(德克萨斯大学奥斯汀分校);UPenn(宾夕法尼亚大学);MIT(麻省理工学院)
联邦学习是一种分布式框架,根据该框架,在一组设备上训练模型,同时保持数据本地化。该框架面临着几个面向系统的挑战,其中包括(i)由于大量设备将其本地更新上传到参数服务器而产生的通信瓶颈,以及(ii)由于联合网络由数百万个设备组成而产生的可扩展性。由于这些系统挑战以及与数据的统计异质性和隐私问题相关的问题,设计一种可证明有效的联邦学习方法具有重要意义,但它仍然具有挑战性。在本文中,我们提出了FedPAQ,一个通信效率高的联邦学习方法与周期平均和量化。FedPAQ依赖于三个关键特性:(1)定期平均,其中模型在设备上本地更新,并且仅在服务器上定期平均;(2)部分设备参与,其中只有一小部分设备参与每轮训练;以及(3)量化消息传递,其中边缘节点在上传到参数服务器之前对其更新进行验证。这些特性解决了联邦学习中的通信和可伸缩性挑战。我们还表明,FedPAQ实现了近最佳的理论保证强凸和非凸损失函数和经验证明我们的方法提供的通信计算权衡。
2020-06-07 cs.DC cs.LG math.OC
FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning
Tsinghua University(清华大学);Huawei Wireless Technology Lab(华为无线技术实验室);Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)作为一种高效的、隐私保护的分布式学习方案已经得到了广泛的应用。在这项工作中,我们主要集中在优化的计算和通信的FL从修剪的角度。通过在局部训练和联邦更新中采用逐层剪枝,我们制定了一个显式FL剪枝框架FedLP(Federated Layer-wise Pruning),该框架对不同类型的深度学习模型具有模型无关性和通用性。分别针对局部模型同质和异构的场景设计了FedLP的两种具体方案。理论和实验评估,以验证FedLP缓解系统的通信和计算瓶颈与边际性能衰减。据我们所知,FedLP是第一个正式将逐层剪枝引入FL的框架。在联邦学习的范围内,可以基于FedLP进一步设计更多的变体和组合。
2023-03-11 cs.AI cs.DC cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Communication-Efficient Federated Learning via Predictive Coding
NC State University(北卡罗来纳州立大学)
联邦学习可以使远程工作人员能够协作地训练共享的机器学习模型,同时允许将训练数据保持在本地。在无线移动设备的使用情况下,由于有限的功率和带宽,通信开销是关键瓶颈。先前的工作已经利用了各种数据压缩工具,例如量化和稀疏化,以减少开销。在本文中,我们提出了一个基于预测编码的压缩方案的联邦学习。该方案在所有设备之间共享预测功能,并允许每个工作者传输从参考导出的压缩残差向量。在每一轮通信中,我们根据率失真代价选择预测器和量化器,并通过熵编码进一步减少冗余。大量的仿真表明,与其他基线方法相比,通信成本可以降低高达99%,甚至更好的学习性能。
2022-01-09 cs.AI cs.DC cs.LG
Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning
Carnegie Mellon University(卡内基梅隆大学);Weizmann Institute of Science(魏茨曼科学研究所)
客户端节点和中央聚合服务器之间的模型更新通信是联邦学习的主要瓶颈,特别是在带宽有限的设置和高维模型中。梯度量化是减少传送每个模型更新所需的比特数的有效方式,尽管代价是由于随机梯度的较高方差而具有较高的错误平层。在这项工作中,我们提出了一种自适应量化策略,称为AdaQuantFL,旨在实现通信效率,以及通过在训练过程中改变量化级别的数量低的错误地板。训练深度神经网络的实验表明,与固定量化级别设置相比,我们的方法可以在更少的通信比特中收敛,对训练和测试精度几乎没有影响。
2021-02-08 cs.DC cs.LG stat.ML
Scaff-PD: Communication Efficient Fair and Robust Federated Learning
University of California, Berkeley(加州大学伯克利分校)
本文提出Scaff-PD,一种通信高效的分布鲁棒联邦学习算法,通过加速原始对偶和偏差校正局部步骤提升公平性与鲁棒性,在基准数据集上验证了其有效性。
2023-07-25 cs.DC cs.LG math.OC
Non-IID Quantum Federated Learning with One-shot Communication Complexity
Zhili College, Tsinghua University(清华大学致理书院)
联合学习是指基于来自多个客户端的分散数据的机器学习任务,具有安全的数据隐私。最近的研究表明,量子算法可以用来提高其性能。然而,当客户端的数据不是独立同分布的(IID),传统的联邦算法的性能是已知的恶化。在这项工作中,我们探讨了非IID问题在量子联邦学习的理论和数值分析。我们进一步证明了一个全局量子信道可以被精确地分解成由每个客户端训练的局部信道,并借助于局部密度估计器。这一观察结果为具有一次性通信复杂性的非IID数据的量子联邦学习提供了一个通用框架。数值仿真表明,该算法在非IID设置下明显优于传统算法。
2023-01-18 cs.DC cs.LG quant-ph
Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
针对联邦学习中传统本地训练忽略客户端个性化需求的问题,提出Scafflix算法,将显式个性化与本地训练高效集成,在理论和实践上均实现了双重通信加速。
2023-05-22 cs.LG
An Energy Optimized Specializing DAG Federated Learning based on Event Triggered Communication
Harbin Institute of Technology(哈尔滨工业大学)
专门化有向无环图联邦学习(SDAGFL)是一种新的联邦学习框架,它通过有向无环图分布式账本技术(DAG-DLT)从具有相似数据分布的设备更新模型。SDAGFL在完全分散的联邦学习中具有个性化、抗单点故障和中毒攻击的优势。由于这些优点,SDAGFL适用于物联网场景中的联邦学习,其中设备通常由电池供电。为了促进SDAGFL在物联网中的应用,提出了一种基于能量优化的SDAGFL事件触发通信机制ESDAGFL。在ESDAGFL中,只有当新模型发生重大变化时才会广播。我们评估的ESDAGFL聚类综合FEMNIST数据集和莎士比亚和歌德的作品文本的数据集。实验结果表明,与SDAGFL相比,该方法可以减少33%的能耗,并实现了与SDAGFL相同的训练精度和专业化之间的平衡。
2022-09-26 cs.LG
DP-REC: Private & Communication-Efficient Federated Learning
Qualcomm AI Research(高通人工智能研究院)
隐私和通信效率是神经网络联邦训练中的重要挑战,将它们结合起来仍然是一个悬而未决的问题。在这项工作中,我们开发了一种方法,统一高度压缩通信和差分隐私(DP)。我们介绍了一种压缩技术的基础上相对熵编码(REC)的联邦设置。通过对REC的微小修改,我们得到了一个可证明的差分隐私学习算法,DP-REC,并展示了如何计算其隐私保证。我们的实验表明,DP-REC大大降低了通信成本,同时提供与最先进的隐私保证。
2021-12-07 cs.CR cs.LG stat.ML
Graph-Assisted Communication-Efficient Ensemble Federated Learning
University of California, Irvine(加州大学欧文分校)
在联邦学习中,由于有限的通信带宽,通信效率成为必要条件。为此,本文开发了一个算法框架,其中学习了预训练模型的集合。在每一轮学习中,服务器选择预先训练的模型的子集以基于图的结构来构建集成模型,图的结构表征服务器对模型的置信度。然后,只有选定的模型被传输到客户端,这样就不会违反某些预算约束。在从客户端接收到更新时,服务器相应地细化图的结构。证明了该算法具有次线性遗憾界。在真实数据集上的实验证明了该方法的有效性。
2022-02-27 cs.LG
Secure Communication Model For Quantum Federated Learning: A Post Quantum Cryptography (PQC) Framework
School of Information Technology(信息技术学院);Deakin University(迪肯大学)
针对量子联邦学习的安全通信问题,提出融合后量子密码学与动态服务器选择的PQC-QFL框架,并分析其收敛性与安全条件,代码及结果已公开。
2023-04-26 cs.CR cs.LG
Communication Efficiency in Federated Learning: Achievements and Challenges
Kennesaw State University(肯尼索州立大学);Macquarie University(麦考瑞大学);Brandon University(布兰登大学);China Medical University(中国医药大学)
已知联邦学习(FL)以分布式方式执行机器学习任务。多年来,这已经成为一项新兴技术,特别是随着各种数据保护和隐私政策的实施,FL允许执行机器学习任务,同时坚持这些挑战。与任何新技术的出现一样,将有挑战和好处。FL中存在的一个挑战是通信成本,因为FL发生在分布式环境中,通过网络连接的设备必须不断共享其更新,这可能会造成通信瓶颈。在本文中,我们提出了一个调查的研究,是为了克服在FL设置的通信限制。
2021-07-23 cs.LG
FBChain: A Blockchain-based Federated Learning Model with Efficiency and Secure Communication
Beihang University(北京航空航天大学);Guangxi Normal University(广西师范大学)
针对联邦学习通信中的参数泄漏和效率低下问题,提出基于区块链的FBChain模型,利用区块链不可篡改性和PoWLS共识算法,实现安全高效通信。
2025-02-27 cs.CR cs.LG
Communication-Efficient Adaptive Federated Learning
Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
本文提出通信高效且具备收敛保证的自适应联邦学习方法FedCAMS,在非凸随机优化中保持与非压缩方法相同的收敛率,并通过多基准实验验证其有效性。
2023-04-19 cs.AI cs.DC cs.LG
SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
针对资源受限设备微调大型预训练模型的隐私与高通信开销问题,提出SFPrompt方法,结合分割学习与联邦学习,引入软提示、数据集剪枝和本地损失更新策略,在保持性能的同时大幅降低计算与通信成本。
2024-07-24 cs.AI cs.DC cs.LG
Federated Learning with Compression: Unified Analysis and Sharp Guarantees
The Pennsylvania State University(宾夕法尼亚州立大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在联邦学习中,通信成本通常是扩展分布式优化算法的关键瓶颈,以从具有潜在不可靠或有限通信和异构数据分布的数百万设备协作学习模型。两个显着的趋势,以处理联邦算法的通信开销是梯度压缩和定期通信的本地计算。尽管进行了许多尝试,但事实证明,描述这两种方法之间的关系是难以捉摸的。我们解决这个问题,提出了一套定期压缩(量化或稀疏化)通信算法,并分析其收敛特性,在同质和异构的本地数据分布设置。对于齐次设置,我们的分析,提高了现有的边界提供更严格的收敛速度强凸和非凸目标函数。为了减轻数据的异质性,我们引入了一个局部梯度跟踪计划,并获得尖锐的收敛速度,匹配最知名的通信复杂性,而不压缩凸,强凸,和非凸设置。我们补充了我们的理论结果,并证明了我们提出的方法的有效性,在现实世界的数据集上的几个实验。
2020-11-21 cs.DC cs.LG stat.ML
DualFL: A Duality-based Federated Learning Algorithm with Communication Acceleration in the General Convex Regime
Pennsylvania State University(宾夕法尼亚州立大学)
提出DualFL算法解决联邦学习分布式优化问题,通过基于对偶的方法实现一般凸成本函数的通信加速,并提供了简洁优雅的收敛分析。
2024-01-10 cs.LG math.OC
Provable Reduction in Communication Rounds for Non-Smooth Convex Federated Learning
Umeå University(于默奥大学)
针对非光滑凸联邦学习,提出FedMLS算法,利用投影高效优化方法,在无数据异质性假设下,通过多次本地步骤将通信轮次降至O(1/ε),总随机次梯度调用为O(1/ε^2)。
2025-03-27 cs.LG math.OC
Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本研究提出首个兼具内存与通信效率的抗拜占庭联邦学习零阶优化算法CYBER-0,经MNIST实验和RoBERTa-Large微调验证其效率更优且精度相当,并给出凸损失下的收敛理论保证。
2024-06-20 cs.AI cs.LG