Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);Beijing Jiaotong University(北京交通大学)
针对联邦蒸馏的通信开销问题,本文提出 ALU 方法,通过累积多轮本地更新后再向中央服务器传输知识,降低通信频率并显著提升通信效率。
2023-12-07 cs.DC cs.LG
Federated Learning with Erroneous Communication Links
The University of Sydney(悉尼大学)
在本文中,我们考虑的联邦学习(FL)的问题,在通信错误的存在。我们通过一个数据包擦除信道来模拟设备和中心节点(CN)之间的链路,其中CN以概率$ε$和$1-ε$分别擦除或正确接收来自设备的本地参数。我们证明了FL算法在存在通信错误的情况下,CN使用过去的本地更新,如果没有从设备接收到新的本地更新,则FL算法收敛到相同的全局参数,而没有任何通信错误。我们提供了几个仿真结果来验证我们的理论分析。我们还表明,当数据集均匀分布在设备之间时,仅使用新鲜更新并丢弃丢失更新的FL算法可能比使用过去本地更新的FL算法收敛得更快。
2022-04-12 cs.IT cs.LG math.IT
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
Federated Multiple Label Hashing (FedMLH): Communication Efficient Federated Learning on Extreme Classification Tasks
Rice University(莱斯大学)
联邦学习使许多本地设备能够联合训练深度学习模型,而无需共享本地数据。目前,大多数联邦训练方案通过平均局部模型的参数来学习全局模型。然而,这些训练方案中的大多数遭受高的通信成本导致的传输全部本地模型参数。此外,由于不同设备上的类不平衡的非iid数据,直接平均模型参数会导致显著的性能下降。特别是对于涉及极端分类的现实生活中的联邦学习任务,(1)通信成为主要瓶颈,因为模型大小与输出类的数量成比例地增加;(2)极端分类(例如用户推荐)通常具有极不平衡的类和不同设备上的异构数据。为了克服这个问题,我们提出了联邦多标签哈希(FedMLH),它利用标签散列来同时减小模型大小(最多减少3.40倍),包括通信费用(最多减少18.75倍),并实现了更高的准确性(相对精度提高高达35.5%)和更快的收敛速度(最多增加5.5倍),与联邦平均算法相比,在联邦极端分类任务上免费使用。
2021-10-23 cs.LG
Communication Efficient Federated Learning for Generalized Linear Bandits
University of Virginia(弗吉尼亚大学)
为了满足数据分散化和向客户端推送学习的需求,联邦学习环境下的上下文Bandit算法近年来得到了研究。但受限于所需的通信效率,现有的解决方案被限制为线性模型,以利用其封闭形式的解决方案进行参数估计。这样一个有限的模型选择极大地阻碍了这些算法的实际效用。在本文中,我们通过研究联邦学习环境下的广义线性强盗模型来解决这一挑战。我们提出了一个有效的解决方案框架,采用在线回归本地更新和离线回归的全球更新。我们严格证明,虽然设置是更一般和具有挑战性的,我们的算法可以达到次线性率的遗憾和通信成本,这也是我们广泛的实证评估验证。
2022-10-12 cs.LG stat.ML
FLIX: A Simple and Communication-Efficient Alternative to Local Methods in Federated Learning
KAUST(阿卜杜拉国王科技大学);Princeton University(普林斯顿大学)
联邦学习(FL)是一种日益流行的机器学习范式,它是多个节点在隐私、通信和多个异构约束下进行协作学习的一种方法。联邦学习中的一个持续存在的问题是,不清楚优化目标应该是什么:监督学习的标准平均风险最小化不足以处理联邦学习特有的几个主要约束,例如通信自适应和个性化控制。我们确定了联邦学习框架中的几个关键需求,并引入了一个新的框架FLIX,该框架考虑了联邦学习带来的独特挑战。FLIX有一个标准的有限和形式,它使从业者能够利用现有的(潜在的非本地)分布式优化方法的巨大财富。通过不需要任何通信的智能初始化,FLIX不需要使用本地步骤,但仍然可以证明能够与本地方法一样执行相异性正则化。我们给出了几个算法,有效地解决FLIX制定通信约束下。最后,我们证实了我们的理论结果与广泛的实验。
2022-02-23 cs.LG math.OC stat.ML
Communication-Efficient ADMM-based Federated Learning
ITP Lab, Department of EEE(ITP实验室,电子与电机工程系);Imperial College London(帝国理工学院)
联邦学习在过去几年中已经显示出了它的进步,但也面临着许多挑战,例如算法如何节省通信资源,如何降低计算成本,以及它们是否收敛。为了解决这些问题,本文提出了精确和不精确的基于ADMM的联邦学习。它们不仅通信效率高,而且在非常温和的条件下线性收敛,例如无凸性和与数据分布无关。此外,不精确版本具有低计算复杂性,从而显著减轻了计算负担。
2022-01-29 cs.LG
D2P-Fed: Differentially Private Federated Learning With Efficient Communication
University of California, Berkeley(加州大学伯克利分校);Virginia Tech(弗吉尼亚理工大学)
在本文中,我们提出了基于离散高斯差分隐私联邦学习(D2 P-Fed),一个统一的计划,以实现差分隐私(DP)和联邦学习(FL)的通信效率。特别地,与仅兼顾这两个方面的先前工作相比,D2 P-Fed提供了更强的隐私保证、更好的可组合性和更小的通信成本。其核心思想是将离散高斯噪声应用于私有数据传输。我们提供了完整的分析的隐私保障,通信成本和收敛速度的D2 P-Fed。我们在INFIMNIST和CIFAR 10上评估了D2 P-Fed。结果表明,D2 P-Fed在模型精度方面比最先进的模型高出4.7%至13.0%,同时节省了三分之一的通信成本。
2021-01-02 cs.CR cs.LG stat.ME
Communication-Efficient and Personalized Federated Lottery Ticket Learning
Yonsei University(延世大学);Korea Maritime and Ocean University(韩国海洋大学);Deakin University(迪肯大学);University of Oulu(奥卢大学)
彩票假说(LTH)声称,深度神经网络(即,地面网络)包含多个子网络(即,中奖票),其中的每一个都表现出与地面网络相同的精确推理能力。联邦学习(FL)最近已被应用于LotteryFL中,以分布式方式发现此类中奖彩票,显示出比Vanilla FL更高的准确性多任务学习。尽管如此,LotteryFL依赖于下行链路上的单播传输,并忽略了缓解掉队者,质疑可扩展性。出于这一动机,在这篇文章中,我们提出了一个个性化的和通信效率的联邦彩票学习算法,创造细胞,利用下行链路广播的通信效率。此外,它利用了一种新的用户分组方法,从而在FL和彩票学习之间交替,以减少掉队者。数值模拟验证了CELL在CIFAR-10数据集下收敛之前,可以实现高达3.6%的个性化任务分类准确率和4.3倍的总通信成本。
2021-04-26 cs.IT cs.LG cs.NI
Communication-Efficient and Robust Multi-Modal Federated Learning via Latent-Space Consensus
Center for Wireless Communications, University of Oulu(奥卢大学无线通信中心)
本文提出CoMFed框架,通过可学习的投影矩阵生成压缩的潜在表示,并利用潜在空间正则化器对齐客户端间的表示,提升跨模态一致性和鲁棒性,实验显示在人体活动识别基准上具有竞争力的准确率与低开销。
2026-03-19 cs.LG eess.SP
Communication-Computation Efficient Secure Aggregation for Federated Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
联邦学习作为一种使用分布式数据来训练神经网络而不需要各个节点共享数据的方法而受到关注。不幸的是,也已经表明,对手可能能够从联邦学习期间传输的模型参数中提取本地数据内容。基于安全聚合原语的最新解决方案支持隐私保护联邦学习,但代价是大量额外的通信/计算资源。在本文中,我们提出了一个低复杂度的计划,提供数据隐私使用大大减少通信/计算资源相对于现有的安全解决方案。建议方案背后的关键思想是将秘密共享节点的拓扑结构设计为稀疏随机图,而不是与现有解决方案相对应的完整图。我们首先在图上得到了保证可靠性和隐私性的充分必要条件。然后,我们建议特别使用Erdens-Rényi图,并为所提出的方案的可靠性/隐私性提供理论保证。通过广泛的现实世界的实验,我们证明,我们的计划,只使用$20 \sim 30\%$的传统计划中所需的资源,保持几乎相同的水平的可靠性和数据隐私的实际联邦学习系统。
2021-07-12 cs.CR cs.IT cs.LG
Dynamic Sampling and Selective Masking for Communication-Efficient Federated Learning
Aalto University(阿尔托大学);Columbia University(哥伦比亚大学);Nokia Bell Labs(诺基亚贝尔实验室);The University of Queensland(昆士兰大学)
联邦学习(FL)是一种新型的机器学习设置,通过分散式训练和联邦优化实现设备上的智能。深度神经网络的快速发展促进了对复杂问题建模的学习技术,并在联邦环境下出现了联邦深度学习。然而,大量的模型参数给通信网络带来了高传输负载的负担。本文介绍了两种提高通信效率的方法,即动态采样和顶部$k$选择性掩蔽.前者动态地控制所选客户机模型的比例,而后者选择具有最大差异值的前$k$参数进行联合更新。在三个公共数据集上进行了卷积图像分类和递归语言建模的实验,以证明我们提出的方法的有效性。
2021-09-20 cs.LG
Learn Electronic Health Records by Fully Decentralized Federated Learning
University of Minnesota(明尼苏达大学);IQVIA(艾昆纬)
联邦学习在星型网络中的分布式训练问题中具有很高的通信效率,这为联邦学习提供了许多研究机会。在本文中,我们专注于提高通信效率的完全分散的联邦学习在一个图,该算法执行本地更新几次迭代,然后使节点之间的通信。这样,在不损失解的最优性的情况下,可以显著地节省交换参数的共同兴趣的通信回合。基于大型真实世界电子健康记录数据库的多个数值模拟显示了分散式联邦学习与经典方法相比的优越性。
2019-12-10 cs.LG cs.NE stat.ML
Timely Communication in Federated Learning
University of Maryland(马里兰大学)
我们考虑一个联邦学习框架,其中参数服务器(PS)通过使用$n$客户端来训练全局模型,而无需实际将客户端数据集中存储在云服务器上。针对客户端数据集快速变化且具有高度时间性的情况,我们研究了模型更新的及时性,并提出了一种新的及时通信方案。在所提出的方案下,在每次迭代时,PS等待$m$可用的客户端,并向它们发送当前模型。然后,PS在每次迭代时使用$m$客户端中最早的$k$的本地更新来更新全局模型。我们发现每个客户端所经历的信息的平均年龄和数字特征的年龄最佳的$m$和$k$值为一个给定的$n$。我们的研究结果表明,除了确保及时性,所提出的通信方案的结果显着较小的平均迭代时间相比,随机客户端选择,而不损害全局学习任务的收敛。
2021-03-13 cs.DC cs.IT cs.LG
Hyper-Sphere Quantization: Communication-Efficient SGD for Federated Learning
The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Co. Ltd(华为技术有限公司)
由于参与用户设备的带宽有限,因此传递梯度的高成本是联邦学习的主要瓶颈。现有的梯度压缩算法主要是针对高速网络的数据中心设计的,最多能达到$O(\sqrt{d} \log d)$的每次迭代通信开销,其中$d$为模型的大小。我们提出了超球量化(HSQ),一个通用的框架,可以配置为实现一个连续的通信效率和梯度精度之间的权衡。特别地,在高压缩比端,HSQ提供了$O(\log d)$的低的每次迭代通信成本,这有利于联邦学习。我们从理论上证明了HSQ的收敛性,并通过实验表明,HSQ显着降低了模型训练的通信成本,而不损害收敛精度。
2019-11-25 cs.IR cs.LG stat.ML
FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
通信复杂性和隐私是联邦学习的两个关键挑战,其目标是通过大量设备执行分布式学习。在这项工作中,我们引入FedSKETCH和FedSKETCHGATE算法来解决联合学习中的两个挑战,这些算法分别用于同构和异构数据分布设置。其关键思想是使用count sketch压缩局部梯度的累积,因此,服务器无法访问梯度本身,从而提供隐私。此外,由于所使用的草图的维数较低,我们的方法也表现出通信效率的属性。我们提供,上述计划,尖锐的收敛保证。最后,我们用各种实验来支持我们的理论。
2020-08-11 cs.DS cs.LG stat.ML
Federated Learning with Communication Delay in Edge Networks
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
联邦学习作为通过边缘网络分布机器学习(ML)模型训练的潜在解决方案已经受到了极大的关注。这项工作解决了联邦学习在网络边缘的一个重要考虑因素:边缘节点和聚合器之间的通信延迟。开发了一种称为FedDelAvg(联合延迟平均)的技术,该技术概括了标准的联合平均算法,以在同步步骤期间在每个设备处接收到的当前本地模型和延迟的全局模型之间加入权重。通过理论分析,得到了FedDelAvg全局模型损失的上界,揭示了学习性能对权值和学习率的强烈依赖性.在一个流行的ML任务上的实验结果表明,在优化加权方案以考虑延迟时,收敛速度有了显着提高。
2020-08-21 cs.DC cs.LG stat.ML
HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
Duke University(杜克大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
联邦学习(FL)是一种在分布在大量可能异构的客户端(如移动电话和物联网设备)上的私有数据上训练机器学习模型的方法。在这项工作中,我们提出了一个新的联邦学习框架命名为HeteroFL,以解决异构客户端配备了非常不同的计算和通信能力。我们的解决方案可以使不同的计算复杂度的异构局部模型的训练,仍然产生一个单一的全局推理模型。第一次,我们的方法挑战了现有工作的基本假设,即本地模型必须与全局模型共享相同的架构。我们展示了几种策略来增强FL训练,并进行了广泛的实证评估,包括三个数据集上的三个模型架构的五个计算复杂度级别。我们表明,自适应分布子网根据客户端的能力是计算和通信效率。
2021-12-14 cs.LG stat.ML
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
联邦学习允许多方在其组合数据上联合训练深度学习模型,而无需任何参与者将其本地数据透露给集中式服务器。然而,这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题,在分布式训练文献中已经提出了几种压缩方法,可以将所需的通信量减少多达三个数量级。然而,这些现有的方法在联邦学习设置中仅具有有限的效用,因为它们或者仅压缩从客户端到服务器的上游通信(使下游通信未压缩),或者仅在理想化条件(诸如客户端数据的iid分布)下表现良好,这通常不能在联邦学习中找到。在这项工作中,我们提出了稀疏三进制压缩(STC),一个新的压缩框架,专门设计,以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明,STC在常见的联邦学习场景中明显优于联合平均,其中客户端a)持有非iid数据,b)在训练期间使用小批量,或者c)客户端数量很大,每个通信回合的参与率很低。我们还表明,即使客户端持有iid数据并使用中等规模的批次进行训练,STC仍然表现出Pareto优于Federated Averaging,因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech(弗吉尼亚理工大学)
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决,即模型压缩、部分设备参与和周期性聚合,代价是增加训练方差。与传统的分布式学习系统不同,联邦学习存在数据异构性(因为设备从可能不同的分布中采样数据),这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响,而它们通常需要额外的通信资源来提供必要的控制信息。此外,数据隐私仍然是FL中的一个关键问题,因此已经有人尝试将差分隐私引入该框架,作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡,以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization
UC Santa Barbara(加州大学圣巴巴拉分校);UT Austin(德克萨斯大学奥斯汀分校);UPenn(宾夕法尼亚大学);MIT(麻省理工学院)
联邦学习是一种分布式框架,根据该框架,在一组设备上训练模型,同时保持数据本地化。该框架面临着几个面向系统的挑战,其中包括(i)由于大量设备将其本地更新上传到参数服务器而产生的通信瓶颈,以及(ii)由于联合网络由数百万个设备组成而产生的可扩展性。由于这些系统挑战以及与数据的统计异质性和隐私问题相关的问题,设计一种可证明有效的联邦学习方法具有重要意义,但它仍然具有挑战性。在本文中,我们提出了FedPAQ,一个通信效率高的联邦学习方法与周期平均和量化。FedPAQ依赖于三个关键特性:(1)定期平均,其中模型在设备上本地更新,并且仅在服务器上定期平均;(2)部分设备参与,其中只有一小部分设备参与每轮训练;以及(3)量化消息传递,其中边缘节点在上传到参数服务器之前对其更新进行验证。这些特性解决了联邦学习中的通信和可伸缩性挑战。我们还表明,FedPAQ实现了近最佳的理论保证强凸和非凸损失函数和经验证明我们的方法提供的通信计算权衡。
2020-06-07 cs.DC cs.LG math.OC
Communication-Efficient Adaptive Federated Learning
Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
本文提出通信高效且具备收敛保证的自适应联邦学习方法FedCAMS,在非凸随机优化中保持与非压缩方法相同的收敛率,并通过多基准实验验证其有效性。
2023-04-19 cs.AI cs.DC cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University(杜克大学);Alibaba DAMO Academy(阿里巴巴达摩院)
联邦学习是一种流行的分布式机器学习范例,具有增强的隐私性。它的主要目标是学习一个全球模型,为尽可能多的参与者提供良好的性能。该技术正在快速发展,面临许多尚未解决的挑战,其中包括统计异质性(即,非IID)和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中,我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架,通过利用彩票假设。在LotteryFL中,每个客户端学习彩票网络(即,基本模型的子网络),并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同,每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸,通信成本可以显著降低。为了支持我们框架的训练和评估,我们考虑特征分布偏差、标签分布偏差和数量偏差,基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明,LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
为了在诸如无线网络的带宽需求环境中实现大规模机器学习,最近在借助于通信压缩来设计通信高效的联邦学习算法方面取得了重大进展。另一方面,隐私保护,特别是在客户端级别,是另一个重要的迫切需要,尚未同时解决的先进的通信压缩技术的存在。在本文中,我们提出了一个统一的框架,提高了私人联邦学习的通信效率与通信压缩。利用一般的压缩算子和局部差分隐私,我们首先检查一个简单的算法,直接适用于压缩差分私人随机梯度下降,并确定其局限性。然后,我们提出了一个统一的框架SoteriaFL私人联邦学习,它容纳了一般家庭的局部梯度估计,包括流行的随机方差降低梯度方法和国家的最先进的移位压缩方案。我们提供了一个全面的特性,其性能权衡的隐私,实用程序和通信的复杂性,SoteraFL被证明可以实现更好的通信复杂性,而不牺牲隐私,也不实用比其他私人联邦学习算法没有通信压缩。
2022-10-12 cs.DC cs.DS cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此,由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST,一个无偏的算法,动态学习的可用性相关的客户端选择策略,渐近最小化的影响,客户端采样方差的全局模型收敛,提高性能的联邦学习。所提出的算法进行了测试,在各种设置下的间歇性可用的客户端通信的限制,和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上,我们的准确率分别比FedAvg提高了186%和8%,比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Secure Communication Model For Quantum Federated Learning: A Post Quantum Cryptography (PQC) Framework
School of Information Technology(信息技术学院);Deakin University(迪肯大学)
针对量子联邦学习的安全通信问题,提出融合后量子密码学与动态服务器选择的PQC-QFL框架,并分析其收敛性与安全条件,代码及结果已公开。
2023-04-26 cs.CR cs.LG
Communication-Efficient Federated Learning via Predictive Coding
NC State University(北卡罗来纳州立大学)
联邦学习可以使远程工作人员能够协作地训练共享的机器学习模型,同时允许将训练数据保持在本地。在无线移动设备的使用情况下,由于有限的功率和带宽,通信开销是关键瓶颈。先前的工作已经利用了各种数据压缩工具,例如量化和稀疏化,以减少开销。在本文中,我们提出了一个基于预测编码的压缩方案的联邦学习。该方案在所有设备之间共享预测功能,并允许每个工作者传输从参考导出的压缩残差向量。在每一轮通信中,我们根据率失真代价选择预测器和量化器,并通过熵编码进一步减少冗余。大量的仿真表明,与其他基线方法相比,通信成本可以降低高达99%,甚至更好的学习性能。
2022-01-09 cs.AI cs.DC cs.LG
Scaff-PD: Communication Efficient Fair and Robust Federated Learning
University of California, Berkeley(加州大学伯克利分校)
本文提出Scaff-PD,一种通信高效的分布鲁棒联邦学习算法,通过加速原始对偶和偏差校正局部步骤提升公平性与鲁棒性,在基准数据集上验证了其有效性。
2023-07-25 cs.DC cs.LG math.OC
Non-IID Quantum Federated Learning with One-shot Communication Complexity
Zhili College, Tsinghua University(清华大学致理书院)
联合学习是指基于来自多个客户端的分散数据的机器学习任务,具有安全的数据隐私。最近的研究表明,量子算法可以用来提高其性能。然而,当客户端的数据不是独立同分布的(IID),传统的联邦算法的性能是已知的恶化。在这项工作中,我们探讨了非IID问题在量子联邦学习的理论和数值分析。我们进一步证明了一个全局量子信道可以被精确地分解成由每个客户端训练的局部信道,并借助于局部密度估计器。这一观察结果为具有一次性通信复杂性的非IID数据的量子联邦学习提供了一个通用框架。数值仿真表明,该算法在非IID设置下明显优于传统算法。
2023-01-18 cs.DC cs.LG quant-ph
Accurate and Fast Federated Learning via IID and Communication-Aware Grouping
Korea Advanced Institute of Science and Technology(韩国科学技术院)
联邦学习已经成为协作机器学习的一种新范式;然而,它也面临着一些挑战,例如非独立同分布(IID)数据和高通信成本。为此,我们提出了一种新的框架,IID和通信感知组联邦学习,同时最大限度地提高准确性和通信速度分组节点的基础上的数据分布和物理位置的节点。此外,我们提供了一个正式的收敛性分析和一个有效的优化算法称为FedAvg-IC。实验结果表明,与现有算法相比,FedAvg-IC测试精度提高了22.2%,同时通信时间缩短了12%。
2020-12-09 cs.DC cs.LG
FBChain: A Blockchain-based Federated Learning Model with Efficiency and Secure Communication
Beihang University(北京航空航天大学);Guangxi Normal University(广西师范大学)
针对联邦学习通信中的参数泄漏和效率低下问题,提出基于区块链的FBChain模型,利用区块链不可篡改性和PoWLS共识算法,实现安全高效通信。
2025-02-27 cs.CR cs.LG
DualFL: A Duality-based Federated Learning Algorithm with Communication Acceleration in the General Convex Regime
Pennsylvania State University(宾夕法尼亚州立大学)
提出DualFL算法解决联邦学习分布式优化问题,通过基于对偶的方法实现一般凸成本函数的通信加速,并提供了简洁优雅的收敛分析。
2024-01-10 cs.LG math.OC
Provable Reduction in Communication Rounds for Non-Smooth Convex Federated Learning
Umeå University(于默奥大学)
针对非光滑凸联邦学习,提出FedMLS算法,利用投影高效优化方法,在无数据异质性假设下,通过多次本地步骤将通信轮次降至O(1/ε),总随机次梯度调用为O(1/ε^2)。
2025-03-27 cs.LG math.OC
Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本研究提出首个兼具内存与通信效率的抗拜占庭联邦学习零阶优化算法CYBER-0,经MNIST实验和RoBERTa-Large微调验证其效率更优且精度相当,并给出凸损失下的收敛理论保证。
2024-06-20 cs.AI cs.LG
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置,通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而,当将联邦学习扩展到生产环境时,通信效率仍然是一个主要瓶颈,特别是由于上行链路通信期间的带宽限制。在本文中,我们正式和解决的问题,压缩客户端到服务器的模型更新下的安全聚合原语,联邦学习管道,允许服务器聚合客户端更新,而无需单独访问它们的核心组件。特别是,我们适应标准的标量量化和修剪方法安全聚合,并提出安全索引,安全聚合的一个变种,支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果,在上行链路通信中进行了多达40次$\times$压缩,与未压缩的基线相比,效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data
University of Chinese Academy of Sciences(中国科学院大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
联邦学习是一种广泛使用的分布式深度学习框架,它通过交换模型参数而不是原始数据来保护每个客户端的隐私。然而,联邦学习存在通信成本高的问题,因为在训练过程中需要多次传输相当数量的模型参数,使得该方法效率低下,特别是在通信网络带宽有限的情况下。本文提出了RingFed,一种新的框架,以减少联邦学习的训练过程中的通信开销。与原始联邦学习中在中心服务器和每个客户端之间传输参数不同,在所提出的RingFed中,更新后的参数在每个客户端之间依次传输,并且仅将最终结果传输到中心服务器,从而大大减少了通信开销。在几次本地更新之后,客户端首先将其参数发送到另一个邻近的客户端,而不是直接发送到中心服务器,以进行预聚合。在两个不同的公开数据集上的实验表明,RingFed算法具有收敛速度快、模型精度高、通信代价低的特点。
2021-07-19 cs.DC cs.LG
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank(微众银行);ShanghaiTech University(上海科技大学);Hong Kong University of Science and Technology(香港科技大学)
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构,其中两方的数据集具有相同的样本ID,但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法,这需要大量的通信轮。为了解决通信的挑战,我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量,每轮有一点额外的通信成本。数值结果表明,我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.(谷歌公司)
联邦学习(FL)是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止,大多数FL算法在多轮中学习“全局”服务器模型。在每一轮,相同的服务器模型被广播到所有参与的客户端,在本地更新,然后跨客户端聚合。在这项工作中,我们提出了一个更一般的程序,客户端“选择”什么值发送给他们。值得注意的是,这允许客户端在更小的数据依赖切片上操作。为了实现这一点,我们概述了一个原始的,联邦选择,使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练,并表明它可以大幅减少通信和客户端内存使用,从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任,这反过来又影响可能的系统约束和设计的影响。最后,我们讨论了开放的问题,模型架构,隐私保护技术,和实际FL系统。
2022-08-19 cs.DC cs.LG
Federated Learning for 6G Communications: Challenges, Methods, and Future Directions
Heilongjiang University(黑龙江大学);Monash University(莫纳什大学);Nanyang Technological University(南洋理工大学);Tianjin University(天津大学)
随着5G通信网络在全球范围内的广泛部署,工业界和学术界都开始超越5G并探索6G通信。一般认为,6G将建立在泛在人工智能(AI)之上,实现异构、大规模网络中数据驱动的机器学习(ML)解决方案。然而,传统的ML技术需要由中央服务器进行集中式数据汇集和处理,由于隐私问题的显著增加,这正在成为日常生活中大规模实施的瓶颈。联邦学习作为一种具有隐私保护性质的新兴分布式人工智能方法,对各种无线应用特别有吸引力,特别是被视为实现6G无处不在的人工智能的重要解决方案之一。在这篇文章中,我们首先介绍了6G和联邦学习的集成,并提供了6G潜在的联邦学习应用。然后,我们描述了关键的技术挑战,相应的联邦学习方法,以及未来在6G通信背景下研究联邦学习的开放问题。
2020-07-12 cs.CR cs.LG cs.NI
LoByITFL: Low Communication Secure and Private Federated Learning
School of Computation, Information and Technology(计算、信息与技术学院)
针对联邦学习中数据隐私与拜占庭安全难兼顾且现有方案牺牲隐私的问题,提出通信高效的LoByITFL方案,借助小型数据集、改进FLTrust和初始化阶段一次性可信第三方,实现信息论隐私与安全,兼具理论保证与收敛性实验验证。
2025-06-12 cs.CR cs.DC cs.IT
Communication-Efficient Federated Distillation with Active Data Sampling
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)是一种很有前途的范例,可以从分布式数据中实现隐私保护深度学习。大多数以前的工作是基于联邦平均(FedAvg),然而,它面临着几个关键问题,包括高通信开销和处理异构模型架构的困难。联邦蒸馏(FD)是最近提出的一种替代方案,使通信高效和强大的FL,它实现了数量级的通信开销减少相比,FedAvg,是灵活的处理客户端的异构模型。然而,到目前为止,还没有统一的算法框架或理论分析的FD为基础的方法。在本文中,我们首先提出了一个通用的元算法FD和调查的影响,通过实证实验的关键参数。然后,我们从理论上验证了经验观察。基于实验结果和理论,我们提出了一个通信有效的FD算法与主动数据采样,以提高模型的性能,减少通信开销。在基准数据集上的实证模拟表明,我们提出的算法有效地,显着地减少了通信开销,同时取得了令人满意的性能。
2022-03-14 cs.LG
Ternary Compression for Communication-Efficient Federated Learning
East China University of Science and Technology(华东理工大学);Tongji University(同济大学);University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学)
对存储在不同位置的海量数据进行学习在许多现实世界的应用中是必不可少的。然而,随着智能移动设备和物联网设备的使用越来越多,对隐私和安全性的要求越来越高,共享数据充满了挑战。联邦学习通过联合训练全局模型而无需将分布在多个设备上的数据上传到中央服务器,为隐私保护和安全机器学习提供了一种潜在的解决方案。然而,现有的联邦学习大多采用全精度权值的机器学习模型,这些模型中几乎都包含大量不需要传输到服务器的冗余参数,消耗了过多的通信开销。为了解决这个问题,我们提出了一个联邦训练的三进制量化(FTTQ)算法,通过自学习的量化因子优化客户端上的量化网络。给出了量化因子的收敛性、FTTQ的无偏性以及减小的权发散的理论证明。在FTTQ的基础上,提出了一种三元联邦平均协议(T-FedAvg),以减少联邦学习系统的上下游通信。在公开数据集上进行了实证实验,以训练广泛使用的深度学习模型,我们的结果表明,与规范的联邦学习算法相比,所提出的T-FedAvg在降低通信成本方面是有效的,甚至可以在非IID数据上实现更好的性能。
2022-03-29 cs.DC cs.LG stat.ML
Toward Communication Efficient Adaptive Gradient Method
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
近年来,分布式优化被证明是加速诸如深度神经网络之类的大规模机器学习模型的训练的有效方法。随着GPU计算能力的提高,分布式训练中训练速度的瓶颈逐渐从计算转移到通信。与此同时,为了在移动设备上训练机器学习模型,一种名为"联邦学习“的新分布式训练范式已经流行起来。由于移动设备的低带宽,联邦学习中的通信时间尤为重要。虽然已经提出了各种提高联邦学习通信效率的方法,但大多数方法都是以SGD为原型训练算法设计的。虽然自适应梯度方法已被证明是有效的训练神经网络,自适应梯度方法在联邦学习的研究是稀缺的。在本文中,我们提出了一种自适应梯度方法,可以保证收敛性和通信效率的联邦学习。
2021-09-10 cs.DC cs.LG stat.ML
ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
提出ParaBlock方法,通过并行化通信与计算线程,在联邦学习大语言模型时提升通信效率,并理论证明其收敛率与标准方法相同,实验验证其性能与效率优势。
2026-06-02 cs.DC cs.LG
Communication-Efficient Federated Learning via Clipped Uniform Quantization
Boise State University(博伊西州立大学)
本文提出通过裁剪均匀量化与自适应量化方案,在联邦学习中显著降低通信开销,同时保持接近全精度的模型性能,并增强客户端隐私。
2024-12-14 cs.LG cs.MA eess.SP
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
由于联邦学习中的通信约束和间歇性客户端可用性,只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择,最近的工作有偏见的客户端选择表明,选择具有较高的本地损失的客户端可以提高误差收敛速度。然而,以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失,或利用陈旧的本地损失,这甚至可以使模型发散。在本文中,我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS,实现了更快的收敛,降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Adversarial training in communication constrained federated learning
University of Illinois(伊利诺伊大学);I.B.M T.J. Watson Research Center(IBM TJ·沃森研究中心)
联邦学习支持在代理数据的分布式语料库上进行模型训练。然而,经过训练的模型容易受到对抗性示例的影响,这些示例旨在引起错误分类。我们研究了在联邦学习环境中使用对抗训练(AT)的可行性。此外,我们这样做假设一个固定的通信预算和非iid数据分布之间的参与代理。我们观察到,与集中式训练相比,当AT用于联邦设置时,自然和对抗准确率都显着下降。我们将此归因于在代理处本地执行的AT的时期的数量,这反过来影响(i)本地模型之间的漂移;以及(ii)收敛时间(以通信回合的数量来衡量)。为此,我们提出了FedDynAT,一种新的算法在联邦设置执行AT。通过大量的实验,我们证明了FedDynAT通过减少模型漂移显著提高了自然和对抗精度,以及模型收敛时间。
2021-03-01 cs.AI cs.LG
FedPAGE: A Fast Local Stochastic Gradient Method for Communication-Efficient Federated Learning
Princeton University(普林斯顿大学);KAUST(阿卜杜拉国王科技大学)
联合平均(FedAvg,也称为Local-SGD)(McMahan等人,2017)是一种经典的联邦学习算法,其中客户端在将其更新传送到编排服务器之前运行多个本地SGD步骤。我们提出了一种新的联邦学习算法FedPAGE,它能够通过利用最近的最佳PAGE方法进一步降低通信复杂度(Li et al.,2021)而不是FedAvg中的普通SGD。我们发现,FedPAGE使用更少的通信轮比以前的本地方法联邦凸和非凸优化。具体地,1)在凸设置中,FedPAGE的通信轮数是$O(\frac{N^{3/4}}{Sε})$,改进了SCAFFOLD的最公知结果$O(\frac{N}{Sε})$(Karimireddy等人,2020),其中$N^{1/4}$是客户端的总数(通常在联邦学习中非常大),$S$是每个通信轮中客户端的采样子集,$ε$是目标误差; 2)在非凸设置中,FedPAGE的通信轮数是$O(\frac{\sqrt{N}+S}{Sε^2})$,改进了SCAFFOLD的最知名结果$O(\frac{N^{2/3}}{S^{2/3}ε^2})$(Karimireddy et al.,2020),如果采样的客户端为$S\leq \sqrt{N}$,则通过因子$N^{1/6}S^{1/3}$。请注意,在这两种设置中,FedPAGE和SCAFFOLD每轮的通信成本是相同的。因此,FedPAGE在联邦凸优…
2021-08-10 cs.DC cs.DS cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);Friedrich-Alexander University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
联邦学习面临着性能和网络通信的挑战,特别是在数据在客户端之间不是独立和相同分布(IID)的环境中。为了解决前一个挑战,我们引入了联邦集中式一致性属性,并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者,我们提出了联邦多小批量的方法,并说明它可以建立一个性能和通信效率之间的权衡,并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
Communication-Efficient and Drift-Robust Federated Learning via Elastic Net
DGIST(大邱庆北科学技术院);POSTECH(浦项科技大学)
联邦学习(FL)是一种分布式的方法,训练一组本地客户端的全局模型,同时保持数据本地化。它降低了隐私和安全风险,但面临着重要的挑战,包括昂贵的通信成本和客户端漂移问题。为了解决这些问题,我们提出了FedElasticNet,这是一个利用弹性网络的通信高效和漂移鲁棒的FL框架。它重新使用了两种类型的弹性网络正则化器(即,局部模型更新上的$\ell_1$和$\ell_2$损失):(1)$\ell_1$ -范数正则化器稀疏化局部更新以降低通信成本,以及(2)$\ell_2$ -范数正则化器通过限制由于数据异构性而漂移的局部更新的影响来解决客户端漂移问题。FedElasticNet是FL的通用框架;因此,在没有额外成本的情况下,它可以集成到现有的FL技术中,例如,FedAvg、FedProx、SCAFFOLD和FedDyn。我们表明,我们的框架有效地解决了通信成本和客户端漂移的问题。
2022-10-06 cs.AI cs.LG stat.ML
Asynchronous Federated Learning with Bidirectional Quantized Communications and Buffered Aggregation
University of California, Irvine(加州大学欧文分校)
针对带缓冲聚合的异步联邦学习(FedBuff)通信成本高的问题,提出新算法QAFeL,通过在服务器与客户端间建立共享“隐藏”状态的量化方案避免误差传播,在保证高精度的同时显著降低数据传输量,并提供了理论收敛保证和实验验证。
2023-08-01 cs.LG eess.SP math.OC