Emerging Trends in Federated Learning: From Model Fusion to Federated X Learning
University of Helsinki(赫尔辛基大学);University of Technology Sydney(悉尼科技大学);Beihang University(北京航空航天大学);Monash University(莫纳什大学);Aalto University(阿尔托大学);Griffith University(格里菲斯大学);Amazon(亚马逊公司);Columbia University(哥伦比亚大学)
本文是一篇聚焦联邦学习与其他学习算法结合的综述,梳理了改进联邦平均的算法、模型融合方法,提出并探讨了涵盖多类学习范式的联邦X学习方向,同时指出了领域挑战、应用及未来方向。
2024-03-27 cs.DC cs.LG
Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习(FL)是一种很有前途且功能强大的方法,用于在不共享客户端原始数据的情况下训练深度学习模型。在FL的训练过程中,中心服务器和分布式客户端需要定期交换大量的模型信息。为了应对通信密集型训练的挑战,我们提出了一种新的训练方法,称为双侧低秩压缩(FedDLR)的联邦学习,其中深度学习模型在服务器和客户端都通过低秩近似进行压缩。建议FedDLR不仅减少了在训练阶段的通信开销,但也直接生成一个紧凑的模型,以加快推理过程。我们将提供收敛性分析,调查的关键参数的影响,并实证表明,FedDLR优于国家的最先进的解决方案在通信和计算效率方面。
2021-04-26 cs.DC cs.LG
FedFQ: Federated Learning with Fine-Grained Quantization
针对联邦学习的通信瓶颈及现有量化框架压缩比与收敛性能难平衡的问题,提出参数级细粒度自适应量化算法FedFQ,通过约束引导模拟退火确定量化方案,在性能无损下实现27-63倍压缩比且收敛更优。
2024-08-16 cs.DC
Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning
University of Science and Technology of China(中国科学技术大学)
联邦学习(FL)允许多个客户机协作训练模型而不公开本地数据。然而,现有的工作未能解决所有这些实际问题在FL:有限的通信资源,动态的网络条件和异构的客户端属性,这减慢了FL的收敛。为了解决上述挑战,我们提出了一个异构性感知FL框架,称为FedCG,自适应客户端选择和梯度压缩。具体地,参数服务器(PS)考虑统计异质性选择代表性客户端子集,并将全局模型发送给它们。在本地训练之后,这些选定的客户端将与其能力相匹配的压缩模型更新上传到PS以进行聚合,这显著地减轻了通信负载并减轻了掉队者效应。我们从理论上分析了客户端选择和梯度压缩对收敛性能的影响。在导出的收敛速度的指导下,我们开发了一种基于迭代的算法,使用子模最大化和线性规划来联合优化客户端选择和压缩比决策。在真实世界的原型和模拟上的大量实验表明,与其他方法相比,FedCG可以提供高达5.3 $\times$的加速比。
2022-12-19 cs.DC cs.LG
Dynamic Fusion based Federated Learning for COVID-19 Detection
China University of Petroleum (East China)(中国石油大学(华东));Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Southern University of Science and Technology(南方科技大学)
医学诊断图像分析(例如,使用机器学习进行CT扫描或X光检查是检测COVID-19感染的有效且准确的方法。然而,出于对患者隐私的考虑,通常不允许在医疗机构之间共享诊断图像。这导致用于训练图像分类模型的数据集不足的问题。联邦学习是一种新兴的隐私保护机器学习范式,它基于接收到的由客户端训练的本地模型的更新来产生无偏的全局模型,而无需交换客户端的本地数据。然而,联邦学习的默认设置引入了传输模型更新的巨大通信成本,并且在客户端数据异构性严重时难以保证模型性能。为了提高通信效率和模型性能,本文提出了一种新的基于动态融合的联邦学习方法,用于医学诊断图像分析以检测COVID-19感染。首先,我们设计了一个基于动态融合的联邦学习系统的架构来分析医学诊断图像。此外,我们提出了一种动态融合方法,动态地决定参与客户端根据其本地模型的性能和调度模型融合-基于参与客户端的训练时间。此外,我们总结了一类用于COVID-19检测的医学诊断图像数据集,可供机器学习社区用于图像分析。评估结果表明,该方法是可行的,在模型性能、通信效率和容错能力等方面均优于联邦学习的默认设置。
2020-10-26 cs.DC cs.LG
Federated Learning with Compression: Unified Analysis and Sharp Guarantees
The Pennsylvania State University(宾夕法尼亚州立大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在联邦学习中,通信成本通常是扩展分布式优化算法的关键瓶颈,以从具有潜在不可靠或有限通信和异构数据分布的数百万设备协作学习模型。两个显着的趋势,以处理联邦算法的通信开销是梯度压缩和定期通信的本地计算。尽管进行了许多尝试,但事实证明,描述这两种方法之间的关系是难以捉摸的。我们解决这个问题,提出了一套定期压缩(量化或稀疏化)通信算法,并分析其收敛特性,在同质和异构的本地数据分布设置。对于齐次设置,我们的分析,提高了现有的边界提供更严格的收敛速度强凸和非凸目标函数。为了减轻数据的异质性,我们引入了一个局部梯度跟踪计划,并获得尖锐的收敛速度,匹配最知名的通信复杂性,而不压缩凸,强凸,和非凸设置。我们补充了我们的理论结果,并证明了我们提出的方法的有效性,在现实世界的数据集上的几个实验。
2020-11-21 cs.DC cs.LG stat.ML
Bayesian Federated Model Compression for Communication and Computation Efficiency
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对联邦学习的通信与计算效率问题,提出融合分层稀疏先验与去中心化Turbo框架的D-Turbo-VBI算法,可双向降低通信开销与本地推理复杂度,且已证明收敛性,实验效果优于基线。
2024-04-11 cs.AI cs.DC cs.LG
A Joint Approach to Local Updating and Gradient Compression for Efficient Asynchronous Federated Learning
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学伯克利深圳研究院);Southern University of Science and Technology(南方科技大学);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对异步联邦学习中的设备异构、低带宽和更新陈旧问题,提出 FedLuck 框架联合自适应优化本地更新频率与梯度压缩率,显著降低通信与训练开销。
2024-07-06 cs.DC cs.LG
Efficient Model Compression for Hierarchical Federated Learning
School of Systems Science and Engineering, Sun Yat-Sen University(中山大学系统科学与工程学院);School of Intelligent Systems Engineering, Sun Yat-Sen University(中山大学智能工程学院)
本文提出一种结合聚类与模型压缩的分层联邦学习框架,通过自适应聚类和带压缩的本地聚合算法,在保持预测精度的同时显著降低通信能耗。
2024-05-27 cs.DC cs.LG
Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong Baptist University(香港浸会大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对联邦学习中异构带宽和非独立同分布数据导致的落后者与性能下降问题,提出带宽感知压缩框架,通过动态调整压缩率及参数掩码加权平均,显著提升模型准确率与收敛速度。
2024-08-27 cs.DC cs.LG
SMoFi: Step-wise Momentum Fusion for Split Federated Learning on Heterogeneous Data
针对拆分联邦学习中数据异构性导致全局模型收敛速度和准确性下降的问题,提出分步动量融合(SMoFi)框架,通过同步服务器端动量缓冲区及感知陈旧性对齐机制,提升模型性能,尤其适用于资源受限场景。
2025-11-16 cs.DC cs.LG
Caesar: A Low-deviation Compression Approach for Efficient Federated Learning
University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院);Guangdong OPPO Mobile Telecommunications Corp., Ltd.(广东欧珀移动通信有限公司)
Caesar提出一种低偏差压缩联邦学习框架,通过贪心压缩比优化、梯度重要性量化和细粒度批量优化,在保持模型精度的同时显著降低通信流量成本。
2024-12-28 cs.DC cs.LG
Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor
Moscow Institute of Physics and Technology(莫斯科物理技术学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
为了减轻分布式和联邦学习中的高通信成本,各种矢量压缩方案,例如量化、稀疏化和抖动,已经变得非常流行。在设计压缩方法时,目的在于尽可能少地传送比特,这最小化每通信回合的成本,而同时试图对所传送的消息赋予尽可能少的失真(变化),这最小化压缩对通信回合的总数的不利影响。然而,直觉上,这两个目标从根本上是冲突的:我们允许的压缩越多,信息就变得越扭曲。我们形式化这种直觉,并证明了随机压缩算子的{ \em不确定性原理},从而在数学上量化了这种限制,{ \em有效地提供了渐近紧的下限上可能实现的通信压缩}。受这些发展的启发,我们呼吁寻找最佳的压缩算子。在尝试采取在这个方向上的第一步,我们考虑一个无偏的压缩方法的启发Kashin表示的向量,我们称之为{ \em Kashin压缩(KC)}。与所有先前提出的压缩机制相比,KC享有{ \em维度独立}方差界,即使在每个向量条目仅需要传送几个比特的情况下,我们也推导出明确的公式。
2021-01-26 cs.DC cs.IT cs.LG
HCFL: A High Compression Approach for Communication-Efficient Federated Learning in Very Large Scale IoT Networks
Pusan National University(釜山大学);University of Technology Sydney(悉尼科技大学)
联邦学习(FL)是一种新的人工智能概念,它使物联网(IoT)设备能够学习协作模型,而无需将原始数据发送到集中式节点进行处理。尽管有许多优点,但物联网设备的低计算资源和交换模型参数的高通信成本使得FL在大规模物联网网络中的应用非常有限。在这项工作中,我们为FL开发了一种新的压缩方案,称为高压缩联邦学习(HCFL),用于超大规模物联网网络。HCFL可以在不改变FL过程的结构和超参数的情况下减少FL过程的数据负载。通过这种方式,我们不仅可以显着降低通信成本,而且还可以使强化学习过程在低计算资源的物联网设备上更具适应性。此外,我们还研究了物联网设备数量与FL模型收敛水平之间的关系,从而更好地评估FL过程的质量。我们证明了我们的HCFL计划在模拟和数学分析。我们提出的理论研究可以作为一个最低水平的满意度,证明FL过程中,可以达到良好的性能时,确定的配置得到满足。因此,我们证明了HCFL适用于任何具有众多物联网设备的FL集成网络。
2022-06-21 cs.AI cs.DC cs.LG
Nautilus: A Verifiable Hierarchical Federated Learning Framework for Vehicular-Edge-Cloud Systems
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Beihang University(北京航空航天大学)
针对车联网中资源极端异构导致联邦学习效率低下的问题,提出Nautilus框架,通过多维资源感知调度算法和零知识证明机制,在保护隐私的同时实现高效且可验证的联邦学习。
2026-07-29 cs.DC
Communication-Efficient Federated Learning via Quantized Compressed Sensing
POSTECH(浦项科技大学);Princeton University(普林斯顿大学)
在本文中,我们提出了一个通信效率的联邦学习框架的启发量化压缩感知。所提出的框架包括无线设备的梯度压缩和参数服务器(PS)的梯度重建。我们的梯度压缩策略是依次执行块稀疏化,降维和量化。由于梯度稀疏化和量化,我们的策略可以实现比一位梯度压缩更高的压缩比。为了准确地聚合的局部梯度从压缩信号在PS,我们提出了一个近似的最小均方误差(MMSE)的梯度重建方法,使用期望最大化广义近似消息传递(EM-GAMP)算法。该算法在假定Bernoulli高斯混合先验的前提下,迭代更新压缩信号局部梯度的后验均值和方差。我们还提出了一种低复杂度的梯度重建方法。在这种方法中,我们使用Bussgang定理从压缩信号中聚合局部梯度,然后使用EM-GAMP算法计算聚合梯度的近似MMSE估计。我们还提供了所提出的框架的收敛速度分析。使用MNIST数据集,我们证明了所提出的框架实现了几乎相同的性能的情况下,不进行压缩,同时显着降低了联邦学习的通信开销。
2021-11-30 cs.AI cs.DC eess.SP
BICompFL: Stochastic Federated Learning with Bi-Directional Compression
Technical University of Munich(慕尼黑工业大学);Israel Institute of Technology(以色列理工学院);Imperial College London(伦敦帝国学院)
本文提出BICompFL方法,通过双向压缩解决随机联邦学习中的通信瓶颈,在保持最先进准确率的同时将通信成本降低一个数量级。
2025-01-31 cs.DC cs.IT cs.LG
Stochastic Controlled Averaging for Federated Learning with Communication Compression
LinkedIn(领英);University of Pennsylvania(宾夕法尼亚大学)
针对压缩联邦学习在数据异构、部分参与和压缩误差条件下的性能瓶颈,提出高效随机受控平均实现及 SCALLION、SCAFCOM 两种算法,将上行通信成本减半并取得更优复杂度与实验表现。
2024-04-09 cs.DC cs.LG math.OC
A Full Compression Pipeline for Green Federated Learning in Communication-Constrained Environments
Chair of Information Theory and Data Analytics (INDA), RWTH Aachen University(信息理论与数据分析教授职位(INDA),亚琛工业大学)
本文提出一种完整压缩流水线FCP,通过整合剪枝、量化和霍夫曼编码技术,减少联邦学习中的通信和计算开销,提升效率与可持续性。
2026-04-14 cs.DC cs.LG
BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning
Sun Yat-sen University(中山大学);University of Science and Technology of China(中国科学技术大学)
针对拜占庭攻击下的压缩联邦学习,提出梯度差分压缩降低压缩噪声,结合SAGA消除随机噪声,实现线性收敛且误差与无压缩方法同阶。
2022-04-11 cs.DC cs.LG math.OC
Ternary Compression for Communication-Efficient Federated Learning
East China University of Science and Technology(华东理工大学);Tongji University(同济大学);University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学)
对存储在不同位置的海量数据进行学习在许多现实世界的应用中是必不可少的。然而,随着智能移动设备和物联网设备的使用越来越多,对隐私和安全性的要求越来越高,共享数据充满了挑战。联邦学习通过联合训练全局模型而无需将分布在多个设备上的数据上传到中央服务器,为隐私保护和安全机器学习提供了一种潜在的解决方案。然而,现有的联邦学习大多采用全精度权值的机器学习模型,这些模型中几乎都包含大量不需要传输到服务器的冗余参数,消耗了过多的通信开销。为了解决这个问题,我们提出了一个联邦训练的三进制量化(FTTQ)算法,通过自学习的量化因子优化客户端上的量化网络。给出了量化因子的收敛性、FTTQ的无偏性以及减小的权发散的理论证明。在FTTQ的基础上,提出了一种三元联邦平均协议(T-FedAvg),以减少联邦学习系统的上下游通信。在公开数据集上进行了实证实验,以训练广泛使用的深度学习模型,我们的结果表明,与规范的联邦学习算法相比,所提出的T-FedAvg在降低通信成本方面是有效的,甚至可以在非IID数据上实现更好的性能。
2022-03-29 cs.DC cs.LG stat.ML
Toward Efficient Federated Learning in Multi-Channeled Mobile Edge Network with Layerd Gradient Compression
Shanghai University of Electric Power(上海电力大学);Xiamen University(厦门大学)
联邦学习(FL)的一个基本问题是如何在高度动态的通信环境下实现最佳模型性能。这个问题可以通过现代边缘设备通常可以经由多个通信信道(例如,4G、LTE和5G)。然而,使边缘设备沿着多个信道向FL服务器发送本地模型的副本是冗余的、耗时的,并且将浪费资源(例如,带宽、电池寿命和货币成本)。在本文中,在视频流的分层编码技术的启发下,我们提出了一种新的FL框架称为分层梯度压缩(LGC)。具体而言,在LGC中,来自设备的局部梯度被编码成若干层,并且每一层沿着不同的通道被发送到FL服务器。FL服务器聚合从设备接收的局部梯度层以更新全局模型,并将结果发送回设备。我们证明了LGC的收敛性,并正式定义了资源有效的联邦学习问题与LGC。然后,我们提出了一种基于学习的算法,用于每个设备动态调整其本地计算(即,局部随机下降的数目)和通信决策(即,不同层的压缩级别和层到信道的映射)。大量实验结果表明,与已有的FL算法相比,LGC算法在获得相似精度的同时,显著减少了训练时间,提高了资源利用率。
2021-09-18 cs.AI cs.DC cs.LG
Personalized Federated Learning with Communication Compression
Mohammed VI Polytechnic University(穆罕默德六世理工大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Southern Denmark(南丹麦大学)
与在数据中心训练传统的机器学习(ML)模型相比,联邦学习(FL)在资源受限的异构边缘设备上包含的本地数据集上训练ML模型。现有的FL算法旨在为所有参与设备学习单个全局模型,由于设备间数据的异质性,这可能对参与训练的所有设备都没有帮助。最近,Hanzely和Richtárik(2020)提出了一种用于训练个性化FL模型的新公式,旨在平衡传统全局模型和仅使用其私有数据的单个设备可以训练的局部模型之间的权衡。他们推导出一种新的算法,称为无环梯度下降(L2GD),以解决它,并表明,这种算法导致改善通信复杂性保证制度时,需要更多的个性化。在本文中,我们配备他们的L2GD算法与双向压缩机制,以进一步减少本地设备和服务器之间的通信瓶颈。与FL设置中使用的其他基于压缩的算法不同,我们的压缩L2GD算法在概率通信协议上运行,其中通信不会按照固定的时间表发生。此外,我们的压缩L2GD算法保持了类似的收敛速度香草SGD没有压缩。为了从经验上验证我们的算法的效率,我们进行了不同的数值实验,凸和非凸的问题,并使用各种压缩技术。
2022-09-12 cs.AI cs.DC cs.LG
Clustered Federated Learning based on Nonconvex Pairwise Fusion
Renmin University of China(中国人民大学)
针对非独立同分布数据的聚类联邦学习,提出基于非凸成对融合的FPFC方法,利用ADMM实现部分更新与并行计算,降低通信成本,并提供收敛保证,实验验证其优越性。
2023-12-24 cs.DC cs.LG
FedMFS: Federated Multimodal Fusion Learning with Selective Modality Communication
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔电气与计算机工程学院)
针对多模态联邦学习中设备模态多样性与通信限制的挑战,提出FedMFS方法,通过基于Shapley值和模型大小的模态选择标准,在保持准确性的同时大幅降低通信开销。
2024-08-20 cs.DC cs.LG cs.NI
Enhancing Heterogeneous Federated Learning with Knowledge Extraction and Multi-Model Fusion
Iowa State University(爱荷华州立大学);Intel Corporation(英特尔公司)
针对传统联邦学习存在的模型异构性适配差、通信成本高的问题,提出一种结合知识聚合与知识蒸馏的资源感知异构联邦学习方法,在保留模型异构性的同时显著降低通信成本并提升性能。
2023-09-30 cs.CR cs.DC cs.LG
Joint Compression and Deadline Optimization for Wireless Federated Learning
针对无线联邦边缘学习的通信负担与掉队者问题,提出联合压缩与截止时间优化算法JCDO,结合渐近无偏聚合保证收敛,实验显示其速度约为原生FedAVG的30倍,性能优于现有最优方案。
2023-12-13 cs.DC cs.IT math.IT
An Efficient Gradient-Aware Error-Bounded Lossy Compressor for Federated Learning
Stevens Institute of Technology(史蒂文斯理工学院);Argonne National Laboratory(阿贡国家实验室);Hong Kong Polytechnic University(香港理工大学)
针对联邦学习梯度数据平滑性差导致现有误差有界有损压缩器压缩比低的问题,提出利用跨轮次时间相关性和卷积核结构规律性的梯度感知EBLC框架,在APPFL中实现最高1.53倍压缩比提升并将端到端通信时间减少76.1%-96.2%。
2025-11-07 cs.DC cs.LG
Adaptive Compression in Federated Learning via Side Information
Stanford University(斯坦福大学);University of Padova(帕多瓦大学);Imperial College London(伦敦帝国学院)
针对联邦学习的高通信成本瓶颈,提出利用服务器端全局分布边信息的自适应压缩框架,通过KL散度优化通信量,在保持或提升准确率的同时实现高达2650倍的整体压缩。
2024-04-22 cs.DC cs.LG stat.ML
GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
University of British Columbia(不列颠哥伦比亚大学);Purdue University(普渡大学);Tianjin University(天津大学)
联邦学习(FL)是一种有效的技术,可以直接将边缘设备参与机器学习训练,同时保护客户端隐私。然而,FL的大量通信开销使得当边缘设备具有有限的网络带宽时训练具有挑战性。优化FL带宽的现有工作忽略了下游传输,并且没有考虑FL客户端采样。在本文中,我们提出了一个框架,它结合了新的客户端采样和模型压缩算法,以减轻低下载带宽的FL客户端。GALGOFL优先考虑最近使用的客户端,并限制每轮压缩掩码中更改位置的数量。在三种流行的FL数据集和三种最先进的策略中,GSTYLE FL平均将下游客户端带宽减少了27%,平均将训练时间减少了29%。
2022-12-03 cs.DC cs.LG
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置,通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而,当将联邦学习扩展到生产环境时,通信效率仍然是一个主要瓶颈,特别是由于上行链路通信期间的带宽限制。在本文中,我们正式和解决的问题,压缩客户端到服务器的模型更新下的安全聚合原语,联邦学习管道,允许服务器聚合客户端更新,而无需单独访问它们的核心组件。特别是,我们适应标准的标量量化和修剪方法安全聚合,并提出安全索引,安全聚合的一个变种,支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果,在上行链路通信中进行了多达40次$\times$压缩,与未压缩的基线相比,效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出Power-EF算法,通过误差反馈压缩通信,首次在异构联邦学习中无需数据同质性假设即可证明逃离鞍点并达到二阶驻点,且通信开销与一阶收敛几乎同阶。
2023-10-29 cs.DC cs.LG math.OC
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Communication Optimization in Large Scale Federated Learning using Autoencoder Compressed Weight Updates
Intel Corporation(英特尔公司);PES University(PES大学)
联邦学习(FL)解决了近十年来有关数据隐私和计算挑战的许多问题。FL确保没有数据离开其源,因为模型是在数据所在的位置进行训练的。然而,FL也面临着自己的一系列挑战。在这种分布式环境中,模型权重更新的通信伴随着显著的网络带宽成本。在这种情况下,我们提出了一种使用自动编码器(AE)压缩权重更新的机制,该机制学习权重更新的数据特征并随后执行压缩。编码器设置在执行训练的每个节点上,而解码器设置在聚合权重的节点上。这种设置通过编码器实现压缩,并在每个通信回合结束时使用解码器重新创建权重。本文表明,动态和正交AE为基础的重量压缩技术可以作为一个有利的替代(或附加)在一个大规模的FL,因为它不仅实现了压缩比范围从500倍到1720倍及以上,但也可以修改的精度要求,计算能力,和其他要求的FL设置的基础上。
2021-08-12 cs.AI cs.DC cs.LG
E-3SFC: Communication-Efficient Federated Learning with Double-way Features Synthesizing
College of Computer Science, Sichuan University(四川大学计算机学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出E-3SFC算法,通过单步合成特征压缩、双向压缩和通信预算调度,在降低联邦学习通信成本111.6倍的同时提升性能最高达13.4%。
2025-02-05 cs.AI cs.DC cs.LG
Communication-Efficient Federated Learning over MIMO Multiple Access Channels
通信效率对于无线联邦学习系统是非常重要的。在本文中,我们提出了一个多输入多输出(MIMO)多址信道(MAC)上的联邦学习的通信有效的策略。拟议战略包括两个部分。当发送本地计算的梯度时,每个设备使用块稀疏化将高维局部梯度压缩为多个低维梯度向量。当经由MIMO-MAC接收到压缩局部梯度的叠加时,参数服务器(PS)执行联合MIMO检测和稀疏局部梯度恢复。受Turbo解码原理的启发,我们的联合检测和恢复算法通过迭代地交换MIMO检测和稀疏局部梯度恢复输出的信念来准确地恢复高维局部梯度。然后,我们分析了所提出的算法的重建误差及其对联邦学习的收敛速度的影响。从模拟,我们的梯度压缩和联合检测和恢复方法大大降低了通信成本,同时实现了相同的分类精度的情况下,没有任何压缩。
2022-06-12 cs.DC cs.IT math.IT
CFedAvg: Achieving Efficient Communication and Fast Convergence in Non-IID Federated Learning
The Ohio State University(俄亥俄州立大学);Air Force Research Laboratory(空军研究实验室)
联邦学习(Federated learning,FL)是一种流行的分布式学习范式,其中大量的工作者在不共享他们的训练数据的情况下共同学习模型。然而,由于大规模(深度)学习模型和带宽受限的连接,FL中可能会出现高通信成本。在本文中,我们介绍了一个通信效率的算法框架,称为CFedAvg FL与非i.i.d.数据集,它与一般(有偏或无偏)SNR约束的压缩器一起工作。我们分析了CFedAvg的收敛速度与常数和衰减学习率的非凸函数。CFedAvg算法可以实现具有恒定学习速率的$\mathcal{O}(1 / \sqrt{mKT} + 1 / T)$收敛速率,这意味着随着工作器数量的增加,收敛的线性加速,其中$K$是局部步骤的数量,$T$是总通信轮的数量,以及$m$是总工作器数量。这与分布式/联邦学习的收敛速度相匹配,而无需压缩,从而实现了高通信效率,同时不会牺牲FL中的学习精度。此外,我们将CFedAvg扩展到具有异构本地步骤的情况下,这允许不同的工人执行不同数量的本地步骤,以更好地适应自己的情况。一般来说,有趣的观察是压缩器引入的噪声/方差不影响非独立同分布的总体收敛速率阶。我们验证了我们的CFedAvg算法的有效性在三个数据集上的两个梯度压缩方案的不同压缩比。
2021-06-14 cs.DC cs.LG
FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology
University of Miami(迈阿密大学)
本文提出FedMM框架,通过联邦训练多个单模态特征提取器解决计算病理学中多模态数据异构与隐私问题,使资源有限的医院也能完成下游分类任务,并在两个公开数据集上显著优于基线方法。
2024-02-24 cs.CV cs.DC
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
联邦学习允许多方在其组合数据上联合训练深度学习模型,而无需任何参与者将其本地数据透露给集中式服务器。然而,这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题,在分布式训练文献中已经提出了几种压缩方法,可以将所需的通信量减少多达三个数量级。然而,这些现有的方法在联邦学习设置中仅具有有限的效用,因为它们或者仅压缩从客户端到服务器的上游通信(使下游通信未压缩),或者仅在理想化条件(诸如客户端数据的iid分布)下表现良好,这通常不能在联邦学习中找到。在这项工作中,我们提出了稀疏三进制压缩(STC),一个新的压缩框架,专门设计,以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明,STC在常见的联邦学习场景中明显优于联合平均,其中客户端a)持有非iid数据,b)在训练期间使用小批量,或者c)客户端数量很大,每个通信回合的参与率很低。我们还表明,即使客户端持有iid数据并使用中等规模的批次进行训练,STC仍然表现出Pareto优于Federated Averaging,因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
Exploiting Correlations in Federated Learning: Opportunities and Practical Limitations
Department of Electrical Engineering (ISY), Linköping University(_linköping大学电气工程系);CentraleSupélec, CNRS, L2S, Université Paris-Saclay(_centralesupelec, CNRS, L2S, 巴黎萨克雷大学);Division of Decision and Control Systems, School of EECS, KTH Royal Institute of Technology(_决策与控制系统系,皇家理工学院)
本文系统分类了梯度和模型压缩方案,探讨了任务复杂度、模型架构对相关性的影响,并提出自适应压缩方法以提升联邦学习效率。
2026-04-16 cs.DC cs.IT cs.LG
Communication-Efficient Federated Learning via Predictive Coding
NC State University(北卡罗来纳州立大学)
联邦学习可以使远程工作人员能够协作地训练共享的机器学习模型,同时允许将训练数据保持在本地。在无线移动设备的使用情况下,由于有限的功率和带宽,通信开销是关键瓶颈。先前的工作已经利用了各种数据压缩工具,例如量化和稀疏化,以减少开销。在本文中,我们提出了一个基于预测编码的压缩方案的联邦学习。该方案在所有设备之间共享预测功能,并允许每个工作者传输从参考导出的压缩残差向量。在每一轮通信中,我们根据率失真代价选择预测器和量化器,并通过熵编码进一步减少冗余。大量的仿真表明,与其他基线方法相比,通信成本可以降低高达99%,甚至更好的学习性能。
2022-01-09 cs.AI cs.DC cs.LG
The Robustness of Spiking Neural Networks in Federated Learning with Compression Against Non-omniscient Byzantine Attacks
College of Computing and Software Engineering, Kennesaw State University(肯尼索州立大学计算与软件工程学院)
本文研究 FL-SNN 的带宽与拜占庭安全问题,发现结合 Top-\k{appa} 稀疏化可降低通信开销并增强对非全知攻击的鲁棒性,MinMax 攻击下准确率提升约40%。
2025-01-06 cs.CR cs.DC cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
FedNL: Making Newton-Type Methods Applicable to Federated Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
受Islamov等人(2021)最近工作的启发,我们提出了一系列联邦牛顿学习(FedNL)方法,我们认为这是在使二阶方法适用于FL的方向上迈出的重要一步。与上述工作相反,FedNL采用了不同的Hessian学习技术,i)增强了隐私性,因为它不依赖于向协调服务器透露的训练数据,ii)使其适用于广义线性模型之外,以及iii)可证明地与用于压缩局部Hessian的一般压缩压缩算子一起工作,例如Top- $K$或Rank- $R$,它们在实践中非常优越。值得注意的是,我们不需要依赖于误差反馈,我们的方法与压缩压缩器一起工作。此外,我们开发了FedNL-PP,FedNL-CR和FedNL-LS,它们是FedNL的变体,分别支持部分参与和通过三次正则化和线搜索的全球化,以及FedNL-BC,这是一个可以进一步受益于梯度和模型的双向压缩的变体,即,智能上行链路梯度和智能下行链路模型压缩。我们证明了局部收敛速度是独立的条件数,训练数据点的数量,和压缩方差。我们的通信有效的Hessian学习技术可证明在最佳状态下学习Hessian。最后,我们进行了各种数值实验,表明我们的FedNL方法具有最先进的通信复杂性相比,关键基线。
2022-05-22 cs.DC cs.LG math.OC
Communication-Efficient Federated Learning with Compensated Overlap-FedAvg
Sichuan University(四川大学)
新兴的物联网(IoT)每天都会产生数PB的数据,但由于担心数据和隐私泄露,只有很少的数据可以最终收集并用于机器学习(ML)目的,这严重阻碍了ML的发展。为了缓解这个问题,联邦学习被提出来通过多个客户端的组合数据来执行模型训练,而无需在集群内共享数据集。然而,联邦学习引入了大量的通信开销,因为每个时期的同步数据与模型的大小相同,从而导致通信效率低。因此,提出了各种方法,主要集中在减少通信轮数和数据压缩,以减少联邦学习的通信开销。在本文中,我们提出了重叠FedAvg,一个框架,模型训练阶段与模型上传和下载阶段并行,使后者可以完全覆盖前一阶段。与传统的FedAvg相比,Overlap-FedAvg在层次计算策略、数据补偿机制和nesterov加速梯度算法(NAG)等方面得到了进一步的改进。此外,Overlap-FedAvg与许多其他压缩方法正交,因此它们可以一起应用,以最大限度地提高集群的利用率。此外,理论分析证明了所提出的重叠FedAvg框架的收敛性。在多个模型和数据集的常规和经常性任务上进行的大量实验也表明,所提出的Overlap-FedAvg框架大大提高了联邦学习过程。
2021-06-16 cs.DC cs.LG
Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation
Eindhoven University of Technology(埃因霍温理工大学)
本文提出 FedCompress 方法,结合动态权重聚类与服务器端知识蒸馏,在降低联邦学习通信成本的同时学习高泛化模型,并在多个公开数据集上验证了其在通信成本和推理速度上的优势。
2024-02-25 cs.DC cs.LG
Feature-context driven Federated Meta-Learning for Rare Disease Prediction
Oulu University(奥卢大学);University of Florida(佛罗里达大学)
世界各地有数百万患者患有罕见疾病。然而,罕见病的样本比常见病的样本要小得多。此外,由于医疗数据的敏感性,医院通常不愿意出于隐私考虑共享患者信息以进行数据融合。这些挑战使得传统AI模型难以提取罕见疾病特征用于疾病预测。在本文中,我们通过提出一种基于联邦元学习的罕见疾病预测新方法来克服这一限制。为了提高罕见病预测的准确性,本文设计了一种基于注意力的元学习(ATML)方法,该方法根据基本学习者的训练效果,动态调整对不同任务的注意力。此外,为了进一步提高联邦学习的准确性,提出了一种基于动态权重的融合策略,根据每个局部模型的准确性动态选择客户端。实验结果表明,在只有5个镜头的情况下,我们的方法在准确性和速度上优于原始的联邦元学习算法。与各医院的局部模型相比,该模型的平均预测精度提高了13.28%。
2021-12-29 cs.DC cs.LG
FedFetch: Faster Federated Learning with Adaptive Downstream Prefetching
Department of Computer Science, University of British Columbia(不列颠哥伦比亚大学计算机科学系);Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程系)
针对联邦学习因客户端采样与压缩结合导致的下行通信瓶颈,提出FedFetch自适应预取策略,可减少端到端训练时间1.26倍、下载时间4.49倍。
2025-04-21 cs.DC cs.LG
Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);School of Engineering, Westlake University(西湖大学工程学院);School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院)
本文针对异构联邦学习中CNN与SNN模型并存带来的聚合难题,系统比较了多种联邦聚合方法,并提出CNN-SNN融合框架,在MNIST数据集上取得最佳性能,同时揭示了多模型联邦学习收敛过程中的竞争抑制现象。
2024-06-14 cs.DC cs.LG
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本,依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下,性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数,但没有结合梯度压缩和加速两者的优点的方法。在本文中,我们纠正这种情况,并提出了第一加速压缩梯度下降(ACGD)方法。在单机状态下,我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题,分别,其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$,分别,并恢复加速梯度下降的最佳速率作为一种特殊情况下,没有压缩($ω=0$)时,应用。我们进一步提出了ACGD的分布式变体(称为ADANA),并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$,其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
UMEDA: Unified Multi-modal Efficient Data Fusion for Privacy-Preserving Graph Federated Learning via Spectral-Gated Attention and Diffusion-Based Operator Alignment
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,Location,Country);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,Location,Country)
UMEDA通过谱门控注意力和扩散算子对齐,实现多模态数据在隐私保护下的高效联邦学习,提升准确性和通信效率。
2026-05-08 cs.AI cs.CR cs.DC
Gradient Obfuscation Gives a False Sense of Security in Federated Learning
North Carolina State University(北卡罗来纳州立大学);Zhejiang University(浙江大学)
联邦学习已经被提出作为一种隐私保护的机器学习框架,它使多个客户端能够在不共享原始数据的情况下进行协作。然而,客户端隐私保护在此框架中的设计并不保证。先前的工作表明,联邦学习中的梯度共享策略可能容易受到数据重建攻击。然而,在实践中,考虑到高通信成本或由于隐私增强要求,客户端可能不发送原始梯度。经验研究表明,梯度混淆,包括通过梯度噪声注入的有意混淆和通过梯度压缩的无意混淆,可以提供更多的隐私保护以对抗重建攻击。在这项工作中,我们提出了一个新的数据重建攻击框架,针对图像分类任务的联邦学习。我们发现,通常采用的梯度后处理程序,如梯度量化,梯度稀疏化,梯度扰动,可能会给联邦学习一个虚假的安全感。与以前的研究相反,我们认为,隐私增强不应该被视为梯度压缩的副产品。此外,我们设计了一种新的方法,在所提出的框架下,在语义级重建图像。我们量化的语义隐私泄漏,并与传统的基于图像相似性得分。我们的比较挑战文献中的图像数据泄漏评估方案。结果强调了在现有的联邦学习算法中重新访问和重新设计客户端数据隐私保护机制的重要性。
2022-10-14 cs.AI cs.CR cs.DC
Compressed Federated Reinforcement Learning with a Generative Model
Stockholm University(斯德哥尔摩大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
针对联邦强化学习聚合步骤通信成本高的问题,提出CompFedRL方法,结合周期性聚合与压缩机制,在生成模型设置下通过有限时间分析证明其强收敛性并降低通信开销。
2024-10-14 cs.DC cs.LG cs.MA
Communication-efficient Federated Learning with Single-Step Synthetic Features Compressor for Faster Convergence
Sichuan University(四川大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
降低联邦学习(FL)中的通信开销是一项挑战,但对于大规模分布式隐私保护机器学习至关重要。虽然利用稀疏化或其他方法可以大大降低通信开销,但收敛速度也大大降低。在本文中,我们提出了一种新的方法,命名为单步的【形】合成特征压缩器(3SFC),实现通信效率的FL直接构建一个微小的合成数据集的基础上的原始梯度。因此,当构造的数据集仅包含一个数据样本时,3SFC可以实现极低的压缩率。此外,3SFC的压缩阶段采用了基于相似性的目标函数,因此只需一步就可以优化,从而大大提高了其性能和鲁棒性。此外,为了最大限度地减少压缩误差,误差反馈(EF)也被纳入3SFC。在多个数据集和模型上的实验表明,与压缩率较低(高达0.02%)的竞争方法相比,3SFC具有更好的收敛速度。此外,消融研究和可视化显示,3SFC可以携带更多的信息比竞争的方法,为每一轮的沟通,进一步验证其有效性。
2023-03-19 cs.AI cs.DC cs.LG