FedGCN: Convergence-Communication Tradeoffs in Federated Training of Graph Convolutional Networks
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
提出 FedGCN 联邦图卷积网络算法,仅在预训练阶段与中央服务器通信,兼顾快速收敛、低通信开销与隐私保护,并在半监督节点分类中取得更优准确率。
2023-12-18 cs.DC cs.LG
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning
New York University(纽约大学);University of Southern California(南加州大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
大规模机器学习系统通常涉及分布在用户集合中的数据。联邦学习算法通过将模型更新传递到中央服务器而不是整个数据集来利用这种结构。在本文中,我们研究了随机最优化算法的个性化联邦学习设置,涉及本地和全球模型的用户级(联合)差分隐私。虽然学习私有全局模型会导致隐私成本,但局部学习是完全私有的。我们提供的泛化保证表明,协调本地学习与私人集中式学习产生了普遍有用的和改进的准确性和隐私之间的权衡。我们用合成和真实世界数据集上的实验来说明我们的理论结果。
2022-07-15 cs.CR cs.LG math.OC
Improving Communication Efficiency of Federated Distillation via Accumulating Local Updates
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);Beijing Jiaotong University(北京交通大学)
针对联邦蒸馏的通信开销问题,本文提出 ALU 方法,通过累积多轮本地更新后再向中央服务器传输知识,降低通信频率并显著提升通信效率。
2023-12-07 cs.DC cs.LG
The Tradeoff Between Privacy and Accuracy in Anomaly Detection Using Federated XGBoost
City University of Hong Kong(香港城市大学);University of Miami(迈阿密大学);Sun Yat-sen University(中山大学);Dalian University of Technology(大连理工大学)
近年来,隐私问题引起了人们的广泛关注,特别是随着信息爆炸和众多数据采掘技术的出现,人们开始探索大量数据中的信息。在这种背景下,一种新的分布式学习范式联邦学习成为最近突出的分布式学习中的隐私问题,其中只有学习模型将被传输到服务器从分布式节点不泄露用户自己的数据,从而保护用户的隐私。本文提出了一种水平联邦XGBoost算法来解决联邦异常检测问题,其中异常检测的目的是从极端不平衡的数据集中识别异常,可以被认为是一个特殊的分类问题。我们提出的联邦XGBoost算法结合了数据聚合和稀疏联邦更新过程,以平衡隐私和学习性能之间的权衡。特别是,我们引入了虚拟数据样本聚合一组用户的数据在一个单一的分布式节点在一起。我们在本地节点中基于这些虚拟数据样本计算参数,并在中央服务器中聚合学习模型。在学习模型的升级过程中,我们更多地关注虚拟样本中之前错误分类的数据,从而生成稀疏的学习模型参数。通过仔细控制这些样本组的大小,我们可以在隐私和学习性能之间取得平衡。我们的实验结果表明,我们所提出的方案的有效性,通过与现有的国家的艺术。
2019-10-14 cs.CR cs.LG stat.ML
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech(弗吉尼亚理工大学)
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决,即模型压缩、部分设备参与和周期性聚合,代价是增加训练方差。与传统的分布式学习系统不同,联邦学习存在数据异构性(因为设备从可能不同的分布中采样数据),这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响,而它们通常需要额外的通信资源来提供必要的控制信息。此外,数据隐私仍然是FL中的一个关键问题,因此已经有人尝试将差分隐私引入该框架,作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡,以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Accurate and Fast Federated Learning via IID and Communication-Aware Grouping
Korea Advanced Institute of Science and Technology(韩国科学技术院)
联邦学习已经成为协作机器学习的一种新范式;然而,它也面临着一些挑战,例如非独立同分布(IID)数据和高通信成本。为此,我们提出了一种新的框架,IID和通信感知组联邦学习,同时最大限度地提高准确性和通信速度分组节点的基础上的数据分布和物理位置的节点。此外,我们提供了一个正式的收敛性分析和一个有效的优化算法称为FedAvg-IC。实验结果表明,与现有算法相比,FedAvg-IC测试精度提高了22.2%,同时通信时间缩短了12%。
2020-12-09 cs.DC cs.LG
RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data
University of Chinese Academy of Sciences(中国科学院大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
联邦学习是一种广泛使用的分布式深度学习框架,它通过交换模型参数而不是原始数据来保护每个客户端的隐私。然而,联邦学习存在通信成本高的问题,因为在训练过程中需要多次传输相当数量的模型参数,使得该方法效率低下,特别是在通信网络带宽有限的情况下。本文提出了RingFed,一种新的框架,以减少联邦学习的训练过程中的通信开销。与原始联邦学习中在中心服务器和每个客户端之间传输参数不同,在所提出的RingFed中,更新后的参数在每个客户端之间依次传输,并且仅将最终结果传输到中心服务器,从而大大减少了通信开销。在几次本地更新之后,客户端首先将其参数发送到另一个邻近的客户端,而不是直接发送到中心服务器,以进行预聚合。在两个不同的公开数据集上的实验表明,RingFed算法具有收敛速度快、模型精度高、通信代价低的特点。
2021-07-19 cs.DC cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.(谷歌公司)
联邦学习(FL)是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止,大多数FL算法在多轮中学习“全局”服务器模型。在每一轮,相同的服务器模型被广播到所有参与的客户端,在本地更新,然后跨客户端聚合。在这项工作中,我们提出了一个更一般的程序,客户端“选择”什么值发送给他们。值得注意的是,这允许客户端在更小的数据依赖切片上操作。为了实现这一点,我们概述了一个原始的,联邦选择,使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练,并表明它可以大幅减少通信和客户端内存使用,从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任,这反过来又影响可能的系统约束和设计的影响。最后,我们讨论了开放的问题,模型架构,隐私保护技术,和实际FL系统。
2022-08-19 cs.DC cs.LG
ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
提出ParaBlock方法,通过并行化通信与计算线程,在联邦学习大语言模型时提升通信效率,并理论证明其收敛率与标准方法相同,实验验证其性能与效率优势。
2026-06-02 cs.DC cs.LG
Toward the Tradeoffs between Privacy, Fairness and Utility in Federated Learning
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science and Technology(华中科技大学)
本文研究联邦学习中隐私、公平性与效用的相互影响,提出隐私保护的公平联邦学习方法,并实验证明三者之间存在权衡关系。
2023-11-30 cs.AI cs.LG
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降(SGD)是分散式联邦学习(DFL)的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中,我们提出了一个通用的DFL框架,它实现了多个本地更新和多个节点间的通信周期,以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证,而无需假设凸目标。DFL的收敛速度可以被优化,以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率,将压缩通信作为一种新的方案引入到DFL中,命名为DFL with compressed communication(C-DFL)。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明,DFL优于传统的分散SGD方法,并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models
University of Maryland, College Park(马里兰大学彭福分校);Queen Mary University of London(伦敦玛丽女王大学);Google DeepMind(谷歌DeepMind)
本文从理论和实验上证明,对于大型基础模型,单轮聚合的一次性联邦微调即可达到与多轮联邦微调相当的性能,显著降低通信成本并增强隐私性。
2025-11-06 cs.DC cs.LG
Embedded Federated Feature Selection with Dynamic Sparse Training: Balancing Accuracy-Cost Tradeoffs
University of Kentucky(肯塔基大学)
本文提出动态稀疏联邦特征选择(DSFFS),首次将特征选择嵌入联邦学习训练过程,通过动态剪枝与再生长消除无用特征,在九个真实数据集上验证其能更好平衡精度与通信、计算成本。
2025-04-07 cs.LG
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning
The University of Hong Kong(香港大学)
联邦学习(FL)能够管理边缘设备以协作地训练模型,同时保持训练数据本地和私有。FL中的一个常见假设是,所有边缘设备在训练中共享相同的机器学习模型,例如,相同的神经网络架构。然而,不同设备的计算和存储能力可能不同。此外,减少通信开销可以提高训练效率,但它仍然是一个具有挑战性的问题,在FL。在本文中,我们提出了一种新的FL方法,称为FedHe,灵感来自知识蒸馏,它可以训练异构模型,并支持异步训练过程,显着减少通信开销。我们的分析和实验结果表明,我们提出的方法的性能优于国家的最先进的算法在通信开销和模型的准确性。
2021-10-19 cs.DC cs.LG
Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习(FL)是一种很有前途且功能强大的方法,用于在不共享客户端原始数据的情况下训练深度学习模型。在FL的训练过程中,中心服务器和分布式客户端需要定期交换大量的模型信息。为了应对通信密集型训练的挑战,我们提出了一种新的训练方法,称为双侧低秩压缩(FedDLR)的联邦学习,其中深度学习模型在服务器和客户端都通过低秩近似进行压缩。建议FedDLR不仅减少了在训练阶段的通信开销,但也直接生成一个紧凑的模型,以加快推理过程。我们将提供收敛性分析,调查的关键参数的影响,并实证表明,FedDLR优于国家的最先进的解决方案在通信和计算效率方面。
2021-04-26 cs.DC cs.LG
Communication-Efficient Federated Learning with Compensated Overlap-FedAvg
Sichuan University(四川大学)
新兴的物联网(IoT)每天都会产生数PB的数据,但由于担心数据和隐私泄露,只有很少的数据可以最终收集并用于机器学习(ML)目的,这严重阻碍了ML的发展。为了缓解这个问题,联邦学习被提出来通过多个客户端的组合数据来执行模型训练,而无需在集群内共享数据集。然而,联邦学习引入了大量的通信开销,因为每个时期的同步数据与模型的大小相同,从而导致通信效率低。因此,提出了各种方法,主要集中在减少通信轮数和数据压缩,以减少联邦学习的通信开销。在本文中,我们提出了重叠FedAvg,一个框架,模型训练阶段与模型上传和下载阶段并行,使后者可以完全覆盖前一阶段。与传统的FedAvg相比,Overlap-FedAvg在层次计算策略、数据补偿机制和nesterov加速梯度算法(NAG)等方面得到了进一步的改进。此外,Overlap-FedAvg与许多其他压缩方法正交,因此它们可以一起应用,以最大限度地提高集群的利用率。此外,理论分析证明了所提出的重叠FedAvg框架的收敛性。在多个模型和数据集的常规和经常性任务上进行的大量实验也表明,所提出的Overlap-FedAvg框架大大提高了联邦学习过程。
2021-06-16 cs.DC cs.LG
A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret
Cornell University(康奈尔大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对中央服务器连接 M 个客户端的分布式在线随机优化问题,本文提出一种通信高效的自适应联邦学习算法,以总传输比特数为统一成本,实现阶最优累积遗憾。
2023-06-05 cs.DC cs.LG
MUC-FL: Block-Wise Marginal Utility Contribution for Communication-Efficient Federated Learning
Arizona State University(亚利桑那州立大学)
提出分块边际效用贡献框架,通过选择性传输高贡献数据块,在MIMIC多模态数据集上实现45-50%通信削减并提升宏F1分数至0.8566。
2026-09-11 cs.DC cs.LG
Wirelessly Powered Federated Edge Learning: Optimal Tradeoffs Between Convergence and Power Transfer
The University of Hong Kong(香港大学)
联邦边缘学习(FEEL)是一种广泛采用的框架,用于在边缘设备上分布式训练人工智能(AI)模型,以利用其数据,同时保护其数据隐私。在能量受限的设备上执行耗电的学习任务是FEEL实施面临的一个关键挑战。为了应对这一挑战,我们提出了使用无线功率传输(WPT)为设备供电的解决方案。为了获得部署所得到的无线供电FEEL(WP-FEEL)系统的指导方针,这项工作的目的是在两种情况下导出模型收敛和电源设置之间的权衡:1)如果部署了功率信标(专用充电站),则功率信标(专用充电站)的传输功率和密度,或者2)服务器(接入点)的传输功率。所提出的分析框架的发展涉及分布式随机梯度估计的WPT设置的准确性,在通信和WPT链路的随机性,和设备的计算能力。此外,设备处的本地计算(即,最小批量大小和处理器时钟频率)被优化以有效地使用所收集的能量用于梯度估计。由此产生的学习WPT的权衡揭示了简单的缩放定律的模型收敛速率相对于传输的能量以及设备的计算能量效率。结果提供了有用的指导WPT供应提供一个学习性能的评价。它们被使用真实数据集的实验结果所证实。
2021-02-24 cs.IT cs.LG cs.NI
Federated Communication-Efficient Multi-Objective Optimization
Carnegie Mellon University(卡内基梅隆大学)
本文提出通信高效联邦多目标优化算法FedCMOO,通过单梯度聚合降低通信成本,提供收敛性分析,并支持目标偏好设置,实验验证其优越性。
2025-04-19 cs.DC cs.LG
On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks
Virginia Tech(弗吉尼亚理工大学);Ericsson Research(爱立信研究院);Technology Innovation Institute(技术创新研究院);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
在无线网络上使用资源受限的设备部署联邦学习(FL)需要在准确性、能效和精度之间取得平衡。FL上的现有技术通常需要设备使用32位精度水平的数据表示来训练深度神经网络(DNN)以提高准确度。然而,这样的算法对于资源受限的设备是不切实际的,因为DNN可能需要执行数百万个操作。因此,具有高精度水平的训练DNN会导致FL的高能量成本。在本文中,提出了一种量化FL框架,该框架表示在本地训练和上行链路传输中具有有限精度水平的数据。这里,通过使用量化的神经网络(QNN)来捕获有限的精度水平,该量化的神经网络以固定精度格式对权重和激活进行量化。在所考虑的FL模型中,每个设备训练其QNN并将量化的训练结果发送到基站。能量模型的本地培训和传输的量化严格推导。一个能量最小化的问题制定的精度水平,同时确保收敛。为了解决这个问题,我们首先解析推导FL收敛速度,并使用线搜索方法。仿真结果表明,我们的FL框架可以减少高达53%的能源消耗相比,一个标准的FL模型。研究结果还揭示了在无线网络上FL的精度,能量和准确性之间的权衡。
2023-02-03 cs.LG cs.NI
OPUS-VFL: Incentivizing Optimal Privacy-Utility Tradeoffs in Vertical Federated Learning
Virginia Polytechnic Institute and State University, USA(弗吉尼亚理工大学)
OPUS-VFL通过引入隐私感知激励机制和轻量级LOO策略,解决垂直联邦学习中隐私效用权衡问题,提升模型性能和鲁棒性。
2026-03-18 cs.AI cs.LG
Exploring the Privacy-Energy Consumption Tradeoff for Split Federated Learning
本文系统分析分割联邦学习中切分层选择对客户端能耗与隐私的影响,并通过示例展示在能量预算约束下降低原始数据重建风险的权衡策略。
2024-05-03 cs.AI cs.CR cs.LG
Detailed comparison of communication efficiency of split learning and federated learning
Massachusetts Institute of Technology(麻省理工学院)
我们比较了两个引人注目的分布式机器学习方法的分裂学习和联邦学习的通信效率。我们展示了有用的设置下,每种方法优于其他方面的通信效率。我们考虑分布式学习设置的各种实际场景,并将这两种方法在各种现实生活中的场景下并列。我们考虑了小客户端和大客户端数量以及小模型(1 M-6 M参数),大模型(10 M-200 M参数)和超大模型(10亿-1000亿参数)的设置。我们发现,增加客户端的数量或增加模型的大小有利于分裂学习设置联邦,而增加数据样本的数量,同时保持客户端的数量或模型的大小低,使联邦学习更有效的沟通。
2019-09-18 cs.DC cs.LG stat.ML
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置,通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而,当将联邦学习扩展到生产环境时,通信效率仍然是一个主要瓶颈,特别是由于上行链路通信期间的带宽限制。在本文中,我们正式和解决的问题,压缩客户端到服务器的模型更新下的安全聚合原语,联邦学习管道,允许服务器聚合客户端更新,而无需单独访问它们的核心组件。特别是,我们适应标准的标量量化和修剪方法安全聚合,并提出安全索引,安全聚合的一个变种,支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果,在上行链路通信中进行了多达40次$\times$压缩,与未压缩的基线相比,效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
On the Tradeoffs of On-Device Generative Models in Federated Predictive Maintenance Systems
Consiglio Nazionale delle Ricerche, IEIIT institute(意大利国家研究委员会IEIIT研究所);Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano(米兰理工学院电子、信息与生物工程系);Department of Energy, Politecnico di Milano(米兰理工学院能源学院);Mines Paris - PSL, CRC, Sophia Antipolis, France(法国巴黎 Mines - PSL CRC,索菲亚安蒂波利斯)
本文分析了VAE、GAN和DM在联邦预测性维护中的性能和通信开销,提出了一种联邦生成模型的分类方法,揭示了在异构和带宽受限环境下模型效用、稳定性及可扩展性的权衡。
2026-10-28 cs.AI cs.LG
A Meta-learning Framework for Tuning Parameters of Protection Mechanisms in Trustworthy Federated Learning
Huazhong University of Science and Technology(华中科技大学);Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
本文提出一种元学习框架,将可信联邦学习建模为隐私泄露、效用损失与效率降低的权衡优化问题,并估计多种保护机制的最优参数。
2024-02-28 cs.AI cs.LG
Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning
ETH Zürich(苏黎世联邦理工学院);National University of Singapore(新加坡国立大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种表示联邦学习目标及新算法DPFEDREP,在差分隐私保证下协作细化模型共识部分并允许本地个性化,证明了线性收敛率并将隐私-效用权衡改进了$\sqrt{d}$倍。
2023-09-11 cs.LG stat.ML
Federated Multiple Label Hashing (FedMLH): Communication Efficient Federated Learning on Extreme Classification Tasks
Rice University(莱斯大学)
联邦学习使许多本地设备能够联合训练深度学习模型,而无需共享本地数据。目前,大多数联邦训练方案通过平均局部模型的参数来学习全局模型。然而,这些训练方案中的大多数遭受高的通信成本导致的传输全部本地模型参数。此外,由于不同设备上的类不平衡的非iid数据,直接平均模型参数会导致显著的性能下降。特别是对于涉及极端分类的现实生活中的联邦学习任务,(1)通信成为主要瓶颈,因为模型大小与输出类的数量成比例地增加;(2)极端分类(例如用户推荐)通常具有极不平衡的类和不同设备上的异构数据。为了克服这个问题,我们提出了联邦多标签哈希(FedMLH),它利用标签散列来同时减小模型大小(最多减少3.40倍),包括通信费用(最多减少18.75倍),并实现了更高的准确性(相对精度提高高达35.5%)和更快的收敛速度(最多增加5.5倍),与联邦平均算法相比,在联邦极端分类任务上免费使用。
2021-10-23 cs.LG
Communication-Efficient ADMM-based Federated Learning
ITP Lab, Department of EEE(ITP实验室,电子与电机工程系);Imperial College London(帝国理工学院)
联邦学习在过去几年中已经显示出了它的进步,但也面临着许多挑战,例如算法如何节省通信资源,如何降低计算成本,以及它们是否收敛。为了解决这些问题,本文提出了精确和不精确的基于ADMM的联邦学习。它们不仅通信效率高,而且在非常温和的条件下线性收敛,例如无凸性和与数据分布无关。此外,不精确版本具有低计算复杂性,从而显著减轻了计算负担。
2022-01-29 cs.LG
FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission
Beijing University of Posts and Telecommunications (BUPT)(北京邮电大学(BUPT))
针对跨筒仓联邦大模型通信瓶颈,提出融合RDMA并采用分块传输与多项优化的FedRDMA系统,真实场景下较TCP/IP方案最高提速3.8倍。
2024-03-01 cs.DC cs.LG cs.NI
Federated Learning with Communication Delay in Edge Networks
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
联邦学习作为通过边缘网络分布机器学习(ML)模型训练的潜在解决方案已经受到了极大的关注。这项工作解决了联邦学习在网络边缘的一个重要考虑因素:边缘节点和聚合器之间的通信延迟。开发了一种称为FedDelAvg(联合延迟平均)的技术,该技术概括了标准的联合平均算法,以在同步步骤期间在每个设备处接收到的当前本地模型和延迟的全局模型之间加入权重。通过理论分析,得到了FedDelAvg全局模型损失的上界,揭示了学习性能对权值和学习率的强烈依赖性.在一个流行的ML任务上的实验结果表明,在优化加权方案以考虑延迟时,收敛速度有了显着提高。
2020-08-21 cs.DC cs.LG stat.ML
Communication Efficiency Optimization of Federated Learning for Computing and Network Convergence of 6G Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Research Institute of China Telecom Co., Ltd.(中国电信股份有限公司研究院)
本文研究6G网络计算与网络融合场景下联邦学习通信效率优化问题,提出根据网络状况和设备算力对训练过程进行决策的方法,实验表明该方法能应对复杂网络、平衡训练时延、提升参数传输效率与资源利用率。
2023-11-28 cs.DC cs.LG cs.NI
FedLog: Personalized Federated Classification with Less Communication and More Flexibility
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
针对联邦表示学习共享模型参数导致通信开销巨大的问题,提出FedLog方法,通过共享编码最小充分统计量的数据摘要和贝叶斯推断进行全局聚合,并扩展差分隐私框架,实现了高精度与低通信开销。
2024-10-12 cs.DC cs.LG stat.ML
Dynamic Sampling and Selective Masking for Communication-Efficient Federated Learning
Aalto University(阿尔托大学);Columbia University(哥伦比亚大学);Nokia Bell Labs(诺基亚贝尔实验室);The University of Queensland(昆士兰大学)
联邦学习(FL)是一种新型的机器学习设置,通过分散式训练和联邦优化实现设备上的智能。深度神经网络的快速发展促进了对复杂问题建模的学习技术,并在联邦环境下出现了联邦深度学习。然而,大量的模型参数给通信网络带来了高传输负载的负担。本文介绍了两种提高通信效率的方法,即动态采样和顶部$k$选择性掩蔽.前者动态地控制所选客户机模型的比例,而后者选择具有最大差异值的前$k$参数进行联合更新。在三个公共数据集上进行了卷积图像分类和递归语言建模的实验,以证明我们提出的方法的有效性。
2021-09-20 cs.LG
SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
为了在诸如无线网络的带宽需求环境中实现大规模机器学习,最近在借助于通信压缩来设计通信高效的联邦学习算法方面取得了重大进展。另一方面,隐私保护,特别是在客户端级别,是另一个重要的迫切需要,尚未同时解决的先进的通信压缩技术的存在。在本文中,我们提出了一个统一的框架,提高了私人联邦学习的通信效率与通信压缩。利用一般的压缩算子和局部差分隐私,我们首先检查一个简单的算法,直接适用于压缩差分私人随机梯度下降,并确定其局限性。然后,我们提出了一个统一的框架SoteriaFL私人联邦学习,它容纳了一般家庭的局部梯度估计,包括流行的随机方差降低梯度方法和国家的最先进的移位压缩方案。我们提供了一个全面的特性,其性能权衡的隐私,实用程序和通信的复杂性,SoteraFL被证明可以实现更好的通信复杂性,而不牺牲隐私,也不实用比其他私人联邦学习算法没有通信压缩。
2022-10-12 cs.DC cs.DS cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University(杜克大学);Alibaba DAMO Academy(阿里巴巴达摩院)
联邦学习是一种流行的分布式机器学习范例,具有增强的隐私性。它的主要目标是学习一个全球模型,为尽可能多的参与者提供良好的性能。该技术正在快速发展,面临许多尚未解决的挑战,其中包括统计异质性(即,非IID)和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中,我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架,通过利用彩票假设。在LotteryFL中,每个客户端学习彩票网络(即,基本模型的子网络),并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同,每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸,通信成本可以显著降低。为了支持我们框架的训练和评估,我们考虑特征分布偏差、标签分布偏差和数量偏差,基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明,LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems
University of Maryland(马里兰大学);University of Pittsburgh(匹兹堡大学)
本文针对联邦双层优化提出通信高效算法FedBiOAcc,利用分布式超梯度估计和动量方差缩减,实现O(ε^{-1})通信复杂度与线性加速,并在联邦数据清洗和超表示学习任务中验证了其优越性。
2024-02-27 cs.DC cs.LG math.OC
Bayesian Federated Model Compression for Communication and Computation Efficiency
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对联邦学习的通信与计算效率问题,提出融合分层稀疏先验与去中心化Turbo框架的D-Turbo-VBI算法,可双向降低通信开销与本地推理复杂度,且已证明收敛性,实验效果优于基线。
2024-04-11 cs.AI cs.DC cs.LG
Communication-Efficient Federated Optimization over Semi-Decentralized Networks
Carnegie Mellon University(卡内基梅隆大学)
本文针对大规模联邦与分散式学习中的通信瓶颈,提出半分散通信协议下的PISCO算法,结合梯度跟踪与多次本地更新,实现通信高效并保持线性加速,数值验证其鲁棒性。
2025-02-23 cs.DC cs.LG math.OC
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此,由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST,一个无偏的算法,动态学习的可用性相关的客户端选择策略,渐近最小化的影响,客户端采样方差的全局模型收敛,提高性能的联邦学习。所提出的算法进行了测试,在各种设置下的间歇性可用的客户端通信的限制,和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上,我们的准确率分别比FedAvg提高了186%和8%,比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving
The University of Hong Kong(香港大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Damo Institute, Alibaba(阿里巴巴达摩院);the University of New South Wales(新南威尔士大学)
针对端到端自动驾驶中通信资源受限的分层联邦学习问题,提出CRCHFL框架,利用混合数据与模型聚合最小化泛化误差,并在CARLA中验证其更快收敛与更优性能。
2023-06-28 cs.DC cs.LG cs.RO
Ternary Compression for Communication-Efficient Federated Learning
East China University of Science and Technology(华东理工大学);Tongji University(同济大学);University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学)
对存储在不同位置的海量数据进行学习在许多现实世界的应用中是必不可少的。然而,随着智能移动设备和物联网设备的使用越来越多,对隐私和安全性的要求越来越高,共享数据充满了挑战。联邦学习通过联合训练全局模型而无需将分布在多个设备上的数据上传到中央服务器,为隐私保护和安全机器学习提供了一种潜在的解决方案。然而,现有的联邦学习大多采用全精度权值的机器学习模型,这些模型中几乎都包含大量不需要传输到服务器的冗余参数,消耗了过多的通信开销。为了解决这个问题,我们提出了一个联邦训练的三进制量化(FTTQ)算法,通过自学习的量化因子优化客户端上的量化网络。给出了量化因子的收敛性、FTTQ的无偏性以及减小的权发散的理论证明。在FTTQ的基础上,提出了一种三元联邦平均协议(T-FedAvg),以减少联邦学习系统的上下游通信。在公开数据集上进行了实证实验,以训练广泛使用的深度学习模型,我们的结果表明,与规范的联邦学习算法相比,所提出的T-FedAvg在降低通信成本方面是有效的,甚至可以在非IID数据上实现更好的性能。
2022-03-29 cs.DC cs.LG stat.ML
Toward Communication Efficient Adaptive Gradient Method
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
近年来,分布式优化被证明是加速诸如深度神经网络之类的大规模机器学习模型的训练的有效方法。随着GPU计算能力的提高,分布式训练中训练速度的瓶颈逐渐从计算转移到通信。与此同时,为了在移动设备上训练机器学习模型,一种名为"联邦学习“的新分布式训练范式已经流行起来。由于移动设备的低带宽,联邦学习中的通信时间尤为重要。虽然已经提出了各种提高联邦学习通信效率的方法,但大多数方法都是以SGD为原型训练算法设计的。虽然自适应梯度方法已被证明是有效的训练神经网络,自适应梯度方法在联邦学习的研究是稀缺的。在本文中,我们提出了一种自适应梯度方法,可以保证收敛性和通信效率的联邦学习。
2021-09-10 cs.DC cs.LG stat.ML
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
FedPAGE: A Fast Local Stochastic Gradient Method for Communication-Efficient Federated Learning
Princeton University(普林斯顿大学);KAUST(阿卜杜拉国王科技大学)
联合平均(FedAvg,也称为Local-SGD)(McMahan等人,2017)是一种经典的联邦学习算法,其中客户端在将其更新传送到编排服务器之前运行多个本地SGD步骤。我们提出了一种新的联邦学习算法FedPAGE,它能够通过利用最近的最佳PAGE方法进一步降低通信复杂度(Li et al.,2021)而不是FedAvg中的普通SGD。我们发现,FedPAGE使用更少的通信轮比以前的本地方法联邦凸和非凸优化。具体地,1)在凸设置中,FedPAGE的通信轮数是$O(\frac{N^{3/4}}{Sε})$,改进了SCAFFOLD的最公知结果$O(\frac{N}{Sε})$(Karimireddy等人,2020),其中$N^{1/4}$是客户端的总数(通常在联邦学习中非常大),$S$是每个通信轮中客户端的采样子集,$ε$是目标误差; 2)在非凸设置中,FedPAGE的通信轮数是$O(\frac{\sqrt{N}+S}{Sε^2})$,改进了SCAFFOLD的最知名结果$O(\frac{N^{2/3}}{S^{2/3}ε^2})$(Karimireddy et al.,2020),如果采样的客户端为$S\leq \sqrt{N}$,则通过因子$N^{1/6}S^{1/3}$。请注意,在这两种设置中,FedPAGE和SCAFFOLD每轮的通信成本是相同的。因此,FedPAGE在联邦凸优…
2021-08-10 cs.DC cs.DS cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
H-FL: A Hierarchical Communication-Efficient and Privacy-Protected Architecture for Federated Learning
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)的长期目标要求严格的隐私保证和低通信开销,同时保持相对较高的模型准确性。然而,同时实现所有目标是极具挑战性的。在本文中,我们提出了一个新的框架称为分层联邦学习(H-FL)来应对这一挑战。考虑到训练数据的统计异质性会降低模型的性能,本文提出了一种运行时分布重构策略,该策略对客户端进行适当的重新分配,并利用中介器重新安排客户端的局部训练。此外,我们设计了一个压缩校正机制纳入H-FL,以减少通信开销,同时不牺牲模型的性能。为了进一步提供隐私保证,我们在执行本地训练时引入了差分隐私,这只会在完整模型的一部分中注入适量的噪声。实验结果表明,我们的H-FL框架实现了最先进的性能在不同的数据集上的真实世界的图像识别任务。
2021-06-01 cs.CR cs.DC cs.LG
Communication-Efficient Federated Distillation
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
通信约束是阻碍联邦学习系统广泛采用的主要挑战之一。最近,出现了一种新的联邦学习算法范例--联邦蒸馏(Federated Distillation,FD),它具有根本不同的通信特性。FD方法利用集成蒸馏技术和交换模型输出,在中央服务器和参与的客户端之间,在未标记的公共数据集上呈现为软标签。而对于传统的联邦学习算法,如联合平均(FA),通信与联合训练的模型的大小成比例,在FD通信中与蒸馏数据集大小成比例,导致有利的通信属性,特别是当训练大模型时。在这项工作中,我们调查FD从通信效率的角度来看,通过分析的影响,积极蒸馏数据整理,软标签量化和增量编码技术。基于从这种分析中收集的见解,我们提出了压缩联合蒸馏(CFD),一种有效的联合蒸馏方法。联邦图像分类和语言建模问题的大量实验表明,我们的方法可以减少必要的通信量,以实现固定的性能目标超过两个数量级,相比FD和超过四个数量级相比,FA。
2020-12-01 cs.AI cs.LG stat.ML
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
联邦学习允许多方在其组合数据上联合训练深度学习模型,而无需任何参与者将其本地数据透露给集中式服务器。然而,这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题,在分布式训练文献中已经提出了几种压缩方法,可以将所需的通信量减少多达三个数量级。然而,这些现有的方法在联邦学习设置中仅具有有限的效用,因为它们或者仅压缩从客户端到服务器的上游通信(使下游通信未压缩),或者仅在理想化条件(诸如客户端数据的iid分布)下表现良好,这通常不能在联邦学习中找到。在这项工作中,我们提出了稀疏三进制压缩(STC),一个新的压缩框架,专门设计,以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明,STC在常见的联邦学习场景中明显优于联合平均,其中客户端a)持有非iid数据,b)在训练期间使用小批量,或者c)客户端数量很大,每个通信回合的参与率很低。我们还表明,即使客户端持有iid数据并使用中等规模的批次进行训练,STC仍然表现出Pareto优于Federated Averaging,因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Communication-Efficient Federated Distillation with Active Data Sampling
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)是一种很有前途的范例,可以从分布式数据中实现隐私保护深度学习。大多数以前的工作是基于联邦平均(FedAvg),然而,它面临着几个关键问题,包括高通信开销和处理异构模型架构的困难。联邦蒸馏(FD)是最近提出的一种替代方案,使通信高效和强大的FL,它实现了数量级的通信开销减少相比,FedAvg,是灵活的处理客户端的异构模型。然而,到目前为止,还没有统一的算法框架或理论分析的FD为基础的方法。在本文中,我们首先提出了一个通用的元算法FD和调查的影响,通过实证实验的关键参数。然后,我们从理论上验证了经验观察。基于实验结果和理论,我们提出了一个通信有效的FD算法与主动数据采样,以提高模型的性能,减少通信开销。在基准数据集上的实证模拟表明,我们提出的算法有效地,显着地减少了通信开销,同时取得了令人满意的性能。
2022-03-14 cs.LG
Multi-Message Shuffled Privacy in Federated Learning
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究通信约束下的差分私有分布式优化。使用SGD进行优化的服务器聚合客户端局部梯度,以使用分布式均值估计(DME)进行模型更新。我们开发了一个通信效率的私人DME,使用最近开发的多消息混洗(MMS)的隐私框架。我们分析了我们提出的DME方案,以表明它实现了顺序最优的隐私-通信-性能权衡,解决了[1]中的一个公开问题,即洗牌模型是否可以改善安全聚合中获得的权衡。这也解决了MMS模型中私有向量和的最佳权衡问题。我们通过一种新的隐私机制来实现它,该机制在不同分辨率的局部梯度向量上非均匀地分配隐私。这些结果被直接应用到私人分布式学习算法使用此私人梯度聚集迭代的保证。我们还数值评估私人DME算法。
2023-02-22 cs.CR cs.LG