Communication and Storage Efficient Federated Split Learning
University of Virginia（弗吉尼亚大学）
联邦学习（FL）是一种流行的分布式机器学习（ML）范例，但通常受到显著的通信成本和边缘设备计算能力的限制。Federated Split Learning（FSL）保留了FL的并行模型训练原理，由于在服务器和客户端之间拆分ML模型，因此减少了设备计算需求。然而，由于在每个全局轮中在客户端和服务器之间传输破碎的数据和梯度，FSL仍然引起非常高的通信开销。此外，服务器必须为每个客户端维护单独的模型，这导致了大量的计算和存储需求，并且随着客户端的数量线性增长。本文试图解决这两个问题，提出了一种通信和存储高效的联邦和分裂学习（CSE-FSL）策略，它利用一个辅助网络来本地更新客户端模型，而在服务器上只保留一个单一的模型，从而避免了从服务器的梯度通信，大大减少了服务器的资源需求。通过仅从客户端发送选定时期中的粉碎数据，进一步降低了通信成本。我们提供了一个严格的理论分析CSE-FSL，保证其收敛性的非凸损失函数。大量的实验结果表明，CSE-FSL有一个显着的通信减少现有的FSL技术，同时实现了最先进的收敛和模型精度，使用几个现实世界的FL任务。
2023-02-11 cs.IT cs.LG eess.SP
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory
Google Research（谷歌研究院）
联邦学习（FL）中的一个重要瓶颈是从客户端设备向中央服务器发送模型更新的网络通信成本。我们提出了一个全面的实证研究模型更新的统计数据在FL，以及各种压缩技术的作用和好处。受这些观察结果的启发，我们提出了一种新的方法来降低平均通信成本，该方法在许多用例中接近最佳，并且在堆栈溢出下一个词预测方面优于Top-K，DRIVE，3LC和QSGD，这是一个现实且具有挑战性的FL基准。这是通过使用率失真理论检查问题，并提出失真作为模型精度的可靠代理来实现的。失真可以更有效地用于优化模型性能和跨客户端的通信成本之间的权衡。我们的经验表明，尽管非独立同分布。由于联邦学习的本质，率失真边界在数据集、优化器、客户端和训练轮之间是一致的。
2022-05-19 cs.DC cs.IT cs.LG
Communication-Efficient Federated Distillation
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
通信约束是阻碍联邦学习系统广泛采用的主要挑战之一。最近，出现了一种新的联邦学习算法范例--联邦蒸馏（Federated Distillation，FD），它具有根本不同的通信特性。FD方法利用集成蒸馏技术和交换模型输出，在中央服务器和参与的客户端之间，在未标记的公共数据集上呈现为软标签。而对于传统的联邦学习算法，如联合平均（FA），通信与联合训练的模型的大小成比例，在FD通信中与蒸馏数据集大小成比例，导致有利的通信属性，特别是当训练大模型时。在这项工作中，我们调查FD从通信效率的角度来看，通过分析的影响，积极蒸馏数据整理，软标签量化和增量编码技术。基于从这种分析中收集的见解，我们提出了压缩联合蒸馏（CFD），一种有效的联合蒸馏方法。联邦图像分类和语言建模问题的大量实验表明，我们的方法可以减少必要的通信量，以实现固定的性能目标超过两个数量级，相比FD和超过四个数量级相比，FA。
2020-12-01 cs.AI cs.LG stat.ML
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）
近年来，随着越来越多的法规涉及用户的隐私敏感数据保护，对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据，一种革命性的分散式机器学习设置（称为联邦学习）使位于不同地理位置的多个客户端能够协作学习机器学习模型，同时将所有数据保存在设备上。然而，联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中，我们提出并研究了自适应联邦丢弃（AFD），一种新的技术，以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明，这种策略，结合现有的压缩方法，共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外，它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
Dynamic Sampling and Selective Masking for Communication-Efficient Federated Learning
Aalto University（阿尔托大学）；Columbia University（哥伦比亚大学）；Nokia Bell Labs（诺基亚贝尔实验室）；The University of Queensland（昆士兰大学）
联邦学习（FL）是一种新型的机器学习设置，通过分散式训练和联邦优化实现设备上的智能。深度神经网络的快速发展促进了对复杂问题建模的学习技术，并在联邦环境下出现了联邦深度学习。然而，大量的模型参数给通信网络带来了高传输负载的负担。本文介绍了两种提高通信效率的方法，即动态采样和顶部$k$选择性掩蔽.前者动态地控制所选客户机模型的比例，而后者选择具有最大差异值的前$k$参数进行联合更新。在三个公共数据集上进行了卷积图像分类和递归语言建模的实验，以证明我们提出的方法的有效性。
2021-09-20 cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
DP-REC: Private & Communication-Efficient Federated Learning
Qualcomm AI Research（高通人工智能研究院）
隐私和通信效率是神经网络联邦训练中的重要挑战，将它们结合起来仍然是一个悬而未决的问题。在这项工作中，我们开发了一种方法，统一高度压缩通信和差分隐私（DP）。我们介绍了一种压缩技术的基础上相对熵编码（REC）的联邦设置。通过对REC的微小修改，我们得到了一个可证明的差分隐私学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。
2021-12-07 cs.CR cs.LG stat.ML
LoByITFL: Low Communication Secure and Private Federated Learning
School of Computation, Information and Technology（计算、信息与技术学院）
针对联邦学习中数据隐私与拜占庭安全难兼顾且现有方案牺牲隐私的问题，提出通信高效的LoByITFL方案，借助小型数据集、改进FLTrust和初始化阶段一次性可信第三方，实现信息论隐私与安全，兼具理论保证与收敛性实验验证。
2025-06-12 cs.CR cs.DC cs.IT
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech（弗吉尼亚理工大学）
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决，即模型压缩、部分设备参与和周期性聚合，代价是增加训练方差。与传统的分布式学习系统不同，联邦学习存在数据异构性（因为设备从可能不同的分布中采样数据），这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响，而它们通常需要额外的通信资源来提供必要的控制信息。此外，数据隐私仍然是FL中的一个关键问题，因此已经有人尝试将差分隐私引入该框架，作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡，以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Secure Communication Model For Quantum Federated Learning: A Post Quantum Cryptography (PQC) Framework
School of Information Technology（信息技术学院）；Deakin University（迪肯大学）
针对量子联邦学习的安全通信问题，提出融合后量子密码学与动态服务器选择的PQC-QFL框架，并分析其收敛性与安全条件，代码及结果已公开。
2023-04-26 cs.CR cs.LG
Communication-Efficient Federated Distillation with Active Data Sampling
The Hong Kong University of Science and Technology（香港科技大学）
联邦学习（FL）是一种很有前途的范例，可以从分布式数据中实现隐私保护深度学习。大多数以前的工作是基于联邦平均（FedAvg），然而，它面临着几个关键问题，包括高通信开销和处理异构模型架构的困难。联邦蒸馏（FD）是最近提出的一种替代方案，使通信高效和强大的FL，它实现了数量级的通信开销减少相比，FedAvg，是灵活的处理客户端的异构模型。然而，到目前为止，还没有统一的算法框架或理论分析的FD为基础的方法。在本文中，我们首先提出了一个通用的元算法FD和调查的影响，通过实证实验的关键参数。然后，我们从理论上验证了经验观察。基于实验结果和理论，我们提出了一个通信有效的FD算法与主动数据采样，以提高模型的性能，减少通信开销。在基准数据集上的实证模拟表明，我们提出的算法有效地，显着地减少了通信开销，同时取得了令人满意的性能。
2022-03-14 cs.LG
Accurate and Fast Federated Learning via IID and Communication-Aware Grouping
Korea Advanced Institute of Science and Technology（韩国科学技术院）
联邦学习已经成为协作机器学习的一种新范式;然而，它也面临着一些挑战，例如非独立同分布（IID）数据和高通信成本。为此，我们提出了一种新的框架，IID和通信感知组联邦学习，同时最大限度地提高准确性和通信速度分组节点的基础上的数据分布和物理位置的节点。此外，我们提供了一个正式的收敛性分析和一个有效的优化算法称为FedAvg-IC。实验结果表明，与现有算法相比，FedAvg-IC测试精度提高了22.2%，同时通信时间缩短了12%。
2020-12-09 cs.DC cs.LG
FBChain: A Blockchain-based Federated Learning Model with Efficiency and Secure Communication
Beihang University（北京航空航天大学）；Guangxi Normal University（广西师范大学）
针对联邦学习通信中的参数泄漏和效率低下问题，提出基于区块链的FBChain模型，利用区块链不可篡改性和PoWLS共识算法，实现安全高效通信。
2025-02-27 cs.CR cs.LG
Detailed comparison of communication efficiency of split learning and federated learning
Massachusetts Institute of Technology（麻省理工学院）
我们比较了两个引人注目的分布式机器学习方法的分裂学习和联邦学习的通信效率。我们展示了有用的设置下，每种方法优于其他方面的通信效率。我们考虑分布式学习设置的各种实际场景，并将这两种方法在各种现实生活中的场景下并列。我们考虑了小客户端和大客户端数量以及小模型（1 M-6 M参数），大模型（10 M-200 M参数）和超大模型（10亿-1000亿参数）的设置。我们发现，增加客户端的数量或增加模型的大小有利于分裂学习设置联邦，而增加数据样本的数量，同时保持客户端的数量或模型的大小低，使联邦学习更有效的沟通。
2019-09-18 cs.DC cs.LG stat.ML
DualFL: A Duality-based Federated Learning Algorithm with Communication Acceleration in the General Convex Regime
Pennsylvania State University（宾夕法尼亚州立大学）
提出DualFL算法解决联邦学习分布式优化问题，通过基于对偶的方法实现一般凸成本函数的通信加速，并提供了简洁优雅的收敛分析。
2024-01-10 cs.LG math.OC
Provable Reduction in Communication Rounds for Non-Smooth Convex Federated Learning
Umeå University（于默奥大学）
针对非光滑凸联邦学习，提出FedMLS算法，利用投影高效优化方法，在无数据异质性假设下，通过多次本地步骤将通信轮次降至O(1/ε)，总随机次梯度调用为O(1/ε^2)。
2025-03-27 cs.LG math.OC
Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization
Technical University of Munich（慕尼黑工业大学）；Arizona State University（亚利桑那州立大学）
本研究提出首个兼具内存与通信效率的抗拜占庭联邦学习零阶优化算法CYBER-0，经MNIST实验和RoBERTa-Large微调验证其效率更优且精度相当，并给出凸损失下的收敛理论保证。
2024-06-20 cs.AI cs.LG
RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data
University of Chinese Academy of Sciences（中国科学院大学）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
联邦学习是一种广泛使用的分布式深度学习框架，它通过交换模型参数而不是原始数据来保护每个客户端的隐私。然而，联邦学习存在通信成本高的问题，因为在训练过程中需要多次传输相当数量的模型参数，使得该方法效率低下，特别是在通信网络带宽有限的情况下。本文提出了RingFed，一种新的框架，以减少联邦学习的训练过程中的通信开销。与原始联邦学习中在中心服务器和每个客户端之间传输参数不同，在所提出的RingFed中，更新后的参数在每个客户端之间依次传输，并且仅将最终结果传输到中心服务器，从而大大减少了通信开销。在几次本地更新之后，客户端首先将其参数发送到另一个邻近的客户端，而不是直接发送到中心服务器，以进行预聚合。在两个不同的公开数据集上的实验表明，RingFed算法具有收敛速度快、模型精度高、通信代价低的特点。
2021-07-19 cs.DC cs.LG
Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning
Google, Inc.（谷歌公司）
联邦学习（FL）是一种以隐私保护方式跨异构客户端设备进行机器学习的框架。迄今为止，大多数FL算法在多轮中学习“全局”服务器模型。在每一轮，相同的服务器模型被广播到所有参与的客户端，在本地更新，然后跨客户端聚合。在这项工作中，我们提出了一个更一般的程序，客户端“选择”什么值发送给他们。值得注意的是，这允许客户端在更小的数据依赖切片上操作。为了实现这一点，我们概述了一个原始的，联邦选择，使客户端特定的选择在现实的FL系统。我们讨论了如何使用联邦选择进行模型训练，并表明它可以大幅减少通信和客户端内存使用，从而可能使训练的模型太大而无法适应设备。我们还讨论了联邦选择的隐私和信任，这反过来又影响可能的系统约束和设计的影响。最后，我们讨论了开放的问题，模型架构，隐私保护技术，和实际FL系统。
2022-08-19 cs.DC cs.LG
SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
为了在诸如无线网络的带宽需求环境中实现大规模机器学习，最近在借助于通信压缩来设计通信高效的联邦学习算法方面取得了重大进展。另一方面，隐私保护，特别是在客户端级别，是另一个重要的迫切需要，尚未同时解决的先进的通信压缩技术的存在。在本文中，我们提出了一个统一的框架，提高了私人联邦学习的通信效率与通信压缩。利用一般的压缩算子和局部差分隐私，我们首先检查一个简单的算法，直接适用于压缩差分私人随机梯度下降，并确定其局限性。然后，我们提出了一个统一的框架SoteriaFL私人联邦学习，它容纳了一般家庭的局部梯度估计，包括流行的随机方差降低梯度方法和国家的最先进的移位压缩方案。我们提供了一个全面的特性，其性能权衡的隐私，实用程序和通信的复杂性，SoteraFL被证明可以实现更好的通信复杂性，而不牺牲隐私，也不实用比其他私人联邦学习算法没有通信压缩。
2022-10-12 cs.DC cs.DS cs.LG
Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对联邦学习中传统本地训练忽略客户端个性化需求的问题，提出Scafflix算法，将显式个性化与本地训练高效集成，在理论和实践上均实现了双重通信加速。
2023-05-22 cs.LG
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置，通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而，当将联邦学习扩展到生产环境时，通信效率仍然是一个主要瓶颈，特别是由于上行链路通信期间的带宽限制。在本文中，我们正式和解决的问题，压缩客户端到服务器的模型更新下的安全聚合原语，联邦学习管道，允许服务器聚合客户端更新，而无需单独访问它们的核心组件。特别是，我们适应标准的标量量化和修剪方法安全聚合，并提出安全索引，安全聚合的一个变种，支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果，在上行链路通信中进行了多达40次$\times$压缩，与未压缩的基线相比，效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
An Energy Optimized Specializing DAG Federated Learning based on Event Triggered Communication
Harbin Institute of Technology（哈尔滨工业大学）
专门化有向无环图联邦学习（SDAGFL）是一种新的联邦学习框架，它通过有向无环图分布式账本技术（DAG-DLT）从具有相似数据分布的设备更新模型。SDAGFL在完全分散的联邦学习中具有个性化、抗单点故障和中毒攻击的优势。由于这些优点，SDAGFL适用于物联网场景中的联邦学习，其中设备通常由电池供电。为了促进SDAGFL在物联网中的应用，提出了一种基于能量优化的SDAGFL事件触发通信机制ESDAGFL。在ESDAGFL中，只有当新模型发生重大变化时才会广播。我们评估的ESDAGFL聚类综合FEMNIST数据集和莎士比亚和歌德的作品文本的数据集。实验结果表明，与SDAGFL相比，该方法可以减少33%的能耗，并实现了与SDAGFL相同的训练精度和专业化之间的平衡。
2022-09-26 cs.LG
ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
College of Information Sciences and Technology（信息科学与技术学院）；Pennsylvania State University（宾夕法尼亚州立大学）
提出ParaBlock方法，通过并行化通信与计算线程，在联邦学习大语言模型时提升通信效率，并理论证明其收敛率与标准方法相同，实验验证其性能与效率优势。
2026-06-02 cs.DC cs.LG
Federated Learning for 6G Communications: Challenges, Methods, and Future Directions
Heilongjiang University（黑龙江大学）；Monash University（莫纳什大学）；Nanyang Technological University（南洋理工大学）；Tianjin University（天津大学）
随着5G通信网络在全球范围内的广泛部署，工业界和学术界都开始超越5G并探索6G通信。一般认为，6G将建立在泛在人工智能（AI）之上，实现异构、大规模网络中数据驱动的机器学习（ML）解决方案。然而，传统的ML技术需要由中央服务器进行集中式数据汇集和处理，由于隐私问题的显著增加，这正在成为日常生活中大规模实施的瓶颈。联邦学习作为一种具有隐私保护性质的新兴分布式人工智能方法，对各种无线应用特别有吸引力，特别是被视为实现6G无处不在的人工智能的重要解决方案之一。在这篇文章中，我们首先介绍了6G和联邦学习的集成，并提供了6G潜在的联邦学习应用。然后，我们描述了关键的技术挑战，相应的联邦学习方法，以及未来在6G通信背景下研究联邦学习的开放问题。
2020-07-12 cs.CR cs.LG cs.NI
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
由于联邦学习中的通信约束和间歇性客户端可用性，只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择，最近的工作有偏见的客户端选择表明，选择具有较高的本地损失的客户端可以提高误差收敛速度。然而，以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失，或利用陈旧的本地损失，这甚至可以使模型发散。在本文中，我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS，实现了更快的收敛，降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Timely Communication in Federated Learning
University of Maryland（马里兰大学）
我们考虑一个联邦学习框架，其中参数服务器（PS）通过使用$n$客户端来训练全局模型，而无需实际将客户端数据集中存储在云服务器上。针对客户端数据集快速变化且具有高度时间性的情况，我们研究了模型更新的及时性，并提出了一种新的及时通信方案。在所提出的方案下，在每次迭代时，PS等待$m$可用的客户端，并向它们发送当前模型。然后，PS在每次迭代时使用$m$客户端中最早的$k$的本地更新来更新全局模型。我们发现每个客户端所经历的信息的平均年龄和数字特征的年龄最佳的$m$和$k$值为一个给定的$n$。我们的研究结果表明，除了确保及时性，所提出的通信方案的结果显着较小的平均迭代时间相比，随机客户端选择，而不损害全局学习任务的收敛。
2021-03-13 cs.DC cs.IT cs.LG
Graph-Assisted Communication-Efficient Ensemble Federated Learning
University of California, Irvine（加州大学欧文分校）
在联邦学习中，由于有限的通信带宽，通信效率成为必要条件。为此，本文开发了一个算法框架，其中学习了预训练模型的集合。在每一轮学习中，服务器选择预先训练的模型的子集以基于图的结构来构建集成模型，图的结构表征服务器对模型的置信度。然后，只有选定的模型被传输到客户端，这样就不会违反某些预算约束。在从客户端接收到更新时，服务器相应地细化图的结构。证明了该算法具有次线性遗憾界。在真实数据集上的实验证明了该方法的有效性。
2022-02-27 cs.LG
Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges
Virginia Tech（弗吉尼亚理工学院）
在无线通信社区中，人们越来越有兴趣用基于数据驱动的机器学习（ML）的解决方案来补充传统的基于模型的设计方法。虽然传统的ML方法依赖于在中央实体中具有数据和处理头的假设，但这在无线通信应用中并不总是可行的，因为私有数据的不可访问性和将原始数据传输到中央ML处理器所需的大的通信开销。因此，将数据保存在生成位置的分散式ML方法更具吸引力。由于其隐私保护的性质，联邦学习与许多无线应用特别相关，特别是在第五代（5G）网络的背景下。在这篇文章中，我们提供了一个方便的介绍联邦学习的一般思想，讨论了在5G网络中的几个可能的应用，并描述了关键的技术挑战和开放的问题，为未来的研究联邦学习的背景下，无线通信。
2020-05-03 cs.LG eess.SP stat.ML
Adversarial training in communication constrained federated learning
University of Illinois（伊利诺伊大学）；I.B.M T.J. Watson Research Center（IBM TJ·沃森研究中心）
联邦学习支持在代理数据的分布式语料库上进行模型训练。然而，经过训练的模型容易受到对抗性示例的影响，这些示例旨在引起错误分类。我们研究了在联邦学习环境中使用对抗训练（AT）的可行性。此外，我们这样做假设一个固定的通信预算和非iid数据分布之间的参与代理。我们观察到，与集中式训练相比，当AT用于联邦设置时，自然和对抗准确率都显着下降。我们将此归因于在代理处本地执行的AT的时期的数量，这反过来影响（i）本地模型之间的漂移;以及（ii）收敛时间（以通信回合的数量来衡量）。为此，我们提出了FedDynAT，一种新的算法在联邦设置执行AT。通过大量的实验，我们证明了FedDynAT通过减少模型漂移显著提高了自然和对抗精度，以及模型收敛时间。
2021-03-01 cs.AI cs.LG
FLIX: A Simple and Communication-Efficient Alternative to Local Methods in Federated Learning
KAUST（阿卜杜拉国王科技大学）；Princeton University（普林斯顿大学）
联邦学习（FL）是一种日益流行的机器学习范式，它是多个节点在隐私、通信和多个异构约束下进行协作学习的一种方法。联邦学习中的一个持续存在的问题是，不清楚优化目标应该是什么：监督学习的标准平均风险最小化不足以处理联邦学习特有的几个主要约束，例如通信自适应和个性化控制。我们确定了联邦学习框架中的几个关键需求，并引入了一个新的框架FLIX，该框架考虑了联邦学习带来的独特挑战。FLIX有一个标准的有限和形式，它使从业者能够利用现有的（潜在的非本地）分布式优化方法的巨大财富。通过不需要任何通信的智能初始化，FLIX不需要使用本地步骤，但仍然可以证明能够与本地方法一样执行相异性正则化。我们给出了几个算法，有效地解决FLIX制定通信约束下。最后，我们证实了我们的理论结果与广泛的实验。
2022-02-23 cs.LG math.OC stat.ML
D2P-Fed: Differentially Private Federated Learning With Efficient Communication
University of California, Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
在本文中，我们提出了基于离散高斯差分隐私联邦学习（D2 P-Fed），一个统一的计划，以实现差分隐私（DP）和联邦学习（FL）的通信效率。特别地，与仅兼顾这两个方面的先前工作相比，D2 P-Fed提供了更强的隐私保证、更好的可组合性和更小的通信成本。其核心思想是将离散高斯噪声应用于私有数据传输。我们提供了完整的分析的隐私保障，通信成本和收敛速度的D2 P-Fed。我们在INFIMNIST和CIFAR 10上评估了D2 P-Fed。结果表明，D2 P-Fed在模型精度方面比最先进的模型高出4.7%至13.0%，同时节省了三分之一的通信成本。
2021-01-02 cs.CR cs.LG stat.ME
Communication Efficiency in Federated Learning: Achievements and Challenges
Kennesaw State University（肯尼索州立大学）；Macquarie University（麦考瑞大学）；Brandon University（布兰登大学）；China Medical University（中国医药大学）
已知联邦学习（FL）以分布式方式执行机器学习任务。多年来，这已经成为一项新兴技术，特别是随着各种数据保护和隐私政策的实施，FL允许执行机器学习任务，同时坚持这些挑战。与任何新技术的出现一样，将有挑战和好处。FL中存在的一个挑战是通信成本，因为FL发生在分布式环境中，通过网络连接的设备必须不断共享其更新，这可能会造成通信瓶颈。在本文中，我们提出了一个调查的研究，是为了克服在FL设置的通信限制。
2021-07-23 cs.LG
Communication Efficient Federated Learning for Generalized Linear Bandits
University of Virginia（弗吉尼亚大学）
为了满足数据分散化和向客户端推送学习的需求，联邦学习环境下的上下文Bandit算法近年来得到了研究。但受限于所需的通信效率，现有的解决方案被限制为线性模型，以利用其封闭形式的解决方案进行参数估计。这样一个有限的模型选择极大地阻碍了这些算法的实际效用。在本文中，我们通过研究联邦学习环境下的广义线性强盗模型来解决这一挑战。我们提出了一个有效的解决方案框架，采用在线回归本地更新和离线回归的全球更新。我们严格证明，虽然设置是更一般和具有挑战性的，我们的算法可以达到次线性率的遗憾和通信成本，这也是我们广泛的实证评估验证。
2022-10-12 cs.LG stat.ML
FedDCL: a federated data collaboration learning as a hybrid-type privacy-preserving framework based on federated learning and data collaboration
University of Tsukuba（筑波大学）
FedDCL将联邦学习与数据协作分析结合，通过机构内构建降维中间表示并在组内DC服务器间进行联邦学习，解决了联邦学习在难以持续对外通信环境中的实施难题，且性能与现有联邦学习相当。
2024-09-27 cs.CR cs.LG
Quantized Rank Reduction: A Communications-Efficient Federated Learning Scheme for Network-Critical Applications
本文提出一种通信高效的联邦学习方案，通过结合神经网络梯度的低秩近似与量化技术，显著降低去中心化学习过程的网络通信开销，同时保持极小的模型精度损失。
2025-07-15 cs.LG
Communication Efficient and Privacy-Preserving Federated Learning Based on Evolution Strategies
针对现有联邦学习通信开销高、易信息泄露的问题，提出基于进化策略的零阶联邦学习算法FedES，仅传输损失值且依靠预共享种子保障隐私，收敛性能与反向传播方法相当。
2023-11-09 cs.AI cs.LG
FedPAGE: A Fast Local Stochastic Gradient Method for Communication-Efficient Federated Learning
Princeton University（普林斯顿大学）；KAUST（阿卜杜拉国王科技大学）
联合平均（FedAvg，也称为Local-SGD）（McMahan等人，2017）是一种经典的联邦学习算法，其中客户端在将其更新传送到编排服务器之前运行多个本地SGD步骤。我们提出了一种新的联邦学习算法FedPAGE，它能够通过利用最近的最佳PAGE方法进一步降低通信复杂度（Li et al.，2021）而不是FedAvg中的普通SGD。我们发现，FedPAGE使用更少的通信轮比以前的本地方法联邦凸和非凸优化。具体地，1）在凸设置中，FedPAGE的通信轮数是$O(\frac{N^{3/4}}{Sε})$，改进了SCAFFOLD的最公知结果$O(\frac{N}{Sε})$（Karimireddy等人，2020），其中$N^{1/4}$是客户端的总数（通常在联邦学习中非常大），$S$是每个通信轮中客户端的采样子集，$ε$是目标误差; 2）在非凸设置中，FedPAGE的通信轮数是$O(\frac{\sqrt{N}+S}{Sε^2})$，改进了SCAFFOLD的最知名结果$O(\frac{N^{2/3}}{S^{2/3}ε^2})$（Karimireddy et al.，2020），如果采样的客户端为$S\leq \sqrt{N}$，则通过因子$N^{1/6}S^{1/3}$。请注意，在这两种设置中，FedPAGE和SCAFFOLD每轮的通信成本是相同的。因此，FedPAGE在联邦凸优…
2021-08-10 cs.DC cs.DS cs.LG
Communication-Efficient and Robust Multi-Modal Federated Learning via Latent-Space Consensus
Center for Wireless Communications, University of Oulu（奥卢大学无线通信中心）
本文提出CoMFed框架，通过可学习的投影矩阵生成压缩的潜在表示，并利用潜在空间正则化器对齐客户端间的表示，提升跨模态一致性和鲁棒性，实验显示在人体活动识别基准上具有竞争力的准确率与低开销。
2026-03-19 cs.LG eess.SP
Learn Electronic Health Records by Fully Decentralized Federated Learning
University of Minnesota（明尼苏达大学）；IQVIA（艾昆纬）
联邦学习在星型网络中的分布式训练问题中具有很高的通信效率，这为联邦学习提供了许多研究机会。在本文中，我们专注于提高通信效率的完全分散的联邦学习在一个图，该算法执行本地更新几次迭代，然后使节点之间的通信。这样，在不损失解的最优性的情况下，可以显著地节省交换参数的共同兴趣的通信回合。基于大型真实世界电子健康记录数据库的多个数值模拟显示了分散式联邦学习与经典方法相比的优越性。
2019-12-10 cs.LG cs.NE stat.ML
Hyper-Sphere Quantization: Communication-Efficient SGD for Federated Learning
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies Co. Ltd（华为技术有限公司）
由于参与用户设备的带宽有限，因此传递梯度的高成本是联邦学习的主要瓶颈。现有的梯度压缩算法主要是针对高速网络的数据中心设计的，最多能达到$O(\sqrt{d} \log d)$的每次迭代通信开销，其中$d$为模型的大小。我们提出了超球量化（HSQ），一个通用的框架，可以配置为实现一个连续的通信效率和梯度精度之间的权衡。特别地，在高压缩比端，HSQ提供了$O(\log d)$的低的每次迭代通信成本，这有利于联邦学习。我们从理论上证明了HSQ的收敛性，并通过实验表明，HSQ显着降低了模型训练的通信成本，而不损害收敛精度。
2019-11-25 cs.IR cs.LG stat.ML
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降（SGD）是分散式联邦学习（DFL）的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中，我们提出了一个通用的DFL框架，它实现了多个本地更新和多个节点间的通信周期，以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证，而无需假设凸目标。DFL的收敛速度可以被优化，以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率，将压缩通信作为一种新的方案引入到DFL中，命名为DFL with compressed communication（C-DFL）。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明，DFL优于传统的分散SGD方法，并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples
Duke University（杜克大学）；NVIDIA（英伟达）
联邦学习是一种流行的协作学习方法，它使客户能够训练全局模型，而无需共享本地数据。垂直联邦学习（VFL）处理客户端上的数据具有不同特征空间但共享一些重叠样本的场景。现有的VFL方法具有通信成本高的缺点，并且不能有效地处理现实世界中常见的有限重叠样本。提出了一种实用的垂直联邦学习（VFL）框架\textbf{one-shot VFL}，该框架基于半监督学习，可以同时解决通信瓶颈和有限重叠样本的问题。我们还提出了\textbf{few-shot VFL}，以提高准确性，进一步与服务器和客户端之间的多一轮通信。在我们提出的框架中，客户端只需要与服务器进行一次或几次通信。我们在图像和表格数据集上评估了所提出的VFL框架。在CIFAR-10上进行评估时，与最先进的VFL方法相比，我们的方法可以提高46.5%以上的准确性，并减少330多个$\times$的通信成本。我们的代码将在\url{https://nvidia.github.io/NVFlare/research/one-shot-vfl}上公开。
2023-03-30 cs.LG
Covert Communication Based on the Poisoning Attack in Federated Learning
Sichuan Normal University（四川师范大学）
针对联邦学习模型聚合破坏客户端嵌入信息的问题，提出一种基于投毒攻击的隐蔽通信方法，实现两客户端间100%准确传输，并证明其隐蔽、鲁棒且现有防御难以应对。
2023-06-02 cs.CR cs.LG
FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching
Cognitive Computing Lab（认知计算实验室）；Baidu Research（百度研究院）
通信复杂性和隐私是联邦学习的两个关键挑战，其目标是通过大量设备执行分布式学习。在这项工作中，我们引入FedSKETCH和FedSKETCHGATE算法来解决联合学习中的两个挑战，这些算法分别用于同构和异构数据分布设置。其关键思想是使用count sketch压缩局部梯度的累积，因此，服务器无法访问梯度本身，从而提供隐私。此外，由于所使用的草图的维数较低，我们的方法也表现出通信效率的属性。我们提供，上述计划，尖锐的收敛保证。最后，我们用各种实验来支持我们的理论。
2020-08-11 cs.DS cs.LG stat.ML
FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission
Beijing University of Posts and Telecommunications (BUPT)（北京邮电大学（BUPT））
针对跨筒仓联邦大模型通信瓶颈，提出融合RDMA并采用分块传输与多项优化的FedRDMA系统，真实场景下较TCP/IP方案最高提速3.8倍。
2024-03-01 cs.DC cs.LG cs.NI
Communication-Efficient Agnostic Federated Averaging
Google Inc.（谷歌公司）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
在分布式学习环境中，如联邦学习，训练算法可能会偏向不同的客户端。Mohri等人（2019）提出了一种领域不可知的学习算法，其中模型针对由客户端分布混合形成的任何目标分布进行了优化，以克服这种偏差。他们进一步提出了一种跨筒仓联邦学习设置的算法，其中客户端的数量很少。我们在跨设备设置中考虑这个问题，其中客户端数量要大得多。我们提出了一种称为不可知联邦平均（或不可知Federated Averaging）的通信高效分布式算法，以最大限度地减少Mohri等人（2019）提出的域不可知目标，该目标适用于其他私有机制，如安全聚合。我们强调了两种类型的自然发生的领域在联邦学习，并认为不可知FedAvg表现良好。为了证明不可知FedAvg的实际有效性，我们在模拟和现场实验中报告了大规模语言建模任务的积极结果，后者涉及为数百万用户设备训练西班牙语虚拟键盘的语言模型。
2021-06-16 cs.LG
DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；Institute of Artificial Intelligence（人工智能研究院）
个性化的联邦学习被提出来处理客户端之间的数据异构性问题，通过学习专门定制的本地模型为每个用户。然而，现有的作品往往是内置的一个集中的方式，导致高通信压力和高脆弱性时，发生故障或攻击的中央服务器。在这项工作中，我们提出了一种新的个性化的联邦学习框架中的分散（对等）通信协议命名为Dis-PFL，采用个性化的稀疏掩模定制稀疏局部模型的边缘。为了进一步节省通信和计算成本，我们提出了一种分散的稀疏训练技术，这意味着在整个局部训练和对等通信过程中，Dis-PFL中的每个局部模型仅保持固定数量的活动参数。综合实验结果表明，该算法有效地解决了所有客户端中最繁忙节点的通信瓶颈问题，同时以更少的计算开销和通信次数获得了更高的模型精度。此外，我们证明了我们的方法可以很容易地适应不同的计算复杂度的异构本地客户端，并实现更好的个性化性能。
2022-06-01 cs.LG
Personalized Federated Learning with Bidirectional Communication Compression via One-Bit Random Sketching
本文提出pFed1BS框架，通过一比特随机草图实现个性化联邦学习中的通信压缩，结合符号正则化和快速哈达玛变换，有效降低通信成本并保持性能
2026-02-02 cs.LG
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
联邦学习允许多方在其组合数据上联合训练深度学习模型，而无需任何参与者将其本地数据透露给集中式服务器。然而，这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题，在分布式训练文献中已经提出了几种压缩方法，可以将所需的通信量减少多达三个数量级。然而，这些现有的方法在联邦学习设置中仅具有有限的效用，因为它们或者仅压缩从客户端到服务器的上游通信（使下游通信未压缩），或者仅在理想化条件（诸如客户端数据的iid分布）下表现良好，这通常不能在联邦学习中找到。在这项工作中，我们提出了稀疏三进制压缩（STC），一个新的压缩框架，专门设计，以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明，STC在常见的联邦学习场景中明显优于联合平均，其中客户端a）持有非iid数据，b）在训练期间使用小批量，或者c）客户端数量很大，每个通信回合的参与率很低。我们还表明，即使客户端持有iid数据并使用中等规模的批次进行训练，STC仍然表现出Pareto优于Federated Averaging，因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich（慕尼黑工业大学）；Arizona State University（亚利桑那州立大学）
本文提出CyBeR-0，一种具有拜占庭弹性的联邦零阶优化方法，通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性，显著降低上下行通信成本与内存需求，并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models
University of Maryland, College Park（马里兰大学彭福分校）；Queen Mary University of London（伦敦玛丽女王大学）；Google DeepMind（谷歌DeepMind）
本文从理论和实验上证明，对于大型基础模型，单轮聚合的一次性联邦微调即可达到与多轮联邦微调相当的性能，显著降低通信成本并增强隐私性。
2025-11-06 cs.DC cs.LG
Federated Learning with Communication Delay in Edge Networks
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
联邦学习作为通过边缘网络分布机器学习（ML）模型训练的潜在解决方案已经受到了极大的关注。这项工作解决了联邦学习在网络边缘的一个重要考虑因素：边缘节点和聚合器之间的通信延迟。开发了一种称为FedDelAvg（联合延迟平均）的技术，该技术概括了标准的联合平均算法，以在同步步骤期间在每个设备处接收到的当前本地模型和延迟的全局模型之间加入权重。通过理论分析，得到了FedDelAvg全局模型损失的上界，揭示了学习性能对权值和学习率的强烈依赖性.在一个流行的ML任务上的实验结果表明，在优化加权方案以考虑延迟时，收敛速度有了显着提高。
2020-08-21 cs.DC cs.LG stat.ML
How Robust is Federated Learning to Communication Error? A Comparison Study Between Uplink and Downlink Channels
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文从理论和实验上比较了联邦学习在上行与下行链路通信错误下的鲁棒性，揭示了客户端数量与参数数值范围的关键影响，并量化了上行链路可容忍更高误码率的差异。
2024-01-12 cs.LG
