Efficient Model Compression for Hierarchical Federated Learning
School of Systems Science and Engineering, Sun Yat-Sen University（中山大学系统科学与工程学院）；School of Intelligent Systems Engineering, Sun Yat-Sen University（中山大学智能工程学院）
本文提出一种结合聚类与模型压缩的分层联邦学习框架，通过自适应聚类和带压缩的本地聚合算法，在保持预测精度的同时显著降低通信能耗。
2024-05-27 cs.DC cs.LG
FedSynth: Gradient Compression via Synthetic Data in Federated Learning
CMU（卡内基梅隆大学）；Meta
模型压缩在联邦学习（FL）中具有重要的意义，可以减少大模型的通信开销。先前的工作一直集中在基于稀疏化的压缩，这可能会严重影响全局模型的准确性。在这项工作中，我们提出了一个新的方案，而不是传输模型更新，每个客户端学习和传输一个轻量级的合成数据集，使它作为训练数据，该模型表现同样好的真实训练数据。服务器将通过合成数据恢复本地模型更新并应用标准聚合。然后，我们提供了一个新的算法FedSynth本地学习的合成数据。从经验上讲，我们发现我们的方法在所有三个常见的联邦学习基准数据集中与随机掩蔽基线相当/更好。
2022-04-04 cs.LG
Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong Baptist University（香港浸会大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对联邦学习中异构带宽和非独立同分布数据导致的落后者与性能下降问题，提出带宽感知压缩框架，通过动态调整压缩率及参数掩码加权平均，显著提升模型准确率与收敛速度。
2024-08-27 cs.DC cs.LG
Caesar: A Low-deviation Compression Approach for Efficient Federated Learning
University of Science and Technology of China（中国科学技术大学）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）；Guangdong OPPO Mobile Telecommunications Corp., Ltd.（广东欧珀移动通信有限公司）
Caesar提出一种低偏差压缩联邦学习框架，通过贪心压缩比优化、梯度重要性量化和细粒度批量优化，在保持模型精度的同时显著降低通信流量成本。
2024-12-28 cs.DC cs.LG
FLECS-CGD: A Federated Learning Second-Order Framework via Compression and Sketching with Compressed Gradient Differences
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在最近的论文FLECS（Agafonov et al，FLECS：A联邦学习Second-Order Framework via Compression and Sketching）中，针对联邦学习问题提出了二阶框架FLECS。该方法利用Hessian草图的压缩，使通信成本低。然而，FLECS的主要瓶颈是没有压缩的梯度通信。在本文中，我们提出了修改的FLECS压缩梯度差异，我们称之为FLECS-CGD（FLECS压缩梯度差异），使其适用于随机优化。在强凸和非凸的情况下提供收敛保证。实验结果表明，该方法具有较好的实用价值.
2022-10-18 cs.LG math.OC
Federated Learning with Compression: Unified Analysis and Sharp Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在联邦学习中，通信成本通常是扩展分布式优化算法的关键瓶颈，以从具有潜在不可靠或有限通信和异构数据分布的数百万设备协作学习模型。两个显着的趋势，以处理联邦算法的通信开销是梯度压缩和定期通信的本地计算。尽管进行了许多尝试，但事实证明，描述这两种方法之间的关系是难以捉摸的。我们解决这个问题，提出了一套定期压缩（量化或稀疏化）通信算法，并分析其收敛特性，在同质和异构的本地数据分布设置。对于齐次设置，我们的分析，提高了现有的边界提供更严格的收敛速度强凸和非凸目标函数。为了减轻数据的异质性，我们引入了一个局部梯度跟踪计划，并获得尖锐的收敛速度，匹配最知名的通信复杂性，而不压缩凸，强凸，和非凸设置。我们补充了我们的理论结果，并证明了我们提出的方法的有效性，在现实世界的数据集上的几个实验。
2020-11-21 cs.DC cs.LG stat.ML
Bayesian Federated Model Compression for Communication and Computation Efficiency
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对联邦学习的通信与计算效率问题，提出融合分层稀疏先验与去中心化Turbo框架的D-Turbo-VBI算法，可双向降低通信开销与本地推理复杂度，且已证明收敛性，实验效果优于基线。
2024-04-11 cs.AI cs.DC cs.LG
Online Model Compression for Federated Learning with Large Models
Google LLC（谷歌有限责任公司）
本文讨论了在联邦学习设置下训练大型神经网络模型的挑战：高设备内存使用率和通信成本。提出的在线模型压缩（OMC）提供了一个框架，以压缩格式存储模型参数，并只在需要时解压缩。本文采用量化作为压缩方法，并提出了三种方法，（1）使用每变量变换，（2）权重矩阵仅量化，（3）部分参数量化，以尽量减少对模型精度的影响。根据我们对最近两个用于语音识别的神经网络和两个不同数据集的实验，与全精度训练相比，OMC可以将模型参数的内存使用和通信成本降低高达59%，同时获得相当的准确性和训练速度。
2022-05-06 cs.LG
Wyner-Ziv Gradient Compression for Federated Learning
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于客户端有限的通信资源和大量的模型参数，大规模分布式学习任务遭受通信瓶颈。梯度压缩是一种通过传输压缩后的梯度来降低通信负载的有效方法。在随机梯度下降的情况下，相邻轮次之间的梯度可能具有很高的相关性，因为它们希望学习相同的模型。本文提出了一种实用的联邦学习梯度压缩方案，该方案使用历史梯度来压缩梯度，基于Wyner-Ziv编码，但没有任何概率假设。我们还在真实数据集上实现了我们的梯度量化方法，我们的方法的性能优于以前的方案。
2021-11-16 cs.LG
MUFFLe: Efficient Model Update Compression via Generalized Deduplication for Federated Learning
Innovation Foundation Denmark（丹麦创新基金会）
提出MUFFLe方案，将广义去重（GD）集成到FedAvg中，通过去重更新向量中的重复模式实现固定速率、可变计数的压缩，在IID MNIST上以38 MB累积上行通信达到92.93%目标精度。
2026-06-15 cs.LG
A Full Compression Pipeline for Green Federated Learning in Communication-Constrained Environments
Chair of Information Theory and Data Analytics (INDA), RWTH Aachen University（信息理论与数据分析教授职位（INDA），亚琛工业大学）
本文提出一种完整压缩流水线FCP，通过整合剪枝、量化和霍夫曼编码技术，减少联邦学习中的通信和计算开销，提升效率与可持续性。
2026-04-14 cs.DC cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架，其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩，隐私是因为用户数据通常是敏感的，压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中，我们采取了全面的问题，并设计了一个家庭的隐私意识的压缩机制，适用于任何给定的通信预算。首先，我们提出了一种机制，用于传输一个单一的实数，在一定条件下具有最佳的方差。然后，我们将展示如何将其扩展到位置隐私用例的度量差分隐私，以及向量，以应用于联邦学习。我们的实验表明，我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
Private Federated Learning with Autotuned Compression
The Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
该研究提出无需手动调优压缩率的私有联邦学习通信优化技术，可自适应调整压缩率并保障隐私，在均值估计上实例最优，真实数据集上效果良好。
2023-07-20 cs.LG stat.ML
Beyond Uniform Compression: Budgeted Transmission Allocation for Extreme Federated Learning
Centre for the Science of Learning & Technology (SLATE), University of Bergen（卑尔根大学学习与技术科学中心（SLATE））
针对联邦学习均匀压缩浪费带宽的问题，提出逐层预算化自适应传输（LBAT），将通信视为资源分配，动态估计层价值并用动态规划优化秩和位配置，在极端预算下优于现有基线。
2026-10-01 cs.LG
Compression with Exact Error Distribution for Federated Learning
École Polytechnique IPParis（巴黎综合理工学院）；Chinese University of Hong Kong（香港中文大学）
本文提出在联邦学习中通过分层量化聚合实现精确高斯或拉普拉斯误差分布的压缩方法，并证明其可在差分隐私应用中免压缩代价地恢复和改进朗之万动力学及随机平滑等标准方案。
2023-10-31 cs.IT cs.LG math.IT
Federated Neural Compression Under Heterogeneous Data
University of Pennsylvania（宾夕法尼亚大学）
本文研究统计异构联邦场景下的学习式压缩问题，提出共享分析/合成变换并个性化熵模型的联邦神经压缩方法，实验表明其优于纯本地方法。
2023-05-25 cs.IT cs.LG math.IT
HCFL: A High Compression Approach for Communication-Efficient Federated Learning in Very Large Scale IoT Networks
Pusan National University（釜山大学）；University of Technology Sydney（悉尼科技大学）
联邦学习（FL）是一种新的人工智能概念，它使物联网（IoT）设备能够学习协作模型，而无需将原始数据发送到集中式节点进行处理。尽管有许多优点，但物联网设备的低计算资源和交换模型参数的高通信成本使得FL在大规模物联网网络中的应用非常有限。在这项工作中，我们为FL开发了一种新的压缩方案，称为高压缩联邦学习（HCFL），用于超大规模物联网网络。HCFL可以在不改变FL过程的结构和超参数的情况下减少FL过程的数据负载。通过这种方式，我们不仅可以显着降低通信成本，而且还可以使强化学习过程在低计算资源的物联网设备上更具适应性。此外，我们还研究了物联网设备数量与FL模型收敛水平之间的关系，从而更好地评估FL过程的质量。我们证明了我们的HCFL计划在模拟和数学分析。我们提出的理论研究可以作为一个最低水平的满意度，证明FL过程中，可以达到良好的性能时，确定的配置得到满足。因此，我们证明了HCFL适用于任何具有众多物联网设备的FL集成网络。
2022-06-21 cs.AI cs.DC cs.LG
Optimal Gradient Compression for Distributed and Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
在分布式和联邦学习中的计算节点之间传递信息（如梯度向量）通常是不可避免的负担，从而导致可伸缩性问题。事实上，沟通可能会很慢，而且成本很高。通信高效训练算法的最新进展已经通过使用压缩技术以稀疏化、量化或低秩近似的形式减少了这个瓶颈。由于压缩是一个有损的或不精确的过程，迭代复杂性通常会恶化;但总的通信复杂性可以显著改善，可能导致大量的计算时间节省。在本文中，我们调查的基本平衡之间的比特数需要编码压缩矢量和压缩误差。我们执行最坏情况和平均情况下的分析，提供严格的下限。在最坏情况下的分析，我们引入了一个有效的压缩算子，稀疏抖动，这是非常接近的下限。在平均情况分析中，我们设计了一个简单的压缩运算符Spherical Compression，它自然达到了下界。因此，我们的新的压缩方案显着优于国家的最先进的。我们进行数值实验来说明这种改进。
2020-10-07 cs.LG math.OC
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）
针对联邦学习客户端优化中加速与稳定性难以兼顾的问题，提出FedCAda，通过客户端Adam矩估计自适应修正和服务器端参数聚合，在CV与NLP任务上实现更优收敛、稳定性和整体性能。
2024-05-20 cs.DC cs.LG
FedGreen: Federated Learning with Fine-Grained Gradient Compression for Green Mobile Edge Computing
Guangdong University of Technology（广东工业大学）；University of Houston（休斯顿大学）
FedGreen通过细粒度梯度压缩和精度-能效权衡优化，在保证80%测试精度下将移动边缘计算联邦学习的设备总能耗至少降低32%。
2021-11-11 cs.LG
DoCoFL: Downlink Compression for Cross-Device Federated Learning
Technion（以色列理工学院）；VMware Research（威睿研究）
针对跨设备联邦学习中一次性客户端必须下载完整模型的问题，提出 DoCoFL 下行压缩框架，并可与上行压缩结合实现双向降带宽且保持准确率。
2023-07-13 cs.AI cs.LG stat.ML
An Efficient Gradient-Aware Error-Bounded Lossy Compressor for Federated Learning
Stevens Institute of Technology（史蒂文斯理工学院）；Argonne National Laboratory（阿贡国家实验室）；Hong Kong Polytechnic University（香港理工大学）
针对联邦学习梯度数据平滑性差导致现有误差有界有损压缩器压缩比低的问题，提出利用跨轮次时间相关性和卷积核结构规律性的梯度感知EBLC框架，在APPFL中实现最高1.53倍压缩比提升并将端到端通信时间减少76.1%-96.2%。
2025-11-07 cs.DC cs.LG
Improving Accelerated Federated Learning with Compression and Importance Sampling
University of Oxford（牛津大学）；KAUST（阿卜杜拉国王科技大学）
本文提出融合本地训练、梯度压缩与部分参与的加速联邦学习方法，并通过重要性采样进一步提升性能，给出最先进收敛保证及实验验证。
2023-06-05 cs.LG
GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
University of British Columbia（不列颠哥伦比亚大学）；Purdue University（普渡大学）；Tianjin University（天津大学）
联邦学习（FL）是一种有效的技术，可以直接将边缘设备参与机器学习训练，同时保护客户端隐私。然而，FL的大量通信开销使得当边缘设备具有有限的网络带宽时训练具有挑战性。优化FL带宽的现有工作忽略了下游传输，并且没有考虑FL客户端采样。在本文中，我们提出了一个框架，它结合了新的客户端采样和模型压缩算法，以减轻低下载带宽的FL客户端。GALGOFL优先考虑最近使用的客户端，并限制每轮压缩掩码中更改位置的数量。在三种流行的FL数据集和三种最先进的策略中，GSTYLE FL平均将下游客户端带宽减少了27%，平均将训练时间减少了29%。
2022-12-03 cs.DC cs.LG
Ternary Compression for Communication-Efficient Federated Learning
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）；University of Surrey（萨里大学）；Southern University of Science and Technology（南方科技大学）
对存储在不同位置的海量数据进行学习在许多现实世界的应用中是必不可少的。然而，随着智能移动设备和物联网设备的使用越来越多，对隐私和安全性的要求越来越高，共享数据充满了挑战。联邦学习通过联合训练全局模型而无需将分布在多个设备上的数据上传到中央服务器，为隐私保护和安全机器学习提供了一种潜在的解决方案。然而，现有的联邦学习大多采用全精度权值的机器学习模型，这些模型中几乎都包含大量不需要传输到服务器的冗余参数，消耗了过多的通信开销。为了解决这个问题，我们提出了一个联邦训练的三进制量化（FTTQ）算法，通过自学习的量化因子优化客户端上的量化网络。给出了量化因子的收敛性、FTTQ的无偏性以及减小的权发散的理论证明。在FTTQ的基础上，提出了一种三元联邦平均协议（T-FedAvg），以减少联邦学习系统的上下游通信。在公开数据集上进行了实证实验，以训练广泛使用的深度学习模型，我们的结果表明，与规范的联邦学习算法相比，所提出的T-FedAvg在降低通信成本方面是有效的，甚至可以在非IID数据上实现更好的性能。
2022-03-29 cs.DC cs.LG stat.ML
Toward Efficient Federated Learning in Multi-Channeled Mobile Edge Network with Layerd Gradient Compression
Shanghai University of Electric Power（上海电力大学）；Xiamen University（厦门大学）
联邦学习（FL）的一个基本问题是如何在高度动态的通信环境下实现最佳模型性能。这个问题可以通过现代边缘设备通常可以经由多个通信信道（例如，4G、LTE和5G）。然而，使边缘设备沿着多个信道向FL服务器发送本地模型的副本是冗余的、耗时的，并且将浪费资源（例如，带宽、电池寿命和货币成本）。在本文中，在视频流的分层编码技术的启发下，我们提出了一种新的FL框架称为分层梯度压缩（LGC）。具体而言，在LGC中，来自设备的局部梯度被编码成若干层，并且每一层沿着不同的通道被发送到FL服务器。FL服务器聚合从设备接收的局部梯度层以更新全局模型，并将结果发送回设备。我们证明了LGC的收敛性，并正式定义了资源有效的联邦学习问题与LGC。然后，我们提出了一种基于学习的算法，用于每个设备动态调整其本地计算（即，局部随机下降的数目）和通信决策（即，不同层的压缩级别和层到信道的映射）。大量实验结果表明，与已有的FL算法相比，LGC算法在获得相似精度的同时，显著减少了训练时间，提高了资源利用率。
2021-09-18 cs.AI cs.DC cs.LG
Stochastic Controlled Averaging for Federated Learning with Communication Compression
LinkedIn（领英）；University of Pennsylvania（宾夕法尼亚大学）
针对压缩联邦学习在数据异构、部分参与和压缩误差条件下的性能瓶颈，提出高效随机受控平均实现及 SCALLION、SCAFCOM 两种算法，将上行通信成本减半并取得更优复杂度与实验表现。
2024-04-09 cs.DC cs.LG math.OC
Sequential Compression Layers for Efficient Federated Learning in Foundational Models
Indian Institute of Technology Bombay（印度孟买理工学院）
本文针对联邦学习中LoRA微调性能不佳的问题，提出在Transformer前馈网络的up proj与down proj之间插入小型MLP层的参数高效微调方法，在语言模型和视觉编码器上均优于现有LoRA方案。
2025-03-08 cs.AI cs.LG
Personalized Federated Learning with Bidirectional Communication Compression via One-Bit Random Sketching
本文提出pFed1BS框架，通过一比特随机草图实现个性化联邦学习中的通信压缩，结合符号正则化和快速哈达玛变换，有效降低通信成本并保持性能
2026-02-02 cs.LG
BICompFL: Stochastic Federated Learning with Bi-Directional Compression
Technical University of Munich（慕尼黑工业大学）；Israel Institute of Technology（以色列理工学院）；Imperial College London（伦敦帝国学院）
本文提出BICompFL方法，通过双向压缩解决随机联邦学习中的通信瓶颈，在保持最先进准确率的同时将通信成本降低一个数量级。
2025-01-31 cs.DC cs.IT cs.LG
Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
为了减轻分布式和联邦学习中的高通信成本，各种矢量压缩方案，例如量化、稀疏化和抖动，已经变得非常流行。在设计压缩方法时，目的在于尽可能少地传送比特，这最小化每通信回合的成本，而同时试图对所传送的消息赋予尽可能少的失真（变化），这最小化压缩对通信回合的总数的不利影响。然而，直觉上，这两个目标从根本上是冲突的：我们允许的压缩越多，信息就变得越扭曲。我们形式化这种直觉，并证明了随机压缩算子的{ \em不确定性原理}，从而在数学上量化了这种限制，{ \em有效地提供了渐近紧的下限上可能实现的通信压缩}。受这些发展的启发，我们呼吁寻找最佳的压缩算子。在尝试采取在这个方向上的第一步，我们考虑一个无偏的压缩方法的启发Kashin表示的向量，我们称之为{ \em Kashin压缩（KC）}。与所有先前提出的压缩机制相比，KC享有{ \em维度独立}方差界，即使在每个向量条目仅需要传送几个比特的情况下，我们也推导出明确的公式。
2021-01-26 cs.DC cs.IT cs.LG
BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning
Sun Yat-sen University（中山大学）；University of Science and Technology of China（中国科学技术大学）
针对拜占庭攻击下的压缩联邦学习，提出梯度差分压缩降低压缩噪声，结合SAGA消除随机噪声，实现线性收敛且误差与无压缩方法同阶。
2022-04-11 cs.DC cs.LG math.OC
Entropy-Guided Tensor Compression for Multimodal Federated Learning on Edge Devices
FAMU-FSU College of Engineering, Florida State University（佛罗里达农工大学-佛罗里达州立大学工程学院）
针对边缘设备上多模态联邦学习中客户端能力差异问题，提出熵引导的MESH-FL框架，通过截断奇异值分解估计频谱熵，自适应分配MPS压缩秩，实验表明该框架能高效压缩并提升准确率，减少传输数据。
2026-07-09 cs.LG
Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation
Eindhoven University of Technology（埃因霍温理工大学）
本文提出 FedCompress 方法，结合动态权重聚类与服务器端知识蒸馏，在降低联邦学习通信成本的同时学习高泛化模型，并在多个公开数据集上验证了其在通信成本和推理速度上的优势。
2024-02-25 cs.DC cs.LG
SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning
Simon Fraser University（西蒙弗雷泽大学）
本文提出SplitFedZip方法，通过学习型压缩技术有效降低SplitFed学习中的数据传输量，在医学图像分割实验中显著减少通信开销并保持模型准确率。
2024-12-18 cs.LG
Network Adaptive Federated Learning: Congestion and Lossy Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了实现分布式数据的隐私和学习的双重目标，联邦学习（FL）系统依赖于一组客户端和服务器之间频繁交换大文件（模型更新）。因此，FL系统暴露于跨广泛的网络资源集合的拥塞，或者实际上是跨广泛的网络资源集合的拥塞的原因。有损压缩可用于减少交换文件的大小和相关延迟，代价是向模型更新添加噪声。通过明智地调整客户端的压缩以适应不同的网络拥塞，FL应用程序可以减少挂钟训练时间。为此，我们提出了一个网络自适应压缩（NAC-FL）的政策，它动态地改变客户端的有损压缩选择网络拥塞的变化。在适当的假设下，我们证明了NAC-FL在直接最小化预期挂钟训练时间方面是渐近最优的。此外，我们通过模拟表明，NAC-FL实现了鲁棒的性能改进，在设置中具有更高的增益与时间上的正相关延迟。
2023-01-11 cs.LG cs.NI math.PR
FEDZIP: A Compression Framework for Communication-Efficient Federated Learning
Semnan University（塞姆南大学）；Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；Boston University（波士顿大学）
联邦学习通过保护用户隐私和保护原始数据免受第三方访问，标志着无线设备分散式机器学习（尤其是深度学习）实现的转折点。它将学习过程独立分配给每个客户。首先，客户端基于本地数据本地训练机器学习模型。接下来，客户端将模型权重和偏差的本地更新（训练数据）传输到服务器。然后，服务器聚合（从客户端接收的）更新以创建全局学习模型。然而，由于深度学习模型使用大量参数（权重和偏差），客户端和服务器之间的连续传输增加了通信成本，并且从资源利用的角度来看是低效的。当捐款客户和沟通回合数增加时，沟通成本成为一个更大的问题。在这项工作中，我们提出了一个新的框架，FedZip，显着减少更新的大小，同时从客户端和服务器之间的深度学习模型转移权重。FedZip实现了Top-z稀疏化，使用量化和聚类，并使用三种不同的编码方法实现压缩。FedZip优于最先进的压缩框架，压缩率高达1085倍，并在通信过程中为客户端保留高达99%的带宽和99%的能量。
2021-02-02 cs.LG
Personalized Federated Learning with Communication Compression
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Southern Denmark（南丹麦大学）
与在数据中心训练传统的机器学习（ML）模型相比，联邦学习（FL）在资源受限的异构边缘设备上包含的本地数据集上训练ML模型。现有的FL算法旨在为所有参与设备学习单个全局模型，由于设备间数据的异质性，这可能对参与训练的所有设备都没有帮助。最近，Hanzely和Richtárik（2020）提出了一种用于训练个性化FL模型的新公式，旨在平衡传统全局模型和仅使用其私有数据的单个设备可以训练的局部模型之间的权衡。他们推导出一种新的算法，称为无环梯度下降（L2GD），以解决它，并表明，这种算法导致改善通信复杂性保证制度时，需要更多的个性化。在本文中，我们配备他们的L2GD算法与双向压缩机制，以进一步减少本地设备和服务器之间的通信瓶颈。与FL设置中使用的其他基于压缩的算法不同，我们的压缩L2GD算法在概率通信协议上运行，其中通信不会按照固定的时间表发生。此外，我们的压缩L2GD算法保持了类似的收敛速度香草SGD没有压缩。为了从经验上验证我们的算法的效率，我们进行了不同的数值实验，凸和非凸的问题，并使用各种压缩技术。
2022-09-12 cs.AI cs.DC cs.LG
Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
我们引入了一个框架- Artemis -来解决在分布式或联邦设置与通信约束和设备部分参与的学习问题。几个工人（随机抽样）使用中央服务器执行优化过程，以聚合他们的计算。为了减轻通信成本，Artemis允许压缩在两个方向（从工作者到服务器，反之亦然）发送的信息，并结合内存机制。它改进了现有的算法，这些算法只考虑单向压缩（到服务器），或者对压缩算子使用非常强的假设，并且通常不考虑设备的部分参与。我们提供快速的收敛速度（线性阈值）弱假设下的随机梯度（噪声的方差界仅在最佳点）在非独立同分布。设置，突出显示单向和双向压缩的内存影响，分析Polyak-Ruppert平均值。我们使用收敛分布，以获得一个下限的渐近方差，突出了实际的限制压缩。我们提出了两种方法来解决具有挑战性的情况下，设备部分参与，并提供实验结果来证明我们的分析的有效性。
2022-06-19 cs.LG stat.ML
CFedAvg: Achieving Efficient Communication and Fast Convergence in Non-IID Federated Learning
The Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
联邦学习（Federated learning，FL）是一种流行的分布式学习范式，其中大量的工作者在不共享他们的训练数据的情况下共同学习模型。然而，由于大规模（深度）学习模型和带宽受限的连接，FL中可能会出现高通信成本。在本文中，我们介绍了一个通信效率的算法框架，称为CFedAvg FL与非i.i.d.数据集，它与一般（有偏或无偏）SNR约束的压缩器一起工作。我们分析了CFedAvg的收敛速度与常数和衰减学习率的非凸函数。CFedAvg算法可以实现具有恒定学习速率的$\mathcal{O}(1 / \sqrt{mKT} + 1 / T)$收敛速率，这意味着随着工作器数量的增加，收敛的线性加速，其中$K$是局部步骤的数量，$T$是总通信轮的数量，以及$m$是总工作器数量。这与分布式/联邦学习的收敛速度相匹配，而无需压缩，从而实现了高通信效率，同时不会牺牲FL中的学习精度。此外，我们将CFedAvg扩展到具有异构本地步骤的情况下，这允许不同的工人执行不同数量的本地步骤，以更好地适应自己的情况。一般来说，有趣的观察是压缩器引入的噪声/方差不影响非独立同分布的总体收敛速率阶。我们验证了我们的CFedAvg算法的有效性在三个数据集上的两个梯度压缩方案的不同压缩比。
2021-06-14 cs.DC cs.LG
Adaptive Compression in Federated Learning via Side Information
Stanford University（斯坦福大学）；University of Padova（帕多瓦大学）；Imperial College London（伦敦帝国学院）
针对联邦学习的高通信成本瓶颈，提出利用服务器端全局分布边信息的自适应压缩框架，通过KL散度优化通信量，在保持或提升准确率的同时实现高达2650倍的整体压缩。
2024-04-22 cs.DC cs.LG stat.ML
Reconciling Security and Communication Efficiency in Federated Learning
Meta AI
跨设备联邦学习是一种越来越流行的机器学习设置，通过利用大量具有高度隐私和安全保证的客户端设备来训练模型。然而，当将联邦学习扩展到生产环境时，通信效率仍然是一个主要瓶颈，特别是由于上行链路通信期间的带宽限制。在本文中，我们正式和解决的问题，压缩客户端到服务器的模型更新下的安全聚合原语，联邦学习管道，允许服务器聚合客户端更新，而无需单独访问它们的核心组件。特别是，我们适应标准的标量量化和修剪方法安全聚合，并提出安全索引，安全聚合的一个变种，支持量化的极端压缩。我们在安全的联邦学习设置中建立了LEAF基准测试的最新结果，在上行链路通信中进行了多达40次$\times$压缩，与未压缩的基线相比，效用没有任何有意义的损失。
2022-07-26 cs.AI cs.DC cs.LG
Better Methods and Theory for Federated Learning: Compression, Client Selection and Heterogeneity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
联邦学习（FL）是涉及多个客户端的新兴机器学习范例，例如，移动电话设备，具有协作解决由中央服务器协调的机器学习问题的激励。FL是由Konečnet al.和McMahan et al.在2016年提出的，作为传统集中式机器学习的一种可行的隐私保护替代方案，因为通过构造，训练数据点是分散的，并且永远不会由客户端传输到中央服务器。因此，FL在一定程度上减轻了与集中式数据汇集相关的隐私风险。不幸的是，FL的优化面临着集中式优化通常不需要处理的几个特定问题。在这篇论文中，我们确定了这些挑战中的一些，并提出了新的方法和算法来解决这些问题，最终目标是使实际的FL解决方案支持数学上严格的保证。
2022-07-01 cs.LG stat.ML
To Talk or to Work: Flexible Communication Compression for Energy Efficient Federated Learning over Heterogeneous Mobile Edge Devices
Xidian University（西安电子科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Houston（休斯顿大学）
机器学习、无线通信和移动硬件技术的最新进展有望在大规模移动边缘设备上实现联邦学习（FL），这为众多智能移动应用开辟了新的视野。尽管有潜在的好处，FL由于周期性的全球同步和连续的本地训练，对参与设备施加了巨大的通信和计算负担，对电池受限的移动设备提出了巨大的挑战。在这项工作中，我们的目标是在移动边缘网络上提高FL的能源效率，以适应异构参与设备，而不牺牲学习性能。为此，我们开发了一个收敛保证FL算法，使灵活的通信压缩。在导出的收敛界的指导下，我们设计了一个压缩控制方案来平衡本地计算的能量消耗（即，“工作”）和无线通信（即，（二）从长期学习的角度。特别是，压缩参数精心选择FL参与者适应他们的计算和通信环境。大量的模拟使用各种数据集进行验证我们的理论分析，结果也表明所提出的方案在节能的有效性。
2020-12-22 cs.AI cs.LG
Federated learning compression designed for lightweight communications
IMT Atlantique（IMT大西洋大学）；Mines Saint-Etienne（圣艾蒂安矿业学院）
本文研究压缩技术对联邦学习图像分类任务的影响，提出一种简单方法，在压缩消息高达50%的同时保持精度损失小于1%，与最先进技术相当。
2023-10-23 cs.LG eess.SP
Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth
Zhejiang Lab（之江实验室）
本文针对联邦学习中客户端带宽动态变化且异构导致通信效率低的问题，提出 AdapComFL 算法，通过带宽感知与预测、基于改进 sketch 机制的自适应模型压缩及服务器对不同大小 sketch 模型的聚合，在真实带宽数据和基准数据集上验证了其在通信效率和准确率上的优势。
2024-05-06 cs.AI cs.LG
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率，通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Compression Boosts Differentially Private Federated Learning
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；BME-HIT（布达佩斯技术与经济大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
联邦学习允许分布式实体协作地训练公共模型，而无需共享它们自己的数据。虽然它通过仅交换参数更新来防止数据汇集和聚合，但是它仍然容易受到各种推断和重建攻击，其中恶意实体可以从捕获的梯度中学习关于参与者的训练数据的私有信息。差分隐私是用来获得理论上健全的隐私保证，对这种推理攻击的噪声交换的更新向量。然而，增加的噪声与模型大小成比例，对于现代神经网络，模型大小可以非常大。这可能导致模型质量差。在本文中，压缩感知被用来减少模型的大小，从而提高模型的质量，而不牺牲隐私。我们使用2个数据集进行了实验，结果表明，与传统的非私有联邦学习方案相比，我们的隐私保护方案可以减少高达95%的通信成本，而性能损失可以忽略不计。
2020-11-10 cs.CR cs.LG
Privacy-Aware Compression for Federated Learning Through Numerical Mechanism Design
Meta AI
本文提出插值MVU机制，通过在数值设计中引入插值程序提升隐私分析效率，实现更优的隐私-效用权衡与通信高效私有联邦学习。
2023-08-10 cs.CR cs.LG
Optimal Rate Adaption in Federated Learning with Compressed Communications
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；School of Computing, Faculty of Science and Engineering, Macquarie University（麦考瑞大学科学与工程学院计算机学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computing Science, Simon Fraser University（西蒙弗雷泽大学计算科学学院）
联邦学习（FL）会产生很高的通信开销，这可以通过模型更新压缩来大大缓解。然而，在网络环境中的压缩和模型精度之间的权衡仍然不清楚，为了简单起见，大多数实现仅采用固定的压缩率。在本文中，我们第一次系统地研究这种权衡，确定压缩误差对最终模型精度的影响相对于学习率。具体来说，我们的因素的压缩误差的每个全球迭代到收敛速度分析下的强凸和非凸损失函数。然后，我们提出了一个自适应框架，以最大限度地提高最终模型的准确性，通过战略性地调整压缩率在每次迭代。我们已经讨论了我们的框架在实际网络中具有代表性的压缩算法的关键实现问题。在流行的MNIST和CIFAR-10数据集上的实验证实，我们的解决方案有效地减少了网络流量，同时保持了FL中的高模型精度。
2021-12-13 cs.IT cs.LG math.IT
Compression Footprints as Security Signals for Model-Poisoning Defense in Federated Learning
Stevens Institute of Technology（史蒂文斯理工学院）
本研究提出将有损压缩的响应作为安全信号，通过压缩足迹区分诚实与恶意更新，并开发CRAFT鲁棒聚合方法，在无需额外通信下有效防御模型投毒攻击。
2026-10-01 cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University（南京大学）
联邦学习（FL）是近年来的研究热点，其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而，这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战，我们从理论上分析了通信压缩方法应满足的条件，以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发，我们提出了一种新的通信压缩方法，称为共识稀疏化（ConSpar）。据我们所知，ConSpar是第一种通信压缩方法，旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上，我们进一步提出了一个新的FL框架FedREP，它是拜占庭式的鲁棒性，通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明，FedREP可以显着优于通信效率的隐私保护基线。此外，与拜占庭强大的通信效率基线相比，FedREP可以实现相当的准确性，并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Resource Allocation for Compression-aided Federated Learning with High Distortion Rate
Sejong University（世宗大学）；Pusan National University（釜山国立大学）
最近，已经进行了大量的工作来解决联邦学习（FL）中的通信负担（例如，模型量化、数据稀疏化和模型压缩）。然而，现有的方法，提高FL的通信效率，导致通信效率和全局收敛速度之间的相当大的权衡。我们为压缩辅助FL制定了一个优化问题，该问题捕获了失真率、参与物联网设备数量和收敛率之间的关系。然后，目标函数是最小化FL收敛的总传输时间。由于问题是非凸的，我们建议将其分解成子问题。基于FL模型的属性，我们首先确定参与FL过程的IoT设备的数量。然后，通过基于联盟游戏有效地分配无线资源来优化IoT设备和服务器之间的通信。我们的理论分析表明，通过主动控制参与物联网设备的数量，我们可以避免压缩辅助FL的训练发散，同时保持通信效率。
2022-06-02 cs.AI cs.IT cs.LG
Communication Optimization in Large Scale Federated Learning using Autoencoder Compressed Weight Updates
Intel Corporation（英特尔公司）；PES University（PES大学）
联邦学习（FL）解决了近十年来有关数据隐私和计算挑战的许多问题。FL确保没有数据离开其源，因为模型是在数据所在的位置进行训练的。然而，FL也面临着自己的一系列挑战。在这种分布式环境中，模型权重更新的通信伴随着显著的网络带宽成本。在这种情况下，我们提出了一种使用自动编码器（AE）压缩权重更新的机制，该机制学习权重更新的数据特征并随后执行压缩。编码器设置在执行训练的每个节点上，而解码器设置在聚合权重的节点上。这种设置通过编码器实现压缩，并在每个通信回合结束时使用解码器重新创建权重。本文表明，动态和正交AE为基础的重量压缩技术可以作为一个有利的替代（或附加）在一个大规模的FL，因为它不仅实现了压缩比范围从500倍到1720倍及以上，但也可以修改的精度要求，计算能力，和其他要求的FL设置的基础上。
2021-08-12 cs.AI cs.DC cs.LG
