Quantized and Asynchronous Federated Learning
Center for Pervasive Communications & Computing（普适通信与计算中心）；University of California, Irvine（加州大学欧文分校）
针对异步联邦学习缺乏量化机制以应对通信瓶颈的问题，提出带隐状态量化和更新缓冲的QAFeL算法，避免直接量化的误差传播，在非凸目标下实现最优遍历收敛率，且无需梯度有界或客户端均匀到达假设。
2024-09-30 cs.LG eess.SP math.OC
Promoting Data and Model Privacy in Federated Learning through Quantized LoRA
School of Computer Science, Fudan University（复旦大学计算机科学学院）
本文提出 FedLPP 框架，结合参数量化与 LoRA，在联邦微调 LLM 时同时保护数据与模型隐私、降低通信成本，并保持中心模型良好泛化。
2024-06-16 cs.CL cs.CR cs.LG
Energy-Efficient Quantized Federated Learning for Resource-constrained IoT devices
2 CentraleSup\'elec, University of Paris-Saclay, France Email
本文提出一种面向资源受限IoT设备的联邦学习框架，集成有限块长传输、模型量化与错误感知聚合机制，并优化上行功率，实现高达75%的能耗降低且保持模型准确率。
2025-09-16 cs.DC cs.LG
GQ-FSL: Green Quantized Federated Split Learning Framework for Wireless Edge Networks
针对无线边缘部署DNN的能量瓶颈，提出GQ-FSL框架，通过非对称精度的随机量化优化，实现资源受限设备上DNN的高效部署，能量效率优于量化联邦学习及全精度FSL。
2026-08-20 cs.DC cs.LG eess.SP
Wireless Quantized Federated Learning: A Joint Computation and Communication Design
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
最近，联邦学习（FL）作为一种有前途的分散式机器学习方法引起了广泛的关注，它提供了隐私和低延迟。然而，通信瓶颈仍然构成一个问题，需要解决的FL在无线网络上的有效部署。在本文中，我们的目标是最大限度地减少FL的总收敛时间，通过量化的本地模型参数之前，上行链路传输。更具体地说，FL算法与随机量化的收敛性分析，揭示了量化误差对收敛速度的影响。在此之后，我们共同优化计算，通信资源和量化位数，以保证最小化的收敛时间在所有的全球轮，受到能量和量化误差的要求，这源于收敛分析。量化误差对收敛时间的影响进行了评估，并揭示了模型精度和及时执行之间的权衡。此外，所提出的方法被证明是导致更快的收敛与基线计划相比。最后，有用的见解的量化误差容限的选择提供。
2022-03-11 cs.LG eess.SP
Federated Learning for Cellular-connected UAVs: Radio Mapping and Path Planning
University of Toronto（多伦多大学）
为了延长无人机的使用寿命，需要无人机在尽可能短的时间内完成任务。除了这个要求之外，在许多应用中，无人机在飞行期间需要可靠的互联网连接。在本文中，我们最小化的旅行时间的无人机，确保概率连通性约束得到满足。为了解决这个问题，我们需要一个全局模型的中断概率的环境。由于无人机有不同的任务，飞越不同的区域，它们收集的数据携带了网络连接的本地信息。因此，无人机不能依靠自己的经验来建立全球模型。这个问题影响了无人机的路径规划。为了解决这个问题，我们采用了两步走的方法。在第一步中，通过使用联邦学习（FL），无人机协作建立环境中的中断概率的全局模型。第二步，利用第一步得到的全局模型和快速搜索随机树，提出了一种无人机路径优化算法。仿真结果表明了该方法的有效性。
2020-08-23 cs.AI cs.LG eess.SP
Spatio-Temporal Federated Learning for Massive Wireless Edge Networks
Mississippi State University（密西西比州立大学）；National Yang Ming Chiao Tung University（阳明交通大学）；Texas Tech University（德克萨斯理工大学）
本文提出了一种新的方法来进行高效的联邦学习（FL）在一个大规模的无线边缘网络，其中一个边缘服务器和众多的移动设备（客户端）共同学习的全球模型，而无需传输大量的数据收集的移动设备到边缘服务器。所提出的FL方法被称为时空FL（STFL），其联合利用来自不同移动设备的学习更新之间的空间和时间相关性，所述不同移动设备被安排在各种训练时期中加入STFL。STFL模型不仅代表了由于数据传输中断而导致的从边缘服务器到移动设备的实际间歇学习行为，而且还具有补偿丢失学习更新的机制，以减轻间歇学习的影响。提出了一个STFL的分析框架，并通过其收敛性能研究了STFL的学习能力。特别是，我们评估了数据传输中断，间歇性学习缓解和数据集的统计异质性对STFL收敛性能的影响。研究结果为基于STFL的无线网络的设计和分析提供了重要的见解。
2022-01-21 cs.LG cs.NI eess.SP
GQFedWAvg: Optimization-Based Quantized Federated Learning in General Edge Computing Systems
School of EIEE, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；IoT Thrust, the HKUST (GZ)（香港科技大学（广州）物联网枢纽）；Department of ECE, the HKUST（香港科技大学电子与计算机工程学系）
本文提出基于优化的量化联邦学习算法GQFedWAvg，通过随机量化方案与加权平均SGD适应异构边缘计算资源，并在时能约束下利用GIA解决非凸参数优化问题，显著提升了收敛性能。
2023-11-18 cs.DC cs.LG
Energy-Aware Federated Learning with Distributed User Sampling and Multichannel ALOHA
University of Oulu（奥卢大学）；Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文针对边缘设备能量受限问题，提出将能量收集设备集成到具有多信道ALOHA的联邦学习网络中，设计方法确保低能量中断概率和任务成功执行，在收敛时间和电池电量上优于基于范数的方案。
2023-09-12 cs.IT cs.LG eess.SP
Communication Efficient Federated Learning over Multiple Access Channels
University of Arizona（亚利桑那大学）
在这项工作中，我们研究的问题，联邦学习（FL），分布式用户的目标是共同训练的机器学习模型的帮助下，参数服务器（PS）。在FL的每次迭代中，用户计算局部梯度，然后传输量化梯度，用于PS处的后续聚合和模型更新。FL的挑战之一是由于FL的迭代性质和大的模型大小而导致的通信开销。一个最近的方向，以减轻FL中的通信瓶颈是让用户同时进行通信的多址接入信道（MAC），可能更好地利用通信资源。在本文中，我们考虑的问题FL学习的MAC。特别是，我们专注于设计的数字梯度传输方案在MAC上，在每个用户的梯度首先被量化，然后通过MAC被单独解码在PS发送。当设计MAC上的数字FL方案时，存在基于a）每个用户处的梯度的信息性和b）基础信道条件向不同用户分配不同量的资源（诸如速率或带宽）的新机会。我们提出了一种随机梯度量化方案，其中的量化参数进行了优化的基础上的容量区域的MAC。我们表明，这种信道感知量化FL优于均匀量化，特别是当用户遇到不同的信道条件，当有梯度与不同程度的信息。
2020-01-23 cs.IT cs.LG math.IT
Rate-Constrained Quantization for Communication-Efficient Federated Learning
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
本文提出 RC-FED 框架，在保真度与编码速率约束下联合优化梯度量化，以最小化失真并降低联邦学习通信开销，同时证明其收敛性和优于基线的性能。
2024-09-10 cs.LG eess.SP
Federated Learning via Lattice Joint Source-Channel Coding
KTH Royal Institute of Technology（KTH皇家理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对无线联邦学习，提出一种基于格型联合信源信道编码的数字空中计算框架及两层接收机，可在无设备端CSI时可靠聚合参数，并显著优于现有空中FL策略。
2024-03-01 cs.IT cs.LG math.IT
Bayesian Federated Learning over Wireless Networks
POSTECH（浦项科技大学）；Hanyang University（汉阳大学）；Weizmann Institute of Science（魏茨曼科学研究所）
联邦学习是一种隐私保护和分布式训练方法，使用存储在本地设备上的异构数据集。无线网络上的联合学习需要在服务器处聚合本地计算的梯度，其中移动设备通过异构通信链路发送统计上不同的梯度信息。本文提出了一种贝叶斯联邦学习（BFL）算法，在最小化均方误差（MSE）的意义下，最佳地聚集异构量化梯度信息。BFL的思想是通过联合利用i）局部梯度的先验分布、ii）梯度量化器函数和iii）信道分布来在服务器处聚合一位量化的局部梯度。随着移动设备数量的增加，实现BFL需要很高的通信和计算成本。为了解决这个问题，我们还提出了一个有效的修改BFL算法称为可扩展BFL（SBFL）。在SBFL中，我们假设局部梯度上的简化分布。每个移动终端发送其一比特量化局部梯度以及表示该分布的两个标量参数。然后，服务器聚合噪声和褪色的量化梯度以最小化MSE。我们提供了一类非凸损失函数的SBFL的收敛性分析。我们的分析阐明了如何通信信道的参数和梯度先验影响收敛。从模拟中，我们证明了SBFL大大优于传统的符号随机梯度下降算法时，训练和测试神经网络在异构无线网络上使用MNIST数据集。
2020-12-31 cs.LG eess.SP
Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design
Virginia Tech（弗吉尼亚理工大学）；Ericsson Research（爱立信研究院）；Khalifa University of Science and Technology（哈利法科学技术大学）
针对无线网络联邦学习的能耗与通信开销问题，提出基于QNN的绿色量化FL框架，联合优化本地迭代、设备选择及训练与传输精度，可在不损害收敛速率下将收敛前能耗最高降低70%。
2023-07-11 cs.LG
Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks
University of Electronic Science and Technology of China（电子科技大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Fudan University（复旦大学）；Academy of Mathematics and Systems Science (AMSS), Chinese Academy of Sciences (CAS)（中国科学院数学与系统科学研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
针对无线边缘网络中设备异构导致的通信开销问题，提出基于量化方差缩减的FedQVR算法及其扩展FedQVR-E，实现通信高效且异构鲁棒的联邦学习。
2025-01-20 cs.DC cs.LG
Privacy-Preserving Quantized Federated Learning with Diverse Precision
Department of Electrical Engineering and Computer Science, The University of Kansas（堪萨斯大学电气工程与计算机科学系）；Department of Information and Communications Engineering, Aalto University（阿alto大学信息与通信工程系）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）；School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
本文针对联邦学习中隐私风险与量化分辨率异构导致的学习效用下降问题，提出一种同时实现差分隐私和最小量化误差的随机量化器，并结合集群规模优化与线性融合方法，在数值仿真中验证了其在隐私保护和学习效用上优于传统LaplaceSQ-FL算法。
2025-07-03 cs.LG eess.SP
The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective
The Hong Kong University of Science and Technology（香港科技大学）
该研究从Rényi差分隐私角度分析联邦学习中量化技术的隐私影响，推导量化高斯机制的隐私预算，证明低比特量化可增强隐私保护，并通过成员推理攻击实验验证了理论结论。
2024-05-16 cs.CR cs.DC cs.LG
QFedPolyp: A Communication- and Inference-Efficient Federated Learning Framework for Polyp Segmentation
研究针对息肉分割中集中式学习需共享敏感数据、联邦学习通信成本高的问题，提出QFedPolyp框架，结合量化感知训练与低精度模型通信，经实验验证其能降低通信开销、加快推理速度，适合临床实时部署。
2026-07-28 cs.AI cs.CV cs.LG
Outage behavior of slow fading channels with power control using noisy quantized CSIT
本研究的主题是在多天线慢衰落信道下，量化反馈和部分功率控制的中断行为。一个固定速率的通信系统被认为是。从文献中得知，在无误差反馈的情况下，用于功率控制的中断最优量化器具有循环结构。此外，系统的分集增益与功率控制码本的基数成多项式增加。在这里，一个类似的系统进行了研究，但当反馈链路是容易出错的。我们证明，在高信噪比制度，最佳量化器结构与噪声反馈仍然是圆形的，最佳Voronoi区域是连续的非零概率区间。此外，最优功率控制码本类似于信道优化标量量化器（COSQ），即，Voronoi区域与错误的反馈信息合并。使用COSQ，系统的中断性能优于无反馈方案。然而，渐近分析表明，系统的分集增益是相同的no-CSIT计划，如果有一个非零和非零的反馈错误概率。
2008-04-04 cs.IT math.IT
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google（谷歌）；California Institute of Technology（加州理工学院）
联邦学习使移动设备能够协作学习共享的推理模型，同时将所有训练数据保存在用户的设备上，从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化，从而降低用户和服务器之间的通信成本。同时，安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合，而无需观察任何单独设备的非聚合形式的贡献。在本文中，我们强调了设置安全聚合参数以实现通信效率的一些挑战，特别是在随机旋转实现的积极量化输入的背景下。然后，我们开发了一个自动调整通信高效的安全聚合的配方，基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Imperial College London（伦敦帝国理工学院）
客户端到参数服务器（PS）的间歇性连接是联合边缘学习框架中的主要瓶颈。缺乏恒定的连接性会导致很大的泛化差距，特别是当客户端之间的本地数据分布表现出异质性时。为了克服客户端和中央PS之间的间歇性通信中断，我们引入了协作中继的概念，其中参与的客户端将其邻居的本地更新中继到PS，以提高与PS的连接性差的客户端的参与。我们提出了一个半分散的联邦学习框架，在每个通信回合中，每个客户端最初计算其相邻客户端更新的子集的本地共识，并最终将其自己的更新和其邻居的更新的加权平均值传输到PS。我们适当地优化这些局部共识权重，以确保PS的全局更新是无偏的，方差最小-从而提高收敛速度。对CIFAR-10数据集的数值评估表明，我们的协作中继方法优于基于联邦平均的基准，用于在不连续连接的网络上进行学习，例如当客户端通过毫米波信道进行通信时，间歇性阻塞。
2022-10-21 cs.DC cs.LG cs.MA
Is Phase Shift Keying Optimal for Channels with Phase-Quantized Output?
本文建立了相位量化输出加性高斯白噪声（AWGN）信道的容量。我们表明，旋转的$2^b$相移键控方案是容量实现的输入分布与$b$位相位量化的复杂AWGN信道。然后使用该结果来建立作为平均功率约束$P$和量化比特$b$的函数的信道容量的表达式。在瑞利衰落的情况下，当信道状态信息（CSI）仅在接收端已知时，研究了相位量化系统的中断性能。我们的研究结果表明，存在一个阈值的速率$R$，超过该中断指数的中断概率突然改变。事实上，中断指数中的这种阈值效应导致$2^b$ -PSK在高SNR下具有次优中断性能。
2021-05-05 cs.IT eess.SP math.IT
Compute-Update Federated Learning: A Lattice Coding Approach Over-the-Air
KTH Royal Institute of Technology（KTH皇家理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种基于格编码的联合源信道编码联邦学习框架，实现无信道状态信息的空中计算，通过服务器端解码整数组合进行聚合，显著提升学习精度并优于其他空中方法。
2024-11-05 cs.AI cs.IT cs.LG
Semi-Decentralized Federated Learning with Cooperative D2D Local Model Aggregations
Purdue University（普渡大学）；Arizona State University（亚利桑那州立大学）
联邦学习已经成为一种流行的技术，用于跨无线边缘分布机器学习（ML）模型训练。在本文中，我们提出了两个时间尺度的混合联邦学习（TT-HF），一个半分散的学习架构，结合了传统的设备到服务器的通信模式的联邦学习与设备到设备（D2 D）的通信模型训练。在TT-HF中，在每个全局聚合间隔期间，设备（i）在其个体数据集上执行多个随机梯度下降迭代，以及（ii）通过本地集群内的协作分布式D2 D通信来非周期性地参与其模型参数的共识过程。通过一个新的梯度多样性的一般定义，我们正式研究了TT-HF的收敛行为，得到了分布式ML的新的收敛界。我们利用我们的收敛边界来开发自适应控制算法，该算法随着时间的推移调整TT-HF的步长、D2 D通信轮次和全局聚合周期，以实现O（1/t）的次线性收敛速率，同时最小化网络资源利用率。我们随后的实验表明，TT-HF在本地设备数据集表现出统计异质性的不同场景下，在模型准确性和/或网络能耗方面显著优于联邦学习中的现有技术。最后，我们的数值评估表明对衰落信道引起的中断的鲁棒性，以及良好的性能与非凸损失函数。
2021-09-30 cs.DC cs.LG stat.ML
Communication Efficient Federated Learning with Energy Awareness over Wireless Networks
North Carolina State University（北卡罗来纳州立大学）；Wuhan University（武汉大学）
在联邦学习（FL）中，由于参数服务器和移动设备通过无线链路共享训练参数，因此减少通信开销是最关键的挑战之一。考虑到这一点，我们采用SignSGD的思想，其中只交换梯度的符号。此外，大多数现有工作都假设移动设备和参数服务器都可以获得信道状态信息（CSI），因此移动设备可以采用由信道容量决定的固定传输速率。在这项工作中，仅假设参数服务器侧CSI，并考虑中断的信道容量。在这种情况下，移动设备的一个基本问题是选择适当的本地处理和通信参数（包括传输速率），以实现整体学习性能和它们的能量消耗之间的期望平衡。两个优化问题的制定和解决，优化给定的能耗要求的学习性能，反之亦然。此外，考虑到在FL中数据可能以高度不均匀的方式分布在移动设备上，提出了一种基于随机符号的算法。大量的仿真结果表明了所提出的方法的有效性。
2021-09-05 cs.LG eess.SP stat.ML
FedX: Adaptive Model Decomposition and Quantization for IoT Federated Learning
University at Albany（阿巴拉契亚大学）；Southern Illinois University（南方伊利诺伊大学）；New Jersey Institute of Technology（新泽西理工学院）；Qualcomm Incorporated（高通公司）；Kent State University（凯斯西储大学）
本文提出FedX，一种面向资源受限IoT设备的自适应模型分解与量化联邦学习系统，通过差异化子网络和量化比特分配及服务器端量化提升训练效率，并从理论与实验上验证收敛性。
2025-06-09 cs.LG
Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Miami（迈阿密大学）；Purdue University（普渡大学）；Virginia Tech（弗吉尼亚理工大学）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Peng Cheng Laboratory（鹏城实验室）
本文针对无线网络中联邦学习的通信与计算效率问题，提出可变位宽量化方案，并将其建模为优化问题，通过基于模型的强化学习方法联合优化设备选择与量化位宽，从而在不增加通信开销的情况下缩短收敛时间。
2023-07-11 cs.LG
Federated Learning for Channel Estimation in Conventional and RIS-Assisted Massive MIMO
Duzce University（杜兹杰大学）；University of Hertfordshire（赫特福德大学）；Koc University（科奇大学）
机器学习（ML）以其低复杂度和鲁棒性吸引了物理层设计问题（如信道估计）的极大研究兴趣。经由ML的信道估计需要对数据集进行模型训练，该数据集通常包括作为输入的接收导频信号和作为输出的信道数据。在以前的工作中，模型训练主要是通过集中式学习（CL）完成的，其中整个训练数据集是从基站（BS）的用户收集的。这种方法为数据收集引入了巨大的通信开销。在本文中，为了解决这一挑战，我们提出了一个联邦学习（FL）框架的信道估计。我们设计了一个卷积神经网络（CNN），在用户的本地数据集上训练，而不将它们发送到BS。我们开发了基于FL的信道估计方案，用于常规和RIS（智能反射面）辅助的大规模多输入多输出（多输入多输出）系统，其中单个CNN针对两种情况下的两个不同数据集进行训练。我们评估了噪声和量化模型传输的性能，并表明所提出的方法提供了约16倍的开销比CL低，同时保持令人满意的性能接近CL。此外，所提出的架构具有较低的估计误差比最先进的ML为基础的计划。
2021-11-15 cs.IT cs.LG eess.SP
Outage Probability Expressions for an IRS-Assisted System with and without Source-Destination Link for the Case of Quantized Phase Shifts in $κ-μ$ fading
在这项工作中，我们研究了中断概率（OP）在目的地的智能反射表面（IRS）辅助通信系统在$κ-μ$衰落环境中。一个实际的系统模型，考虑到相位误差的存在，由于量化在IRS时，a）源-目的地（SD）链路存在和b）SD链路不存在。首先，推导出一个精确的表达式，然后我们使用以下方法推导出OP的三个简单近似：（i）单变量降维，（ii）矩匹配和（iii）Kullback-Leibler发散最小化。由此产生的表达式OP是简单的评估和相当紧，即使在尾部区域。这些近似的有效性证明使用广泛的Monte Carlo模拟。我们还研究了可用于量化的比特数，IRS相对于源和目的地的位置以及IRS元素的数量对具有和不具有SD链路的系统的OP的影响。
2021-07-31 cs.IT math.IT
Topology Learning for Heterogeneous Decentralized Federated Learning over Unreliable D2D Networks
School of Computer Science and Technology, Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；University of Electronic Science and Technology of China（电子科技大学）
针对不可靠D2D网络中异构去中心化联邦学习的收敛性下降问题，提出考虑表示差异与不可靠链路的拓扑学习方法ToLRDUL，经实验验证可提升收敛速度与测试准确率。
2024-03-11 cs.LG cs.NI eess.SP
Mixed Precision Quantization to Tackle Gradient Leakage Attacks in Federated Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
联邦学习（FL）使大量参与者之间的协作模型构建成为可能，而不需要显式的数据共享。但是这种方法在隐私推理攻击时表现出漏洞。特别是，在梯度泄漏攻击的情况下，从模型梯度中检索敏感数据的成功率更高，FL模型由于其固有架构中存在通信而面临更高的风险。关于这种梯度泄漏攻击最令人担忧的是，它可以以一种隐蔽的方式执行，这样当攻击者从梯度回溯以获取有关原始数据的信息时，它不会妨碍训练性能。作为该问题的解决方案提出的两种最常见的方法是同态加密和添加具有差分隐私参数的噪声。这两种方法有两个主要缺点。它们是：随着客户端数量的增加，密钥生成过程变得乏味，并且基于噪声的差分隐私遭受全局模型准确度的显著下降。作为一种对策，我们提出了一种混合精度量化FL方案，我们的经验表明，上述两个问题都可以解决。此外，我们的方法可以确保更强的鲁棒性，因为深度模型的不同层以不同的精度和量化模式进行量化。我们用三个基准数据集实证证明了我们方法的有效性，并发现在应用量化后，全局模型的准确性下降最小。
2022-10-22 cs.AI cs.CR cs.CV
Communication-Efficient Federated Learning With Data and Client Heterogeneity
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究所）；Stanford University（斯坦福大学）；Aptos Labs（Aptos实验室）
提出首个同时支持数据异构、部分客户端异步和通信压缩的FedAvg变体，理论分析证明收敛性，在LEAF基准上验证了快速收敛并优于现有方法。
2025-05-22 cs.LG
Efficient Federated Learning over Multiple Access Channel with Differential Privacy Constraints
National Chiao Tung University (NCTU)（国立交通大学）
在本文中，联邦学习（FL）的问题，通过客户端和参数服务器（PS）之间的数字通信通过多访问信道（MAC），也受到差分隐私（DP）的约束，进行了研究。更准确地说，我们考虑这样一种设置，其中集中式网络中的客户端被提示使用其本地数据集来训练机器学习模型。客户端和PS之间的信息交换通过MAC信道进行，并且还必须保留本地数据集的DP。因此，客户端的目标是使训练损失最小化，该训练损失受制于（i）用于在MAC上的可靠通信的速率约束和（ii）在本地数据集上的DP约束。对于这种优化方案，我们提出了一种新的共识方案，其中每个客户端执行数字分布式随机梯度下降（D-DSGD）。为了保持DP，用户还将数字人工噪声添加到局部量化的梯度。该计划的性能进行评估的收敛速度和DP水平为一个给定的MAC容量。通过量化电平和人工噪声参数的选择优化了性能。数值计算结果验证了该方案的性能。
2020-11-01 cs.CR cs.DC cs.IT
Quantized Zero-Energy RIS: Residual Phase Modeling and Outage Analysis
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Information Support Force Engineering University（信息支援部队工程大学）；National University of Defense Technology（国防科技大学）；Southwest Jiaotong University（西南交通大学）；University of Peloponnese（伯罗奔尼撒大学）；University of Patras（帕特雷大学）；University of Ioannina（约阿尼纳大学）；Foundation for Research and Technology Hellas (FORTH)（希腊研究与技术基金会）
本文研究量化零能耗RIS在能量采集与信号反射间的耦合影响，分析时间切换与元素分割方案下的 outage 概率与能效，揭示相位分辨率与HaR方案的关键设计权衡。
2026-04-17 cs.IT math.IT
Energy-Efficient Federated Learning for Edge Real-Time Vision via Joint Data, Computation, and Communication Design
Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；School of Cyber Science and Technology, Beihang University（网络安全科学与技术学院，北京航空航天大学）
针对边缘实时视觉的节能联邦学习，提出FedDPQ框架，联合优化数据增强、剪枝、量化和功率控制，实现高能效与快速收敛。
2025-08-03 cs.DC cs.LG
ScionFL: Efficient and Robust Secure Quantized Aggregation
VMware Research Group（威睿研究集团）；Technical University of Darmstadt（达姆施塔特工业大学）；Aptos Labs（Aptos实验室）；Bar-Ilan University（巴伊兰大学）；Technology Innovation Institute（技术创新研究院）；DFINITY Foundation（DFINITY基金会）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
该研究提出ScionFL框架，结合安全多方计算与多种1比特量化方案，实现了通信高效且能抵御恶意客户端投毒攻击的联邦学习安全聚合，在标准基准上准确率与明文量化方案相当。
2024-05-17 cs.CR cs.IT cs.LG
FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization
UC Santa Barbara（加州大学圣巴巴拉分校）；UT Austin（德克萨斯大学奥斯汀分校）；UPenn（宾夕法尼亚大学）；MIT（麻省理工学院）
联邦学习是一种分布式框架，根据该框架，在一组设备上训练模型，同时保持数据本地化。该框架面临着几个面向系统的挑战，其中包括（i）由于大量设备将其本地更新上传到参数服务器而产生的通信瓶颈，以及（ii）由于联合网络由数百万个设备组成而产生的可扩展性。由于这些系统挑战以及与数据的统计异质性和隐私问题相关的问题，设计一种可证明有效的联邦学习方法具有重要意义，但它仍然具有挑战性。在本文中，我们提出了FedPAQ，一个通信效率高的联邦学习方法与周期平均和量化。FedPAQ依赖于三个关键特性：（1）定期平均，其中模型在设备上本地更新，并且仅在服务器上定期平均;（2）部分设备参与，其中只有一小部分设备参与每轮训练;以及（3）量化消息传递，其中边缘节点在上传到参数服务器之前对其更新进行验证。这些特性解决了联邦学习中的通信和可伸缩性挑战。我们还表明，FedPAQ实现了近最佳的理论保证强凸和非凸损失函数和经验证明我们的方法提供的通信计算权衡。
2020-06-07 cs.DC cs.LG math.OC
Federated Learning with Compression: Unified Analysis and Sharp Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在联邦学习中，通信成本通常是扩展分布式优化算法的关键瓶颈，以从具有潜在不可靠或有限通信和异构数据分布的数百万设备协作学习模型。两个显着的趋势，以处理联邦算法的通信开销是梯度压缩和定期通信的本地计算。尽管进行了许多尝试，但事实证明，描述这两种方法之间的关系是难以捉摸的。我们解决这个问题，提出了一套定期压缩（量化或稀疏化）通信算法，并分析其收敛特性，在同质和异构的本地数据分布设置。对于齐次设置，我们的分析，提高了现有的边界提供更严格的收敛速度强凸和非凸目标函数。为了减轻数据的异质性，我们引入了一个局部梯度跟踪计划，并获得尖锐的收敛速度，匹配最知名的通信复杂性，而不压缩凸，强凸，和非凸设置。我们补充了我们的理论结果，并证明了我们提出的方法的有效性，在现实世界的数据集上的几个实验。
2020-11-21 cs.DC cs.LG stat.ML
Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach
School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
针对联邦学习中OTA方案噪声大、纯数字方案延迟高的问题，提出ADFL模数混合调度方案，通过优化设备调度与数字量化比特数，在延迟约束下最小化梯度估计MSE，显著提升学习性能。
2024-02-02 cs.IT cs.LG eess.SP
Power Allocation for Outage Minimization in Cognitive Radio Networks with Limited Feedback
提出了在窄带频谱共享认知无线电网络中，在次发射机（SU-TX）处的长期平均发射功率约束和主接收机（PU-RX）处的平均干扰功率约束下，最小化允许与主用户（PU）共存的次用户（SU）的中断概率的最优发射功率分配问题，在SU-TX处具有量化的信道状态信息（CSI）（包括从SU-TX到SU-RX的信道，表示为$g_1$，以及从SU-TX到PU-RX的信道，表示为$g_0$）。矢量信道空间中的最优量化区域被示出为具有“逐步”结构。利用这种结构，上述中断最小化问题可以通过采用Karush-Kuhn-Tucker（KKT）必要最优性条件来明确地公式化和求解，以获得局部最优量化功率码本。针对反馈比特数较大的情况，推导出一种低复杂度的近优量化功率分配算法。还提供了一个显式表达式的渐近SU中断概率在高速率量化（反馈位数趋于无穷大），并示出近似的最佳中断行为非常好的反馈位数很大，通过数值模拟。数值结果还表明，与6比特的反馈，推导出的算法提供SU中断性能非常接近，在SU-TX与全CSI。
2011-11-11 cs.IT math.IT math.OC
Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique
CentraleSupelec（中央高等电力学院）；University of Paris-Saclay（巴黎萨克雷大学）
本文提出一种零阶优化联邦学习方法，通过每轮仅上传量化标量替代完整梯度以解决通信瓶颈与能耗问题，并证明其收敛性及在通信开销与能耗上的优越性。
2024-09-24 cs.DC cs.LG
Quantization in Federated Learning: Methods, Challenges and Future Directions
DIMES - University of Calabria（卡拉布里亚大学 DIMES）
本文首次以联邦学习为中心系统综述量化方法，提出面向FL特性的新分类法，分析量化与客户端漂移、聚合一致性、非IID鲁棒性等核心行为的交互，并给出设计指南。
2026-06-26 cs.LG
Ternary Compression for Communication-Efficient Federated Learning
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）；University of Surrey（萨里大学）；Southern University of Science and Technology（南方科技大学）
对存储在不同位置的海量数据进行学习在许多现实世界的应用中是必不可少的。然而，随着智能移动设备和物联网设备的使用越来越多，对隐私和安全性的要求越来越高，共享数据充满了挑战。联邦学习通过联合训练全局模型而无需将分布在多个设备上的数据上传到中央服务器，为隐私保护和安全机器学习提供了一种潜在的解决方案。然而，现有的联邦学习大多采用全精度权值的机器学习模型，这些模型中几乎都包含大量不需要传输到服务器的冗余参数，消耗了过多的通信开销。为了解决这个问题，我们提出了一个联邦训练的三进制量化（FTTQ）算法，通过自学习的量化因子优化客户端上的量化网络。给出了量化因子的收敛性、FTTQ的无偏性以及减小的权发散的理论证明。在FTTQ的基础上，提出了一种三元联邦平均协议（T-FedAvg），以减少联邦学习系统的上下游通信。在公开数据集上进行了实证实验，以训练广泛使用的深度学习模型，我们的结果表明，与规范的联邦学习算法相比，所提出的T-FedAvg在降低通信成本方面是有效的，甚至可以在非IID数据上实现更好的性能。
2022-03-29 cs.DC cs.LG stat.ML
Communication-Efficient Federated Learning for LEO Satellite Networks Integrated with HAPs Using Hybrid NOMA-OFDM
Missouri University of Science and Technology（密苏里科技大学）；The Higher Institute of Engineering in Elshorouk City（舒鲁克高等工程学院）
针对LEO卫星网络中联邦学习训练缓慢的问题，提出NomaFedHAP方法，利用HAP作为分布式参数服务器并引入NOMA技术，实现快速高效的模型传输与高精度收敛。
2024-02-16 cs.AI cs.DC cs.LG
Efficient Training of Large-scale Industrial Fault Diagnostic Models through Federated Opportunistic Block Dropout
Nanyang Technological University（南洋理工大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；ENN Group（新奥集团）
人工智能（AI）支持的工业故障诊断对于确保工业应用的安全运行非常重要。由于复杂的工业系统通常涉及多个工业工厂（可能属于不同的公司或子公司），敏感数据以分布式方式收集和存储，因此协作故障诊断模型训练通常需要利用联邦学习（FL）。由于工业故障诊断模型的规模通常很大，并且这种系统中的通信信道通常不专门用于FL模型训练，因此现有部署的FL模型训练框架不能跨多个机构有效地训练这种模型。在本文中，我们报告了我们的经验，开发和部署的联邦系统块丢弃（FEDOBD）的工业故障诊断模型训练的方法。通过将大规模模型分解为语义块，并使FL参与者能够以量化的方式适时上传选定的重要块，它可以显着降低通信开销，同时保持模型性能。FEDOBD自2022年2月在新奥集团部署以来，已服务于中国两个城市的两家煤化工厂，建立工业故障预测模型。与之前的AI引擎相比，它帮助该公司将训练通信开销减少了70%以上，同时将模型性能保持在85%以上的F1测试分数。据我们所知，这是第一个成功部署的基于辍学的FL方法。
2023-02-22 cs.LG
sqSGD: Locally Private and Communication Efficient Federated Learning
Tsinghua Univerisity（清华大学）；Meituan（美团）；Google（谷歌）；Ant Group（蚂蚁集团）；Sony AI（索尼人工智能）；Galixir（星药科技）
联邦学习（FL）是一种从分散的数据源训练机器学习模型的技术。我们研究FL的隐私约束，这提供了强大的保护，防止敏感数据泄露，通过混淆数据离开客户端之前的本地概念。我们确定了两个主要问题，在设计实用的隐私保护FL算法：通信效率和高维兼容性。然后，我们开发了一个基于梯度的学习算法称为\emph{sqSGD}（选择性量化随机梯度下降），解决这两个问题。所提出的算法是基于一种新的隐私保护量化方案，使用每个客户端的每个维度的比特数恒定。然后，我们从三个方面改进了基本算法：首先，我们采用了梯度子采样策略，在固定的隐私预算下，同时提供更好的训练性能和更小的通信成本。其次，我们利用随机旋转作为预处理步骤，以减少量化误差。第三，采用自适应梯度范数上界收缩策略，以提高精度和稳定训练。最后，在基准数据集上验证了该框架的实用性.实验结果表明，sqSGD成功地学习了具有局部隐私约束的大型模型，如LeNet和ResNet。此外，在固定的隐私和通信级别下，sqSGD的性能显著优于各种基线算法。
2022-06-22 cs.CR cs.LG
Communication-Efficient Federated Linear and Deep Generalized Canonical Correlation Analysis
Oregon State University（俄勒冈州立大学）
本文针对联邦学习设置下GCCA通信开销过高的问题，提出一种基于最大方差的通信高效联邦线性和深度GCCA框架，通过量化交换信息大幅降低开销，并在几乎不损失精度下实现次线性收敛。
2023-04-03 cs.DC cs.LG eess.SP
Resilient Decentralized Wireless Federated Learning via Gradient Tracking with AdamW
University of Luxembourg（卢森堡大学）；Interdisciplinary Centre for Security, Reliability and Trust (SnT)（安全、可靠性与跨学科信任中心（SnT））
本文提出QEF-GT-AdamW算法，结合梯度跟踪、AdamW优化与带误差反馈的双流偏置量化，解决无线分布式学习的通信开销与不可靠传输问题，在异构数据集上实现更优性能。
2026-08-27 cs.DC cs.LG cs.NI
Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Electronics and Communication Engineering, the Shenzhen Campus of Sun Yat-sen University（中山大学电子与通信工程学院（深圳校区））；Center for Intelligent Networking and Communications (CINC), University of Electronic Science and Technology of China（电子科技大学智能网络与通信中心）
本文提出SFLAM框架，通过分裂学习将训练任务分配给边缘设备和服务器，降低内存需求并提升效率，验证了其在资源受限场景下的学习效率和可扩展性。
2025-04-12 cs.LG
Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出 FedMPQ 算法，首次将混合精度量化引入资源异构联邦学习，通过正则化优化和服务器端自适应位宽分配，在多种模型与数据集上超越固定精度量化基线，且仅带来较小计算开销。
2023-11-29 cs.DC cs.LG
FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale Neural Networks through Federated Learning
School of Computer Science and Engineering, Nanyang Technological University, Singapore（南洋理工大学计算机科学与工程学院）；University of California, Santa Barbara, CA, USA（加州大学圣巴巴拉分校）
针对联邦学习训练大规模模型通信开销大的问题，提出FedOBD方法，通过将模型分解为语义块并机会性上传量化块，降低通信开销超88%并提升测试准确率。
2025-04-22 cs.DC cs.LG
Leveraging Channel Noise for Sampling and Privacy via Quantized Federated Langevin Monte Carlo
对于人工智能的工程应用，贝叶斯学习比标准频率论学习具有显著的优势，包括量化不确定性的能力。Langevin Monte Carlo（LMC）是一种有效的基于梯度的近似贝叶斯学习策略，其目的是从模型参数的后验分布中产生样本。先前的工作集中在通过模拟调制的多址无线信道上的LMC的分布式实现。相比之下，本文提出了量化联邦LMC（FLMC），它集成了一位随机量化的局部梯度与通道驱动的采样。随机驱动采样利用信道噪声来促进蒙特卡罗采样，同时也起到隐私机制的作用。模拟和数字实现的无线LMC比较作为一个功能的差分隐私（DP）的要求，揭示了后者在足够高的信噪比的优势。
2022-02-28 cs.IT eess.SP math.IT
Tram-FL: Reducing Communication and Computation Costs through Sequential Model Circulation in Decentralized Federated Learning
Institute of Science Tokyo（东京科学大学）
提出Tram-FL机制，通过顺序循环单个模型并优化调度与量化动量，在去中心化联邦学习中同时降低通信和计算成本，并在非IID数据下保持高精度。
2026-10-07 cs.DC cs.LG cs.NI
An Optimization Framework for Federated Edge Learning
Shanghai Jiao Tong University（上海交通大学）；HKUST（香港科技大学）
联邦学习（FL）算法的优化设计是一个悬而未决的问题，该算法可用于解决实际边缘计算系统中的一般机器学习（ML）问题。本文考虑了一个边缘计算系统，其中服务器和工作者可能具有不同的计算和通信能力，并在传输消息之前使用量化。为了探索FL在这种边缘计算系统中的全部潜力，我们首先提出了一种通用FL算法，即GenQSGD，由全局和局部迭代次数，小批量大小和步长序列参数化。然后，我们分析其收敛性的任意步长序列，并指定三个常用的步长规则，即常数，指数，和递减步长规则下的收敛结果。接下来，我们优化的算法参数，以最大限度地减少能源成本下的时间约束和收敛误差约束，重点对FL的整体实施过程。具体来说，对于任何给定的步长序列下每个考虑的步长规则，我们优化的数量的全局和局部迭代和小批量大小，以最佳地实现FL的应用程序与预设的步长序列。我们还优化了步长序列以及这些算法参数，以探索FL的全部潜力。由此产生的优化问题是具有不可微约束函数的具有挑战性的非凸问题。我们提出了迭代算法，以获得KKT点使用一般内部近似（GIA）和技巧求解互补几何规划（CGP）。最后，我们数值证明了显着的增益GenQSGD与优化的算法参数比现有的FL算法，并揭示了优化设计一般FL算法的意义。
2022-04-03 cs.LG
