Federated Quantum Natural Gradient Descent for Quantum Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
量子联合学习（QFL）的核心与跨多个本地量子设备的分布式学习架构相关联，并且QFL的更有效的训练算法有望最大限度地减少不同量子参与者之间的通信开销。在这项工作中，我们提出了一个有效的学习算法，即联邦量子自然梯度下降（FUNDERED），应用于QFL框架，该框架由变分量子线路（VQC）为基础的量子神经网络（QNN）。该算法允许更少的训练迭代以使QFL模型收敛，并且它可以显着降低本地量子设备之间的总通信成本。与其他联邦学习算法相比，我们在手写体数字分类数据集上的实验证实了QFL的ARNGD算法在训练数据集上的收敛速度更快，在测试数据集上的准确率更高。
2022-08-15 cs.DC cs.LG quant-ph
Accelerating Federated Learning via Momentum Gradient Descent
University of Science and Technology of China（中国科学技术大学）；University of Warwick（华威大学）
联邦学习（FL）提供了一种通信高效的方法来解决与分布式数据有关的机器学习问题，而无需将原始数据发送到中央服务器。然而，现有的FL的工作只利用一阶梯度下降（GD），并没有考虑前面的迭代梯度更新，这可能会加速收敛。本文考虑了与最后一次迭代有关的动量项。提出的动量联邦学习（MFL）在FL系统的局部更新步骤中使用动量梯度下降（MGD）。我们建立了MFL的全局收敛性，并得到了MFL收敛速度的一个上界。通过比较MFL和FL收敛速度的上界，给出了MFL加速收敛的条件。针对不同的机器学习模型，基于MNIST数据集的实验，评估了MFL的收敛性能。仿真结果证实了MFL是全局收敛的，并进一步揭示了显着的收敛性改善FL。
2019-10-09 cs.LG stat.ML
Federated Multi-Objective Learning with Controlled Pareto Frontiers
本文提出CR-FMOL框架，通过偏好锥约束在联邦学习中实现客户端层面的帕累托最优性，实验证明其能提升客户端公平性并有望在充分训练后达到与FedAvg相当的准确率。
2025-08-23 cs.LG
Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
University of Virginia（弗吉尼亚大学）；Meta AI；MIT（麻省理工学院）
本文提出联邦随机平滑梯度下降上升法（FESS-GDA），将平滑技术引入联邦极小极大优化，统一解决多类问题并证明新的收敛结果，在GAN训练和公平分类中展现实际效率。
2024-04-18 cs.IT cs.LG math.IT
Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent
School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）
本文提出FedCyBGD方法，利用循环块梯度下降在联邦学习中仅更新和上传选定块，实现全参数训练，降低通信、计算和内存成本，达到最先进性能。
2024-07-19 cs.LG
Personalized Federated Learning with Exact Stochastic Gradient Descent
Athens University of Economics and Business（雅典经济与商业大学）；Google DeepMind（谷歌DeepMind）
本文提出了一种基于精确随机梯度下降的个性化联邦学习算法，通过低计算成本实现高效分布式训练，理论证明收敛性并在多个数据集上优于FedAvg和FedPer。
2025-12-11 cs.LG
MYSTIKO : : Cloud-Mediated, Private, Federated Gradient Descent
IBM Research AI（IBM研究AI）；RPI（伦斯勒理工学院）
联邦学习使多个分布式参与者（可能在不同的云上）能够通过共享参数/梯度来协作和训练机器/深度学习模型。然而，共享梯度，而不是集中数据，可能不像人们期望的那样私密。对明文梯度的逆向工程攻击已被证明是实际可行的。现有的差分私有联邦学习解决方案虽然有希望，但会导致模型不太准确，并且需要进行非平凡的超参数调整。在本文中，我们研究了加性同态加密的使用（特别是Paillier密码）来设计安全的联邦梯度下降技术，该技术（i）不需要添加统计噪声或超参数调整，（ii）不改变最终模型的最终精度或效用，（iii）确保参与者的明文模型参数/梯度永远不会被泄露给参与联邦学习作业的任何其他参与者或第三方协调器，（iv）最小化对任何第三方协调器的信任，以及（v）是高效的，具有最小的开销，并且成本有效。
2020-12-01 cs.CR cs.DC cs.LG
Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent
King’s College London（伦敦国王学院）
本文介绍了分布式Stein变分梯度下降（DSVGD），一个非参数广义贝叶斯推理框架的联邦学习。DSVGD在一个中央服务器上维护了一些非随机和相互作用的粒子，以表示模型全局后验的当前时间。粒子由其中一个代理迭代下载和更新，最终目标是最小化全局自由能。通过改变粒子的数量，DSVGD实现了每次迭代通信负载和通信轮数之间的灵活权衡。DSVGD被证明可以与基准频率论和贝叶斯联邦学习策略相媲美，在代理数量的准确性和可扩展性方面，也可以在每次迭代中调度单个设备，同时还可以提供经过良好校准的，因此值得信赖的预测。
2021-03-30 cs.IT cs.LG eess.SP
Federated Accelerated Stochastic Gradient Descent
Stanford University（斯坦福大学）
我们提出了联邦加速随机梯度下降（FedAc），联邦平均（FedAvg，也称为本地SGD）的分布式优化的原则性加速。FedAc是FedAvg的第一个可证明的加速，它提高了各种凸函数的收敛速度和通信效率。例如，对于强凸和光滑函数，当使用$M$工作器时，如果给定$M$同步轮，则先前最先进的FedAvg分析可以在$M$中实现线性加速，而FedAc仅需要$M^{\frac{1}{3}}$轮。此外，我们证明了更强的保证FedAc时，目标是三阶顺利。我们的技术是基于一个潜在的基于扰动的稳定性分析，一种新的稳定性分析广义加速SGD，加速和稳定性之间的战略权衡。
2021-06-05 cs.DC cs.LG math.OC
Network Gradient Descent Algorithm for Decentralized Federated Learning
Guanghua School of Management, Peking University（北京大学光华管理学院）；Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心）；School of Statistics, Renmin University of China（中国人民大学统计学院）
我们研究了一个完全分散的联邦学习算法，这是一种新的梯度下降算法在基于通信的网络上执行。为了方便起见，我们将其称为网络梯度下降（NGD）方法。在NGD方法中，仅统计（例如，参数估计）需要被传达，从而最小化隐私的风险。同时，不同的客户端可以根据精心设计的网络结构直接相互通信，而无需中央主机。这大大提高了整个算法的可靠性。这些优良的性质激励我们从理论和数值两个方面对NGD方法进行仔细的研究。从理论上讲，我们从一个经典的线性回归模型开始。我们发现，学习率和网络结构起着重要的作用，在确定NGD估计的统计效率。如果学习率足够小并且网络结构平衡良好，即使数据分布不均匀，所得到的NGD估计器也可以在统计上与全局估计器一样有效。这些有趣的发现，然后扩展到一般模型和损失函数。大量的数值研究证实了我们的理论研究结果。经典的深度学习模型也被呈现用于说明目的。
2022-05-06 cs.LG stat.ME stat.ML
FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning
School of Artificial Intelligence Xi'an Xidian University, China；College of Intelligence；Computing Tianjin Tianjin University, China；Medical College, Tianjin University\ Cheng Laboratory Tianjin China；University of Southern California Los Angeles US；School of Artificial Intelligence；Medical College, Tianjin University\ Cheng Laboratory；University of Southern California
本文提出FedBCGD方法，通过划分模型参数为多个块以降低通信开销，并开发FedBCGD+算法实现加速，首次在大规模深度模型中应用参数块通信。
2026-03-05 cs.AI cs.LG
Federated Unlearning with Gradient Descent and Conflict Mitigation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Guangzhou University（广州大学）；The Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；University of Michigan（密歇根大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出FedOSD方法，通过设计遗忘交叉熵损失和正交最速下降方向，在缓解梯度冲突的同时实现高效联邦遗忘，并有效恢复模型效用，实验表明其优于现有联邦遗忘算法。
2024-12-28 cs.AI cs.CR cs.DC
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本，依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下，性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数，但没有结合梯度压缩和加速两者的优点的方法。在本文中，我们纠正这种情况，并提出了第一加速压缩梯度下降（ACGD）方法。在单机状态下，我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题，分别，其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$，分别，并恢复加速梯度下降的最佳速率作为一种特殊情况下，没有压缩（$ω=0$）时，应用。我们进一步提出了ACGD的分布式变体（称为ADANA），并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$，其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
Hierarchical Federated ADMM
Digital Futures（数字未来研究院）
本文提出基于ADMM的分层联邦学习框架及两种顶层采用ADMM的新算法，增强了隐私性，并在收敛速度和精度上优于传统方法。
2024-09-27 cs.AI cs.DC cs.IT
Federated Compositional Deep AUC Maximization
Temple University（天普大学）；Texas A&M University（德克萨斯农工大学）
针对联邦学习中数据类别高度不平衡导致预测性能差的问题，提出直接优化AUC的联邦组合极小极大优化方法，开发带动量的本地随机组合梯度下降上升算法并给出复杂度界限，大量实验验证了其有效性。
2024-05-31 cs.LG
SAGDA: Achieving $\mathcal{O}(ε^{-2})$ Communication Complexity in Federated Min-Max Learning
The Ohio State University（俄亥俄州立大学）；Iowa State University（爱荷华州立大学）
为了降低联邦最小-最大学习的通信复杂性，一种自然的方法是利用与传统联邦学习相同的不频繁通信的想法（通过多次局部更新）。然而，由于联邦min-max学习中的内部-外部问题结构更为复杂，文献中对联邦min-max学习在通信不频繁的情况下的通信复杂性的理论理解仍然非常有限。这对于具有非i.i.d.的设置尤其如此。数据集和部分客户参与。为了解决这一挑战，在本文中，我们提出了一个新的算法框架，称为随机采样平均梯度下降上升（SAGDA），其中i）组装随机梯度估计从随机采样的客户端作为控制变量和ii）利用两个学习率在服务器和客户端。我们表明，SAGDA实现了客户端和本地更新步骤的数量方面的线性加速，这产生了比现有技术低几个数量级的$\mathcal{O}(ε^{-2})$通信复杂性。有趣的是，注意到标准的联邦随机梯度下降上升（FSGDA）实际上是SAGDA的无控制变量特殊版本，我们立即得到FSGDA的$\mathcal{O}(ε^{-2})$通信复杂性结果。因此，通过SAGDA的镜头，我们也推进了目前对联邦最小-最大学习的标准FSGDA方法的通信复杂性的理解。
2022-12-26 cs.AI cs.LG
DONE: Distributed Approximate Newton-type Method for Federated Edge Learning
The University of Sydney（悉尼大学）；The Australian National University（澳大利亚国立大学）；Sharif University of Technology（谢里夫理工大学）
将分布式机器学习应用于边缘计算，形成联合边缘学习的兴趣越来越大。联邦边学习面向非独立同分布。和异构数据，并且边缘工作者之间的通信（可能通过遥远的位置并且具有不稳定的无线网络）比其本地计算开销更昂贵。在这项工作中，我们提出了DONE，一个分布式的近似牛顿型算法，具有快速收敛速度的通信效率的联邦边缘学习。首先，使用强凸和光滑的损失函数，DONE在每个边缘工作者上使用经典的Richardson迭代以分布式方式近似牛顿方向。其次，我们证明了DONE具有线性二次收敛性，并分析了它的通信复杂性。最后，非i.i.d.和异构数据表明，DONE达到了可比的性能牛顿的方法。值得注意的是，与分布式梯度下降相比，DONE需要更少的通信迭代，并且在非二次损失函数的情况下，性能优于最先进的方法DANE和FEDL。
2022-01-26 cs.LG
Gradient Descent with Compressed Iterates
Cairo University（开罗大学）；KAUST（沙特国王 Abdullah 科技大学）
提出并分析了一种新的随机一阶方法：压缩迭代梯度下降（GDCI）。GDCI在每次迭代中首先使用有损随机化压缩技术压缩当前帧，随后采取梯度步骤。这种方法是对当前联邦学习实践中一个关键成分的提炼，在联邦学习中，模型需要在发送回服务器进行聚合之前由移动终端进行压缩。我们的分析为缩小联邦学习的理论和实践之间的差距迈出了一步，并为许多扩展提供了可能性。
2020-03-18 cs.DC cs.LG cs.NA
Federated Multi-Objective Learning
Rochester Institute of Technology（罗切斯特理工学院）；The Ohio State University（俄亥俄州立大学）；Amazon.com Inc.（亚马逊公司）
针对多智能体多任务学习的分布式与隐私需求，提出联邦多目标学习（FMOL）框架及FMGDA、FSMGDA两种算法，支持本地更新以降低通信开销并保持与单目标联邦学习相同的收敛速率。
2024-01-08 cs.AI cs.DC cs.LG
Optimization-Based GenQSGD for Federated Edge Learning
Shanghai Jiao Tong University（上海交通大学）；HKUST（香港科技大学）
联邦学习（FL）的最优算法设计仍然是一个悬而未决的问题。本文探讨了FL在实际边缘计算系统中的全部潜力，其中工作人员可能具有不同的计算和通信能力，并且在服务器和工作人员之间发送量化的中间模型更新。首先，我们提出了一个通用的量化并行小批量随机梯度下降（SGD）算法FL，即GenQSGD，这是参数化的全局迭代次数，在所有工人的局部迭代次数，和小批量的大小。我们还分析了它的收敛误差的任何选择的算法参数。然后，在时间约束和收敛误差约束下，以能量消耗最小为目标，对算法参数进行优化。优化问题是一个具有不可微约束函数的非凸优化问题。我们提出了一个迭代算法，以获得一个KKT点，使用先进的优化技术。数值结果表明，显着的增益GenQSGD比现有的FL算法，并揭示了优化设计FL算法的重要性。
2021-11-26 cs.LG
Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
AMS & MINDS（AMS与MINDS机构）；Johns Hopkins University（约翰斯·霍普金斯大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文针对分布式变分不等式问题提出统一框架，分析并设计了首个在异构数据上具有可证明改进通信复杂度的局部梯度下降-上升算法，在特化时能恢复现有最优算法的收敛保证。
2024-06-03 cs.LG math.OC stat.ML
Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks
Sun Yat-Sen University（中山大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Minnesota（明尼苏达大学）
针对拜占庭攻击下分布式SGD因梯度噪声难区分恶意消息的问题，提出基于几何中位数聚合的Byrd-SAGA方差缩减方法，在攻击者不足半数时可证线性收敛，实验验证其鲁棒性优于抗攻击分布式SGD。
2021-02-03 cs.AI cs.CR cs.LG
Federated stochastic bilevel optimization with fully first-order gradients
Temple University（天普大学）；Stony Brook University（石溪大学）
针对联邦随机双层优化中计算二阶矩阵导致运行时间长的问题，提出仅用一阶梯度并采用常数单时间尺度学习率的方差缩减算法，显著降低运行时间，实验验证有效。
2026-09-16 cs.LG
Comparative assessment of federated and centralized machine learning
Samsung R&D Institute India – Bangalore（三星印度研发研究院 - 班加罗尔）；Birla Institute of Technology and Science（比尔拉理工学院）；Indian Statistical Institute（印度统计研究所）；Samsung Electronics（三星电子）
联邦学习（FL）是一种隐私保护机器学习方案，其中训练是通过跨设备联合的数据进行的，而不是让它们来维护用户隐私。这是通过使未经训练或部分训练的模型直接到达各个设备并使用设备拥有的数据在本地训练“设备上”，以及服务器聚合所有部分训练的模型学习以更新全局模型来确保的。尽管联邦学习设置中的几乎所有模型学习方案都使用梯度下降，但与集中式方案相比，数据可用性的非IID性质带来了某些特征差异，这会影响训练。在本文中，我们讨论了影响联邦学习训练的各种因素，因为数据的非IID分布性质，以及联邦学习方法与典型的集中式梯度下降技术的固有差异。我们实证证明了每个设备的样本数量和输出标签的分布对联邦学习的影响。除了我们通过联邦学习寻求的隐私优势外，我们还研究了在使用联邦学习框架时是否存在成本优势。我们发现，当要训练的模型大小不合理时，联邦学习确实具有成本优势。总之，我们提出了需要仔细设计的模型，性能和成本。
2022-02-03 cs.AI cs.DC cs.LG
A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning
Northwestern University（西北大学）
针对联邦极小极大优化通信频繁、Local SGDA 恒定步长下难以精确收敛的问题，提出基于梯度跟踪的 FedGDA-GT，在强凸强凹条件下实现 O(log(1/ε)) 通信复杂度的线性收敛，并实验验证其优于 Local SGDA。
2023-06-06 cs.DC cs.LG
FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis
Peking University（北京大学）；Princeton University（普林斯顿大学）；The University of Washington（华盛顿大学）
联邦学习（FL）是一种新兴的学习方案，它允许不同的分布式客户端在没有数据共享的情况下一起训练深度神经网络。神经网络由于其前所未有的成功而变得流行。据我们所知，FL的理论保证神经网络与显式形式和多步更新尚未探索。然而，FL中神经网络的训练分析是不平凡的，原因有两个：第一，我们优化的目标损失函数是非光滑和非凸的，第二，我们甚至没有在梯度方向上更新。现有的基于梯度下降方法的收敛结果严重依赖于梯度方向用于更新的事实。本文提出了一类新的FL收敛分析，联邦学习神经切线核（FL-NTK），它对应于FL中通过梯度下降训练的过参数化ReLU神经网络，并受到神经切线核（NTK）分析的启发。理论上，FL-NTK收敛到一个全局最优解的线性速率与适当调整的学习参数。此外，通过适当的分布假设，FL-NTK也可以实现良好的推广。
2021-05-11 cs.DC cs.LG stat.ML
Forget-SVGD: Particle-Based Bayesian Federated Unlearning
基于变分粒子的贝叶斯学习方法具有不受影响更常规参数技术的偏差限制的优点。本文提出利用非参数贝叶斯近似推理的灵活性，开发一种新的贝叶斯联邦unlearning方法，称为Forget-Stein变分梯度下降（Forget-SVGD）。Forget-SVGD建立在SVGD（一种使用基于梯度的确定性更新的基于粒子的近似贝叶斯推理方案）及其分布式（联邦）扩展（称为分布式SVGD（DSVGD））的基础上。在完成联邦学习后，当一个或多个参与的代理请求“遗忘”其数据时，Forget-SVGD在其数据需要“取消学习”的代理处执行本地SVGD更新，其与参数服务器的通信回合交错。所提出的方法进行验证，通过性能比较与非参数计划，训练从头开始，排除数据被遗忘，以及与现有的参数贝叶斯unlearning方法。
2021-11-23 cs.LG eess.SP
Semi-Cyclic Stochastic Gradient Descent
Google（谷歌）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们考虑具有块循环结构的凸SGD更新，即每个循环由少量块组成，每个块具有来自可能不同的块特定分布的许多样本。出现这种情况，例如，在联邦学习中，在一天中的不同时间可用于更新的移动设备具有不同的特性。我们表明，这种块循环结构可以显着恶化SGD的性能，但提出了一个简单的方法，允许预测与相同的性能保证为i.i.d.，非循环采样。
2019-04-23 cs.LG stat.ML
Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
数据汇集和处理能力的快速发展使得越来越复杂的模型得以使用，从而产生非凸优化问题。然而，这些公式通常很难求解，因为即使简单地验证给定点是局部最小值也可能是NP困难的[1]。尽管如此，一些相对简单的算法已被证明在许多感兴趣的背景下导致令人惊讶的好的经验结果。也许最突出的例子是用于训练神经网络的反向传播算法的成功。最近的几项工作已经追求严格的分析证明这种现象，通过研究非凸优化问题的结构，并建立简单的算法，如梯度下降及其变化，在收敛到局部极小值，避免鞍点。这些分析中的一个关键见解是，梯度扰动在允许局部下降算法有效地区分理想的和不理想的稳定点并逃离后者方面起着关键作用。在这篇文章中，我们涵盖了最近的结果二阶保证随机一阶优化算法在集中式，联邦和分散式架构。
2020-03-31 cs.LG cs.MA eess.SP
Federated Two-stage Learning with Sign-based Voting
CUHK(SZ)（香港中文大学（深圳））；Pingan Technology（平安科技）；JD AI（京东人工智能）
联邦学习是一种分布式机器学习机制，其中本地设备在中央服务器的编排下协作训练共享的全局模型，同时保持所有私有数据分散。在该系统中，模型参数及其更新的传输，而不是原始数据，因此通信瓶颈已成为一个关键的挑战。此外，最近更大和更深入的机器学习模型也给在联邦环境中部署它们带来了更多的困难。在本文中，我们设计了一个联邦两阶段学习框架，该框架在设备上使用切割层来增强原型联邦学习，并在模型更新上使用基于符号的随机梯度下降和多数投票方法。设备上的切割层在本地学习原始数据的信息和低维表示，这有助于减少全局模型参数并防止数据泄漏。基于符号的SGD和用于模型更新的多数投票方法也有助于减轻通信限制。经验上，我们表明，我们的系统是一个有效的和隐私保护的联邦学习计划，适合一般的应用场景。
2021-12-10 cs.DC cs.LG
A Convergence Theory for Federated Average: Beyond Smoothness
University of British Columbia（不列颠哥伦比亚大学）；Adobe Research（奥多比研究院）；Columbia University（哥伦比亚大学）；McGill University（麦吉尔大学）
联邦学习使得大量边缘计算设备能够学习模型，而无需联合进行数据共享。作为该设置中的领先算法，Federated Average FedAvg在本地设备上并行运行随机梯度下降（SGD）并且仅偶尔对序列进行平均，由于其简单性和低通信成本而被广泛使用。然而，尽管最近的研究工作，它缺乏理论分析的假设下超越平滑。本文分析了FedAvg的收敛性。与已有工作不同的是，我们放宽了强光滑性的假设。更具体地说，我们假设半光滑性和半Lipschitz性质的损失函数，其中有一个额外的一阶项的假设定义。此外，我们还假设梯度上有界，这比收敛性分析格式中常用的有界梯度假设要弱。作为一种解决方案，本文对联邦学习的收敛性进行了理论研究。
2022-11-03 cs.LG stat.ML
Client Selection for Federated Bayesian Learning
South China University of Technology（华南理工大学）；King’s College London（伦敦国王学院）
Distributed Stein Variational梯度下降（DSVGD）是一种用于联邦贝叶斯学习的非参数分布式学习框架，其中多个客户端通过与服务器通信许多非随机和交互粒子来联合训练机器学习模型。由于通信资源有限，选择具有最多信息的局部学习更新的客户端可以提高模型收敛性和通信效率。本文提出了两种基于核Stein离散（KSD）和Hilbert内积（HIP）的DSVGD选择方案。我们推导出了这两种方案的每次迭代的全局自由能减少的上界，然后将其最小化以加快模型收敛。我们使用各种学习任务和数据集，在模型精度、收敛速度和稳定性方面对我们的方案与传统方案进行评估和比较。
2023-03-13 cs.LG eess.SP
A KL-based Analysis Framework with Applications to Non-Descent Optimization Methods
School of Data Science (SDS)（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data (SRIBD)（深圳大数据研究院）
本文提出基于 Kurdyka-Lojasiewicz 性质的非凸非下降优化方法分析框架，首次在温和假设下证明了去中心化梯度、联邦平均、随机重排和随机梯度下降的收敛性。
2024-06-04 cs.LG math.OC
Markov Chain Mirror Descent On Data Federation
Medical Big Data Research Center（医疗大数据研究中心）；Chinese PLA General Hospital（中国人民解放军总医院）
针对联邦学习中样本呈马尔可夫依赖的问题，提出 MarchOn 随机镜像下降方法及新分析框架，在凸、强凸和非凸损失下获得最优收敛速率并经实验验证。
2023-09-26 cs.LG math.OC
Federated Instrumental Variable Analysis via Federated Generalized Method of Moments
Department of Computer Science and Engineering, IIIT Delhi（印度德里理工学院计算机科学与工程系）
针对高维非独立同分布数据下缺乏工具变量分析联邦算法的问题，提出基于联邦广义矩估计的联邦工具变量分析框架，将其表述为联邦零和博弈并用FedGDA算法求解，理论证明其能一致估计局部矩条件且实验验证有效。
2025-05-27 cs.AI cs.LG math.OC
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会，信息技术的发展日新月异。在大数据时代，个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而，这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型，具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本，在本文中，我们提出将联邦学习和局部差分隐私与动量梯度下降相结合，以提高机器学习模型的性能。
2022-10-14 cs.LG
Federated Dynamical Low-Rank Training with Global Loss Convergence Guarantees
UT-Battelle, LLC（UT-巴特尔有限责任公司）；Oak Ridge National Laboratory（橡树岭国家实验室）
提出联邦动态低秩训练（FeDLRT）方案，通过全局低秩基和方差校正实现全局损失收敛，显著降低客户端计算与通信成本且精度损失极小。
2024-06-25 cs.AI cs.LG math.OC
Efficient Federated Low Rank Matrix Completion
Iowa State University（爱荷华州立大学）
本文提出交替梯度下降与最小化方法 AltGDmin，用于联邦低秩矩阵补全，在通信效率、速度和样本复杂度上均具优势，并扩展至含噪场景及改进集中式 AltMin 的样本复杂度保证。
2024-09-30 cs.LG eess.SP
Delayed Projection Techniques for Linearly Constrained Problems: Convergence Rates, Acceleration, and Applications
Peking University（北京大学）
在这项工作中，我们研究了一类新的基于投影的线性约束问题（LCP）的算法，在统计，优化和机器学习中有很多应用。传统的基于原始梯度的LCP方法在每次（随机）梯度下降之后调用投影，导致所需的投影数量等于梯度下降（或总迭代）的数量。受分布式优化的最新进展的启发，我们提出了延迟投影技术，每隔一段时间调用一次投影，降低投影频率，提高投影效率。相应地，我们设计了一系列的随机方法的LCP使用的技术，包括方差减少的方法和加速的。我们从理论上证明了在强凸和一般凸情形下提高投影效率是可行的。我们的分析是简单和统一的，可以很容易地扩展到其他方法使用延迟投影。当我们的新算法应用到联邦优化，一个新兴的分布式优化和隐私保护的子域，我们不仅得到了一个方差减少联邦算法的收敛速度优于以往的作品，但也是第一个加速方法能够处理数据异构性的联邦优化固有的。
2021-01-05 cs.LG math.OC stat.ML
Proximal and Federated Random Reshuffling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
随机重排（RR），也称为无替换的随机梯度下降（SGD），是一种流行的和理论上有基础的有限和最小化方法。我们提出了两个新的算法：近端和联邦随机重排（ProxRR和FedRR）。第一个算法，ProxRR，解决复合凸有限和最小化问题，其中的目标是一个（潜在的非光滑）凸正则化和$n$光滑目标的平均值的总和。我们得到的第二个算法，FedRR，作为一个特殊的情况下ProxRR适用于重新制定的分布式问题，无论是同质或异构数据。我们研究了算法的收敛性能与常数和减少步长，并表明他们有相当大的优势，近端和本地SGD。特别是，我们的方法具有优越的复杂性和ProxRR评估的近端运营商每时代只有一次。当邻近算子的计算成本很高时，这个小的差异使得ProxRR比在每次迭代中评估邻近算子的算法快$n$倍。我们给出了实际优化任务的例子，其中邻近算子很难计算，ProxRR具有明显的优势。最后，我们证实了我们的结果与真实数据集上的实验。
2021-02-12 cs.LG math.OC
Federated Online Learning for Heterogeneous Multisource Streaming Data
Yale School of Public Health（耶鲁大学公共卫生学院）；Tsinghua University（清华大学）；Xiamen University（厦门大学）
针对多源流数据，提出联邦在线学习方法，通过个性化模型与子群假设结合惩罚可更新估计，在保障隐私与降低存储的同时实现最优统计效率与优越预测性能。
2025-08-08 cs.LG stat.ML
Federated Random Reshuffling with Compression and Variance Reduction
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
随机重排（RR）是随机梯度下降（SGD）的一种变体，采用无替换采样，是一种非常流行的方法，用于通过经验风险最小化来训练监督机器学习模型。由于其优越的实用性能，它是嵌入式的，通常在标准机器学习软件中设置为默认值。在FedRR的名称下，这种方法最近被证明适用于联邦学习（Mishchenko等人，2021年），与当地新元等常见基准相比，表现更佳。受此发展的启发，我们设计了三个新的算法来进一步提高FedRR：压缩FedRR和两个方差减少扩展：一个用于驯服的方差来自洗牌和其他驯服的方差由于压缩。用于压缩的方差减小机制允许我们消除对压缩参数的依赖，并且应用由Malinovsky等人引入的用于随机重排的附加受控线性扰动。（2021）有助于消除最优方差。我们提供了第一次分析压缩本地方法的标准假设下，没有有界梯度假设和异构数据，克服了压缩算子的局限性。我们证实了我们的理论结果与实验合成和真实的数据集。
2022-05-10 cs.LG math.OC
Distributionally Robust Federated Averaging
The Pennsylvania State University（宾夕法尼亚州立大学）
在本文中，我们研究了通信有效的分布式算法的分布式鲁棒联邦学习通过周期平均与自适应采样。与标准的经验风险最小化相比，由于底层优化问题的极大极小结构，一个关键的困难来自于这样一个事实，即控制局部损失混合的全局参数只能在全局舞台上不频繁地更新。为了弥补这一点，我们提出了一个分布式鲁棒联邦平均（DRFA）算法，采用了一种新的快照计划，以近似的混合参数的历史梯度的积累。我们分析了DRFA的收敛速度在凸线性和非凸线性设置。我们还将所提出的想法推广到混合参数正则化的目标，并提出了一个近似的变体，称为DRFA-Prox，具有可证明的收敛速度。我们还分析了另一种优化方法，正则化的情况下，在强凸强凹和非凸（PL条件下）强凹设置。据我们所知，本文是第一个解决分布式鲁棒联邦学习减少通信，并分析分布式极小极大问题的局部下降方法的效率。我们在联邦学习环境中为我们的理论结果提供了确凿的实验证据。
2021-02-25 cs.DC cs.LG stat.ML
First Analysis of Local GD on Heterogeneous Data
Cairo University（开罗大学）；KAUST（阿卜杜拉国王科技大学）
我们提供了第一个收敛性分析的局部梯度下降最小化的平均光滑和凸，但在其他任意功能。这种形式的问题和局部梯度下降作为解决方法在联邦学习中具有重要意义，其中每个函数都基于用户在移动终端上存储的私有数据，并且不同用户的数据可以是任意异构的。我们表明，在低精度制度，该方法具有相同的通信复杂性的梯度下降。
2020-03-18 cs.DC cs.LG cs.NA
A dual approach for federated learning
University of British Columbia（英属哥伦比亚大学）；Baidu Research（百度研究院）
我们研究联邦优化问题从一个双重的角度来看，并提出了一个新的算法称为联邦双坐标下降（FedDCD），这是基于一种类型的坐标下降方法开发的Necora等人。[Journal of Optimization Theory and Applications，2017]。此外，我们加强了FedDCD方法与不精确的梯度预言和Nesterov的加速。我们从理论上证明，我们提出的方法实现了更好的收敛速度比国家的最先进的原始联邦优化算法在某些情况下。真实世界数据集上的数值实验支持我们的分析。
2022-02-04 cs.LG
Federated Minimax Optimization: Improved Convergence Analyses and Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Syracuse University（雪城大学）
在本文中，我们考虑非凸极大极小优化，这在许多现代机器学习应用中越来越突出，如GANs。在这些应用中，大规模基于边缘的训练数据收集需要通信高效的分布式优化算法来处理数据，例如在联邦学习中使用的算法。在本文中，我们分析了本地随机梯度下降上升（SGDA），本地更新版本的SGDA算法。SGDA是极大极小优化中使用的核心算法，但在分布式环境中并不容易理解。我们证明了局部SGDA算法对几类非凸-凹和非凸-非凹极大极小问题具有\textit{order-optimal}样本复杂度，并且对于客户数也具有\textit{linear speedup}样本复杂度.我们提供了一个新的和更严格的分析，提高了现有文献中的收敛性和通信保证。对于非凸PL和非凸单点凹函数，我们改进了已有的集中极大极小问题的复杂性结果。此外，我们提出了一个基于动量的局部更新算法，它具有相同的收敛保证，但优于本地SGDA在我们的实验中证明。
2022-03-09 cs.DC cs.LG math.OC
Federated Hypergradient Descent
Naval Information Warfare Center Pacific（太平洋海军信息战中心）
在这项工作中，我们探索结合自动超参数调整和优化联邦学习（FL）在一个在线的，一次性的过程。我们应用一个原则性的方法上的自适应客户端学习率，本地步骤的数量和批量大小的方法。在我们的联邦学习应用中，我们的主要动机是最小化通信预算以及训练管道中的本地计算资源。传统上，超参数调整方法涉及至少一定程度的试错，这是已知的样本效率低下。为了解决我们的动机，我们提出FATHOM（联邦自动超参数优化）作为一个一次性的在线程序。我们研究的挑战和解决方案，推导出的分析梯度相对于超参数的兴趣。我们的方法受到这样一个事实的启发：除了本地数据之外，我们对训练过程中涉及的所有组件都有充分的了解，这一事实可以在我们的算法中有效地利用。我们表明，FATHOM是更有效的通信比联邦平均（FedAvg）优化，静态值的超参数，也是更有效的整体计算。作为一个通信高效，一次性在线过程，FATHOM解决了昂贵的通信和有限的本地计算的瓶颈，通过消除潜在的浪费调整过程，并通过优化超参数自适应整个训练过程中没有试错。我们使用FedJAX作为我们的基线框架，通过对Federated EMNIST-62（FEMNIST）和Federated Stack Overflow（FSO）数据集的大量实证实验来展示我们的数值结果。
2022-11-03 cs.LG
Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文理论证明梯度裁剪能消除异步SGD中最大延迟对复杂度的影响，基于次Weibull梯度噪声模型，首次实现异步优化的高概率收敛。
2026-06-12 cs.DC cs.LG math.OC
FedAvgen: Metadata for Model Aggregation In Communication Systems
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU University of Kaiserslautern-Landau（科隆-劳埃希茨大学）
本文提出元启发式算法FedAvgen，将预训练模型及其权重空间作为元数据映射为表型与基因型，以遗传演化方式改进通信系统中联邦学习的全局模型聚合，并与FedAvg和FedSGD进行对比验证。
2025-04-28 cs.AI cs.LG cs.NE
Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective
Stanford University（斯坦福大学）
Federated Averaging（FedAvg），也称为Local SGD，是联邦学习（FL）中最流行的算法之一。尽管FedAvg简单且流行，但它的收敛速度至今尚未确定。即使在最简单的假设下（凸、光滑、齐次和有界协方差），最著名的上界和下界也不匹配，并且不清楚现有的分析是否捕获了算法的能力。在这项工作中，我们首先解决这个问题，通过提供一个下限FedAvg匹配现有的上限，这表明现有的FedAvg上限分析是不可改进的。此外，我们建立了一个在异构环境中的下限，几乎匹配现有的上限。虽然我们的下界显示了FedAvg的局限性，但在三阶平滑的额外假设下，我们证明了在凸和非凸设置中更乐观的最先进的收敛结果。我们的分析源于一个我们称之为“随机偏差”的概念，它是由SGD轨迹的期望值与具有相同初始化的无噪声梯度下降轨迹的偏差定义的。我们证明了这个量的新的尖锐界限，并直观地展示了如何从随机微分方程（SDD）的角度来分析这个量。
2022-02-11 cs.DC cs.LG math.OC
AdaFed: Fair Federated Learning via Adaptive Common Descent Direction
University of Waterloo（滑铁卢大学）
本文提出AdaFed方法，通过基于本地梯度和损失值自适应调整服务器的公共下降方向，确保所有客户端损失下降且较大损失客户端下降更快，有效解决联邦学习中的模型不公平问题。
2024-01-10 cs.AI cs.LG
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback
University of Chicago Booth School of Business（芝加哥大学布斯商学院）；New Jersey Institute of Technology（新泽西理工学院）；Ant Financial Group（蚂蚁集团）；College of Computer Science and Technology Zhejiang University（浙江大学计算机科学与技术学院）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
本文将联邦学习中的客户端采样转化为带有bandit反馈的在线学习任务，提出OSMD算法以最小化采样方差，理论上和实验上均证明其能显著提升优化算法收敛速度，且适用于更广泛的随机优化过程。
2025-01-30 cs.LG
Stochastic Unrolled Federated Learning
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）
提出随机展开联邦学习（SURF），将算法展开引入联邦学习，通过随机小批量与下降约束保证收敛，利用GNN展开DGD保留去中心化，理论证明近最优收敛，实验验证图像分类协作训练有效。
2024-02-06 cs.LG eess.SP
