A dual approach for federated learning
University of British Columbia（英属哥伦比亚大学）；Baidu Research（百度研究院）
我们研究联邦优化问题从一个双重的角度来看，并提出了一个新的算法称为联邦双坐标下降（FedDCD），这是基于一种类型的坐标下降方法开发的Necora等人。[Journal of Optimization Theory and Applications，2017]。此外，我们加强了FedDCD方法与不精确的梯度预言和Nesterov的加速。我们从理论上证明，我们提出的方法实现了更好的收敛速度比国家的最先进的原始联邦优化算法在某些情况下。真实世界数据集上的数值实验支持我们的分析。
2022-02-04 cs.LG
PHANTOM: Physics-Aware Adversarial Attacks against Federated Learning-Coordinated EV Charging Management System
Florida International University（佛罗里达国际大学）；North Carolina State University（北卡罗来纳州立大学）
PHANTOM通过多智能体强化学习和物理信息神经网络，提出了一种针对联邦学习协调电动车充电管理系统的物理感知对抗攻击方法，揭示了其对电网稳定性的影响。
2025-12-26 cs.ET cs.LG
Federated Hypergradient Descent
Naval Information Warfare Center Pacific（太平洋海军信息战中心）
在这项工作中，我们探索结合自动超参数调整和优化联邦学习（FL）在一个在线的，一次性的过程。我们应用一个原则性的方法上的自适应客户端学习率，本地步骤的数量和批量大小的方法。在我们的联邦学习应用中，我们的主要动机是最小化通信预算以及训练管道中的本地计算资源。传统上，超参数调整方法涉及至少一定程度的试错，这是已知的样本效率低下。为了解决我们的动机，我们提出FATHOM（联邦自动超参数优化）作为一个一次性的在线程序。我们研究的挑战和解决方案，推导出的分析梯度相对于超参数的兴趣。我们的方法受到这样一个事实的启发：除了本地数据之外，我们对训练过程中涉及的所有组件都有充分的了解，这一事实可以在我们的算法中有效地利用。我们表明，FATHOM是更有效的通信比联邦平均（FedAvg）优化，静态值的超参数，也是更有效的整体计算。作为一个通信高效，一次性在线过程，FATHOM解决了昂贵的通信和有限的本地计算的瓶颈，通过消除潜在的浪费调整过程，并通过优化超参数自适应整个训练过程中没有试错。我们使用FedJAX作为我们的基线框架，通过对Federated EMNIST-62（FEMNIST）和Federated Stack Overflow（FSO）数据集的大量实证实验来展示我们的数值结果。
2022-11-03 cs.LG
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning
ISFA, UCBL（里昂第一大学金融与精算学院）；INRIA（法国国家信息与自动化研究所）
本文提出ProjFL和ProjFL+EF两种算法，通过将局部梯度投影到历史下降方向张成的共享子空间来降低联邦学习通信开销，并在多种凸性设置下证明收敛性，实验表明其能在保持精度的同时显著减少通信成本。
2025-11-05 cs.LG cs.NE math.OC
AdaFed: Fair Federated Learning via Adaptive Common Descent Direction
University of Waterloo（滑铁卢大学）
本文提出AdaFed方法，通过基于本地梯度和损失值自适应调整服务器的公共下降方向，确保所有客户端损失下降且较大损失客户端下降更快，有效解决联邦学习中的模型不公平问题。
2024-01-10 cs.AI cs.LG
FedHyper: A Universal and Robust Learning Rate Scheduler for Federated Learning with Hypergradient Descent
University of Maryland, College Park（马里兰大学帕克分校）；Apple（苹果公司）
针对联邦学习中超参数优化难题，提出基于超梯度的通用学习率调度算法FedHyper，可同时自适应全局与局部学习率，鲁棒性强，收敛更快、准确率更高。
2023-10-06 cs.DC cs.LG
Network-Level Adversaries in Federated Learning
Northeastern University（东北大学）；Google Research（谷歌研究院）；LinkedIn Corporation（领英公司）
联邦学习是一种流行的策略，用于在分布式敏感数据上训练模型，同时保护数据隐私。之前的工作确定了联邦学习协议上的一系列安全威胁，这些威胁会毒害数据或模型。然而，联邦学习是一个网络化的系统，其中客户端和服务器之间的通信对学习任务的性能起着至关重要的作用。我们强调了通信如何在联邦学习中引入另一个漏洞表面，并研究了网络级对手对训练联邦学习模型的影响。我们表明，攻击者从精心挑选的客户端丢弃网络流量可以显着降低目标人群的模型准确性。此外，我们表明，从几个客户端协调中毒运动可以放大下降的攻击。最后，我们开发了一个服务器端防御，通过识别和上采样可能对目标准确性有积极贡献的客户端来减轻我们的攻击的影响。我们在三个数据集上全面评估了我们的攻击和防御，假设加密的通信信道和攻击者对网络具有部分可见性。
2022-08-27 cs.CR cs.LG cs.NI
ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
College of Information Sciences and Technology（信息科学与技术学院）；Pennsylvania State University（宾夕法尼亚州立大学）
提出ParaBlock方法，通过并行化通信与计算线程，在联邦学习大语言模型时提升通信效率，并理论证明其收敛率与标准方法相同，实验验证其性能与效率优势。
2026-06-02 cs.DC cs.LG
Communication-Efficient {Federated} Learning Using Censored Heavy Ball Descent
Reality Labs Meta（Meta现实实验室）；Lehigh University（理海大学）；DEVCOM ARL（美国陆军作战能力发展司令部陆军研究实验室）
分布式机器学习实现了可扩展性和计算卸载，但需要大量的通信。因此，分布式学习环境中的通信效率是一个重要的考虑因素，特别是当通信是无线的和使用电池驱动的设备时。在本文中，我们开发了一个基于审查的重球（CHB）方法的分布式学习在服务器工作架构。每个工人自我审查，除非它的本地梯度是充分不同的，从以前发送的。HB方法在学习问题上的显著实际优势是众所周知的，但是减少通信的问题还没有得到解决。CHB利用HB平滑来消除报告小的变化，并且可证明地实现了与光滑和强凸目标函数的经典HB方法相当的线性收敛速度。对于凸和非凸情形，CHB的收敛性保证在理论上是合理的。此外，我们证明，在某些条件下，至少有一半的通信可以消除没有任何影响的收敛速度。大量的数值结果验证了通信效率的CHB在合成和真实的数据集，凸，非凸，和不可微的情况下。给定目标精度，与现有算法相比，CHB可以显著减少通信次数，在不减慢优化过程的情况下实现相同的精度。
2022-09-24 cs.AI cs.LG
Exact Penalty Method for Federated Learning
Imperial College London（伦敦帝国理工学院）
联邦学习近年来在机器学习中蓬勃发展，引起了各种各样的研究课题。流行的优化算法基于（随机）梯度下降方法或乘子的交替方向方法的框架。在本文中，我们部署了一个精确的惩罚方法来处理联邦学习，并提出了一个算法，Federnet，能够解决联邦学习中的四个关键问题：通信效率，计算复杂性，掉队者的影响，和数据隐私。此外，它被证明是收敛的，并证明了具有较高的数值性能。
2022-12-04 cs.CR cs.LG
Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback
University of Chicago Booth School of Business（芝加哥大学布斯商学院）；New Jersey Institute of Technology（新泽西理工学院）；Ant Financial Group（蚂蚁集团）；College of Computer Science and Technology Zhejiang University（浙江大学计算机科学与技术学院）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
本文将联邦学习中的客户端采样转化为带有bandit反馈的在线学习任务，提出OSMD算法以最小化采样方差，理论上和实验上均证明其能显著提升优化算法收敛速度，且适用于更广泛的随机优化过程。
2025-01-30 cs.LG
Analysis of regularized federated learning
School of Data Science, City University of Hong Kong（香港城市大学数据科学学院）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）
本文分析正则化联邦学习中的无环局部梯度下降算法，通过灵活步长改进，在非凸和强凸条件下给出收敛速率及充要条件。
2024-11-03 cs.DC cs.LG
Blockchain-enabled Clustered and Scalable Federated Learning (BCS-FL) Framework in UAV Networks
James Watt School of Engineering, University of Glasgow（詹姆斯·瓦特工程学院，格拉斯哥大学）
本文提出用于无人机网络的基于区块链的集群化可扩展联邦学习（BCS-FL）框架，通过划分集群并由集群头协调更新，结合混合模型聚合方案，提升了去中心化、可扩展性和通信效率，并在实验中验证了收敛性与训练及通信效率的权衡。
2024-02-15 cs.LG cs.NI eess.SP
Asynchronous Wireless Federated Learning with Probabilistic Client Selection
South China University of Technology（华南理工大学）；Shanghai Jiao Tong University（上海交通大学）；Xidian University（西安电子科技大学）
本文研究异步无线联邦学习中的落后节点问题，提出概率客户端选择与带宽分配联合优化方法，并设计迭代算法全局最优求解非凸问题，以权衡收敛速率与设备能耗。
2023-11-28 cs.DC cs.LG cs.NI
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Federated learning over physical channels: adaptive algorithms with near-optimal guarantees
Department of Electrical Engineering, SUNY University at Buffalo（电气工程系，布法罗大学）
针对联邦学习的通信成本问题，提出可在物理信道实现、兼顾信道噪声与硬件约束的自适应联邦SGD算法，证明其具备自适应于梯度噪声水平的收敛速率，并通过仿真验证了实际有效性。
2025-09-02 cs.IT cs.LG eess.SP
Better Methods and Theory for Federated Learning: Compression, Client Selection and Heterogeneity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
联邦学习（FL）是涉及多个客户端的新兴机器学习范例，例如，移动电话设备，具有协作解决由中央服务器协调的机器学习问题的激励。FL是由Konečnet al.和McMahan et al.在2016年提出的，作为传统集中式机器学习的一种可行的隐私保护替代方案，因为通过构造，训练数据点是分散的，并且永远不会由客户端传输到中央服务器。因此，FL在一定程度上减轻了与集中式数据汇集相关的隐私风险。不幸的是，FL的优化面临着集中式优化通常不需要处理的几个特定问题。在这篇论文中，我们确定了这些挑战中的一些，并提出了新的方法和算法来解决这些问题，最终目标是使实际的FL解决方案支持数学上严格的保证。
2022-07-01 cs.LG stat.ML
Enhancing Privacy in Federated Learning through Local Training
KTH Royal Institute of Technology（瑞典皇家理工学院）；East China University of Science and Technology（华东理工大学）
本文提出联邦学习算法Fed-PLT，通过部分参与和本地训练减少通信轮次且不影响准确率，推导其差分隐私边界并通过理论与分类任务数值结果验证其增强隐私的有效性。
2024-11-28 cs.LG math.OC
Federated Learning via Inexact ADMM
Beijing Jiaotong University（北京交通大学）；Imperial College London（伦敦帝国理工学院）
本文针对联邦学习优化效率问题，提出一种非精确ADMM算法，在温和条件下实现收敛，兼具计算与通信效率并能对抗滞后效应，数值性能优于现有主流联邦学习算法。
2023-09-24 cs.LG math.OC
FedGiA: An Efficient Hybrid Algorithm for Federated Learning
Imperial College London（帝国理工学院）；Beijing Jiaotong University（北京交通大学）
针对联邦学习中的通信与计算效率及收敛性问题，提出结合梯度下降与不精确交替方向乘子法的混合算法FedGiA，在理论和数值上优于现有方法，并能在温和条件下全局收敛。
2024-04-19 cs.LG math.OC
Iterated Vector Fields and Conservatism, with Applications to Federated Learning
Google Research（谷歌研究院）
研究了迭代向量场（由自身合成的向量场）是否保守。我们给出明确的例子向量场，这种自组合保持保守性。值得注意的是，这包括与某些广义线性模型相关的损失函数的梯度向量场。正如我们所示，描述满足这个条件的向量场的集合会导致非平凡的几何问题。在联邦学习的背景下，我们表明，当客户端的损失函数的梯度满足这个条件，联邦平均相当于梯度下降的代理损失函数。我们利用这一点来获得联邦学习的新收敛结果。相比之下，我们证明，当客户端损失违反此属性时，联合平均可以产生与集中式优化根本不同的行为。最后，我们讨论了我们的分析框架为联邦学习提出的理论和实践问题。
2021-11-13 cs.DC cs.LG math.CA
Bayesian AirComp with Sign-Alignment Precoding for Wireless Federated Learning
POSTECH（浦项工科大学）
在本文中，我们考虑的问题，无线联邦学习的符号随机梯度下降（signSGD）算法的基础上，通过多址接入信道。当发送本地计算的梯度的符号信息时，每个移动终端需要应用预编码以规避无线衰落效应。然而，实际上，在所有移动设备处获取信道状态信息（CSI）的完美知识是不可行的。在本文中，我们提出了一个简单而有效的预编码方法，有限的信道知识，称为符号对齐预编码。符号对齐预编码的思想是保护符号翻转错误免受无线衰落的影响。在局部梯度的高斯先验假设下，我们还推导出了均方误差（MSE）最优聚集函数，称为贝叶斯空中计算（BayAirComp）。我们的关键发现是，即使使用完美的CSI与AirComp聚合，BayAirComp聚合的一位预编码也可以提供比现有预编码方法更好的学习性能。
2021-09-14 cs.LG eess.SP
On Federated Learning with Energy Harvesting Clients
为了满足物联网设备和边缘分布式机器学习的激增，本文提出了一种能量收集联邦学习（EHFL）框架。EH的引入意味着不能保证客户参与任何FL回合的可用性，这使得理论分析变得复杂。我们推导出新颖的收敛边界，捕获的影响，由于参与客户端的随机EH特性的时变设备可用性，并行和本地随机梯度下降（SGD）与非凸损失函数。结果表明，有一个统一的客户端调度，最大限度地提高整个FL过程中的客户端的最小数量是可取的，这是进一步证实了使用现实世界的FL任务和国家的最先进的EH调度的数值实验。
2022-02-12 cs.IT cs.LG eess.SP
Bayes' capacity as a measure for reconstruction attacks in federated learning
EPFL（洛桑联邦理工学院）；Macquarie University（麦考瑞大学）；INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；UNSW（新南威尔士大学）
该研究针对联邦学习中重构攻击的隐私威胁，用定量信息流框架形式化威胁模型，证明贝叶斯容量是DP-SGD信息泄露的紧上界，并验证了其在对比抗攻击机制效果中的作用。
2024-06-19 cs.AI cs.CR cs.IT
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong（香港大学）
针对联邦学习客户端选择中数据异构与计算负担问题，提出基于梯度投影的GPFL框架，通过比较下降方向并引入利用-探索机制，在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
Asynchronous Hierarchical Federated Learning
Splunk Inc.（Splunk公司）；University of Illinois（伊利诺伊大学）
联邦学习是一个快速发展的研究领域，具有各种好处和行业应用。典型的联邦模式有一些固有的问题，比如服务器流量大、收敛时间长和准确性不可靠。在本文中，我们通过提出异步分层联邦学习来解决这些问题，在这种学习中，中央服务器使用网络拓扑或某种聚类算法来为工作者分配集群（即，客户端设备）。在每个集群中，选择一个特殊的聚合器设备，以实现分层学习，导致服务器和工人之间的有效通信，从而可以显着减少服务器的负担。此外，异步联邦学习模式用于容忍系统的异构性并实现快速收敛，即，服务器将来自工作者的梯度通过陈旧参数加权进行聚合以更新全局模型，并且在工作者中执行正则化随机梯度下降，从而可以减轻异步学习的不稳定性。在CIFAR-10图像分类任务上对所提算法进行了评估，实验结果证明了异步分层联邦学习的有效性。
2022-05-31 cs.LG
A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical Federated Learning
Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Institute for Systems and Robotics, Instituto Superior Técnico（系统与机器人研究所，理工学院）；Department of Computer Science, NOVA School of Science and Technology（科学与技术学院计算机科学系）
本文提出一种多令牌坐标下降法，用于半去中心化垂直联邦学习，通过灵活利用客户端-服务器和客户端-客户端链接，提升收敛效率并适应不同应用场景。
2026-02-05 cs.DC cs.DS cs.LG
Unified Group Fairness on Federated Learning
University of YYY（YYY大学）；Institute of WWW（WWW研究所）
联邦学习（FL）已经成为一种重要的机器学习范例，其中基于来自分布式客户端的私有数据来训练全局模型。然而，现有的FL算法大多不能保证性能公平性对不同的群体，因为数据分布偏移组。在本文中，我们制定了统一的组公平性问题的FL，其中组可以形成的客户端（包括现有的客户端和新添加的客户端）和敏感属性（S）。为了解决这个问题，我们首先提出了一个通用的公平联邦框架。然后从联邦不确定集的角度出发，通过理论分析，构造了一个统一的组公平风险，以保证FL上的统一组公平性，并提出了一种有效的联邦优化算法--带动量加速的联邦镜像下降上升算法（Federated Mirror Descent Ascent with Momentum Acceleration，FMDA-M）。通过实验验证了FMDA-M算法在各种分布偏移设置下的优越性，实验结果表明FMDA-M算法在统一组公平性方面优于现有的公平FL算法。
2022-02-16 cs.LG
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank（微众银行）；ShanghaiTech University（上海科技大学）；Hong Kong University of Science and Technology（香港科技大学）
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构，其中两方的数据集具有相同的样本ID，但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法，这需要大量的通信轮。为了解决通信的挑战，我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量，每轮有一点额外的通信成本。数值结果表明，我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning
IBM Research（IBM研究院）
我们解决了相对未探索的问题超参数优化（HPO）的联邦学习（FL-HPO）。我们介绍了联邦损失表面聚合（FLoRA），这是第一个FL-HPO解决方案框架，除了FL文献中常见的随机梯度下降/神经网络之外，还可以解决表格数据和梯度提升训练算法的用例。该框架通过首先识别用于 ** 单个 ** FL训练的一组良好的超参数来实现单次FL-HPO。因此，与没有HPO的FL训练相比，它使FL-HPO解决方案具有最小的额外通信开销。我们在七个OpenML数据集上对梯度提升决策树的FLoRA进行的实证评估表明，在考虑的基线上，模型准确性有了显着的提高，并且对参与FL-HPO训练的各方数量的增加具有鲁棒性。
2021-12-15 cs.DC cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对联邦学习中传统本地训练忽略客户端个性化需求的问题，提出Scafflix算法，将显式个性化与本地训练高效集成，在理论和实践上均实现了双重通信加速。
2023-05-22 cs.LG
Learning Rate Adaptation for Federated and Differentially Private Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
我们提出了一种算法，用于适应随机梯度下降（SGD）的学习率，避免了使用验证集的需要。自适应的想法来自外推技术：为了获得对SGD基础的梯度流的误差估计，我们比较了一个完整步骤和两个半步骤获得的结果。该算法应用于两个独立的框架：联邦和差分私人学习。使用深度神经网络的例子，我们凭经验表明，自适应算法是有竞争力的手动调整常用的优化方法的差异私人训练。我们还表明，它在联邦学习的情况下，与常用的优化方法不同，工作得很好。
2019-05-31 cs.CR cs.LG stat.ML
Wyner-Ziv Gradient Compression for Federated Learning
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于客户端有限的通信资源和大量的模型参数，大规模分布式学习任务遭受通信瓶颈。梯度压缩是一种通过传输压缩后的梯度来降低通信负载的有效方法。在随机梯度下降的情况下，相邻轮次之间的梯度可能具有很高的相关性，因为它们希望学习相同的模型。本文提出了一种实用的联邦学习梯度压缩方案，该方案使用历史梯度来压缩梯度，基于Wyner-Ziv编码，但没有任何概率假设。我们还在真实数据集上实现了我们的梯度量化方法，我们的方法的性能优于以前的方案。
2021-11-16 cs.LG
Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees
Purdue University（普渡大学）；Yonsei University（延世大学）；MIT（麻省理工学院）；University at Buffalo (SUNY)（纽约州立大学布法罗分校）
本文提出去中心化偶发联邦学习框架DSpodFL，通过广义的偶发性概念统一建模异构且时变的局部梯度与聚合过程，并在温和假设下提供了凸与非凸模型的收敛性保证，实验证明其训练速度优于基线。
2025-03-06 cs.DC cs.LG
Quantized and Asynchronous Federated Learning
Center for Pervasive Communications & Computing（普适通信与计算中心）；University of California, Irvine（加州大学欧文分校）
针对异步联邦学习缺乏量化机制以应对通信瓶颈的问题，提出带隐状态量化和更新缓冲的QAFeL算法，避免直接量化的误差传播，在非凸目标下实现最优遍历收敛率，且无需梯度有界或客户端均匀到达假设。
2024-09-30 cs.LG eess.SP math.OC
Tackling Federated Unlearning as a Parameter Estimation Problem
本文提出了一种基于信息论的联邦去学习框架，通过参数估计方法高效实现数据遗忘，提升隐私保护和模型性能。
2026-01-26 cs.AI cs.IT cs.LG
Distributed optimization: designed for federated learning
School of Management（管理学院）；Jinan University（暨南大学）；Guangdong International Cooperation Base of Science and Technology for GBA Smart Logistics（粤港澳大湾区智能物流科技国际合作基地）；School of Intelligent Systems Science and Engineering（智能系统科学与工程学院）；Institute of Physical Internet（物理互联网研究院）；School of Mechanical and Electrical Engineering（机械与电子工程学院）；Jiangxi University of Science and Technology（江西理工大学）；Department of Industrial and Systems Engineering（工业与系统工程系）；The Hong Kong Polytechnic University（香港理工大学）
针对跨组织隐私保护下的联邦学习需求，提出基于增广拉格朗日技术的分布式优化算法，适配多种通信拓扑，具备收敛性保证，可涵盖经典优化方法，在大规模异质客户端场景中性能优异。
2025-10-30 cs.LG math.OC stat.ML
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization
Xidian University（西安电子科技大学）；JD Tech（京东科技）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JD Finance America Corporation（京东金融美国公司）；Simon Fraser University（西蒙弗雷泽大学）；University of Pittsburgh（匹兹堡大学）
垂直联邦学习（VFL）是培训新兴跨组织（例如，不同的公司、公司和组织）具有隐私保护的协作学习。随机梯度下降（SGD）方法是训练VFL模型的流行选择，因为每次迭代计算量低。然而，现有的基于SGD的VFL算法是通信昂贵的，由于大量的通信轮。同时，现有的VFL算法大多采用同步计算，严重影响了实际应用中计算资源的利用率。为了解决通信和计算资源利用率的挑战，我们提出了一个异步随机拟牛顿（AsySQN）框架VFL，在此框架下，提出了三个算法，即AsySQN-SGD，-SVRG和-SAGA。所提出的AsySQN型算法通过近似（不显式计算逆Hessian矩阵）Hessian信息来缩放下降步骤，在实践中比基于SGD的方法收敛得更快，从而可以显着减少通信轮数。此外，采用异步计算可以更好地利用计算资源。我们从理论上证明了我们所提出的算法的收敛速度强凸问题。在真实数据集上的大量数值实验表明，与现有的VFL算法相比，该算法具有更低的通信开销和更好的计算资源利用率。
2021-09-26 cs.DC cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur（蔚蓝海岸大学）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安提波利斯分部）；Accenture Labs（埃森哲实验室）
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案，通过引入随机聚合权重来表示客户端更新时间的可变性，例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置，客户端具有异构数据集，并执行至少一个步骤的随机梯度下降（SGD）。我们证明了这样一个计划的收敛性，并提供了足够的条件，相关的最小是最佳的联邦问题。我们表明，我们的一般框架适用于现有的优化方案，包括集中式学习，FedAvg，异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是，我们在这项工作中开发FedFix，FedAvg的一个新的扩展，使高效的异步联邦训练，同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明，异步FedAvg导致快速收敛的稳定性为代价，我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
Towards Federated Learning With Byzantine-Robust Client Weighting
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
联邦学习（FL）是一种分布式机器学习范例，其中数据分布在客户端之间，这些客户端在由中央服务器协调的计算过程中协作训练模型。通过根据每个客户端拥有的数据实例的比例为每个客户端分配权重，可以大大加快收敛到精确联合模型的速度。以前的一些作品在拜占庭环境中研究了FL，其中一小部分客户端可能会发送关于其模型的任意甚至恶意信息。然而，这些作品要么完全忽略了数据不平衡的问题，要么假设客户端的权重是先验已知的服务器，而在实践中，它很可能是由客户端自己向服务器报告的权重，因此不能依赖。我们首次提出了一种实用的基于权重截断的预处理方法，并通过经验证明它能够在模型质量和拜占庭鲁棒性之间取得良好的平衡。我们还建立分析，我们的方法可以应用于随机选择的客户端权重的样本。
2021-05-18 cs.CR cs.LG stat.ML
Federated and Differentially Private Learning for Electronic Health Records
Stanford University（斯坦福大学）；Google Health（谷歌健康）
使用协作和分散的机器学习技术，如联邦学习，有可能在低资源环境中开发和部署临床风险预测模型，而无需共享敏感数据或将其存储在中央存储库中。这个过程需要在合作实体之间进行模型权重或更新的通信，但目前还不清楚患者隐私在多大程度上受到损害。为了深入了解这个问题，我们研究了集中式学习与联邦学习在私人和非私人环境中的有效性。我们考虑的临床预测任务是预测eICU协作研究数据库中31家医院的住院时间延长和住院死亡率。我们发现，虽然在集中式设置中训练时，应用差分私有随机梯度下降来实现强隐私边界是很简单的，但在联邦设置中这样做要困难得多。
2019-11-13 cs.LG stat.ML
Heterogeneity-Aware Personalized Federated Learning for Industrial Predictive Analytics
Edward P. Fitts Department of Industrial and Systems Engineering, North Carolina State University（爱德华·P·菲茨斯工业与系统工程系，北卡罗来纳州立大学）
本文提出一种面向工业预测分析的异质感知个性化联邦学习模型，通过迭代促进具有相似退化模式的客户端间的协作，提升个性化联邦学习性能，同时实现模型个性化、数据隐私保护和全面故障时间分布提供。
2026-04-21 cs.LG stat.ML
Gradient-Leakage Resilient Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
联邦学习（FL）是一种新兴的分布式学习范式，具有默认的客户端隐私，因为客户端可以将敏感数据保存在其设备上，并且仅与联邦服务器共享本地训练参数更新。然而，最近的研究表明，FL中的梯度泄漏可能会危及客户端训练数据的隐私。本文提出了一种梯度泄漏弹性隐私保护的联邦学习方法，该方法基于每个训练样本的客户端差分隐私，称为Fed-CDP。它有三个原创性的贡献。首先，我们在联邦学习中识别出三种类型的客户端梯度泄漏威胁，即使是加密的客户端-服务器通信。我们阐明了传统的服务器协调的差分隐私方法，被称为Fed-SDP，是不足以保护训练数据的隐私。其次，介绍了基于实例的客户端差分隐私算法Fed-CDP，给出了具有$(ε, δ)$差分隐私保证的Fed-CDP的形式化分析，并从隐私计费的角度对Fed-CDP和Fed-SDP进行了形式化比较。第三，形式化分析了Fed-CDP提供差分隐私保证的隐私-效用权衡，并提出了一种动态衰减噪声注入策略，进一步提高Fed-CDP的准确性和弹性。我们评估和比较Fed-CDP和Fed-CDP（衰减）与Fed-SDP的差分隐私保证和梯度泄漏弹性在五个基准数据集。结果表明，Fed-CDP方法在对客户端梯度泄漏的弹性方面优于传统的Fed-SDP，同时在联邦学习中提供有竞争力的准确性性能。
2021-07-02 cs.CR cs.LG
FedEL: Federated Elastic Learning for Heterogeneous Devices
Middle Tennessee State University（中田纳西州立大学）；University of Florida（佛罗里达大学）
FedEL提出联邦弹性学习框架，通过滑动窗口动态选择重要张量训练并协调张量重要性，解决异构设备训练延迟问题，实现最高3.87倍时间精度提升。
2025-09-21 cs.AI cs.LG
FLoBC: A Decentralized Blockchain-Based Federated Learning Framework
The American University in Cairo（开罗美国大学）
全球范围内数据的快速扩展需要更多的分布式解决方案，以便在更广泛的范围内应用机器学习。由此产生的分布式学习系统可以具有不同程度的集中化。在这项工作中，我们展示了我们的解决方案FLoBC，用于使用区块链技术构建一个通用的分散式联邦学习系统，适应任何与梯度下降优化兼容的机器学习模型。我们提出了我们的系统设计，包括两个分散的演员：训练器和验证器，以及我们的方法，以确保该系统的可靠和有效的操作。最后，我们利用FLoBC作为一个实验沙箱，比较和对比训练者与验证者的比例，奖惩政策和模型同步方案对整体系统性能的影响，最终通过例子表明，分散的联邦学习系统确实是一个可行的替代方案，以更集中的架构。
2022-10-07 cs.DC cs.LG cs.MA
Attacks to Federated Learning: Responsive Web User Interface to Recover Training Data from User Gradients
Nanyang Technological University（南洋理工大学）
局部差分隐私（LDP）是一种保护个人用户数据的新兴隐私标准。可以应用LDP的一个场景是联邦学习，其中每个用户将他/她的用户梯度发送到聚合器，聚合器使用这些梯度来执行随机梯度下降。在聚合器不可信并且LDP不应用于每个用户梯度的情况下，聚合器可以从这些梯度恢复敏感的用户数据。在本文中，我们提出了一个新的交互式Web演示展示本地差分隐私的力量，通过可视化联邦学习与本地差分隐私。此外，现场演示还展示了LDP如何防止不受信任的聚合器恢复敏感的训练数据。还创建了一个称为exp-hamming恢复的度量，以显示聚合器可以恢复多少数据。
2020-07-17 cs.CR cs.DC cs.LG
FedCluster: Boosting the Convergence of Federated Learning via Cluster-Cycling
University of Utah（犹他大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
本研究提出新型联邦学习框架FedCluster，通过集群循环多轮元更新提升收敛效率，理论和实验均证明其在设备数据异质场景下收敛速度优于传统FedAvg算法。
2020-09-22 cs.LG math.OC stat.ML
FedDuA: Doubly Adaptive Federated Learning
LY Corporation（LY公司）
针对联邦学习中FedAvg收敛慢的问题，提出基于镜像下降的双自适应框架FedDuA，自适应选择全局学习率，证明其极小极大最优性，实验显示其性能优于基线且鲁棒性强，无额外客户端开销。
2025-05-16 cs.LG stat.ML
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China（中国人民大学）；Kyoto University（京都大学）
随着大量数据从小型设备中产生，移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中，随机梯度下降（SGD）已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露，最近，本地差分隐私（LDP）被认为是联邦SGD中的隐私保证。然而，现有的解决方案具有维度依赖性问题：注入的噪声基本上与维度$d$成比例。在这项工作中，我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是，并非所有维度都同等重要，因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说，我们提出了三个私人维度选择机制，并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度，并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
Unlocking Dynamic Inter-Client Spatial Dependencies: A Federated Spatio-Temporal Graph Learning Method for Traffic Flow Forecasting
针对联邦场景下交通流预测难以建模动态客户端间空间依赖的问题，提出FedSTGD框架，通过分解模块、嵌入增强模块与协同协议实现动态依赖建模，实验证明其性能优于现有联邦基线、接近集中式方法且鲁棒性强。
2025-11-13 cs.DC cs.LG
Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits
University of Southern California（南加州大学）；Amazon Alexa AI（亚马逊 Alexa AI）
局部随机梯度下降（SGD）与周期模型平均（FedAvg）是联邦学习的基础算法。该算法在多个工作者上独立运行SGD，并定期对所有工作者的模型进行平均。然而，当本地SGD与许多工人一起运行时，周期性平均会导致工人之间的显著模型差异，使全局损失缓慢收敛。虽然最近的先进优化方法解决了集中在非IID设置的问题，但由于潜在的周期性模型平均，仍然存在模型差异问题。我们提出了一个部分模型平均框架，减轻模型差异的问题，在联邦学习。部分平均鼓励局部模型在参数空间上保持彼此接近，并且它能够更有效地最小化全局损失。给定固定的迭代次数和大量的工人（128），部分平均比周期性的全平均实现了高达2.2%的高验证精度。
2022-01-11 cs.LG stat.ML
Minimizing Layerwise Activation Norm Improves Generalization in Federated Learning
通过引入'平坦性'约束的优化方法，该研究在联邦学习中最小化逐层激活范数以提升模型泛化能力，实现了新的性能突破。
2025-12-09 cs.LG
