FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors
Jilin University（吉林大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对联邦学习中数据异构性导致的聚合权重分配不合理问题，提出基于客户端向量自适应调整聚合权重的FedAWA方法，在保护隐私的同时提升了全局模型的稳定性与泛化能力，经多场景实验验证了其优越性。
2025-03-20 cs.LG
Argus: Federated Non-convex Bilevel Learning over 6G Space-Air-Ground Integrated Network
Department of Computer Science and Technology, Tongji University（计算机科学与技术系，同济大学）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（计算机科学与工程系，香港科技大学）
针对6G SAGIN时变无基础设施环境下的非凸非光滑去中心化联邦双层学习问题，提出异步算法Argus，避免落后者拖慢训练，并从复杂度理论与数值实验验证其有效性。
2025-05-14 cs.LG
Efficient Adaptive Federated Optimization of Federated Learning for IoT
Beijing University of Posts and Telecommunications（北京邮电大学）
物联网（IoT）的激增和具有感测、计算和通信能力的设备的广泛使用已经激发了由人工智能授权的智能应用。经典的人工智能算法需要集中式数据汇集和处理，由于日益增长的数据隐私问题和分布式数据集，这在现实的智能物联网应用中具有挑战性。联邦学习（FL）已经成为一种分布式隐私保护学习框架，它使物联网设备能够通过共享模型参数来训练全局模型。然而，由于频繁的参数传输导致的低效率显著降低FL性能。现有的加速算法包括两种主要类型，包括考虑通信和计算之间的权衡的局部更新和考虑通信和精度之间的权衡的参数压缩。共同考虑这两个权衡和适应性平衡其对收敛的影响仍然没有得到解决。为解决这一问题，提出一种新的自适应联邦优化算法（EAFO），该算法通过联合考虑局部更新和参数压缩两个变量来最小化学习误差，使FL能够自适应地调整两个变量，并在计算、通信和精度之间取得平衡。实验结果表明，与现有算法相比，该算法能够在更短的时间内获得更高的精度。
2022-06-23 cs.AI cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（美国NEC实验室）；Florida International University（佛罗里达国际大学）；AWS AI Labs, Amazon（亚马逊AWS人工智能实验室）
个性化联邦学习（PFL）是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行，它已被观察到，现有的PFL方法导致次优的解决方案时，当地客户端之间的联合分布发散。为了解决这个问题，我们提出了联邦模块化网络（FedMN），一种新的PFL方法，自适应地从模块池中选择子模块，为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布，并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担，我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验，在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
Learn What You Need in Personalized Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）；Cooperative Medianet Innovation Center (CMIC), Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出基于算法展开的个性化联邦学习框架 Learn2pFed，通过将各本地模型参数的协作参与程度优化为可学习参数，实现自适应定制协作方式，并在多种任务上显著超越现有方法。
2024-01-16 cs.LG
Smoothed Gradient Method for Nonconvex Federated Stochastic Bilevel Optimization
Temple University（天普大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of Minnesota（明尼苏达大学）
针对非凸联邦随机双层优化，提出一种随机双重平滑梯度方法，解耦上下层学习率，无需强凸下层，收敛率与通信复杂度均优于现有方法。
2026-10-06 cs.LG
Multi-metrics adaptively identifies backdoors in Federated learning
South China University of Technology（华南理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对联邦学习后门攻击提出一种基于多度量与动态加权的自适应防御策略，无需预定义假设即可在多种攻击和非IID场景下显著降低后门准确率并保持良性性能。
2023-08-10 cs.CR cs.CV cs.LG
Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning
University of Pittsburgh（匹兹堡大学）
传统的联邦学习（FL）训练一个全局模型，用于具有分散数据的客户端联盟，降低了集中训练的隐私风险。然而，跨非IID数据集的分布偏移通常对这种一个模型适合所有解决方案构成挑战。个性化FL旨在系统地缓解这一问题。在这项工作中，我们提出了APPLE，一个个性化的跨筒仓FL框架，自适应地学习每个客户端可以从其他客户端的模型中受益多少。我们还介绍了一种方法来灵活地控制训练APPLE的全局和局部目标之间的焦点。我们经验性地评估了我们的方法的收敛性和泛化行为，并在两个基准数据集和两个非IID设置下的两个医学成像数据集上进行了广泛的实验。结果表明，所提出的个性化FL框架，APPLE，达到国家的最先进的性能相比，其他几个个性化FL方法在文献中。该代码可在https://github.com/ljaiverson/pFL-APPLE上公开获取。
2022-06-06 cs.LG
Data Poisoning Attacks on Federated Machine Learning
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）
联合机器学习使得资源受限的节点设备（例如，移动电话和IoT设备）学习共享模型，同时保持训练数据本地，可以通过设计有效的通信协议来提供隐私、安全和经济效益。然而，不同节点之间的通信协议可以被攻击者利用来发起数据投毒攻击，这已经被证明是对大多数机器学习模型的巨大威胁。在本文中，我们试图探讨联邦机器学习的脆弱性。更具体地说，我们专注于攻击一个联邦多任务学习框架，这是一个联邦学习框架，通过采用一个通用的多任务学习框架来处理统计挑战。我们制定了联邦多任务学习的最佳中毒攻击的计算问题作为一个双层计划，是适应于任意选择的目标节点和源攻击节点。然后提出了一种新的系统感知优化方法ATTack on联邦学习（AT2FL），该方法可以有效地推导出中毒数据的隐式梯度，并进一步计算联邦机器学习中的最优攻击策略。我们的工作是一个早期的研究，考虑数据投毒攻击的问题，联邦学习。最后，在真实数据集上的实验结果表明，联邦多任务学习模型对投毒攻击非常敏感，无论攻击者是直接投毒目标节点，还是利用通信协议间接投毒相关节点。
2020-04-19 cs.CR cs.LG
Dynamically Weighted Federated k-Means
Fraunhofer Institute for Industrial Mathematics ITWM（弗劳恩霍夫工业数学研究所ITWM）
本文提出动态加权联邦k-means算法，基于Lloyd方法解决异构分布式数据的联邦聚类问题，通过自适应聚合各数据源聚类信息，匹配集中式k-means性能并优于k-FED。
2023-11-17 cs.LG
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
在联邦学习中，跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而，已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异，而是一次性地对整个模型参数进行调整，导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展，同时会增加通信成本。我们提出了FedLAMA，一个分层的模型聚合方案，可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式，联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔，以放松聚合频率，而不会对模型精度产生显著影响。我们的实证研究表明，FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本，同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Federated Hypergradient Descent
Naval Information Warfare Center Pacific（太平洋海军信息战中心）
在这项工作中，我们探索结合自动超参数调整和优化联邦学习（FL）在一个在线的，一次性的过程。我们应用一个原则性的方法上的自适应客户端学习率，本地步骤的数量和批量大小的方法。在我们的联邦学习应用中，我们的主要动机是最小化通信预算以及训练管道中的本地计算资源。传统上，超参数调整方法涉及至少一定程度的试错，这是已知的样本效率低下。为了解决我们的动机，我们提出FATHOM（联邦自动超参数优化）作为一个一次性的在线程序。我们研究的挑战和解决方案，推导出的分析梯度相对于超参数的兴趣。我们的方法受到这样一个事实的启发：除了本地数据之外，我们对训练过程中涉及的所有组件都有充分的了解，这一事实可以在我们的算法中有效地利用。我们表明，FATHOM是更有效的通信比联邦平均（FedAvg）优化，静态值的超参数，也是更有效的整体计算。作为一个通信高效，一次性在线过程，FATHOM解决了昂贵的通信和有限的本地计算的瓶颈，通过消除潜在的浪费调整过程，并通过优化超参数自适应整个训练过程中没有试错。我们使用FedJAX作为我们的基线框架，通过对Federated EMNIST-62（FEMNIST）和Federated Stack Overflow（FSO）数据集的大量实证实验来展示我们的数值结果。
2022-11-03 cs.LG
Federated Learning with Domain Generalization
Chongqing University（重庆大学）；Michigan State University（密歇根州立大学）
联邦学习（FL）使一组客户端能够在集中式服务器的帮助下联合训练机器学习模型。在训练过程中，客户端不需要向服务器提交其本地数据，因此客户端的本地训练数据受到保护。在FL中，分布式客户端独立地收集它们的本地数据，因此每个客户端的数据集可以自然地形成不同的源域。在实践中，在多个源域上训练的模型可能在看不见的目标域上具有较差的泛化性能。为了解决这个问题，我们提出了FedADG来为联邦学习提供领域泛化能力。FedADG采用联邦对抗学习方法，通过将每个分布与参考分布进行匹配来测量和对齐不同源域之间的分布。自适应地生成参考分布（通过容纳所有源域），以最小化对齐期间的域偏移距离。在FedADG中，对齐是细粒度的，因为每个类都是独立对齐的。通过这种方式，学习的特征表示应该是通用的，因此它可以在看不见的领域上很好地推广。在各种数据集上的密集实验表明，FedADG具有与最先进的性能相当的性能。
2023-01-07 cs.LG
FedNest: Federated Bilevel, Minimax, and Compositional Optimization
University of Michigan（密歇根大学）；University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
标准的联邦优化方法成功地应用于单级结构的随机问题。然而，许多当代机器学习问题-包括对抗鲁棒性，超参数调整和演员-评论家-都属于嵌套双层编程，其中包含极大极小和组合优化。在这项工作中，我们提出了\fedblo：一种用于解决一般嵌套问题的联邦交替随机梯度方法。我们建立了可证明的收敛速度\fedblo在异构数据的存在下，并介绍了双层，极大极小和组合优化的变化。\fedblo引入了多项创新，包括联合超梯度计算和方差减少，以解决内部层次的异构性。我们补充我们的理论与实验超参数\&超表示学习和极大极小优化，证明我们的方法在实践中的好处。代码可在https://github.com/ucr-optml/FedNest上获得。
2022-09-13 cs.LG math.OC
Fast Adaptive Federated Bilevel Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
双层优化是机器学习中一种流行的分层模型，已被广泛应用于元学习、超参数学习、策略优化等机器学习任务中。虽然近年来已有许多双层优化算法被提出，但针对分布式环境下双层优化问题的自适应算法却很少。众所周知，自适应梯度方法在分布式和非分布式优化上都表现出优越的性能。因此，在本文中，我们提出了一种新的自适应联邦双层优化算法（即，AdaFBiO）求解分布式两层优化问题，其中上层（UL）问题的目标函数可能是非凸的，而下层（LL）问题的目标函数是强凸的.具体来说，我们的AdaFBiO算法建立在基于动量的方差减少技术和本地SGD，以获得最佳已知的样本和通信复杂性同时。特别是，我们的AdaFBiO算法使用统一的自适应矩阵，灵活地将各种自适应学习率更新变量在UL和LL的问题。此外，我们提供了一个收敛性分析框架，我们的AdaFBiO算法，并证明它需要$\tilde{O}(ε^{-3})$的样本复杂度与$\tilde{O}(ε^{-2})$的通信复杂性度，以获得一个$ε$ -稳定点。联邦超表示学习和联邦数据超清洗任务的实验结果验证了算法的有效性。
2022-11-14 cs.LG math.OC
Achieving Linear Speedup in Non-IID Federated Bilevel Learning
Meta；The Ohio State University（俄亥俄州立大学）；University at Buffalo（布法罗大学）
联邦双层优化在各种新兴的机器学习和通信应用中受到越来越多的关注。近年来，一些基于Hessian向量的算法被提出来解决联邦双层优化问题。然而，联邦学习中的几个重要属性，如部分客户端参与和收敛的线性加速（即，收敛速度和复杂度相对于采样客户端的数量线性地提高）。数据库仍然开放。在本文中，我们填补了这些空白，提出了一个新的联邦双层算法命名为FedMBO与一个新的客户端抽样计划在联邦超梯度估计。我们证明了FedMBO在非独立同分布上达到了$\mathcal{O}\big(\frac{1}{\sqrt{nK}}+\frac{1}{K}+\frac{\sqrt{n}}{K^{3/2}}\big)$的收敛速度。数据集，其中$n$是每轮中参与客户端的数量，$K$是迭代的总数。这是第一个理论上的线性加速结果非i.i.d.联邦双层优化大量的实验验证了我们的理论结果，并证明了我们所提出的方法的有效性。
2023-02-10 cs.LG math.OC stat.ML
Similarity-Aware Personalized Federated Learning in Heterogeneous Environments
Deakin University（迪肯大学）；Applied Artificial Intelligence Initiative（应用人工智能倡议）
针对异构环境下联邦学习的分布不匹配问题，提出SAPE-FL框架，通过双锚定机制平衡全局与对等知识，在高异构低数据场景下性能优于现有方法。
2026-09-03 cs.LG
When to Stop Federated Learning: Zero-Shot Generation of Synthetic Validation Data with Generative AI for Early Stopping
Institute of Information & Communications Technology Planning & Evaluation (IITP)-ITRC (Information Technology Research Center)（信息与通信技术规划与评估机构（IITP）-ITRC（信息技术研究中心））；Institute of Science Tokyo（东京科学研究所）
针对联邦学习固定训练轮次导致的计算浪费问题，提出基于生成式AI的零样本合成验证早停框架，可在近最优轮次自适应停训，多标签胸片分类实验显示其最多减74%轮次且精度损失不超1%。
2025-11-14 cs.LG
FedShard: Federated Unlearning with Efficiency Fairness and Performance Fairness
针对联邦遗忘中客户端效率与性能公平性未被充分探索的问题，提出首个兼顾双公平性的FedShard算法，设计公平性评估指标，验证其公平性并缓解不公平风险，遗忘速度为从头重训练的1.3-6.2倍、最先进方法的4.9倍。
2025-11-11 cs.LG
SFedHIFI: Fire Rate-Based Heterogeneous Information Fusion for Spiking Federated Learning
本文提出SFedHIFI框架，通过基于发火率的异构信息融合实现异构联邦学习，提升资源受限客户端的模型部署效率和性能。
2026-03-16 cs.LG
FedExP: Speeding Up Federated Averaging via Extrapolation
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
Federated Averaging（FedAvg）仍然是联邦学习（FL）优化的最流行算法，因为它实现简单、无状态、隐私保证以及安全聚合。最近的工作试图通过将客户端更新视为伪梯度并使用服务器步长，将FedAvg中的香草平均推广到广义梯度下降步骤。虽然服务器步长的使用已被证明在理论上提供性能改进，但在大多数现有作品中尚未看到服务器步长的实际益处。在这项工作中，我们提出了FedExP，一种方法来自适应地确定服务器的步长在FL的基础上动态变化的伪梯度在整个FL过程。我们首先考虑overparameterized凸政权，在那里我们揭示了一个有趣的相似性FedAvg和投影到凸集（POCS）算法。然后，我们展示了如何FedExP可以动机作为一个新的扩展外推机制，用于加快POCS。我们的理论分析稍后还讨论了FedExP在欠参数化和非凸设置中的影响。实验结果表明，FedExP在一系列现实FL数据集上始终比FedAvg和竞争基线收敛得更快。
2023-03-06 cs.LG
Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates
University of Tennessee（田纳西大学）；Google Research（谷歌研究院）；Oak Ridge National Laboratory（橡树岭国家实验室）
联邦学习（FL）支持多个分布式客户端（例如，移动设备）来协作地训练集中式模型，同时将训练数据保持在客户端本地。与传统的集中式机器学习相比，FL提供了许多有利的功能，例如卸载通常由中央服务器执行的操作，并降低严重隐私泄露的风险。然而，由于系统故障或对抗攻击而发送不正确或破坏性更新的拜占庭客户端可能会干扰联合学习过程，从而降低最终模型的性能。在本文中，我们建议从时空的角度来减轻这些故障和攻击。具体来说，我们使用基于聚类的方法来检测和排除不正确的更新，利用它们在参数空间中的几何属性。此外，为了进一步处理恶意客户端的时变行为，我们提出了自适应调整学习率根据动量为基础的更新推测。在4个公共数据集上的大量实验表明，与现有方法相比，该算法在跨竖井和跨设备FL设置下具有故障/恶意客户端，具有更强的鲁棒性。
2021-09-27 cs.LG
Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems
University of Maryland（马里兰大学）；University of Pittsburgh（匹兹堡大学）
本文针对联邦双层优化提出通信高效算法FedBiOAcc，利用分布式超梯度估计和动量方差缩减，实现O(ε^{-1})通信复杂度与线性加速，并在联邦数据清洗和超表示学习任务中验证了其优越性。
2024-02-27 cs.DC cs.LG math.OC
Smart Sampling: Helping from Friendly Neighbors for Decentralized Federated Learning
School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）
本文提出AFIND+算法，通过识别有益邻居、自适应调整采样数量并按其贡献聚合模型，在去中心化联邦学习中提升客户端性能，实验表明其优于现有采样算法且兼容主流DFL优化算法。
2024-07-05 cs.LG
Channel-Adaptive Robust Aggregation for Over-the-Air Federated Learning in Heterogeneous Networks
IIIT, Delhi（德里印度理工学院）；IIT Dharwad（达尔瓦德印度理工学院）
针对物联网等隐私保护、数据密集型应用需求，提出CHARGE-FL框架，基于信道动态和应用就绪情况自适应调度聚合，结合优化策略与预编码机制，提升无线条件下的精度、稳定性和收敛性。
2026-07-07 cs.LG
Accelerating Differentially Private Federated Learning via Adaptive Extrapolation
LY Corporation（LY公司）
针对DP-FedAvg在客户端数据异质性下收敛慢的问题，提出无需额外超参数和客户端计算成本的DP-FedEXP，通过局部更新多样性自适应选全局步长，理论与实证均优于现有方法。
2025-04-14 cs.LG
A Randomized Zeroth-Order Hierarchical Framework for Heterogeneous Federated Learning
Mathematics and Computer Science Division, Argonne National Laboratory（数学与计算机科学 division，阿贡国家实验室）
本文提出一种将异构联邦学习建模为双层分层优化问题的随机零阶框架（ZO-HFL），无需有界梯度差异假设，在理论上保证收敛，并在图像分类任务中验证了有效性。
2025-09-10 cs.LG math.OC
Memory-adaptive Depth-wise Heterogeneous Federated Learning
针对联邦学习中异构设备内存差异限制模型规模与性能的问题，提出内存自适应深度学习方案FeDepth，按客户端内存预算分块顺序训练，在多个数据集上准确率显著优于现有方法。
2025-09-02 cs.LG
Adaptive Federated Learning via Dynamical System Model
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对异构联邦学习中超参数调优成本高、收敛难的问题，提出将联邦学习建模为动力系统的自适应方法，通过单个全局超参数动态调控客户端与服务器的学习率和动量，实现更优收敛且无需繁琐调参。
2025-10-05 cs.LG cs.SY eess.SY
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design（新加坡科技设计大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Sichuan University（四川大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦学习（FL）作为一种新型的分布式学习范式，在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入，以提高FL的鲁棒性。其中，原始-对偶算法，如交替方向的方法乘数（ADMM）已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而，背后的原因仍然是一个谜。在本文中，我们首先揭示了一个事实，即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性，但它的普通版本缺乏适应客户机异构程度的能力。此外，在客户端采样的服务器端的全局模型是有偏的，这减缓了实际收敛。为了超越ADMM，我们提出了一种新的原始-对偶FL算法，称为FedVRA，它允许一个自适应控制方差减少水平和全局模型的偏差。此外，FedVRA统一了几种典型的FL算法，它们要么是FedVRA的特殊实例，要么是接近FedVRA的实例，并将FedVRA扩展到半/无监督学习。基于（半）监督图像分类任务的实验表明，FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems
College of Computer Science, Chongqing University（重庆大学计算机学院）
针对联邦学习中系统异构性导致掉队设备多、精度下降的问题，提出自适应框架FedSAE，通过预测设备负载调整训练量、结合主动学习选参与节点，在高异构系统中收敛更快、精度更高且掉队设备大幅减少。
2021-04-15 cs.DC cs.LG
Adaptive Federated Learning and Digital Twin for Industrial Internet of Things
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）；University of Oslo（奥斯陆大学）；Simula Metropolitan Center for Digital Engineering（西穆拉都会数字工程中心）
工业物联网（IoT）使分布式智能服务能够随动态和实时的工业设备而变化，以实现工业4.0的好处。在本文中，我们考虑了一种新的数字孪生授权工业物联网架构，其中数字孪生捕获工业设备的特征，以协助联邦学习。针对数字孪生可能导致设备状态估计值偏离实际值的问题，在联邦学习中提出了一种基于可信聚合的方法来缓解这种偏差的影响。本文基于李雅普诺夫动态亏损队列和深度强化学习自适应调整联邦学习的聚合频率，以提高资源约束下的学习性能。为进一步适应工业物联网的异构性，提出了一种基于聚类的异步联邦学习框架。数值结果表明，该框架是优于基准的学习精度，收敛性和节能。
2020-11-01 cs.DC cs.LG
AsynDBT: Asynchronous Distributed Bilevel Tuning for efficient In-Context Learning with Large Language Models
Xinjiang Key Laboratory of Intelligent Computing and Smart Applications, School of Software, Xinjiang University（新疆智能计算与智能应用重点实验室，软件学院，新疆大学）；Department of Computer Science and Technology, Tongji University（计算机科学与技术系，同济大学）；School of Information Science and Engineering, Zaozhuang University（信息科学与工程学院，枣庄大学）；Xinjiang University, College of Geography and Remote Sensing Sciences（新疆大学，地理与遥感科学学院）；Hochschule Bielefeld-University of Applied Sciences and Arts（比勒菲尔德应用科学与艺术大学）；Xinjiang General Station of Exit and Entry Frontier Inspection（新疆出入境边防检查总站）
AsynDBT通过异步分布式双层调优优化上下文学习样本和提示片段，提升大语言模型在隐私保护和异构环境下的下游任务性能。
2026-02-06 cs.AI cs.LG
FedLWS: Federated Learning with Adaptive Layer-wise Weight Shrinking
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
针对联邦学习中的全局权重收缩效应，提出自适应逐层权重收缩策略FedLWS，以逐层方式设计收缩因子，避免代理数据集优化，实验证明其优于现有方法。
2025-03-28 cs.LG
HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
联邦学习（FL）是一种在分布在大量可能异构的客户端（如移动电话和物联网设备）上的私有数据上训练机器学习模型的方法。在这项工作中，我们提出了一个新的联邦学习框架命名为HeteroFL，以解决异构客户端配备了非常不同的计算和通信能力。我们的解决方案可以使不同的计算复杂度的异构局部模型的训练，仍然产生一个单一的全局推理模型。第一次，我们的方法挑战了现有工作的基本假设，即本地模型必须与全局模型共享相同的架构。我们展示了几种策略来增强FL训练，并进行了广泛的实证评估，包括三个数据集上的三个模型架构的五个计算复杂度级别。我们表明，自适应分布子网根据客户端的能力是计算和通信效率。
2021-12-14 cs.LG stat.ML
Personalized One-shot Federated Graph Learning for Heterogeneous Clients
AAAI Press（AAAI出版社）
针对异构客户端，提出首个单轮个性化联邦图学习方法O-pFGL，通过类级特征统计构建全局代理图并采用两阶段训练，在14个数据集上显著优于现有基线。
2025-08-06 cs.LG
FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated Learning with Bayesian Inference-Based Adaptive Dropout
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对联邦学习上行通信瓶颈，本文提出 FedBIAD，利用贝叶斯推理和损失趋势重要性指标自适应丢弃权重行，并证明其极小极大最优收敛，实验显示通信减半、精度提升且训练时间最多降低 72%。
2023-07-14 cs.DC cs.LG
Roughness-Informed Federated Learning
Electrical Engineering and Computer Science, University of California at Merced（加州大学梅尔德分校电气工程与计算机科学系）；Department of Applied Mathematics, University of California Merced（加州大学梅尔德分校应用数学系）；Dept. of Innovation and Research, North Carolina State University（北卡罗来纳州立大学创新与研究部门）；Mechatronics, Embedded Systems and Automation (MESA) Lab, Department of Mechanical Engineering, School of Engineering, University of California, Merced, CA（机械工程系工程学院机电一体化、嵌入式系统与自动化（MESA）实验室，加州大学梅尔德分校）
RI-FedAvg通过引入粗糙度指数正则化项，有效缓解联邦学习中的客户端漂移问题，提升非独立同分布场景下的鲁棒性和效率。
2026-02-11 cs.LG
Distributionally Robust Federated Learning with Client Drift Minimization
Centre for Wireless Communications (CWC), University of Oulu（无线通信中心（CWC）、奥卢大学）
针对联邦学习中数据异构导致的性能不公平与效率低问题，提出结合分布鲁棒优化和动态正则化的DRDM算法，可减少通信轮次、提升最差情况准确率，还能自适应调整局部更新以优化能耗。
2025-05-21 cs.LG
Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction
University of Pittsburgh（匹兹堡大学）
近年来，双层优化算法取得了显著的进展，并被应用于数据清洗、少样本学习和神经结构搜索等机器学习任务中。然而，很少有人注意到分布式环境下的两层问题的解决。联邦学习（FL）是一种解决分布式数据上的机器学习任务的新兴范式。由于异构性和通信瓶颈，FL问题的解决具有挑战性。然而，目前还不清楚这些挑战将如何影响双层优化算法的收敛性。本文研究联邦双层优化问题。具体来说，我们首先提出了FedBiO，一个确定性的基于梯度的算法，我们表明它需要$O(ε^{-2})$的迭代次数达到$ε$ -平稳点。然后，我们提出了FedBiOAcc加速FedBiO的动量为基础的方差减少技术下的随机场景。我们发现FedBiOAcc具有$O(ε^{-1.5})$的复杂性。最后，我们通过重要的公平联邦学习任务验证我们提出的算法。更具体地说，我们定义了一个基于双水平的组公平FL目标。我们的算法表现出优越的性能相比，其他基线的数值实验。
2022-05-03 cs.LG math.OC
HASFL: Heterogeneity-aware Split Federated Learning over Edge Computing Systems
Department of Electrical and Electronic Engineering, University of Hong Kong（香港大学电子与电气工程系）；Institute of Space Internet, Fudan University（复旦大学空间互联网研究所）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对异构边缘设备导致 SFL 掉队者问题，本文提出 HASFL 框架，基于紧致收敛界自适应调整批量大小与模型切分，以平衡时延和收敛性能。
2025-06-10 cs.AI cs.DC cs.LG
FedDuA: Doubly Adaptive Federated Learning
LY Corporation（LY公司）
针对联邦学习中FedAvg收敛慢的问题，提出基于镜像下降的双自适应框架FedDuA，自适应选择全局学习率，证明其极小极大最优性，实验显示其性能优于基线且鲁棒性强，无额外客户端开销。
2025-05-16 cs.LG stat.ML
Straggler-Resilient Personalized Federated Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）；UC Santa Barbara（加州大学圣塔芭芭拉分校）
联邦学习是一种新兴的学习范式，它允许从分布在大型客户端网络中的样本中训练模型，同时尊重隐私和通信限制。尽管取得了成功，但联邦学习面临着与其分散性质相关的几个挑战。在这项工作中，我们开发了一种新的算法程序，理论上的加速保证，同时处理两个这些障碍，即（i）数据异构性，即，数据分布可以在客户端之间显著变化，以及（i i）系统异质性，即，客户端的计算能力可能显著不同。我们的方法依赖于表示学习理论的思想，使用所有客户端的数据找到一个全球通用的表示，并学习一组用户特定的参数，为每个客户端提供个性化的解决方案。此外，我们的方法通过基于计算特性和统计显著性自适应地选择客户端来减轻掉队者的影响，从而首次实现了接近最佳的样本复杂度和可证明的对数加速比。实验结果支持我们的理论研究结果显示，我们的方法优于其他个性化的联邦计划在系统和数据异构环境。
2022-06-05 cs.DC cs.LG
AdaFed: Fair Federated Learning via Adaptive Common Descent Direction
University of Waterloo（滑铁卢大学）
本文提出AdaFed方法，通过基于本地梯度和损失值自适应调整服务器的公共下降方向，确保所有客户端损失下降且较大损失客户端下降更快，有效解决联邦学习中的模型不公平问题。
2024-01-10 cs.AI cs.LG
FedALA: Adaptive Local Aggregation for Personalized Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Louisiana State University（路易斯安那州立大学）
本文提出 FedALA 方法，通过自适应局部聚合模块在每轮训练前按客户端局部目标融合全局与局部模型，以缓解联邦学习中的统计异质性问题，并在多个基准上取得显著准确率提升。
2023-09-17 cs.AI cs.LG
Partially-Observable Transmission Control for UAV-Enabled Federated Learning in IoT Networks
University of Kansas（堪萨斯大学）
针对物联网无人机联邦学习的传输干扰问题，提出公平共识双层优化算法，结合阈值与功率控制提升数据包交付率，性能优于基线策略。
2026-08-04 cs.IT cs.LG math.IT
FedGA: A Fair Federated Learning Framework Based on the Gini Coefficient
Guangxi Key Laboratory of Trusted Software, Guilin University of Electronic Technology（广西可信软件重点实验室，桂林电子科技大学）
本文提出 FedGA 框架，利用基尼系数量化客户端性能差异，并据此自适应确定公平干预时机和动态调整聚合权重，在多个数据集上验证了其在保持整体性能的同时提升公平性的效果。
2025-07-17 cs.DC cs.LG
Federated Learning for Feature Generalization with Convex Constraints
Dongwon Kim（金东Won）；Donghee Kim（金东浩）；Sung Kuk Shyn（申 Sung Kuk）；Kwangsu Kim（金光Su）
针对联邦学习中客户端数据异构导致的泛化问题，提出FedCONST方法，利用线性凸约束自适应调整更新幅度，平衡参数学习，并通过梯度信噪比分析验证其有效性，实现跨异构环境的强泛化。
2026-06-15 cs.LG stat.ML
FedAST: Federated Asynchronous Simultaneous Training
Carnegie Mellon University（卡内基梅隆大学）
本文提出FedAST，一种缓冲异步联邦同步训练算法，通过克服慢速模型瓶颈并自适应分配客户端资源，在多任务训练中实现高达46.0%的时间减少，并提供理论收敛保证。
2024-06-01 cs.DC cs.LG
Breaking the Memory Wall for Heterogeneous Federated Learning via Model Splitting
提出SmartSplit框架，通过模型拆分和分层结构自适应管理异构联邦学习，在保证模型准确率的同时大幅降低设备端内存占用和延迟。
2024-10-12 cs.DC cs.LG
Adaptive Prototype Knowledge Transfer for Federated Learning with Mixed Modalities and Heterogeneous Tasks
针对混合模态与异构任务下联邦学习标签不统一和任务异构问题，提出自适应原型知识迁移框架AproMFL，通过动态原型构建与聚合权重调整，在三个异构数据集上准确率和召回率分别提升0.42%~6.09%和1.6%~3.89%。
2025-08-03 cs.AI cs.CR cs.LG
Adaptive Guidance for Local Training in Heterogeneous Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Hong Kong Polytechnic University（香港理工大学）；Queen's University Belfast（贝尔法斯特女王大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Key Laboratory of Trusted Data Circulation（上海可信数据流通关键实验室）
针对异构联邦学习中额外目标与局部目标不匹配的问题，本文提出FedL2G方法，以联邦方式自适应引导局部训练，仅用一阶导数实现O(1/T)收敛，并在多种异构设置下显著超越七种先进方法。
2025-06-03 cs.AI cs.LG
Hybrid Batch Normalisation: Resolving the Dilemma of Batch Normalisation in Federated Learning
Jiangnan University（江南大学）；University of Surrey（萨里大学）
本文提出混合批归一化（HBN），通过分离统计参数与可学习参数的更新，并引入可学习的混合分布因子自适应融合当前批次与全局统计量，有效解决了联邦学习中非独立同分布数据下标准BN性能下降的问题。
2025-05-28 cs.DC cs.LG
Fast-Convergent Federated Learning with Adaptive Weighting
York University（约克大学）
联邦学习（FL）使资源受限的边缘节点能够在中央服务器的编排下协作学习全局模型，同时将隐私敏感数据保存在本地。跨参与节点的非独立同分布（非IID）数据样本会减慢模型训练，并为FL收敛施加额外的通信轮次。在本文中，我们提出了联邦自适应加权（FedAdp）算法，旨在加速模型的收敛下存在的节点与非IID数据集。通过理论和实证分析，我们观察到节点对全局模型聚合的贡献与局部节点上的数据分布之间的隐含联系。然后，我们建议通过每一轮训练，根据节点贡献自适应地分配不同的权重来更新全局模型。首先通过局部梯度向量与全局梯度向量之间的夹角来衡量参与节点的贡献，然后通过设计的非线性映射函数来量化权重。该策略简单而有效，能够动态地增强（抑制）节点的正贡献，从而大幅减少通信轮数。理论和实验都证明了它优于通常采用的联邦平均法（Federated Averaging，FedAvg）。通过在Pytorch和PySyft中进行的大量实验，我们表明，与FedAvg算法相比，使用FedAdp的FL训练可以在MNIST数据集上减少高达54.1%的通信轮数，在FashionMNIST数据集上减少高达45.4%的通信轮数。
2021-04-06 cs.AI cs.LG
