Sequential Compression Layers for Efficient Federated Learning in Foundational Models
Indian Institute of Technology Bombay（印度孟买理工学院）
本文针对联邦学习中LoRA微调性能不佳的问题，提出在Transformer前馈网络的up proj与down proj之间插入小型MLP层的参数高效微调方法，在语言模型和视觉编码器上均优于现有LoRA方案。
2025-03-08 cs.AI cs.LG
FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning
Fudan University（复旦大学）；ETH Zurich（苏黎世联邦理工学院）；Edith Cowan University（埃迪斯科文大学）；Singapore University of Technology and Design（新加坡科技设计大学）
FedVSSAM通过引入方差抑制的sharpness-aware最小化方法，缓解联邦学习中由于数据异质性和友好对抗现象导致的flatness不兼容性，提升全局模型的泛化能力。
2026-05-09 cs.LG
FedFMC: Sequential Efficient Federated Learning on Non-iid Data
Harvard University（哈佛大学）
作为设备在不共享数据的情况下更新全局模型的机制，联邦学习在数据需求和尊重隐私之间架起了一座桥梁。然而，经典的FL方法，如联邦平均，与非iid数据，在现实世界中的普遍情况下斗争。以前的解决方案是次优的，因为它们要么采用小的共享全局数据子集，要么采用更多的模型，从而增加了通信成本。我们提出了FedFMC（Fork-Merge-Consolidate），一种动态地将设备分叉为更新不同的全局模型，然后将单独的模型合并并合并为一个模型的方法。我们首先在简单的数据集上展示了FedFMC的可靠性，然后运行了几个实验，与基线方法进行比较。这些实验表明，FedFMC大大改善了早期的方法，非iid数据在联邦学习上下文中，不使用一个全球共享的数据子集，也不增加通信成本。
2020-06-19 cs.DC cs.LG stat.ML
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究联邦学习中客户端漂移问题，从频域新视角提供实验证据，提出 FedFFT 方法，过滤 SAM 扰动低频成分，无需额外通信，实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
FedSCAM (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation): Scam-resistant SAM for Robust Federated Optimization in Heterogeneous Environments
Department of Computer Science, Lahore University of Management Sciences, Lahore, Pakistan（计算机科学系，拉合尔管理科学大学，拉合尔，巴基斯坦）
FedSCAM通过动态调整扰动半径和聚合权重，提升联邦优化在异构环境中的鲁棒性和收敛速度。
2025-12-29 cs.AI cs.LG
Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization
Cooperative Medianet Innovation Center（合作中位数创新中心）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；RIKEN AIP（理化学研究所人工智能项目）；The University of Tokyo（东京大学）
针对联邦学习中数据异构性导致全局模型损失景观锐化的问题，提出FedLESAM算法，通过客户端局部估计全局扰动方向并减少反向传播次数，在提升性能的同时加速了联邦锐度感知最小化。
2024-05-29 cs.DC cs.LG
From Optimization to Generalization: Fair Federated Learning against Quality Shift via Inter-Client Sharpness Matching
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
本研究针对联邦学习中成像质量偏移导致的公平性问题，提出客户端间锐度匹配（FedISM）方法，通过锐度感知协调客户端泛化，实验证明其优于现有方法。
2024-12-18 cs.CV cs.LG
Soft-Label Caching and Sharpening for Communication-Efficient Federated Distillation
IEEE Transactions on Mobile Computing（IEEE移动计算汇刊）
SCARLET通过软标签缓存和增强熵减少聚合机制，有效降低通信开销，提升联邦蒸馏的效率和准确性。
2026-01-30 cs.LG
FedGen: Generalizable Federated Learning for Sequential Data
IBM Research（IBM研究院）；UC Irvine（加州大学欧文分校）
本文提出联邦学习框架 FedGen，使客户端在无训练分布先验知识的情况下协作区分虚假特征与不变特征，从而提升模型泛化能力，并在多个真实数据集上实现准确率提升超过24%。
2023-05-30 cs.AI cs.LG
How Edge of Stability Hinders SCAFFOLD in Federated Optimization
Georgia Institute of Technology（佐治亚理工学院）；George Mason University（乔治梅森大学）；Flatiron Institute（弗拉蒂伦研究所）
本研究指出联邦优化中的稳定性边缘（EoS）和渐进锐化是SCAFFOLD性能弱于FedAvg的原因，发现EoS会导致SCAFFOLD估计全局梯度的能力严重下降。
2026-08-27 cs.LG
Speeding up Heterogeneous Federated Learning with Sequentially Trained Superclients
Politecnico di Torino（都灵理工大学）
联邦学习（FL）允许在隐私受限的场景中训练机器学习模型，实现边缘设备的协作，而无需本地数据共享。由于本地数据集的不同统计分布和客户端的计算异构性，这种方法提出了一些挑战。特别是，高度非i.i.d.数据严重地损害了训练的神经网络的性能及其收敛速率，增加了为达到与集中式方案的性能相当的性能所要求的通信循环的数量。作为一种解决方案，我们提出了FedSeq，一种新的框架，利用异构客户端，即超级客户端的子组的顺序训练，以隐私兼容的方式模拟集中式范式。给定一个固定的预算的通信轮，我们表明，FedSeq优于或匹配几个国家的最先进的联邦算法的最终性能和收敛速度。最后，我们的方法可以很容易地与文献中的其他方法相结合。实验结果表明，将现有算法与FedSeq相结合，进一步提高了其最终性能和收敛速度。我们在CIFAR-10和CIFAR-100上测试了我们的方法，并证明了它在i.i.d.和非I.I.D.场景
2022-12-01 cs.CV cs.LG
One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity
National University of Singapore（新加坡国立大学）；Xidian University（西安电子科技大学）；Zhejiang University（浙江大学）
本文提出一种局部模型多样性增强策略，通过引入局部模型池和两种距离度量，改进一次性顺序联邦学习以应对非独立同分布数据，在保持低通信成本的同时提升全局模型性能，并在标签偏斜和域偏移任务上超越现有方法。
2024-04-18 cs.CV cs.DC cs.LG
Distributed sequential federated learning
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
本文提出了一种分布式顺序联邦学习方法，通过分析本地数据高效整合信息，解决数据非同质性和通信安全问题，并应用于COVID-19数据。
2023-01-31 cs.LG stat.ME stat.ML
Federated Learning with Compression: Unified Analysis and Sharp Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在联邦学习中，通信成本通常是扩展分布式优化算法的关键瓶颈，以从具有潜在不可靠或有限通信和异构数据分布的数百万设备协作学习模型。两个显着的趋势，以处理联邦算法的通信开销是梯度压缩和定期通信的本地计算。尽管进行了许多尝试，但事实证明，描述这两种方法之间的关系是难以捉摸的。我们解决这个问题，提出了一套定期压缩（量化或稀疏化）通信算法，并分析其收敛特性，在同质和异构的本地数据分布设置。对于齐次设置，我们的分析，提高了现有的边界提供更严格的收敛速度强凸和非凸目标函数。为了减轻数据的异质性，我们引入了一个局部梯度跟踪计划，并获得尖锐的收敛速度，匹配最知名的通信复杂性，而不压缩凸，强凸，和非凸设置。我们补充了我们的理论结果，并证明了我们提出的方法的有效性，在现实世界的数据集上的几个实验。
2020-11-21 cs.DC cs.LG stat.ML
Denoising and Adaptive Online Vertical Federated Learning for Sequential Multi-Sensor Data in Industrial Internet of Things
Peng Cheng Laboratory（鹏城实验室）
针对工业装配线多传感器序列数据的隐私、通信噪声与异构性问题，提出DAO-VFL在线纵向联邦学习算法，并通过遗憾界分析和两个真实数据集验证其优越性能。
2025-01-03 cs.LG cs.NI
DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出DP$^2$-FedSAM，结合个性化部分模型共享与锐度感知最小化，在差分隐私联邦学习中减轻噪声与裁剪影响，提升模型效用，尤其在数据异构场景下改善隐私-效用权衡。
2024-09-20 cs.CR cs.DC cs.LG
Improving Generalization in Federated Learning by Seeking Flat Minima
Politecnico di Torino（都灵理工大学）；CINI（意大利国家信息学大学联盟）
在联邦设置中训练的模型通常会遭受性能下降和泛化失败的困扰，特别是在面对异构场景时。在这项工作中，我们调查这种行为，通过镜头的几何损失和海森本征谱，连接模型的缺乏泛化能力的解决方案的清晰度。受先前研究的启发，将损失表面的锐度与泛化差距联系起来，我们表明：i）使用锐度感知最小化（SAM）或其自适应版本（ASAM）在本地训练客户端，ii）在服务器端平均随机权重（SWA）可以大大提高联邦学习中的泛化能力，并有助于弥合与集中式模型的差距。通过在具有均匀低损失的邻域中寻找参数，该模型收敛于更平坦的最小值，并且其泛化能力在同质和异质场景中都有显着提高。实证结果表明，这些优化器在各种基准视觉数据集（例如CIFAR 10/100，Landmarks-User-160 k，IDDA）和任务（大规模分类，语义分割，领域泛化）上的有效性。
2022-07-21 cs.CV cs.LG
Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training
Sch of Info & Comm Engin, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）；Sch of Comp Sci & Engin, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Sch of Comp Sci & Tech, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）
联邦学习（FL）是一种快速发展的隐私保护协作机器学习范式。在实际的FL应用中，来自每个数据筒仓的本地数据反映了本地使用模式。因此，在数据所有者之间存在数据分布的异质性（a.k.a. FL客户端）。如果处理不当，这可能会导致模型性能下降。这一挑战激发了异构联邦学习的研究领域，目前仍然开放。在本文中，我们提出了一个数据的异质性强大的FL方法，FedGSP，利用一个新的概念，动态顺序到并行（STP）协作训练，以解决这一挑战。FedGSP将FL客户端分配给同质组，以最大限度地减少组间的总体分布差异，并通过在每一轮中重新分配更多组来增加并行度。它还结合了一种新的簇间聚类（ICG）算法，以协助组分配，它使用的质心等价定理，以简化NP-难分组问题，使其可解。已经对非i.i.d.进行了广泛的实验。FEMNIST数据集。实验结果表明，与七种最先进的方法相比，FedGSP平均提高了3.7%的准确率，并减少了90%以上的训练时间和通信开销。
2022-01-31 cs.AI cs.DC cs.LG
Pursuing Overall Welfare in Federated Learning through Sequential Decision Making
Artificial Intelligence Graduate School, Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学与技术研究所人工智能研究生院）；Policy Program, Seoul National University (SNU)（首尔国立大学政策项目）；Graduate School of Engineering Practice, Seoul National University (SNU)（首尔国立大学工程实践研究生院）；Institute of Engineering Research, Seoul National University (SNU)（首尔国立大学工程研究所）
本文提出AAggFF，通过在线凸优化框架统一公平感知聚合策略，并针对跨设备与跨孤岛设置优化，实现亚线性遗憾上界，提升联邦学习客户端级公平性。
2024-11-18 cs.DC cs.LG stat.ML
Sharp Gaussian approximations for Decentralized Federated Learning
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
本文提出两种广义Gaussian近似结果，用于局部SGD，以提供更稳健的统计保证，并通过模拟验证理论结果。
2026-05-07 cs.LG math.ST stat.ML
Tram-FL: Reducing Communication and Computation Costs through Sequential Model Circulation in Decentralized Federated Learning
Institute of Science Tokyo（东京科学大学）
提出Tram-FL机制，通过顺序循环单个模型并优化调度与量化动量，在去中心化联邦学习中同时降低通信和计算成本，并在非IID数据下保持高精度。
2026-10-07 cs.DC cs.LG cs.NI
FedML Parrot: A Scalable Federated Learning System via Heterogeneity-aware Scheduling on Sequential and Hierarchical Training
Hong Kong Baptist University（香港浸会大学）；FedML Inc.（FedML公司）；Inha University（仁荷大学）；The Hong Kong University of Science and Technology（香港科技大学）
联邦学习（FL）支持客户端之间协作，以训练训练机器学习模型，同时保护客户端的数据隐私。现有的FL仿真平台是从传统的分布式训练的角度设计的，遭受在仿真和生产之间的费力的代码迁移、低效率、低GPU利用率、低可扩展性和高硬件要求以及难以模拟有状态客户端。在这项工作中，我们首先揭示了模拟FL的挑战和瓶颈，并设计了一个新的FL系统命名为FedML \texttt{Parrot}。该算法通过以下几个方面提高了训练效率，显著降低了对硬件的要求，支持有状态客户端的大规模FL实验：（1）在设备上顺序训练客户端;（2）将初始聚集分解为设备和服务器上的局部聚集和全局聚集;（3）调度任务以减少离散问题，提高计算效率;（4）分布式客户端状态管理器，支持多种FL算法。此外，基于我们的通用API和通信接口，用户可以无缝地将模拟转换为真实世界的部署，而无需修改代码。我们通过在各种FL数据集上训练不同模型的广泛实验来评估\texttt{Parrot}，以证明\texttt{Parrot}可以实现模拟超过1000个客户端（有状态或无状态），具有灵活的GPU设备设置（$4 \sim 32$）和高GPU实用性，比FedScale快1.2 $\sim$ 4倍，比FedML节省10 $\sim$ 100倍的内存。我们验证了\texttt{Parrot}可以很好地与三个不同集群中的同构和异构设备一起工作。通过对两个有状态客户端…
2023-03-03 cs.DC cs.LG
FLICU: A Federated Learning Workflow for Intensive Care Unit Mortality Prediction
Stockholm University（斯德哥尔摩大学）；Getinge（洁定）；QRIOS IT
尽管机器学习（ML）可以被视为改善临床决策以支持改善药物计划、临床程序、诊断或药物处方的有前途的工具，但它仍然受到医疗保健数据访问的限制。医疗保健数据是敏感的，需要严格的隐私实践，并且通常存储在数据孤岛中，这使得传统的机器学习具有挑战性。联邦学习可以通过在数据孤岛上训练机器学习模型来抵消这些限制，同时保持敏感数据的本地化。本研究提出了一种用于ICU死亡率预测的联邦学习工作流程。因此，通过将联邦学习引入预测ICU死亡率的二进制分类问题，研究了联邦学习作为集中式机器学习和局部机器学习的替代方案的适用性。我们从MIMIC-III数据库中提取多变量时间序列数据（实验室值和生命体征），并对四种深度顺序分类器（FRNN，LSTM，GRU和1DCNN）的预测性能进行基准测试，这些分类器改变了患者病史窗口长度（8小时，16小时，24小时，48小时）和FL客户端数量（2，4，8）。实验表明，集中式机器学习和联邦学习在AUPRC和F1分数方面是相当的。此外，联邦方法显示出优于本地机器学习的性能。因此，当医院之间无法共享敏感患者数据时，联邦方法可以被视为集中式机器学习的有效且保护隐私的替代方案，用于对ICU死亡率进行分类。
2022-05-30 cs.LG
Federated Multi-View Learning for Private Medical Data Integration and Analysis
China Agricultural University（中国农业大学）；Beihang University（北京航空航天大学）；Lehigh University（理海大学）；University of Pennsylvania（宾夕法尼亚大学）
随着信息技术的快速发展和健康数据的数字化，在医疗领域获得利益的同时，维护数据隐私越来越受到关注。确定了两个关键挑战：首先，医疗数据自然分布在多个本地站点上，这使得在没有数据泄漏的情况下集体训练机器学习模型变得困难。其次，在医疗应用中，数据通常从不同的来源和视图收集，导致需要协调的异质性和复杂性。本文的目的是提供一个通用的联邦多视图学习（FedMV）框架的多视图数据泄漏预防，这是基于不同类型的本地数据的可用性，并能够容纳两种类型的问题：垂直联邦多视图学习（V-FedMV）和水平联邦多视图学习（H-FedMV）。我们用从BiAffect研究中收集的真实键盘数据进行了实验。结果表明，所提出的FedMV方法可以以保护隐私的方式充分利用多视图数据，并且V-FedMV和H-FedMV方法的性能都优于单视图和成对方法。此外，该模型可以很容易地适应在联邦环境中处理多视图的顺序数据，这已经被建模和实验研究。据我们所知，该框架是第一个考虑多视图设置中的垂直和水平多样化以及它们的顺序联邦学习的框架。
2021-05-04 cs.AI cs.LG
Adaptive Federated Learning Defences via Trust-Aware Deep Q-Networks
Indian Institute of Technology Kharagpur（印度理工学院卡里格浦分校）
针对联邦学习在部分可观测下易受攻击的问题，提出信任感知深度Q网络防御方法，通过多信号更新客户端信任并优化长期鲁棒性-准确率目标，在CIFAR-10上实验验证其优于多种基线方法，实现最优权衡。
2025-09-25 cs.CR cs.LG
DFCA: Decentralized Federated Clustering Algorithm
Fraunhofer Institute for Software and Systems Engineering（弗劳恩霍夫软件与系统工程研究所）；Lamarr Institute for Machine Learning and AI（拉马尔人工智能与机器学习研究所）
DFCA是一种去中心化的联邦学习聚类算法，通过邻居的顺序运行平均聚合模型，实现高效通信和保持聚类性能，实验表明其在动态网络中表现优异。
2026-03-02 cs.LG
Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
本文提出联邦学习算法 FedSMOO，通过动态正则化器与全局锐度感知最小化相结合，在优化一致性和泛化平坦性之间取得平衡，实现快速收敛和低泛化误差。
2024-04-01 cs.DC cs.LG math.OC
Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination
Singapore Management University（新加坡管理大学）；East China Normal University（华东师范大学）；Nanyang Technological University（南洋理工大学）；Kent State University（肯特州立大学）
本文提出联邦模型重组方法 FedMR，通过逐层打乱本地模型生成多个重组模型，引导训练朝向平坦区域，从而在保护隐私的同时显著提升联邦学习的推理准确率。
2024-07-04 cs.LG
An Ensembled Penalized Federated Learning Framework for Falling People Detection
Department of Computer Science, University of Northern British Columbia（计算机科学系，北加拿大大学）
针对传统跌倒检测泛化性差、隐私风险高的问题，提出集成惩罚联邦学习框架EPFL，结合持续学习、个性化建模与专门加权聚合，在基准数据集上召回率达88.31%，F1分数达89.94%。
2025-10-23 cs.LG
How Much Regularization Survives Averaging? Update Masking in Federated Learning
Faculty of Science & Technology Sophia University（索菲亚大学科学技术学院）；Technical R&D Department Shendian Energy Co., Ltd.（申电能源有限公司技术研发部）
该研究针对联邦学习中更新掩码的正则化留存问题，证明了客户端掩码设置与联邦平均对正则化代价的影响，在CIFAR-10上开展实验并分析了相关因素的作用。
2026-08-26 cs.AI cs.LG
SUM: Unified Geometric Surgery on Spatio-Temporal Adaptation Vectors for Federated Class Incremental Learning
AIDAS Lab（AIDAS实验室）；IPAI；ECE, Seoul National University（首尔国立大学电子与计算机工程系）
针对联邦类增量学习中时空干扰致灾难性遗忘问题，本文提出SUM框架，将其视为统一多任务学习，在聚合时对适应向量做几何手术，减轻客户端干扰与跨任务干扰，实验显示该方法在多基准测试中效果显著提升。
2026-07-23 cs.LG
HLF-FSL. A Decentralized Federated Split Learning Solution for IoT on Hyperledger Fabric
atlanTTic Research Center, Information & Computing Lab (ICLAB)（atlanTTic研究所以及信息与计算实验室）；Telecommunication Engineering School, Universidade de Vigo（电信工程学院，乌维戈大学）；CUD Escuela Naval Militar Universidade de Vigo / Escuela Naval Militar（CUD海军学院，乌维戈大学 / 海军学院）
本文提出一种结合联邦分割学习与 Hyperledger Fabric 的去中心化架构，通过链码实现无中心协调的模型分割与点对点聚合，在保持准确率的同时显著降低训练时间，证明了企业级可行性。
2025-07-10 cs.LG
Why Go Full? Elevating Federated Learning Through Partial Network Updates
Beihang University（北京航空航天大学）；University at Buffalo（布法罗大学）；Zhongguancun Laboratory（中关村实验室）
针对联邦学习全网络更新导致的层不匹配问题，提出FedPart方法，通过每轮仅更新单层或少数层并配合多种选层策略，显著提升收敛速度与精度，同时降低通信和计算开销。
2024-11-06 cs.LG
Semi-Federated Learning
University of Science & Technology of China（中国科学技术大学）
联邦学习（FL）使大规模分布式信息和通信技术（ICT）设备能够学习全局共识模型，而无需任何参与者向中央服务器泄露他们自己的数据。然而，FL的实用性，通信费用和非独立相同分布（Non-IID）数据的挑战仍然需要关注。在这项工作中，我们提出了半联邦学习（Semi-FL），它不同于FL在两个方面，本地客户端聚类和集群内的培训。本文设计了一种顺序训练的方式，使相邻的客户端能够共享他们的学习模型。所提出的Semi-FL可以很容易地应用于未来的移动通信网络，并需要较少的上行链路传输带宽。数值实验验证了该算法的可行性、学习性能和对非IID数据的鲁棒性，拓展了FL的潜力。
2020-03-28 cs.LG stat.ML
Federated Motor Imagery Classification for Privacy-Preserving Brain-Computer Interfaces
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；Shenzhen Huazhong University of Science and Technology Research Institute（华中科技大学深圳研究院）；School of Civil and Hydraulic Engineering, Huazhong University of Science and Technology（华中科技大学土木与水利工程学院）
针对EEG脑机接口中多用户数据隐私与运动想象分类精度难以兼顾的问题，提出FedBS联邦学习方法，通过局部批次特定批归一化和SAM优化提升泛化，实验性能超越六种联邦方法及集中式训练。
2024-12-02 cs.HC cs.LG
A Fast and Flat Federated Learning Method via Weighted Momentum and Sharpness-Aware Minimization
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；National University of Singapore（新加坡国立大学）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Shenzhen University（深圳大学）
FedWMSAM通过加权动量和尖锐意识最小化解决非IID联邦学习中的局部-全局曲率不一致和动量-回声振荡问题，提升模型收敛速度和泛化能力。
2025-11-27 cs.AI cs.DC cs.LG
Memory-adaptive Depth-wise Heterogeneous Federated Learning
针对联邦学习中异构设备内存差异限制模型规模与性能的问题，提出内存自适应深度学习方案FeDepth，按客户端内存预算分块顺序训练，在多个数据集上准确率显著优于现有方法。
2025-09-02 cs.LG
An On-Device Federated Learning Approach for Cooperative Model Update between Edge Devices
Keio University（庆应义塾大学）
大多数边缘AI专注于资源有限的边缘设备上的预测任务，而训练则在服务器机器上完成。然而，在边缘设备上需要重新训练或定制模型，因为随着时间的推移，模型会随着环境的变化而变得过时。为了遵循这样的概念漂移，最近提出了一种基于神经网络的设备学习方法，使得边缘设备在运行时训练传入数据以更新它们的模型。在这种情况下，由于训练是在分布式边缘设备处完成的，所以问题是仅有限量的训练数据可用于每个边缘设备。为了解决这个问题，一种方法是协作学习或联邦学习，其中边缘设备通过使用从其他设备收集的结果来交换它们的训练结果并更新它们的模型。在本文中，作为一个设备上的学习算法，我们专注于OS-ELM（在线顺序极端学习机），顺序训练模型的基础上最近的样本，并将其与自动编码器异常检测。我们将其扩展为设备上的联邦学习，以便边缘设备可以交换它们的训练结果，并通过使用从其他边缘设备收集的结果来更新它们的模型。这种合作模型更新是一次性的，但它可以重复应用于同步他们的模型。我们的方法进行了评估，从汽车驾驶数据集，人类活动数据集和MNIST数据集生成的异常检测任务。结果表明，所提出的设备上联邦学习可以通过将来自多个边缘设备的训练结果与传统的基于反向传播的神经网络和传统的联邦学习方法一样准确地集成来产生合并模型，并且具有更低的计算或通信成本。
2021-06-27 cs.DC cs.LG stat.ML
Federated Learning with Personalization Layers
Adobe Research（奥多比研究院）；Indian Institute of Technology, Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
新兴的联邦学习范式致力于在网络边缘实现机器学习模型的协作训练，而无需集中聚合原始数据，从而提高数据隐私。这大大偏离了传统的机器学习，并且需要设计对各种异质性来源鲁棒的算法。具体而言，用户设备之间的数据统计异质性可能会严重降低传统机器学习应用（如使用深度学习进行个性化）的标准联邦平均的性能。本文提出了FedPer，一种用于深度前馈神经网络联邦训练的基础+个性化层方法，可以对抗统计异质性的不良影响。我们证明了FedPerfor非相同的数据分区的CIFARnets和个性化的图像美学数据集从Flickr的有效性。
2019-12-02 cs.DC cs.LG stat.ML
FedNSAM:Consistency of Local and Global Flatness for Federated Learning
College of Intelligence；Computing, Tianjin University Tianjin China；College of Management；Economics, Tianjin University Tianjin China；Medical College, Tianjin University\ Cheng Laboratory Tianjin China；School of Artificial Intelligence, Xidian University Xian China；Computing, Tianjin University；Economics, Tianjin University；Medical College, Tianjin University\ Cheng Laboratory；School of Artificial Intelligence, Xidian University
FedNSAM通过引入全局Nesterov动量提升SAM效果，解决高数据异质性下局部平坦度不保证全局模型平坦度的问题，理论证明收敛界更紧，实验验证性能优越。
2026-02-27 cs.AI cs.LG
Minimizing Layerwise Activation Norm Improves Generalization in Federated Learning
通过引入'平坦性'约束的优化方法，该研究在联邦学习中最小化逐层激活范数以提升模型泛化能力，实现了新的性能突破。
2025-12-09 cs.LG
Federated Learning in Offline and Online EMG Decoding: A Privacy and Performance Perspective
Department of Electrical and Computer Engineering, Rice University（电气与计算机工程系， Rice大学）
本研究从隐私和性能角度出发，提出联邦学习在离线和在线肌电信号解码中的应用框架，并通过实验揭示了FL在实时神经接口中的性能与隐私之间的矛盾。
2026-02-24 cs.CR cs.HC cs.LG
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University（耶鲁大学）；Renmin University of China（中国人民大学）；JD Technology Group（京东科技集团）
联邦学习有助于解决数据隐私和安全问题，近年来受到越来越多的关注。然而，现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型，导致Boosting步骤冗余，交互通信代价高。相比之下，联邦装袋模型通过并行构建多个决策树来节省时间，但它遭受性能损失。为了以更少的时间代价获得出色的性能，我们提出了一种新的模型，在垂直联邦设置称为联邦梯度提升森林（FedGBF）。FedGBF通过并行构建决策树作为Boosting的基础学习器，同时集成了Boosting和Bagging的优势。继FedGBF之后，超参数调优问题日益突出。然后，我们提出了动态FedGBF，它动态地改变每个森林的参数，从而降低了复杂性。最后，基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
(FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning
KAIST（韩国科学技术院）
针对联邦半监督学习因确认偏差导致性能不及集中式半监督学习的问题，提出带锐度感知一致性正则化的(FL)²方法，结合样本筛选、客户端自适应阈值与学习状态感知聚合，在三个基准数据集上显著提升性能、缩小差距。
2024-10-31 cs.LG
Fed-CausalDiff: Decoupled Synchronization for Federated Do-Simulation and Policy Evaluation
Akademiaavtalen project ASPIRE（Akademiaavtalen项目ASPIRE）
提出Fed-CausalDiff联邦因果扩散框架，通过将潜在状态演化解耦为全局因果评分和局部混杂评分，实现解耦同步，在保护数据隐私的同时提升干预效应和策略价值估计精度。
2026-06-23 cs.AI cs.DC cs.LG
FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching
Cognitive Computing Lab（认知计算实验室）；Baidu Research（百度研究院）
通信复杂性和隐私是联邦学习的两个关键挑战，其目标是通过大量设备执行分布式学习。在这项工作中，我们引入FedSKETCH和FedSKETCHGATE算法来解决联合学习中的两个挑战，这些算法分别用于同构和异构数据分布设置。其关键思想是使用count sketch压缩局部梯度的累积，因此，服务器无法访问梯度本身，从而提供隐私。此外，由于所使用的草图的维数较低，我们的方法也表现出通信效率的属性。我们提供，上述计划，尖锐的收敛保证。最后，我们用各种实验来支持我们的理论。
2020-08-11 cs.DS cs.LG stat.ML
Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor Attacks in Federated Learning
University of Maryland（马里兰大学）；Google（谷歌）；Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
联邦学习特别容易受到模型中毒和后门攻击的影响，因为个人用户可以直接控制训练数据和模型更新。与此同时，单个用户的攻击能力是有限的，因为他们的更新很快就会被许多其他用户的更新淹没。现有的攻击不考虑其他用户的未来行为，因此需要多次连续更新，其影响很快就会被消除。我们提出了一种攻击，它可以预测和解释整个联邦学习管道，包括其他客户端的行为，并确保后门快速有效，即使在多轮社区更新后也能持续存在。我们表明，这种新的攻击是有效的，在现实的情况下，攻击者只贡献了一小部分的随机抽样轮，并证明这种攻击的图像分类，下一个词的预测，和情感分析。
2022-10-17 cs.CR cs.LG
Data Heterogeneity and Forgotten Labels in Split Federated Learning
University College Dublin（都柏林大学学院）；Telefónica Scientific Research（电信科学研究所）；Keysight AI Labs（Keysight AI实验室）
本文提出Hydra方法，针对分裂联邦学习中数据异质性和遗忘标签问题，通过多头神经网络设计提升模型性能。
2026-02-05 cs.LG
Federated Learning with Bayesian Differential Privacy
EPFL（洛桑联邦理工学院）
我们考虑的问题，加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私，放松差分隐私类似分布的数据，提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置，并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明，在图像分类任务（包括医疗应用程序）上，联邦学习的最先进的差分隐私界限具有显着的优势，使隐私预算在客户端级别低于1，在实例级别低于0.1。较低的噪声量也有利于模型的准确性，并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
pFedGame -- Decentralized Federated Learning using Game Theory in Dynamic Topology
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
针对传统联邦学习的中心化瓶颈、收敛性差等问题，提出基于博弈论的去中心化方法pFedGame，通过节点选择和双人常和合作博弈实现动态网络下的高效聚合，异构数据下准确率超70%。
2024-10-05 cs.CR cs.GT cs.LG
Implicit Gradient Alignment in Distributed and Federated Learning
IIT Kanpur（印度理工学院坎普尔分校）；EPFL（洛桑联邦理工学院）
在分布式和联邦学习中实现全局收敛的一个主要障碍是由于分布式数据的异构性和随机性而导致的跨客户端或小批量的梯度不一致。在这项工作中，我们表明，数据的异质性实际上可以利用隐式正则化来提高泛化性能。减轻异质性影响的一种方法是鼓励在整个培训过程中调整不同客户的梯度。我们的分析表明，这一目标可以通过利用正确的优化方法来实现，该方法复制了SGD的隐式正则化效果，从而实现梯度对齐以及测试精度的提高。由于SGD中这种正则化的存在完全依赖于在训练过程中顺序使用不同的minibatch，因此在使用大型minibatch进行训练时，它本质上是不存在的。为了在提高并行性的同时获得这种正则化的泛化优势，我们提出了一种新的GradAlign算法，该算法可以引入相同的隐式正则化，同时允许在每次更新中使用任意大的批次。我们通过实验验证了我们的算法在不同的分布式和联邦学习设置的好处。
2021-12-13 cs.LG stat.ML
ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations
East China Normal University（华东师范大学）；Shanghai Key Laboratory of Trustworthy Computing（上海市可信计算重点实验室）
针对资源受限的联邦学习，提出ALI-DPFL算法，通过理论分析确定最优本地迭代次数，在MNIST等数据集上显著优于现有方法。
2024-05-22 cs.CR cs.LG
Bayesian Federated Learning for Continual Training
DEIB and DIG, Politecnico di Milano（米兰理工学院DEIB和DIG部门）；Consiglio Nazionale delle Ricerche（意大利国家研究委员会）；Nokia Bell Labs（诺基亚贝尔实验室）
本文提出一种持续贝叶斯联邦学习框架，利用SGLD顺序更新模型，以雷达人体感知数据验证其在动态环境下保留知识并适应数据分布变化的能力。
2025-04-21 cs.AI cs.LG stat.ML
Fair Federated Medical Image Classification Against Quality Shift via Inter-Client Progressive State Matching
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Lassonde School of Engineering, York University（约克大学拉萨onde工程学院）
本文提出FedISM+方法，通过多状态收敛评估和渐进状态匹配，在联邦医学图像分类中缓解客户端间成像质量偏移带来的模型偏见，提升公平性。
2025-03-12 cs.CV cs.LG eess.IV
