FedHeN: Federated Learning in Heterogeneous Networks
Boston University（波士顿大学）
我们提出了一个新的训练配方联邦学习与异构网络，其中每个设备可以有不同的架构。我们将训练与一个侧面目标引入到更高复杂性的设备中，以在联合设置中联合训练不同的架构。我们的经验表明，我们的方法提高了不同架构的性能，并导致高通信节省相比，国家的最先进的方法。
2022-07-07 cs.DC cs.LG
Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文提出 HypeMeFed 框架，通过多出口网络与超网络权重生成结合低秩分解，在异构客户端联邦学习中提升准确率并大幅降低超网络内存与计算开销。
2024-10-03 cs.AI cs.DC cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
联邦学习（FL）是一种流行的分布式学习模式，它从一组参与用户中学习模型，而无需共享原始数据。FL的一个主要挑战来自异构用户，这些用户可能具有分布不同（或非iid）的数据和不同的计算资源。由于联邦用户将使用模型进行预测，他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练（AT）为集中式学习提供了一个良好的解决方案，但将其用于联合用户带来了重大挑战，因为许多用户可能只有非常有限的训练数据和紧张的计算预算，以负担数据饥饿和昂贵的AT。在本文中，我们研究了一种新的FL策略：在联邦学习过程中，将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现，现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略，并提出了一个有效的传播方法，通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是，所提出的方法被证明是授予联邦模型显着的鲁棒性，即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
FedSA: Accelerating Intrusion Detection in Collaborative Environments with Federated Simulated Annealing
Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）；Trinity College Dublin（都柏林圣三一学院）
快速识别新的网络攻击模式对于提高网络安全性至关重要。然而，识别异构网络中正在进行的攻击是一项不平凡的任务。联邦学习是入侵检测系统协同训练的一种解决方案。基于联邦学习的IDS使用联邦参与者提供的本地机器学习模型来训练全局模型，而不共享本地数据。然而，优化挑战是联邦学习固有的。本文提出了联邦模拟退火（FedSA）元启发式选择超参数和一个子集的参与者为每一个聚合轮联邦学习。FedSA优化与全局模型收敛相关的超参数。该提案减少了聚合轮数，加快了收敛速度。因此，FedSA加速了从本地模型中提取学习，需要更少的IDS更新。提案评估表明，FedSA全球模型在不到10轮的沟通中收敛。与传统的聚合方法相比，该提案需要减少多达50%的聚合轮次才能实现约97%的攻击检测准确率。
2022-05-23 cs.CR cs.LG
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
在联邦优化中，客户端的本地数据集和计算速度的异构性导致每个客户端在每个通信回合中执行的本地更新的数量变化很大。这种模型的朴素加权聚合导致目标不一致，即全局模型收敛到不匹配目标函数的稳定点，该目标函数可以与真实目标任意不同。本文提供了一个通用的框架来分析联邦异构优化算法的收敛性。它包含了以前提出的方法，如FedAvg和FedProx，并提供了第一个原则性的理解解决方案的偏见和收敛速度放缓，由于客观的不一致性。利用这种分析的见解，我们提出了FedNova，一种归一化的平均方法，消除了客观的不一致性，同时保持快速的误差收敛。
2020-07-15 cs.DC cs.LG stat.ML
FedUHB: Accelerating Federated Unlearning via Polyak Heavy Ball Method
Nanyang Technological University（南洋理工大学）
针对联邦遗忘中近似方法无法完全抹除数据影响的问题，提出基于 Polyak 重球优化和动态停止机制的精确遗忘方法 FedUHB，显著提升了遗忘效率并节省了资源。
2024-11-17 cs.DC cs.LG
Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes
Southeast University（东南大学）
针对动态异构联邦学习中客户端数据异构、内部任务动态变化引发的灾难性遗忘与概念漂移问题，提出含多级正则化的FedMLP框架，通过原型与语义原型及三类正则化保障性能，在多种设置下达SOTA。
2023-12-15 cs.AI cs.LG
Accelerating Privacy-Preserving Federated Learning in Large-Scale LEO Satellite Systems
School of Telecommunication Engineering, Xidian University（电信工程学院，西安电子科技大学）；Tianjin Artificial Intelligence Innovation Center (TAIIC)（天津人工智能创新中心）；Pillar of ISTD, Singapore University of Technology and Design（ISTD支柱，新加坡科技与设计大学）；School of Electrical and Electronic Engineering, Nanyang Technological University（电子与电气工程学院，南洋理工大学）；Department of Electrical and Computer Engineering, University of Houston（电气与计算机工程系，休斯顿大学）
针对大规模LEO卫星系统中联邦学习因动态拓扑和有限带宽导致训练时间延长的问题，提出基于离散时间图的按需调度框架，动态分配通信资源，使整体轮次时间减少14.20%至41.48%，且在更大模型和更多客户端下加速效果更显著。
2025-09-05 cs.AI cs.DC cs.LG
Accelerating Federated Learning with a Global Biased Optimiser
University of Exeter（埃克塞特大学）
联邦学习（FL）是分布式机器学习的最新发展，其在训练数据不离开客户端设备的情况下协作训练模型，从而保护数据隐私。在现实世界的FL中，训练集以高度非独立和相同分布（非IID）的方式分布在客户端上，损害了模型收敛速度和最终性能。为了解决这一挑战，我们提出了一种新的，通用的方法，将自适应优化到FL与联邦全球偏置优化（FedGBO）算法。FedGBO通过在训练期间采用一组全局偏置优化器值来加速FL，减少来自非IID数据的“客户端漂移”，同时受益于自适应优化。我们表明，在FedGBO中，全局模型的更新可以重新表述为使用有偏梯度和优化器更新的集中训练，并应用此框架来证明FedGBO在使用动量SGD（SGDm）优化器时在非凸目标上的收敛性。我们还使用4个FL基准数据集（CIFAR100，Sent140，FEMNIST，Shakespeare）和3个流行的优化器（SGDm，RMSProp，Adam）进行了广泛的实验，将FedGBO与六种最先进的FL算法进行比较。结果表明，FedGBO在数据集上显示出卓越或具有竞争力的性能，同时具有较低的数据上传和计算成本，并提供了与不同自适应FL算法和优化器相关的权衡的实际见解。
2022-10-05 cs.DC cs.LG
Latent Information Sharing for Accelerating Federated Learning
Inha University（仁荷大学）；University of Toronto（多伦多大学）；University of Birmingham（伯明翰大学）
本文提出一种潜在信息共享方案，通过共享少量隐藏层激活值缓解客户端漂移，在保持收敛与隐私的同时提升联邦学习训练效率与精度。
2026-10-02 cs.LG
Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients
National Laboratory for Parallel and Distributed Processing（并行与分布式处理国家实验室）
本文提出BHerd策略，通过Herding方法选择更接近梯度集合平均值的局部梯度子集上传至服务器，以缓解Non-IID数据对联邦学习收敛的不利影响，并在多种数据集和场景下验证了其加速模型收敛的有效性。
2024-03-25 cs.DC cs.LG
Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data
Sungkyunkwan University（成均馆大学）
本文提出FedCKA框架，通过CKA识别神经网络重要层并施加逐层正则化，在异构数据联邦学习中超越现有方法，同时提升效率与可扩展性。
2021-12-01 cs.AI cs.DC cs.LG
CA-HFP: Curvature-Aware Heterogeneous Federated Pruning with Model Reconstruction
CA-HFP通过曲率感知的剪枝策略，在异构边缘设备上实现个性化压缩，同时保持聚合兼容性和收敛稳定性，实验表明其在模型精度和计算通信成本上有显著优势。
2026-03-13 cs.AI cs.LG
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University（普渡大学）；NC State University（北卡罗来纳州立大学）
机器学习（ML）任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术，通过利用收集数据的节点的处理能力，在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战，这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题，我们提倡一种称为雾学习的新学习范式，它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习：网络、异构性和邻近性。它认为是一个多层混合学习框架，包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构，通过设备到设备（D2 D）通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
联邦学习（FL）是一种在分布在大量可能异构的客户端（如移动电话和物联网设备）上的私有数据上训练机器学习模型的方法。在这项工作中，我们提出了一个新的联邦学习框架命名为HeteroFL，以解决异构客户端配备了非常不同的计算和通信能力。我们的解决方案可以使不同的计算复杂度的异构局部模型的训练，仍然产生一个单一的全局推理模型。第一次，我们的方法挑战了现有工作的基本假设，即本地模型必须与全局模型共享相同的架构。我们展示了几种策略来增强FL训练，并进行了广泛的实证评估，包括三个数据集上的三个模型架构的五个计算复杂度级别。我们表明，自适应分布子网根据客户端的能力是计算和通信效率。
2021-12-14 cs.LG stat.ML
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich（慕尼黑工业大学）；Arizona State University（亚利桑那州立大学）
本文提出CyBeR-0，一种具有拜占庭弹性的联邦零阶优化方法，通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性，显著降低上下行通信成本与内存需求，并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出APPFL框架，利用Globus Compute和AWS实现跨云与超算的安全联邦学习，并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
Bitwidth Heterogeneous Federated Learning with Progressive Weight Dequantization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
在实际的联邦学习场景中，参与设备可以根据设计具有用于计算和存储器存储的不同位宽。然而，尽管在设备异构联邦学习场景中取得了进展，但硬件中位宽规范的异构性大多被忽视了。我们介绍了一个实用的FL方案，跨参与设备的位宽异构，被称为位宽异构联邦学习（BHFL）。BHFL带来了一个新的挑战，不同位宽的模型参数的聚合可能会导致严重的性能退化，特别是对于高位宽的模型。为了解决这个问题，我们提出了ProWD框架，它在中央服务器上有一个可训练的权重去量化器，可以逐步将低位宽权重重建为更高的位宽权重，最后重建为全精度权重。ProWD进一步选择性地聚合模型参数以最大化跨比特异构权重的兼容性。我们验证ProWD对基准数据集上的相关FL基线，使用不同的位宽的客户端。我们的ProWD在很大程度上优于基线FL算法，以及天真的方法（如分组平均）下提出的BHFL的情况。
2023-01-11 cs.DC cs.LG
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
针对异构联邦学习中的模型异构与本地更新灾难性遗忘问题，提出 FCCL+，通过公共数据上的互相关、实例相似性对齐及联邦非目标蒸馏提升泛化，并构建覆盖四种域偏移场景的综合基准验证其优势。
2023-09-28 cs.AI cs.LG
An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
Great Bay University（大湾大学）；Peking University（北京大学）
针对联邦学习在大规模深度神经网络应用中存在的客户端漂移及高通信、计算、内存成本问题，提出高效子空间算法FedSub，通过子空间投影和低维对偶变量解决问题，经收敛分析和实验验证了其高效性。
2026-09-29 cs.DC cs.LG
Heterogeneous Federated Learning
George Mason University（乔治梅森大学）；Microsoft（微软）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
联邦学习通过融合来自本地节点的协作模型来从分散的数据中学习。然而，由于混沌的信息分布，模型融合可能会遭受不匹配参数的结构失调。在这项工作中，我们提出了一个新的联邦学习框架，以解决这个问题，建立一个坚实的结构信息对齐跨协作模型。具体而言，我们设计了一个面向特征的调节方法（{ $Ψ$ -Net}），以确保明确的特征信息分配在不同的神经网络结构。将这种调整方法应用于协同模型，可以在很早的训练阶段初始化具有相似特征信息的匹配结构。在IID和非IID场景下的联邦学习过程中，专用协作机制进一步保证了信息的有序分布和明确的结构匹配，从而实现了全面的模型对齐。最终，该框架有效地增强了联邦学习对广泛异构环境的适用性，同时提供了出色的收敛速度、准确性和计算/通信效率。
2022-03-20 cs.LG stat.ML
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction
The George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
本文针对跨设备联邦学习中低端客户端因资源受限被排除的问题，提出统一异构联邦学习框架并首次给出一般收敛性分析，同时引入最小覆盖指数和模型缩减噪声，以整体提升异构联邦学习效率。
2023-10-26 cs.DC cs.LG
Completely Heterogeneous Federated Learning
Shanghai Jiao Tong University（上海交通大学）
联邦学习面临着三大困难：跨领域、异构模型和非独立同分布。为场景添加标签。现有的FL方法无法同时处理上述三个约束，并且需要降低隐私保护的级别（例如，可以共享模型体系结构和数据类别分布）。在这项工作中，我们提出了具有挑战性的“完全异构”的情况下，FL，这是指每个客户端不会暴露任何私人信息，包括特征空间，模型架构，标签分布。然后，我们设计了一个基于参数解耦和无数据知识蒸馏的FL框架来解决这个问题。实验表明，我们提出的方法在完全异构的情况下，其他方法失败，实现了高性能。
2022-10-28 cs.CR cs.DC cs.LG
Accelerating Heterogeneous Federated Learning with Closed-form Classifiers
Polytechnic University of Turin（都灵理工大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；CINI Consortium（CINI联盟）
针对联邦学习中非独立同分布数据导致的客户端漂移和分类层偏差问题，提出Fed3R方法，利用预训练特征计算闭式岭回归分类器，并支持进一步微调，显著降低通信与计算开销并提升跨设备场景的稳定性。
2024-06-03 cs.AI cs.CV cs.LG
Towards Heterogeneous Clients with Elastic Federated Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD AI Lab（京东人工智能实验室）；Ping An Technology（平安科技）
联邦学习涉及在设备或数据孤岛（如边缘处理器或数据仓库）上训练机器学习模型，同时将数据保持在本地。在异构和潜在的大规模网络中进行训练会给系统带来偏差，这源于非IID数据和现实中的低参与率。在本文中，我们提出了弹性联邦学习（EFL），一个无偏的算法来解决系统中的异构性，这使得最具信息量的参数在训练过程中波动较小，并利用不完整的局部更新。它是一种高效且有效的算法，可压缩上游和下游通信。从理论上讲，该算法在低参与率下对非IID数据进行训练时具有收敛性保证。实证实验证实了EFL框架在鲁棒性和效率方面的竞争力。
2021-06-17 cs.AI cs.LG
Principled Federated Random Forests for Heterogeneous Data
Inria（法国国家信息与自动化研究所）；PreMeDICaL（预医学实验室）；Inserm（法国国家医学研究院）；University of Montpellier（蒙彼利埃大学）；Sorbonne Université（索邦大学）；Université Paris Cité（巴黎城市大学）；CNRS（国家科学研究中心）；LPSM（巴黎高等师范学院）
本文提出FedForest，一种适用于水平分割数据的联邦随机森林算法，能自然处理客户端数据异质性，通过聚合精心选择的客户端统计信息近似集中算法的分裂过程，并实现非参数化个性化。
2026-05-07 cs.LG stat.ML
Heterogeneous Federated Learning System for Sparse Healthcare Time-Series Prediction
National Taiwan University（台湾大学）；Silesian University of Technology（西里西亚工业大学）
本文提出一种异构联邦学习系统，通过稠密/稀疏特征张量处理稀疏医疗时间序列，实现异步网络共享与知识迁移，在多数任务上显著降低预测误差。
2025-01-21 cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）；Sony AI（索尼人工智能）；North Carolina State University（北卡罗来纳州立大学）
本文提出pFedHR框架，通过异构模型重组将个性化建模为服务器端模型匹配优化问题，自动生成多样化候选模型，在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
Accelerating Asynchronous Federated Learning Convergence via Opportunistic Mobile Relaying
University of Miami（迈阿密大学）
针对移动网络中异步联邦学习通信受限问题，提出FedMobile算法，利用客户端间机会中继增加通信机会，实现收敛速率O(1/√NT)，并通过实验验证。研究还探讨了中继时机权衡及数据操作以降低成本与增强隐私。
2024-03-17 cs.AI cs.LG
Federated Learning with Heterogeneous Architectures using Graph HyperNetworks
NVIDIA（英伟达）
标准联邦学习（FL）技术仅限于具有相同网络架构的客户端。这限制了潜在的用例，例如在需要数据隐私和架构专有时的跨平台培训或组织间协作。我们提出了一个新的FL框架，通过采用图超网络参数共享，以适应异构客户端架构。图超网络的一个特性是它可以适应各种计算图，从而允许跨模型共享有意义的参数。与现有的解决方案不同，我们的框架不限制客户端共享相同的架构类型，不使用外部数据，也不要求客户端公开他们的模型架构。与基于蒸馏和非图超网络基线相比，我们的方法在标准基准测试中表现得更好。我们还显示了令人鼓舞的泛化性能看不见的架构。
2022-01-20 cs.AI cs.LG
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning
The University of Hong Kong（香港大学）
联邦学习（FL）能够管理边缘设备以协作地训练模型，同时保持训练数据本地和私有。FL中的一个常见假设是，所有边缘设备在训练中共享相同的机器学习模型，例如，相同的神经网络架构。然而，不同设备的计算和存储能力可能不同。此外，减少通信开销可以提高训练效率，但它仍然是一个具有挑战性的问题，在FL。在本文中，我们提出了一种新的FL方法，称为FedHe，灵感来自知识蒸馏，它可以训练异构模型，并支持异步训练过程，显着减少通信开销。我们的分析和实验结果表明，我们提出的方法的性能优于国家的最先进的算法在通信开销和模型的准确性。
2021-10-19 cs.DC cs.LG
Federated Learning for the Design of Parametric Insurance Indices under Heterogeneous Renewable Production Losses
ENSAE IP Paris, CREST UMR 9194（ENSAE巴黎研究所、CREST UMR 9194）
本文提出联邦学习框架，用于在异质可再生能源损失下校准参数保险指数，通过分布式优化实现通用且可扩展的解决方案。
2026-08-13 cs.LG stat.ML
FedZKT: Zero-Shot Knowledge Transfer towards Resource-Constrained Federated Learning with Heterogeneous On-Device Models
Michigan Technological University（密歇根理工大学）；University of Florida（佛罗里达大学）
联邦学习使多个分布式设备能够协作学习共享的预测模型，而无需集中其设备上的数据。大多数当前的算法需要具有相同结构和大小的设备上模型的本地训练的可比的个人努力，然而，这阻碍了资源受限的设备的参与。鉴于当今广泛而异构的设备，在本文中，我们提出了一个创新的联邦学习框架，通过Zero-shot知识转移，命名为FedZKT的异构设备上的模型。具体来说，FedZKT允许设备根据其本地资源独立确定设备上的模型。为了在这些异构的设备上模型之间实现知识转移，设计了一种zero-shot蒸馏方法，而不需要任何私有设备上数据的先决条件，这与基于公共数据集或预训练数据生成器的某些现有研究相反。此外，这种计算密集型的蒸馏任务被分配给服务器，以允许资源受限的设备参与，其中生成器通过收集的设备上模型的集合来对抗学习。然后，将提取的中心知识以相应的设备上模型参数的形式发送回来，这些参数可以很容易地在设备侧被吸收。大量的实验研究证明了FedZKT对设备上知识不可知、设备上模型异构和其他具有挑战性的联邦学习场景（如异构设备上数据和离散效应）的有效性和鲁棒性。
2022-04-05 cs.LG stat.ML
Hierarchical Federated Learning Across Heterogeneous Cellular Networks
Imperial College London（帝国理工学院）；Sabanci University（萨班哲大学）
我们研究跨无线设备的协作机器学习（ML），每个设备都有自己的本地数据集。由于延迟、带宽和隐私限制，将这些数据集卸载到云或边缘服务器以实现强大的ML解决方案通常是不可行的。相反，我们考虑联合边缘学习（FEEL），其中设备共享模型参数的本地更新，而不是它们的数据集。我们考虑一个异构蜂窝网络（HCN），其中小小区基站（SBS）编排FL之间的移动用户（MU）在其小区内，并定期交换模型更新与宏基站（MBS）的全球共识。我们采用梯度稀疏化和周期平均，以提高这种分层联邦学习（FL）框架的通信效率。然后，我们使用CIFAR-10数据集表明，所提出的分层学习解决方案可以在不牺牲模型准确性的情况下显着减少通信延迟。
2019-09-05 cs.DC cs.IT cs.LG
Conditioning on Local Statistics for Scalable Heterogeneous Federated Learning
RISE Research Institutes of Sweden（瑞典RISE研究院）
提出使用局部特征统计量在异构联邦学习中指导模型训练与推理，有效处理数据异构性，提升扩展性并保护隐私。
2025-03-01 cs.AI cs.CR cs.DC
Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features
Zhejiang Lab（之江实验室）；Xiamen University（厦门大学）
联邦学习（FL）为分布式机器学习任务提供了一种隐私保护解决方案。在实际的FL应用中，经常出现的数据异构性和长尾分布的共存是严重损害FL模型性能的一个挑战性问题。在本文中，我们揭示了一个有趣的事实，有偏见的分类器是导致全局模型性能不佳的主要因素。受上述发现的启发，我们提出了一种新的隐私保护FL方法，用于异构和长尾数据，通过联邦特征分类器再训练（CReFF）。在联邦特征上重新训练的分类器可以以隐私保护的方式产生与在真实数据上重新训练的分类器相当的性能，而不会泄漏本地数据或类分布的信息。在多个基准数据集上的实验表明，CReFF是一种有效的解决方案，可以在异构和长尾数据下获得有前途的FL模型。与最先进的FL方法的比较结果也验证了CReFF的优越性。我们的代码可在https://github.com/shangxinyi/CReFF-FL上获得。
2022-04-28 cs.LG
Federated Optimization in Heterogeneous Networks
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Facebook AI（Facebook人工智能）；Determined AI
联邦学习是一种分布式学习范式，它与传统的分布式优化有两个关键的区别：（1）网络中每个设备上的系统特性的显著变化（系统异构性），以及（2）网络上的非相同分布数据（统计异构性）。在这项工作中，我们引入了一个框架，FedProx，以解决联邦网络中的异构性。FedProx可以被看作是FedAvg的推广和重新参数化，FedAvg是当前最先进的联邦学习方法。虽然这种重新参数化只对方法本身进行了微小的修改，但这些修改在理论和实践中都有重要的影响。从理论上讲，我们为我们的框架提供了收敛保证，当学习来自不同分布（统计异质性）的数据时，同时通过允许每个参与设备执行可变量的工作（系统异质性）来遵守设备级系统约束。实际上，我们证明了FedProx允许在一套真实的联邦数据集上比FedAvg更强大的收敛。特别是，在高度异构的环境中，FedProx相对于FedAvg表现出更稳定和更准确的收敛行为-平均将绝对测试准确性提高了22%。
2020-04-21 cs.LG stat.ML
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning
Nankai University（南开大学）；Nanyang Technological University（南洋理工大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学（UBC））
针对联邦学习中大模型微调的计算与通信成本高及模型异构问题，提出pFedLoRA框架，通过同构小型适配器实现全局-局部知识交换迭代训练，在保证性能的同时显著降低开销并证明其收敛性。
2024-02-11 cs.DC cs.LG
Federated Learning with Superquantile Aggregation for Heterogeneous Data
CNRS（法国国家科学研究中心）；University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Rutgers University（罗格斯大学）
提出基于超分位数学习目标的联邦学习框架，结合差分隐私客户端过滤与联邦平均，在异构数据下提供收敛保证并改善误差尾部统计量。
2022-12-06 cs.LG math.OC stat.ML
FedPH: Privacy-enhanced Heterogeneous Federated Learning
Chongqing Jiaotong University（重庆交通大学）
联邦学习是一种分布式机器学习环境，允许客户在不共享私有数据的情况下进行协作学习。这是通过交换参数来实现的。然而，客户端之间的数据分布和计算资源的差异使得相关研究变得困难。为了解决这些异构问题，我们提出了一种新的联邦学习方法。我们的方法利用预先训练的模型作为局部模型的骨干，其中完全连接的层包括头部。主干提取头部特征，类的嵌入向量在客户端之间共享，以改进头部，提高局部模型的性能。通过共享类的嵌入向量而不是基于梯度的参数，客户端可以更好地适应私有数据，并且服务器和客户端之间的通信更有效。为了保护隐私，我们提出了一个隐私保护的混合方法，添加噪声的类的嵌入向量。当满足差分隐私时，该方法对局部模型的性能影响最小。我们在自建的车辆数据集上对我们的方法进行了全面的评估，并将其与非独立同分布（Non-IID）下的其他联邦学习方法进行了比较。
2023-03-16 cs.AI cs.LG
An Adaptive Kernel Approach to Federated Learning of Heterogeneous Causal Effects
National University of Singapore（新加坡国立大学）；Roche AG（罗氏公司）；Harvard University（哈佛大学）
我们提出了一个新的因果推理框架，从联邦环境中的多个分散的数据源中学习因果效应。我们引入了一种自适应传输算法，该算法通过利用随机傅立叶特征将损失函数分解为多个分量来学习数据源之间的相似性，每个分量与一个数据源相关联。数据来源可能有不同的分布;因果效应是独立和系统地纳入。该方法通过传递系数估计源之间的相似性，因此不需要关于相似性度量的先验信息。可以估计异质因果效应，而无需在源之间共享原始训练数据，从而最小化隐私泄漏的风险。我们还提供了极大极小下限来评估从不同来源学习的参数的质量。经验表明，所提出的方法在具有不同分布的分散数据源上优于基线。
2023-01-01 cs.AI cs.LG stat.ME
Federated Imputation under Heterogeneous Feature Spaces
SnT, University of Luxembourg, Luxembourg（卢森堡大学SnT学院，卢森堡）；FSTM/DCS, University of Luxembourg, Luxembourg（卢森堡大学FSTM/DCS学院，卢森堡）
本文提出FedHF-Impute框架，通过共享全局特征图实现跨客户端知识传递，提升联邦填补效果，在模拟数据集上优于基线方法。
2026-05-15 cs.AI cs.LG
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Michigan State University (MSU)（密歇根州立大学）
针对联邦学习中极端数据异质性导致的收敛障碍，提出FedPeWS方法，通过预热阶段让参与者学习个性化掩码并更新子网络，再切换至标准联邦优化，提升了准确率和收敛速度。
2025-04-16 cs.DC cs.LG
Robust Federated Learning in a Heterogeneous Environment
UC Berkeley（加州大学伯克利分校）
我们研究了最近提出的大规模分布式学习范式，即联邦学习，其中的工人机器是最终用户自己的设备。统计和计算挑战出现在联邦学习中，特别是在存在异构数据分布的情况下（即，不同设备上的数据点属于表示不同集群的不同分布）和拜占庭机器（即，可能表现异常，甚至表现出任意和潜在敌对行为的机器）。为了解决上述挑战，首先，我们提出了一个通用的统计模型，考虑到集群结构的用户和拜占庭机器。然后，利用统计模型，我们解决了强大的异构联邦学习问题\emph{optimally}，特别是我们的算法匹配的估计误差的下限在维度和数据点的数量。此外，作为一个副产品，我们证明了一个离群的强大的聚类算法，这可以被认为是劳埃德算法与强大的估计统计保证。最后，我们通过合成以及真实数据实验表明，我们提出的算法获得的估计误差是显着优于非拜占庭鲁棒算法，特别是，我们至少获得了53%和33%的合成和真实数据实验，分别在典型的设置。
2019-10-09 cs.LG stat.ML
Robust Asymmetric Heterogeneous Federated Learning with Corrupted Clients
Taikang Center for Life and Medical Sciences（泰康生命与医学科学中心）
本文提出RAHFL框架，通过多样性增强监督对比学习和非对称异构联邦学习策略，解决模型异构与数据损坏客户端下的鲁棒联邦学习问题。
2025-03-12 cs.AI cs.CV cs.LG
PracMHBench: Re-evaluating Model-Heterogeneous Federated Learning Based on Practical Edge Device Constraints
School of Computer Science , Beijing University of Posts and Telecommunications , Beijing, China（计算机学院，北京邮电大学，北京，中国）
针对现有模型异构联邦学习算法缺乏实际边缘设备约束下的评估，构建平台PracMHBench，分类测试多种算法，揭示其适用性与异构模式。
2025-09-04 cs.DC cs.LG
Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems
University of Warwick（华威大学）；South China University of Technology（华南理工大学）；Shenzhen University（深圳大学）
移动边缘计算（MEC）结合了云、边缘节点和终端设备，在使数据处理更接近数据源方面显示出巨大的潜力。与此同时，联邦学习（FL）已经成为促进AI应用的一种有前途的隐私保护方法。然而，它仍然是一个很大的挑战，以优化效率和有效性的FL时，它与MEC架构集成。此外，不可靠的性质（例如，离散和间歇性辍学）的终端设备显着放缓FL过程，并影响全球模型的质量辛这种情况下。在本文中，多层联邦学习协议称为HybridFL设计的MEC架构。HybridFL采用边缘层和云层两个层次的模型聚合，并制定了不同的聚合策略。此外，为了减轻掉队者和终端设备辍学，我们引入区域松弛因素的边缘节点使用概率的方法，而不识别或探测终端设备的状态（其可靠性是不可知的）的客户端选择的阶段。我们证明了我们的方法在调制的客户端选择的比例的有效性，并提出了我们的协议的收敛性分析。我们已经进行了广泛的实验，机器学习任务在不同规模的MEC系统。结果表明，HybridFL显著改善了FL训练过程，缩短了联邦轮长度，加快了全局模型的收敛速度（高达12倍），并降低了终端设备的能耗（高达58%）。
2021-04-23 cs.DC cs.LG eess.SP
Federated Learning on Virtual Heterogeneous Data with Local-global Distillation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（矢量研究所）；NVIDIA（英伟达公司）
本文提出FedLGD方法，通过局部-全局数据集蒸馏生成虚拟数据，以迭代分布匹配和联邦梯度匹配缓解联邦学习中的数据异构问题，在多种场景下优于现有方法。
2025-03-12 cs.AI cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory（阿贡国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMWare Research（威睿研究院）；The University of Chicago（芝加哥大学）
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题，提出带算力感知调度器的半异步算法FedCompass，兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Cross-Silo Heterogeneous Model Federated Multitask Learning
UESTC（电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Agile and Intelligent Computing Key Laboratory of Sichuan Province（四川省敏捷与智能计算重点实验室）；Mohamed Bin Zayed University Of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习（FL）是一种机器学习技术，它使参与者能够协作训练高质量的模型，而无需交换他们的私人数据。使用跨筒仓联邦学习（CS-FL）设置的参与者是具有不同任务需求的独立组织，他们不仅关注数据隐私，而且出于知识产权考虑，他们还独立训练自己独特的模型。大多数现有的FL方法无法满足上述场景。在这项研究中，我们提出了一种新的联邦学习方法CoFED的基础上未标记的数据伪标记通过一个过程称为协同训练。CoPED是一种与异构模型、任务和培训流程兼容的联邦学习方法。实验结果表明，该方法优于竞争的。这对于非独立和同分布的设置和异构模型尤其如此，其中所提出的方法实现了35%的性能改进。
2022-08-18 cs.LG
Adaptive Guidance for Local Training in Heterogeneous Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Hong Kong Polytechnic University（香港理工大学）；Queen's University Belfast（贝尔法斯特女王大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Key Laboratory of Trusted Data Circulation（上海可信数据流通关键实验室）
针对异构联邦学习中额外目标与局部目标不匹配的问题，本文提出FedL2G方法，以联邦方式自适应引导局部训练，仅用一阶导数实现O(1/T)收敛，并在多种异构设置下显著超越七种先进方法。
2025-06-03 cs.AI cs.LG
Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；International School, Beijing University of Posts and Telecommunications（北京邮电大学国际学院）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系）
针对模型异构联邦学习中现有逻辑蒸馏无法弥补知识偏差的问题，提出基于正交投影对齐特征的FedFD方法，实现稳定高效的知识整合，性能优于现有方法。
2025-10-14 cs.AI cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur（蔚蓝海岸大学）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安提波利斯分部）；Accenture Labs（埃森哲实验室）
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案，通过引入随机聚合权重来表示客户端更新时间的可变性，例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置，客户端具有异构数据集，并执行至少一个步骤的随机梯度下降（SGD）。我们证明了这样一个计划的收敛性，并提供了足够的条件，相关的最小是最佳的联邦问题。我们表明，我们的一般框架适用于现有的优化方案，包括集中式学习，FedAvg，异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是，我们在这项工作中开发FedFix，FedAvg的一个新的扩展，使高效的异步联邦训练，同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明，异步FedAvg导致快速收敛的稳定性为代价，我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
本文针对异构联邦学习中CNN与SNN模型并存带来的聚合难题，系统比较了多种联邦聚合方法，并提出CNN-SNN融合框架，在MNIST数据集上取得最佳性能，同时揭示了多模型联邦学习收敛过程中的竞争抑制现象。
2024-06-14 cs.DC cs.LG
