FedHQL: Federated Heterogeneous Q-Learning
National University of Singapore（新加坡国立大学）；ETH Zurich（苏黎世联邦理工学院）；Institute for Infocomm Research（资讯通信研究院）
联邦强化学习（FedRL）鼓励分布式代理从彼此的经验中集体学习，以提高其性能，而无需交换原始轨迹。FedRL上的现有工作假设所有参与的代理都是同质的，这要求所有代理共享相同的策略参数化（例如，网络架构和训练配置）。然而，在现实世界的应用程序中，代理往往是在不同意的架构和参数，也可能是因为不同的计算预算。由于在实际应用中没有给出同构性，本文引入了具有异构和黑盒代理的联邦强化学习（FedRL-HALE）的问题设置。我们提出了这种新设置带来的独特挑战，并提出了联邦异构Q-Learning（FedHQL）算法，主要解决这些挑战。我们实证证明了FedHQL在提高异构代理的样本效率与不同的政策参数化使用标准RL任务的功效。
2023-01-26 cs.DC cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出APPFL框架，利用Globus Compute和AWS实现跨云与超算的安全联邦学习，并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
Bitwidth Heterogeneous Federated Learning with Progressive Weight Dequantization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
在实际的联邦学习场景中，参与设备可以根据设计具有用于计算和存储器存储的不同位宽。然而，尽管在设备异构联邦学习场景中取得了进展，但硬件中位宽规范的异构性大多被忽视了。我们介绍了一个实用的FL方案，跨参与设备的位宽异构，被称为位宽异构联邦学习（BHFL）。BHFL带来了一个新的挑战，不同位宽的模型参数的聚合可能会导致严重的性能退化，特别是对于高位宽的模型。为了解决这个问题，我们提出了ProWD框架，它在中央服务器上有一个可训练的权重去量化器，可以逐步将低位宽权重重建为更高的位宽权重，最后重建为全精度权重。ProWD进一步选择性地聚合模型参数以最大化跨比特异构权重的兼容性。我们验证ProWD对基准数据集上的相关FL基线，使用不同的位宽的客户端。我们的ProWD在很大程度上优于基线FL算法，以及天真的方法（如分组平均）下提出的BHFL的情况。
2023-01-11 cs.DC cs.LG
An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
Great Bay University（大湾大学）；Peking University（北京大学）
针对联邦学习在大规模深度神经网络应用中存在的客户端漂移及高通信、计算、内存成本问题，提出高效子空间算法FedSub，通过子空间投影和低维对偶变量解决问题，经收敛分析和实验验证了其高效性。
2026-09-29 cs.DC cs.LG
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction
The George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
本文针对跨设备联邦学习中低端客户端因资源受限被排除的问题，提出统一异构联邦学习框架并首次给出一般收敛性分析，同时引入最小覆盖指数和模型缩减噪声，以整体提升异构联邦学习效率。
2023-10-26 cs.DC cs.LG
FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
University of Maryland（马里兰大学）；Rutgers University（罗格斯大学）；Sony Reasearch（索尼研究院）
针对联邦微调中 LoRA 适配器聚合数学不正确且难支持异构配置的问题，本文提出 FLORA，通过基于堆叠的无噪声聚合实现异构 LoRA 联邦微调，并在同构与异构场景中超越现有方法。
2024-09-09 cs.DC cs.LG
Combined Federated and Split Learning in Edge Computing for Ubiquitous Intelligence in Internet of Things: State of the Art and Future Directions
Pennsylvania State University（宾夕法尼亚州立大学）；Fudan University（复旦大学）
联合学习（Federated Learning，FL）和分裂学习（Split Learning，SL）是两种新兴的协作学习方法，可以极大地促进物联网（Internet of Things，IoT）中的泛在智能。联邦学习使使用私有数据本地训练的机器学习（ML）模型能够聚合成全局模型。拆分学习允许ML模型的不同部分在学习框架中的不同工作者上进行协作训练。联邦学习和分裂学习各有其独特的优势和各自的局限性，可以相互补充，共同实现物联网中的泛在智能。因此，联邦学习和分裂学习的结合成为近年来一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联邦学习和分离学习的最新发展，并对在基于边缘计算的物联网环境中结合这两种学习方法的最新技术进行了调查。我们还确定了一些开放的问题，并讨论了在这一领域的未来研究的可能方向，希望进一步引起研究界对这一新兴领域的兴趣。
2022-07-20 cs.DC cs.LG
Quantization Robust Federated Learning for Efficient Inference on Heterogeneous Devices
Australian National University（澳大利亚国立大学）；Qualcomm AI Research（高通人工智能研究院）
联邦学习（FL）是一种机器学习范式，用于从设备上的分散数据中分布式学习机器学习模型。尽管标准的联邦优化方法取得了成功，例如FL中的联邦平均（Federated Averaging，FedAvg），但文献中并未充分考虑设备上学习的能量需求和硬件引起的约束。具体来说，设备上学习的一个基本要求是，根据联邦中的能源需求和异构硬件设计，将训练模型量化为各种位宽。在这项工作中，我们介绍了联邦平均算法的多种变体，训练神经网络对量化具有鲁棒性。这样的网络可以被量化为各种位宽，仅在全精度模型精度上有有限的降低。我们对标准FL基准进行了广泛的实验，以评估我们提出的FedAvg变体的量化鲁棒性，并为我们的量化感知变体FL提供收敛性分析。我们的结果表明，整合量化鲁棒性导致FL模型在量化设备上的推断过程中对不同的位宽具有更强的鲁棒性。
2022-06-22 cs.DC cs.LG
Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本文提出HetLoRA方法，通过允许设备间异构LoRA秩并结合本地秩自剪枝与服务器稀疏加权聚合，解决设备端基础模型联邦微调中的数据与系统异构性问题，提升收敛速度与性能。
2024-02-20 cs.DC cs.LG
FedMOA: Federated GRPO for Personalized Reasoning LLMs under Heterogeneous Rewards
University of Maryland, College Park（马里兰大学 College Park 分校）；Cisco Research（思科研究）
FedMOA是一种联邦GRPO框架，用于在异质奖励下实现个性化推理大语言模型的多目标对齐，通过自适应加权机制和任务感知聚合策略提升性能和个性化效果。
2026-01-31 cs.DC cs.LG
Adaptive Heterogeneous Compression for Resource-Efficient Federated Knowledge Distillation
School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）；School of Communication and Information Engineering, Chongqing University of Posts and Telecommunications（重庆邮电大学通信与信息工程学院）
针对联邦知识蒸馏中梯度传输开销高、客户端资源与模型特性异质性未被充分利用的问题，提出ASCEND算法，通过多臂老虎机自适应选择压缩策略，在保持精度的同时降低通信与训练时间。
2026-08-18 cs.DC cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）；Sony AI（索尼人工智能）；North Carolina State University（北卡罗来纳州立大学）
本文提出pFedHR框架，通过异构模型重组将个性化建模为服务器端模型匹配优化问题，自动生成多样化候选模型，在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning
The University of Hong Kong（香港大学）
联邦学习（FL）能够管理边缘设备以协作地训练模型，同时保持训练数据本地和私有。FL中的一个常见假设是，所有边缘设备在训练中共享相同的机器学习模型，例如，相同的神经网络架构。然而，不同设备的计算和存储能力可能不同。此外，减少通信开销可以提高训练效率，但它仍然是一个具有挑战性的问题，在FL。在本文中，我们提出了一种新的FL方法，称为FedHe，灵感来自知识蒸馏，它可以训练异构模型，并支持异步训练过程，显着减少通信开销。我们的分析和实验结果表明，我们提出的方法的性能优于国家的最先进的算法在通信开销和模型的准确性。
2021-10-19 cs.DC cs.LG
Federated Self-supervised Learning for Heterogeneous Clients
University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习由于其隐私性和计算性的优点而成为一种重要的学习范式。随着该领域的发展，仍然需要解决的两个关键挑战是：（1）系统异构性-每个客户端上存在的计算和/或数据资源的可变性，以及（2）在某些联合设置中缺乏标记数据。最近的一些事态发展试图独立地克服这些挑战。在这项工作中，我们提出了一个统一的和系统的框架，\emph{Heterogeneous Self-supervised Federated Learning}（异质SSFL），使自监督学习与联邦异构客户端。所提出的框架允许协作表示学习在所有的客户端，而不施加架构约束或要求存在的标记数据。Hetero-SSFL的核心思想是让每个客户端训练其独特的自监督模型，并通过在公共数据集上对齐低维表示来实现跨客户端的联合学习。整个训练过程可以被视为自我和同行监督，因为本地训练和对齐过程都不需要存在任何标记数据。与传统的自监督学习一样，所获得的客户端模型与任务无关，可以用于不同的终端任务。我们提供了一个收敛性的保证，所提出的框架，在异构环境中的非凸目标，也经验证明，我们提出的方法优于最先进的方法的显着利润率。
2022-05-31 cs.DC cs.LG
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning
George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
联邦学习（FL）中的最大挑战之一是客户端设备通常具有用于本地更新的截然不同的计算和通信资源。为此，最近的研究工作集中在训练通过修剪共享的全局模型获得的异构局部模型。尽管取得了经验上的成功，但关于趋同的理论保证仍然是一个悬而未决的问题。在本文中，我们提出了一个统一的框架异构FL算法与{ \em arbitrary}自适应在线模型修剪，并提供了一般的收敛性分析。特别是，我们证明了在某些充分条件下，对于IID和非IID数据，这些算法对于一般光滑代价函数收敛到标准FL的稳定点，收敛速度为$O(\frac{1}{\sqrt{Q}})$。此外，我们阐明了影响收敛的两个关键因素：修剪引起的噪声和最小覆盖指数，倡导联合设计的局部修剪掩模有效的训练。
2022-02-09 cs.DC cs.LG
Heterogeneous Tasks Offloading in Vehicular Edge Computing: A Federated Meta Deep Reinforcement Learning Approach
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Chengdu Neusoft University（成都新soft大学）
本文提出了一种联邦元深度强化学习框架FedMAGS，用于解决车载边缘计算中异构任务卸载问题，通过图注意力网络捕捉DAG依赖关系，序列到序列策略生成结构化卸载决策，并利用联邦元学习实现跨分布式MEC服务器的快速适应。
2026-05-18 cs.DC cs.LG
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning
Nankai University（南开大学）；Nanyang Technological University（南洋理工大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学（UBC））
针对联邦学习中大模型微调的计算与通信成本高及模型异构问题，提出pFedLoRA框架，通过同构小型适配器实现全局-局部知识交换迭代训练，在保证性能的同时显著降低开销并证明其收敛性。
2024-02-11 cs.DC cs.LG
Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
University of Nevada, Reno（内华达大学拉斯维加斯分校）
提出Fed-pilot框架，通过背包优化选择LoRA模块子集，并采用动态补偿聚合规则，解决异构客户端内存约束下的联邦微调问题，实验证明其有效性和高效性。
2025-06-20 cs.DC cs.LG
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Michigan State University (MSU)（密歇根州立大学）
针对联邦学习中极端数据异质性导致的收敛障碍，提出FedPeWS方法，通过预热阶段让参与者学习个性化掩码并更新子网络，再切换至标准联邦优化，提升了准确率和收敛速度。
2025-04-16 cs.DC cs.LG
SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning
Hong Kong Polytechnic University（香港理工大学）；University of California, Merced（加州大学梅尔德分校）；The University of Hong Kong（香港大学）
本文提出SplitFT系统，通过自适应设置切层和降低LoRA秩来提升联邦分裂学习在大语言模型微调中的效率与性能，实验表明其在多个基准测试中表现优异。
2026-04-29 cs.DC cs.LG
FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization
Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）
最近的联邦学习（FL）范例的一个基本假设是，所有本地模型通常共享相同的网络架构和大小，这对于具有不同硬件资源的设备来说是不切实际的。一个可扩展的联邦学习框架应该解决客户端具有不同计算能力和通信能力的异构性。为此，本文提出了一种新的异构联邦模型压缩框架FedHM，将异构的低秩模型分发给客户端，然后聚合成一个满秩模型。我们的解决方案能够训练具有不同计算复杂性的异构模型，并将它们聚合到一个全局模型中。此外，FedHM显着降低了通信成本，通过使用低秩模型。大量的实验结果表明，FedHM是优越的性能和不同大小的模型的鲁棒性，与国家的最先进的异构FL方法在各种FL设置。此外，FL的异构设备的收敛保证进行了理论分析。
2022-05-26 cs.AI cs.DC cs.LG
PracMHBench: Re-evaluating Model-Heterogeneous Federated Learning Based on Practical Edge Device Constraints
School of Computer Science , Beijing University of Posts and Telecommunications , Beijing, China（计算机学院，北京邮电大学，北京，中国）
针对现有模型异构联邦学习算法缺乏实际边缘设备约束下的评估，构建平台PracMHBench，分类测试多种算法，揭示其适用性与异构模式。
2025-09-04 cs.DC cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory（阿贡国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMWare Research（威睿研究院）；The University of Chicago（芝加哥大学）
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题，提出带算力感知调度器的半异步算法FedCompass，兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
本文针对异构联邦学习中CNN与SNN模型并存带来的聚合难题，系统比较了多种联邦聚合方法，并提出CNN-SNN融合框架，在MNIST数据集上取得最佳性能，同时揭示了多模型联邦学习收敛过程中的竞争抑制现象。
2024-06-14 cs.DC cs.LG
pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning
Nankai University（南开大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tianjin University（天津大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学）
针对模型异构个性化联邦学习中的隐私、性能与成本平衡问题，提出pFedMoE方法，通过为本地异构大模型分配共享小特征提取器与本地门控网络构建混合专家，实现数据级个性化并支持模型异构。
2024-02-11 cs.DC cs.LG
Federated Learning Framework for Scalable AI in Heterogeneous HPC and Cloud Environments
本文提出一种适用于异构HPC和云环境的联邦学习框架，解决系统异构性、通信开销和资源调度问题，实现高可扩展性和容错性，适用于非独立和相同分布数据。
2025-11-22 cs.DC cs.LG
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University（华东师范大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
本文提出AdaptiveFL方法，通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制，为异构AIoT设备动态分配合适的局部模型，在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
Hypernetworks for Model-Heterogeneous Personalized Federated Learning
the Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)（青岛软件研究所、计算机科学与技术学院、中国石油大学（华东））；the Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能石油与天然气工业软件重点实验室）；National University of Singapore（新加坡国立大学）
针对现有个性化联邦学习方法在模型异构场景下的局限，提出基于超网络的MH-pFedHN及集成轻量全局模型的MH-pFedHNGD框架，在保护隐私的同时实现了有竞争力的准确率与强泛化性。
2025-07-30 cs.DC cs.LG
Federated Model Heterogeneous Matryoshka Representation Learning
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；The University of British Columbia（不列颠哥伦比亚大学）
针对模型异构联邦学习中知识交换受限的问题，提出FedMRL方法，通过辅助同构模型与轻量级投影器融合表示，并构建多维多粒度的Matryoshka表示，显著提升了模型准确率并降低了通信与计算成本。
2024-06-01 cs.DC cs.LG
Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction
King’s College London（伦敦国王学院）
尽管联邦学习近年来取得了许多突破性进展，但学习环境的异构性极大地限制了其性能，阻碍了其在现实世界中的应用。异构数据、时变无线条件和计算有限的设备是三个主要挑战，这通常会导致训练过程不稳定和精度下降。在此，我们提出了应对这些挑战的战略。针对异构数据分布，我们提出了一种新的自适应混合聚合（AMA）方案，将前几轮的模型更新与当前轮混合，以避免大的模型偏移，从而保持训练稳定性。我们进一步提出了一种新的基于过时的加权方案的异步模型更新所造成的动态无线环境。最后，我们提出了一种新的CPU友好的计算减少计划的基础上迁移学习共享的特征提取器（FES），让计算有限的设备更新只有分类器。仿真结果表明，所提出的框架优于现有的最先进的解决方案，并提高了测试精度和训练稳定性分别高达2.38%，93.10%。此外，所提出的框架可以容忍的通信延迟高达15轮下的中等延迟环境下，没有显着的准确性下降。
2023-02-16 cs.DC cs.LG
Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data
KTH Royal Institute of Technology（皇家理工学院）；UC Berkeley（加州大学伯克利分校）；The Chinese University of Hong Kong（香港中文大学）
针对异质客户端数据下紧致光滑子流形上的非凸联邦学习问题，提出融合随机黎曼梯度、流形投影与局部更新的算法，证明其次线性收敛并显著降低计算与通信开销。
2024-06-12 cs.DC cs.LG
Completely Heterogeneous Federated Learning
Shanghai Jiao Tong University（上海交通大学）
联邦学习面临着三大困难：跨领域、异构模型和非独立同分布。为场景添加标签。现有的FL方法无法同时处理上述三个约束，并且需要降低隐私保护的级别（例如，可以共享模型体系结构和数据类别分布）。在这项工作中，我们提出了具有挑战性的“完全异构”的情况下，FL，这是指每个客户端不会暴露任何私人信息，包括特征空间，模型架构，标签分布。然后，我们设计了一个基于参数解耦和无数据知识蒸馏的FL框架来解决这个问题。实验表明，我们提出的方法在完全异构的情况下，其他方法失败，实现了高性能。
2022-10-28 cs.CR cs.DC cs.LG
FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update
Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）
联邦学习旨在保护用户的隐私，同时执行来自不同参与者的数据分析。然而，由于各种计算能力和通信瓶颈，在异构系统上保证训练效率具有挑战性。在这项工作中，我们提出FedSkel，通过只更新模型的基本部分（称为骨架网络），在边缘设备上实现计算效率和通信效率高的联邦学习。FedSkel在具有不平衡数据集的真实边缘设备上进行评估。实验结果表明，该算法在保证训练精度的前提下，可使CONV层的反向传播速度提高到5.52 $\times$，整个训练过程的速度提高到1.82 $\times$，通信开销降低了64.8%.
2021-08-20 cs.AI cs.DC cs.LG
Dual-Distilled Heterogeneous Federated Learning with Adaptive Margins for Trainable Global Prototypes
FedProtoKD通过双知识蒸馏和自适应边距解决异构联邦学习中的原型边距缩小问题，提升模型性能。
2025-12-19 cs.DC cs.LG
Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文提出 HypeMeFed 框架，通过多出口网络与超网络权重生成结合低秩分解，在异构客户端联邦学习中提升准确率并大幅降低超网络内存与计算开销。
2024-10-03 cs.AI cs.DC cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
联邦学习（FL）是一种流行的分布式学习模式，它从一组参与用户中学习模型，而无需共享原始数据。FL的一个主要挑战来自异构用户，这些用户可能具有分布不同（或非iid）的数据和不同的计算资源。由于联邦用户将使用模型进行预测，他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练（AT）为集中式学习提供了一个良好的解决方案，但将其用于联合用户带来了重大挑战，因为许多用户可能只有非常有限的训练数据和紧张的计算预算，以负担数据饥饿和昂贵的AT。在本文中，我们研究了一种新的FL策略：在联邦学习过程中，将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现，现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略，并提出了一个有效的传播方法，通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是，所提出的方法被证明是授予联邦模型显着的鲁棒性，即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
在联邦优化中，客户端的本地数据集和计算速度的异构性导致每个客户端在每个通信回合中执行的本地更新的数量变化很大。这种模型的朴素加权聚合导致目标不一致，即全局模型收敛到不匹配目标函数的稳定点，该目标函数可以与真实目标任意不同。本文提供了一个通用的框架来分析联邦异构优化算法的收敛性。它包含了以前提出的方法，如FedAvg和FedProx，并提供了第一个原则性的理解解决方案的偏见和收敛速度放缓，由于客观的不一致性。利用这种分析的见解，我们提出了FedNova，一种归一化的平均方法，消除了客观的不一致性，同时保持快速的误差收敛。
2020-07-15 cs.DC cs.LG stat.ML
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks
Seoul National University（首尔国立大学）
个性化联邦学习旨在允许众多客户端训练个性化模型，同时以通信高效的方式参与协作训练，而无需交换私有数据。然而，许多个性化的联邦学习算法假设客户端具有相同的神经网络架构，而异构模型的算法仍然没有得到充分研究。在这项研究中，我们提出了一种新的个性化联邦学习方法称为联邦分类器平均（FedClassAvg）。用于监督学习任务的深度神经网络由特征提取器和分类器层组成。FedClassAvg聚合分类器权重作为特征空间上决策边界的协议，以便具有非独立和相同分布（非iid）数据的客户端可以了解稀缺标签。此外，局部特征表示学习被应用于稳定决策边界和提高客户端的局部特征提取能力。虽然现有的方法需要收集辅助数据或模型权重来生成副本，但FedClassAvg只需要客户端与几个完全连接的层进行通信，这是非常高效的通信。此外，FedClassAvg不需要额外的优化问题，如知识转移，这需要密集的计算开销。我们通过大量的实验评估了FedClassAvg，并证明它在异构个性化联邦学习任务上优于当前最先进的算法。
2022-10-27 cs.AI cs.DC cs.LG
Single-Loop Federated Actor-Critic across Heterogeneous Environments
Auburn University（奥本大学）
针对异构环境下联邦Actor-Critic算法的理论空白，提出单循环联邦Actor-Critic（SFAC）算法，证明其收敛误差与环境异构性成正比，且样本复杂度具有线性加速效果。
2024-12-19 cs.DC cs.LG cs.MA
Detailed comparison of communication efficiency of split learning and federated learning
Massachusetts Institute of Technology（麻省理工学院）
我们比较了两个引人注目的分布式机器学习方法的分裂学习和联邦学习的通信效率。我们展示了有用的设置下，每种方法优于其他方面的通信效率。我们考虑分布式学习设置的各种实际场景，并将这两种方法在各种现实生活中的场景下并列。我们考虑了小客户端和大客户端数量以及小模型（1 M-6 M参数），大模型（10 M-200 M参数）和超大模型（10亿-1000亿参数）的设置。我们发现，增加客户端的数量或增加模型的大小有利于分裂学习设置联邦，而增加数据样本的数量，同时保持客户端的数量或模型的大小低，使联邦学习更有效的沟通。
2019-09-18 cs.DC cs.LG stat.ML
Local-Global Knowledge Distillation in Heterogeneous Federated Learning with Non-IID Data
Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）；Google Research（谷歌研究院）
联邦学习使多个客户能够通过定期聚合客户的模型而无需传输本地数据来协作学习全局模型。然而，由于系统和数据的异构性，许多方法都存在“客户端漂移”问题，这可能会显着减缓全局模型训练的收敛速度。当客户端通过异构系统对异构数据执行本地更新时，它们的本地模型就会分散开来。为了解决这个问题，一个直观的想法是由全球教师指导本地模型训练，即，过去全局模型，其中每个客户端通过自适应知识蒸馏技术从过去全局模型学习全局知识。基于这些见解，我们提出了一种新的异构联邦学习方法，即FedGKD，它融合了来自历史全局模型的知识进行局部训练，以减轻“客户端漂移”问题。在本文中，我们通过对各种CV/NLP数据集（即，CIFAR-10/100，Tiny-ImageNet，AG News，SST 5）和不同的异构设置。所提出的方法是保证在常见的假设条件下收敛，并实现了优越的经验精度在更少的通信运行比五个国家的最先进的方法。
2021-09-13 cs.AI cs.DC cs.LG
Composite federated learning with heterogeneous data
KTH Royal Institute of Technology（瑞典皇家理工学院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）
本文提出一种解决异构数据下复合联邦学习问题的新算法，通过解耦近端算子与通信处理非光滑正则化，并解决客户端漂移，实现线性收敛，实验优于现有方法。
2023-09-04 cs.DC cs.LG math.OC
Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients
POSTECH（浦项科技大学）
针对联邦微调LLMs时聚合不一致及低秩异构数据下性能下降的问题，提出LoRA-A$^2$方法，通过交替冻结和自适应秩选择提升鲁棒性与通信效率，实现参数显著减少且不损性能。
2025-05-30 cs.AI cs.DC cs.LG
Towards a Federated Learning Framework for Heterogeneous Devices of Internet of Things
University of California, Davis（加利福尼亚大学戴维斯分校）
联邦学习（FL）由于其将数据保存在本地设备上的能力而在工业界和研究界受到了极大的关注。为了聚合局部模型的梯度以训练全局模型，现有的工作要求全局模型和局部模型相同。然而，物联网（IoT）设备在计算速度和板载存储器方面本质上是多样化的。在本文中，我们提出了一个FL框架，针对物联网设备的异构性。具体地，从全局模型压缩局部模型，并且使用压缩的局部模型的梯度来更新全局模型。我们进行了初步的实验，以说明我们的框架可以促进物联网感知FL的设计。
2021-05-31 cs.DC cs.LG cs.NI
Privacy and Efficiency of Communications in Federated Split Learning
Boston University（波士顿大学）；Saint Louis University（圣路易斯大学）
每天，大量的敏感数据分布在手机、可穿戴设备和其他传感器上。传统上，这些庞大的数据集是在一个系统上处理的，复杂的模型被训练来做出有价值的预测。最近开发了分布式机器学习技术，例如联合学习和分裂学习，以在确保高性能的同时更好地保护用户数据和隐私。这两种分布式学习架构各有优缺点。在本文中，我们研究了这些权衡，并提出了一种新的混合联邦分裂学习架构，结合了两者的效率和隐私优势。我们的评估展示了我们的混合联合分裂学习方法如何降低运行分布式学习系统的每个客户端所需的处理能力，减少训练和推理时间，同时保持类似的准确性。我们还讨论了我们的方法对深度学习隐私推理攻击的弹性，并将我们的解决方案与其他最近提出的基准进行了比较。
2023-01-07 cs.CR cs.DC cs.LG
Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data
Sungkyunkwan University（成均馆大学）
本文提出FedCKA框架，通过CKA识别神经网络重要层并施加逐层正则化，在异构数据联邦学习中超越现有方法，同时提升效率与可扩展性。
2021-12-01 cs.AI cs.DC cs.LG
DFPL: Decentralized Federated Prototype Learning Across Heterogeneous Data Distributions
针对去中心化联邦学习因数据异构性性能下降的问题，提出嵌入区块链的DFPL框架，引入原型学习缓解异构性、减少通信参数，经理论收敛分析和四数据集实验验证，其在模型性能与通信效率上更优。
2025-10-02 cs.DC
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University（普渡大学）；NC State University（北卡罗来纳州立大学）
机器学习（ML）任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术，通过利用收集数据的节点的处理能力，在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战，这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题，我们提倡一种称为雾学习的新学习范式，它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习：网络、异构性和邻近性。它认为是一个多层混合学习框架，包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构，通过设备到设备（D2 D）通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Northeastern University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
针对联邦学习中异构非平稳的客户端不可用问题，提出仅需O(1)额外开销、通过隐式gossip扩散更新的FedAPM算法，可在非凸目标下实现线性加速并经真实数据实验验证。
2024-10-31 cs.DC cs.LG math.OC
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich（慕尼黑工业大学）；Arizona State University（亚利桑那州立大学）
本文提出CyBeR-0，一种具有拜占庭弹性的联邦零阶优化方法，通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性，显著降低上下行通信成本与内存需求，并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Resource-Constrained Federated Learning with Heterogeneous Labels and Models
Global AI Accelerator, Ericsson（爱立信全球人工智能加速器）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）；Ericsson Research（爱立信研究院）
各种物联网应用需要资源受限的机器学习机制，用于不同的应用，如普及医疗保健，活动监控，语音识别，实时计算机视觉等。联邦学习被证明是分布式和协作式机器学习的一个非常可行的选择。特别是，设备上的联邦学习是一个活跃的研究领域，然而，在解决统计（非IID数据）和模型异质性方面存在各种挑战。此外，在本文中，我们探讨了一个新的挑战的兴趣-处理标签异质性在联邦学习。为此，我们提出了一个框架，简单的$α$加权联邦聚合的分数，利用重叠的信息增益标签，同时节省带宽成本的过程中。对Animals-10数据集（具有4个标签以有效阐明结果）的经验评价表明，平均确定性准确度至少增加约16.7%。我们还通过在Raspberry Pi 2（单板计算平台）上进行不同迭代的联邦学习和推理实验，展示了我们提出的框架的设备上功能。
2020-11-06 cs.DC cs.LG cs.NI
HLoRA: Efficient Federated Learning System for LLM Heterogeneous Fine-Tuning
提出HLoRA联邦学习系统，通过结合秩异构性的改进LoRA方法优化通信与计算效率，解决资源和数据异构问题，并在收敛速度和模型准确率上优于传统LoRA。
2025-03-02 cs.DC
HeteroTune: Efficient Federated Learning for Large Heterogeneous Models
针对大型预训练模型在分布式环境部署中面临的客户端资源异构问题，提出HeteroTune联邦微调范式，通过DeMA架构和CMGA机制实现异构模型高效聚合与稳定训练，在LLaMA模型上实现通信开销降99.5%、内存降约50%、性能提升4.61%。
2025-08-25 cs.CL cs.CV cs.DC
SuperSFL: Resource-Heterogeneous Federated Split Learning with Weight-Sharing Super-Networks
Iowa State University（爱荷华州立大学）；Microsoft（微软）；Maro Systems（Maro系统公司）；Technical University of Darmstadt（达姆施塔特工业大学）；PanocularAI
针对异构环境中客户端计算和通信能力差异大的问题，提出SuperSFL框架，利用权重共享超网络动态生成资源感知的子网络，并通过三阶段梯度融合优化机制加速收敛，实验表明在CIFAR-10和CIFAR-100上收敛速度提升2-5倍，通信成本降低20倍，训练时间缩短13倍。
2026-05-26 cs.DC
