Bitwidth Heterogeneous Federated Learning with Progressive Weight Dequantization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
在实际的联邦学习场景中，参与设备可以根据设计具有用于计算和存储器存储的不同位宽。然而，尽管在设备异构联邦学习场景中取得了进展，但硬件中位宽规范的异构性大多被忽视了。我们介绍了一个实用的FL方案，跨参与设备的位宽异构，被称为位宽异构联邦学习（BHFL）。BHFL带来了一个新的挑战，不同位宽的模型参数的聚合可能会导致严重的性能退化，特别是对于高位宽的模型。为了解决这个问题，我们提出了ProWD框架，它在中央服务器上有一个可训练的权重去量化器，可以逐步将低位宽权重重建为更高的位宽权重，最后重建为全精度权重。ProWD进一步选择性地聚合模型参数以最大化跨比特异构权重的兼容性。我们验证ProWD对基准数据集上的相关FL基线，使用不同的位宽的客户端。我们的ProWD在很大程度上优于基线FL算法，以及天真的方法（如分组平均）下提出的BHFL的情况。
2023-01-11 cs.DC cs.LG
An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
Great Bay University（大湾大学）；Peking University（北京大学）
针对联邦学习在大规模深度神经网络应用中存在的客户端漂移及高通信、计算、内存成本问题，提出高效子空间算法FedSub，通过子空间投影和低维对偶变量解决问题，经收敛分析和实验验证了其高效性。
2026-09-29 cs.DC cs.LG
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction
The George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
本文针对跨设备联邦学习中低端客户端因资源受限被排除的问题，提出统一异构联邦学习框架并首次给出一般收敛性分析，同时引入最小覆盖指数和模型缩减噪声，以整体提升异构联邦学习效率。
2023-10-26 cs.DC cs.LG
FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
University of Maryland（马里兰大学）；Rutgers University（罗格斯大学）；Sony Reasearch（索尼研究院）
针对联邦微调中 LoRA 适配器聚合数学不正确且难支持异构配置的问题，本文提出 FLORA，通过基于堆叠的无噪声聚合实现异构 LoRA 联邦微调，并在同构与异构场景中超越现有方法。
2024-09-09 cs.DC cs.LG
Quantization Robust Federated Learning for Efficient Inference on Heterogeneous Devices
Australian National University（澳大利亚国立大学）；Qualcomm AI Research（高通人工智能研究院）
联邦学习（FL）是一种机器学习范式，用于从设备上的分散数据中分布式学习机器学习模型。尽管标准的联邦优化方法取得了成功，例如FL中的联邦平均（Federated Averaging，FedAvg），但文献中并未充分考虑设备上学习的能量需求和硬件引起的约束。具体来说，设备上学习的一个基本要求是，根据联邦中的能源需求和异构硬件设计，将训练模型量化为各种位宽。在这项工作中，我们介绍了联邦平均算法的多种变体，训练神经网络对量化具有鲁棒性。这样的网络可以被量化为各种位宽，仅在全精度模型精度上有有限的降低。我们对标准FL基准进行了广泛的实验，以评估我们提出的FedAvg变体的量化鲁棒性，并为我们的量化感知变体FL提供收敛性分析。我们的结果表明，整合量化鲁棒性导致FL模型在量化设备上的推断过程中对不同的位宽具有更强的鲁棒性。
2022-06-22 cs.DC cs.LG
Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本文提出HetLoRA方法，通过允许设备间异构LoRA秩并结合本地秩自剪枝与服务器稀疏加权聚合，解决设备端基础模型联邦微调中的数据与系统异构性问题，提升收敛速度与性能。
2024-02-20 cs.DC cs.LG
FedMOA: Federated GRPO for Personalized Reasoning LLMs under Heterogeneous Rewards
University of Maryland, College Park（马里兰大学 College Park 分校）；Cisco Research（思科研究）
FedMOA是一种联邦GRPO框架，用于在异质奖励下实现个性化推理大语言模型的多目标对齐，通过自适应加权机制和任务感知聚合策略提升性能和个性化效果。
2026-01-31 cs.DC cs.LG
Adaptive Heterogeneous Compression for Resource-Efficient Federated Knowledge Distillation
School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）；School of Communication and Information Engineering, Chongqing University of Posts and Telecommunications（重庆邮电大学通信与信息工程学院）
针对联邦知识蒸馏中梯度传输开销高、客户端资源与模型特性异质性未被充分利用的问题，提出ASCEND算法，通过多臂老虎机自适应选择压缩策略，在保持精度的同时降低通信与训练时间。
2026-08-18 cs.DC cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）；Sony AI（索尼人工智能）；North Carolina State University（北卡罗来纳州立大学）
本文提出pFedHR框架，通过异构模型重组将个性化建模为服务器端模型匹配优化问题，自动生成多样化候选模型，在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning
The University of Hong Kong（香港大学）
联邦学习（FL）能够管理边缘设备以协作地训练模型，同时保持训练数据本地和私有。FL中的一个常见假设是，所有边缘设备在训练中共享相同的机器学习模型，例如，相同的神经网络架构。然而，不同设备的计算和存储能力可能不同。此外，减少通信开销可以提高训练效率，但它仍然是一个具有挑战性的问题，在FL。在本文中，我们提出了一种新的FL方法，称为FedHe，灵感来自知识蒸馏，它可以训练异构模型，并支持异步训练过程，显着减少通信开销。我们的分析和实验结果表明，我们提出的方法的性能优于国家的最先进的算法在通信开销和模型的准确性。
2021-10-19 cs.DC cs.LG
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning
George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
联邦学习（FL）中的最大挑战之一是客户端设备通常具有用于本地更新的截然不同的计算和通信资源。为此，最近的研究工作集中在训练通过修剪共享的全局模型获得的异构局部模型。尽管取得了经验上的成功，但关于趋同的理论保证仍然是一个悬而未决的问题。在本文中，我们提出了一个统一的框架异构FL算法与{ \em arbitrary}自适应在线模型修剪，并提供了一般的收敛性分析。特别是，我们证明了在某些充分条件下，对于IID和非IID数据，这些算法对于一般光滑代价函数收敛到标准FL的稳定点，收敛速度为$O(\frac{1}{\sqrt{Q}})$。此外，我们阐明了影响收敛的两个关键因素：修剪引起的噪声和最小覆盖指数，倡导联合设计的局部修剪掩模有效的训练。
2022-02-09 cs.DC cs.LG
Heterogeneous Tasks Offloading in Vehicular Edge Computing: A Federated Meta Deep Reinforcement Learning Approach
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Chengdu Neusoft University（成都新soft大学）
本文提出了一种联邦元深度强化学习框架FedMAGS，用于解决车载边缘计算中异构任务卸载问题，通过图注意力网络捕捉DAG依赖关系，序列到序列策略生成结构化卸载决策，并利用联邦元学习实现跨分布式MEC服务器的快速适应。
2026-05-18 cs.DC cs.LG
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning
Nankai University（南开大学）；Nanyang Technological University（南洋理工大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学（UBC））
针对联邦学习中大模型微调的计算与通信成本高及模型异构问题，提出pFedLoRA框架，通过同构小型适配器实现全局-局部知识交换迭代训练，在保证性能的同时显著降低开销并证明其收敛性。
2024-02-11 cs.DC cs.LG
Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
University of Nevada, Reno（内华达大学拉斯维加斯分校）
提出Fed-pilot框架，通过背包优化选择LoRA模块子集，并采用动态补偿聚合规则，解决异构客户端内存约束下的联邦微调问题，实验证明其有效性和高效性。
2025-06-20 cs.DC cs.LG
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Michigan State University (MSU)（密歇根州立大学）
针对联邦学习中极端数据异质性导致的收敛障碍，提出FedPeWS方法，通过预热阶段让参与者学习个性化掩码并更新子网络，再切换至标准联邦优化，提升了准确率和收敛速度。
2025-04-16 cs.DC cs.LG
FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization
Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）
最近的联邦学习（FL）范例的一个基本假设是，所有本地模型通常共享相同的网络架构和大小，这对于具有不同硬件资源的设备来说是不切实际的。一个可扩展的联邦学习框架应该解决客户端具有不同计算能力和通信能力的异构性。为此，本文提出了一种新的异构联邦模型压缩框架FedHM，将异构的低秩模型分发给客户端，然后聚合成一个满秩模型。我们的解决方案能够训练具有不同计算复杂性的异构模型，并将它们聚合到一个全局模型中。此外，FedHM显着降低了通信成本，通过使用低秩模型。大量的实验结果表明，FedHM是优越的性能和不同大小的模型的鲁棒性，与国家的最先进的异构FL方法在各种FL设置。此外，FL的异构设备的收敛保证进行了理论分析。
2022-05-26 cs.AI cs.DC cs.LG
PracMHBench: Re-evaluating Model-Heterogeneous Federated Learning Based on Practical Edge Device Constraints
School of Computer Science , Beijing University of Posts and Telecommunications , Beijing, China（计算机学院，北京邮电大学，北京，中国）
针对现有模型异构联邦学习算法缺乏实际边缘设备约束下的评估，构建平台PracMHBench，分类测试多种算法，揭示其适用性与异构模式。
2025-09-04 cs.DC cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory（阿贡国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMWare Research（威睿研究院）；The University of Chicago（芝加哥大学）
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题，提出带算力感知调度器的半异步算法FedCompass，兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
本文针对异构联邦学习中CNN与SNN模型并存带来的聚合难题，系统比较了多种联邦聚合方法，并提出CNN-SNN融合框架，在MNIST数据集上取得最佳性能，同时揭示了多模型联邦学习收敛过程中的竞争抑制现象。
2024-06-14 cs.DC cs.LG
pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning
Nankai University（南开大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tianjin University（天津大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学）
针对模型异构个性化联邦学习中的隐私、性能与成本平衡问题，提出pFedMoE方法，通过为本地异构大模型分配共享小特征提取器与本地门控网络构建混合专家，实现数据级个性化并支持模型异构。
2024-02-11 cs.DC cs.LG
Federated Learning Framework for Scalable AI in Heterogeneous HPC and Cloud Environments
本文提出一种适用于异构HPC和云环境的联邦学习框架，解决系统异构性、通信开销和资源调度问题，实现高可扩展性和容错性，适用于非独立和相同分布数据。
2025-11-22 cs.DC cs.LG
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University（华东师范大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
本文提出AdaptiveFL方法，通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制，为异构AIoT设备动态分配合适的局部模型，在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
Hypernetworks for Model-Heterogeneous Personalized Federated Learning
the Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)（青岛软件研究所、计算机科学与技术学院、中国石油大学（华东））；the Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能石油与天然气工业软件重点实验室）；National University of Singapore（新加坡国立大学）
针对现有个性化联邦学习方法在模型异构场景下的局限，提出基于超网络的MH-pFedHN及集成轻量全局模型的MH-pFedHNGD框架，在保护隐私的同时实现了有竞争力的准确率与强泛化性。
2025-07-30 cs.DC cs.LG
Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction
King’s College London（伦敦国王学院）
尽管联邦学习近年来取得了许多突破性进展，但学习环境的异构性极大地限制了其性能，阻碍了其在现实世界中的应用。异构数据、时变无线条件和计算有限的设备是三个主要挑战，这通常会导致训练过程不稳定和精度下降。在此，我们提出了应对这些挑战的战略。针对异构数据分布，我们提出了一种新的自适应混合聚合（AMA）方案，将前几轮的模型更新与当前轮混合，以避免大的模型偏移，从而保持训练稳定性。我们进一步提出了一种新的基于过时的加权方案的异步模型更新所造成的动态无线环境。最后，我们提出了一种新的CPU友好的计算减少计划的基础上迁移学习共享的特征提取器（FES），让计算有限的设备更新只有分类器。仿真结果表明，所提出的框架优于现有的最先进的解决方案，并提高了测试精度和训练稳定性分别高达2.38%，93.10%。此外，所提出的框架可以容忍的通信延迟高达15轮下的中等延迟环境下，没有显着的准确性下降。
2023-02-16 cs.DC cs.LG
Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data
KTH Royal Institute of Technology（皇家理工学院）；UC Berkeley（加州大学伯克利分校）；The Chinese University of Hong Kong（香港中文大学）
针对异质客户端数据下紧致光滑子流形上的非凸联邦学习问题，提出融合随机黎曼梯度、流形投影与局部更新的算法，证明其次线性收敛并显著降低计算与通信开销。
2024-06-12 cs.DC cs.LG
Completely Heterogeneous Federated Learning
Shanghai Jiao Tong University（上海交通大学）
联邦学习面临着三大困难：跨领域、异构模型和非独立同分布。为场景添加标签。现有的FL方法无法同时处理上述三个约束，并且需要降低隐私保护的级别（例如，可以共享模型体系结构和数据类别分布）。在这项工作中，我们提出了具有挑战性的“完全异构”的情况下，FL，这是指每个客户端不会暴露任何私人信息，包括特征空间，模型架构，标签分布。然后，我们设计了一个基于参数解耦和无数据知识蒸馏的FL框架来解决这个问题。实验表明，我们提出的方法在完全异构的情况下，其他方法失败，实现了高性能。
2022-10-28 cs.CR cs.DC cs.LG
FedProto: Federated Prototype Learning across Heterogeneous Clients
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
联邦学习（FL）中，当客户知识在梯度空间中聚集时，客户间的异质性会影响优化收敛和泛化性能。例如，客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面不同，这可能容易导致其局部梯度的不对准。为了提高对异构性的容忍度，我们提出了一种新的联邦原型学习（FedProto）框架，在该框架中，客户端和服务器之间的通信抽象类原型，而不是梯度。FedProto将从不同客户端收集的本地原型进行聚合，然后将全局原型发送回所有客户端，以规范本地模型的训练。对每个客户端的训练旨在最大限度地减少本地数据的分类错误，同时保持所产生的本地原型与相应的全局原型足够接近。此外，我们提供了一个理论分析FedProto的收敛速度下的非凸目标。在实验中，我们提出了一个为异构FL量身定制的基准设置，FedProto在多个数据集上的表现优于最近的几种FL方法。
2022-03-05 cs.DC cs.LG
FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update
Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）
联邦学习旨在保护用户的隐私，同时执行来自不同参与者的数据分析。然而，由于各种计算能力和通信瓶颈，在异构系统上保证训练效率具有挑战性。在这项工作中，我们提出FedSkel，通过只更新模型的基本部分（称为骨架网络），在边缘设备上实现计算效率和通信效率高的联邦学习。FedSkel在具有不平衡数据集的真实边缘设备上进行评估。实验结果表明，该算法在保证训练精度的前提下，可使CONV层的反向传播速度提高到5.52 $\times$，整个训练过程的速度提高到1.82 $\times$，通信开销降低了64.8%.
2021-08-20 cs.AI cs.DC cs.LG
Dual-Distilled Heterogeneous Federated Learning with Adaptive Margins for Trainable Global Prototypes
FedProtoKD通过双知识蒸馏和自适应边距解决异构联邦学习中的原型边距缩小问题，提升模型性能。
2025-12-19 cs.DC cs.LG
Federated Incomplete Multi-View Clustering with Heterogeneous Graph Neural Networks
Guangdong University of Foreign Studies（广东外语外贸大学）；School of Engineering, Westlake University（西湖大学工程学院）；East China University of Science and Technology（华东理工大学）
针对联邦场景下多视图数据的特征异构与视图不完整问题，提出FIM-GNNs框架，通过客户端异构图自编码器、服务器重叠特征聚合及全局伪标签引导提升聚类性能。
2024-06-12 cs.DC cs.LG
Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection
在联邦学习的研究中，用户选择策略被广泛用于解决交流效率问题。然而，由于所选择的子集的更新的大的方差，先验选择方法与有限的采样率不能在异构FL的收敛性和准确性。为了解决这个问题，在本文中，我们提出了一种新的分层客户端选择方案，以减少追求更好的收敛性和更高的精度的方差。具体来说，为了减轻异质性的影响，我们开发了基于客户的本地数据分布的分层，以获得近似的同质层，以便在每个层中进行更好的选择。集中在一个有限的抽样率的情况下，我们接下来提出了一个优化的样本量分配方案，考虑到阶层的变异性的多样性，与进一步减少方差的承诺。在理论上，我们阐述了不同的选择方案之间的显式关系的方差，在异构设置下，我们证明了我们的选择方案的有效性。实验结果证实，我们的方法不仅允许更好的性能相对于国家的最先进的方法，但也与流行的FL算法兼容。
2022-04-27 cs.DC cs.LG
Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文提出 HypeMeFed 框架，通过多出口网络与超网络权重生成结合低秩分解，在异构客户端联邦学习中提升准确率并大幅降低超网络内存与计算开销。
2024-10-03 cs.AI cs.DC cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
联邦学习（FL）是一种流行的分布式学习模式，它从一组参与用户中学习模型，而无需共享原始数据。FL的一个主要挑战来自异构用户，这些用户可能具有分布不同（或非iid）的数据和不同的计算资源。由于联邦用户将使用模型进行预测，他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练（AT）为集中式学习提供了一个良好的解决方案，但将其用于联合用户带来了重大挑战，因为许多用户可能只有非常有限的训练数据和紧张的计算预算，以负担数据饥饿和昂贵的AT。在本文中，我们研究了一种新的FL策略：在联邦学习过程中，将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现，现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略，并提出了一个有效的传播方法，通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是，所提出的方法被证明是授予联邦模型显着的鲁棒性，即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
Heterogeneous Federated Learning System for Sparse Healthcare Time-Series Prediction
National Taiwan University（台湾大学）；Silesian University of Technology（西里西亚工业大学）
本文提出一种异构联邦学习系统，通过稠密/稀疏特征张量处理稀疏医疗时间序列，实现异步网络共享与知识迁移，在多数任务上显著降低预测误差。
2025-01-21 cs.LG
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
在联邦优化中，客户端的本地数据集和计算速度的异构性导致每个客户端在每个通信回合中执行的本地更新的数量变化很大。这种模型的朴素加权聚合导致目标不一致，即全局模型收敛到不匹配目标函数的稳定点，该目标函数可以与真实目标任意不同。本文提供了一个通用的框架来分析联邦异构优化算法的收敛性。它包含了以前提出的方法，如FedAvg和FedProx，并提供了第一个原则性的理解解决方案的偏见和收敛速度放缓，由于客观的不一致性。利用这种分析的见解，我们提出了FedNova，一种归一化的平均方法，消除了客观的不一致性，同时保持快速的误差收敛。
2020-07-15 cs.DC cs.LG stat.ML
Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features
Zhejiang Lab（之江实验室）；Xiamen University（厦门大学）
联邦学习（FL）为分布式机器学习任务提供了一种隐私保护解决方案。在实际的FL应用中，经常出现的数据异构性和长尾分布的共存是严重损害FL模型性能的一个挑战性问题。在本文中，我们揭示了一个有趣的事实，有偏见的分类器是导致全局模型性能不佳的主要因素。受上述发现的启发，我们提出了一种新的隐私保护FL方法，用于异构和长尾数据，通过联邦特征分类器再训练（CReFF）。在联邦特征上重新训练的分类器可以以隐私保护的方式产生与在真实数据上重新训练的分类器相当的性能，而不会泄漏本地数据或类分布的信息。在多个基准数据集上的实验表明，CReFF是一种有效的解决方案，可以在异构和长尾数据下获得有前途的FL模型。与最先进的FL方法的比较结果也验证了CReFF的优越性。我们的代码可在https://github.com/shangxinyi/CReFF-FL上获得。
2022-04-28 cs.LG
Cross-Silo Heterogeneous Model Federated Multitask Learning
UESTC（电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Agile and Intelligent Computing Key Laboratory of Sichuan Province（四川省敏捷与智能计算重点实验室）；Mohamed Bin Zayed University Of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习（FL）是一种机器学习技术，它使参与者能够协作训练高质量的模型，而无需交换他们的私人数据。使用跨筒仓联邦学习（CS-FL）设置的参与者是具有不同任务需求的独立组织，他们不仅关注数据隐私，而且出于知识产权考虑，他们还独立训练自己独特的模型。大多数现有的FL方法无法满足上述场景。在这项研究中，我们提出了一种新的联邦学习方法CoFED的基础上未标记的数据伪标记通过一个过程称为协同训练。CoPED是一种与异构模型、任务和培训流程兼容的联邦学习方法。实验结果表明，该方法优于竞争的。这对于非独立和同分布的设置和异构模型尤其如此，其中所提出的方法实现了35%的性能改进。
2022-08-18 cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur（蔚蓝海岸大学）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安提波利斯分部）；Accenture Labs（埃森哲实验室）
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案，通过引入随机聚合权重来表示客户端更新时间的可变性，例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置，客户端具有异构数据集，并执行至少一个步骤的随机梯度下降（SGD）。我们证明了这样一个计划的收敛性，并提供了足够的条件，相关的最小是最佳的联邦问题。我们表明，我们的一般框架适用于现有的优化方案，包括集中式学习，FedAvg，异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是，我们在这项工作中开发FedFix，FedAvg的一个新的扩展，使高效的异步联邦训练，同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明，异步FedAvg导致快速收敛的稳定性为代价，我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
Single-Loop Federated Actor-Critic across Heterogeneous Environments
Auburn University（奥本大学）
针对异构环境下联邦Actor-Critic算法的理论空白，提出单循环联邦Actor-Critic（SFAC）算法，证明其收敛误差与环境异构性成正比，且样本复杂度具有线性加速效果。
2024-12-19 cs.DC cs.LG cs.MA
Local-Global Knowledge Distillation in Heterogeneous Federated Learning with Non-IID Data
Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）；Google Research（谷歌研究院）
联邦学习使多个客户能够通过定期聚合客户的模型而无需传输本地数据来协作学习全局模型。然而，由于系统和数据的异构性，许多方法都存在“客户端漂移”问题，这可能会显着减缓全局模型训练的收敛速度。当客户端通过异构系统对异构数据执行本地更新时，它们的本地模型就会分散开来。为了解决这个问题，一个直观的想法是由全球教师指导本地模型训练，即，过去全局模型，其中每个客户端通过自适应知识蒸馏技术从过去全局模型学习全局知识。基于这些见解，我们提出了一种新的异构联邦学习方法，即FedGKD，它融合了来自历史全局模型的知识进行局部训练，以减轻“客户端漂移”问题。在本文中，我们通过对各种CV/NLP数据集（即，CIFAR-10/100，Tiny-ImageNet，AG News，SST 5）和不同的异构设置。所提出的方法是保证在常见的假设条件下收敛，并实现了优越的经验精度在更少的通信运行比五个国家的最先进的方法。
2021-09-13 cs.AI cs.DC cs.LG
Federated Learning of Molecular Properties with Graph Neural Networks in a Heterogeneous Setting
University of Rochester（罗切斯特大学）
化学研究进行实验的材料和计算成本都很高。因此，机构认为化学数据是有价值的，并且很少有努力为机器学习构建大型公共数据集。另一个挑战是，不同的直觉对不同类别的分子感兴趣，从而产生了传统分布式训练无法轻松连接的异构数据。在这项工作中，我们引入联邦异构分子学习来应对这些挑战。联邦学习允许最终用户协作构建全局模型，同时保持训练数据分布在隔离的客户端上。由于缺乏相关的研究，我们首先模拟了一个异构的联邦学习基准（FedChem），联合执行脚手架分裂和潜在的Dirichlet分配现有的数据集上的异构分布的客户端数据。我们在FedChem上的研究结果表明，在与客户端的异构分子合作时，会出现重大的学习挑战。然后，我们提出了一种方法来缓解这个问题，即联邦学习的实例重新加权（FLIT（+））。FLIT（+）可以通过提高不确定样本的性能来调整异构客户端的本地训练。在我们的新基准FedChem上进行的综合实验验证了该方法相对于其他联邦学习方案的优势。FedChem应该实现一种新型的合作，以改善化学中的人工智能，减轻对有价值的化学数据的担忧。
2022-05-09 cs.LG physics.chem-ph
Composite federated learning with heterogeneous data
KTH Royal Institute of Technology（瑞典皇家理工学院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）
本文提出一种解决异构数据下复合联邦学习问题的新算法，通过解耦近端算子与通信处理非光滑正则化，并解决客户端漂移，实现线性收敛，实验优于现有方法。
2023-09-04 cs.DC cs.LG math.OC
Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients
POSTECH（浦项科技大学）
针对联邦微调LLMs时聚合不一致及低秩异构数据下性能下降的问题，提出LoRA-A$^2$方法，通过交替冻结和自适应秩选择提升鲁棒性与通信效率，实现参数显著减少且不损性能。
2025-05-30 cs.AI cs.DC cs.LG
Towards a Federated Learning Framework for Heterogeneous Devices of Internet of Things
University of California, Davis（加利福尼亚大学戴维斯分校）
联邦学习（FL）由于其将数据保存在本地设备上的能力而在工业界和研究界受到了极大的关注。为了聚合局部模型的梯度以训练全局模型，现有的工作要求全局模型和局部模型相同。然而，物联网（IoT）设备在计算速度和板载存储器方面本质上是多样化的。在本文中，我们提出了一个FL框架，针对物联网设备的异构性。具体地，从全局模型压缩局部模型，并且使用压缩的局部模型的梯度来更新全局模型。我们进行了初步的实验，以说明我们的框架可以促进物联网感知FL的设计。
2021-05-31 cs.DC cs.LG cs.NI
Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes
Southeast University（东南大学）
针对动态异构联邦学习中客户端数据异构、内部任务动态变化引发的灾难性遗忘与概念漂移问题，提出含多级正则化的FedMLP框架，通过原型与语义原型及三类正则化保障性能，在多种设置下达SOTA。
2023-12-15 cs.AI cs.LG
Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data
Sungkyunkwan University（成均馆大学）
本文提出FedCKA框架，通过CKA识别神经网络重要层并施加逐层正则化，在异构数据联邦学习中超越现有方法，同时提升效率与可扩展性。
2021-12-01 cs.AI cs.DC cs.LG
Personalized Federated Hierarchical Gaussian Processes for Privacy-Preserving Modeling of Heterogeneous Distributed Systems
Arizona State University（亚利桑那州立大学）
提出个性化联邦分层高斯过程，通过共享全局组件与局部残差分解实现异构客户端隐私保护的概率建模，在故障分类和空气质量建模中取得高效结果。
2026-09-18 cs.LG
Continual Horizontal Federated Learning for Heterogeneous Data
NEC Corporation（日本电气股份有限公司）
联邦学习是一种很有前途的机器学习技术，它使多个客户端能够协作构建模型，而无需向彼此透露原始数据。在各种类型的联邦学习方法中，水平联邦学习（HFL）是研究得最好的类别，并处理同质特征空间。然而，在异构特征空间的情况下，HFL仅使用共同的特征，而不使用客户端特定的特征。在本文中，我们提出了一种HFL方法，使用神经网络命名为连续水平联邦学习（CHFL），一个持续学习的方法来提高HFL的性能，利用每个客户端的独特功能。CHFL将网络分为两列，分别对应于共同特征和独特特征。它通过vanilla HFL使用共同特征来联合训练第一列，并通过使用独特特征并通过横向连接利用第一列的知识来本地训练第二列，而不会干扰其联合训练。我们在各种真实世界数据集上进行实验，并表明CHFL大大优于仅使用共同特征的vanilla HFL和使用每个特征的所有特征的本地学习。客户有。
2022-11-14 cs.LG
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University（普渡大学）；NC State University（北卡罗来纳州立大学）
机器学习（ML）任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术，通过利用收集数据的节点的处理能力，在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战，这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题，我们提倡一种称为雾学习的新学习范式，它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习：网络、异构性和邻近性。它认为是一个多层混合学习框架，包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构，通过设备到设备（D2 D）通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Northeastern University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
针对联邦学习中异构非平稳的客户端不可用问题，提出仅需O(1)额外开销、通过隐式gossip扩散更新的FedAPM算法，可在非凸目标下实现线性加速并经真实数据实验验证。
2024-10-31 cs.DC cs.LG math.OC
FedADP: Unified Model Aggregation for Federated Learning with Heterogeneous Model Architectures
School of Software, Shandong University（软件学院，山东大学）；Shandong Research Institute of Industrial Technology（山东省工业技术研究院）
针对联邦学习中客户端模型架构与计算资源异构导致的聚合难题，提出 FedADP 框架，通过聚合时动态调整模型架构实现高效协作，较 FlexiFed 准确率最高提升 23.30%。
2025-05-10 cs.LG
Convergence Analysis of Sequential Federated Learning on Heterogeneous Data
National Engineering Research Center for Mobile Network Technologies（国家移动网络技术工程研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文为顺序联邦学习在异构数据上建立收敛性保证，证明其优于并行联邦学习，并通过实验验证了SFL在极度异构数据上的优势。
2026-09-15 cs.LG
SFedHIFI: Fire Rate-Based Heterogeneous Information Fusion for Spiking Federated Learning
本文提出SFedHIFI框架，通过基于发火率的异构信息融合实现异构联邦学习，提升资源受限客户端的模型部署效率和性能。
2026-03-16 cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich（慕尼黑工业大学）；Arizona State University（亚利桑那州立大学）
本文提出CyBeR-0，一种具有拜占庭弹性的联邦零阶优化方法，通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性，显著降低上下行通信成本与内存需求，并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
