FedHQL: Federated Heterogeneous Q-Learning
National University of Singapore（新加坡国立大学）；ETH Zurich（苏黎世联邦理工学院）；Institute for Infocomm Research（资讯通信研究院）
联邦强化学习（FedRL）鼓励分布式代理从彼此的经验中集体学习，以提高其性能，而无需交换原始轨迹。FedRL上的现有工作假设所有参与的代理都是同质的，这要求所有代理共享相同的策略参数化（例如，网络架构和训练配置）。然而，在现实世界的应用程序中，代理往往是在不同意的架构和参数，也可能是因为不同的计算预算。由于在实际应用中没有给出同构性，本文引入了具有异构和黑盒代理的联邦强化学习（FedRL-HALE）的问题设置。我们提出了这种新设置带来的独特挑战，并提出了联邦异构Q-Learning（FedHQL）算法，主要解决这些挑战。我们实证证明了FedHQL在提高异构代理的样本效率与不同的政策参数化使用标准RL任务的功效。
2023-01-26 cs.DC cs.LG
LINDT: Tackling Negative Federated Learning with Local Adaptation
College of Computer Science and Technology（计算机科学与技术学院）；Zhejiang University（浙江大学）
联邦学习（Federated Learning，FL）是一种很有前途的分布式学习范式，它允许多个数据所有者（也称为客户端）在不公开每个客户端数据的情况下协作学习共享模型。然而，在我们称之为消极联邦学习（NFL）的状态下，FL可能无法正常进行。本文讨论了负联邦学习的问题。本文对NFL进行了严格的定义，并分析了其产生的根本原因。我们提出了一个新的框架，称为LINDT处理NFL在运行时。该框架可以与任何基于神经网络的FL系统一起用于NFL检测和恢复。具体来说，我们引入了一个从服务器检测NFL的指标。在NFL恢复时，框架通过学习逐层交互双模型来适应每个客户端的本地数据上的联邦模型。实验结果表明，该方法可以显着提高FL的本地数据在NFL的各种场景的性能。
2020-11-23 cs.DC cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出APPFL框架，利用Globus Compute和AWS实现跨云与超算的安全联邦学习，并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
Bitwidth Heterogeneous Federated Learning with Progressive Weight Dequantization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
在实际的联邦学习场景中，参与设备可以根据设计具有用于计算和存储器存储的不同位宽。然而，尽管在设备异构联邦学习场景中取得了进展，但硬件中位宽规范的异构性大多被忽视了。我们介绍了一个实用的FL方案，跨参与设备的位宽异构，被称为位宽异构联邦学习（BHFL）。BHFL带来了一个新的挑战，不同位宽的模型参数的聚合可能会导致严重的性能退化，特别是对于高位宽的模型。为了解决这个问题，我们提出了ProWD框架，它在中央服务器上有一个可训练的权重去量化器，可以逐步将低位宽权重重建为更高的位宽权重，最后重建为全精度权重。ProWD进一步选择性地聚合模型参数以最大化跨比特异构权重的兼容性。我们验证ProWD对基准数据集上的相关FL基线，使用不同的位宽的客户端。我们的ProWD在很大程度上优于基线FL算法，以及天真的方法（如分组平均）下提出的BHFL的情况。
2023-01-11 cs.DC cs.LG
Federated Unsupervised Domain Adaptation for Face Recognition
S-Lab, NTU（新加坡南洋理工大学S实验室）；NTU（新加坡南洋理工大学）；SenseTime Research（商汤科技研究院）
在给定源域中的标记数据的情况下，无监督的领域自适应已被广泛地用于对目标域中的未标记数据（其数据分布是不同的）进行模型泛化。然而，现有的工作是不适用于人脸识别的隐私约束下，因为它们需要域之间的敏感的人脸图像共享。为了解决这个问题，我们提出了联邦无监督领域自适应的人脸识别，FedFR。FedFR联合优化了基于聚类的领域自适应和联邦学习，以提高目标领域的性能。具体来说，对于目标域中的未标记数据，我们增强了距离约束的聚类算法，以提高预测伪标签的质量。此外，我们提出了一种新的域约束损失（DCL）规范源域训练联邦学习。在一个新构建的基准上进行的大量实验表明，在不同的评估指标上，FedFR在目标域上的性能优于基线和经典方法3%到14%。
2022-04-09 cs.AI cs.CV cs.DC
FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization
Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）
最近的联邦学习（FL）范例的一个基本假设是，所有本地模型通常共享相同的网络架构和大小，这对于具有不同硬件资源的设备来说是不切实际的。一个可扩展的联邦学习框架应该解决客户端具有不同计算能力和通信能力的异构性。为此，本文提出了一种新的异构联邦模型压缩框架FedHM，将异构的低秩模型分发给客户端，然后聚合成一个满秩模型。我们的解决方案能够训练具有不同计算复杂性的异构模型，并将它们聚合到一个全局模型中。此外，FedHM显着降低了通信成本，通过使用低秩模型。大量的实验结果表明，FedHM是优越的性能和不同大小的模型的鲁棒性，与国家的最先进的异构FL方法在各种FL设置。此外，FL的异构设备的收敛保证进行了理论分析。
2022-05-26 cs.AI cs.DC cs.LG
PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization
Peking University（北京大学）
联邦学习（FL）已经成为一种流行的分布式机器学习范例，具有改进的隐私性。在学习之后，应该针对每个不同的客户机进一步个性化所得到的联邦模型。虽然已经提出了几种方法来实现个性化，但它们通常限于单个本地设备，这可能导致偏差或过拟合，因为单个设备中的数据非常有限。在本文中，我们试图实现超越单一客户端的个性化。其动机是，在FL期间，可能存在许多具有相似数据分布的客户端，因此，如果这些相似的客户端可以相互协作，则可以显著提高个性化性能。受此启发，本文引入了一个新的概念，称为联邦自适应，旨在以联邦的方式适应训练模型，以实现更好的个性化效果。然而，联邦自适应的关键挑战是，由于隐私问题，我们在自适应期间不能从客户端外包任何原始数据。在本文中，我们提出了PFA，一个框架来实现隐私保护联邦适应。PFA利用神经网络的稀疏性来生成隐私保护表示，并使用它们来有效地识别具有相似数据分布的客户端。根据分组结果，PFA对联邦模型进行分组FL过程以完成自适应。为了进行评估，我们手动构建了几个实际的FL数据集的基础上，公共数据集，以模拟类不平衡和背景差异的条件。在这些数据集和流行的模型架构上进行的大量实验证明了PFA的有效性，在确保用户隐私的同时，大大优于其他最先进的方法。我们将在https://github.com/lebyni/PFA上发布我们的代码。
2021-03-08 cs.AI cs.DC cs.LG
Federated Action Recognition on Heterogeneous Embedded Devices
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Purdue University（普渡大学）
联邦学习允许大量设备在不共享数据的情况下联合学习模型。在这项工作中，我们使有限的计算能力的客户端执行动作识别，计算繁重的任务。我们首先在中央服务器上通过对大型数据集进行知识蒸馏来执行模型压缩。这允许模型学习复杂的特征，并作为模型微调的初始化。需要进行微调，因为较小数据集中的有限数据不足以让动作识别模型学习复杂的时空特征。由于目前的客户端往往是异构的计算资源，我们使用异步联邦优化，我们进一步展示了收敛界。我们比较我们的方法，两个基准方法：微调在中央服务器（无客户端）和微调使用（异构）客户端使用同步联邦平均。我们在异构嵌入式设备的测试平台上以经验证明，我们可以以与上述两个基线相当的准确度执行动作识别，而我们的异步学习策略相对于同步学习减少了40%的训练时间。
2021-07-18 cs.CV cs.DC
An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
Great Bay University（大湾大学）；Peking University（北京大学）
针对联邦学习在大规模深度神经网络应用中存在的客户端漂移及高通信、计算、内存成本问题，提出高效子空间算法FedSub，通过子空间投影和低维对偶变量解决问题，经收敛分析和实验验证了其高效性。
2026-09-29 cs.DC cs.LG
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction
The George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
本文针对跨设备联邦学习中低端客户端因资源受限被排除的问题，提出统一异构联邦学习框架并首次给出一般收敛性分析，同时引入最小覆盖指数和模型缩减噪声，以整体提升异构联邦学习效率。
2023-10-26 cs.DC cs.LG
FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
University of Maryland（马里兰大学）；Rutgers University（罗格斯大学）；Sony Reasearch（索尼研究院）
针对联邦微调中 LoRA 适配器聚合数学不正确且难支持异构配置的问题，本文提出 FLORA，通过基于堆叠的无噪声聚合实现异构 LoRA 联邦微调，并在同构与异构场景中超越现有方法。
2024-09-09 cs.DC cs.LG
Quantization Robust Federated Learning for Efficient Inference on Heterogeneous Devices
Australian National University（澳大利亚国立大学）；Qualcomm AI Research（高通人工智能研究院）
联邦学习（FL）是一种机器学习范式，用于从设备上的分散数据中分布式学习机器学习模型。尽管标准的联邦优化方法取得了成功，例如FL中的联邦平均（Federated Averaging，FedAvg），但文献中并未充分考虑设备上学习的能量需求和硬件引起的约束。具体来说，设备上学习的一个基本要求是，根据联邦中的能源需求和异构硬件设计，将训练模型量化为各种位宽。在这项工作中，我们介绍了联邦平均算法的多种变体，训练神经网络对量化具有鲁棒性。这样的网络可以被量化为各种位宽，仅在全精度模型精度上有有限的降低。我们对标准FL基准进行了广泛的实验，以评估我们提出的FedAvg变体的量化鲁棒性，并为我们的量化感知变体FL提供收敛性分析。我们的结果表明，整合量化鲁棒性导致FL模型在量化设备上的推断过程中对不同的位宽具有更强的鲁棒性。
2022-06-22 cs.DC cs.LG
Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本文提出HetLoRA方法，通过允许设备间异构LoRA秩并结合本地秩自剪枝与服务器稀疏加权聚合，解决设备端基础模型联邦微调中的数据与系统异构性问题，提升收敛速度与性能。
2024-02-20 cs.DC cs.LG
Completely Heterogeneous Federated Learning
Shanghai Jiao Tong University（上海交通大学）
联邦学习面临着三大困难：跨领域、异构模型和非独立同分布。为场景添加标签。现有的FL方法无法同时处理上述三个约束，并且需要降低隐私保护的级别（例如，可以共享模型体系结构和数据类别分布）。在这项工作中，我们提出了具有挑战性的“完全异构”的情况下，FL，这是指每个客户端不会暴露任何私人信息，包括特征空间，模型架构，标签分布。然后，我们设计了一个基于参数解耦和无数据知识蒸馏的FL框架来解决这个问题。实验表明，我们提出的方法在完全异构的情况下，其他方法失败，实现了高性能。
2022-10-28 cs.CR cs.DC cs.LG
FedMOA: Federated GRPO for Personalized Reasoning LLMs under Heterogeneous Rewards
University of Maryland, College Park（马里兰大学 College Park 分校）；Cisco Research（思科研究）
FedMOA是一种联邦GRPO框架，用于在异质奖励下实现个性化推理大语言模型的多目标对齐，通过自适应加权机制和任务感知聚合策略提升性能和个性化效果。
2026-01-31 cs.DC cs.LG
Adaptive Heterogeneous Compression for Resource-Efficient Federated Knowledge Distillation
School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）；School of Communication and Information Engineering, Chongqing University of Posts and Telecommunications（重庆邮电大学通信与信息工程学院）
针对联邦知识蒸馏中梯度传输开销高、客户端资源与模型特性异质性未被充分利用的问题，提出ASCEND算法，通过多臂老虎机自适应选择压缩策略，在保持精度的同时降低通信与训练时间。
2026-08-18 cs.DC cs.LG
FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update
Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）
联邦学习旨在保护用户的隐私，同时执行来自不同参与者的数据分析。然而，由于各种计算能力和通信瓶颈，在异构系统上保证训练效率具有挑战性。在这项工作中，我们提出FedSkel，通过只更新模型的基本部分（称为骨架网络），在边缘设备上实现计算效率和通信效率高的联邦学习。FedSkel在具有不平衡数据集的真实边缘设备上进行评估。实验结果表明，该算法在保证训练精度的前提下，可使CONV层的反向传播速度提高到5.52 $\times$，整个训练过程的速度提高到1.82 $\times$，通信开销降低了64.8%.
2021-08-20 cs.AI cs.DC cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）；Sony AI（索尼人工智能）；North Carolina State University（北卡罗来纳州立大学）
本文提出pFedHR框架，通过异构模型重组将个性化建模为服务器端模型匹配优化问题，自动生成多样化候选模型，在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning
The University of Hong Kong（香港大学）
联邦学习（FL）能够管理边缘设备以协作地训练模型，同时保持训练数据本地和私有。FL中的一个常见假设是，所有边缘设备在训练中共享相同的机器学习模型，例如，相同的神经网络架构。然而，不同设备的计算和存储能力可能不同。此外，减少通信开销可以提高训练效率，但它仍然是一个具有挑战性的问题，在FL。在本文中，我们提出了一种新的FL方法，称为FedHe，灵感来自知识蒸馏，它可以训练异构模型，并支持异步训练过程，显着减少通信开销。我们的分析和实验结果表明，我们提出的方法的性能优于国家的最先进的算法在通信开销和模型的准确性。
2021-10-19 cs.DC cs.LG
Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients
POSTECH（浦项科技大学）
针对联邦微调LLMs时聚合不一致及低秩异构数据下性能下降的问题，提出LoRA-A$^2$方法，通过交替冻结和自适应秩选择提升鲁棒性与通信效率，实现参数显著减少且不损性能。
2025-05-30 cs.AI cs.DC cs.LG
Federated Self-supervised Learning for Heterogeneous Clients
University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习由于其隐私性和计算性的优点而成为一种重要的学习范式。随着该领域的发展，仍然需要解决的两个关键挑战是：（1）系统异构性-每个客户端上存在的计算和/或数据资源的可变性，以及（2）在某些联合设置中缺乏标记数据。最近的一些事态发展试图独立地克服这些挑战。在这项工作中，我们提出了一个统一的和系统的框架，\emph{Heterogeneous Self-supervised Federated Learning}（异质SSFL），使自监督学习与联邦异构客户端。所提出的框架允许协作表示学习在所有的客户端，而不施加架构约束或要求存在的标记数据。Hetero-SSFL的核心思想是让每个客户端训练其独特的自监督模型，并通过在公共数据集上对齐低维表示来实现跨客户端的联合学习。整个训练过程可以被视为自我和同行监督，因为本地训练和对齐过程都不需要存在任何标记数据。与传统的自监督学习一样，所获得的客户端模型与任务无关，可以用于不同的终端任务。我们提供了一个收敛性的保证，所提出的框架，在异构环境中的非凸目标，也经验证明，我们提出的方法优于最先进的方法的显着利润率。
2022-05-31 cs.DC cs.LG
CF-LoRA: Decoupled Factor Aggregation and Adaptation-Aware Client Clustering for Federated LoRA Fine-Tuning
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence（人工智能学院）；School of Electronic Science and Engineering（电子科学与工程学院）；Nanjing University（南京大学）
CF-LoRA通过解耦LoRA因子聚合与自适应感知客户端聚类，解决联邦LoRA微调中异构数据下的结构聚合和统计协作不匹配，在语言和视觉任务上取得最高平均准确率且通信高效。
2026-09-30 cs.AI cs.DC
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning
George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
联邦学习（FL）中的最大挑战之一是客户端设备通常具有用于本地更新的截然不同的计算和通信资源。为此，最近的研究工作集中在训练通过修剪共享的全局模型获得的异构局部模型。尽管取得了经验上的成功，但关于趋同的理论保证仍然是一个悬而未决的问题。在本文中，我们提出了一个统一的框架异构FL算法与{ \em arbitrary}自适应在线模型修剪，并提供了一般的收敛性分析。特别是，我们证明了在某些充分条件下，对于IID和非IID数据，这些算法对于一般光滑代价函数收敛到标准FL的稳定点，收敛速度为$O(\frac{1}{\sqrt{Q}})$。此外，我们阐明了影响收敛的两个关键因素：修剪引起的噪声和最小覆盖指数，倡导联合设计的局部修剪掩模有效的训练。
2022-02-09 cs.DC cs.LG
Heterogeneous Tasks Offloading in Vehicular Edge Computing: A Federated Meta Deep Reinforcement Learning Approach
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Chengdu Neusoft University（成都新soft大学）
本文提出了一种联邦元深度强化学习框架FedMAGS，用于解决车载边缘计算中异构任务卸载问题，通过图注意力网络捕捉DAG依赖关系，序列到序列策略生成结构化卸载决策，并利用联邦元学习实现跨分布式MEC服务器的快速适应。
2026-05-18 cs.DC cs.LG
Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文提出 HypeMeFed 框架，通过多出口网络与超网络权重生成结合低秩分解，在异构客户端联邦学习中提升准确率并大幅降低超网络内存与计算开销。
2024-10-03 cs.AI cs.DC cs.LG
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning
Nankai University（南开大学）；Nanyang Technological University（南洋理工大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学（UBC））
针对联邦学习中大模型微调的计算与通信成本高及模型异构问题，提出pFedLoRA框架，通过同构小型适配器实现全局-局部知识交换迭代训练，在保证性能的同时显著降低开销并证明其收敛性。
2024-02-11 cs.DC cs.LG
Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
University of Nevada, Reno（内华达大学拉斯维加斯分校）
提出Fed-pilot框架，通过背包优化选择LoRA模块子集，并采用动态补偿聚合规则，解决异构客户端内存约束下的联邦微调问题，实验证明其有效性和高效性。
2025-06-20 cs.DC cs.LG
SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks
Technical University of Munich（慕尼黑工业大学）；Technische Universität Berlin（柏林工业大学）；Northern Arizona University（北亚利桑那大学）
针对联邦LoRA中客户端秩异构导致的双线性不匹配问题，提出SeFoRA算法，引入SeFoRA-Ho秩齐次版本，理论保证收敛速率，在GLUE数据集上验证其性能优于现有最优方法。
2026-10-22 cs.DC cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
联邦学习（FL）是一种流行的分布式学习模式，它从一组参与用户中学习模型，而无需共享原始数据。FL的一个主要挑战来自异构用户，这些用户可能具有分布不同（或非iid）的数据和不同的计算资源。由于联邦用户将使用模型进行预测，他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练（AT）为集中式学习提供了一个良好的解决方案，但将其用于联合用户带来了重大挑战，因为许多用户可能只有非常有限的训练数据和紧张的计算预算，以负担数据饥饿和昂贵的AT。在本文中，我们研究了一种新的FL策略：在联邦学习过程中，将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现，现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略，并提出了一个有效的传播方法，通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是，所提出的方法被证明是授予联邦模型显着的鲁棒性，即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Michigan State University (MSU)（密歇根州立大学）
针对联邦学习中极端数据异质性导致的收敛障碍，提出FedPeWS方法，通过预热阶段让参与者学习个性化掩码并更新子网络，再切换至标准联邦优化，提升了准确率和收敛速度。
2025-04-16 cs.DC cs.LG
PracMHBench: Re-evaluating Model-Heterogeneous Federated Learning Based on Practical Edge Device Constraints
School of Computer Science , Beijing University of Posts and Telecommunications , Beijing, China（计算机学院，北京邮电大学，北京，中国）
针对现有模型异构联邦学习算法缺乏实际边缘设备约束下的评估，构建平台PracMHBench，分类测试多种算法，揭示其适用性与异构模式。
2025-09-04 cs.DC cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory（阿贡国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMWare Research（威睿研究院）；The University of Chicago（芝加哥大学）
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题，提出带算力感知调度器的半异步算法FedCompass，兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
在联邦优化中，客户端的本地数据集和计算速度的异构性导致每个客户端在每个通信回合中执行的本地更新的数量变化很大。这种模型的朴素加权聚合导致目标不一致，即全局模型收敛到不匹配目标函数的稳定点，该目标函数可以与真实目标任意不同。本文提供了一个通用的框架来分析联邦异构优化算法的收敛性。它包含了以前提出的方法，如FedAvg和FedProx，并提供了第一个原则性的理解解决方案的偏见和收敛速度放缓，由于客观的不一致性。利用这种分析的见解，我们提出了FedNova，一种归一化的平均方法，消除了客观的不一致性，同时保持快速的误差收敛。
2020-07-15 cs.DC cs.LG stat.ML
Heterogeneous Federated CubeSat System: problems, constraints and capabilities
在过去十年中，对立方体卫星及其应用提出了不同的论点。其中一些解决了无线通信（5G和6 G技术），试图实现更好的覆盖和连接特性。有些人提出了IoST（空间物联网），卫星互联网（IoSat），DSS（分布式空间系统）和FSS（联邦卫星系统）等术语。所有这些都旨在使用小型/纳米卫星作为星座/群，以提供特定的服务，共享未使用的资源，并发展卫星即服务（SaS）的概念。本文的目的是emophasize这样的网络物理系统的性能属性，建模其固有的操作限制，并在最后，评估的服务质量的优点的数字进入/离开的新的异构组成系统，又名卫星，星座。这种“白皮书”风格的工作重点是提出这种异构星座问题的定义，针对其主要功能和约束条件，并提出建模方法，这种系统的表示和评估。
2022-03-08 cs.DC cs.OH
Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
本文针对异构联邦学习中CNN与SNN模型并存带来的聚合难题，系统比较了多种联邦聚合方法，并提出CNN-SNN融合框架，在MNIST数据集上取得最佳性能，同时揭示了多模型联邦学习收敛过程中的竞争抑制现象。
2024-06-14 cs.DC cs.LG
pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning
Nankai University（南开大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tianjin University（天津大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学）
针对模型异构个性化联邦学习中的隐私、性能与成本平衡问题，提出pFedMoE方法，通过为本地异构大模型分配共享小特征提取器与本地门控网络构建混合专家，实现数据级个性化并支持模型异构。
2024-02-11 cs.DC cs.LG
Federated Learning Framework for Scalable AI in Heterogeneous HPC and Cloud Environments
本文提出一种适用于异构HPC和云环境的联邦学习框架，解决系统异构性、通信开销和资源调度问题，实现高可扩展性和容错性，适用于非独立和相同分布数据。
2025-11-22 cs.DC cs.LG
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks
Seoul National University（首尔国立大学）
个性化联邦学习旨在允许众多客户端训练个性化模型，同时以通信高效的方式参与协作训练，而无需交换私有数据。然而，许多个性化的联邦学习算法假设客户端具有相同的神经网络架构，而异构模型的算法仍然没有得到充分研究。在这项研究中，我们提出了一种新的个性化联邦学习方法称为联邦分类器平均（FedClassAvg）。用于监督学习任务的深度神经网络由特征提取器和分类器层组成。FedClassAvg聚合分类器权重作为特征空间上决策边界的协议，以便具有非独立和相同分布（非iid）数据的客户端可以了解稀缺标签。此外，局部特征表示学习被应用于稳定决策边界和提高客户端的局部特征提取能力。虽然现有的方法需要收集辅助数据或模型权重来生成副本，但FedClassAvg只需要客户端与几个完全连接的层进行通信，这是非常高效的通信。此外，FedClassAvg不需要额外的优化问题，如知识转移，这需要密集的计算开销。我们通过大量的实验评估了FedClassAvg，并证明它在异构个性化联邦学习任务上优于当前最先进的算法。
2022-10-27 cs.AI cs.DC cs.LG
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University（华东师范大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
本文提出AdaptiveFL方法，通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制，为异构AIoT设备动态分配合适的局部模型，在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
Hypernetworks for Model-Heterogeneous Personalized Federated Learning
the Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)（青岛软件研究所、计算机科学与技术学院、中国石油大学（华东））；the Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能石油与天然气工业软件重点实验室）；National University of Singapore（新加坡国立大学）
针对现有个性化联邦学习方法在模型异构场景下的局限，提出基于超网络的MH-pFedHN及集成轻量全局模型的MH-pFedHNGD框架，在保护隐私的同时实现了有竞争力的准确率与强泛化性。
2025-07-30 cs.DC cs.LG
Salvaging Federated Learning by Local Adaptation
Cornell University（康奈尔大学）
联邦学习（FL）是一种大力推广的方法，用于在敏感数据上训练ML模型，例如，用户在智能手机上输入的文本。FL是专门为培训数据而设计的，这些数据在参与者中是不平衡和非iid的。为了确保联邦模型的隐私和完整性，最新的FL方法使用差分隐私或鲁棒聚合。我们从个体参与者的\emph{local}的角度来看待外语，并问：（1）参与者是否有动机参与外语学习？(2)参与者\emph{individually}如何在不重新设计FL框架和/或不涉及其他参与者的情况下提高其本地模型的质量？首先，我们表明，在标准的任务，如下一个词的预测，许多参与者没有从FL中获益，因为联邦模型是不准确的数据比模型，他们可以训练本地自己。其次，我们表明，差分隐私和强大的聚合，使这个问题变得更糟，进一步破坏了许多参与者的准确性的联邦模型。然后，我们评估了三种技术的局部适应联邦模型：微调，多任务学习，和知识蒸馏。我们分析了每一个适用的地方，并证明所有参与者都受益于当地的适应。本地模型较差的参与者获得了比传统FL更大的准确性改进。本地模型优于联合模型\textemdash并且今天没有动机参与FL的参与者\textemdash改进较少，但足以使适应的联合模型优于其本地模型。
2022-03-03 cs.AI cs.DC cs.LG
Single-Loop Federated Actor-Critic across Heterogeneous Environments
Auburn University（奥本大学）
针对异构环境下联邦Actor-Critic算法的理论空白，提出单循环联邦Actor-Critic（SFAC）算法，证明其收敛误差与环境异构性成正比，且样本复杂度具有线性加速效果。
2024-12-19 cs.DC cs.LG cs.MA
Local-Global Knowledge Distillation in Heterogeneous Federated Learning with Non-IID Data
Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）；Google Research（谷歌研究院）
联邦学习使多个客户能够通过定期聚合客户的模型而无需传输本地数据来协作学习全局模型。然而，由于系统和数据的异构性，许多方法都存在“客户端漂移”问题，这可能会显着减缓全局模型训练的收敛速度。当客户端通过异构系统对异构数据执行本地更新时，它们的本地模型就会分散开来。为了解决这个问题，一个直观的想法是由全球教师指导本地模型训练，即，过去全局模型，其中每个客户端通过自适应知识蒸馏技术从过去全局模型学习全局知识。基于这些见解，我们提出了一种新的异构联邦学习方法，即FedGKD，它融合了来自历史全局模型的知识进行局部训练，以减轻“客户端漂移”问题。在本文中，我们通过对各种CV/NLP数据集（即，CIFAR-10/100，Tiny-ImageNet，AG News，SST 5）和不同的异构设置。所提出的方法是保证在常见的假设条件下收敛，并实现了优越的经验精度在更少的通信运行比五个国家的最先进的方法。
2021-09-13 cs.AI cs.DC cs.LG
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University（普渡大学）；NC State University（北卡罗来纳州立大学）
机器学习（ML）任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术，通过利用收集数据的节点的处理能力，在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战，这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题，我们提倡一种称为雾学习的新学习范式，它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习：网络、异构性和邻近性。它认为是一个多层混合学习框架，包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构，通过设备到设备（D2 D）通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich（慕尼黑工业大学）；Arizona State University（亚利桑那州立大学）
本文提出CyBeR-0，一种具有拜占庭弹性的联邦零阶优化方法，通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性，显著降低上下行通信成本与内存需求，并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
Composite federated learning with heterogeneous data
KTH Royal Institute of Technology（瑞典皇家理工学院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）
本文提出一种解决异构数据下复合联邦学习问题的新算法，通过解耦近端算子与通信处理非光滑正则化，并解决客户端漂移，实现线性收敛，实验优于现有方法。
2023-09-04 cs.DC cs.LG math.OC
FedFusion: Federated Learning with Diversity- and Cluster-Aware Encoders for Robust Adaptation under Label Scarcity
Department of Computer Science University of the Western Cape（计算机科学系乌得勒支大学）；Department of Computer Science Missouri University of Science and Technology（计算机科学系密苏里科技大学）
FedFusion提出多样性与聚类感知编码器结合相似度加权分类器耦合的联邦迁移学习框架，通过伪标签引导和节俭标注流程，在标签稀缺与异构数据下实现高精度、鲁棒且公平的联邦学习。
2025-09-23 cs.AI cs.DC cs.LG
Optimal Task Assignment to Heterogeneous Federated Learning Devices
Univ. Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de Recherche en Informatique (LRI)（计算机科学与信息学实验室（LRI））；Orsay（奥赛）
联邦学习为训练机器学习模型提供了新的机会，同时尊重数据隐私。该技术基于异构设备，这些设备一起工作以迭代地训练模型，而从不共享它们自己的数据。鉴于此训练的同步性质，联邦学习系统的性能由最慢的设备（也称为落后者）决定。在本文中，我们研究了通过控制每个设备用于训练的数据量来最小化联邦学习轮次的持续时间的问题。我们制定这个问题作为一个最大完工时间最小化问题，具有相同的，独立的，原子的任务，必须分配到异构资源的非递减成本函数，同时尊重每个资源的任务的下限和上限。基于这个公式，我们提出了一个多项式时间算法命名为OLAR，并证明它提供了最优的时间表。我们评估OLAR在一个广泛的实验评估使用模拟，包括比较其他算法的最先进的和新的扩展。我们的研究结果表明，OLAR提供了一个小的执行时间的最佳解决方案。他们还表明，每个资源的任务的下限和上限的存在消除了次优算法在算法执行时间方面可以提供的任何好处。
2020-10-01 cs.AI cs.DC cs.DS
Towards a Federated Learning Framework for Heterogeneous Devices of Internet of Things
University of California, Davis（加利福尼亚大学戴维斯分校）
联邦学习（FL）由于其将数据保存在本地设备上的能力而在工业界和研究界受到了极大的关注。为了聚合局部模型的梯度以训练全局模型，现有的工作要求全局模型和局部模型相同。然而，物联网（IoT）设备在计算速度和板载存储器方面本质上是多样化的。在本文中，我们提出了一个FL框架，针对物联网设备的异构性。具体地，从全局模型压缩局部模型，并且使用压缩的局部模型的梯度来更新全局模型。我们进行了初步的实验，以说明我们的框架可以促进物联网感知FL的设计。
2021-05-31 cs.DC cs.LG cs.NI
Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data
Sungkyunkwan University（成均馆大学）
本文提出FedCKA框架，通过CKA识别神经网络重要层并施加逐层正则化，在异构数据联邦学习中超越现有方法，同时提升效率与可扩展性。
2021-12-01 cs.AI cs.DC cs.LG
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
Faculty of Computer Science and Business Information Systems（计算机科学与商业信息系统系）；Technical University of Applied Sciences Würzburg-Schweinfurt（应用技术大学Würzburg-Schweinfurt）；Faculty of Technology（技术系）；Bielefeld University（比勒菲尔德大学）；Center for Artificial Intelligence（人工智能中心）；IAV GmbH
本文提出 FedAcross+ 框架，通过冻结骨干网络和分类器并利用领域自适应线性层处理目标域自适应，解决了 Federated Learning 中数据标注成本高、协变量偏移和资源受限下模型更新困难的问题，实现了低端设备上的高效少样本自适应。
2025-07-14 cs.CR cs.DC cs.LG
HeteroTune: Efficient Federated Learning for Large Heterogeneous Models
针对大型预训练模型在分布式环境部署中面临的客户端资源异构问题，提出HeteroTune联邦微调范式，通过DeMA架构和CMGA机制实现异构模型高效聚合与稳定训练，在LLaMA模型上实现通信开销降99.5%、内存降约50%、性能提升4.61%。
2025-08-25 cs.CL cs.CV cs.DC
Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Northeastern University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
针对联邦学习中异构非平稳的客户端不可用问题，提出仅需O(1)额外开销、通过隐式gossip扩散更新的FedAPM算法，可在非凸目标下实现线性加速并经真实数据实验验证。
2024-10-31 cs.DC cs.LG math.OC
Hierarchical Federated Learning Across Heterogeneous Cellular Networks
Imperial College London（帝国理工学院）；Sabanci University（萨班哲大学）
我们研究跨无线设备的协作机器学习（ML），每个设备都有自己的本地数据集。由于延迟、带宽和隐私限制，将这些数据集卸载到云或边缘服务器以实现强大的ML解决方案通常是不可行的。相反，我们考虑联合边缘学习（FEEL），其中设备共享模型参数的本地更新，而不是它们的数据集。我们考虑一个异构蜂窝网络（HCN），其中小小区基站（SBS）编排FL之间的移动用户（MU）在其小区内，并定期交换模型更新与宏基站（MBS）的全球共识。我们采用梯度稀疏化和周期平均，以提高这种分层联邦学习（FL）框架的通信效率。然后，我们使用CIFAR-10数据集表明，所提出的分层学习解决方案可以在不牺牲模型准确性的情况下显着减少通信延迟。
2019-09-05 cs.DC cs.IT cs.LG
