Federated Learning on Non-IID Data: A Survey
University of Surrey（萨里大学）
联邦学习是一种新兴的分布式机器学习框架，用于隐私保护。然而，在联邦学习中训练的模型通常比在标准集中式学习模式中训练的模型具有更差的性能，特别是当训练数据在本地设备上不是独立同分布（非IID）时。在本调查中，我们详细分析了非IID数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响。此外，还对联邦学习中非IID数据挑战的研究现状进行了综述，并对各种方法的优缺点进行了讨论。最后，在总结全文之前，我们提出了几个未来的研究方向。
2021-06-12 cs.DC cs.LG
Towards Fast and Accurate Federated Learning with non-IID Data for Cloud-Based IoT Applications
East China Normal University（华东师范大学）；Zaozhuang University（枣庄学院）；University of Houston（休斯顿大学）
联邦学习（Federated Learning，FL）作为一种在分散的设备数据上进行集中模型训练同时保护用户隐私的有前途的方法，在物联网（IoT）设计中越来越受欢迎。然而，当物联网设备收集的数据以非独立同分布（非IID）方式高度偏斜时，无法保证香草FL方法的准确性。虽然存在各种解决方案，试图解决FL与非IID数据的瓶颈，他们中的大多数遭受额外的不可容忍的通信开销和低模型精度。为了实现快速和准确的FL，本文提出了一种新的基于数据的设备分组方法，可以有效地减少非IID数据训练过程中权重发散的缺点。然而，由于我们的分组方法是基于从物联网设备中提取的特征图的相似性，因此可能会带来额外的隐私暴露风险。为了解决这个问题，我们提出了一个改进的版本，利用相似性信息，使用局部敏感哈希（LSH）算法，而不暴露提取的特征图。在知名基准上的综合实验结果表明，该方法不仅可以加快收敛速度，而且可以提高非IID数据的FL预测精度。
2022-01-29 cs.LG
FedOrbit: Adaptive Personalized Federated Learning for Non-IID LEO Satellite Constellations
FedOrbit针对LEO卫星星座的Non-IID数据问题，结合多类技术提升联邦学习性能，在遥感基准上较基线有显著准确率提升且误差小。
2026-08-11 cs.LG
Federated Learning with GAN-based Data Synthesis for Non-IID Clients
The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
联邦学习（FL）是近年来兴起的一种保护隐私的协作学习模式。然而，它受到客户端之间的非独立同分布（非IID）数据的影响。在本文中，我们提出了一种新的框架，命名为合成数据辅助联邦学习（SDA-FL），以解决这个非IID的挑战，通过共享合成数据。具体地，每个客户端预训练本地生成对抗网络（GAN）以生成差异私有合成数据，这些数据被上传到参数服务器（PS）以构建全局共享合成数据集。为了为合成数据集生成可信的伪标签，我们还提出了一种由PS执行的迭代伪标签机制。本地私有数据集和具有可信伪标签的合成数据集的组合导致客户端之间几乎相同的数据分布，这提高了本地模型之间的一致性，有利于全局聚合。大量的实验证明，该框架优于基线方法的大幅度在几个基准数据集下的监督和半监督设置。
2022-06-11 cs.LG
Aggregate or Not? Exploring Where to Privatize in DNN Based Federated Learning Under Different Non-IID Scenes
Nanjing University（南京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然联邦学习（FL）最近被提出用于高效的分布式训练和数据隐私保护，但它仍然遇到许多障碍。其中之一是客户端之间自然存在的统计异质性，使得本地数据分布不独立且相同地分布（即，非IID），这对模型聚合和个性化提出了挑战。对于具有深度神经网络（DNN）的FL，私有化某些层是解决非iid问题的简单而有效的解决方案。但是，我们应该私有化哪些层以促进学习过程？不同类别的非iid场景是否有偏好的私有化方式？我们能在FL过程中自动学习最合适的私有化方式吗？在本文中，我们回答了这些问题，通过大量的实验研究，几个FL基准。首先，我们给出了这些基准测试的详细统计数据，并将其分类为协变量和标签偏移非iid场景。然后，我们调查粗粒度和细粒度的网络分裂，并探讨是否首选的私有化方式有任何潜在的关系，一个非iid场景的特定类别。我们的发现令人兴奋，例如，即使在与某些自然图像不一致的标签偏移非IID场景中，私有化基本层也可以提高性能。我们还发现，这些私有化的方式可以提高莎士比亚的基准性能，我们猜测，莎士比亚可能不是一个严重的非iid现场。最后，我们提出了几种方法来自动学习通过十字绣，软注意力和硬选择聚集在哪里。我们主张提出的方法可以作为探索新颖的非iid场景私有化的初步尝试。
2021-07-26 cs.LG
UniFed: A Unified Framework for Federated Learning on Non-IID Image Features
The Chinese University of Hong Kong（香港中文大学）；The University of British Columbia（不列颠哥伦比亚大学）；Zhongnan Univeristy of Economics and Law（中南财经政法大学）；Institute for AI in Medicine (IKIM) at UK Essen（埃森大学医院医学人工智能研究所（IKIM））；Ruhr-University Bochum（波鸿鲁尔大学）；Monash University（莫纳什大学）
如何处理非iid数据是联邦学习中的一个重要课题。这个具有挑战性的问题不仅影响培训过程，而且还损害了未参加培训的客户的表现。现有的文献主要集中在任何一方，但仍然缺乏一个统一的解决方案来处理这两种类型（内部和外部）的客户端的联合方式。在这项工作中，我们提出了一个统一的框架来解决内部和外部客户的非iid问题。首先，我们建议在内部或外部客户端中使用特定于客户端的批量归一化来减轻由非iid数据引起的特征分布偏移。然后，我们提出了理论分析，以证明客户端特定的批量归一化的好处。具体来说，我们表明，我们的方法可以提高联邦训练的收敛速度，并为外部客户端提供较低的泛化误差。此外，我们使用因果推理，形成一个因果视图来解释我们的框架的优点。最后，我们对自然图像和医学图像进行了大量的实验来评估我们的方法，我们的方法达到了最先进的性能，更快的收敛速度，并表现出良好的兼容性。我们还对真实世界的医疗数据集进行了全面的分析研究，以证明其有效性。
2023-02-15 cs.LG
Stratify: Rethinking Federated Learning for Non-IID Data through Balanced Sampling
Department of Artificial Intelligence, Universiti Malaya（人工智能系，马来亚大学）
针对非IID数据下联邦学习性能下降的问题，本文提出Stratify框架，通过分层标签调度平衡类别和特征分布，结合标签感知客户端选择与高频更新，在多种数据集上实现与IID基线相当的性能并降低计算成本。
2025-04-18 cs.LG
Decentralized federated learning of deep neural networks on non-iid data
RISE Research Institutes of Sweden（瑞典RISE研究院）；Chalmers University of Technology（查尔姆斯理工大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
我们解决了在分散设置中学习个性化深度学习模型的非凸问题。更具体地说，我们研究分散的联邦学习，这是一种点对点的设置，数据分布在许多客户端之间，没有中央服务器来协调训练。在现实世界的场景中，客户端之间的数据分布通常是异构的。因此，在这项工作中，我们研究的问题是如何有效地学习一个模型在对等系统与非iid客户端数据。我们提出了一种名为基于性能的邻居选择（PENS）的方法，其中具有相似数据分布的客户端通过评估彼此数据的训练损失来检测彼此并进行合作，以学习适合本地数据分布的模型。我们在基准数据集上的实验表明，与强基线相比，我们所提出的方法能够实现更高的精度。
2021-07-20 cs.LG
FedPrism: Adaptive Personalized Federated Learning under Non-IID Data
IISER Bhopal（印度比哈尔州IISER布帕尔）
FedPrism通过Prism分解和双流设计，在非独立同分布数据下实现适应性个性化联邦学习，提升模型准确率与泛化能力。
2026-03-10 cs.LG
DPP-based Client Selection for Federated Learning with Non-IID Data
Zhejiang University（浙江大学）；Sun Yat-sen University（中山大学）；Singapore University of Technology and Design（新加坡科技设计大学）
针对联邦学习的数据异构性问题，提出了一种客户端选择方法。具体来说，我们首先分析CS在FL中的效果，并表明FL训练可以通过在每一轮训练中充分选择参与者以使训练数据集多样化来加速。在此基础上，我们利用数据分析和决定点过程（DPP）采样技术，开发了一个算法称为联邦学习与基于DPP的参与者选择（FL-DP $^3$ S）。该算法有效地使参与者的数据集在每一轮训练中多样化，同时保护他们的数据隐私。我们进行了广泛的实验，以检查我们所提出的方法的有效性。结果表明，我们的计划获得了更快的收敛速度，以及一个较小的通信开销比几个基线。
2023-03-30 cs.LG
ProFed: a Benchmark for Proximity-based non-IID Federated Learning
University of Bologna（博洛尼亚大学）
ProFed是一个模拟跨区域不同程度数据偏斜的联邦学习基准，整合多种偏斜方法于四个标准数据集，为算法评估提供标准化框架。
2025-03-26 cs.LG
FedVCK: Non-IID Robust and Communication-Efficient Federated Learning via Valuable Condensed Knowledge for Medical Image Analysis
Peking University（北京大学）；The University of Queensland（昆士兰大学）
本文提出FedVCK联邦学习方法，通过在客户端浓缩并选择模型未吸收的高价值知识，结合服务器端关系监督对比学习，在有限通信预算下有效解决医疗图像分析中的non-IID问题并提升性能。
2024-12-24 cs.LG
Semi-Supervised Federated Learning with non-IID Data: Algorithm and System Design
Heilongjiang University（黑龙江大学）；Dalian Minzu University（大连民族大学）；Nanyang Technological University（南洋理工大学）；WeBank Co. Ltd.（微众银行）
联邦学习（FL）允许边缘设备（或客户端）在本地保存数据，同时训练共享的高质量全局模型。然而，当前的研究通常基于本地客户端的训练数据具有地面实况的假设。此外，FL面临着统计异质性的挑战，即，客户端的本地训练数据的分布是非独立同分布的（非IID）。在本文中，我们提出了一个强大的半监督FL系统的设计，该系统的目的是解决数据的可用性和非IID在FL的问题。特别是，本文重点研究的标签在服务器上的情况下，只有有限数量的标记的数据在服务器上，只有未标记的数据在客户端上。在我们的系统设计中，我们提出了一种新的方法来解决这些问题，我们称之为联邦混合（FedMix）。FedMix改进了FL和半监督学习方法的朴素组合，并设计了用于标记、未标记数据和全局模型的分离学习的参数分解策略。为了缓解非IID问题，我们提出了一种新的聚合规则的基础上的客户端的参与训练的频率，即FedFreq聚合算法，它可以调整相应的局部模型的权重，根据这个频率。在CIFAR-10数据集上进行的广泛评估表明，我们提出的方法的性能显着优于目前的基线。值得注意的是，我们的系统对不同的非IID级别的客户端数据都很健壮。
2021-10-26 cs.LG
Precision-Weighted Federated Learning
Concordia University（康考迪亚大学）；Imagia Cybernetics Inc.（Imagia控制论公司）
使用联合平均算法的联邦学习对于依赖协作学习的大规模应用显示出巨大的优势，特别是当训练数据由于隐私约束而不平衡或不可访问时。我们假设，联邦平均低估了全部程度的异质性的数据进行聚合时。我们提出了精确加权的联邦学习一种新的算法，该算法在计算在联邦学习设置中训练的模型的参数的加权平均值时考虑了随机梯度的方差。通过精确加权联邦学习，我们提供了一种替代的平均方案，当数据的组成具有很大的特征多样性时，该方案可以利用数据的异质性。我们的方法使用标准图像分类数据集进行评估，使用两种不同的数据划分策略（IID/非IID）来衡量我们的方法在资源受限环境中的性能和速度，例如移动和物联网设备。我们得到了一个很好的平衡之间的计算效率和收敛速度与精度加权联邦学习。我们的性能评估显示，在非IID设置中，MNIST的预测效果好9%，Fashion-MNIST好18%，CIFAR-10好5%。进一步的可靠性评估批准的稳定性，在我们的方法达到99%的可靠性指标与IID分区和96%的非IID分区。此外，我们在Fashion-MNIST上获得了20倍的加速，只有10个客户端，而在每个通信回合有100个客户端同时参与聚合的情况下，加速高达37倍。结果表明，精确加权联邦学习是一种有效的和更快的方法来聚合私人数据，特别是在数据高度异构的领域。
2021-07-20 cs.LG
Non-IID data and Continual Learning processes in Federated Learning: A long road ahead
Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）；Universidade da Coruña（拉科鲁尼亚大学）
联邦学习是一种新颖的框架，它允许多个设备或机构协同训练机器学习模型，同时保持其数据的私密性。这种分散的方法很容易受到不同实体之间和随着时间推移的数据统计异质性的影响，这可能导致缺乏收敛性。为了避免这些问题，在过去几年中提出了不同的方法。然而，数据可能在许多不同的方面是异构的，并且当前的提案并不总是确定他们正在考虑的异构性的类型。在这项工作中，我们正式分类数据的统计异质性和审查最显着的学习策略，能够面对它。同时，我们介绍了其他机器学习框架，如持续学习，也处理数据的异质性，可以很容易地适应联邦学习设置的方法。
2021-11-26 cs.LG
FedBN: Federated Learning on Non-IID Features via Local Batch Normalization
Yale University（耶鲁大学）；Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；Iowa State University（爱荷华州立大学）；Monash University（蒙纳士大学）
新兴的联邦学习（FL）范式致力于在网络边缘实现深度模型的协作训练，而无需集中聚合原始数据，从而提高数据隐私。在大多数情况下，本地客户端之间独立且相同分布的样本的假设不适用于联邦学习设置。在此设置下，神经网络训练性能可能会根据数据分布而显著变化，甚至损害训练收敛。以前的大部分工作都集中在标签分布或客户端转移的差异上。与这些设置不同，我们解决了FL的一个重要问题，例如，医学成像中的不同扫描仪/传感器、自动驾驶中的不同场景分布（高速公路与城市），其中本地客户端存储与其他客户端相比具有不同分布的示例，我们将其表示为特征移位非IID。在这项工作中，我们提出了一种有效的方法，使用本地批量归一化，以减轻平均模型之前的特征偏移。由此产生的方案，称为FedBN，优于经典的FedAvg，以及国家的最先进的非iid数据（FedProx）在我们广泛的实验。这些实证结果得到了收敛分析的支持，该分析表明，在简化的设置中，FedBN具有比FedAvg更快的收敛速度。代码可在https://github.com/med-air/FedBN上获得。
2021-05-11 cs.LG
FedCure: Mitigating Participation Bias in Semi-Asynchronous Federated Learning with Non-IID Data
针对半异步联邦学习（SAFL）在云-边-端层级中因非IID数据和分层架构加剧的参与偏差问题，提出FedCure框架，通过联盟构建、参与感知调度及资源分配优化，有效提升准确率与效率。
2025-11-13 cs.LG
Analyzing the Robustness of Decentralized Horizontal and Vertical Federated Learning Architectures in a Non-IID Scenario
University of Murcia（穆尔西亚大学）；University of Zurich（苏黎世大学）；armasuisse Science & Technology（瑞士联邦国防采购局科技部门）
联邦学习（FL）允许参与者协作训练机器和深度学习模型，同时保护数据隐私。然而，FL范式仍然存在影响其可信度的缺点，因为恶意参与者可以对训练过程发起对抗攻击。相关工作研究了水平FL场景在不同攻击下的鲁棒性。然而，缺乏评估分散式垂直FL的鲁棒性并将其与受对抗攻击影响的水平FL架构进行比较的工作。因此，这项工作提出了三个分散的FL架构，一个用于水平场景，两个用于垂直场景，即HoriChain，VertiChain和VertiComb。这些架构提供了不同的神经网络和适用于水平和垂直场景的训练协议。然后，部署了一个分散的，隐私保护和联邦用例，使用非IID数据对手写数字进行分类，以评估这三种架构的性能。最后，通过一组实验，计算并比较了基于图像水印的数据投毒和梯度中毒对抗攻击对所提算法的鲁棒性。实验表明，尽管这两种攻击的特定配置可能会破坏体系结构的分类性能，但HoriChain是最强大的一种。
2022-10-20 cs.LG
Accurate and Fast Federated Learning via IID and Communication-Aware Grouping
Korea Advanced Institute of Science and Technology（韩国科学技术院）
联邦学习已经成为协作机器学习的一种新范式;然而，它也面临着一些挑战，例如非独立同分布（IID）数据和高通信成本。为此，我们提出了一种新的框架，IID和通信感知组联邦学习，同时最大限度地提高准确性和通信速度分组节点的基础上的数据分布和物理位置的节点。此外，我们提供了一个正式的收敛性分析和一个有效的优化算法称为FedAvg-IC。实验结果表明，与现有算法相比，FedAvg-IC测试精度提高了22.2%，同时通信时间缩短了12%。
2020-12-09 cs.DC cs.LG
Federated PAC-Bayesian Learning on Non-IID data
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua-Toyota Joint Research Institute（清华-丰田联合研究院）；Tsinghua University（清华大学）；Asiainfo Technologies (China) Inc.（亚信科技（中国）有限公司）
针对联邦学习中非独立同分布数据的挑战，提出首个非空联邦PAC贝叶斯界，采用客户端独特先验与可变聚合权重，并设计目标函数和基于Gibbs的优化算法，在真实数据集上验证了有效性。
2023-09-13 cs.DC cs.LG
FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under Non-IID Data
Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Shandong Computer Science Center（山东省计算中心）；Guizhou University（贵州大学）；Zhejiang University（浙江大学）
联邦学习是一种分布式学习，允许每个客户端将原始数据保存在本地，只将本地模型的参数上传到服务器。尽管联邦学习可以解决数据孤岛问题，但在实际应用中对异构数据进行训练仍然具有挑战性。在本文中，我们提出了FedSiam-DA，一种新的双聚合对比联邦学习方法，个性化的本地和全局模型，在各种设置的数据异构性。首先，FedSiam-DA基于连体网络中对比学习的思想，在局部训练时将局部和全局模型视为连体网络的不同分支，通过不断改变模型相似度来控制模型的更新方向，实现局部模型的个性化。其次，FedSiam-DA为每个局部模型引入了基于模型相似度的动态权重，并采用双聚合机制进一步提高了全局模型的泛化能力。此外，我们提供了大量的基准数据集上的实验，结果表明，FedSiam-DA实现优于以往的FL方法在异构数据集上。
2022-11-18 cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）；Myant Inc.（迈安特公司）
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的，并且相对较慢，在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法（FLT），通过学习客户端之间的任务相关性来更有效地联合聚合异构数据，从而概括了这一方向。在一个一次性的过程中，服务器为客户端提供一个预先训练（和微调）的编码器，将其数据压缩成潜在的表示，并将其数据的签名传输回服务器。然后，服务器通过流形学习来学习客户端之间的任务相关性，并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图，当没有显式的客户端集群，以及有效地将其分解成（不相交）集群的联邦学习。我们证明，FLT不仅优于现有的国家的最先进的基线在非IID的情况下，但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Byzantine-Robust Federated Learning via Credibility Assessment on Non-IID Data
Key Laboratory of Embedded System and Service Computing (Tongji University), Ministry of Education（嵌入式系统与服务计算教育部重点实验室（同济大学））
联邦学习是一种新的框架，它使资源受限的边缘设备能够联合学习模型，解决了数据保护和数据孤岛问题。然而，标准的联邦学习容易受到拜占庭攻击，这将导致全局模型被攻击者操纵或无法收敛。在非iid数据上，当前的方法不能有效地防御拜占庭攻击。在本文中，我们提出了一个拜占庭健壮的框架联邦学习通过可信性评估非iid数据（BRCA）。可信性评估是通过自适应异常检测模型和数据验证相结合来检测拜占庭攻击。特别地，在异常检测模型中引入了自适应机制，用于模型的训练和预测。同时，给出了统一的更新算法，保证全局模型具有一致的方向。在非iid数据上，我们的实验表明，与传统方法相比，BRCA对拜占庭攻击具有更好的鲁棒性
2021-09-06 cs.DC cs.LG
Single-Round Clustered Federated Learning via Data Collaboration Analysis for Non-IID Data
Graduate School of Science and Technology, University of Tsukuba（茨川大学理学技术研究生院）；Center for Artificial Intelligence Research, Tsukuba Institute for Advanced Research, University of Tsukuba（茨川大学先进研究所人工智能研究中心）；Institute of Systems and Information Engineering, University of Tsukuba（茨川大学系统与信息工程研究所）
提出单轮框架DC-CFL，通过数据协作分析中的总变差距离量化客户端相似性，使用层次聚类和协作学习实现聚类与模型训练，在非IID数据上达到与多轮方法相当的精度。
2026-06-16 cs.LG
Federated Learning with Non-IID Data
Arm（Arm公司）
联邦学习使资源受限的边缘计算设备（如移动电话和IoT设备）能够学习用于预测的共享模型，同时将训练数据保持在本地。这种去中心化的训练模型方法提供了隐私、安全、监管和经济效益。在这项工作中，我们专注于当本地数据是非IID时联邦学习的统计挑战。我们首先表明，联邦学习的准确性显着降低，对于为高度偏斜的非IID数据训练的神经网络，其准确性降低高达55%，其中每个客户端设备仅在单一类别的数据上训练。我们进一步表明，这种精度降低可以解释的重量分歧，这可以量化的推土机的距离（EMD）之间的分布在每个设备上的类和人口分布。作为一种解决方案，我们提出了一种策略，通过创建一个在所有边缘设备之间全局共享的小数据子集来改进非IID数据的训练。实验表明，CIFAR-10数据集的准确性可以提高30%，只有5%的全球共享数据。
2022-07-21 cs.LG stat.ML
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies（HCL科技公司）
联邦学习（FL）是一种新兴技术，用于协作训练全局机器学习模型，同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同（非IID）数据分布，这会减慢收敛速度并降低性能。为了解决这个根本问题，我们提出了一种方法（ComFed），它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明，ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
Adaptive Expert Models for Personalization in Federated Learning
Ericsson AB（爱立信公司）；KTH Royal Institute of Technology（KTH皇家理工学院）；RISE Research Institutes of Sweden（瑞典RISE研究院）；AI Sweden（瑞典人工智能研究院）；Chalmers University of Technology（查尔姆斯理工大学）
联邦学习（FL）是一种很有前途的分布式学习框架，适用于数据隐私和敏感的情况。然而，在这个框架中的最先进的解决方案是不是最佳的数据是异构的和非独立的和相同的分布（非IID）。我们提出了一个实用和强大的方法来适应异构和非IID数据的平衡探索和利用几个全球模型的个性化FL。为了实现我们的个性化目标，我们使用混合专家模型（MoE），它可以学习将彼此相似的客户分组，同时更有效地使用全局模型。我们表明，我们的方法实现了高达29.78%的准确性和高达4.38%的更好的局部模型相比，在病理非IID设置，即使我们调整我们的方法在IID设置。
2022-06-15 cs.LG
Federated XGBoost on Sample-Wise Non-IID Data
Pennsylvania State University（宾夕法尼亚州立大学）；IBM Research - Almaden（IBM阿尔马登研究中心）
联邦学习（FL）是一种以分散方式联合训练机器学习算法的范例，它允许各方与聚合器通信以创建和训练模型，而不会暴露训练过程中涉及的本地各方的底层原始数据分布。FL中的大多数研究都集中在基于神经网络的方法上，然而基于树的方法，如XGBoost，在联邦学习中的探索不足，因为在克服算法的迭代和加法特性方面存在挑战。基于决策树的模型，特别是XGBoost，可以处理非IID数据，这对于联邦学习框架中使用的算法是重要的，因为数据的底层特征是分散的，并且具有本质上非IID的风险。在本文中，我们专注于研究Federated XGBoost如何受到非IID分布的影响，通过对各种基于样本大小的数据偏斜场景进行实验，以及这些模型在各种非IID场景下的表现。我们在多个不同的数据集和不同的数据倾斜分区上进行了一系列广泛的实验。我们的实验结果表明，尽管分区比例不同，但模型的性能保持一致，并且与以集中式方式训练的模型相比，性能接近或相当。
2022-09-03 cs.AI cs.LG
FedProc: Prototypical Contrastive Federated Learning on Non-IID data
Xidian University（西安电子科技大学）
联邦学习允许多个客户端协作训练高性能深度学习模型，同时将训练数据保存在本地。然而，当所有客户端的本地数据不是独立且同分布的（即，非IID），实施这种形式的有效协作学习是具有挑战性的。尽管已经做出了大量的努力来应对这一挑战，但对图像分类任务的效果仍然不令人满意。在本文中，我们提出了FedProc：原型对比联邦学习，这是一个简单而有效的联邦学习框架。其关键思想是利用原型作为全球知识来纠正每个客户的本地培训。我们设计了一个局部网络结构和一个全局原型对比损失来调节局部模型的训练，使局部目标与全局最优值保持一致。最终，收敛的全局模型在非IID数据上获得了良好的性能。实验结果表明，与现有的联邦学习方法相比，FedProc在计算代价可接受的情况下，通过$1.6\%\sim7.9\%$提高了准确率。
2021-09-25 cs.DC cs.LG
Non-IID Quantum Federated Learning with One-shot Communication Complexity
Zhili College, Tsinghua University（清华大学致理书院）
联合学习是指基于来自多个客户端的分散数据的机器学习任务，具有安全的数据隐私。最近的研究表明，量子算法可以用来提高其性能。然而，当客户端的数据不是独立同分布的（IID），传统的联邦算法的性能是已知的恶化。在这项工作中，我们探讨了非IID问题在量子联邦学习的理论和数值分析。我们进一步证明了一个全局量子信道可以被精确地分解成由每个客户端训练的局部信道，并借助于局部密度估计器。这一观察结果为具有一次性通信复杂性的非IID数据的量子联邦学习提供了一个通用框架。数值仿真表明，该算法在非IID设置下明显优于传统算法。
2023-01-18 cs.DC cs.LG quant-ph
Global Layers: Non-IID Tabular Federated Learning
IBM（国际商业机器公司）
本文提出全局层（GL）方法，通过部分模型个性化解决表格联邦学习中非独立同分布数据及客户端独占特征/类别问题，实验表明其优于FedAvg和本地训练。
2023-05-29 cs.LG
Federated learning with hierarchical clustering of local updates to improve training on non-IID data
Keele University（基尔大学）
联邦学习（FL）是一种在大规模分布式数据上执行机器学习任务的成熟方法。然而，在数据以非iid（非独立和相同分布）方式分布的设置中-这在现实世界中是典型的-与iid数据上的训练相比，FL产生的联合模型在测试集准确性和/或通信成本方面受到影响。我们发现，在某些类型的非iid数据存在的情况下，学习单个联合模型往往不是最佳的。在这项工作中，我们提出了一个修改FL通过引入一个层次聚类步骤（FL+HC）来分离集群的客户端的相似性，他们的本地更新的全球联合模型。一旦分离，集群将在专门的模型上独立和并行地进行训练。我们提出了一个强大的经验分析的超参数FL+HC几个iid和非iid设置。我们展示了FL+HC如何允许模型训练在更少的通信回合中收敛（在某些非iid设置下显着），而FL没有聚类。此外，FL+HC允许更大比例的客户端达到目标精度相比，标准FL。最后，我们提出了良好的默认超参数，以促进卓越的性能专业化模型，而无需修改底层的联邦学习通信协议的建议。
2020-05-06 cs.LG stat.ML
Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多大型胸部X射线数据集已经率先使用深度学习进行专家级异常检测。然而，这些数据集专注于检测可能存在的疾病标签的子集，从而使它们具有部分标签的分布式和非iid。最近的文献表明，由于与带有部分标签的非iid数据相关的域偏移，批量归一化层对联邦学习收敛的影响。为此，我们提出了FedFBN，这是一个联邦学习框架，它通过使用预训练网络作为模型后端并在整个训练过程中冻结批量归一化层，从迁移学习中汲取灵感。我们使用合成iid玩具数据集和具有部分和完整标签的大规模非iid数据集，使用当前FL策略评估FedFBN。我们的研究结果表明，FedFBN优于当前的聚合策略，用于使用带有部分标签的分布式和非iid数据训练全局模型。
2023-03-10 cs.AI cs.CV cs.LG
Heterogeneity-Guided Client Sampling: Towards Fast and Efficient Non-IID Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对 Non-IID 联邦学习中通信受限下的客户端选择问题，提出 HiCS-FL，利用输出层更新估计数据异质性并进行层次聚类采样，实现更快收敛、更低计算成本和更强场景适应性。
2024-10-03 cs.LG
FedFMC: Sequential Efficient Federated Learning on Non-iid Data
Harvard University（哈佛大学）
作为设备在不共享数据的情况下更新全局模型的机制，联邦学习在数据需求和尊重隐私之间架起了一座桥梁。然而，经典的FL方法，如联邦平均，与非iid数据，在现实世界中的普遍情况下斗争。以前的解决方案是次优的，因为它们要么采用小的共享全局数据子集，要么采用更多的模型，从而增加了通信成本。我们提出了FedFMC（Fork-Merge-Consolidate），一种动态地将设备分叉为更新不同的全局模型，然后将单独的模型合并并合并为一个模型的方法。我们首先在简单的数据集上展示了FedFMC的可靠性，然后运行了几个实验，与基线方法进行比较。这些实验表明，FedFMC大大改善了早期的方法，非iid数据在联邦学习上下文中，不使用一个全球共享的数据子集，也不增加通信成本。
2020-06-19 cs.DC cs.LG stat.ML
Understanding Federated Learning from IID to Non-IID dataset: An Experimental Study
University of Stavanger（斯塔万格大学）
本文通过实验研究发现非IID场景下联邦学习性能下降主要源于客户端损失景观不一致，并将现有方法归纳为调整参数更新路径和修改客户端损失景观两类策略。
2025-06-03 cs.AI cs.LG stat.ML
FedBA: Non-IID Federated Learning Framework in UAV Networks
Heilongjiang University（黑龙江大学）
随着科学技术的发展和进步，物联网（IoT）逐渐走进人们的生活，给我们的生活带来了极大的便利，提高了人们的工作效率。具体来说，物联网可以取代人类从事他们无法完成的工作。作为一种新型的物联网交通工具，无人机的研究现状和趋势令人欣喜，发展前景十分看好。然而，隐私和通信仍然是无人机应用中非常严重的问题。这是因为大多数无人机仍然使用集中的基于云的数据处理，这可能导致无人机收集的数据泄露。同时，无人机收集的大量数据在传输到云端时可能会产生更大的通信开销。联邦学习作为隐私保护的一种手段可以有效地解决上述两个问题。然而，联邦学习在应用于无人机网络时，还需要考虑数据的异构性，这是由无人机监管的地区差异造成的。为此，提出了一种新的全局模型优化算法FedBA，解决了数据异构问题。将该算法应用于真实数据集，实验结果表明，该算法优于其他算法，提高了无人机局部模型的精度。
2022-12-27 cs.LG
StoCFL: A Stochastically Clustered Federated Learning Framework for Non-IID Data with Dynamic Client Participation
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Meta AI
本文提出StoCFL，一种随机聚类联邦学习框架，通过灵活支持任意比例客户端参与和新客户端加入，解决非独立同分布数据下的性能下降问题，并在未知聚类数下取得优于基线的结果。
2026-10-02 cs.CL cs.LG
Personalized Federated Learning over non-IID Data for Indoor Localization
Northeastern University（东北大学）；Hanyang University（汉阳大学）
由于无线信道传播模型的物理特性的复杂性，使用数据驱动的方法定位和跟踪对象是一个热门话题。在这些建模方法中，需要收集数据以准确地训练模型，同时维护用户的隐私。联邦学习（FL）是一种以合作方式实现这些目标的有吸引力的方案。FL方案中的一个挑战是存在非独立和同分布（非IID）数据，这是由不同区域的不均匀探索造成的。在本文中，我们考虑使用最近FL计划训练一组个性化的模型，然后通过贝叶斯规则，这使得它适合在室内定位的背景下，最佳融合。
2021-07-21 cs.LG eess.SP
Personalized Additive Modeling for Multi-level Federated Learning
University of Technology Sydney（悉尼科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出FeMAM，通过多级共享模型和加法组合构建个性化预测器，有效处理复杂非独立同分布数据，优于传统联邦学习基线。
2026-06-24 cs.LG
FedVeca: Federated Vectorized Averaging on Non-IID Data with Adaptive Bi-directional Global Objective
Hainan Blockchain Technology Engineering Research Center（海南区块链技术工程研究中心）；Temple University（天普大学）
针对联邦学习中非独立同分布数据及客户端本地更新步数差异影响模型性能的问题，提出带自适应双向全局目标的FedVeca方法，通过双向向量平均和步长自适应调整优化训练，实验验证了其有效性与高效性。
2024-09-18 cs.LG
Weight Divergence Driven Divide-and-Conquer Approach for Optimal Federated Learning from non-IID Data
Intel Technology India Pvt. Ltd（英特尔印度技术有限公司）
联邦学习允许训练存储在分布式设备中的数据，而不需要集中训练数据，从而维护数据隐私。解决处理数据异构性（不同和独立的分布或非IID）的能力是更广泛地部署联邦学习的关键推动因素。在本文中，我们提出了一种新的Divide-and-Conquer训练方法，通过克服非IID环境中公认的FedAvg限制，可以使用流行的FedAvg聚合算法。我们提出了一种基于余弦距离的权重发散度量的新用途，以确定深度学习网络可以分为类不可知的初始层和类特定的深层的确切点，以执行分治训练。我们表明，该方法达到了标准的训练模型精度（在某些情况下超过）与国家的最先进的聚合算法，如FedProx，FedMA等实现的数字。此外，我们表明，这种方法导致计算和带宽优化在某些记录的条件下。
2021-06-30 cs.DC cs.LG
FedMCSA: Personalized Federated Learning via Model Components Self-Attention
Xi’an Jiaotong University（西安交通大学）
联邦学习（FL）促进多个客户端联合训练机器学习模型，而无需共享其私有数据。然而，客户端的非IID数据对FL提出了严峻的挑战。现有的个性化FL方法严重依赖于将一个完整的模型作为基本单元的默认处理，而忽略了不同层对客户端非IID数据的重要性。在这项工作中，我们提出了一个新的框架，联邦模型组件自注意力（FedMCSA），处理非IID数据在FL，它采用模型组件自注意力机制，粒度促进不同客户端之间的合作。该机制促进了相似模型组件之间的协作，同时减少了具有较大差异的模型组件之间的干扰。我们进行了广泛的实验，以证明FedMCSA优于以前的方法在四个基准数据集。此外，我们实证表明，该模型组件的自注意力机制，这是现有的个性化外语的补充，可以显着提高外语的性能的有效性。
2022-08-23 cs.LG
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data
Key Laboratory of Collaborative Intelligence Systems of Ministry of Education, Xidian University（西安电子科技大学教育部协同智能系统重点实验室）；Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所前沿人工智能研究中心）；State Key Laboratory of ISN, School of Cyber Engineering, Xidian University（西安电子科技大学网络与信息安全学院综合业务网理论及关键技术国家重点实验室）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Department of Computing Technologies, Swinburne University of Technology（斯威本科技大学计算技术系）
本文提出FedRCO，一种新型二阶优化框架，旨在提升联邦学习系统在统计异质性下的收敛速度和通信效率。通过高效近似曲率优化器与可证明的稳定性机制，FedRCO有效缓解不稳定性，提升鲁棒性。
2026-03-30 cs.LG
FedCD: Improving Performance in non-IID Federated Learning
Harvard University（哈佛大学）
联邦学习已被广泛应用于使分散的设备能够学习共享模型，每个设备都有自己的本地数据。然而，从真实世界的数据中学习可能具有挑战性，因为它很少在边缘设备上相同且独立地分布（IID）（这是当前高性能和低带宽算法的关键假设）。我们提出了一种新的方法，FedCD，克隆和删除模型，以动态分组设备相似的数据。在CIFAR-10数据集上的实验表明，与非IID数据的FedAvg基线相比，FedCD实现了更高的准确性和更快的收敛，同时产生最小的计算，通信和存储开销。
2020-07-27 cs.DC cs.LG stat.ML
On the Convergence of Clustered Federated Learning
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）；University of Washington, Seattle（西雅图华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
知识共享和模型个性化是解决联邦学习（FL）中非IID挑战的重要组成部分。大多数现有的FL方法集中在两个极端：1）学习一个共享的模型，以服务于所有客户端的非IID数据，和2）学习个性化的模型，为每个客户端，即个性化FL。有一个折衷的解决方案，即集群FL或集群明智的个性化FL，其目的是集群相似的客户端到一个集群，然后学习一个共享的模型为集群内的所有客户端。本文将重新审视聚类FL的研究，将其制定成一个双层优化框架，可以统一现有的方法。我们提出了一个新的理论分析框架来证明收敛考虑客户端之间的集群性。此外，我们体现了这一框架的算法，名为加权联合联邦学习（WeCFL）。实证分析验证了理论结果，并证明了在提出的集群非IID设置下提出的WeCFL的有效性。
2022-06-07 cs.LG
Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data
Xi’an Jiaotong University（西安交通大学）
联邦学习（FL）是一种新兴的隐私保护范式，它使多个参与者能够协作训练一个全局模型，而无需上传原始数据。考虑到不同参与者的计算和通信能力的异构性，异步FL可以避免同步FL中的掉队者效应，并适应于具有大量参与者的场景。异步FL中的陈旧数据和非IID数据都会降低模型的实用性。然而，这两个问题的解决方案之间存在着内在的矛盾。也就是说，减轻陈旧性需要选择较少但一致的梯度，而处理非IID数据需要更全面的梯度。为了解决这个难题，本文提出了一种两阶段加权$K$异步FL与自适应学习率（WKAFL）。通过选择一致的梯度和自适应调整学习率，WKAFL利用陈旧的梯度和减轻非IID数据的影响，这可以实现训练速度，预测精度和训练稳定性的多方面增强。我们还提出了WKAFL的收敛性分析的假设下，无界陈旧，以了解陈旧和非IID数据的影响。在基准数据集和合成FL数据集上的实验表明，WKAFL算法具有更好的整体性能。
2022-03-02 cs.DC cs.LG
Federated Learning on Non-IID Data Silos: An Experimental Study
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
由于日益增加的隐私问题和数据法规，训练数据已经越来越碎片化，形成了多个“数据孤岛”的分布式数据库（例如，在不同的组织和国家）。为了开发有效的机器学习服务，必须在不交换原始数据的情况下利用来自这种分布式数据库的数据。最近，联邦学习（FL）已经成为一个越来越受关注的解决方案，它使多方能够协作训练机器学习模型，而无需交换他们的本地数据。分布式数据库面临的一个关键和共同的挑战是数据在各方之间分布的异构性。不同方的数据通常是非独立且相同分布的（即，非IID）。已经有许多FL算法来解决非IID数据设置下的学习有效性。然而，缺乏一个实验研究，系统地了解他们的优点和缺点，因为以前的研究有非常僵化的数据划分策略之间的各方，这是很难代表性和彻底。为了帮助研究者更好地理解和研究联邦学习中非IID数据的设置，本文提出了一种全面的数据划分策略来覆盖典型的非IID数据情况。此外，我们进行了广泛的实验，以评估国家的最先进的FL算法。我们发现，非IID的FL算法的学习精度带来了重大挑战，现有的最先进的FL算法在所有情况下都优于其他算法。我们的实验为未来解决“数据孤岛”挑战的研究提供了见解。
2021-10-28 cs.DC cs.LG
Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data
Qatar University（卡塔尔大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
分布式学习算法旨在利用存储在用户设备处的分布式和多样的数据，以通过在参与设备之间执行训练并周期性地将它们的局部模型的参数聚合成全局模型来学习全局现象。联邦学习是一种有前途的范例，其允许在聚合参数之前在参与设备之间扩展本地训练，从而提供更好的通信效率。然而，在参与者的数据严重偏斜的情况下（即，非IID），局部模型可能过拟合局部数据，导致低性能的全局模型。在本文中，我们首先证明了性能下降的一个主要原因是用户设备上的类分布与全局分布之间的加权距离。然后，为了面对这一挑战，我们利用边缘计算范式设计了一个分层学习系统，该系统在用户边缘层执行联邦梯度下降，在边缘云层执行联邦平均。在这种分层架构中，我们形式化并优化了这个用户边分配问题，使得边级数据分布变得相似（即，接近IID），这增强了联合平均性能。我们在多个真实世界数据集上的实验表明，所提出的优化分配是易于处理的，并导致模型更快地收敛到更好的精度值。
2021-02-03 cs.DC cs.LG
Mitigating Non-IID Drift in Zeroth-Order Federated LLM Fine-Tuning with Transferable Sparsity
Stevens Institute of Technology（史蒂文斯理工学院）；Princeton University（普林斯顿大学）；Duke University（杜克大学）；Google LLC（谷歌公司）；Lambda Inc.（Lambda公司）
本文提出Meerkat及Meerkat-vp，通过可迁移静态稀疏参数子集和虚拟路径GradIP轨迹分析，缓解零阶联邦大语言模型微调中的非独立同分布漂移问题，提升通信效率与模型质量。
2025-06-03 cs.AI cs.LG
FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction
National University of Defense Technology（国防科技大学）；IHPC, ASTAR（新加坡科技研究局高性能计算研究所）；University of Macau（澳门大学）
联邦学习（FL）允许多个客户端集体训练高性能的全局模型，而无需共享其私有数据。然而，联邦学习面临的主要挑战是客户端的本地数据分布具有显著的统计异质性，这将导致客户端优化的本地模型不一致。为了解决这个根本的困境，我们提出了一种新的联邦学习算法与本地漂移解耦和校正（FedDC）。我们的FedDC只在局部训练阶段引入轻量级修改，其中每个客户端利用辅助局部漂移变量来跟踪局部模型参数和全局模型参数之间的差距。FedDC的关键思想是利用这个学习到的局部漂移变量来弥合差距，即，在参数水平上保持一致性。实验结果和分析表明，FedDC在不同的图像分类任务上具有更快的收敛速度和更好的性能，在部分参与设置、非iid数据和异构客户端中具有鲁棒性。
2022-03-22 cs.AI cs.LG
Inverse Distance Aggregation for Federated Learning with Non-IID Data
Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Imperial College London（帝国理工学院）
联邦学习（FL）是近年来在医学影像学领域的一种很有前途的学习方法。FL中的一个关键问题，特别是在医疗场景中，是要有一个更准确的共享模型，这是鲁棒的噪声和外的分布客户端。在这项工作中，我们解决了FL数据的统计异质性问题，这在医学数据中是非常合理的，例如数据来自不同的扫描仪设置的不同站点。我们提出了IDA（逆距离聚合），一种新的自适应加权方法的客户端的基础上处理不平衡和非iid数据的元信息。我们广泛地分析和评估我们的方法对著名的FL方法，联邦平均作为基线。
2020-08-17 cs.CV cs.LG stat.ML
FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution
University of California San Diego（加州大学圣地亚哥分校）
经典的联邦学习方法在参与者的非IID数据分布的情况下会产生显著的性能下降。当每个局部数据集的分布与全局数据集的分布差异很大时，每个客户端的局部目标将与全局最优值不一致，从而导致局部更新的漂移。这种现象严重影响了客户的业绩。而客户参与联邦学习的主要动机是获得更好的个性化模型。为了解决上述问题，我们提出了一种新的算法，FLIS，它组的客户端人口在集群中的联合训练的数据分布，利用客户端的模型的推理相似性。该框架捕获了不同用户组有自己的目标（学习任务）的设置，但通过将他们的数据与同一集群中的其他用户（相同的学习任务）聚合，以执行更有效和个性化的联邦学习。我们目前的实验结果表明，FLIS的好处超过了最先进的基准CIFAR-100/10，SVHN和FMNIST数据集。我们的代码可在https://github.com/MMorafah/FLIS上获得。
2022-08-20 cs.DC cs.LG
