Weight Divergence Driven Divide-and-Conquer Approach for Optimal Federated Learning from non-IID Data
Intel Technology India Pvt. Ltd（英特尔印度技术有限公司）
联邦学习允许训练存储在分布式设备中的数据，而不需要集中训练数据，从而维护数据隐私。解决处理数据异构性（不同和独立的分布或非IID）的能力是更广泛地部署联邦学习的关键推动因素。在本文中，我们提出了一种新的Divide-and-Conquer训练方法，通过克服非IID环境中公认的FedAvg限制，可以使用流行的FedAvg聚合算法。我们提出了一种基于余弦距离的权重发散度量的新用途，以确定深度学习网络可以分为类不可知的初始层和类特定的深层的确切点，以执行分治训练。我们表明，该方法达到了标准的训练模型精度（在某些情况下超过）与国家的最先进的聚合算法，如FedProx，FedMA等实现的数字。此外，我们表明，这种方法导致计算和带宽优化在某些记录的条件下。
2021-06-30 cs.DC cs.LG
Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data
Xi’an Jiaotong University（西安交通大学）
联邦学习（FL）是一种新兴的隐私保护范式，它使多个参与者能够协作训练一个全局模型，而无需上传原始数据。考虑到不同参与者的计算和通信能力的异构性，异步FL可以避免同步FL中的掉队者效应，并适应于具有大量参与者的场景。异步FL中的陈旧数据和非IID数据都会降低模型的实用性。然而，这两个问题的解决方案之间存在着内在的矛盾。也就是说，减轻陈旧性需要选择较少但一致的梯度，而处理非IID数据需要更全面的梯度。为了解决这个难题，本文提出了一种两阶段加权$K$异步FL与自适应学习率（WKAFL）。通过选择一致的梯度和自适应调整学习率，WKAFL利用陈旧的梯度和减轻非IID数据的影响，这可以实现训练速度，预测精度和训练稳定性的多方面增强。我们还提出了WKAFL的收敛性分析的假设下，无界陈旧，以了解陈旧和非IID数据的影响。在基准数据集和合成FL数据集上的实验表明，WKAFL算法具有更好的整体性能。
2022-03-02 cs.DC cs.LG
Federated Learning on Non-IID Data Silos: An Experimental Study
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
由于日益增加的隐私问题和数据法规，训练数据已经越来越碎片化，形成了多个“数据孤岛”的分布式数据库（例如，在不同的组织和国家）。为了开发有效的机器学习服务，必须在不交换原始数据的情况下利用来自这种分布式数据库的数据。最近，联邦学习（FL）已经成为一个越来越受关注的解决方案，它使多方能够协作训练机器学习模型，而无需交换他们的本地数据。分布式数据库面临的一个关键和共同的挑战是数据在各方之间分布的异构性。不同方的数据通常是非独立且相同分布的（即，非IID）。已经有许多FL算法来解决非IID数据设置下的学习有效性。然而，缺乏一个实验研究，系统地了解他们的优点和缺点，因为以前的研究有非常僵化的数据划分策略之间的各方，这是很难代表性和彻底。为了帮助研究者更好地理解和研究联邦学习中非IID数据的设置，本文提出了一种全面的数据划分策略来覆盖典型的非IID数据情况。此外，我们进行了广泛的实验，以评估国家的最先进的FL算法。我们发现，非IID的FL算法的学习精度带来了重大挑战，现有的最先进的FL算法在所有情况下都优于其他算法。我们的实验为未来解决“数据孤岛”挑战的研究提供了见解。
2021-10-28 cs.DC cs.LG
Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data
Qatar University（卡塔尔大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
分布式学习算法旨在利用存储在用户设备处的分布式和多样的数据，以通过在参与设备之间执行训练并周期性地将它们的局部模型的参数聚合成全局模型来学习全局现象。联邦学习是一种有前途的范例，其允许在聚合参数之前在参与设备之间扩展本地训练，从而提供更好的通信效率。然而，在参与者的数据严重偏斜的情况下（即，非IID），局部模型可能过拟合局部数据，导致低性能的全局模型。在本文中，我们首先证明了性能下降的一个主要原因是用户设备上的类分布与全局分布之间的加权距离。然后，为了面对这一挑战，我们利用边缘计算范式设计了一个分层学习系统，该系统在用户边缘层执行联邦梯度下降，在边缘云层执行联邦平均。在这种分层架构中，我们形式化并优化了这个用户边分配问题，使得边级数据分布变得相似（即，接近IID），这增强了联合平均性能。我们在多个真实世界数据集上的实验表明，所提出的优化分配是易于处理的，并导致模型更快地收敛到更好的精度值。
2021-02-03 cs.DC cs.LG
FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution
University of California San Diego（加州大学圣地亚哥分校）
经典的联邦学习方法在参与者的非IID数据分布的情况下会产生显著的性能下降。当每个局部数据集的分布与全局数据集的分布差异很大时，每个客户端的局部目标将与全局最优值不一致，从而导致局部更新的漂移。这种现象严重影响了客户的业绩。而客户参与联邦学习的主要动机是获得更好的个性化模型。为了解决上述问题，我们提出了一种新的算法，FLIS，它组的客户端人口在集群中的联合训练的数据分布，利用客户端的模型的推理相似性。该框架捕获了不同用户组有自己的目标（学习任务）的设置，但通过将他们的数据与同一集群中的其他用户（相同的学习任务）聚合，以执行更有效和个性化的联邦学习。我们目前的实验结果表明，FLIS的好处超过了最先进的基准CIFAR-100/10，SVHN和FMNIST数据集。我们的代码可在https://github.com/MMorafah/FLIS上获得。
2022-08-20 cs.DC cs.LG
FedFMC: Sequential Efficient Federated Learning on Non-iid Data
Harvard University（哈佛大学）
作为设备在不共享数据的情况下更新全局模型的机制，联邦学习在数据需求和尊重隐私之间架起了一座桥梁。然而，经典的FL方法，如联邦平均，与非iid数据，在现实世界中的普遍情况下斗争。以前的解决方案是次优的，因为它们要么采用小的共享全局数据子集，要么采用更多的模型，从而增加了通信成本。我们提出了FedFMC（Fork-Merge-Consolidate），一种动态地将设备分叉为更新不同的全局模型，然后将单独的模型合并并合并为一个模型的方法。我们首先在简单的数据集上展示了FedFMC的可靠性，然后运行了几个实验，与基线方法进行比较。这些实验表明，FedFMC大大改善了早期的方法，非iid数据在联邦学习上下文中，不使用一个全球共享的数据子集，也不增加通信成本。
2020-06-19 cs.DC cs.LG stat.ML
Aggregation Delayed Federated Learning
Northwestern University（西北大学）
联邦学习是一种分布式机器学习范例，其中多个数据所有者（客户端）协作训练一个机器学习模型，同时将数据保存在他们自己的设备上。客户端数据集的异构性是联邦学习算法面临的最大挑战之一。研究发现，标准联邦算法（如FedAvg）在非IID数据上会降低性能。许多现有的处理非IID数据的工作采用与FedAvg相同的聚合框架，并专注于改进服务器端或客户端的模型更新。在这项工作中，我们通过引入延迟聚合的再分配回合来从不同的角度应对这一挑战。我们在多个任务上进行了实验，结果表明，该框架显着提高了非IID数据的性能。
2021-08-17 cs.DC cs.LG
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
联邦学习面临着性能和网络通信的挑战，特别是在数据在客户端之间不是独立和相同分布（IID）的环境中。为了解决前一个挑战，我们引入了联邦集中式一致性属性，并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者，我们提出了联邦多小批量的方法，并说明它可以建立一个性能和通信效率之间的权衡，并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
Non-IID Quantum Federated Learning with One-shot Communication Complexity
Zhili College, Tsinghua University（清华大学致理书院）
联合学习是指基于来自多个客户端的分散数据的机器学习任务，具有安全的数据隐私。最近的研究表明，量子算法可以用来提高其性能。然而，当客户端的数据不是独立同分布的（IID），传统的联邦算法的性能是已知的恶化。在这项工作中，我们探讨了非IID问题在量子联邦学习的理论和数值分析。我们进一步证明了一个全局量子信道可以被精确地分解成由每个客户端训练的局部信道，并借助于局部密度估计器。这一观察结果为具有一次性通信复杂性的非IID数据的量子联邦学习提供了一个通用框架。数值仿真表明，该算法在非IID设置下明显优于传统算法。
2023-01-18 cs.DC cs.LG quant-ph
FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation
Xiamen University（厦门大学）；Hong Kong Baptist University（香港浸会大学）
联邦学习为在具有不同类型数据的分布式客户端上生成良好的深度学习模型提供了隐私保证。然而，处理非IID数据是联邦学习最具挑战性的问题之一。研究者们提出了各种方法来消除非IID的负面影响。然而，他们只关注非IID数据，前提是普遍的类别分布是平衡的。在许多实际应用中，普遍的类分布是长尾的，这导致模型严重偏差。因此，本文研究了联邦学习中非IID数据和长尾数据的联合问题，并提出了一种基于不平衡校正的联邦混合蒸馏（Federated Encoding Distillation with Imbalance Calibration，FEDIC）解决方案。为了处理非IID数据，FEDIC使用模型集成来利用在非IID数据上训练的模型的多样性。在此基础上，提出了一种基于logit调整和校准门控网络的精馏方法，有效地解决了长尾问题。我们在CIFAR-10-LT、CIFAR-100-LT和ImageNet-LT上使用高度非IID的实验环境评估了FEDIC，并与最先进的联邦学习和长尾学习方法进行了比较。我们的代码可在https://github.com/shangxinyi/FEDIC上获得。
2022-04-30 cs.LG
FedCD: Improving Performance in non-IID Federated Learning
Harvard University（哈佛大学）
联邦学习已被广泛应用于使分散的设备能够学习共享模型，每个设备都有自己的本地数据。然而，从真实世界的数据中学习可能具有挑战性，因为它很少在边缘设备上相同且独立地分布（IID）（这是当前高性能和低带宽算法的关键假设）。我们提出了一种新的方法，FedCD，克隆和删除模型，以动态分组设备相似的数据。在CIFAR-10数据集上的实验表明，与非IID数据的FedAvg基线相比，FedCD实现了更高的准确性和更快的收敛，同时产生最小的计算，通信和存储开销。
2020-07-27 cs.DC cs.LG stat.ML
RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data
University of Chinese Academy of Sciences（中国科学院大学）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
联邦学习是一种广泛使用的分布式深度学习框架，它通过交换模型参数而不是原始数据来保护每个客户端的隐私。然而，联邦学习存在通信成本高的问题，因为在训练过程中需要多次传输相当数量的模型参数，使得该方法效率低下，特别是在通信网络带宽有限的情况下。本文提出了RingFed，一种新的框架，以减少联邦学习的训练过程中的通信开销。与原始联邦学习中在中心服务器和每个客户端之间传输参数不同，在所提出的RingFed中，更新后的参数在每个客户端之间依次传输，并且仅将最终结果传输到中心服务器，从而大大减少了通信开销。在几次本地更新之后，客户端首先将其参数发送到另一个邻近的客户端，而不是直接发送到中心服务器，以进行预聚合。在两个不同的公开数据集上的实验表明，RingFed算法具有收敛速度快、模型精度高、通信代价低的特点。
2021-07-19 cs.DC cs.LG
Using adversarial images to improve outcomes of federated learning for non-IID data
Warsaw University of Technology（华沙理工大学）；Systems Research Institute Polish Academy of Sciences（波兰科学院系统研究所）
联邦学习的一个重要问题是如何处理不平衡数据。这一贡献介绍了一种新的技术，旨在处理标签偏斜的非IID数据，使用对抗性的输入，创建的I-FGSM方法。对抗性输入指导训练过程，并允许加权联合平均法对具有“选定”本地标签分布的客户端给予更多重视。实验结果，收集从图像分类任务，MNIST和CIFAR-10数据集，报告和分析。
2022-06-16 cs.LG
Training Speech Recognition Models with Federated Learning: A Quality/Cost Framework
Google（谷歌）
我们建议使用联邦学习，一个分散的设备上的学习范例，训练语音识别模型。通过在每个用户的基础上执行训练阶段，联邦学习必须承担处理非IID数据分布的成本，这预计会对训练模型的质量产生负面影响。我们提出了一个框架，通过该框架可以改变非IID的程度，从而说明了模型质量和联邦训练的计算成本之间的权衡，我们通过一种新的度量捕获。最后，我们证明了超参数优化和适当使用变分噪声足以补偿非IID分布的质量影响，同时降低成本。
2021-05-14 cs.DC cs.LG
Asynchronous Online Federated Learning for Edge Devices with Non-IID Data
George Mason University（乔治梅森大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
联邦学习（FL）是一种机器学习范例，其中跨分布式边缘设备学习共享的中心模型，而训练数据保留在这些设备上。Federated Averaging（FedAvg）是在此设置中使用同步协议训练非凸模型的领先优化方法。然而，由于设备的异构性，FedAvg做出的假设是不现实的。特别地，由于边缘设备的不同采样率，所收集的数据的量和分布在训练过程中变化。边缘设备本身的可用通信带宽和系统配置也各不相同，例如内存、处理器速度和功耗要求。这导致了训练时间以及模型/数据传输时间的巨大差异。此外，边缘设备的可用性问题可能导致特定边缘设备对联合模型的贡献不足。在本文中，我们提出了一个异步在线联邦学习（ASO-Fed）框架，其中边缘设备执行在线学习与连续流本地数据和中央服务器聚合来自客户端的模型参数。我们的框架以异步方式更新中心模型，以解决与异构边缘设备和落后或辍学的边缘设备的不同计算负载相关的挑战。我们进行了广泛的实验模拟基准图像数据集和三个真实世界的非IID流数据集。结果表明，\model ~在保持良好预测性能的同时，具有快速收敛的优点.
2020-10-20 cs.DC cs.LG
FedClust: Optimizing Federated Learning on Non-IID Data through Weight-Driven Client Clustering
School of Computing and Informatics, University of Louisiana at Lafayette（路易斯安那大学拉法叶分校计算与信息学院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；University of Delaware（特拉华大学）
针对联邦学习中非独立同分布数据导致的性能下降及现有聚类联邦学习方法通信成本高、聚类数需预定义的问题，提出基于部分模型权重的一次性客户端聚类方法FedClust，可动态接纳新客户端，在准确率和通信成本上均优于基线。
2024-03-07 cs.DC cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University（杜克大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习是一种流行的分布式机器学习范例，具有增强的隐私性。它的主要目标是学习一个全球模型，为尽可能多的参与者提供良好的性能。该技术正在快速发展，面临许多尚未解决的挑战，其中包括统计异质性（即，非IID）和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中，我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架，通过利用彩票假设。在LotteryFL中，每个客户端学习彩票网络（即，基本模型的子网络），并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同，每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸，通信成本可以显著降低。为了支持我们框架的训练和评估，我们考虑特征分布偏差、标签分布偏差和数量偏差，基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明，LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Personalized Cross-Silo Federated Learning on Non-IID Data
Simon Fraser University（西蒙弗雷泽大学）；McMaster University（麦克马斯特大学）；Huawei Technologies Canada（华为技术加拿大公司）
非IID数据对联邦学习提出了严峻的挑战。在本文中，我们探索了一个新的想法，促进客户端之间的相似数据的成对合作。我们提出了FedAMP，一种新的方法，采用联邦关注的消息传递，以方便类似的客户端进行更多的合作。我们建立了凸模型和非凸模型的FedAMP的收敛性，并提出了一种探试法，以进一步提高FedAMP的性能时，客户端采用深度神经网络作为个性化的模型。我们在基准数据集上的大量实验证明了所提出的方法的优越性能。
2021-12-14 cs.DC cs.LG stat.ML
Clustered Data Sharing for Non-IID Federated Learning over Wireless Networks
Beijing University of Posts and Telecommunications（北京邮电大学）；Carleton University（卡尔顿大学）
针对无线网络下非IID联邦学习的精度下降与通信成本问题，提出基于D2D的聚类数据共享框架及DACA算法，在受限通信下提升了联邦学习的收敛性与精度。
2023-03-01 cs.DC cs.LG
FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
本文提出一种半去中心化的云-边-端分层联邦学习框架FedSR，结合环形集群内的增量次梯度优化算法，有效缓解了物联网系统中数据异构性对模型性能的影响及云服务器的通信瓶颈。
2024-03-19 cs.DC cs.LG
A chaotic maps-based privacy-preserving distributed deep learning for incomplete and Non-IID datasets
Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）；CUNEF Universidad（库内夫大学）；Universidad Autónoma de Chile（智利自治大学）
本研究提出一种安全的联邦学习方法，通过增加差分隐私或基于混沌的加密隐私层来解决non-IID数据挑战，实验证明该方法能提升深度神经网络在IID和non-IID数据下的平均性能。
2024-02-15 cs.CR cs.DC cs.LG
Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
标签分布偏斜引起的数据异质性已被证明是限制联邦学习中模型性能的一个重要障碍，联邦学习是特别为分散数据源上的协作模型训练而开发的，同时保护用户隐私。当参与的服务对象处于不稳定的环境中并经常辍学时，这一挑战可能更加严重。以往的工作和我们的经验观察表明，分类任务的分类头是更敏感的标签倾斜和FedAvg的不稳定性能主要在于在不同的类的不平衡的训练样本。有偏见的分类器头也会影响特征表示的学习。因此，保持平衡的分类器头对于构建更好的全局模型具有重要意义。为此，我们提出了一个简单而有效的框架，通过引入一个预先校准的softmax函数来计算交叉熵损失，并引入一个基于原型的特征增强方案来重新平衡局部训练，这对于边缘设备来说是轻量级的，可以促进全局模型聚合。通过对基准分类任务进行广泛的实验，证明了在存在非IID数据和客户端辍学的情况下，模型性能比现有基线有所提高。
2023-03-15 cs.DC cs.LG
DistFL: Distribution-aware Federated Learning for Mobile Scenarios
Peking University（北京大学）；Microsoft Research（微软研究院）
联邦学习（FL）已经成为移动客户端去中心化和隐私保护机器学习的有效解决方案。传统的FL算法在证明其优越性的同时，忽略了移动场景中广泛存在的非独立同分布（non-iid，independently identical distributed）情况。如果不处理非iid情况，可能会导致性能下降和可能的攻击等问题。以前的研究直接关注“症状”，因为他们试图通过在传统FL模型中添加额外的步骤来提高准确性或检测可能的攻击。然而，以前的技术忽略了“症状”的根本原因：盲目聚集模型与非iid分布。在本文中，我们试图从根本上解决这个问题，通过将整体非iid情况分解为几个iid集群，并在每个集群中进行聚合。具体来说，我们提出了\textbf{DistFL}，一个新的框架，以实现自动化和准确的\textbf{Dist} ribution-aware \textbf{F} ederated \textbf{L}收入的成本效益的方式。DistFL通过从上传的模型中提取和比较\textit{distribution knowledge}来实现聚类。有了这个框架，我们能够生成多个具有独特分布的个性化模型，并将它们分配给相应的客户端。广泛的实验与流行的模型架构的移动场景已经证明了DistFL的有效性。
2021-10-22 cs.DC cs.LG
SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）；Department of Computer Science and Engineering, University at Buffalo, the State University of New York（纽约州立大学布法罗分校计算机科学与工程系）
本文提出SemiSFL系统，通过聚类正则化与动态调整全局更新频率，解决分割联邦学习在无标签且非独立同分布数据下的训练不一致问题，显著提升训练速度、降低通信成本并提高精度。
2024-08-02 cs.DC cs.LG
Communication-Efficient Diffusion Strategy for Performance Improvement of Federated Learning with Non-IID Data
Hanyang University（汉阳大学）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））；Hanyang University ERICA（汉阳大学ERICA校区）
本文提出FedDif扩散策略，通过设备间传递本地模型使联邦学习在非独立同分布数据下规避权重发散问题，并利用拍卖理论平衡学习性能与通信成本，实验显示准确率最高提升34.89%、通信成本最多降低63.49%。
2024-09-30 cs.DC cs.LG
Federated Learning on Non-IID Graphs via Structural Knowledge Sharing
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；Data61, CSIRO（联邦科学与工业研究组织Data61研究所）
图神经网络（GNNs）在图形数据建模方面显示出其优越性。由于联邦学习的优势，联邦图学习（FGL）使客户端能够以分布式方式训练强大的GNN模型，而无需共享其私有数据。联邦系统的一个核心挑战是非IID问题，它也广泛存在于现实世界的图数据中。例如，客户端的本地数据可以来自不同的数据集或甚至域，例如，社交网络和分子，增加了FGL方法捕获共同共享知识和学习通用编码器的难度。从真实世界的图数据集，我们观察到，一些结构属性共享的各个领域，在FGL共享结构知识呈现出巨大的潜力。受此启发，我们提出了FedStar，一个FGL框架，提取和共享图间联邦学习任务的公共底层结构信息。为了显式地提取结构信息，而不是将它们与节点特征一起编码，我们定义了结构嵌入并使用独立的结构编码器对其进行编码。然后，在客户端之间共享结构编码器，同时以个性化的方式学习基于特征的知识，使FedStar能够捕获更多基于结构的域不变信息，并避免特征不对齐问题。我们在跨数据集和跨域非IID FGL设置上进行了广泛的实验，证明了FedStar的优越性。
2022-11-23 cs.AI cs.DC cs.LG
One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity
National University of Singapore（新加坡国立大学）；Xidian University（西安电子科技大学）；Zhejiang University（浙江大学）
本文提出一种局部模型多样性增强策略，通过引入局部模型池和两种距离度量，改进一次性顺序联邦学习以应对非独立同分布数据，在保持低通信成本的同时提升全局模型性能，并在标签偏斜和域偏移任务上超越现有方法。
2024-04-18 cs.CV cs.DC cs.LG
Learning From Drift: Federated Learning on Non-IID Data via Drift Regularization
Deargen Inc.（Deargen公司）；Deargen USA Inc.（Deargen美国公司）
针对联邦学习在Non-IID数据上次优的问题，提出LfD方法，通过漂移估计和漂移正则化约束局部模型偏离方向，在泛化性等五个方面展现优越性。
2023-09-13 cs.LG
Personalizing Federated Learning for Hierarchical Edge Networks with Non-IID Data
The University of Sydney（悉尼大学）；University of Oxford（牛津大学）；The University of Melbourne（墨尔本大学）
针对分层联邦学习中被忽视的分层非IID特性导致的跨边缘性能不一致问题，提出PHE-FL为每个边缘模型个性化，在4种场景下评估显示其准确率最高提升83%且稳定性更优。
2025-04-11 cs.AI cs.DC cs.LG
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
联邦学习是一种分布式机器学习方法，其使得共享服务器模型能够通过将本地计算的参数更新与来自空间分布的客户端筒仓的训练数据聚合来进行学习。虽然联邦学习在规模和隐私方面都有优势，但它受到了域转移问题的影响，在域转移问题中，学习模型无法推广到数据分布是非独立同分布的不可见域。在训练领域。在这项研究中，我们提出了联邦不变学习一致性（FedILC）的方法，它利用梯度协方差和几何平均值的Hessians捕获筒仓间和筒仓内的环境，并解开域转移问题在联邦网络。基准测试和真实世界的数据集实验证明，我们提出的算法优于传统的基线和类似的联邦学习算法。这与诸如医疗保健、计算机视觉和物联网（IoT）的各种领域相关。代码发布于https://github.com/mikemikezhu/FedILC。
2022-05-19 cs.AI cs.DC cs.LG
Personalized Interpretation on Federated Learning: A Virtual Concepts approach
University of Technology Sydney（悉尼科技大学）
本文提出一种虚拟概念方法，将联邦学习中客户端的非IID数据解释为可学习或可预定义的概念向量混合，从而在提升个性化解释性的同时增强训练鲁棒性，并在基准数据集上验证了有效性。
2024-06-28 cs.DC cs.LG
FedPBS: Proximal-Balanced Scaling Federated Learning Model for Robust Personalized Training for Non-IID Data
Computer Science Department, Faculty of Science, Menoufia University（数学与计算机科学系，孟菲亚大学）；Computer Science Department, Faculty of Computers and Information, Menoufia University（计算机科学系，计算机与信息学院，孟菲亚大学）
FedPBS结合FedBS和FedProx的优点，动态调整批量大小并应用近端校正，提升非IID数据下的收敛性和模型质量。
2026-03-24 cs.AI cs.DC cs.LG
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
联邦学习允许多方在其组合数据上联合训练深度学习模型，而无需任何参与者将其本地数据透露给集中式服务器。然而，这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题，在分布式训练文献中已经提出了几种压缩方法，可以将所需的通信量减少多达三个数量级。然而，这些现有的方法在联邦学习设置中仅具有有限的效用，因为它们或者仅压缩从客户端到服务器的上游通信（使下游通信未压缩），或者仅在理想化条件（诸如客户端数据的iid分布）下表现良好，这通常不能在联邦学习中找到。在这项工作中，我们提出了稀疏三进制压缩（STC），一个新的压缩框架，专门设计，以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明，STC在常见的联邦学习场景中明显优于联合平均，其中客户端a）持有非iid数据，b）在训练期间使用小批量，或者c）客户端数量很大，每个通信回合的参与率很低。我们还表明，即使客户端持有iid数据并使用中等规模的批次进行训练，STC仍然表现出Pareto优于Federated Averaging，因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多大型胸部X射线数据集已经率先使用深度学习进行专家级异常检测。然而，这些数据集专注于检测可能存在的疾病标签的子集，从而使它们具有部分标签的分布式和非iid。最近的文献表明，由于与带有部分标签的非iid数据相关的域偏移，批量归一化层对联邦学习收敛的影响。为此，我们提出了FedFBN，这是一个联邦学习框架，它通过使用预训练网络作为模型后端并在整个训练过程中冻结批量归一化层，从迁移学习中汲取灵感。我们使用合成iid玩具数据集和具有部分和完整标签的大规模非iid数据集，使用当前FL策略评估FedFBN。我们的研究结果表明，FedFBN优于当前的聚合策略，用于使用带有部分标签的分布式和非iid数据训练全局模型。
2023-03-10 cs.AI cs.CV cs.LG
Federated Learning with Non-IID Data
Arm（Arm公司）
联邦学习使资源受限的边缘计算设备（如移动电话和IoT设备）能够学习用于预测的共享模型，同时将训练数据保持在本地。这种去中心化的训练模型方法提供了隐私、安全、监管和经济效益。在这项工作中，我们专注于当本地数据是非IID时联邦学习的统计挑战。我们首先表明，联邦学习的准确性显着降低，对于为高度偏斜的非IID数据训练的神经网络，其准确性降低高达55%，其中每个客户端设备仅在单一类别的数据上训练。我们进一步表明，这种精度降低可以解释的重量分歧，这可以量化的推土机的距离（EMD）之间的分布在每个设备上的类和人口分布。作为一种解决方案，我们提出了一种策略，通过创建一个在所有边缘设备之间全局共享的小数据子集来改进非IID数据的训练。实验表明，CIFAR-10数据集的准确性可以提高30%，只有5%的全球共享数据。
2022-07-21 cs.LG stat.ML
Federated XGBoost on Sample-Wise Non-IID Data
Pennsylvania State University（宾夕法尼亚州立大学）；IBM Research - Almaden（IBM阿尔马登研究中心）
联邦学习（FL）是一种以分散方式联合训练机器学习算法的范例，它允许各方与聚合器通信以创建和训练模型，而不会暴露训练过程中涉及的本地各方的底层原始数据分布。FL中的大多数研究都集中在基于神经网络的方法上，然而基于树的方法，如XGBoost，在联邦学习中的探索不足，因为在克服算法的迭代和加法特性方面存在挑战。基于决策树的模型，特别是XGBoost，可以处理非IID数据，这对于联邦学习框架中使用的算法是重要的，因为数据的底层特征是分散的，并且具有本质上非IID的风险。在本文中，我们专注于研究Federated XGBoost如何受到非IID分布的影响，通过对各种基于样本大小的数据偏斜场景进行实验，以及这些模型在各种非IID场景下的表现。我们在多个不同的数据集和不同的数据倾斜分区上进行了一系列广泛的实验。我们的实验结果表明，尽管分区比例不同，但模型的性能保持一致，并且与以集中式方式训练的模型相比，性能接近或相当。
2022-09-03 cs.AI cs.LG
Federated Subspace Guided Vision-Language-Action Policy Distillation for Non-IID Multi-Robot Manipulation
提出FedDRMan联邦子空间引导蒸馏框架，通过低秩多模态子空间蒸馏和基于更新兼容性的聚类聚合，解决非独立同分布多机器人操作中的表征漂移，在LIBERO上以80.7%成功率超越强基线11.6个百分点。
2026-09-29 cs.CV cs.DC cs.LG
Understanding Federated Learning from IID to Non-IID dataset: An Experimental Study
University of Stavanger（斯塔万格大学）
本文通过实验研究发现非IID场景下联邦学习性能下降主要源于客户端损失景观不一致，并将现有方法归纳为调整参数更新路径和修改客户端损失景观两类策略。
2025-06-03 cs.AI cs.LG stat.ML
PSI-PFL: Population Stability Index for Client Selection in non-IID Personalized Federated Learning
Sapienza University of Rome（萨皮恩扎罗马大学）；Telefonica（电信公司）
针对非独立同分布数据导致的联邦学习性能下降问题，提出PSI-PFL框架，利用人口稳定性指数选择同质客户端以缓解数据异构性，在多种模态上显著提升全局准确率并超越基线10%。
2025-05-31 cs.LG
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
在真实世界的联邦系统中训练分类模型的一个核心挑战是使用非IID数据进行学习。为了解决这个问题，大多数现有的工作涉及在局部优化中强制正则化或改进服务器上的模型聚合方案。其他作品也共享公共数据集或合成样本，以补充代表性不足的类的训练或引入一定程度的个性化。虽然有效，但他们缺乏对数据异构性如何影响深度分类模型的每一层的深入理解。在本文中，我们通过对不同层学习的表示进行实验分析来弥合这一差距。我们的观察结果令人惊讶：（1）在分类器中存在比其他层更大的偏差，以及（2）通过在联邦训练之后对分类器进行后校准可以显著提高分类性能。出于上述研究结果，我们提出了一种新的和简单的算法，称为分类器校准与虚拟表示（CCVR），调整分类器使用虚拟表示采样从近似高斯混合模型。实验结果表明，CCVR在流行的联邦学习基准测试（包括CIFAR-10、CIFAR-100和CINIC-10）上达到了最先进的性能。我们希望我们简单而有效的方法可以为未来的非IID数据联邦学习研究提供一些启示。
2021-10-28 cs.CV cs.DC cs.LG
Non-IID data in Federated Learning: A Survey with Taxonomy, Metrics, Methods, Frameworks and Future Directions
本综述针对联邦学习中non-IID数据导致模型性能下降、训练变慢且分类量化缺乏共识的问题，构建了相关分类体系与度量指标，梳理了现有解决方案与标准化框架，总结经验并提出未来研究方向。
2024-12-12 cs.LG
Federated Learning with Server Learning: Enhancing Performance for Non-IID Data
National Institute of Standards and Technology（美国国家标准与技术研究院）；University of Maryland（马里兰大学）
针对 Non-IID 数据导致联邦学习性能下降、收敛变慢的问题，提出让服务器利用小型数据集进行辅助学习，并证明其可显著提升准确率与收敛速度。
2023-08-15 cs.DC cs.LG math.OC
Towards Fast and Accurate Federated Learning with non-IID Data for Cloud-Based IoT Applications
East China Normal University（华东师范大学）；Zaozhuang University（枣庄学院）；University of Houston（休斯顿大学）
联邦学习（Federated Learning，FL）作为一种在分散的设备数据上进行集中模型训练同时保护用户隐私的有前途的方法，在物联网（IoT）设计中越来越受欢迎。然而，当物联网设备收集的数据以非独立同分布（非IID）方式高度偏斜时，无法保证香草FL方法的准确性。虽然存在各种解决方案，试图解决FL与非IID数据的瓶颈，他们中的大多数遭受额外的不可容忍的通信开销和低模型精度。为了实现快速和准确的FL，本文提出了一种新的基于数据的设备分组方法，可以有效地减少非IID数据训练过程中权重发散的缺点。然而，由于我们的分组方法是基于从物联网设备中提取的特征图的相似性，因此可能会带来额外的隐私暴露风险。为了解决这个问题，我们提出了一个改进的版本，利用相似性信息，使用局部敏感哈希（LSH）算法，而不暴露提取的特征图。在知名基准上的综合实验结果表明，该方法不仅可以加快收敛速度，而且可以提高非IID数据的FL预测精度。
2022-01-29 cs.LG
Federated learning with hierarchical clustering of local updates to improve training on non-IID data
Keele University（基尔大学）
联邦学习（FL）是一种在大规模分布式数据上执行机器学习任务的成熟方法。然而，在数据以非iid（非独立和相同分布）方式分布的设置中-这在现实世界中是典型的-与iid数据上的训练相比，FL产生的联合模型在测试集准确性和/或通信成本方面受到影响。我们发现，在某些类型的非iid数据存在的情况下，学习单个联合模型往往不是最佳的。在这项工作中，我们提出了一个修改FL通过引入一个层次聚类步骤（FL+HC）来分离集群的客户端的相似性，他们的本地更新的全球联合模型。一旦分离，集群将在专门的模型上独立和并行地进行训练。我们提出了一个强大的经验分析的超参数FL+HC几个iid和非iid设置。我们展示了FL+HC如何允许模型训练在更少的通信回合中收敛（在某些非iid设置下显着），而FL没有聚类。此外，FL+HC允许更大比例的客户端达到目标精度相比，标准FL。最后，我们提出了良好的默认超参数，以促进卓越的性能专业化模型，而无需修改底层的联邦学习通信协议的建议。
2020-05-06 cs.LG stat.ML
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark（丹麦技术大学）
我们提出了一种联邦学习方法，用于在数据在客户端之间非相同和非独立分布（非IID）时学习客户端自适应的鲁棒模型。通过模拟异构客户端，我们表明，添加学习的客户端特定的条件提高模型的性能，该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现，并且当每个客户端的数据分布之间存在很大差异时特别有益，这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
FedOrbit: Adaptive Personalized Federated Learning for Non-IID LEO Satellite Constellations
FedOrbit针对LEO卫星星座的Non-IID数据问题，结合多类技术提升联邦学习性能，在遥感基准上较基线有显著准确率提升且误差小。
2026-08-11 cs.LG
Federated Learning with GAN-based Data Synthesis for Non-IID Clients
The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
联邦学习（FL）是近年来兴起的一种保护隐私的协作学习模式。然而，它受到客户端之间的非独立同分布（非IID）数据的影响。在本文中，我们提出了一种新的框架，命名为合成数据辅助联邦学习（SDA-FL），以解决这个非IID的挑战，通过共享合成数据。具体地，每个客户端预训练本地生成对抗网络（GAN）以生成差异私有合成数据，这些数据被上传到参数服务器（PS）以构建全局共享合成数据集。为了为合成数据集生成可信的伪标签，我们还提出了一种由PS执行的迭代伪标签机制。本地私有数据集和具有可信伪标签的合成数据集的组合导致客户端之间几乎相同的数据分布，这提高了本地模型之间的一致性，有利于全局聚合。大量的实验证明，该框架优于基线方法的大幅度在几个基准数据集下的监督和半监督设置。
2022-06-11 cs.LG
Aggregate or Not? Exploring Where to Privatize in DNN Based Federated Learning Under Different Non-IID Scenes
Nanjing University（南京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然联邦学习（FL）最近被提出用于高效的分布式训练和数据隐私保护，但它仍然遇到许多障碍。其中之一是客户端之间自然存在的统计异质性，使得本地数据分布不独立且相同地分布（即，非IID），这对模型聚合和个性化提出了挑战。对于具有深度神经网络（DNN）的FL，私有化某些层是解决非iid问题的简单而有效的解决方案。但是，我们应该私有化哪些层以促进学习过程？不同类别的非iid场景是否有偏好的私有化方式？我们能在FL过程中自动学习最合适的私有化方式吗？在本文中，我们回答了这些问题，通过大量的实验研究，几个FL基准。首先，我们给出了这些基准测试的详细统计数据，并将其分类为协变量和标签偏移非iid场景。然后，我们调查粗粒度和细粒度的网络分裂，并探讨是否首选的私有化方式有任何潜在的关系，一个非iid场景的特定类别。我们的发现令人兴奋，例如，即使在与某些自然图像不一致的标签偏移非IID场景中，私有化基本层也可以提高性能。我们还发现，这些私有化的方式可以提高莎士比亚的基准性能，我们猜测，莎士比亚可能不是一个严重的非iid现场。最后，我们提出了几种方法来自动学习通过十字绣，软注意力和硬选择聚集在哪里。我们主张提出的方法可以作为探索新颖的非iid场景私有化的初步尝试。
2021-07-26 cs.LG
StoCFL: A Stochastically Clustered Federated Learning Framework for Non-IID Data with Dynamic Client Participation
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Meta AI
本文提出StoCFL，一种随机聚类联邦学习框架，通过灵活支持任意比例客户端参与和新客户端加入，解决非独立同分布数据下的性能下降问题，并在未知聚类数下取得优于基线的结果。
2026-10-02 cs.CL cs.LG
UniFed: A Unified Framework for Federated Learning on Non-IID Image Features
The Chinese University of Hong Kong（香港中文大学）；The University of British Columbia（不列颠哥伦比亚大学）；Zhongnan Univeristy of Economics and Law（中南财经政法大学）；Institute for AI in Medicine (IKIM) at UK Essen（埃森大学医院医学人工智能研究所（IKIM））；Ruhr-University Bochum（波鸿鲁尔大学）；Monash University（莫纳什大学）
如何处理非iid数据是联邦学习中的一个重要课题。这个具有挑战性的问题不仅影响培训过程，而且还损害了未参加培训的客户的表现。现有的文献主要集中在任何一方，但仍然缺乏一个统一的解决方案来处理这两种类型（内部和外部）的客户端的联合方式。在这项工作中，我们提出了一个统一的框架来解决内部和外部客户的非iid问题。首先，我们建议在内部或外部客户端中使用特定于客户端的批量归一化来减轻由非iid数据引起的特征分布偏移。然后，我们提出了理论分析，以证明客户端特定的批量归一化的好处。具体来说，我们表明，我们的方法可以提高联邦训练的收敛速度，并为外部客户端提供较低的泛化误差。此外，我们使用因果推理，形成一个因果视图来解释我们的框架的优点。最后，我们对自然图像和医学图像进行了大量的实验来评估我们的方法，我们的方法达到了最先进的性能，更快的收敛速度，并表现出良好的兼容性。我们还对真实世界的医疗数据集进行了全面的分析研究，以证明其有效性。
2023-02-15 cs.LG
Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data
University of California San Diego（加利福尼亚大学圣迭戈分校）；Qualcomm AI Research（高通人工智能研究中心）
针对联邦学习在非独立同分布数据下性能下降的问题，提出Gen-FedSD方法，利用Stable Diffusion生成适配各客户端数据缺口的合成样本实现数据增强，达到前沿性能并节省通信成本。
2024-05-13 cs.AI cs.DC cs.LG
Personalized Federated Learning over non-IID Data for Indoor Localization
Northeastern University（东北大学）；Hanyang University（汉阳大学）
由于无线信道传播模型的物理特性的复杂性，使用数据驱动的方法定位和跟踪对象是一个热门话题。在这些建模方法中，需要收集数据以准确地训练模型，同时维护用户的隐私。联邦学习（FL）是一种以合作方式实现这些目标的有吸引力的方案。FL方案中的一个挑战是存在非独立和同分布（非IID）数据，这是由不同区域的不均匀探索造成的。在本文中，我们考虑使用最近FL计划训练一组个性化的模型，然后通过贝叶斯规则，这使得它适合在室内定位的背景下，最佳融合。
2021-07-21 cs.LG eess.SP
Feature Matching Data Synthesis for Non-IID Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；ZGC Lab（中关村实验室）
本文提出硬特征匹配数据合成方法HFMDS，通过学习类别关键特征并增强至决策边界以合成辅助数据，从而缓解联邦学习中的非独立同分布数据异质性问题，并在准确率、隐私和计算成本上优于基线。
2023-08-09 cs.AI cs.DC cs.LG
Stratify: Rethinking Federated Learning for Non-IID Data through Balanced Sampling
Department of Artificial Intelligence, Universiti Malaya（人工智能系，马来亚大学）
针对非IID数据下联邦学习性能下降的问题，本文提出Stratify框架，通过分层标签调度平衡类别和特征分布，结合标签感知客户端选择与高频更新，在多种数据集上实现与IID基线相当的性能并降低计算成本。
2025-04-18 cs.LG
