Mechanistic Evidence for Preserved-but-Misaligned Representations in Non-IID FedAvg
Lahore University of Management Sciences（拉瓦尔大学管理科学学院）
研究非独立同分布FedAvg性能下降原因，通过在稀疏客户端训练视觉模型中结合多种分析方法，发现其性能下降不能仅用表示擦除解释，还因保留内部结构与最终预测路径未对齐。
2026-07-16 cs.LG
Learning From Drift: Federated Learning on Non-IID Data via Drift Regularization
Deargen Inc.（Deargen公司）；Deargen USA Inc.（Deargen美国公司）
针对联邦学习在Non-IID数据上次优的问题，提出LfD方法，通过漂移估计和漂移正则化约束局部模型偏离方向，在泛化性等五个方面展现优越性。
2023-09-13 cs.LG
Homophily Outlier Detection in Non-IID Categorical Data
Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Center of Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Data Science Lab, University of Technology Sydney（悉尼科技大学数据科学实验室）
大多数现有的离群值检测方法假设离群值因子（即，离群值评分测量）（例如，特征值和数据对象）是独立且相同分布的（IID）。这个假设在现实世界的应用中并不成立，在现实世界的应用中，不同实体的离群值相互依赖和/或来自不同的概率分布（非IID）。这可能导致无法检测到重要的离群值，这些离群值太细微，无法在不考虑非IID性质的情况下识别。在更具挑战性的情况下，这一问题甚至更加突出，例如，具有许多噪声特征的高维数据。本文提出了一种新的离群点检测框架，并通过捕获非IID离群点因子来识别分类数据中的离群点。我们的方法首先定义并将分布敏感的离群因素及其相互依赖性纳入基于值-值图的表示中。然后，它在值图中建模离群传播过程以学习特征值的离群性。学习值离群允许直接离群值检测或离群特征选择。图表示和挖掘的方法，在这里很好地捕捉丰富的非IID特征。我们在15个具有不同数据复杂度的真实数据集上的实证结果表明：（i）在95%/99%的置信水平下，本文提出的离群点检测方法显著优于五种最先进的方法，在10个最复杂的数据集上实现了10%-28%的AUC改善;以及（ii）所提出的特征选择方法在实现两个不同现有检测器的后续离群值检测方面显著优于三种竞争方法。
2021-03-21 cs.AI cs.LG stat.ML
Federated Geometric Monte Carlo Clustering to Counter Non-IID Datasets
University of Luxembourg（卢森堡大学）；University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
联邦学习允许客户在不同位置获取的数据集上协作训练模型，这些数据集由于其大小或法规而无法交换。这种收集的数据越来越不独立和不相同分布（非IID），对训练准确性产生负面影响。以前的工作试图减轻非IID数据集对训练精度的影响，主要集中在非IID标签上，但实际数据集通常也包含非IID特征。为了解决非IID标签和功能，我们提出了FedGMCC，一个新的框架，中央服务器聚合客户端模型，它可以集群在一起。FedGMCC聚类依赖于蒙特卡洛过程，该过程对客户端模型的输出空间进行采样，推断它们在损失流形上的权重空间中的位置，并通过仿射曲线参数化计算它们的几何连接。FedGMCC沿着其路径连接性聚合连接模型，以产生更丰富的全局模型，并结合所有连接的客户端模型的知识。FedGMCC在EMNIST 62和基因组序列分类数据集的收敛速度方面优于FedAvg和FedProx（高达+63%）。在高非IID特征空间设置和标签不一致性中，FedGMCC相对于CFL在基因组数据集上产生了更高的准确性（+4%）。
2022-04-23 cs.DC cs.LG
PSI-PFL: Population Stability Index for Client Selection in non-IID Personalized Federated Learning
Sapienza University of Rome（萨皮恩扎罗马大学）；Telefonica（电信公司）
针对非独立同分布数据导致的联邦学习性能下降问题，提出PSI-PFL框架，利用人口稳定性指数选择同质客户端以缓解数据异构性，在多种模态上显著提升全局准确率并超越基线10%。
2025-05-31 cs.LG
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
联邦学习面临着性能和网络通信的挑战，特别是在数据在客户端之间不是独立和相同分布（IID）的环境中。为了解决前一个挑战，我们引入了联邦集中式一致性属性，并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者，我们提出了联邦多小批量的方法，并说明它可以建立一个性能和通信效率之间的权衡，并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
Federated Learning with GAN-based Data Synthesis for Non-IID Clients
The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
联邦学习（FL）是近年来兴起的一种保护隐私的协作学习模式。然而，它受到客户端之间的非独立同分布（非IID）数据的影响。在本文中，我们提出了一种新的框架，命名为合成数据辅助联邦学习（SDA-FL），以解决这个非IID的挑战，通过共享合成数据。具体地，每个客户端预训练本地生成对抗网络（GAN）以生成差异私有合成数据，这些数据被上传到参数服务器（PS）以构建全局共享合成数据集。为了为合成数据集生成可信的伪标签，我们还提出了一种由PS执行的迭代伪标签机制。本地私有数据集和具有可信伪标签的合成数据集的组合导致客户端之间几乎相同的数据分布，这提高了本地模型之间的一致性，有利于全局聚合。大量的实验证明，该框架优于基线方法的大幅度在几个基准数据集下的监督和半监督设置。
2022-06-11 cs.LG
Towards IID representation learning and its application on biomedical data
University Hospital, University of Zurich（苏黎世大学附属医院）；University of Bern（伯尔尼大学）；City University of Hong Kong（香港城市大学）；University of Oxford（牛津大学）
由于现实世界数据的异质性，广泛接受的独立同分布（IID）假设在最近的因果关系研究中受到了批评。在本文中，我们认为，而不是一个有问题的假设，IID是一个基本的任务相关的属性，需要学习。考虑$k$独立随机向量$\mathsf{X}^{i = 1, \ldots, k}$，我们详细说明了如何可以重新制定各种不同的因果问题，以学习任务相关的功能$ϕ$，诱导IID之间的$\mathsf{Z}^i := ϕ\circ \mathsf{X}^i$，我们称之为IID表示学习。为了证明概念，我们研究了在分布外（OOD）泛化任务上的IID表示学习。具体而言，通过利用通过诱导IID的学习函数获得的表示，我们对两个生物医学数据集进行分子特征预测（分子预测），其中真实世界的分布偏移由a）分析前变异和b）采样协议引入。为了实现再现性并与最先进（SOTA）方法进行比较，请遵循WILDS推荐的OOD基准测试指南。与WILDS中支持的SOTA基线相比，结果证实了IID表示学习在OOD任务上的优越性能。该代码可通过https://github.com/CTPLab/IID_representation_learning公开访问。
2022-03-01 cs.CV cs.LG
FedVCK: Non-IID Robust and Communication-Efficient Federated Learning via Valuable Condensed Knowledge for Medical Image Analysis
Peking University（北京大学）；The University of Queensland（昆士兰大学）
本文提出FedVCK联邦学习方法，通过在客户端浓缩并选择模型未吸收的高价值知识，结合服务器端关系监督对比学习，在有限通信预算下有效解决医疗图像分析中的non-IID问题并提升性能。
2024-12-24 cs.LG
FedBN: Federated Learning on Non-IID Features via Local Batch Normalization
Yale University（耶鲁大学）；Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；Iowa State University（爱荷华州立大学）；Monash University（蒙纳士大学）
新兴的联邦学习（FL）范式致力于在网络边缘实现深度模型的协作训练，而无需集中聚合原始数据，从而提高数据隐私。在大多数情况下，本地客户端之间独立且相同分布的样本的假设不适用于联邦学习设置。在此设置下，神经网络训练性能可能会根据数据分布而显著变化，甚至损害训练收敛。以前的大部分工作都集中在标签分布或客户端转移的差异上。与这些设置不同，我们解决了FL的一个重要问题，例如，医学成像中的不同扫描仪/传感器、自动驾驶中的不同场景分布（高速公路与城市），其中本地客户端存储与其他客户端相比具有不同分布的示例，我们将其表示为特征移位非IID。在这项工作中，我们提出了一种有效的方法，使用本地批量归一化，以减轻平均模型之前的特征偏移。由此产生的方案，称为FedBN，优于经典的FedAvg，以及国家的最先进的非iid数据（FedProx）在我们广泛的实验。这些实证结果得到了收敛分析的支持，该分析表明，在简化的设置中，FedBN具有比FedAvg更快的收敛速度。代码可在https://github.com/med-air/FedBN上获得。
2021-05-11 cs.LG
Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多大型胸部X射线数据集已经率先使用深度学习进行专家级异常检测。然而，这些数据集专注于检测可能存在的疾病标签的子集，从而使它们具有部分标签的分布式和非iid。最近的文献表明，由于与带有部分标签的非iid数据相关的域偏移，批量归一化层对联邦学习收敛的影响。为此，我们提出了FedFBN，这是一个联邦学习框架，它通过使用预训练网络作为模型后端并在整个训练过程中冻结批量归一化层，从迁移学习中汲取灵感。我们使用合成iid玩具数据集和具有部分和完整标签的大规模非iid数据集，使用当前FL策略评估FedFBN。我们的研究结果表明，FedFBN优于当前的聚合策略，用于使用带有部分标签的分布式和非iid数据训练全局模型。
2023-03-10 cs.AI cs.CV cs.LG
Generative Data Augmentation for Non-IID Problem in Decentralized Clinical Machine Learning
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
群学习是一种新兴的分散式机器学习范式，在临床应用中取得了很好的效果。SL通过结合边缘计算和基于区块链的对等网络，解决了联邦学习中的中心结构问题。虽然在假设参与者之间的独立和相同分布（IID）的数据有希望的结果，SL遭受性能下降的程度的非IID数据的增加。为了解决这个问题，我们提出了一个生成增强框架称为SL-GAN，它通过从参与者生成合成数据来增强非IID数据。SL-GAN在本地训练生成器和鉴别器，并通过SL网络中随机选择的协调器定期聚合。在标准假设下，我们从理论上证明了SL-GAN的收敛性使用随机逼近。实验结果表明，SL-GAN在三个真实世界的临床数据集上的性能优于最先进的方法，包括结核病，白血病，COVID-19。
2022-12-02 cs.DC cs.LG
Global Layers: Non-IID Tabular Federated Learning
IBM（国际商业机器公司）
本文提出全局层（GL）方法，通过部分模型个性化解决表格联邦学习中非独立同分布数据及客户端独占特征/类别问题，实验表明其优于FedAvg和本地训练。
2023-05-29 cs.LG
Non-IID Quantum Federated Learning with One-shot Communication Complexity
Zhili College, Tsinghua University（清华大学致理书院）
联合学习是指基于来自多个客户端的分散数据的机器学习任务，具有安全的数据隐私。最近的研究表明，量子算法可以用来提高其性能。然而，当客户端的数据不是独立同分布的（IID），传统的联邦算法的性能是已知的恶化。在这项工作中，我们探讨了非IID问题在量子联邦学习的理论和数值分析。我们进一步证明了一个全局量子信道可以被精确地分解成由每个客户端训练的局部信道，并借助于局部密度估计器。这一观察结果为具有一次性通信复杂性的非IID数据的量子联邦学习提供了一个通用框架。数值仿真表明，该算法在非IID设置下明显优于传统算法。
2023-01-18 cs.DC cs.LG quant-ph
Federated Learning on Non-IID Data Silos: An Experimental Study
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
由于日益增加的隐私问题和数据法规，训练数据已经越来越碎片化，形成了多个“数据孤岛”的分布式数据库（例如，在不同的组织和国家）。为了开发有效的机器学习服务，必须在不交换原始数据的情况下利用来自这种分布式数据库的数据。最近，联邦学习（FL）已经成为一个越来越受关注的解决方案，它使多方能够协作训练机器学习模型，而无需交换他们的本地数据。分布式数据库面临的一个关键和共同的挑战是数据在各方之间分布的异构性。不同方的数据通常是非独立且相同分布的（即，非IID）。已经有许多FL算法来解决非IID数据设置下的学习有效性。然而，缺乏一个实验研究，系统地了解他们的优点和缺点，因为以前的研究有非常僵化的数据划分策略之间的各方，这是很难代表性和彻底。为了帮助研究者更好地理解和研究联邦学习中非IID数据的设置，本文提出了一种全面的数据划分策略来覆盖典型的非IID数据情况。此外，我们进行了广泛的实验，以评估国家的最先进的FL算法。我们发现，非IID的FL算法的学习精度带来了重大挑战，现有的最先进的FL算法在所有情况下都优于其他算法。我们的实验为未来解决“数据孤岛”挑战的研究提供了见解。
2021-10-28 cs.DC cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）；Myant Inc.（迈安特公司）
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的，并且相对较慢，在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法（FLT），通过学习客户端之间的任务相关性来更有效地联合聚合异构数据，从而概括了这一方向。在一个一次性的过程中，服务器为客户端提供一个预先训练（和微调）的编码器，将其数据压缩成潜在的表示，并将其数据的签名传输回服务器。然后，服务器通过流形学习来学习客户端之间的任务相关性，并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图，当没有显式的客户端集群，以及有效地将其分解成（不相交）集群的联邦学习。我们证明，FLT不仅优于现有的国家的最先进的基线在非IID的情况下，但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
EvoluNet: Advancing Dynamic Non-IID Transfer Learning on Graphs
Virginia Tech（弗吉尼亚理工大学）；Dartmouth College（达特茅斯学院）；Deloitte & Touche LLP（德勤全球有限公司）；Virginia Tech National Security Institute（弗吉尼亚理工大学国家安全研究所）
针对图上动态Non-IID迁移学习中域演化与动态差异的挑战，提出泛化界并构建EvoluNet框架，通过时序编码和动态域统一模块学习域不变表示，性能较最优模型最高提升12.1%。
2024-08-12 cs.LG
Bayesian Out-Trees
Columbia University（哥伦比亚大学）
提供了一种用于非iid数据的潜在有向图结构的贝叶斯处理，其中每个子数据被采样为具有对单个未知父数据的有向条件依赖。潜图的结构被假定为位于家庭的有向出树图，从而导致有效的贝叶斯推理。数据的潜在似然性及其梯度可以通过Tutte的有向矩阵树定理使用外拉普拉斯算子的行列式和逆以封闭形式计算。这种新的似然包含iid似然，是可交换的，并产生有效的无监督和半监督学习算法。除了处理分类学和系统发育数据集外，外树假设在标准iid数据集上作为半参数密度估计器表现得令人惊讶。在各种UCI和分类数据集上显示了无监督和半监督学习的实验。
2012-06-13 cs.LG stat.ML
Heterogeneity-Guided Client Sampling: Towards Fast and Efficient Non-IID Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对 Non-IID 联邦学习中通信受限下的客户端选择问题，提出 HiCS-FL，利用输出层更新估计数据异质性并进行层次聚类采样，实现更快收敛、更低计算成本和更强场景适应性。
2024-10-03 cs.LG
When is gray-box modeling advantageous for virtual flow metering?
NTNU（挪威科技大学）；Solution Seeker；TechnipFMC
在虚拟流量计量应用中集成物理学和机器学习被称为灰箱建模。该组合被认为增强了多相流率预测。然而，灰箱模型的优越性尚未在文献中得到证明。本文研究了灰盒模型有望优于基于物理和数据驱动模型的场景。该实验是用合成数据进行的，其中基础数据生成过程的属性是已知的和受控的。结果表明，灰箱模型产生的预测精度增加了基于物理的模型在存在的过程模型失配。当可用数据量很小时，它们还显示了对数据驱动模型的改进。另一方面，灰箱和数据驱动模型同样受到噪声测量的影响。最后，结果表明，灰箱方法可能是有利的，在非平稳过程条件。不幸的是，在训练之前选择最好的模型是具有挑战性的，模型开发的开销是不可避免的。
2021-10-11 cs.LG cs.SY eess.SY
Mitigating Non-IID Drift in Zeroth-Order Federated LLM Fine-Tuning with Transferable Sparsity
Stevens Institute of Technology（史蒂文斯理工学院）；Princeton University（普林斯顿大学）；Duke University（杜克大学）；Google LLC（谷歌公司）；Lambda Inc.（Lambda公司）
本文提出Meerkat及Meerkat-vp，通过可迁移静态稀疏参数子集和虚拟路径GradIP轨迹分析，缓解零阶联邦大语言模型微调中的非独立同分布漂移问题，提升通信效率与模型质量。
2025-06-03 cs.AI cs.LG
FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under Non-IID Data
Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Shandong Computer Science Center（山东省计算中心）；Guizhou University（贵州大学）；Zhejiang University（浙江大学）
联邦学习是一种分布式学习，允许每个客户端将原始数据保存在本地，只将本地模型的参数上传到服务器。尽管联邦学习可以解决数据孤岛问题，但在实际应用中对异构数据进行训练仍然具有挑战性。在本文中，我们提出了FedSiam-DA，一种新的双聚合对比联邦学习方法，个性化的本地和全局模型，在各种设置的数据异构性。首先，FedSiam-DA基于连体网络中对比学习的思想，在局部训练时将局部和全局模型视为连体网络的不同分支，通过不断改变模型相似度来控制模型的更新方向，实现局部模型的个性化。其次，FedSiam-DA为每个局部模型引入了基于模型相似度的动态权重，并采用双聚合机制进一步提高了全局模型的泛化能力。此外，我们提供了大量的基准数据集上的实验，结果表明，FedSiam-DA实现优于以往的FL方法在异构数据集上。
2022-11-18 cs.LG
Concept-aware clustering for decentralized deep learning under temporal shift
Chalmers University of Technology（查尔姆斯理工大学）；RISE Research Institutes of Sweden（瑞典RISE研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
针对去中心化学习中非独立同分布且随时间偏移的动态数据，提出一种无需先验概念数量的概念感知聚类算法，自动发现并适应演变概念，在标准基准上超越现有方法。
2023-06-22 cs.LG
Inverse Distance Aggregation for Federated Learning with Non-IID Data
Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Imperial College London（帝国理工学院）
联邦学习（FL）是近年来在医学影像学领域的一种很有前途的学习方法。FL中的一个关键问题，特别是在医疗场景中，是要有一个更准确的共享模型，这是鲁棒的噪声和外的分布客户端。在这项工作中，我们解决了FL数据的统计异质性问题，这在医学数据中是非常合理的，例如数据来自不同的扫描仪设置的不同站点。我们提出了IDA（逆距离聚合），一种新的自适应加权方法的客户端的基础上处理不平衡和非iid数据的元信息。我们广泛地分析和评估我们的方法对著名的FL方法，联邦平均作为基线。
2020-08-17 cs.CV cs.LG stat.ML
Experimenting with Normalization Layers in Federated Learning on non-IID scenarios
University of Turin（都灵大学）；Leonardo S.p.A.（莱昂纳多股份公司）
训练深度学习（DL）模型需要大型、高质量的数据集，通常由来自不同机构的数据组成。联邦学习（FL）已经成为一种通过迭代地全局聚合本地训练模型来采用来自不同机构的协作训练的数据集的隐私保护池化的方法。FL的一个关键性能挑战是在联邦参与者之间不独立且相同分布（非IID）的数据集上操作。尽管这种脆弱性无法消除，但可以通过两个超参数的适当优化来揭穿：层归一化方法和协作频率选择。在这项工作中，我们对五个不同的归一化层进行了基准测试，用于训练神经网络（NN），两个非IID数据偏斜家族和两个数据集。结果表明，广泛用于集中式DL的批量归一化不是FL的最佳选择，而组和层归一化始终优于批量归一化。类似地，频繁的模型聚合降低了收敛速度和模式质量。
2023-03-19 cs.AI cs.DC cs.LG
Beyond Non-IID: Learner--Client Distribution Mismatch in Federated Learning
Northeastern University（东北大学）
本文针对联邦学习中学习者与客户端的分布不匹配问题，提出动态感知影响力的客户端选择框架，在CIFAR-10数据集上验证其性能优于基线，可加快收敛并提升准确率。
2026-08-31 cs.LG
FedBA: Non-IID Federated Learning Framework in UAV Networks
Heilongjiang University（黑龙江大学）
随着科学技术的发展和进步，物联网（IoT）逐渐走进人们的生活，给我们的生活带来了极大的便利，提高了人们的工作效率。具体来说，物联网可以取代人类从事他们无法完成的工作。作为一种新型的物联网交通工具，无人机的研究现状和趋势令人欣喜，发展前景十分看好。然而，隐私和通信仍然是无人机应用中非常严重的问题。这是因为大多数无人机仍然使用集中的基于云的数据处理，这可能导致无人机收集的数据泄露。同时，无人机收集的大量数据在传输到云端时可能会产生更大的通信开销。联邦学习作为隐私保护的一种手段可以有效地解决上述两个问题。然而，联邦学习在应用于无人机网络时，还需要考虑数据的异构性，这是由无人机监管的地区差异造成的。为此，提出了一种新的全局模型优化算法FedBA，解决了数据异构问题。将该算法应用于真实数据集，实验结果表明，该算法优于其他算法，提高了无人机局部模型的精度。
2022-12-27 cs.LG
StoCFL: A Stochastically Clustered Federated Learning Framework for Non-IID Data with Dynamic Client Participation
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Meta AI
本文提出StoCFL，一种随机聚类联邦学习框架，通过灵活支持任意比例客户端参与和新客户端加入，解决非独立同分布数据下的性能下降问题，并在未知聚类数下取得优于基线的结果。
2026-10-02 cs.CL cs.LG
DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
联邦学习（FL）致力于实现机器学习模型的协作训练，而无需集中收集客户的私人数据。与集中式训练不同，FL中跨客户端的本地数据集是非独立和同分布的（非IID）。此外，拥有数据的客户端可以任意退出训练过程。这些特征将显著降低训练性能。提出了一种基于拉格朗日编码计算（LCC）的丢包恢复安全联邦学习（DReS-FL）框架，以解决非IID和丢包问题。其关键思想是利用拉格朗日编码在客户端之间秘密共享私有数据集，以便每个客户端接收全局数据集的编码版本，并且在该数据集上的局部梯度计算是无偏的。为了在服务器上正确解码梯度，梯度函数必须是有限域中的多项式，因此我们构建多项式整数神经网络（PINNs）来实现我们的框架。理论分析表明，DReS-FL具有较好的客户端退出弹性，并为本地数据集提供了隐私保护。此外，我们的实验表明，DReS-FL一贯导致显着的性能增益超过基线方法。
2022-10-06 cs.CR cs.LG
A Robust Clustered Federated Learning Approach for Non-IID Data with Quantity Skew
Université Toulouse UT3, IRIT, CNRS（法国图卢兹大学UT3，IRIT，CNRS）；INU Champollion ISIS Castres, IRIT, CNRS（法国夏莫利翁 ISIS 铸造城学院，IRIT，CNRS）；Université Toulouse UT2J, IRIT, CNRS（法国图卢兹大学UT2J，IRIT，CNRS）
针对现有聚类联邦学习方法在数量倾斜非独立同分布数据下鲁棒性不足的问题，本文评估了前沿算法在多数量倾斜场景下的表现，并提出协同两种运行策略的CORNFLQS算法，在6个数据集的270种配置中准确率与聚类质量均最优。
2025-10-03 cs.AI cs.LG
Privacy Preserving and Robust Aggregation for Cross-Silo Federated Learning in Non-IID Settings
University of Pavia（帕维亚大学）
针对非独立同分布数据下FedAvg性能下降及传输元数据引发的隐私风险，提出类感知梯度掩码聚合策略，仅依赖梯度更新增强隐私保护，并基于类别重要性动态加权客户端贡献，有效提升了模型对非独立同分布、收敛阻止及后门攻击的鲁棒性。
2025-03-06 cs.AI cs.CR cs.LG
FedPBS: Proximal-Balanced Scaling Federated Learning Model for Robust Personalized Training for Non-IID Data
Computer Science Department, Faculty of Science, Menoufia University（数学与计算机科学系，孟菲亚大学）；Computer Science Department, Faculty of Computers and Information, Menoufia University（计算机科学系，计算机与信息学院，孟菲亚大学）
FedPBS结合FedBS和FedProx的优点，动态调整批量大小并应用近端校正，提升非IID数据下的收敛性和模型质量。
2026-03-24 cs.AI cs.DC cs.LG
FedKBP: Federated dose prediction framework for knowledge-based planning in radiation therapy
本文提出FedKBP框架，通过联邦学习实现放射治疗中基于知识计划的剂量预测，实验表明联邦训练在优化速度和测试得分上优于个体训练，在IID下与集中式训练相当，但在non-IID下需更复杂方法应对数据差异。
2025-01-28 cs.AI cs.LG
CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with Clustered Aggregation and Knowledge DIStilled Regularization
Hanoi University of Science and Technology（河内科技大学）；VinUniversity（Vin大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
本文提出CADIS框架，通过聚类聚合和知识蒸馏正则化解决联邦学习中的聚类偏斜非IID数据问题，实验表明相比FedAvg准确率最高提升16%。
2023-04-15 cs.CV cs.LG
Approximate Fisher Kernels of non-iid Image Models for Image Categorization
Milsoft（米尔索夫公司）；Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔分院）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
词袋（BoW）模型将图像视为局部描述符的集合，并通过视觉单词直方图来表示它们。Fisher向量（FV）表示通过考虑局部描述符的一阶和二阶统计量来扩展BoW。在这两种表示中，局部描述符被假设为相同且独立分布（iid），从建模的角度来看，这是一个糟糕的假设。已经实验观察到，BoW和FV表示的性能可以通过采用诸如功率归一化的折扣变换来改善。在本文中，我们引入了非iid模型，通过处理的模型参数作为潜在的变量是集成了，使所有的局部区域依赖。使用Fisher核原理，我们通过数据对数似然w.r.t.的梯度来编码图像。模型超参数我们的模型自然会在表示中产生折扣效应;这表明这种转换已被证明是成功的，因为它们与非iid模型获得的表示密切对应。为了实现易于处理的计算，我们依赖于变分自由能界来学习超参数并计算近似Fisher核。我们的实验评估结果验证，我们的模型导致性能的改善，使用功率归一化，在国家的最先进的特征聚合方法。
2015-10-03 cs.CV cs.LG
Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data
York University（约克大学）
联邦学习（FL）是一种分布式学习范式，它使大量资源有限的节点能够在没有数据共享的情况下协作训练模型。非独立同分布（non-i.i.d.）数据样本引起全局和局部目标之间的差异，使得FL模型收敛缓慢。本文提出了最优聚合算法，通过检查局部梯度与全局梯度的关系，识别并排除不利的局部更新，从而找出参与节点在每一轮全局更新中的最优局部更新子集。然后，我们提出了一个概率节点选择框架（FedPNS），根据最优聚合的输出动态地改变每个节点被选择的概率。FedPNS可以优先选择推动模型收敛更快的节点。该设计的无偏性的FedPNS和FedPNS的收敛速度的改善通常采用联邦平均（FedAvg）算法进行了理论分析。实验结果表明，FedPNS在加速FL收敛速度的有效性，相比FedAvg随机节点选择。
2022-02-03 cs.AI cs.LG
Dataset Distillation-based Hybrid Federated Learning on Non-IID Data
College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China（浙江工业大学信息工程学院，杭州 310023，中国）；Zhejiang Key Laboratory of Intelligent Perception and Control for Complex Systems, Hangzhou, China（浙江省复杂系统智能感知与控制重点实验室，杭州，中国）；College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China（浙江大学控制科学与工程学院，杭州 310027，中国）；Computing Science and Internet of Things, Newcastle University, NE1 7RU Newcastle, UK（新castle大学计算科学与物联网学院，NE1 7RU Newcastle, UK）
本文提出HFLDD框架，通过数据集蒸馏生成近似独立等分布数据，缓解非IID数据对模型训练的影响，实验表明在严重类别不平衡时提升测试准确率和通信效率。
2026-03-24 cs.AI cs.LG
Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本研究开发了一个联邦学习（FL）框架，克服了由于典型框架中模型大小而导致的大量增量通信成本，而不会影响模型性能。为此，基于利用未标记开放数据集的思想，我们提出了一种基于蒸馏的半监督FL（DS-FL）算法，该算法在移动设备之间交换本地模型的输出，而不是典型框架所采用的模型参数交换。在DS-FL中，通信成本仅取决于模型的输出尺寸，并且不根据模型大小按比例增加。交换的模型输出用于标记开放数据集的每个样本，这会创建一个额外标记的数据集。基于新的数据集，局部模型被进一步训练，并且由于数据增强效应，模型性能被增强。我们进一步强调，在DS-FL中，设备数据集的异质性导致每个数据样本的模糊性和训练收敛性的降低。为了防止这种情况，我们提出了熵减少平均，其中聚合的模型输出被有意地锐化。此外，大量的实验表明，DS-FL降低通信成本高达99%，相对于FL基准，同时实现类似或更高的分类精度。
2021-01-20 cs.DC cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University（杜克大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习是一种流行的分布式机器学习范例，具有增强的隐私性。它的主要目标是学习一个全球模型，为尽可能多的参与者提供良好的性能。该技术正在快速发展，面临许多尚未解决的挑战，其中包括统计异质性（即，非IID）和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中，我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架，通过利用彩票假设。在LotteryFL中，每个客户端学习彩票网络（即，基本模型的子网络），并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同，每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸，通信成本可以显著降低。为了支持我们框架的训练和评估，我们考虑特征分布偏差、标签分布偏差和数量偏差，基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明，LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions
Purdue University（普渡大学）
分布式数据集上的分散式学习在代理之间可能具有显著不同的数据分布。现有的分布式算法大多假设数据分布是独立同分布的。本文的重点是改进非IID数据的分散学习。我们提出了\textit{Neighborhood Gradient Clustering (NGC)}，一种新的分散式学习算法，修改每个代理使用自我和交叉梯度信息的局部梯度。一对相邻智能体的交叉梯度是一个智能体的模型参数相对于另一个智能体的数据集的导数。特别地，所提出的方法用自梯度、模型变量交叉梯度（邻居参数相对于本地数据集的导数）和数据变量交叉梯度（本地模型相对于其邻居数据集的导数）的加权平均值来替换模型的局部梯度。通过额外的通信回合聚合数据变量交叉梯度，而不打破隐私约束。此外，我们提出了\textit{CompNGC}，一个压缩版本的\textit{NGC}，减少了通信开销的$32 \times$。我们从理论上分析了所提出的算法的收敛速度，并证明了其效率从{各种视觉和语言}训练数据集采样的非IID数据。我们的实验表明，\textit{NGC}和\textit{CompNGC}优于（通过$0-6\%$）现有的SoTA分散式学习算法在非IID数据的计算和内存需求显着减少。此外，我们的实验表明，在每个代理本地可用的模型变量交叉梯度信息可以通过$1-35\%$提高非IID数据的性能，而无需额外的通信成本。
2023-03-20 cs.DC cs.LG cs.MA
FedClust: Optimizing Federated Learning on Non-IID Data through Weight-Driven Client Clustering
School of Computing and Informatics, University of Louisiana at Lafayette（路易斯安那大学拉法叶分校计算与信息学院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；University of Delaware（特拉华大学）
针对联邦学习中非独立同分布数据导致的性能下降及现有聚类联邦学习方法通信成本高、聚类数需预定义的问题，提出基于部分模型权重的一次性客户端聚类方法FedClust，可动态接纳新客户端，在准确率和通信成本上均优于基线。
2024-03-07 cs.DC cs.LG
Feature Matching Data Synthesis for Non-IID Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；ZGC Lab（中关村实验室）
本文提出硬特征匹配数据合成方法HFMDS，通过学习类别关键特征并增强至决策边界以合成辅助数据，从而缓解联邦学习中的非独立同分布数据异质性问题，并在准确率、隐私和计算成本上优于基线。
2023-08-09 cs.AI cs.DC cs.LG
Two Heads Are Better than One: Model-Weight and Latent-Space Analysis for Federated Learning on Non-iid Data against Poisoning Attacks
Miner School of Computer and Information Sciences, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校计算机与信息科学学院）；Department of Computer Science and Engineering, University of South Florida（南佛罗里达大学计算机科学与工程系）；Department of Computer Science, University of Kentucky（肯塔基大学计算机科学系）；Department of Computer and Information Technology, Purdue University（普渡大学计算机与信息技术系）；Department of Civil, Construction, and Environmental Engineering, North Carolina State University（北卡罗来纳州立大学土木、建筑与环境工程系）
针对联邦学习在非独立同分布数据下易受模型投毒攻击的问题，提出轻量级无监督防御方法GeminiGuard，融合模型权重与潜在空间分析，在多种攻击场景下优于现有最先进防御。
2025-03-30 cs.AI cs.LG
Causally Fair Node Classification on Non-IID Graph Data
Clemson University（克莱姆森大学）；University of Arkansas（亚拉巴马大学）；Walmart Inc.（沃尔玛公司）
针对图数据中节点因果机制异质性违反经典因果模型假设的问题，提出基于网络结构因果模型的消息传递变分自编码器，通过计算干预分布实现因果公平节点分类，理论保证可分解性和图独立性条件，实验验证其有效缓解偏差。
2026-06-23 cs.AI cs.LG
Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics
Beijing University of Posts and Telecommunications（北京邮电大学）
针对长尾和非独立同分布数据中尾类稀疏分布导致模型聚合性能下降的问题，提出两阶段解耦联邦学习框架DFL-FS，通过特征统计聚类和特征再生校准分类器，在CIFAR10-LT和CIFAR100-LT数据集上提升了准确性和收敛速度。
2024-03-13 cs.AI cs.LG
Federated Active Learning Under Extreme Non-IID and Global Class Imbalance
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
FairFAL通过自适应类别公平机制，在极端非IID和全局类别不平衡环境下提升联邦主动学习性能。
2026-03-11 cs.AI cs.LG
Cooperative Multi-Agent Reinforcement Learning for Adaptive Aggregation in Semi-Supervised Federated Learning with non-IID Data
Institute of Communication Acoustics, Ruhr-Universität Bochum（鲁尔大学波鸿分校通信声学研究所）
针对非独立同分布数据半监督联邦学习的挑战，提出pFedMARL方法，利用多智能体强化学习动态调整聚合策略，提升模型准确率、鲁棒性与公平性，性能优于FedAvg等方法。
2026-08-27 cs.DC cs.LG cs.SD
Federated Training of Dual Encoding Models on Small Non-IID Client Datasets
Google Research（谷歌研究院）
本文针对小型非IID客户端数据上的对偶编码模型联邦训练问题，提出分布式互相关优化方法DCCO，通过聚合跨客户端编码统计量模拟大批量训练，在不共享原始数据的前提下显著优于现有联邦变体。
2023-04-10 cs.CV cs.LG
Federated Subspace Guided Vision-Language-Action Policy Distillation for Non-IID Multi-Robot Manipulation
提出FedDRMan联邦子空间引导蒸馏框架，通过低秩多模态子空间蒸馏和基于更新兼容性的聚类聚合，解决非独立同分布多机器人操作中的表征漂移，在LIBERO上以80.7%成功率超越强基线11.6个百分点。
2026-09-29 cs.CV cs.DC cs.LG
Adaptive Dual-Mode Distillation with Incentive Schemes for Scalable, Heterogeneous Federated Learning on Non-IID Data
Department of Computer Science, University of Gujrat（计算机科学系，瓜杰拉大学）
针对联邦学习中的模型异构、non-IID 统计异构及参与激励问题，提出 DL-SH、DL-MH 与 I-DL-MH 双模蒸馏方法，显著提升准确率并降低通信成本。
2025-09-26 cs.CV cs.LG
Probabilistic Federated Prompt-Tuning with Non-IID and Imbalanced Data
Washington State University（华盛顿州立大学）；Princeton University（普林斯顿大学）；IBM Research（IBM研究院）；University of Florida（佛罗里达大学）；University of California San Diego（加州大学圣迭戈分校）
针对联邦学习中数据非独立同分布与不平衡问题，提出概率提示聚合方法，将联邦学习转化为分布式集合建模，显著优于现有基线，有效对抗极端数据异质性。
2025-02-27 cs.AI cs.LG
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
联邦学习允许多方在其组合数据上联合训练深度学习模型，而无需任何参与者将其本地数据透露给集中式服务器。然而，这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题，在分布式训练文献中已经提出了几种压缩方法，可以将所需的通信量减少多达三个数量级。然而，这些现有的方法在联邦学习设置中仅具有有限的效用，因为它们或者仅压缩从客户端到服务器的上游通信（使下游通信未压缩），或者仅在理想化条件（诸如客户端数据的iid分布）下表现良好，这通常不能在联邦学习中找到。在这项工作中，我们提出了稀疏三进制压缩（STC），一个新的压缩框架，专门设计，以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明，STC在常见的联邦学习场景中明显优于联合平均，其中客户端a）持有非iid数据，b）在训练期间使用小批量，或者c）客户端数量很大，每个通信回合的参与率很低。我们还表明，即使客户端持有iid数据并使用中等规模的批次进行训练，STC仍然表现出Pareto优于Federated Averaging，因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
联邦学习是一种分布式机器学习方法，其使得共享服务器模型能够通过将本地计算的参数更新与来自空间分布的客户端筒仓的训练数据聚合来进行学习。虽然联邦学习在规模和隐私方面都有优势，但它受到了域转移问题的影响，在域转移问题中，学习模型无法推广到数据分布是非独立同分布的不可见域。在训练领域。在这项研究中，我们提出了联邦不变学习一致性（FedILC）的方法，它利用梯度协方差和几何平均值的Hessians捕获筒仓间和筒仓内的环境，并解开域转移问题在联邦网络。基准测试和真实世界的数据集实验证明，我们提出的算法优于传统的基线和类似的联邦学习算法。这与诸如医疗保健、计算机视觉和物联网（IoT）的各种领域相关。代码发布于https://github.com/mikemikezhu/FedILC。
2022-05-19 cs.AI cs.DC cs.LG
Federated Proximal Optimization for Privacy-Preserving Heart Disease Prediction: A Controlled Simulation Study on Non-IID Clinical Data
Department of Computer Sciences, Lahore Garrison University, Lahore 54000, Pakistan（拉合尔 Garrison 大学计算机科学系）；Department of Physics, Southern Methodist University, Dallas, TX 75205, U.S.A.（南方 Methodist 大学物理系）；Department of Software, Faculty of Artificial Intelligence and Software, Gachon University, Seongnam-si 13120, Gyeonggi-do, Republic of Korea（Gachon 大学软件系）
本文提出基于联邦近端优化的隐私保护心脏病预测方法，通过模拟非IID临床数据验证了其在提升模型准确率和保护患者隐私方面的有效性。
2026-01-23 cs.AI cs.LG
