FedUV: Uniformity and Variance for Heterogeneous Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Hippo T&C(河马T&C公司)
针对联邦学习中数据异构导致的性能下降问题,提出基于分类器维度分布方差和编码器表征超球面均匀性的正则化方法FedUV,在高度非IID场景下性能提升显著且可扩展至更大模型与数据集。
2024-03-01 cs.AI cs.DC cs.LG
Linear Scalarization for Byzantine-robust learning on non-IID data
Mohammed VI Polytechnic University(穆罕默德六世理工大学)
在这项工作中,我们研究的拜占庭鲁棒学习的问题时,客户端之间的数据是异构的。我们专注于针对SGD收敛的中毒攻击。虽然这个问题已经受到了极大的关注,但主要的拜占庭防御依赖于IID假设,这导致它们在数据分发是非IID时失败,即使没有攻击。我们建议使用线性标量化(LS)作为一种增强方法,使当前的防御,以规避拜占庭攻击的非IID设置。LS方法是基于合并的权衡向量,惩罚可疑的恶意客户端。实证分析证实,拟议的LS变量是可行的IID设置。对于轻度到强烈的非IID数据分裂,LS在最先进的拜占庭攻击场景下与当前方法相当或优于当前方法。
2022-10-15 cs.LG
On Communication Compression for Distributed Optimization on Heterogeneous Data
EPFL(洛桑联邦理工学院)
有耗梯度压缩,无论是无偏或有偏压缩器,已成为一个关键的工具,以避免通信瓶颈集中协调分布式训练的机器学习模型。我们分析了两种标准和一般类型的方法的性能:(i)分布式量化SGD(D-QSGD)与任意无偏量化器和(ii)分布式SGD与错误反馈和有偏压缩器(D-EF-SGD)在异构(非iid)数据设置。我们的研究结果表明,D-EF-SGD比D-QSGD受非iid数据的影响要小得多,但如果数据偏度很高,这两种方法都会受到影响。我们进一步研究了两种替代方案,不(或少得多)受异质数据分布:首先,最近提出的方法,是有效的强凸问题,其次,我们指出了一个更一般的方法,适用于线性压缩机,但有效的所有考虑的情况。
2020-12-22 cs.DS cs.LG stat.ML
FedRecon: Missing Modality Reconstruction in Heterogeneous Distributed Environments
针对多模态联邦学习中模态缺失与Non-IID数据异构的耦合挑战,提出FedRecon方法,利用轻量级MVAE重构缺失模态并通过分布映射实现样本级对齐,同时采用全局生成器冻结策略缓解Non-IID波动,在多模态数据集上超越现有方法。
2025-08-13 cs.AI cs.LG
Generative AI-Powered Plugin for Robust Federated Learning in Heterogeneous IoT Networks
Institute of Information & Communications Technology Planning & Evaluation (IITP)-ITRC (Information Technology Research Center)(信息与通信技术规划与评估院(IITP)-ITRC(信息技术研究中心))
本文提出一种生成式AI驱动的联邦学习插件,通过数据增强和平衡采样策略解决异构物联网网络中的非独立同分布数据问题,提升模型收敛速度和鲁棒性。
2025-11-23 cs.LG eess.SP
Heterogeneous Federated Learning
George Mason University(乔治梅森大学);Microsoft(微软);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
联邦学习通过融合来自本地节点的协作模型来从分散的数据中学习。然而,由于混沌的信息分布,模型融合可能会遭受不匹配参数的结构失调。在这项工作中,我们提出了一个新的联邦学习框架,以解决这个问题,建立一个坚实的结构信息对齐跨协作模型。具体而言,我们设计了一个面向特征的调节方法({ $Ψ$ -Net}),以确保明确的特征信息分配在不同的神经网络结构。将这种调整方法应用于协同模型,可以在很早的训练阶段初始化具有相似特征信息的匹配结构。在IID和非IID场景下的联邦学习过程中,专用协作机制进一步保证了信息的有序分布和明确的结构匹配,从而实现了全面的模型对齐。最终,该框架有效地增强了联邦学习对广泛异构环境的适用性,同时提供了出色的收敛速度、准确性和计算/通信效率。
2022-03-20 cs.LG stat.ML
Client Adaptation improves Federated Learning with Simulated Non-IID Clients
Technical University Denmark(丹麦技术大学)
我们提出了一种联邦学习方法,用于在数据在客户端之间非相同和非独立分布(非IID)时学习客户端自适应的鲁棒模型。通过模拟异构客户端,我们表明,添加学习的客户端特定的条件提高模型的性能,该方法被证明是工作在平衡和不平衡的数据集从音频和图像域。客户端自适应由条件门控激活单元实现,并且当每个客户端的数据分布之间存在很大差异时特别有益,这是联邦学习中的常见场景。
2020-07-09 cs.CV cs.LG stat.ML
Distributed Training with Heterogeneous Data: Bridging Median- and Mean-Based Algorithms
University of Minnesota(明尼苏达大学)
近年来,基于中值的分布式非凸优化算法的研究引起了越来越多的关注。两个突出的这样的算法包括signSGD与多数表决,一个有效的方法,通过1位压缩的局部梯度,和medianSGD,最近提出的算法,以确保对拜占庭工人的鲁棒性通信减少。这些算法的收敛性分析主要依赖于假设所有的分布式数据都是从同一个分布中抽取的。然而,在诸如联邦学习之类的应用中,跨不同节点或机器的数据可能本质上是异构的,这违反了这样的iid假设。这项工作分析了signSGD和medianSGD在分布式设置与异构数据。我们表明,这些算法是非收敛的,每当有一些差距的预期中值和平均值在当地的梯度。为了克服这一差距,我们提供了一种新的梯度校正机制,扰动局部梯度与噪声,连同一系列的结果,证明关闭之间的差距的平均值和中位数的梯度。所提出的方法在很大程度上保留了这些方法的优良性质,如低的每迭代通信复杂性的signSGD,并进一步享受全局收敛到平稳的解决方案。我们的扰动技术可以独立的兴趣,当一个人希望估计平均通过中位数估计。
2019-06-06 cs.DC cs.LG math.OC
FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning
University of Zurich(苏黎世大学);armasuisse Science & Technology(Armasuisse科学与技术局)
本文针对去中心化联邦学习中的 non-IID 数据与客户端漂移问题,提出 FedEP,利用 GMM 与熵池机制融合本地及邻域分布信息以计算聚合权重,在保护隐私、降低通信开销的同时提升收敛速度和性能。
2025-01-06 cs.LG
Tackling Ordinal Regression Problem for Heterogeneous Data: Sparse and Deep Multi-Task Learning Approaches
Wayne State University(韦恩州立大学)
许多真实世界的数据集都是用自然顺序标记的,即,序数标签有序回归是一种预测有序标签的方法,在自然科学、健康科学和社会科学等数据丰富的领域有着广泛的应用。大多数现有的有序回归方法通过制定一个单一的有序回归任务,对独立同分布(IID)的情况下工作得很好。然而,对于具有明确定义的局部几何结构的异构非IID实例,例如,多任务学习(MTL)提供了一个有前途的框架来编码任务(子组)相关性,桥接所有任务的数据,并同时学习多个相关任务,以提高泛化性能。尽管MTL方法已被广泛研究,但几乎没有研究具有有序标签的异构数据的MTL的现有工作。我们通过稀疏和深度多任务方法来解决这个重要问题。具体来说,我们开发了一个正则化的多任务有序回归(MTOR)模型,用于较小的数据集和基于深度神经网络的MTOR模型的大规模数据集。我们使用三个真实世界的医疗数据集评估性能,并将其应用于多阶段疾病进展诊断。实验结果表明,与单任务有序回归模型相比,所提出的MTOR模型显著提高了预测性能。
2020-04-27 cs.LG stat.ML
FGRPO: Federated GRPO with Adaptive Aggregation on Non-IID Data
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);School of Mathematical Science, Peking University(北京大学数学科学学院);School of Computer Science and Artificial Intelligence, Shanghai University of Finance and Economics(上海财经大学计算机科学与人工智能学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
提出联邦GRPO(FGRPO)框架,通过基于相对性能增益的自适应聚合机制,在非独立同分布数据上实现去中心化推理模型微调,兼顾数据隐私与鲁棒收敛。
2026-06-02 cs.LG
Adaptive Expert Models for Personalization in Federated Learning
Ericsson AB(爱立信公司);KTH Royal Institute of Technology(KTH皇家理工学院);RISE Research Institutes of Sweden(瑞典RISE研究院);AI Sweden(瑞典人工智能研究院);Chalmers University of Technology(查尔姆斯理工大学)
联邦学习(FL)是一种很有前途的分布式学习框架,适用于数据隐私和敏感的情况。然而,在这个框架中的最先进的解决方案是不是最佳的数据是异构的和非独立的和相同的分布(非IID)。我们提出了一个实用和强大的方法来适应异构和非IID数据的平衡探索和利用几个全球模型的个性化FL。为了实现我们的个性化目标,我们使用混合专家模型(MoE),它可以学习将彼此相似的客户分组,同时更有效地使用全局模型。我们表明,我们的方法实现了高达29.78%的准确性和高达4.38%的更好的局部模型相比,在病理非IID设置,即使我们调整我们的方法在IID设置。
2022-06-15 cs.LG
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning
George Washington University(乔治华盛顿大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
联邦学习(FL)中的最大挑战之一是客户端设备通常具有用于本地更新的截然不同的计算和通信资源。为此,最近的研究工作集中在训练通过修剪共享的全局模型获得的异构局部模型。尽管取得了经验上的成功,但关于趋同的理论保证仍然是一个悬而未决的问题。在本文中,我们提出了一个统一的框架异构FL算法与{ \em arbitrary}自适应在线模型修剪,并提供了一般的收敛性分析。特别是,我们证明了在某些充分条件下,对于IID和非IID数据,这些算法对于一般光滑代价函数收敛到标准FL的稳定点,收敛速度为$O(\frac{1}{\sqrt{Q}})$。此外,我们阐明了影响收敛的两个关键因素:修剪引起的噪声和最小覆盖指数,倡导联合设计的局部修剪掩模有效的训练。
2022-02-09 cs.DC cs.LG
Towards Heterogeneous Clients with Elastic Federated Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));JD AI Lab(京东人工智能实验室);Ping An Technology(平安科技)
联邦学习涉及在设备或数据孤岛(如边缘处理器或数据仓库)上训练机器学习模型,同时将数据保持在本地。在异构和潜在的大规模网络中进行训练会给系统带来偏差,这源于非IID数据和现实中的低参与率。在本文中,我们提出了弹性联邦学习(EFL),一个无偏的算法来解决系统中的异构性,这使得最具信息量的参数在训练过程中波动较小,并利用不完整的局部更新。它是一种高效且有效的算法,可压缩上游和下游通信。从理论上讲,该算法在低参与率下对非IID数据进行训练时具有收敛性保证。实证实验证实了EFL框架在鲁棒性和效率方面的竞争力。
2021-06-17 cs.AI cs.LG
Heterogeneous Domain Adaptation for IoT Intrusion Detection: A Geometric Graph Alignment Approach
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Macau(澳门大学)
数据稀缺性阻碍了数据依赖算法在处理物联网入侵检测(IID)时的可用性。为了解决这个问题,我们利用数据丰富的网络入侵检测(NID)域,以促进更准确的入侵检测IID域。在本文中,几何图形对齐(GGA)的方法是利用屏蔽域之间的几何异构性,更好地入侵知识转移。具体来说,每个入侵域被制定为一个图,其中顶点和边表示入侵类别和类别之间的相互关系,分别。整体形状通过一个混乱的矩阵无法识别不同的入侵域图之间的邻接矩阵。旋转避免机制和中心点匹配机制分别用于避免由于旋转和对称而导致的图形不对齐。此外,类别明智的语义知识被转移到充当顶点级对齐。为了利用目标数据,一个伪标签选举机制,联合考虑网络预测,几何属性和邻域信息被用来产生细粒度的伪标签分配。通过对不同粒度的入侵图进行几何对齐,传输的入侵知识可以提高IID性能。在多个入侵数据集上的综合实验表明了GGA方法的最新性能,并验证了GGA构成组件的有用性。
2023-01-24 cs.CR cs.CY cs.LG
FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under Non-IID Data
Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Shandong Computer Science Center(山东省计算中心);Guizhou University(贵州大学);Zhejiang University(浙江大学)
联邦学习是一种分布式学习,允许每个客户端将原始数据保存在本地,只将本地模型的参数上传到服务器。尽管联邦学习可以解决数据孤岛问题,但在实际应用中对异构数据进行训练仍然具有挑战性。在本文中,我们提出了FedSiam-DA,一种新的双聚合对比联邦学习方法,个性化的本地和全局模型,在各种设置的数据异构性。首先,FedSiam-DA基于连体网络中对比学习的思想,在局部训练时将局部和全局模型视为连体网络的不同分支,通过不断改变模型相似度来控制模型的更新方向,实现局部模型的个性化。其次,FedSiam-DA为每个局部模型引入了基于模型相似度的动态权重,并采用双聚合机制进一步提高了全局模型的泛化能力。此外,我们提供了大量的基准数据集上的实验,结果表明,FedSiam-DA实现优于以往的FL方法在异构数据集上。
2022-11-18 cs.LG
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
本文提出AdaptiveFL方法,通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制,为异构AIoT设备动态分配合适的局部模型,在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
Byzantine-Robust Learning on Heterogeneous Data via Gradient Splitting
Zhejiang University(浙江大学);Sony AI(索尼人工智能);Microsoft(微软)
针对 non-IID 联邦学习中鲁棒聚合规则易被拜占庭攻击规避的问题,本文提出梯度分裂方法 GAS,并给出收敛分析与实验验证。
2023-06-04 cs.AI cs.CR cs.LG
Non-IID data in Federated Learning: A Survey with Taxonomy, Metrics, Methods, Frameworks and Future Directions
本综述针对联邦学习中non-IID数据导致模型性能下降、训练变慢且分类量化缺乏共识的问题,构建了相关分类体系与度量指标,梳理了现有解决方案与标准化框架,总结经验并提出未来研究方向。
2024-12-12 cs.LG
Towards Personalized Federated Learning via Heterogeneous Model Reassembly
The Pennsylvania State University(宾夕法尼亚州立大学);National University of Singapore(新加坡国立大学);Sony AI(索尼人工智能);North Carolina State University(北卡罗来纳州立大学)
本文提出pFedHR框架,通过异构模型重组将个性化建模为服务器端模型匹配优化问题,自动生成多样化候选模型,在多个数据集上优于基线并减轻公共数据分布差异的影响。
2023-10-27 cs.DC cs.LG
Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)是一种新兴的隐私保护范式,它使多个参与者能够协作训练一个全局模型,而无需上传原始数据。考虑到不同参与者的计算和通信能力的异构性,异步FL可以避免同步FL中的掉队者效应,并适应于具有大量参与者的场景。异步FL中的陈旧数据和非IID数据都会降低模型的实用性。然而,这两个问题的解决方案之间存在着内在的矛盾。也就是说,减轻陈旧性需要选择较少但一致的梯度,而处理非IID数据需要更全面的梯度。为了解决这个难题,本文提出了一种两阶段加权$K$异步FL与自适应学习率(WKAFL)。通过选择一致的梯度和自适应调整学习率,WKAFL利用陈旧的梯度和减轻非IID数据的影响,这可以实现训练速度,预测精度和训练稳定性的多方面增强。我们还提出了WKAFL的收敛性分析的假设下,无界陈旧,以了解陈旧和非IID数据的影响。在基准数据集和合成FL数据集上的实验表明,WKAFL算法具有更好的整体性能。
2022-03-02 cs.DC cs.LG
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction
The George Washington University(乔治华盛顿大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
本文针对跨设备联邦学习中低端客户端因资源受限被排除的问题,提出统一异构联邦学习框架并首次给出一般收敛性分析,同时引入最小覆盖指数和模型缩减噪声,以整体提升异构联邦学习效率。
2023-10-26 cs.DC cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校);Michigan State University(密歇根州立大学)
联邦学习(FL)是一种流行的分布式学习模式,它从一组参与用户中学习模型,而无需共享原始数据。FL的一个主要挑战来自异构用户,这些用户可能具有分布不同(或非iid)的数据和不同的计算资源。由于联邦用户将使用模型进行预测,他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练(AT)为集中式学习提供了一个良好的解决方案,但将其用于联合用户带来了重大挑战,因为许多用户可能只有非常有限的训练数据和紧张的计算预算,以负担数据饥饿和昂贵的AT。在本文中,我们研究了一种新的FL策略:在联邦学习过程中,将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现,现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略,并提出了一个有效的传播方法,通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是,所提出的方法被证明是授予联邦模型显着的鲁棒性,即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data
University of Science and Technology of China(中国科学技术大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
本文提出FedLALR方法,通过客户端基于本地历史梯度平方自适应调整学习率,解决非独立同分布数据下联邦学习通信效率低的问题,理论证明其可实现线性加速,并在CV和NLP任务上验证了有效性。
2023-09-18 cs.DC cs.LG math.OC
FFT-MoE: Efficient Federated Fine-Tuning for Foundation Models via Large-scale Sparse MoE under Heterogeneous Edge
针对异构边缘下基础模型联邦微调的结构不兼容和非IID适应性问题,提出FFT-MoE框架,用稀疏MoE适配器替代LoRA,结合异构感知辅助损失,在泛化性能和训练效率上优于现有基线。
2025-08-26 cs.AI cs.LG
Decentralized federated learning of deep neural networks on non-iid data
RISE Research Institutes of Sweden(瑞典RISE研究院);Chalmers University of Technology(查尔姆斯理工大学);KTH Royal Institute of Technology(KTH皇家理工学院)
我们解决了在分散设置中学习个性化深度学习模型的非凸问题。更具体地说,我们研究分散的联邦学习,这是一种点对点的设置,数据分布在许多客户端之间,没有中央服务器来协调训练。在现实世界的场景中,客户端之间的数据分布通常是异构的。因此,在这项工作中,我们研究的问题是如何有效地学习一个模型在对等系统与非iid客户端数据。我们提出了一种名为基于性能的邻居选择(PENS)的方法,其中具有相似数据分布的客户端通过评估彼此数据的训练损失来检测彼此并进行合作,以学习适合本地数据分布的模型。我们在基准数据集上的实验表明,与强基线相比,我们所提出的方法能够实现更高的精度。
2021-07-20 cs.LG
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.(壳牌全球解决方案国际有限公司);Delft University of Technology (TU Delft)(代尔夫特理工大学);Myant Inc.(迈安特公司)
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的,并且相对较慢,在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法(FLT),通过学习客户端之间的任务相关性来更有效地联合聚合异构数据,从而概括了这一方向。在一个一次性的过程中,服务器为客户端提供一个预先训练(和微调)的编码器,将其数据压缩成潜在的表示,并将其数据的签名传输回服务器。然后,服务器通过流形学习来学习客户端之间的任务相关性,并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图,当没有显式的客户端集群,以及有效地将其分解成(不相交)集群的联邦学习。我们证明,FLT不仅优于现有的国家的最先进的基线在非IID的情况下,但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
Learnable Sparse Customization in Heterogeneous Edge Computing
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute for Network Sciences and Cyberspace, Tsinghua University(清华大学网络科学与网络空间研究院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Zhongguancun Laboratory(中关村实验室)
本文提出FedLPS方法,通过重要性关联模式和P-UCBV自适应比率实现异构联邦学习中稀疏模型的可学习定制,同时应对系统与统计异构性,显著提升精度并降低训练成本。
2025-04-07 cs.DC cs.LG
Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data
针对联邦学习 Non-IID 数据导致全局模型性能下降的问题,提出 FedDPMS,利用可信服务器共享的差分隐私潜在表示均值生成合成数据以增强本地训练,并在图像分类中优于同类先进方法。
2023-04-20 cs.CR cs.DC cs.LG
UniVarFL: Uniformity and Variance Regularized Federated Learning for Heterogeneous Data
Koita Centre for Digital Health(Koita数字健康中心);Indian Institute of Technology, Bombay(印度理工学院,孟买);Department of Electrical Engineering(电气工程系)
针对 non-IID 数据导致的局部分类器偏差,本文提出无需全局模型依赖的 UniVarFL,通过分类器方差与超球面均匀性正则化提升泛化,并在多个基准上取得更高准确率。
2025-06-09 cs.AI cs.CV cs.DC
FedA3I: Annotation Quality-Aware Aggregation for Federated Medical Image Segmentation against Heterogeneous Annotation Noise
Huazhong University of Science and Technology(华中科技大学)
本文首次针对联邦医学图像分割中跨客户端异构标注噪声问题,提出FedA3I方法,通过高斯混合模型估计客户端噪声并以逐层质量加权聚合提升鲁棒性,在两个真实数据集上验证了其优越性能。
2024-01-18 cs.CV cs.LG
Avoid Forgetting by Preserving Global Knowledge Gradients in Federated Learning with Non-IID Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Arizona State University(亚利桑那州立大学);University of California San Diego(加州大学圣地亚哥分校);Purdue University(普渡大学);University of Maryland College Park(马里兰大学学院市分校)
本文针对联邦学习中非独立同分布数据导致客户端遗忘全局决策边界的问题,提出 FedProj 框架,通过服务器端集成知识迁移损失和基于公共无标签数据集平均集成 logits 的情景记忆调节局部梯度更新,实验表明其性能大幅超越现有方法。
2025-06-30 cs.AI cs.CV cs.DC
Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment
College of Computing and Data Science, Nanyang Technological University, Singapore.(南洋理工大学计算机与数据科学学院);Department of Electrical and Computer Engineering, The University of British Columbia, Vancouver, BC, Canada.(不列颠哥伦比亚大学电子与计算机工程系);Vector Institute, Canada(加拿大向量研究所);The Hong Kong Polytechnic University(香港理工大学)
FedGaLore通过子空间优化与漂移鲁棒同步提升非IID联邦学习中LoRA的鲁棒性和准确性。
2026-02-02 cs.AI cs.LG
Application of federated learning techniques for arrhythmia classification using 12-lead ECG signals
Sapienza University(罗马大学)
本研究采用联邦学习隐私保护方法,基于12导联ECG信号训练深度神经网络和长短期记忆模型进行心律失常分类,在IID和非IID数据上均达到与集中式学习相当的性能,且具有复杂度低、训练快、适合云边架构的优势。
2024-01-05 cs.LG
FedPrism: Adaptive Personalized Federated Learning under Non-IID Data
IISER Bhopal(印度比哈尔州IISER布帕尔)
FedPrism通过Prism分解和双流设计,在非独立同分布数据下实现适应性个性化联邦学习,提升模型准确率与泛化能力。
2026-03-10 cs.LG
D-FROST: Decentralized Federated pRompt-tuning via Optimal tranSporT for Non-IID and Imbalanced Data
University of Florida(佛罗里达大学);Washington State University(华盛顿州立大学)
本研究针对非独立同分布与不平衡数据场景,提出基于最优传输的去中心化联邦提示调优算法D-FROST,解决异构本地提示索引不对齐问题,通过理论分析与实验验证了其有效性。
2026-09-03 cs.LG
Non-IID data and Continual Learning processes in Federated Learning: A long road ahead
Universidade de Santiago de Compostela(圣地亚哥-德孔波斯特拉大学);Universidade da Coruña(拉科鲁尼亚大学)
联邦学习是一种新颖的框架,它允许多个设备或机构协同训练机器学习模型,同时保持其数据的私密性。这种分散的方法很容易受到不同实体之间和随着时间推移的数据统计异质性的影响,这可能导致缺乏收敛性。为了避免这些问题,在过去几年中提出了不同的方法。然而,数据可能在许多不同的方面是异构的,并且当前的提案并不总是确定他们正在考虑的异构性的类型。在这项工作中,我们正式分类数据的统计异质性和审查最显着的学习策略,能够面对它。同时,我们介绍了其他机器学习框架,如持续学习,也处理数据的异质性,可以很容易地适应联邦学习设置的方法。
2021-11-26 cs.LG
FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction
National University of Defense Technology(国防科技大学);IHPC, ASTAR(新加坡科技研究局高性能计算研究所);University of Macau(澳门大学)
联邦学习(FL)允许多个客户端集体训练高性能的全局模型,而无需共享其私有数据。然而,联邦学习面临的主要挑战是客户端的本地数据分布具有显著的统计异质性,这将导致客户端优化的本地模型不一致。为了解决这个根本的困境,我们提出了一种新的联邦学习算法与本地漂移解耦和校正(FedDC)。我们的FedDC只在局部训练阶段引入轻量级修改,其中每个客户端利用辅助局部漂移变量来跟踪局部模型参数和全局模型参数之间的差距。FedDC的关键思想是利用这个学习到的局部漂移变量来弥合差距,即,在参数水平上保持一致性。实验结果和分析表明,FedDC在不同的图像分类任务上具有更快的收敛速度和更好的性能,在部分参与设置、非iid数据和异构客户端中具有鲁棒性。
2022-03-22 cs.AI cs.LG
Federated Proximal Optimization for Privacy-Preserving Heart Disease Prediction: A Controlled Simulation Study on Non-IID Clinical Data
Department of Computer Sciences, Lahore Garrison University, Lahore 54000, Pakistan(拉合尔 Garrison 大学计算机科学系);Department of Physics, Southern Methodist University, Dallas, TX 75205, U.S.A.(南方 Methodist 大学物理系);Department of Software, Faculty of Artificial Intelligence and Software, Gachon University, Seongnam-si 13120, Gyeonggi-do, Republic of Korea(Gachon 大学软件系)
本文提出基于联邦近端优化的隐私保护心脏病预测方法,通过模拟非IID临床数据验证了其在提升模型准确率和保护患者隐私方面的有效性。
2026-01-23 cs.AI cs.LG
Beyond Non-IID: Learner--Client Distribution Mismatch in Federated Learning
Northeastern University(东北大学)
本文针对联邦学习中学习者与客户端的分布不匹配问题,提出动态感知影响力的客户端选择框架,在CIFAR-10数据集上验证其性能优于基线,可加快收敛并提升准确率。
2026-08-31 cs.LG
Stratify: Rethinking Federated Learning for Non-IID Data through Balanced Sampling
Department of Artificial Intelligence, Universiti Malaya(人工智能系,马来亚大学)
针对非IID数据下联邦学习性能下降的问题,本文提出Stratify框架,通过分层标签调度平衡类别和特征分布,结合标签感知客户端选择与高频更新,在多种数据集上实现与IID基线相当的性能并降低计算成本。
2025-04-18 cs.LG
Cooperative Multi-Agent Reinforcement Learning for Adaptive Aggregation in Semi-Supervised Federated Learning with non-IID Data
Institute of Communication Acoustics, Ruhr-Universität Bochum(鲁尔大学波鸿分校通信声学研究所)
针对非独立同分布数据半监督联邦学习的挑战,提出pFedMARL方法,利用多智能体强化学习动态调整聚合策略,提升模型准确率、鲁棒性与公平性,性能优于FedAvg等方法。
2026-08-27 cs.DC cs.LG cs.SD
Federated XGBoost on Sample-Wise Non-IID Data
Pennsylvania State University(宾夕法尼亚州立大学);IBM Research - Almaden(IBM阿尔马登研究中心)
联邦学习(FL)是一种以分散方式联合训练机器学习算法的范例,它允许各方与聚合器通信以创建和训练模型,而不会暴露训练过程中涉及的本地各方的底层原始数据分布。FL中的大多数研究都集中在基于神经网络的方法上,然而基于树的方法,如XGBoost,在联邦学习中的探索不足,因为在克服算法的迭代和加法特性方面存在挑战。基于决策树的模型,特别是XGBoost,可以处理非IID数据,这对于联邦学习框架中使用的算法是重要的,因为数据的底层特征是分散的,并且具有本质上非IID的风险。在本文中,我们专注于研究Federated XGBoost如何受到非IID分布的影响,通过对各种基于样本大小的数据偏斜场景进行实验,以及这些模型在各种非IID场景下的表现。我们在多个不同的数据集和不同的数据倾斜分区上进行了一系列广泛的实验。我们的实验结果表明,尽管分区比例不同,但模型的性能保持一致,并且与以集中式方式训练的模型相比,性能接近或相当。
2022-09-03 cs.AI cs.LG
TriplePlay: Enhancing Federated Learning with CLIP for Non-IID Data and Resource Efficiency
School of Computing, Southern Illinois University(南伊利诺伊大学计算机学院);Security, Privacy and Intelligence for Edge Devices Laboratory (SPEED Lab)(边缘设备安全、隐私与智能实验室(SPEED Lab))
本研究针对联邦学习面临的非独立同分布数据、计算通信开销高等问题,提出集成CLIP作为适配器的TriplePlay框架,结合量化与低秩适配技术,在保障公平性的同时提升资源效率与学习性能。
2024-10-08 cs.AI cs.LG
Federated Deep Clustering Networks for High-Dimensional and Heterogeneous Data
Maastricht University(马斯特里赫特大学)
针对联邦学习中高维异构数据聚类问题,提出FedDCN方法,通过联合优化重建与聚类损失并引入几何正则化,在非独立同分布场景下实现鲁棒聚类。
2026-09-21 cs.AI cs.LG
Unified theoretical guarantees for stability, consistency, and convergence in neural PDE solvers from non-IID data to physics-informed networks
Kabale University(卡巴莱大学)
本文提出统一理论框架,利用混合系数、曲率感知聚合与变分分析,严格证明了在非独立同分布数据、联邦学习及物理信息神经网络(PINNs)中的稳定性、一致性与收敛性,为设计鲁棒且物理连贯的神经架构奠定数学基础。
2025-05-30 cs.LG cs.NA math.NA
Subspace Optimization for Efficient Federated Learning under Heterogeneous Data
Peking University(北京大学);Beihang University(北航)
本文提出子空间优化方法SSF,通过低维子空间进行异构性校正优化,降低通信和内存开销,实现非渐近收敛率和异构数据下的高效联邦学习。
2026-04-28 cs.LG math.OC
Mitigating Group Bias in Federated Learning for Heterogeneous Devices
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对边缘异构性导致联邦学习全局模型存在群体偏差的问题,提出一种群体公平联邦学习框架,通过跨域群体重要性权重、改进乘法权重更新及正则化与阈值机制,在保护隐私且无额外资源开销下缓解偏差,经基准测试验证了真实异构场景下的公平决策效果。
2024-07-11 cs.AI cs.CV cs.LG
Neural Collapse Inspired Federated Learning with Non-iid Data
Zhejiang University(浙江大学);JD Explore Academy(京东探索研究院)
针对联邦学习中非独立同分布数据导致的性能下降问题,受神经塌缩现象启发,提出利用固定随机单纯形等角紧致框架(ETF)作为全局优化目标并引入全局记忆向量,有效提升了不同规模数据集上的性能与收敛速度。
2023-03-31 cs.CV cs.LG
Knowledge Rumination for Client Utility Evaluation in Heterogeneous Federated Learning
University of Science and Technology of China(中国科学技术大学);Aarhus University(奥胡斯大学)
针对异步联邦学习中Non-IID数据与梯度陈旧性的挑战,提出基于知识反刍的FedHist框架,通过历史梯度融合、多维权重分配和智能ℓ₂范数放大提升收敛性与准确率。
2025-03-23 cs.LG
Dataset Distillation-based Hybrid Federated Learning on Non-IID Data
College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China(浙江工业大学信息工程学院,杭州 310023,中国);Zhejiang Key Laboratory of Intelligent Perception and Control for Complex Systems, Hangzhou, China(浙江省复杂系统智能感知与控制重点实验室,杭州,中国);College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China(浙江大学控制科学与工程学院,杭州 310027,中国);Computing Science and Internet of Things, Newcastle University, NE1 7RU Newcastle, UK(新castle大学计算科学与物联网学院,NE1 7RU Newcastle, UK)
本文提出HFLDD框架,通过数据集蒸馏生成近似独立等分布数据,缓解非IID数据对模型训练的影响,实验表明在严重类别不平衡时提升测试准确率和通信效率。
2026-03-24 cs.AI cs.LG
FedAUXfdp: Differentially Private One-Shot Federated Distillation
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
联邦学习在非iid局部数据集的情况下受到影响,即,当客户端的数据分布是异构的时,一个有前途的方法,这一挑战是最近提出的方法FedAUX,增强联邦蒸馏与强大的结果,甚至高度异构的客户端数据。FedAUX是一种部分$(ε, δ)$ -差分私有方法,因为客户端的私有数据仅在其参与的部分训练中受到保护。这项工作提供了一个完全不同的私有修改,称为FedAUXfdp。我们进一步贡献了正则化多项式逻辑回归的$l_2$敏感性的上限。在大规模图像数据集上的深度网络实验中,具有强差分隐私保证的FedAUXfdp在单轮通信中对非iid客户端数据的性能明显优于其他同等私有化的SOTA基线。完全私有化的修改后的方法的结果在一个可以忽略不计的减少在所有级别的数据异质性的准确性。
2022-06-21 cs.DC cs.LG
A Robust Clustered Federated Learning Approach for Non-IID Data with Quantity Skew
Université Toulouse UT3, IRIT, CNRS(法国图卢兹大学UT3,IRIT,CNRS);INU Champollion ISIS Castres, IRIT, CNRS(法国夏莫利翁 ISIS 铸造城学院,IRIT,CNRS);Université Toulouse UT2J, IRIT, CNRS(法国图卢兹大学UT2J,IRIT,CNRS)
针对现有聚类联邦学习方法在数量倾斜非独立同分布数据下鲁棒性不足的问题,本文评估了前沿算法在多数量倾斜场景下的表现,并提出协同两种运行策略的CORNFLQS算法,在6个数据集的270种配置中准确率与聚类质量均最优。
2025-10-03 cs.AI cs.LG
Federated Self-Supervised Modulation Classification under Non-IID and Imbalanced Data
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Texas at Austin(德克萨斯大学奥斯汀分校);Qualcomm Technologies Inc.(高通技术公司)
该研究针对非独立同分布与不平衡数据场景,提出FedSSL-AMC联邦自监督框架,结合因果时间膨胀CNN编码器与轻量级本地SVM,在调制分类任务上取得优于监督联邦学习基线的性能。
2026-08-18 cs.AI cs.LG eess.SP