FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging
Indian Institute of Technology Patna(印度理工学院巴特那分校);Rajiv Gandhi Institute of Petroleum Technology(拉吉夫·甘地石油技术学院)
针对联邦医学影像学习中客户端数据非独立同分布导致的全局模型性能下降问题,提出融合公平损失、MARL近端项计算与SOM自适应权重调整的FedMRL框架,在两个公开医学数据集上性能优于现有最优方法。
2024-07-08 cs.AI cs.CV cs.DC
Multi-Task Federated Reinforcement Learning with Adversaries
Georgia Institute of Technology(佐治亚理工学院)
强化学习算法,就像任何其他机器学习算法一样,对对手构成严重威胁。对手可以操纵学习算法,导致非最优策略。在本文中,我们分析了多任务联合强化学习算法,其中多个合作代理在各种环境中试图最大化折扣收益之和,在对抗代理的存在下。针对常见的攻击方法不能保证对多任务联合强化学习进行成功攻击的问题,提出了一种具有更好攻击性能的自适应攻击方法。此外,我们修改了传统的联邦强化学习算法,以解决对手的问题,同样适用于没有对手。对不同的中小型强化学习问题的实验表明,该攻击方法优于其他一般攻击方法,并且在对抗代理存在的情况下,对联邦强化学习算法的改进能够实现接近最优的策略。
2021-03-11 cs.AI cs.LG
Personalized Observation Normalization for Federated Reinforcement Learning in Simulation Environments with Heterogeneity
Department of Electrical Engineering \& Computer Science Florida Atlantic University Boca Raton, FL, USA
针对联邦强化学习在异构环境中状态转移动力学差异导致输入分布不一致和参数更新不平衡的问题,提出个性化观测归一化方法,通过各智能体本地维护运行均值和方差对原始状态输入进行归一化,加速训练并提升性能。
2026-04-10 cs.AI cs.LG
Federated Learning in Temporal Heterogeneity
Georgia Institute of Technology(佐治亚理工学院)
本文研究联邦学习中客户端间的时间异质性,发现固定长度序列训练的FedAvg收敛更快,并提出缓解时间异质性以提升联邦学习效率的方法。
2023-09-17 cs.LG
Federated Optimization in Heterogeneous Networks
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Facebook AI(Facebook人工智能);Determined AI
联邦学习是一种分布式学习范式,它与传统的分布式优化有两个关键的区别:(1)网络中每个设备上的系统特性的显著变化(系统异构性),以及(2)网络上的非相同分布数据(统计异构性)。在这项工作中,我们引入了一个框架,FedProx,以解决联邦网络中的异构性。FedProx可以被看作是FedAvg的推广和重新参数化,FedAvg是当前最先进的联邦学习方法。虽然这种重新参数化只对方法本身进行了微小的修改,但这些修改在理论和实践中都有重要的影响。从理论上讲,我们为我们的框架提供了收敛保证,当学习来自不同分布(统计异质性)的数据时,同时通过允许每个参与设备执行可变量的工作(系统异质性)来遵守设备级系统约束。实际上,我们证明了FedProx允许在一套真实的联邦数据集上比FedAvg更强大的收敛。特别是,在高度异构的环境中,FedProx相对于FedAvg表现出更稳定和更准确的收敛行为-平均将绝对测试准确性提高了22%。
2020-04-21 cs.LG stat.ML
On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
Columbia University(哥伦比亚大学);University of Copenhagen(哥本哈根大学);Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学);CNRS(法国国家科学研究中心)
本文从统计模型推导联邦回归中梯度异质性的动力学界限,并证明在对抗客户端比例小于1/2时,任何$(f,\kappa)$-鲁棒聚合器经样本预热后仍能收敛。
2026-09-23 cs.LG stat.ML
FedRSPO+: A Heterogeneity-aware Algorithm for Decision-focused Federated Learning
Auburn University(奥本大学)
针对跨孤岛场景下决策聚焦联邦学习中的目标与可行集异构性问题,提出基于正则化投影平滑的FedRSPO+框架,并证明其决策误差界与跨客户端异构性界,实验验证平滑策略的有效性。
2026-10-08 cs.LG math.OC stat.ML
Heterogeneity-Aware Personalized Federated Learning for Industrial Predictive Analytics
Edward P. Fitts Department of Industrial and Systems Engineering, North Carolina State University(爱德华·P·菲茨斯工业与系统工程系,北卡罗来纳州立大学)
本文提出一种面向工业预测分析的异质感知个性化联邦学习模型,通过迭代促进具有相似退化模式的客户端间的协作,提升个性化联邦学习性能,同时实现模型个性化、数据隐私保护和全面故障时间分布提供。
2026-04-21 cs.LG stat.ML
Client Selection in Federated Learning with Data Heterogeneity and Network Latencies
University of California San Diego(加利福尼亚大学圣迭戈分校);Halıcıoğlu Data Science Institute(哈利乔格鲁数据科学学院);Computer Science and Engineering(计算机科学与工程学院)
针对联邦学习中数据异质性与延迟异质性同时存在的问题,提出两种理论上最优的客户端选择方案,通过每轮最小化收敛理论运行时间求解优化问题,在9个数据集上性能最多提升20倍。
2025-04-02 cs.LG stat.ML
Better Methods and Theory for Federated Learning: Compression, Client Selection and Heterogeneity
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
联邦学习(FL)是涉及多个客户端的新兴机器学习范例,例如,移动电话设备,具有协作解决由中央服务器协调的机器学习问题的激励。FL是由Konečnet al.和McMahan et al.在2016年提出的,作为传统集中式机器学习的一种可行的隐私保护替代方案,因为通过构造,训练数据点是分散的,并且永远不会由客户端传输到中央服务器。因此,FL在一定程度上减轻了与集中式数据汇集相关的隐私风险。不幸的是,FL的优化面临着集中式优化通常不需要处理的几个特定问题。在这篇论文中,我们确定了这些挑战中的一些,并提出了新的方法和算法来解决这些问题,最终目标是使实际的FL解决方案支持数学上严格的保证。
2022-07-01 cs.LG stat.ML
Federated Averaging Langevin Dynamics: Toward a unified theory and new algorithms
École Polytechnique(巴黎综合理工学院);Lagrange Mathematics and Computing Research Center(拉格朗日数学与计算研究中心);Institut Polytechnique de Paris(巴黎理工学院)
本文主要研究联邦学习环境下的贝叶斯推断。虽然已经提出了几个分布式MCMC算法,很少考虑FL的具体限制,如通信瓶颈和统计异质性。最近,引入了联合平均朗之万动力学(Federated Averaging Langevin Dynamics,简称FMD),其将联合平均算法扩展到贝叶斯推断。我们得到了一个新的紧的非渐近上界的瓦瑟斯坦距离的全球后验的Wasserstein D。该界限突出了统计异质性的影响,这会导致局部更新的漂移,从而对收敛产生负面影响。我们提出了一个新的算法VR-VRND *,使用控制变量来纠正客户端漂移。我们建立了非渐近界,表明VR-ADVD * 不受统计异质性的影响。最后,我们说明了我们的结果在几个FL基准贝叶斯推断。
2022-10-31 cs.LG stat.ML
FederatedScope: A Flexible Federated Learning Platform for Heterogeneity
Alibaba Group(阿里巴巴集团)
尽管现有的联邦学习(FL)平台在为开发提供基础设施方面取得了显著的进展,但这些平台可能无法很好地解决各种类型的异构性带来的挑战,包括参与者本地数据、资源、行为和学习目标的异构性。为了填补这一空白,在本文中,我们提出了一种新的FL平台,名为FederatedScope,它采用了事件驱动的架构,为用户提供了极大的灵活性,独立地描述不同参与者的行为。这样的设计使得用户可以很容易地描述具有各种本地培训过程、学习目标和后端的参与者,并将其协调到具有同步或异步培训策略的FL课程中。FederatedScope是一个易于使用和灵活的平台,支持丰富类型的插件操作和组件,以实现高效的进一步开发,我们已经实现了几个重要组件,以更好地帮助用户进行隐私保护,攻击模拟和自动调优。我们在https://github.com/alibaba/FederatedScope上发布了FederatedScope,以促进联邦学习在各种场景中的学术研究和工业部署。
2022-11-15 cs.LG
Mitigating Data Heterogeneity in Federated Learning with Data Augmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Waterloo(滑铁卢大学)
联邦学习(FL)是一个突出的框架,它可以训练一个集中式模型,同时通过融合本地的分散式模型来保护用户隐私。在这种情况下,一个主要障碍是数据异构性,即,每个客户端具有不相同且独立分布的(非IID)数据。这类似于领域泛化(DG)的上下文,其中每个客户端可以被视为不同的域。然而,虽然DG中的许多方法从算法的角度来处理数据异构性,但最近的证据表明,数据增强可以产生相等或更高的性能。出于这种连接,我们提出了联邦版本的流行DG算法,并表明,通过应用适当的数据增强,我们可以减轻数据异构性的联邦设置,并获得更高的准确性看不见的客户端。配备了数据增强,我们可以实现最先进的性能,即使是最基本的联邦平均算法,更稀疏的通信。
2022-06-20 cs.LG
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning
Hong Kong Baptist University(香港浸会大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Sydney(悉尼大学);Tsinghua University(清华大学)
在现实世界的应用程序中的隐私和安全问题,导致了对抗强大的联邦模型的发展。然而,对抗训练和联邦学习在一个框架中的直接组合可能会导致不希望的鲁棒性恶化。我们发现,这种现象背后的归因是,生成的对抗性数据可能会加剧本地客户端之间的数据异构性,使包装的联邦学习表现不佳。为了解决这个问题,我们提出了一个名为Slack Federated Adversarial Training(SFAT)的新框架,在聚合过程中分配客户端松弛以对抗加剧的异质性。理论上,我们分析了所提出的方法的收敛性,以适当放宽目标时,结合联邦学习和对抗训练。在实验上,我们使用不同的对抗训练和联邦优化方法在各种基准数据集和真实世界数据集上验证了SFAT的合理性和有效性。该代码可在https://github.com/ZFancy/SFAT上公开获取。
2023-03-01 cs.LG
Benchmarking Algorithms for Federated Domain Generalization
Elmore Family School of Electrical and Computer Engineering(埃尔莫尔家族电气与计算机工程学院);Purdue University(普渡大学)
针对现有联邦域泛化评估的局限,该研究提出可调控客户端数量与异质性、含数据集难度指标的基准方法,评估14类相关方法后发现多场景下仍存显著性能差距,并开源可扩展基准代码。
2024-04-10 cs.LG
An Experimental Study of Data Heterogeneity in Federated Learning Methods for Medical Imaging
Stanford University(斯坦福大学)
联邦学习使多个机构能够以保护隐私的方式在其本地数据上协作训练机器学习模型。然而,它的分布式特性往往导致机构间数据分布的显著异质性。在本文中,我们调查的有害影响的分类数据异构性制度的联邦学习方法,包括数量偏斜,标签分布偏斜,成像采集偏斜。我们表明,性能下降的数据异构性程度的增加。我们提出了几种缓解策略,以克服性能下降的数据异构性,包括加权平均数据量偏斜,加权损失和批量归一化平均标签分布偏斜。所提出的对联邦学习方法的优化提高了它们处理跨机构异构性的能力,这为联邦学习在实际临床应用中的部署提供了有价值的指导。
2021-07-18 cs.AI cs.CV cs.LG
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity
UC Santa Barbara(加州大学圣巴巴拉分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学)
联邦学习是一种新的范式,它涉及从分布在大型客户端网络中的数据样本中学习,而数据仍然是本地的。然而,众所周知,联邦学习容易面临多个系统挑战,包括客户端具有不同计算和通信能力的系统异构性。客户端计算速度的这种异质性对联邦学习算法的可扩展性具有负面影响,并且由于离散者的存在而导致其运行时的显著减慢。在本文中,我们提出了一种新的离散弹性的联邦学习方法,结合客户端的数据的统计特征,以自适应地选择客户端,以加快学习过程。我们的算法的核心思想是从速度较快的节点开始训练过程,一旦达到当前参与节点对应的数据的统计精度,就逐渐将速度较慢的节点纳入模型训练。所提出的方法减少了实现所有节点的数据的统计准确性所需的整体运行时间,因为每个阶段的解决方案接近于具有更多样本的后续阶段的解决方案,并且可以用作热启动。我们的理论结果的特征加速增益相比,标准的联邦基准强凸目标,我们的数值实验也证明了显着的加速比,在挂钟时间的离散弹性方法相比,联邦学习基准。
2020-12-28 cs.DC cs.LG stat.ML
Toward Data Heterogeneity of Federated Learning
University of Minnesota(明尼苏达大学)
联邦学习是机器学习的一种流行范式。理想情况下,当所有客户端共享类似的数据分布时,联邦学习工作得最好。然而,在现实世界中并不总是如此。因此,异构数据上的联邦学习得到了学术界和工业界越来越多的关注。在这个项目中,我们首先做了大量的实验,以显示数据偏斜和数量偏斜将如何影响最先进的联邦学习算法的性能。然后,我们提出了一个新的算法FedMix,调整现有的联邦学习算法,我们展示了它的性能。我们发现,现有的国家的最先进的算法,如FedProx和FedNova没有在所有的测试情况下有显着的改善。但是通过测试现有的和新的算法,似乎调整客户端比调整服务器端更有效。
2022-12-17 cs.LG
Advances in Robust Federated Learning: A Survey with Heterogeneity Considerations
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);School of Software Engineering, Sun Yat-sen University(中山大学软件工程学院);School of Systems Science and Engineering, Sun Yat-sen University(中山大学系统科学与工程学院)
本文综述了异构联邦学习在数据、模型、任务、设备和通信方面的挑战,系统梳理了数据级、模型级和架构级的应对方法及隐私保护策略,并展望了未来研究方向。
2025-03-08 cs.LG
Communication-Efficient Federated Learning With Data and Client Heterogeneity
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所);Stanford University(斯坦福大学);Aptos Labs(Aptos实验室)
提出首个同时支持数据异构、部分客户端异步和通信压缩的FedAvg变体,理论分析证明收敛性,在LEAF基准上验证了快速收敛并优于现有方法。
2025-05-22 cs.LG
Federated Learning with Personalization Layers
Adobe Research(奥多比研究院);Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
新兴的联邦学习范式致力于在网络边缘实现机器学习模型的协作训练,而无需集中聚合原始数据,从而提高数据隐私。这大大偏离了传统的机器学习,并且需要设计对各种异质性来源鲁棒的算法。具体而言,用户设备之间的数据统计异质性可能会严重降低传统机器学习应用(如使用深度学习进行个性化)的标准联邦平均的性能。本文提出了FedPer,一种用于深度前馈神经网络联邦训练的基础+个性化层方法,可以对抗统计异质性的不良影响。我们证明了FedPerfor非相同的数据分区的CIFARnets和个性化的图像美学数据集从Flickr的有效性。
2019-12-02 cs.DC cs.LG stat.ML
Heterogeneity for the Win: One-Shot Federated Clustering
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们探索了无监督联邦学习(FL)的独特挑战和机遇。我们开发和分析一个一次性的联邦聚类方案,$k$ -FED,广泛使用的劳埃德的方法$k$均值聚类的基础上。与许多监督问题相比,我们发现联邦网络中的统计异质性问题实际上有利于我们的分析。我们分析$k$ -FED下的中心分离的假设,并比较它的集中式对应的最佳已知的要求。我们的分析表明,在每个设备$(k')$的集群数小于网络$k$,$(k'\le \sqrt{k})$上的集群总数的异构体系中,我们可以利用异构性来发挥优势-显著削弱$k$ -FED的集群分离要求。从实用的角度来看,$k$ -FED还具有许多理想的属性:它只需要一轮通信,可以异步运行,并可以处理部分参与或节点/网络故障。我们激励我们的分析与常见的FL基准测试的实验,并通过个性化FL和设备采样的用例突出了一次性聚类的实际效用。
2021-10-05 cs.LG
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks
UC San Diego(加州大学圣地亚哥分校);UCF(中佛罗里达大学)
虽然成功,但联邦学习为机器学习提出了新的挑战,特别是当数据异构性(也称为非IID数据)问题出现时。为了应对统计异质性,以前的作品在本地优化中加入了近端项,或者在服务器端修改了模型聚合方案,或者提倡集群联邦学习方法,其中中央服务器将代理人口分组为具有联合可训练数据分布的集群,以利用一定程度的个性化。虽然有效,但它们缺乏对什么样的数据异构性以及数据异构性如何影响参与客户端的准确性性能的深入阐述。与许多以前的联邦学习方法相比,我们不仅证明了当前设置中的数据异构性问题不一定是一个问题,而且事实上它对FL参与者也是有益的。我们的观察是直观的:(1)客户端的不同标签(标签偏斜)不一定被认为是数据异质性,以及(2)由其对应的数据主向量所跨越的代理的数据子空间之间的主角度是数据异质性的更好估计。我们的代码可在https://github.com/MMorafah/FL-SC-NIID上获得。
2022-09-30 cs.AI cs.LG
Characterizing Impacts of Heterogeneity in Federated Learning upon Large-Scale Smartphone Data
Key Lab of High Confidence Software Technologies (Peking University)(高可信软件技术重点实验室(北京大学));State Key Laboratory of Networking and Switching Technology (BUPT)(网络与交换技术国家重点实验室(北京邮电大学));Department of Computer Science and Technology, Peking University(北京大学计算机科学技术系);Microsoft Research(微软研究院)
联邦学习(FL)是一种新兴的、保护隐私的机器学习范式,引起了学术界和工业界的极大关注。FL的一个独特特征是异质性,异质性存在于参与设备的各种硬件规格和动态状态中。从理论上讲,异质性会对外语训练过程产生巨大的影响,例如,导致设备不能用于训练或不能上传其模型更新。不幸的是,这些影响从来没有被系统地研究和量化在现有的FL文献。在本文中,我们进行了第一次实证研究,以表征异质性在FL的影响。我们收集了大规模的数据,从136k智能手机,可以忠实地反映在现实世界中的异质性设置。我们还建立了一个异质性感知FL平台,符合标准FL协议,但考虑到异质性。基于这些数据和平台,我们进行了大量的实验,以比较最先进的FL算法在异质性感知和异质性感知设置下的性能。结果表明,异构性导致FL的性能下降,包括高达9.2%的准确率下降,2.32倍的训练时间延长,并破坏了公平性。此外,我们分析了潜在的影响因素,发现设备故障和参与者偏见是性能下降的两个潜在因素。我们的研究提供了深刻的启示外语从业者。一方面,我们的研究结果表明,FL算法设计者在评估过程中考虑了必要的异质性。另一方面,我们的研究结果敦促系统提供商设计具体的机制,以减轻异质性的影响。
2021-03-12 cs.DC cs.LG stat.ML
Towards Effective Federated Multimodal Graph Learning via Navigating Multifaceted Heterogeneity
针对联邦多模态图学习的多层面异质性问题,本文提出FedTCR算法,通过两阶段范式与拓扑感知跨模态路由机制,在7个领域的图中心与模态中心任务上优于现有最优基线。
2026-08-04 cs.LG
Device Heterogeneity in Federated Learning: A Superquantile Approach
UGA(格勒诺布尔阿尔卑斯大学);University of Washington(华盛顿大学);CNRS(法国国家科学研究中心)
针对联邦学习中不符合总体数据分布的异构设备问题,提出基于参数化超分数目标的优化框架,结合安全聚合与设备过滤实现,并在视觉和NLP任务上验证有效性。
2020-02-25 cs.DC cs.LG math.OC
Architectural Blueprint For Heterogeneity-Resilient Federated Learning
London South Bank University(伦敦南岸大学)
针对边缘环境中的数据异构与算力约束,提出三层隐私保护联邦学习架构,更有效处理 non-IID 数据并提升准确率、降低通信开销。
2024-06-14 cs.DC cs.LG cs.NI
Navigating High-Degree Heterogeneity: Federated Learning in Aerial and Space Networks
University of Calgary(卡尔加里大学)
该研究聚焦空天网络联邦学习中的异质性与类别不平衡问题,分析了异质性对类别不平衡的影响及电池等约束的加剧作用,指出现有算法难以有效应对该场景下的高度异质性挑战。
2024-09-17 cs.DC cs.LG
Towards Fair Federated Recommendation Learning: Characterizing the Inter-Dependence of System and Data Heterogeneity
Meta AI;Meta
联邦学习(FL)是一种通过在设备上运行机器学习模型训练来实现推荐系统中数据隐私的有效机制。虽然先前的FL优化解决了FL面临的数据和系统异构性挑战,但它们假设两者是相互独立的。这个基本假设并不能反映真实世界的大规模推荐系统--数据和系统的异构性是紧密交织在一起的。本文采用数据驱动的方法来展示真实世界数据中数据和系统异构性的相互依赖性,并量化其对整体模型质量和公平性的影响。我们设计了一个框架,RF^2,对相互依赖进行建模,并评估其对联邦推荐任务的最新模型优化技术的影响。我们证明,在现实的异质性场景下,公平性的影响可能是严重的,最多15.8- 41倍相比,在大多数(如果不是全部)以前的工作假设一个简单的设置。这意味着当现实的系统引起的数据异构性没有正确建模时,优化的公平性影响可以被淡化高达41倍。结果表明,建模现实的系统引起的数据异构性是必要的,以实现公平的联邦推荐学习。我们计划开源RF^2,以实现未来FL创新的设计和评估。
2022-05-30 cs.IR cs.LG
SplitAVG: A heterogeneity-aware federated deep learning method for medical imaging
Stanford University(斯坦福大学);Athinoula A. Martinos Center for Biomedical Imaging(阿西努拉·A·马丁诺斯生物医学成像中心);Massachusetts General Hospital(马萨诸塞州综合医院)
联邦学习是一种新兴的研究范式,用于在不共享患者数据的情况下协作训练深度学习模型。然而,来自不同机构的数据通常是异构的,这可能会降低使用联邦学习训练的模型的性能。在这项研究中,我们提出了一种新的异质性感知的联邦学习方法,SplitAVG,以克服性能下降的数据异质性在联邦学习。与以前需要复杂的启发式训练或超参数调整的联邦方法不同,我们的SplitAVG利用简单的网络分割和特征映射拼接策略来鼓励联邦模型训练目标数据分布的无偏估计器。我们将SplitAVG与七种最先进的联邦学习方法进行了比较,使用集中托管的训练数据作为合成和真实世界联邦数据集的基线。我们发现,使用所有比较联邦学习方法训练的模型的性能随着数据异构程度的增加而显着下降。相比之下,SplitAVG方法在所有异质设置下实现了与基线方法相当的结果,即在高度异质的数据分区上,它分别在糖尿病视网膜病变二元分类数据集和骨龄预测数据集中实现了由基线获得的96.2%的准确度和110.4%的平均绝对误差。我们得出结论,SplitAVG方法可以有效地克服跨机构的数据分布的可变性的性能下降。实验结果还表明,SplitAVG可以适应不同的基础网络,并推广到各种类型的医学成像任务。
2022-04-10 cs.LG eess.IV
FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity
KAUST(阿卜杜拉国王科技大学);Sony AI(索尼人工智能公司)
针对联邦学习中客户端系统异构性导致需定制个性化模型的问题,提出适配模型异构场景的联邦个性化隐私友好剪枝框架FedP3及其本地差分隐私变体DP-FedP3,并完成理论验证。
2024-04-15 cs.CR cs.LG
Against Multifaceted Graph Heterogeneity via Asymmetric Federated Prompt Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对联邦图学习中数据与任务的多面异质性,提出FedGPL框架,通过分割联邦保留通用与领域知识,并利用HiDTA层次化传递跨任务知识、VPG自适应生成图结构,实现高效非对称图知识转移,显著提升准确性与效率。
2024-11-04 cs.AI cs.DC cs.LG
Fed-BRDECS: Privacy-Preserving and Heterogeneity-Aware Federated Deep Embedded Clustering
Northwestern University(西北大学);Intel Corporation(英特尔公司)
针对联邦深度聚类中的隐私泄露与数据异构问题,提出Fed-BRDECS框架,通过局部样本稳定性损失和预测平衡采样及质心重启,在图像、文本及时间序列任务上优于现有基线。
2026-10-07 cs.LG
Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(教育部新一代人工智能技术及其交叉应用重点实验室(东南大学))
本文针对私有数据倾斜分布的联邦学习挑战,提出带个性化的联邦原型校正方法,通过联邦个性化构建平衡决策边界并利用类间判别与类内一致性校正原型,在个性化和泛化上均优于现有方法。
2024-08-23 cs.DC cs.LG
FedorAS: Federated Architecture Search under system heterogeneity
Samsung AI Center(三星人工智能中心)
联邦学习(FL)最近受到了相当大的关注,因为它能够在保护客户隐私的同时学习分散的数据。然而,它也带来了与参与设备的异质性相关的额外挑战,无论是在其计算能力还是贡献的数据方面。同时,神经架构搜索(NAS)已成功用于集中式数据集,在受约束或不受约束的设置中产生最先进的结果。然而,这种集中式数据集可能并不总是可用于训练。最近在NAS和FL交叉领域的工作尝试在跨竖井联合设置中缓解此问题,该设置假设具有企业级硬件的同构计算环境。在本文中,我们探讨了我们是否可以在跨设备联合设置中设计不同足迹的架构的问题,其中设备环境,可用性和规模非常不同。为此,我们设计我们的系统,FedorAS,发现和训练有前途的架构,在处理不同的能力,持有非IID分布式数据的设备时,以资源感知的方式。我们提出了其在不同环境下的有效性的经验证据,跨越三种不同的模式(视觉,语音,文本),并展示了其更好的性能相比,最先进的联邦解决方案,同时保持资源效率。
2022-09-29 cs.LG
When More Parameters Hurt: Foundation Model Priors Amplify Worst-Client Disparity Under Extreme Federated Heterogeneity
University of Gujrat(瓜尔杰特大学)
研究发现,在极端联邦异质性下,基础模型先验可能加剧最差客户端的差异,通过实验对比文本分类中TextCNN与DistilBERT+LoRA的表现,揭示FM公平性悖论。
2026-09-22 cs.LG
Personalized Federated Learning for Statistical Heterogeneity
Pukyong National University(釜山国立大学)
本文针对联邦学习中数据分布异构导致的个性化不足和收敛缓慢问题,总结了个性化联邦学习(PFL)的概念、相关技术、当前进展及未来研究挑战。
2024-02-07 cs.LG cs.NI
Addressing Data Heterogeneity in Federated Learning of Cox Proportional Hazards Models
Dept. of Computer Science Missouri S&T(计算机科学系 摩洛哥州立技术大学);Dept. of Mathematical Sciences Uni. of Alabama in Huntsville(数学科学系 美国阿拉巴马大学亨茨维尔分校)
针对联邦生存分析中Cox比例风险模型的数据异质性问题,提出基于特征聚类和事件报告策略的联邦学习方法,提升模型性能,并在合成数据及SEER数据库上验证有效性。
2024-07-20 cs.LG stat.AP stat.ML
SCAFFLSA: Taming Heterogeneity in Federated Linear Stochastic Approximation and TD Learning
CMAP, UMR 7641, École polytechnique(法国高等理工学院CMAP研究所);HSE University(俄罗斯高等经济大学);Technology Innovation Institute(技术创新研究所);Steklov Mathematical Institute of Russian Academy of Sciences(俄罗斯科学院斯捷克洛夫数学研究所)
SCAFFLSA通过控制变体纠正客户端漂移,实现联邦线性随机逼近和TD学习中异质性的有效处理,具有线性加速的样本复杂度。
2025-12-19 cs.LG math.OC stat.ML
Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent
Chongqing University of Posts and Telecommunications(重庆邮电大学)
联邦学习(Federated learning,FL)是近年来备受关注的一种新的智能推理方法,它使分布式设备能够在不共享数据共享的情况下,协同地训练一个通用的机器学习(Machine Learning,ML)模型。然而,在实际网络中的问题,如非独立和同分布(non-iid)的原始数据和有限的带宽,引起的FL训练过程的缓慢和不稳定的收敛。为了解决这些问题,我们提出了一个新的FL方法,可以显着减轻统计异质性通过人格解体机制。特别地,我们通过交替的随机梯度下降来解耦全局和局部优化目标,从而减少局部更新阶段的累积方差以加速FL收敛。然后,我们详细分析了所提出的方法,证明了所提出的方法在一般的非凸设置下以亚线性速度收敛。最后,通过在公开数据集上的实验,验证了该方法的有效性.
2022-10-31 cs.LG
FedRD: Reducing Divergences for Generalized Federated Learning via Heterogeneity-aware Parameter Guidance
The Hong Kong Polytechnic University(香港理工大学);The Education University of Hong Kong(香港教育大学)
FedRD通过异质性感知的参数引导和局部去偏分类,减少联邦学习中的优化与性能分歧,提升模型在异质数据下的泛化能力。
2026-01-28 cs.AI cs.LG
Towards Robust Federated Analytics via Differentially Private Measurements of Statistical Heterogeneity
针对联邦场景中统计异质性导致差分隐私分析准确性下降的问题,本文提出结合差分隐私的统计异质性测量方法及分析机制,实验验证其在分布式环境下准确性优于经典/集中式方案,且异质性样本下无显著精度损失。
2024-11-28 cs.DB cs.LG
Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning
University of Nevada, Reno(内华达大学里诺分校);IBM Research(IBM研究院);University of Virginia(弗吉尼亚大学)
数据异构性已被确定为联邦学习的关键特征之一,但在对对抗攻击的鲁棒性方面往往被忽视。本文通过使用合成和LEAF基准测试的综合实验,重点描述和理解其对联邦学习中后门攻击的影响。我们的实验结果驱动的初步印象表明,数据异构性是攻击有效性的主导因素,它可能是防御后门的救赎,因为它使攻击效率降低,设计有效的攻击策略更具挑战性,攻击结果也变得更难预测。然而,通过进一步的调查,我们发现数据异构性更像是一种诅咒而不是救赎,因为只需调整客户端后门定时就可以显着提高攻击效率。更重要的是,数据异构性可能导致在良性客户端的本地训练中过度拟合,攻击者可以利用这些过度拟合来伪装自己并欺骗基于倾斜特征的防御。此外,还可以通过调整攻击数据分布来制定有效的攻击策略。最后,我们讨论了防御数据异构带来的诅咒的潜在方向。从我们广泛的实验和分析中获得的结果和经验教训为设计健壮的联邦学习方法和系统提供了新的见解
2021-02-01 cs.DC cs.LG
UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity
UniFed-VLM是解决任务、模态、模型架构联合异质性的VLM联邦指令调优框架,含FedCSA与TCoD组件,在多基准数据集上优于现有FL方法。
2026-08-18 cs.LG
Towards Privacy-Preserving and Heterogeneity-aware Split Federated Learning via Probabilistic Masking
Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
PM-SFL通过概率掩码训练和个性化掩码学习,在隐私保护和异质性感知方面提升了分裂联邦学习的性能和鲁棒性。
2025-12-30 cs.LG
Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning
Meta AI
联邦学习的一个经常提到的挑战是异质性的存在。\emph{Data heterogeneity}是指来自不同客户端的数据可能遵循非常不同的分布。\emph{System heterogeneity}是指客户端设备具有不同的系统能力的事实。大量的联邦优化方法可以解决这一挑战。在文献中,经验评估通常从随机初始化开始联邦训练。然而,在联邦学习的许多实际应用中,服务器可以访问训练任务的代理数据,这些数据可以用于在开始联合训练之前预训练模型。我们使用四个标准的联邦学习基准数据集实证研究了从联邦学习中的预训练模型开始的影响。不出所料,从预先训练的模型开始减少了达到目标出错率所需的训练时间,并且能够训练比从随机初始化开始时更准确的模型(高达40%)。令人惊讶的是,我们还发现,从预先训练的初始化开始联邦学习可以减少数据和系统异构性的影响。我们建议未来的工作提出和评估联邦优化方法时,从随机和预先训练的初始化开始评估性能。我们还认为,这项研究提出了几个问题,进一步了解联邦优化中的异构性的作用。
2022-10-14 cs.AI cs.LG
Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning
Meta AI
联邦学习的一个经常提到的挑战是异质性的存在。\emph{Data heterogeneity}是指来自不同客户端的数据可能遵循非常不同的分布。\emph{System heterogeneity}是指具有不同系统能力的客户端设备。大量的联邦优化方法可以解决这一挑战。在文献中,经验评估通常从随机初始化开始联邦训练。然而,在联邦学习的许多实际应用中,服务器可以访问训练任务的代理数据,这些数据可以用于在开始联合训练之前预训练模型。使用四个标准的联邦学习基准数据集,我们实证研究了从联邦学习中的预训练模型开始的影响。不出所料,从预先训练的模型开始减少了达到目标出错率所需的训练时间,并且能够训练比从随机初始化开始时更准确的模型(高达40%)。令人惊讶的是,我们还发现,从预先训练的初始化开始联邦学习可以减少数据和系统异构性的影响。我们建议未来的工作提出和评估联邦优化方法,以评估从随机和预先训练的初始化开始时的性能。这项研究提出了几个问题,进一步了解联邦优化中的异构性的作用。\footnote{Our code is available at: \url{https://github.com/facebookresearch/where_to_begin}}
2023-03-24 cs.AI cs.LG
Motley: Benchmarking Heterogeneity and Personalization in Federated Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习考虑异构网络中每个客户端唯一的学习模型。由此产生的特定于客户端的模型已被声称,以提高指标,如准确性,公平性和健壮性,在联邦网络。然而,尽管在这一领域已经做了大量的工作,但仍然不清楚:(1)哪些个性化技术在各种设置中最有效,以及(2)个性化对于实际的联邦应用程序有多重要。为了更好地回答这些问题,我们提出了Motley,一个个性化联邦学习的基准。Motley由一套来自不同问题领域的跨设备和跨竖井联合数据集组成,以及用于更好地理解个性化可能影响的全面评估指标。我们通过比较一些具有代表性的个性化联邦学习方法,在基准上建立基线。这些初步结果突出了现有方法的优点和缺点,并为社区提出了几个开放的问题。Motley旨在提供一种可重复的方法,以推进个性化和异构感知联邦学习的发展,以及迁移学习、元学习和多任务学习的相关领域。
2022-09-26 cs.DC cs.LG
Extra Clients at No Extra Cost: Overcome Data Heterogeneity in Federated Learning with Filter Decomposition
Purdue University(普渡大学)
本文提出将联邦学习中的卷积滤波器分解为滤波器原子及其系数的线性组合,通过聚合原子和系数并利用交叉项模拟大量潜在客户端以降低模型方差,从而有效克服数据异质性并提升模型准确率。
2025-03-11 cs.LG
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
在真实世界的联邦系统中训练分类模型的一个核心挑战是使用非IID数据进行学习。为了解决这个问题,大多数现有的工作涉及在局部优化中强制正则化或改进服务器上的模型聚合方案。其他作品也共享公共数据集或合成样本,以补充代表性不足的类的训练或引入一定程度的个性化。虽然有效,但他们缺乏对数据异构性如何影响深度分类模型的每一层的深入理解。在本文中,我们通过对不同层学习的表示进行实验分析来弥合这一差距。我们的观察结果令人惊讶:(1)在分类器中存在比其他层更大的偏差,以及(2)通过在联邦训练之后对分类器进行后校准可以显著提高分类性能。出于上述研究结果,我们提出了一种新的和简单的算法,称为分类器校准与虚拟表示(CCVR),调整分类器使用虚拟表示采样从近似高斯混合模型。实验结果表明,CCVR在流行的联邦学习基准测试(包括CIFAR-10、CIFAR-100和CINIC-10)上达到了最先进的性能。我们希望我们简单而有效的方法可以为未来的非IID数据联邦学习研究提供一些启示。
2021-10-28 cs.CV cs.DC cs.LG
MedMix: Specialization-Consistent Federated Sparse MoEs under Modality Heterogeneity
KAIST(韩国科学技术院);NTU Singapore(新加坡南洋理工大学)
针对联邦多模态医疗AI的客户端与样本级模态异质性问题,提出MedMix框架,通过模态上下文感知路由、共识引导路由对齐与客户端自适应专家聚合,在多模态医疗数据集上取得最优平均F1值,严重异质性下提升显著。
2026-08-17 cs.LG
FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to System Heterogeneity
University of Science and Technology of China(中国科学技术大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
联邦学习(FL)是一种新兴的框架,用于通过受限于有限的通信带宽、数据分布和计算资源的异构性以及隐私考虑的边缘设备对大数据量进行分布式处理。在本文中,我们介绍了一个新的FL协议称为FedADMM的基础上的原始-对偶优化。所提出的方法利用双变量来解决统计异构性,并通过容忍客户端执行的可变工作量来适应系统异构性。FedADMM保持与FedAvg/Prox相同的每轮通信成本,并通过增广拉格朗日函数对其进行推广。一个收敛性证明建立非凸目标,在没有限制的数据相异度或每轮的算法参与者的数量。我们通过在真实数据集上进行广泛的实验,在跨客户端的IID和非IID数据分布下证明了这些优点。FedADMM在通信效率方面始终优于所有基准方法,达到规定精度所需的轮次数减少了87%。该算法通过使用对偶变量有效地适应异构数据分布,而不需要超参数调整,其优势在大规模系统中更加明显。
2022-04-08 cs.LG
FedFed: Feature Distillation against Data Heterogeneity in Federated Learning
Beihang University(北京航空航天大学);Chinese University of Hong Kong(香港中文大学);University of Science and Technology of China(中国科学技术大学);The University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);Kunming University of Science and Technology(昆明理工大学)
针对联邦学习中的数据异构性问题,提出FedFed方法,通过划分并全局共享性能敏感特征、本地保留稳健特征,在保护隐私的同时提升模型性能。
2023-10-08 cs.LG
SpecGradFilter: A Spectral Gradient Filtering Framework for Taming Federated Heterogeneity
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院)
研究联邦学习中统计异构性问题,从频域视角发现漂移谱偏差,提出SpecGradFilter框架,通过抑制低频信号驯服异构性,实验证明其在高非IID设置下性能优且通信开销小。
2026-08-31 cs.LG