Addressing Algorithmic Disparity and Performance Inconsistency in Federated Learning
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Weill Cornell Medicine(威尔·康奈尔医学院)
联邦学习(Federated learning,FL)能够从分布式数据源中进行学习,而不需要访问不同数据源的原始数据样本,因此受到越来越多的关注。到目前为止,FL的研究主要集中在提高性能,算法差异将如何影响从FL学习的模型,以及算法差异对效用不一致性的影响在很大程度上是未知的。在本文中,我们提出了一个FL框架,共同考虑性能的一致性和算法公平性在不同的本地客户端(数据源)。我们从约束多目标优化的角度推导出我们的框架,在该框架中,我们学习了一个模型,该模型满足对所有客户端的公平性约束,并具有一致的性能。具体来说,我们把算法的预测损失在每个本地客户端作为一个目标,并最大限度地提高性能最差的客户端的公平性约束,通过优化代理最大值函数的所有目标。一个基于梯度的过程是实现这个优化问题的帕累托最优。理论分析证明,我们的方法可以收敛到一个Pareto解决方案,实现最小最大的性能与公平性约束的所有客户端。在合成数据集和真实数据集上进行的综合实验表明,我们的方法优于基线,并且在所有本地客户端实现公平性和一致性方面有效。
2021-10-20 cs.LG
Federated Asymptotics: a model to compare federated learning algorithms
Stanford University(斯坦福大学)
我们提出了一个渐进的框架来分析(个性化)联邦学习算法的性能。在这个新的框架中,我们将联邦学习制定为多标准目标,其目标是使用来自所有客户端的信息最小化每个客户端的损失。我们分析一个线性回归模型,对于一个给定的客户端,我们可以在理论上比较各种算法在高维渐近极限的性能。这种渐进多准则方法自然地模拟了联邦学习的高维、多设备性质。这些工具对联邦场景中个性化和信息共享的好处做出了相当精确的预测-至少在我们的(程式化)模型中-包括具有简单客户端微调的联邦平均实现了与更复杂的元学习和近似正则化方法相同的渐近风险,并且优于没有个性化的联邦平均。我们在EMNIST、CIFAR-100、Shakespeare和Stack Overflow数据集的联邦版本上评估了这些预测,实验证实了理论预测,表明这些框架可能为实际算法开发提供有用的指导。
2022-02-18 cs.DC cs.LG math.OC
Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees
Purdue University(普渡大学);Yonsei University(延世大学);MIT(麻省理工学院);University at Buffalo (SUNY)(纽约州立大学布法罗分校)
本文提出去中心化偶发联邦学习框架DSpodFL,通过广义的偶发性概念统一建模异构且时变的局部梯度与聚合过程,并在温和假设下提供了凸与非凸模型的收敛性保证,实验证明其训练速度优于基线。
2025-03-06 cs.DC cs.LG
Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning
Google Research(谷歌研究院)
我们研究了一系列的算法,我们称之为本地更新方法,概括了许多联邦和元学习算法。我们证明了,对于二次模型,局部更新方法是等价于一阶优化的替代损失,我们确切地描述。此外,基本的算法选择(如学习率)显式地管理替代损失的条件数与其与真实损失的对齐之间的权衡。我们得到新的收敛率展示这些权衡,并强调其重要性,在通信有限的设置。使用这些见解,我们能够比较局部更新方法的基础上,他们的收敛/精度权衡,而不仅仅是他们的收敛到临界点的经验损失。我们的研究结果为广泛的现象提供了新的视角,包括服务器动量在联邦学习中的功效以及最近端客户端更新的影响。
2021-03-08 cs.DC cs.LG math.OC
Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning
EPFL(洛桑联邦理工学院);Google Research(谷歌研究院)
联邦学习(FL)是一个具有挑战性的优化设置,因为不同客户端之间的数据异构性会导致客户端漂移现象。事实上,迄今为止,获得一种比简单的集中式训练更好的FL算法一直是一个主要的开放问题。在这项工作中,我们提出了一个通用的算法框架,Mime,它i)减轻客户端漂移和ii)适应任意集中式优化算法,如动量和亚当跨设备联邦学习设置。Mime在每个客户端更新步骤中使用控制变量和服务器级统计数据(例如动量)的组合,以确保每个本地更新模仿对iid数据运行的集中式方法。我们证明了一个减少的结果表明,Mime可以翻译的收敛性的通用算法在集中式的设置在联邦设置的收敛。此外,我们表明,当与基于动量的方差减少相结合时,Mime可以证明比任何集中式方法都快-这是第一个这样的结果。我们还对Mime在真实世界数据集上的性能进行了彻底的实验探索。
2021-06-08 cs.DC cs.LG math.OC
EAB-FL: Exacerbating Algorithmic Bias through Model Poisoning Attacks in Federated Learning
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
本文提出模型投毒攻击EAB-FL,在保持模型效用的同时加剧联邦学习中的群体不公平性,并通过三数据集实验验证其有效性。
2024-10-02 cs.AI cs.CR cs.LG
Differentially Private and Federated Structure Learning in Bayesian Networks
PreMeDICal, Inria, Idesp, Inserm, University of Montpellier(PreMeDICal, 法国国家信息与自动化研究所, Idesp, 法国国家健康与医学研究院, 蒙彼利埃大学)
本文提出Fed-Sparse-BNSL方法,结合差分隐私与贪心更新,实现高效隐私保护和低通信开销的贝叶斯网络结构学习。
2026-04-10 cs.LG stat.ML
AFed: Algorithmic Fair Federated Learning
City University of Macau(澳门城市大学);Shenzhen University of Advanced Technology(深圳理工大学)
针对联邦学习无法集中访问敏感数据导致的群体公平性难题,本文提出AFed框架,通过服务器或客户端条件生成器学习全局分布并增强本地数据,理论与实验均证明其显著优于基线。
2025-01-06 cs.AI cs.LG
Communication-Efficient Federated Distillation
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
通信约束是阻碍联邦学习系统广泛采用的主要挑战之一。最近,出现了一种新的联邦学习算法范例--联邦蒸馏(Federated Distillation,FD),它具有根本不同的通信特性。FD方法利用集成蒸馏技术和交换模型输出,在中央服务器和参与的客户端之间,在未标记的公共数据集上呈现为软标签。而对于传统的联邦学习算法,如联合平均(FA),通信与联合训练的模型的大小成比例,在FD通信中与蒸馏数据集大小成比例,导致有利的通信属性,特别是当训练大模型时。在这项工作中,我们调查FD从通信效率的角度来看,通过分析的影响,积极蒸馏数据整理,软标签量化和增量编码技术。基于从这种分析中收集的见解,我们提出了压缩联合蒸馏(CFD),一种有效的联合蒸馏方法。联邦图像分类和语言建模问题的大量实验表明,我们的方法可以减少必要的通信量,以实现固定的性能目标超过两个数量级,相比FD和超过四个数量级相比,FA。
2020-12-01 cs.AI cs.LG stat.ML
Personalised Federated Learning On Heterogeneous Feature Spaces
Criteo AI Lab(Criteo人工智能实验室)
大多数个性化联邦学习(FL)方法假设所有客户端的原始数据都定义在一个公共子空间中,即所有客户端根据相同的模式存储其数据。对于现实世界的应用程序,这个假设是限制性的,因为客户端有自己的系统来收集和存储数据,可能会使用异构数据表示。我们的目标是填补这一空白。为此,我们提出了一个通用的框架创造FLIC,客户端的数据映射到一个共同的特征空间,通过本地嵌入功能。公共特征空间是使用Wasserstein重心以联邦方式学习的,而本地嵌入函数是通过分布对齐在每个客户端上训练的。我们将这种分布式学习机制集成到一种联邦学习方法中,并给出了FLIC的算法。我们比较其性能对FL基准涉及异构输入特征空间。此外,我们提供了理论见解,支持我们的方法的相关性。
2023-01-26 cs.AI cs.LG stat.ML
Faster Non-Convex Federated Learning via Global and Local Momentum
Amazon(亚马逊);University of Texas at Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学)
我们提出了\texttt{FedGLOMO},一种新的联邦学习(FL)算法,其迭代复杂度为$\mathcal{O}(ε^{-1.5})$,以收敛到$ε$稳定点(即,$\mathbb{E}[\|\nabla f(\bm{x})\|^2] \leq ε$)的光滑非凸函数-在任意客户端异构性和压缩通信-相比,$\mathcal{O}(ε^{-2})$的复杂性,大多数以前的作品。我们实现这种改进复杂性的关键算法思想是基于以下观察:FL中的收敛受到两个高方差来源的阻碍:(i)具有多个本地更新的全局服务器聚合步骤,由于客户端异构性而加剧,以及(ii)本地客户端级随机梯度的噪声。通过将服务器聚合步骤建模为广义梯度型更新,我们提出了一种基于方差减少动量的服务器全局更新,当与客户端的方差减少本地更新结合应用时,使\texttt{FedGLOMO}能够享受更好的收敛速度。此外,我们得出我们的结果下,一个新的和更现实的客户端的异质性假设,我们验证经验-不像以前的假设,很难验证。我们的实验说明了内在的方差减少效果的\texttt{FedGLOMO},这隐含地抑制客户端漂移在异构数据分布设置,提高通信效率。
2021-10-24 cs.DC cs.LG math.OC
Minimax Estimation for Personalized Federated Learning: An Alternative between FedAvg and Local Training?
University of Pennsylvania(宾夕法尼亚大学);Meta AI Research(元人工智能研究)
本文从极小极大角度研究个性化联邦学习中FedAvg与纯本地训练的速率最优性,证明二者在不同数据异质性水平下分别最优,并表明在二者间选择的二分策略及FedAvg加本地微调策略在相应条件下均达到极小极大最优。
2025-03-11 cs.LG stat.ML
Scalable federated machine learning with FEDn
Scaleout Systems(Scaleout系统公司);Uppsala University(乌普萨拉大学)
联邦机器学习在克服机器学习中的输入隐私挑战方面具有很大的前景。几个能够模拟联邦学习的项目的出现导致了该问题的算法方面的相应快速进展。然而,仍然缺乏联邦机器学习框架,专注于地理分布环境中的可扩展性,鲁棒性,安全性和性能等基本方面。为了弥合这一差距,我们设计并开发了FEDn框架。FEDn的一个主要功能是支持跨设备和跨筒仓训练设置。这使得FEDn成为在现实环境中研究广泛的机器学习应用的强大工具。
2022-04-04 cs.DC cs.LG
Graph-Assisted Communication-Efficient Ensemble Federated Learning
University of California, Irvine(加州大学欧文分校)
在联邦学习中,由于有限的通信带宽,通信效率成为必要条件。为此,本文开发了一个算法框架,其中学习了预训练模型的集合。在每一轮学习中,服务器选择预先训练的模型的子集以基于图的结构来构建集成模型,图的结构表征服务器对模型的置信度。然后,只有选定的模型被传输到客户端,这样就不会违反某些预算约束。在从客户端接收到更新时,服务器相应地细化图的结构。证明了该算法具有次线性遗憾界。在真实数据集上的实验证明了该方法的有效性。
2022-02-27 cs.LG
FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所)
联邦蒸馏(Federated Distillation,FD)是一种流行的新的联邦学习算法范例,它通过将客户端对未标记辅助数据集的预测提取到学生模型中,实现了与先前基于参数平均的方法相竞争的训练性能,同时还允许客户端训练不同的模型架构。在这项工作中,我们提出了FedAUX,FD的扩展,在相同的假设下,通过从未标记的辅助数据中获得最大效用,大大提高了性能。FedAUX以两种方式修改FD训练过程:首先,对辅助数据进行无监督的预训练,以找到分布式训练的模型初始化。其次,$(\varepsilon, δ)$ -差分私有确定性评分用于根据每个客户端模型的确定性对辅助数据上的集合预测进行加权。在大规模卷积神经网络和Transformer模型上进行的实验表明,FedAUX的训练性能在iid和非iid状态下都大大超过了SOTA FL基线方法,进一步缩小了与集中式训练性能的差距。代码可在github.com/fedl-repo/fedaux上获得。
2021-02-04 cs.DC cs.LG stat.ML
Improving Fairness via Federated Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
最近,已经提出了许多算法来从分散数据中学习公平分类器。然而,许多理论和算法问题仍然是开放的。首先,联邦学习是否必要,即,我们是否可以简单地训练当地公平的分类人员并将其汇总?在这项工作中,我们首先提出了一个新的理论框架,我们证明了联邦学习可以严格提高模型公平性相比,这样的非联邦算法。然后,我们从理论上和经验表明,基于FedAvg的公平学习算法的性能权衡严格比集中式数据训练的公平分类器差。为了弥合这一差距,我们提出了FedFB,一个私人公平的学习算法分散的数据。关键思想是修改FedAvg协议,使其能够有效地模仿集中式公平学习。我们的实验结果表明,FedFB显著优于现有方法,有时与集中训练模型的性能相匹配。
2022-12-07 cs.LG
LiD-FL: Towards List-Decodable Federated Learning
College of Computer Science, Sichuan University(四川大学计算机学院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);School of Statistics and Data Science, Nankai University(南开大学统计与数据科学学院)
本文提出列表可解码联邦学习框架,允许服务器维护模型列表,在恶意参与者过半时仍保证至少一个模型性能良好,并证明收敛性及实验验证其抗攻击能力。
2025-02-27 cs.LG
Mitigating Data Heterogeneity in Federated Learning with Data Augmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Waterloo(滑铁卢大学)
联邦学习(FL)是一个突出的框架,它可以训练一个集中式模型,同时通过融合本地的分散式模型来保护用户隐私。在这种情况下,一个主要障碍是数据异构性,即,每个客户端具有不相同且独立分布的(非IID)数据。这类似于领域泛化(DG)的上下文,其中每个客户端可以被视为不同的域。然而,虽然DG中的许多方法从算法的角度来处理数据异构性,但最近的证据表明,数据增强可以产生相等或更高的性能。出于这种连接,我们提出了联邦版本的流行DG算法,并表明,通过应用适当的数据增强,我们可以减轻数据异构性的联邦设置,并获得更高的准确性看不见的客户端。配备了数据增强,我们可以实现最先进的性能,即使是最基本的联邦平均算法,更稀疏的通信。
2022-06-20 cs.LG
A Unified Analysis of Stochastic Gradient Methods for Nonconvex Federated Optimization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST))
在本文中,我们研究了一个大家庭的SGD变体在光滑非凸制度的表现。为此,我们提出了一个通用的和灵活的假设能够准确建模的二阶矩的随机梯度。我们的假设是满足大量的特定变体的SGD在文献中,包括SGD与任意采样,SGD与压缩梯度,和各种各样的方差减少SGD方法,如SVRG和SAGA。我们提供了一个单一的收敛性分析的所有方法,满足所提出的统一假设,从而提供了一个统一的理解SGD的变种在非凸制度,而不是依赖于专门的分析每个变种。此外,我们的统一分析是准确的,足以恢复或改善最知名的几个经典方法的收敛性结果,也给出了新的收敛性结果,许多新的方法出现的特殊情况。在更一般的分布式/联邦非凸优化设置,我们提出了两个新的通用算法框架不同的是直接梯度压缩(DC)或压缩梯度差异(DIANA)。我们表明,这两个框架捕获的所有方法也满足我们的统一假设。因此,我们的统一收敛性分析也捕捉了大量的各种分布式方法,利用压缩通信。最后,我们还提供了一个统一的分析,以获得更快的线性收敛速率,在这个非凸制度下的PL条件。
2020-06-12 cs.DS cs.LG math.OC
Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
针对联邦学习中异构非平稳的客户端不可用问题,提出仅需O(1)额外开销、通过隐式gossip扩散更新的FedAPM算法,可在非凸目标下实现线性加速并经真实数据实验验证。
2024-10-31 cs.DC cs.LG math.OC
Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);The University of Tokyo(东京大学);RIKEN(理化学研究所)
近年来,局部SGD算法在分布式学习领域得到了广泛的研究,以克服分布式学习中的通信瓶颈问题。然而,本地SGD的优越性,minibatch SGD只在相当有限的情况下举行。本文研究了一种新的求解非凸分布优化问题的局部算法--偏差方差缩减局部SGD(Bias-Variance Reduced Local SGD,BVR-L-SGD)。从理论上讲,我们提出的偏差和方差减少的局部梯度估计器充分利用了局部目标的二阶异质性,并建议随机选取一个局部模型,而不是在工人同步时取其平均值。理论上,在局部目标的异质性较小的情况下,我们证明了BVR-L-SGD在温和的条件下比以前的非局部方法和局部方法具有更好的通信复杂性,特别是BVR-L-SGD是第一个在异质性较小和局部计算预算较大的情况下,突破一般非凸光滑目标通信复杂性度$Θ(1/\varepsilon)$障碍的方法.数值结果验证了理论结果,并给出了经验证据的优越性,我们的方法。
2021-06-14 cs.LG math.OC
Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization
Inria - ENS Paris(法国国家信息与自动化研究所 - 巴黎高等师范学院);EPFL, Switzerland(瑞士洛桑联邦理工学院)
本文提出AGRAF SGD统一框架,在宽松假设下涵盖SGD、去中心化SGD、Local SGD和FedBuff等算法的异步版本,并给出更优的收敛速率。
2023-11-01 cs.DC cs.LG math.OC
Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization
本文提出 Libra 泛化动力学分析框架,刻画联邦学习中模型稳定性与梯度范数的权衡,解释本地步数和服务器动量对超额风险的影响。
2025-10-19 cs.LG stat.ML
Clustered Federated Learning via Generalized Total Variation Minimization
本文提出将联邦学习表述为广义全变差最小化,并设计一种完全分散的原始-对偶算法,在理论上界定了与聚类基准方法的偏差,从而有效训练个性化模型。
2023-06-18 cs.DC cs.LG stat.ML
Federated Learning with Convex Global and Local Constraints
University of Minnesota(明尼苏达大学)
本文针对带一般约束的联邦学习问题,提出基于近端增广拉格朗日方法的新算法,建立其最坏情况复杂度,并通过Neyman-Pearson分类和公平性感知学习实验验证了有效性。
2024-05-01 cs.LG math.OC
Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院);Columbia University(哥伦比亚大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Petuum Inc.(Petuum公司)
联邦学习的规范公式将其视为分布式优化问题,其中模型参数针对全局损失函数进行优化,该全局损失函数在客户端损失函数之间进行分解。最近的替代公式将联邦学习视为分布式推理问题,其中目标是从分区的客户端数据推断全局后验(Al-Shedivat et al.,2021年)。本文扩展了推理视图,并描述了变分推理公式的联邦学习的目标是找到一个全局变分后验,以及近似的真实后验。这自然激发了联邦学习(FedEP)的期望传播方法,其中通过中央服务器和客户端之间的概率消息传递迭代地细化全局后验的近似值。我们进行了广泛的实证研究,在各种算法的考虑,并描述了实际的战略,扩大期望传播到现代联邦设置。我们将FedEP应用于标准的联邦学习基准测试,发现它在收敛速度和准确性方面都优于强基线。
2023-02-08 cs.LG
Federated fairness-aware classification under differential privacy
Department of Statistics, University of Warwick(沃里克大学统计系)
本文研究了在联邦学习中差分隐私与公平性对分类任务的联合影响,提出FDP-Fair算法及简化版CDP-Fair算法,理论分析并验证了算法在隐私、公平性和风险控制方面的保障。
2026-03-25 cs.LG stat.ME stat.ML
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data
University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Webank, Co. Ltd(微众银行有限公司)
联邦学习(FL)已经成为从分布式数据中学习的流行范例。为了有效地利用不同设备上的数据而不将它们移动到云端,诸如联合平均(Federated Averaging,FedAvg)之类的算法采用了“计算然后聚合”(CTA)模型,其中在将本地模型发送到云端进行聚合之前,使用本地数据执行多个本地更新。然而,这些方案通常需要强假设,例如局部数据是同独立分布的(i.i.d),或者局部梯度的大小是有界的。在本文中,我们首先明确描述了FedAvg算法的行为,并表明在没有对问题结构进行强而不切实际的假设的情况下,该算法可以对非凸问题(例如,发散到无穷大)。为了设计出可证明快速且需要尽可能少的假设条件的FL算法,从原对偶优化的角度提出了一种新的算法设计策略.我们的策略产生了一个家庭的算法,采取相同的CTA模型作为现有的算法,但他们可以处理非凸目标,实现最佳可能的优化和通信复杂性,同时能够处理完整的批处理和小批量本地计算模型。最重要的是,所提出的算法是{ \it通信效率},在这个意义上,通信模式可以适应本地数据之间的异构性水平。据我们所知,这是FL的第一个算法框架,实现了所有上述属性。
2020-07-07 cs.LG stat.ML
Training Keyword Spotting Models on Non-IID Data with Federated Learning
Google LLC(谷歌有限责任公司)
我们证明了一个生产质量的关键词识别模型可以使用联邦学习在设备上进行训练,并实现与中央训练模型相当的错误接受率和错误拒绝率。为了克服与拟合设备上的数据(本质上是非独立和同分布的)相关的算法约束,我们使用大规模联邦仿真对优化算法和超参数配置进行了彻底的实证研究。为了克服资源限制,我们用SpecAugment替换了内存密集型MTR数据增强,从而将错误拒绝率降低了56%。最后,为了标记示例(给定设备上数据的零可见性),我们探索了师生培训。
2020-06-04 cs.CL cs.LG cs.SD
Online Federated Learning via Non-Stationary Detection and Adaptation amidst Concept Drift
Purdue University(普渡大学);King Abdullah University Of Science And Technology(阿卜杜拉国王科技大学)
针对联邦学习在概念漂移下性能退化的问题,提出结合FedAvg与FedOMD理论保证及非平稳检测与自适应的多尺度框架,实现了动态遗憾界,提升了泛化性能。
2023-05-06 cs.AI cs.LG cs.SY
FedReLa: Imbalanced Federated Learning via Re-Labeling
School of Computing and Information Systems, University of Melbourne, Victoria, Australia(墨尔本大学计算机与信息系统学院);School of Statistics and Data Science, LPMC, KLMDASR, and LEBPS, Nankai University(南开大学统计与数据科学学院);School of Mathematics and Statistics, University of Melbourne, Victoria, Australia(墨尔本大学数学与统计学学院)
提出FedReLa方法,通过特征依赖的标签重分配器纠正全局决策边界偏差,解决联邦学习中数据异构与类别不平衡共存问题,无需全局类分布知识,显著提升少数类精度。
2026-06-25 cs.CV cs.LG stat.ML
Theoretical Foundations of Communication-Efficient, Robust, and Practical Distributed and Federated Optimization
本论文针对分布式与联邦优化的七大瓶颈,提出ProxSkip等算法,建立通信高效、鲁棒优化的理论框架,经实验验证其有效性。
2026-08-10 cs.LG math.OC
Orchestra: Unsupervised Federated Learning via Globally Consistent Clustering
University of Michigan(密歇根大学);University of Cambridge(剑桥大学);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习通常用在标签容易获得的任务中(例如,下一个单词预测)。放松这一约束需要设计无监督学习技术,这些技术可以支持联邦训练的理想属性:对统计/系统异质性的鲁棒性,参与者数量的可扩展性和通信效率。关于这个主题的先前工作集中于直接扩展集中式自监督学习技术,其未被设计为具有上面列出的属性。为了解决这种情况,我们提出了一种新的无监督的联邦学习技术,利用联邦的层次结构来编排分布式聚类任务,并强制执行客户端的数据到可辨别的集群的全局一致的分区。我们展示了Orchestra中的算法管道在线性探测下保证了良好的泛化性能,使其在广泛的条件下优于替代技术,包括异质性,客户端数量,参与率和局部时代的变化。
2022-06-11 cs.CV cs.LG
Communication-Efficient Federated Distillation with Active Data Sampling
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)是一种很有前途的范例,可以从分布式数据中实现隐私保护深度学习。大多数以前的工作是基于联邦平均(FedAvg),然而,它面临着几个关键问题,包括高通信开销和处理异构模型架构的困难。联邦蒸馏(FD)是最近提出的一种替代方案,使通信高效和强大的FL,它实现了数量级的通信开销减少相比,FedAvg,是灵活的处理客户端的异构模型。然而,到目前为止,还没有统一的算法框架或理论分析的FD为基础的方法。在本文中,我们首先提出了一个通用的元算法FD和调查的影响,通过实证实验的关键参数。然后,我们从理论上验证了经验观察。基于实验结果和理论,我们提出了一个通信有效的FD算法与主动数据采样,以提高模型的性能,减少通信开销。在基准数据集上的实证模拟表明,我们提出的算法有效地,显着地减少了通信开销,同时取得了令人满意的性能。
2022-03-14 cs.LG
Resilience Beyond Stationary Client Unavailability: Unlocking Efficient and Unbiased Federated Learning
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
针对实际联邦学习中客户端非静态不可用性问题,提出轻量高效的FedSWE算法,可补偿错过计算、稳定扩散全局更新,收敛性好且开销小,经实验验证其有效性。
2026-09-07 cs.DC cs.LG math.OC
Personalized Online Federated Learning with Multiple Kernels
University of California Irvine(加州大学尔湾分校)
本文提出一种基于随机特征近似的可扩展在线联邦多核学习算法,以低通信成本处理客户端数据异构性,并证明每个客户端享有次线性遗憾,实验验证其优于现有方法。
2023-11-09 cs.LG
Federated Learning and Class Imbalances
Department of Applied Mathematics and Theoretical Physics, University of Cambridge(应用数学与理论物理系,剑桥大学);Department of Radiology, University of Cambridge(放射学系,剑桥大学)
本研究提出RHFL+方法,通过统一框架评估、扩展医学影像数据集和使用NVFlare框架,解决联邦学习中的类别不平衡问题。
2026-01-09 cs.LG
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives
个性化联邦学习(FL)促进了多个客户端之间的协作,以学习个性化模型,而无需共享私有数据。该机制减轻了系统中通常遇到的统计异质性,即,不同客户端上的非IID数据。现有的个性化算法通常假设所有客户都自愿进行个性化。然而,潜在的参与者可能仍然不愿意个性化模型,因为它们可能无法很好地工作。在这种情况下,客户端选择使用全局模型。为了避免不切实际的假设,我们引入个性化率,衡量的客户端愿意训练个性化模型的分数,到联邦设置,并提出DyPFL。这种动态个性化FL技术激励客户参与个性化本地模型,同时允许在全局模型表现更好时采用全局模型。我们表明,DyPFL中的算法管道保证了良好的收敛性能,使其在广泛的条件下优于其他个性化方法,包括异质性,客户端数量,局部时期和批量大小的变化。
2022-09-22 cs.AI cs.LG
Momentum Benefits Non-IID Federated Learning Simply and Provably
Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学);National Engineering Labratory for Big Data Analytics and Applications(国家大数据分析与应用工程实验室);AI for Science Institute, Beijing(北京科学智能研究院)
针对联邦学习中FedAvg和SCAFFOLD算法收敛依赖数据异质性有界假设等问题,研究引入动量,证明其可在无该假设下让FedAvg收敛、提升SCAFFOLD收敛速度,还开发了具备最优收敛率的方差缩减扩展版本,实验验证了理论结果。
2024-03-05 cs.LG math.OC
Understanding the Statistical Accuracy-Communication Trade-off in Personalized Federated Learning with Minimax Guarantees
本文研究了个性化联邦学习中统计准确性与通信的权衡,定量刻画了个性化程度对样本与算法效率的影响,提供了选择个性化程度的理论见解,并证明了广泛研究的PFL公式的minimax最优性。
2025-06-01 cs.DC cs.LG math.ST
Straggler-Resilient Personalized Federated Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学);UC Santa Barbara(加州大学圣塔芭芭拉分校)
联邦学习是一种新兴的学习范式,它允许从分布在大型客户端网络中的样本中训练模型,同时尊重隐私和通信限制。尽管取得了成功,但联邦学习面临着与其分散性质相关的几个挑战。在这项工作中,我们开发了一种新的算法程序,理论上的加速保证,同时处理两个这些障碍,即(i)数据异构性,即,数据分布可以在客户端之间显著变化,以及(i i)系统异质性,即,客户端的计算能力可能显著不同。我们的方法依赖于表示学习理论的思想,使用所有客户端的数据找到一个全球通用的表示,并学习一组用户特定的参数,为每个客户端提供个性化的解决方案。此外,我们的方法通过基于计算特性和统计显著性自适应地选择客户端来减轻掉队者的影响,从而首次实现了接近最佳的样本复杂度和可证明的对数加速比。实验结果支持我们的理论研究结果显示,我们的方法优于其他个性化的联邦计划在系统和数据异构环境。
2022-06-05 cs.DC cs.LG
On the Convergence of Federated Learning Algorithms without Data Similarity
Stockholm University(斯德哥尔摩大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
该研究提出无需数据相似性条件的联邦学习收敛分析统一框架,推导三种独立于数据相似性的步长调度精确表达式,实验验证其在不同数据相似性下可显著提升联邦学习的收敛速度与性能。
2024-06-19 cs.GT cs.LG
FLINT: A Platform for Federated Learning Integration
LinkedIn Corporation(领英公司);University of Michigan(密歇根大学);RightScope Inc.(RightScope公司)
跨设备联邦学习(FL)已经从算法,系统可扩展性和训练速度的角度进行了充分的研究。尽管如此,从集中培训转向针对数百万或数十亿台设备的跨设备FL会带来许多风险,包括性能损失、开发人员惰性、糟糕的用户体验和意外的应用程序故障。此外,相应的基础设施、开发成本和投资回报也难以估算。在本文中,我们提出了一个设备-云协作FL平台,该平台与现有的机器学习平台集成,提供工具来测量现实世界的约束,评估基础设施的能力,评估模型训练性能,并估计系统资源需求,以负责任地将FL投入生产。我们还提出了一个决策工作流程,利用FL集成平台来全面评估跨设备FL的权衡,并分享我们对影响数亿用户的业务关键型机器学习应用程序的经验评估。
2023-03-11 cs.DC cs.LG
Over-the-Air Federated Learning in Heterogeneous Mobile Wireless Networks
针对异构衰落信道下空中联邦学习的挑战,提出FedOAG算法,通过梯度归一化和隐式八卦机制实现无偏收敛,达到最优速率,并在真实数据集上验证。
2026-09-29 cs.DC cs.LG math.OC
Cumulative Utility Parity for Fair Federated Learning under Intermittent Client Participation
Department of Computer Science and Technology, University of Cambridge, Cambridge, United Kingdom(计算机科学与技术系,剑桥大学,剑桥,英国)
本文提出累积效用公平性,通过评估客户端长期收益来提升联邦学习中的公平性,实验显示其在保持性能的同时改善了长期表示公平性。
2026-02-14 cs.AI cs.LG
An Operator Splitting View of Federated Learning
University of Waterloo(滑铁卢大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文从算子分裂视角统一理解联邦学习算法,便于比较、改进收敛结果并发现新变体,揭示步长关键作用,且无需通信开销即可加速算法,实验验证于凸与非凸模型。
2025-05-22 cs.LG
Heterogeneous Federated Learning on a Graph
Peking University(北京大学)
联合学习是在多个分散的设备上训练算法而不共享本地数据,在分布式机器学习实践中越来越受欢迎。通常,图结构$G$存在于本地设备之后以用于通信。在这项工作中,我们考虑联邦学习中的参数估计与数据分布和通信异构性,以及有限的本地设备的计算能力。我们通过用一组不同的$p$维向量参数化本地设备上的分布来编码分布异质性。然后,我们建议在$M$估计框架下联合估计所有设备的参数,并融合Lasso正则化,鼓励$G$中连接设备的参数估计相等。我们提供了一个一般的结果,我们的估计依赖于$G$,它可以进一步校准,以获得各种特定的问题设置的收敛速度。令人惊讶的是,我们的估计量在$G$上达到了一定的图形保真度条件下的最优速率,好像我们可以聚合所有共享相同分布的样本。如果图的保真度条件不满足,我们提出了一个边缘选择过程,通过多重检验,以确保最优性。为了减轻本地计算的负担,提供了一个分散的随机版本的ADMM,具有收敛速度$O(T^{-1}\log T)$,其中$T$表示迭代次数。我们强调,我们的算法在每次迭代中只传输沿$G$的边缘的参数,而不需要一个中央机器,这保护了隐私。我们进一步将其扩展到设备在训练过程中随机不可访问的情况,具有类似的算法收敛保证。仿真实验和2020年美国总统选举数据集证明了该方法的计算和统计效率。
2022-09-19 cs.LG stat.ME stat.ML
Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters
Northwestern University(西北大学)
本文利用算法稳定性分析 FedAvg、SCAFFOLD 和 FedProx 在凸与非凸损失下的泛化,揭示客户端数据异质性和收敛行为的关键作用。
2023-06-06 cs.LG
LoSAC: An Efficient Local Stochastic Average Control Method for Federated Optimization
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
联邦优化(FedOpt)是联邦学习的重要组成部分,其目标是在大量分布式客户端上协同训练学习模型。FedOpt中的主要问题可以归因于模型分歧和通信效率,这会显著影响性能。在本文中,我们提出了一种新的方法,即,LoSAC,更有效地从异构分布式数据中学习。其关键算法见解是在{每次}定期局部模型更新之后局部更新全局全梯度的估计。因此,LoSAC可以以更紧凑的方式刷新客户端的信息。特别地,我们研究了LoSAC的收敛结果。此外,LoSAC的好处是能够防御最近的技术深度泄漏事件(DLG)的信息泄漏。最后通过实验验证了LoSAC算法相对于现有FedOpt算法的优越性。具体而言,LoSAC显著提高了通信效率,平均超过$100\%$,缓解了模型发散问题,并具备了对DLG的防御能力。
2023-02-25 cs.DC cs.LG
FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
本文提出FedChain框架,融合本地与全局方法优势,在利用客户端相似性的同时实现关于通信轮数R的快速收敛,并在凸、PL及强凸设置下取得改进或近最优的通信复杂度。
2023-04-16 cs.DC cs.LG math.OC
FairFML: Fair Federated Machine Learning with a Case Study on Reducing Gender Disparities in Cardiac Arrest Outcome Prediction
Duke-NUS Medical School(杜克-新加坡国立大学医学院);Duke University(杜克大学);Kyoto University(京都大学);Singapore Health Services(新加坡保健服务);Singapore General Hospital(新加坡中央医院);NUS Artificial Intelligence Institute(新加坡国立大学人工智能研究所);National University of Singapore(新加坡国立大学)
本文提出模型无关的 FairFML 框架,在保护隐私的跨机构联邦学习中减少算法偏差。心脏骤停预测案例表明,该框架在保持预测性能的同时将公平性提升高达65%。
2024-10-07 cs.AI cs.CY cs.LG
NET-FLEET: Achieving Linear Convergence Speedup for Fully Decentralized Federated Learning with Heterogeneous Data
Iowa State University(爱荷华州立大学);The Ohio State University(俄亥俄州立大学)
近年来,由于其在数据隐私保护、高效通信和并行数据处理方面的优势,联邦学习(FL)受到了越来越多的关注。此外,通过适当的算法设计,可以实现理想的线性加速收敛效果FL。然而,大多数现有的工作FL仅限于系统的i.i.d.。数据和集中式参数服务器以及具有异构数据集的分散式FL的结果仍然有限。此外,在数据异构的完全分散FL下,收敛的线性加速是否可以实现仍然是一个悬而未决的问题。在本文中,我们提出了一种新的算法,称为NET-FLEET,完全分散FL系统的数据异构性,以解决这些挑战。我们的算法的核心思想是通过引入递归梯度校正技术来处理异构数据集,从而增强FL中的局部更新方案(最初是为了提高通信效率)。我们表明,在适当的参数设置下,建议的NET-FLEET算法实现了线性加速收敛。我们进一步进行了大量的数值实验,以评估所提出的NET-FLEET算法的性能,并验证我们的理论研究结果。
2022-08-17 cs.LG
On-device Federated Learning with Flower
University of Cambridge(剑桥大学);Nokia Bell Labs(诺基亚贝尔实验室);Adap;University of Oxford(牛津大学);Avignon Université(阿维尼翁大学)
联邦学习(FL)允许边缘设备协作学习共享的预测模型,同时将其训练数据保存在设备上,从而将执行机器学习的能力与将数据存储在云中的需求解耦。尽管FL算法取得了进步,但对边缘设备上FL算法的设备上训练的支持仍然很差。在本文中,我们提出了一个探索的设备FL在各种智能手机和嵌入式设备上使用的花框架。我们还评估了设备上FL的系统成本,并讨论了如何使用这种量化来设计更有效的FL算法。
2021-04-07 cs.AI cs.DC cs.LG
Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs
Shenzhen Campus of Sun Yat-Sen University(中山大学深圳校区);University of Science and Technology of China(中国科学技术大学);Shantou University(汕头大学)
本文提出FedMITR框架,通过稀疏模型反向和令牌重标记解决非IID数据下的联邦学习问题,提升模型泛化能力。
2026-05-11 cs.AI cs.LG