Quantifying the Impact of Label Noise on Federated Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of California, Davis(加利福尼亚大学戴维斯分校)
本文定量研究了标签噪声对联邦学习的影响,推导出泛化误差上界与噪声水平呈线性关系,并通过MNIST和CIFAR-10实验验证了准确率随噪声线性下降且高噪声会减缓收敛并导致过拟合。
2023-04-03 cs.LG stat.ML
Personalized Federated Learning with Multiple Known Clusters
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们考虑的个性化联邦学习的问题时,有已知的用户内的集群结构。一种直观的方法是正则化参数,以便同一集群中的用户共享类似的模型权重。然后可以将聚类之间的距离正则化以反映不同用户聚类之间的相似性。我们开发了一种算法,允许每个集群独立通信,并得出收敛结果。我们研究了一个分层线性模型,从理论上证明我们的方法优于独立学习的代理和学习单个共享权重的代理。最后,我们使用模拟和真实世界的数据证明了我们的方法的优势。
2022-04-28 cs.LG
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning
Hong Kong Baptist University(香港浸会大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Sydney(悉尼大学);Tsinghua University(清华大学)
在现实世界的应用程序中的隐私和安全问题,导致了对抗强大的联邦模型的发展。然而,对抗训练和联邦学习在一个框架中的直接组合可能会导致不希望的鲁棒性恶化。我们发现,这种现象背后的归因是,生成的对抗性数据可能会加剧本地客户端之间的数据异构性,使包装的联邦学习表现不佳。为了解决这个问题,我们提出了一个名为Slack Federated Adversarial Training(SFAT)的新框架,在聚合过程中分配客户端松弛以对抗加剧的异质性。理论上,我们分析了所提出的方法的收敛性,以适当放宽目标时,结合联邦学习和对抗训练。在实验上,我们使用不同的对抗训练和联邦优化方法在各种基准数据集和真实世界数据集上验证了SFAT的合理性和有效性。该代码可在https://github.com/ZFancy/SFAT上公开获取。
2023-03-01 cs.LG
Improving Fairness via Federated Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
最近,已经提出了许多算法来从分散数据中学习公平分类器。然而,许多理论和算法问题仍然是开放的。首先,联邦学习是否必要,即,我们是否可以简单地训练当地公平的分类人员并将其汇总?在这项工作中,我们首先提出了一个新的理论框架,我们证明了联邦学习可以严格提高模型公平性相比,这样的非联邦算法。然后,我们从理论上和经验表明,基于FedAvg的公平学习算法的性能权衡严格比集中式数据训练的公平分类器差。为了弥合这一差距,我们提出了FedFB,一个私人公平的学习算法分散的数据。关键思想是修改FedAvg协议,使其能够有效地模仿集中式公平学习。我们的实验结果表明,FedFB显著优于现有方法,有时与集中训练模型的性能相匹配。
2022-12-07 cs.LG
Data-Driven Laplacian-Constrained Personalized Federated Learning
Division of Decision and Control Systems KTH Royal Institute of Technology(决策与控制系统系 瑞典皇家理工学院)
针对联邦学习中的客户端统计异质性,提出 KARULA 正则化个性化方法,利用适配联邦场景的 1-Wasserstein 距离代理量约束模型相异性,并给出收敛的非精确投影随机梯度算法。
2026-10-28 cs.LG
How to Combine Variational Bayesian Networks in Federated Learning
Istanbul Technical University(伊斯坦布尔理工大学)
联邦学习使多个数据中心能够协同训练一个中央模型,而不会暴露任何机密数据。尽管确定性模型能够执行高预测精度,但它们缺乏校准和量化不确定性的能力,这对于安全关键型应用来说是有问题的。与确定性模型不同,概率模型(如贝叶斯神经网络)相对校准良好,能够量化不确定性以及具有竞争力的预测精度。这两种方法都出现在联邦学习框架中;然而,确定性模型的聚合方案不能直接应用于概率模型,因为权重对应于分布而不是点估计。在这项工作中,我们研究了各种聚集方案的变分贝叶斯神经网络的效果。通过对三个图像分类数据集的实证结果,我们观察到聚合分布的扩散程度是学习过程中的一个重要因素。因此,我们提出了一个调查的问题,如何结合变分贝叶斯网络在联邦学习,同时提供不同的聚合设置的基准。
2022-11-23 cs.AI cs.LG
FedCF: Fair Federated Conformal Prediction
Georgia Institute of Technology(佐治亚理工学院);The Ohio State University(俄亥俄州立大学)
提出FedCF框架,将共形公平性扩展到联邦学习,通过分析不同人口统计组的公平性差距来审计模型公平性,并在多个数据集上验证。
2026-05-30 cs.LG
Federated Learning with Positive and Unlabeled Data
Xi’an Jiaotong University(西安交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peking University(北京大学);Huawei Technologies(华为技术有限公司)
我们研究了在联邦环境中从正的和未标记的(PU)数据中学习的问题,由于资源和时间的限制,每个客户端只标记了他们数据集的一小部分。与传统PU学习中负类由单个类组成的设置不同,在联合设置中,客户端无法识别的负样本可能来自客户端未知的多个类。因此,现有的PU学习方法在这种情况下很难应用。为了解决这个问题,我们提出了一个新的框架,即联邦学习与积极和未标记的数据(FedPU),以最大限度地减少预期的风险,多个负类,利用标记的数据在其他客户端。我们从理论上分析了所提出的FedPU的推广界。实验结果表明,与传统的监督和半监督联邦学习方法相比,该方法具有更好的性能。代码可在https://github.com/littleSunlxy/FedPU-torch上获得
2022-08-15 cs.LG
Federated Learning under Covariate Shifts with Generalization Guarantees
University of Oslo(奥斯陆大学);Visual Intelligence Centre(视觉智能中心);EPFL(洛桑联邦理工学院)
针对联邦学习中客户端内外协变量偏移影响泛化性能的问题,提出FTW-ERM及通信高效变体FITW-ERM,理论和实验均验证了其在泛化性能上优于现有基线。
2023-06-08 cs.LG
Federated Learning with Classifier Shift for Class Imbalance
Tsinghua University(清华大学)
本文提出 FedShift 方法,通过在本地训练阶段对分类器输出添加偏移来缓解联邦学习中的类别不平衡问题,并从理论和实验上验证了其在准确率和通信效率上的优势。
2023-04-11 cs.LG
Federated Covariate Shift Adaptation for Missing Target Output Values
University of Science and Technology of China(中国科学技术大学);Quzhou University(衢州学院)
最新的多源协变量移位算法是一种有效的超参数优化算法,用于丢失目标输出。在本文中,我们将该算法扩展到联邦学习的框架。针对联邦学习和协变量移位自适应中的数据孤岛问题,提出了目标风险的联邦域自适应估计,该估计是渐近无偏的,具有期望的渐近方差性质.我们为目标任务构建了一个加权模型,并提出了联邦协变量移位自适应算法,该算法在我们的环境中工作得更好。我们的方法的有效性是合理的理论和经验。
2023-02-28 cs.LG stat.ML
Clustered Federated Learning via Embedding Distributions
Imperial College London(伦敦帝国学院)
针对联邦学习在 non-IID 数据下性能受损的问题,提出基于嵌入空间分布 EMD 的一次性聚类方法 EMD-CFL,并经理论论证和多数据集对比验证其优势。
2025-06-09 cs.LG
Personalizing Federated Learning with Over-the-Air Computations
Singapore University of Technology and Design(新加坡科技设计大学);ZJU-UIUC Institute, Zhejiang University(浙江大学浙江大学-伊利诺伊大学厄巴纳香槟校区联合学院)
联合边缘学习是一种很有前途的技术,可以以隐私保护的方式在无线网络边缘部署智能。在这样的设置下,多个客户端在边缘服务器的协调下协作训练全局通用模型。但培训效率往往受到有限通信和数据异构性带来的挑战的制约。本文提出了一种分布式训练模式,采用模拟空中计算,以解决通信瓶颈。此外,我们利用一个双层优化框架来个性化的联邦学习模型,以应对数据异构性问题。因此,它增强了每个客户端的本地模型的通用性和鲁棒性。我们详细介绍了模型训练过程及其相对于传统框架的优势。我们提供了一个收敛性分析,从理论上证明了训练效率。我们还进行了大量的实验,以验证所提出的框架的有效性。
2023-02-24 cs.LG
Kuramoto-FedAvg: Using Synchronization Dynamics to Improve Federated Learning Optimization under Statistical Heterogeneity
Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对联邦学习在非独立同分布数据下的客户端漂移问题,提出基于Kuramoto同步模型的Kuramoto-FedAvg算法,通过相位对齐动态加权客户端更新,理论证明降低漂移并加速收敛,实验验证提升精度。
2025-05-26 cs.LG
Fair Federated Learning via Bounded Group Loss
CMU(卡内基梅隆大学)
跨保护组的公平预测是许多联邦学习应用程序的重要约束。然而,以前的工作研究组公平联邦学习缺乏正式的收敛或公平性保证。在这项工作中,我们提出了一个可证明公平的联邦学习的一般框架。特别是,我们探索和扩展的概念有限的组损失作为一个理论基础的方法组公平。使用这种设置,我们提出了一个可扩展的联邦优化方法,优化了一些组公平性约束下的经验风险。我们提供的方法的收敛性保证以及公平性保证所得到的解决方案。从经验上讲,我们在公平ML和联邦学习的共同基准上评估了我们的方法,表明它可以提供比基线方法更公平,更准确的预测。
2022-10-13 cs.CY cs.LG
Mutual Information Regularization for Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院)
垂直联邦学习(Vertical Federated Learning,VFL)被广泛应用于现实世界的应用中,以实现协作学习,同时保护数据隐私和安全。然而,以往的工作表明,没有标签的各方(被动方)在VFL可以推断的敏感标签信息所拥有的标签方(主动方)或执行后门攻击VFL。同时,主动方也可以从被动方推断敏感特征信息。所有这些都对VFL系统提出了新的隐私和安全挑战。我们提出了一种新的通用防御方法,限制私有原始数据之间的互信息,包括特征和标签,以及中间输出,以实现模型效用和隐私之间更好的权衡。我们将这种防御称为互信息正则化防御(MID)。我们从理论和实验上证明了我们的MID方法在抵御现有的攻击VFL,包括标签推理攻击,后门攻击和特征重建攻击的有效性。
2023-02-24 cs.LG
Towards Federated Learning on Time-Evolving Heterogeneous Data
CUHK (SZ)(香港中文大学(深圳));Westlake University(西湖大学)
联邦学习(FL)是一种学习范式,通过将客户端数据保存在边缘设备上来保护隐私。然而,由于学习系统的多样性和异质性,在实践中优化外语可能是困难的。尽管最近的研究努力,以提高异构数据的优化,时间演变的异构数据在现实世界中的场景,如不断变化的客户端数据或间歇性的客户端加入或离开在训练中的影响,还没有得到很好的研究。在这项工作中,我们提出了连续联邦学习(CFL),一个灵活的框架,用于捕获随时间变化的异质性FL。CFL可以处理复杂和现实的情况下,这是很难评估在以前的FL配方,通过提取信息,从过去的本地数据集和近似的本地目标函数。我们从理论上证明,CFL方法具有更快的收敛速度比FedAvg随时间变化的情况下,与近似质量的好处。通过实验,我们表明,我们的数值结果匹配的收敛性分析和CFL方法显着优于其他国家的最先进的FL基线。
2023-02-20 cs.LG
Multiple Kernel-Based Online Federated Learning
University of Southern California(南加州大学);Hanyang University(汉阳大学)
在线联邦学习(OFL)是一种新兴的学习框架,边缘节点利用连续的本地数据流进行在线学习,服务器从聚合的本地模型中构造全局模型。在线多核学习(OMKL),使用一组预先选择的P内核,可以是一个很好的候选人OFL框架,因为它提供了一个出色的性能与低复杂性和可扩展性。然而,一个天真的扩展OMKL到OFL框架遭受沉重的通信开销,增长与P线性在本文中,我们提出了一种新的多内核为基础的OFL(MK-OFL)作为一个非平凡的扩展OMKL,这产生了相同的性能的天真的扩展与1/P通信开销减少。我们从理论上证明了MK-OFL实现了最佳次线性遗憾界相比,最好的功能在事后。最后,我们提供了我们的方法在现实世界的数据集上的数值测试,这表明了它的实用性。
2021-02-22 cs.LG
Federated Learning with Label Distribution Skew via Logits Calibration
Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室)
传统的联邦优化方法在异构数据上表现不佳(即精度降低),特别是对于高度偏斜的数据。在本文中,我们调查的标签分布偏斜FL,标签的分布在不同的客户端。首先,我们从统计的角度研究标签分布偏斜。我们从理论上和经验上证明,以前基于softmax交叉熵的方法是不合适的,这可能导致局部模型严重过拟合少数类和缺失类。此外,我们在理论上引入了一个偏差界来衡量局部更新后的梯度偏差。最后,本文提出了FedLC(\textbf {Fed} erated learning via \textbf {L} ogits \textbf {C} alibration),它根据每个类出现的概率,在softmax交叉熵之前对logits进行校准。FedLC通过添加成对标签余量来将细粒度校准的交叉熵损失应用于局部更新。在联邦数据集和真实数据集上的大量实验表明,FedLC导致更准确的全局模型和更高的性能。此外,将其他FL方法集成到我们的方法中可以进一步提高全局模型的性能。
2022-09-25 cs.AI cs.LG
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习(FL)的目标是训练模型,使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而,大多数个性化FL的工作都假设在所有客户端使用相同的模型架构,并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中,客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中,我们提出了一个个性化的FL框架,PerFed-CKT,客户端可以使用异构的模型架构,不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏,其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性,并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比,通信成本降低了几个数量级,实现了高测试精度。
2021-09-16 cs.LG
Communication-Efficient Federated Distillation with Active Data Sampling
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)是一种很有前途的范例,可以从分布式数据中实现隐私保护深度学习。大多数以前的工作是基于联邦平均(FedAvg),然而,它面临着几个关键问题,包括高通信开销和处理异构模型架构的困难。联邦蒸馏(FD)是最近提出的一种替代方案,使通信高效和强大的FL,它实现了数量级的通信开销减少相比,FedAvg,是灵活的处理客户端的异构模型。然而,到目前为止,还没有统一的算法框架或理论分析的FD为基础的方法。在本文中,我们首先提出了一个通用的元算法FD和调查的影响,通过实证实验的关键参数。然后,我们从理论上验证了经验观察。基于实验结果和理论,我们提出了一个通信有效的FD算法与主动数据采样,以提高模型的性能,减少通信开销。在基准数据集上的实证模拟表明,我们提出的算法有效地,显着地减少了通信开销,同时取得了令人满意的性能。
2022-03-14 cs.LG
Layer-wise and Dimension-wise Locally Adaptive Federated Learning
Baidu Research(百度研究院)
在联邦学习(FL)的新兴范例中,大量的客户端,如移动设备,用于训练可能的高维模型在其各自的数据。将(维度方面)自适应梯度方法(例如Adam,AMSGrad)与FL相结合一直是一个积极的方向,在许多情况下,这被证明优于传统的基于SGD的FL。在本文中,我们专注于训练联邦深度神经网络的问题,并提出了一种新的FL框架,该框架进一步引入了逐层自适应局部模型更新。我们的框架可以应用于局部自适应FL方法,包括最近的两个算法,Mime和Fed-AMS。从理论上讲,我们提供了一个收敛性分析,我们的逐层FL方法,创造Fed-LAMB和Mime-LAMB,它匹配的收敛速度的状态的最先进的结果在FL和表现出线性加速的工人的数量。在IID和非IID局部数据设置下,在各种数据集和模型上的实验结果表明,与最近的各种自适应FL方法相比,Fed-LAMB和Mime-LAMB都具有更快的收敛速度和更好的泛化性能。
2022-06-23 cs.LG
Latency Analysis of Consortium Blockchained Federated Learning
China University of Petroleum(中国石油大学)
本文通过引入联盟区块链,提出了一种分散式联邦学习架构,适用于企业对企业的场景。我们引入了一个模型验证机制,以确保参与者训练的本地模型的质量。为了分析系统的延迟,通过考虑体系结构的工作流程,建立了延迟模型。实验结果表明,该模型能够很好地量化实际延迟。
2021-05-10 cs.DC cs.LG stat.ML
Adaptive Gradient Clipping for Robust Federated Learning
EPFL(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学)
针对联邦学习中静态梯度裁剪对不同攻击鲁棒性不一致的问题,本文提出自适应鲁棒裁剪方法ARC,动态调整裁剪阈值,在保持理论鲁棒性保证的同时改善收敛性,并通过图像分类实验验证其在异构对抗环境下的有效性。
2025-05-09 cs.LG
Similarity-Aware Personalized Federated Learning in Heterogeneous Environments
Deakin University(迪肯大学);Applied Artificial Intelligence Initiative(应用人工智能倡议)
针对异构环境下联邦学习的分布不匹配问题,提出SAPE-FL框架,通过双锚定机制平衡全局与对等知识,在高异构低数据场景下性能优于现有方法。
2026-09-03 cs.LG
FedGiA: An Efficient Hybrid Algorithm for Federated Learning
Imperial College London(帝国理工学院);Beijing Jiaotong University(北京交通大学)
针对联邦学习中的通信与计算效率及收敛性问题,提出结合梯度下降与不精确交替方向乘子法的混合算法FedGiA,在理论和数值上优于现有方法,并能在温和条件下全局收敛。
2024-04-19 cs.LG math.OC
Effective and Efficient Federated Tree Learning on Hybrid Data
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);Together AI;University of Chicago(芝加哥大学);National University of Singapore(新加坡国立大学)
本文提出HybridTree方法,利用树中一致的划分规则将各方知识融入树的较低层,从而在混合数据上实现高效联邦树学习,实验显示其能以低开销达到与集中式相当的准确率并实现高达8倍加速。
2024-04-29 cs.LG
Ditto: Fair and Robust Federated Learning Through Personalization
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
公平性和鲁棒性是联邦学习系统的两个重要问题。在这项工作中,我们确定,数据和模型中毒攻击和公平性的鲁棒性,衡量跨设备的性能的均匀性,在统计异构网络的竞争约束。为了解决这些限制,我们建议采用一个简单的,通用的框架个性化的联邦学习,Ditto,可以提供内在的公平性和鲁棒性的好处,并开发一个可扩展的solver为it.Theoretically,我们分析的能力,Ditto实现公平性和鲁棒性同时对一类线性问题。从经验上讲,在一套联合数据集上,我们表明Ditto不仅相对于最近的个性化方法实现了具有竞争力的性能,而且相对于最先进的公平或稳健的基线,还实现了更准确,稳健和公平的模型。
2021-06-15 cs.LG stat.ML
Federated Nearest Neighbor Classification with a Colony of Fruit-Flies: With Supplement
IBM Research AI(IBM人工智能研究院);Wichita State University(威奇托州立大学)
果蝇嗅觉回路中神经机制的数学形式化为局部敏感散列(Flyhash)和布隆过滤器(FBF),最近已经被提出并“重新编程”用于各种机器学习任务,如相似性搜索、离群值检测和文本嵌入。我们提出了一种新的重新编程这种哈希和布隆过滤器,以模拟具有挑战性的联邦学习(FL)设置中的规范最近邻分类器(NNC),其中训练和测试数据分布在各方,没有数据可以离开各自的当事人。具体来说,我们利用Flyhash和FBF来创建FlyNN分类器,并在理论上建立FlyNN匹配NNC的条件。我们展示了FlyNN是如何在FL设置中以低通信开销进行训练以产生FlyNNFL的,以及它是如何具有差异性的。从经验上讲,我们证明了(i)FlyNN在70个OpenML数据集上与NNC的准确性相匹配,(ii)FlyNNFL训练具有高度可扩展性,通信开销低,与$16$方提供高达$8\times$的加速。
2021-12-14 cs.LG
BOBA: Byzantine-Robust Federated Learning with Label Skewness
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对联邦学习中标签偏斜设定下现有聚合规则存在选择偏差且易受拜占庭攻击的问题,提出高效两阶段方法BOBA,理论证明其收敛误差为最优阶,实验验证了其无偏性与鲁棒性。
2024-03-20 cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information
在联邦学习中,在本地客户端上训练的模型被提炼成一个全局模型。由于神经网络具有排列不变性,因此在利用神经网络进行联邦学习时,需要首先对隐含层神经元进行匹配。概率联合神经匹配(PFNM)通过贝叶斯非参数框架,对局部神经网络进行匹配和融合,以适应不同的全局模型大小和数据的异质性。在本文中,我们提出了一种新的方法,扩展PFNM与Kullback-Leibler(KL)分歧的神经组件产品,为了使推理利用后验信息在局部和全局水平。我们还从理论上表明,额外的部分可以无缝连接到匹配和融合的进展。通过一系列的仿真实验表明,无论是在单轮通信还是在多轮通信的情况下,新方法的性能都优于当前流行的联邦学习方法。
2022-10-01 cs.AI cs.LG
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST(韩国科学技术院)
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架,这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后,智能体可能会决定行使她的法律“被遗忘权”,这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理(VI)解决方案,该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
Incentivizing Federated Learning
Northwestern University(西北大学)
联邦学习是一种新兴的分布式协作学习模式,目前已被广泛应用。联邦学习的有效性取决于客户的集体努力及其贡献本地数据的意愿。然而,由于隐私问题以及数据汇集和模型训练的成本,客户可能并不总是贡献他们拥有的所有数据,这将对全局模型的性能产生负面影响。本文提出了一种激励机制,鼓励客户贡献尽可能多的数据,因为他们可以获得。与以前的激励机制不同,我们的方法不会将数据货币化。相反,我们隐含地使用模型性能作为奖励,即,重要的贡献者得到了更好的模型的回报。我们从理论上证明了在一定的激励条件下,客户会尽可能多地使用他们可能拥有的数据来参与联邦学习
2022-05-22 cs.AI cs.GT cs.LG
Federated Learning with Only Positive Labels
Google Research(谷歌研究院)
我们考虑在联邦设置中学习多类分类模型,其中每个用户只能访问与单个类相关联的正数据。因此,在每一轮联邦学习中,用户需要在本地更新分类器,而不能访问负类的特征和模型参数。因此,天真地采用传统的分散式学习(如分布式SGD或联合平均)可能会导致微不足道或非常差的分类器。特别是,对于基于嵌入的分类器,所有的类嵌入可能会崩溃到一个点。为了解决这个问题,我们提出了一个仅使用正标签进行训练的通用框架,即Federated Averaging with Esclutout(FedAwS),其中服务器在每轮之后施加几何正则化器,以鼓励类在嵌入空间中展开。我们表明,无论是理论上还是经验上,FedAwS几乎可以匹配传统学习的性能,用户可以访问负面标签。我们进一步扩展所提出的方法的设置与大的输出空间。
2020-04-21 cs.LG stat.ML
Fast-Convergent Federated Learning via Cyclic Aggregation
KAIST(韩国科学技术院);King’s College London(伦敦国王学院)
联邦学习(FL)旨在优化多个边缘设备上的共享全局模型,而无需将(私有)数据传输到中央服务器。虽然理论上众所周知,FL在温和的条件下产生最佳模型-集中训练的模型假设中央服务器上所有边缘设备数据的可用性,但在实践中,它通常需要大量的迭代直到收敛,特别是在存在统计/计算异质性的情况下。本文在服务器端利用循环学习率来减少训练迭代次数,同时提高性能,而不会为服务器和边缘设备带来任何额外的计算成本。数值结果表明,简单地插入所提出的循环聚合到现有的FL算法有效地减少了训练迭代次数,提高了性能。
2022-10-29 cs.LG eess.SP
Towards Heterogeneous Clients with Elastic Federated Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));JD AI Lab(京东人工智能实验室);Ping An Technology(平安科技)
联邦学习涉及在设备或数据孤岛(如边缘处理器或数据仓库)上训练机器学习模型,同时将数据保持在本地。在异构和潜在的大规模网络中进行训练会给系统带来偏差,这源于非IID数据和现实中的低参与率。在本文中,我们提出了弹性联邦学习(EFL),一个无偏的算法来解决系统中的异构性,这使得最具信息量的参数在训练过程中波动较小,并利用不完整的局部更新。它是一种高效且有效的算法,可压缩上游和下游通信。从理论上讲,该算法在低参与率下对非IID数据进行训练时具有收敛性保证。实证实验证实了EFL框架在鲁棒性和效率方面的竞争力。
2021-06-17 cs.AI cs.LG
FedIPR: Ownership Verification for Federated Deep Neural Network Models
Shanghai Jiao Tong University(上海交通大学);WeBank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
联邦学习模型是在多方拥有的有价值的训练数据上协作开发的。在联邦模型的开发和部署过程中,它们面临着非法复制、重新分发、滥用和/或搭便车等风险。为了解决这些风险,联邦学习模型的所有权验证是保护联邦学习模型知识产权(IPR)的先决条件,即,FedIPR。我们提出了一种新型的联合深度神经网络(FedDNN)所有权验证方案,允许嵌入和验证私有水印,以声称FedDNN模型的合法知识产权。在该方案中,每个客户端独立地验证模型水印的存在性,并声称各自的联邦模型的所有权,而不透露私人训练数据,也没有私人水印信息。嵌入式水印的有效性在理论上是合理的严格分析的条件下,水印可以私下嵌入和检测的多个客户端。此外,大量的计算机视觉和自然语言处理任务的实验结果表明,不同的位长水印可以嵌入和可靠地检测,而不损害原始模型的性能。我们的水印方案也是弹性的各种联邦训练设置和鲁棒性对删除攻击。
2022-08-24 cs.AI cs.LG
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech(弗吉尼亚理工大学)
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决,即模型压缩、部分设备参与和周期性聚合,代价是增加训练方差。与传统的分布式学习系统不同,联邦学习存在数据异构性(因为设备从可能不同的分布中采样数据),这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响,而它们通常需要额外的通信资源来提供必要的控制信息。此外,数据隐私仍然是FL中的一个关键问题,因此已经有人尝试将差分隐私引入该框架,作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡,以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Federated Asymptotics: a model to compare federated learning algorithms
Stanford University(斯坦福大学)
我们提出了一个渐进的框架来分析(个性化)联邦学习算法的性能。在这个新的框架中,我们将联邦学习制定为多标准目标,其目标是使用来自所有客户端的信息最小化每个客户端的损失。我们分析一个线性回归模型,对于一个给定的客户端,我们可以在理论上比较各种算法在高维渐近极限的性能。这种渐进多准则方法自然地模拟了联邦学习的高维、多设备性质。这些工具对联邦场景中个性化和信息共享的好处做出了相当精确的预测-至少在我们的(程式化)模型中-包括具有简单客户端微调的联邦平均实现了与更复杂的元学习和近似正则化方法相同的渐近风险,并且优于没有个性化的联邦平均。我们在EMNIST、CIFAR-100、Shakespeare和Stack Overflow数据集的联邦版本上评估了这些预测,实验证实了理论预测,表明这些框架可能为实际算法开发提供有用的指导。
2022-02-18 cs.DC cs.LG math.OC
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank(微众银行);HKUST(香港科技大学)
垂直联邦学习(VFL)允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中,私有特征和标签泄漏问题引起了广泛的研究关注。在本文中,我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass,它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力(定理1和定理2)。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性,因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Voting-based Approaches For Differentially Private Federated Learning
University of California, Santa Barbara(加州大学圣巴巴拉分校);NEC Laboratories America(NEC美国实验室);University of California, San Diego(加州大学圣迭戈分校)
差分私有联邦学习(DPFL)是一个新兴的领域,有着广泛的应用前景。基于梯度平均的DPFL方法需要昂贵的通信轮次,并且由于其添加的噪声的显式维度依赖性,几乎不能与大容量模型一起工作。在这项工作中,灵感来自知识转移非联邦隐私学习Papernot等人。(2017; 2018),我们设计了两个新的DPFL方案,通过从每个局部模型返回的数据标签之间的投票,而不是平均的梯度,这避免了维度依赖,并显着降低了通信成本。从理论上讲,通过应用安全多方计算,我们可以指数放大(数据依赖)的隐私保证时,投票分数的利润率很大。大量的实验表明,我们的方法显着提高了DPFL的国家的最先进的隐私效用权衡。
2021-02-16 cs.CR cs.LG
Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
MIPT(莫斯科物理技术学院);ISP RAS(俄罗斯科学院信息学研究所)
本文提出仅通过简单模型架构变换即可在纵向联邦学习中有效防御特征重建攻击,理论证明无数据先验分布时攻击无法成功,实验显示MLP模型具有抗性。
2024-12-16 cs.CR cs.LG
Preconditioned Federated Learning
William & Mary(威廉与玛丽学院)
本文针对联邦学习中 FedAvg 缺乏自适应性的问题,提出基于本地和服务器端自适应的预条件联邦学习算法 PreFed 与 PreFedOp,通过协方差矩阵预条件器提升通信效率,并在多种数据分布下取得最先进性能。
2023-09-20 cs.AI cs.LG
Stochastic Unrolled Federated Learning
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学)
提出随机展开联邦学习(SURF),将算法展开引入联邦学习,通过随机小批量与下降约束保证收敛,利用GNN展开DGD保留去中心化,理论证明近最优收敛,实验验证图像分类协作训练有效。
2024-02-06 cs.LG eess.SP
ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
提出ParaBlock方法,通过并行化通信与计算线程,在联邦学习大语言模型时提升通信效率,并理论证明其收敛率与标准方法相同,实验验证其性能与效率优势。
2026-06-02 cs.DC cs.LG
Influence-Oriented Personalized Federated Learning
Griffith University(格里菲斯大学);University of Technology Sydney(悉尼科技大学);Hong Kong Polytechnic University(香港理工大学)
针对联邦学习忽略客户端间相互影响的问题,提出面向影响力的个性化联邦学习框架FedC^2I,通过影响力向量和矩阵实现自适应参数聚合,在非独立同分布设置下展现出有效性、鲁棒性和可解释性优势。
2026-09-10 cs.AI cs.DC cs.LG
Fast Heterogeneous Federated Learning with Hybrid Client Selection
Northwestern Polytechnical University(西北工业大学);Alibaba Group(阿里巴巴集团);Monash University(莫纳什大学);The Hong Kong Polytechnic University(香港理工大学)
在联邦学习(FL)的研究中,客户端选择策略被广泛用于解决通信效率问题。然而,从随机选择的非代表性子集聚集的模型更新的大方差直接减慢FL收敛。我们提出了一种新的基于聚类的客户端选择方案,通过降低方差来加速FL收敛。设计了简单有效的方案来提高聚类效果,控制聚类效果的波动,从而生成具有一定代表性的抽样客户子集。理论上,我们证明了该方案在方差减少方面的改进。我们还提出了更严格的收敛保证所提出的方法由于方差减少。实验结果证实了我们的计划相比,替代品的超额效率。
2022-08-16 cs.AI cs.LG
Compression Boosts Differentially Private Federated Learning
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);BME-HIT(布达佩斯技术与经济大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
联邦学习允许分布式实体协作地训练公共模型,而无需共享它们自己的数据。虽然它通过仅交换参数更新来防止数据汇集和聚合,但是它仍然容易受到各种推断和重建攻击,其中恶意实体可以从捕获的梯度中学习关于参与者的训练数据的私有信息。差分隐私是用来获得理论上健全的隐私保证,对这种推理攻击的噪声交换的更新向量。然而,增加的噪声与模型大小成比例,对于现代神经网络,模型大小可以非常大。这可能导致模型质量差。在本文中,压缩感知被用来减少模型的大小,从而提高模型的质量,而不牺牲隐私。我们使用2个数据集进行了实验,结果表明,与传统的非私有联邦学习方案相比,我们的隐私保护方案可以减少高达95%的通信成本,而性能损失可以忽略不计。
2020-11-10 cs.CR cs.LG
Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity
Purdue University(普渡大学);Arizona State University(亚利桑那州立大学)
联邦学习(FL)已经成为用于跨无线边缘设备分布机器学习的流行技术。我们研究FL下当代网络的两个显着属性:设备-服务器通信延迟和设备计算的异质性。我们提出的StoFedDelAv算法将局部-全局模型组合器纳入FL同步步骤。我们从理论上描述了StoFedDelAv的收敛行为,并得到了最优的组合器权重,它考虑了全局模型延迟和期望的局部梯度误差在每个设备。然后,我们制定了一个网络感知的优化问题,调整设备的小批量大小,以联合最小化能源消耗和机器学习训练损失,并通过一系列的凸近似解决非凸问题。我们的模拟结果表明,StoFedDelAv优于当前的艺术FL,证明了所获得的优化目标的改进。
2022-02-07 cs.LG cs.NI
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学);Fudan University(复旦大学);Princeton Univeristy(普林斯顿大学)
垂直联邦学习(Vertical Federated Learning,VFL)是机器学习的一个重要研究领域,它将数据特征分布存储在多方。然而,VFL的通信复杂性通常非常高。在本文中,我们提出了一个统一的框架,通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置:正则化线性回归和$k$均值聚类,并将我们的coreset框架,这两个问题。我们从理论上表明,使用coresets可以大大降低通信复杂性,而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Federated Optimization in Heterogeneous Networks
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Facebook AI(Facebook人工智能);Determined AI
联邦学习是一种分布式学习范式,它与传统的分布式优化有两个关键的区别:(1)网络中每个设备上的系统特性的显著变化(系统异构性),以及(2)网络上的非相同分布数据(统计异构性)。在这项工作中,我们引入了一个框架,FedProx,以解决联邦网络中的异构性。FedProx可以被看作是FedAvg的推广和重新参数化,FedAvg是当前最先进的联邦学习方法。虽然这种重新参数化只对方法本身进行了微小的修改,但这些修改在理论和实践中都有重要的影响。从理论上讲,我们为我们的框架提供了收敛保证,当学习来自不同分布(统计异质性)的数据时,同时通过允许每个参与设备执行可变量的工作(系统异质性)来遵守设备级系统约束。实际上,我们证明了FedProx允许在一套真实的联邦数据集上比FedAvg更强大的收敛。特别是,在高度异构的环境中,FedProx相对于FedAvg表现出更稳定和更准确的收敛行为-平均将绝对测试准确性提高了22%。
2020-04-21 cs.LG stat.ML
Trustworthy Personalized Bayesian Federated Learning via Posterior Fine-Tune
Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Tsinghua University(清华大学)
本文提出一种结合贝叶斯方法和归一化流的个性化联邦学习框架,从参数后验角度实现个性化,在提升异构数据准确率的同时显著增强分布外检测能力。
2024-02-25 cs.CV cs.LG
Single-shot Hyper-parameter Optimization for Federated Learning: A General Algorithm & Analysis
IBM Research(IBM研究院)
我们解决了相对未探索的问题超参数优化(HPO)的联邦学习(FL-HPO)。我们引入了联邦损失表面聚合(FLoRA),这是一个通用的FL-HPO解决方案框架,可以解决表格数据和任何机器学习(ML)模型的用例,包括梯度提升训练算法,因此进一步扩展了FL-HPO的范围。FLoRA支持单次FL-HPO:识别一组良好的超参数,随后用于单次FL训练。因此,与没有HPO的FL训练相比,它使FL-HPO解决方案具有最小的额外通信开销。我们从理论上描述了FL-HPO的最优性差距,它明确地解释了各方本地数据分布的异质性非IID性质,这是FL系统的一个主要特征。我们在7个OpenML数据集上对多个ML算法的FLoRA进行了实证评估,结果表明,与考虑的基线相比,模型准确性有了显著提高,并且对参与FL-HPO训练的参与方数量的增加具有鲁棒性。
2022-02-16 cs.DC cs.LG