FedSoft: Soft Clustered Federated Learning with Proximal Local Updating
Carnegie Mellon University(卡内基梅隆大学)
传统上,集群联邦学习将具有相同数据分布的客户端分组到集群中,以便每个客户端与一个数据分布唯一关联,并帮助训练该分布的模型。我们将这种硬关联假设放宽到软集群联邦学习,它允许每个本地数据集遵循多个源分布的混合。我们提出了FedSoft,它在这种环境中训练本地个性化模型和高质量的集群模型。FedSoft通过使用邻近更新来限制客户端的工作负载,要求在每个通信回合中只完成来自客户端子集的一个优化任务。我们通过分析和经验表明,FedSoft有效地利用了源分布之间的相似性来学习表现良好的个性化和集群模型。
2022-03-22 cs.LG
A Differentially Private Federated Proximal Optimization Framework for Customer Churn Prediction in Heterogeneous Federated Telecom Networks
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);University of New England(新英格兰大学);Ulster University(阿尔斯特大学)
针对电信异构数据下客户流失预测的隐私问题,提出DP-FedProx差分隐私联邦近端优化框架,在公开数据集上以略降精度实现与集中式相当的预测性能,并兼顾隐私保护。
2026-09-14 cs.LG
Dynamic Sampling and Selective Masking for Communication-Efficient Federated Learning
Aalto University(阿尔托大学);Columbia University(哥伦比亚大学);Nokia Bell Labs(诺基亚贝尔实验室);The University of Queensland(昆士兰大学)
联邦学习(FL)是一种新型的机器学习设置,通过分散式训练和联邦优化实现设备上的智能。深度神经网络的快速发展促进了对复杂问题建模的学习技术,并在联邦环境下出现了联邦深度学习。然而,大量的模型参数给通信网络带来了高传输负载的负担。本文介绍了两种提高通信效率的方法,即动态采样和顶部$k$选择性掩蔽.前者动态地控制所选客户机模型的比例,而后者选择具有最大差异值的前$k$参数进行联合更新。在三个公共数据集上进行了卷积图像分类和递归语言建模的实验,以证明我们提出的方法的有效性。
2021-09-20 cs.LG
Krum Federated Chain (KFC): Using blockchain to defend against adversarial attacks in Federated Learning
Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所(DaSCI));University of Granada(格拉纳达大学)
针对联邦学习易受对抗性攻击的问题,本文测试了联邦学习证明机制的防御效果,并提出结合Krum与该机制的KFC策略,实验验证了所提方法能有效抵御拜占庭和后门攻击。
2025-02-10 cs.AI cs.LG
FedSA: Accelerating Intrusion Detection in Collaborative Environments with Federated Simulated Annealing
Universidade Federal Fluminense(弗鲁米嫩塞联邦大学);Trinity College Dublin(都柏林圣三一学院)
快速识别新的网络攻击模式对于提高网络安全性至关重要。然而,识别异构网络中正在进行的攻击是一项不平凡的任务。联邦学习是入侵检测系统协同训练的一种解决方案。基于联邦学习的IDS使用联邦参与者提供的本地机器学习模型来训练全局模型,而不共享本地数据。然而,优化挑战是联邦学习固有的。本文提出了联邦模拟退火(FedSA)元启发式选择超参数和一个子集的参与者为每一个聚合轮联邦学习。FedSA优化与全局模型收敛相关的超参数。该提案减少了聚合轮数,加快了收敛速度。因此,FedSA加速了从本地模型中提取学习,需要更少的IDS更新。提案评估表明,FedSA全球模型在不到10轮的沟通中收敛。与传统的聚合方法相比,该提案需要减少多达50%的聚合轮次才能实现约97%的攻击检测准确率。
2022-05-23 cs.CR cs.LG
Variational Federated Multi-Task Learning
ETH Zürich(苏黎世联邦理工学院)
在联邦学习中,中央服务器在大规模分布式设备网络上协调单个模型的训练。这种设置可以自然地扩展到多任务学习框架,以处理真实世界的联合数据集,这些数据集通常在设备之间显示出很强的统计异质性。尽管联邦多任务学习被证明是真实世界数据集的有效范例,但它仅应用于凸模型。在这项工作中,我们介绍了虚拟,联邦多任务学习一般非凸模型的算法。在VIRTUAL中,服务器和客户端的联合网络被视为星形贝叶斯网络,并使用近似变分推理在网络上进行学习。我们证明了这种方法在真实世界的联邦数据集上是有效的,优于当前最先进的联邦学习,同时允许稀疏梯度更新。
2021-02-04 cs.LG stat.ML
Federated Pruning: Improving Neural Network Efficiency with Federated Learning
Emory University(埃默里大学);Google LLC(谷歌有限责任公司)
自动语音识别模型需要大量的语音数据进行训练,而这些数据的收集往往会导致隐私问题。联邦学习已经被广泛使用,并且被认为是一种有效的分散技术,通过协作学习共享的预测模型,同时将数据保持在不同客户端设备上的本地。然而,客户端设备上有限的计算和通信资源为大型模型带来了实际困难。为了克服这些挑战,我们提出了联邦修剪训练联邦设置下的简化模型,同时保持类似的性能相比,完整的模型。此外,与集中式训练相比,还可以利用大量的客户端数据来改善修剪结果。我们探索不同的修剪方案,并提供我们的方法的有效性的经验证据。
2022-09-14 cs.AI cs.LG
FedHeN: Federated Learning in Heterogeneous Networks
Boston University(波士顿大学)
我们提出了一个新的训练配方联邦学习与异构网络,其中每个设备可以有不同的架构。我们将训练与一个侧面目标引入到更高复杂性的设备中,以在联合设置中联合训练不同的架构。我们的经验表明,我们的方法提高了不同架构的性能,并导致高通信节省相比,国家的最先进的方法。
2022-07-07 cs.DC cs.LG
Fair Resource Allocation in Federated Learning
CMU(卡内基梅隆大学);Facebook AI(Facebook人工智能)
联邦学习涉及在大规模异构网络中训练统计模型。在这样的网络中简单地最小化聚合损失函数可能不成比例地有利于或不利于某些设备。在这项工作中,我们提出了q-公平联邦学习(q-FFL),一种新的优化目标的启发,在无线网络中的公平资源分配,鼓励更公平(具体地说,更均匀)的准确性分布在联合网络中的设备。为了解决q-FFL,我们设计了一个通信效率高的方法,q-FedAvg,这是适合于联邦网络。我们在一套具有凸模型和非凸模型的联邦数据集上验证了q-FFL的有效性和q-FedAvg的效率,并表明q-FFL(以及q-FedAvg)在公平性、灵活性方面优于现有基线。和效率。
2020-02-14 cs.LG stat.ML
FedIPR: Ownership Verification for Federated Deep Neural Network Models
Shanghai Jiao Tong University(上海交通大学);WeBank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
联邦学习模型是在多方拥有的有价值的训练数据上协作开发的。在联邦模型的开发和部署过程中,它们面临着非法复制、重新分发、滥用和/或搭便车等风险。为了解决这些风险,联邦学习模型的所有权验证是保护联邦学习模型知识产权(IPR)的先决条件,即,FedIPR。我们提出了一种新型的联合深度神经网络(FedDNN)所有权验证方案,允许嵌入和验证私有水印,以声称FedDNN模型的合法知识产权。在该方案中,每个客户端独立地验证模型水印的存在性,并声称各自的联邦模型的所有权,而不透露私人训练数据,也没有私人水印信息。嵌入式水印的有效性在理论上是合理的严格分析的条件下,水印可以私下嵌入和检测的多个客户端。此外,大量的计算机视觉和自然语言处理任务的实验结果表明,不同的位长水印可以嵌入和可靠地检测,而不损害原始模型的性能。我们的水印方案也是弹性的各种联邦训练设置和鲁棒性对删除攻击。
2022-08-24 cs.AI cs.LG
Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data
University of Connecticut(康涅狄格大学)
联邦学习允许边缘计算设备的负载在没有数据共享的情况下协作学习全局模型。在非IID和不平衡数据下部分器械参与的分析更真实。在这项工作中,我们提出了联邦学习版本的自适应梯度方法-联邦AGM-采用一阶和二阶动量,以减轻泛化性能恶化所造成的设备之间的数据人口的不相似。为了进一步提高测试性能,我们比较了几种校准方案的自适应学习率,包括标准亚当校准的$ε$,$p$ -亚当,和一个校准的激活函数。我们的分析提供了第一组理论结果,建议(校准)联邦AGM收敛到一个非IID和非凸优化的不平衡数据设置下的一阶稳定点。我们进行了大量的实验,将这些联邦学习方法与最先进的FedAvg,FedMomentum和SCAFFOLD进行比较,并评估不同的校准方案和AGM相对于当前联邦学习方法的优势。
2020-12-22 cs.LG stat.ML
A Federated F-score Based Ensemble Model for Automatic Rule Extraction
Everbright Technology Co. LTD(光大科技有限公司)
在本文中,我们提出了一个联邦的F-分数为基础的集成树模型的自动规则提取,即Fed-FEARE。在数据隐私保护的前提下,Fed-FEARE使多个机构能够纵向和横向地联合提取规则集。与没有联邦学习的情况相比,模型性能的评价指标得到了很大的提高。目前,Fed-FEARE已在中国某全国性金融控股集团应用于反欺诈、精准营销等多项业务。
2020-07-17 cs.LG stat.ML
LEAF: A Benchmark for Federated Settings
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);Determined AI
现代联合网络,例如由可穿戴设备、移动电话或自动驾驶汽车组成的网络,每天都会生成大量数据。这些丰富的数据可以帮助学习模型,从而改善每个设备上的用户体验。然而,联邦数据的规模和异构性给联邦学习、元学习和多任务学习等研究领域带来了新的挑战。随着机器学习社区开始应对这些挑战,我们正处于一个关键时刻,以确保这些领域的发展以现实的基准为基础。为此,我们提出了LEAF,一个用于在联邦环境中学习的模块化基准测试框架。LEAF包括一套开源联邦数据集、一个严格的评估框架和一组参考实现,所有这些都旨在捕捉实际联邦环境的障碍和复杂性。
2019-12-09 cs.LG stat.ML
Optimizing Quantum Federated Learning Based on Federated Quantum Natural Gradient Descent
Fudan University(复旦大学);Georgia Institute of Technology(佐治亚理工学院);Northwestern Polytechnical University(西北工业大学);Universidad San Pablo-CEU, CEU Universities(CEU大学圣巴勃罗-CEU大学)
量子联邦学习(QFL)是经典联邦学习模型在多个本地量子设备上的量子扩展。一个有效的优化算法总是期望最小化不同量子参与者之间的通信开销。在这项工作中,我们提出了一个有效的优化算法,即联邦量子自然梯度下降(FUNDERGED),并进一步将其应用到QFL框架,这是由一个变分量子线路(VQC)为基础的量子神经网络(QNN)。与Adam和Adagrad等随机梯度下降方法相比,该算法允许更少的训练迭代以使QFL收敛。此外,它可以显着减少本地量子设备之间的总通信开销。我们在手写体数字分类数据集上的实验证明了QFL框架的ONUNGD在训练集上更快的收敛速度和测试集上更高的准确性方面的有效性。
2023-02-27 cs.LG quant-ph
Privatized Graph Federated Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College London(帝国理工学院)
联邦学习是一种半分布式算法,其中服务器与多个分散的客户端通信以学习全局模型。联邦体系结构不健壮,并且由于其一主多客户端结构而对通信和计算过载敏感。它还可能受到针对通信链路上的个人信息的隐私攻击。在这项工作中,我们介绍了图联邦学习(GFL),它由多个联邦单元连接的图。然后,我们展示了如何使用图同态扰动来确保算法是差异私有的。我们进行收敛和隐私的理论分析,并说明性能的计算机模拟。
2023-01-16 cs.CR cs.LG
The OARF Benchmark Suite: Characterization and Implications for Federated Learning Systems
National University of Singapore(新加坡国立大学)
本文提出并描述了一个用于联邦学习的开放应用程序库(OARF),一个联邦机器学习系统的基准套件。以前可用的联邦学习基准主要集中在合成数据集上,并使用有限数量的应用程序。OARF将公开可用的数据集作为图像、文本和结构化数据中的不同数据孤岛来模拟更真实的应用场景。我们的表征表明,基准套件是不同的数据大小,分布,功能分布和学习任务的复杂性。广泛的评估与参考实现显示了未来的研究机会的重要方面的联邦学习系统。我们已经开发了参考实现,并评估了联邦学习的重要方面,包括模型准确性,通信成本,吞吐量和收敛时间。通过这些评估,我们发现了一些有趣的发现,例如联邦学习可以有效地提高端到端的吞吐量。
2022-03-02 cs.LG stat.ML
Insights into the Unknown: Federated Data Diversity Analysis on Molecular Data
MIC at German Cancer Research Center Heidelberg, Germany(德国癌症研究中心希波德堡分部);Medical Faculty of Heidelberg University Heidelberg, Germany(海德堡大学医学系)
本研究针对联邦学习中分子数据多样性分析难题,基准测试三种联邦聚类方法,并引入化学信息指标SF-ICF,证明融合领域知识对提升分析效果至关重要。
2025-10-22 cs.AI cs.LG
FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning
Industrial Technology Research Institute(工业技术研究院);National Yang Ming Chiao Tung University(阳明交通大学)
联邦学习的目标是在不泄露隐私的情况下共享私有数据,以最大化数据效用。以往的联邦学习研究主要集中在多类分类问题上。然而,多标签分类是一个关键的研究问题,接近现实世界的数据属性。然而,有限数量的联邦学习研究探讨了这一研究问题。现有的多标签联邦学习研究没有考虑多标签数据的特点,即,他们使用多类分类的概念来验证他们的方法的性能,这意味着将他们的方法应用于实际应用是不可行的。因此,本研究提出了一种新的多标签联邦学习框架,该框架采用了一种基于标记的多标签数据分配(CMDA)和一种新的聚合方法--快速标签自适应聚合(FLAG),用于联邦学习环境中的多标签分类。实验结果表明,我们的方法只需要不到50\%的训练时期和通信轮,以超过最先进的联邦学习方法的性能。
2023-02-27 cs.AI cs.LG
Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework
University of Warwick, Department of Computer Science, Coventry, United Kingdom(沃里克大学计算机科学系);University of Warwick, Department of Statistics, Coventry, United Kingdom(沃里克大学统计系)
本文提出概率联邦学习框架 FedGVI,以鲁棒共轭更新推广 Partitioned Variational Inference,并提供收敛性、最优性与鲁棒性理论保证及多数据集实证验证。
2025-06-10 cs.LG stat.ML
Federated Wasserstein Distance
Criteo AI Lab(Criteo人工智能实验室);MIT(麻省理工学院)
本研究提出联邦算法FedWad,利用Wasserstein距离的三角不等式与测地线几何性质,在中心服务器不接触原始样本的情况下迭代估算跨客户端样本间的Wasserstein距离,验证了收敛性并将其用于构建新联邦模型、提升主流联邦学习算法性能。
2023-10-03 cs.DC cs.LG
Federated Quantum Natural Gradient Descent for Quantum Federated Learning
Georgia Institute of Technology(佐治亚理工学院)
量子联合学习(QFL)的核心与跨多个本地量子设备的分布式学习架构相关联,并且QFL的更有效的训练算法有望最大限度地减少不同量子参与者之间的通信开销。在这项工作中,我们提出了一个有效的学习算法,即联邦量子自然梯度下降(FUNDERED),应用于QFL框架,该框架由变分量子线路(VQC)为基础的量子神经网络(QNN)。该算法允许更少的训练迭代以使QFL模型收敛,并且它可以显着降低本地量子设备之间的总通信成本。与其他联邦学习算法相比,我们在手写体数字分类数据集上的实验证实了QFL的ARNGD算法在训练数据集上的收敛速度更快,在测试数据集上的准确率更高。
2022-08-15 cs.DC cs.LG quant-ph
FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Renmin University of China(中国人民大学);Kyoto University(京都大学)
随着大量数据从小型设备中产生,移动设备上的联邦学习已成为一种新兴趋势。在联邦环境中,随机梯度下降(SGD)已被广泛用于各种机器学习模型的联邦学习中。为了防止基于用户敏感数据计算的梯度导致的隐私泄露,最近,本地差分隐私(LDP)被认为是联邦SGD中的隐私保证。然而,现有的解决方案具有维度依赖性问题:注入的噪声基本上与维度$d$成比例。在这项工作中,我们提出了一个两阶段的框架FedSel联邦SGD下LDP来缓解这个问题。我们的关键思想是,并非所有维度都同等重要,因此我们根据它们在联邦SGD每次迭代中的贡献私下选择Top-k维度。具体来说,我们提出了三个私人维度选择机制,并采用梯度累积技术来稳定有噪声更新的学习过程。本文还从理论上分析了FedSel的隐私性、准确性和时间复杂度,并指出FedSel的性能优于现有的解决方案。在真实数据集和合成数据集上的实验验证了该框架的有效性和效率。
2020-03-24 cs.CR cs.LG stat.ML
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
联邦学习是一种分布式机器学习方法,其使得共享服务器模型能够通过将本地计算的参数更新与来自空间分布的客户端筒仓的训练数据聚合来进行学习。虽然联邦学习在规模和隐私方面都有优势,但它受到了域转移问题的影响,在域转移问题中,学习模型无法推广到数据分布是非独立同分布的不可见域。在训练领域。在这项研究中,我们提出了联邦不变学习一致性(FedILC)的方法,它利用梯度协方差和几何平均值的Hessians捕获筒仓间和筒仓内的环境,并解开域转移问题在联邦网络。基准测试和真实世界的数据集实验证明,我们提出的算法优于传统的基线和类似的联邦学习算法。这与诸如医疗保健、计算机视觉和物联网(IoT)的各种领域相关。代码发布于https://github.com/mikemikezhu/FedILC。
2022-05-19 cs.AI cs.DC cs.LG
Sustainable Federated Learning
University of California, Riverside(加利福尼亚大学河滨分校);The Ohio State University(俄亥俄州立大学)
大规模无线网络对机器学习的潜在环境影响是未来智能生态系统可持续性的主要挑战。在本文中,我们介绍了联邦学习设置中的可持续机器学习,使用可从周围环境中收集能量的可充电设备。我们提出了一个实用的联邦学习框架,该框架利用间歇性能量到达进行训练,并具有可证明的收敛保证。我们的框架可以应用于网络环境中的各种机器学习设置,包括无线和边缘网络中的分布式和联邦学习。我们的实验表明,所提出的框架可以提供显着的性能改进的基准能量不可知的联邦学习设置。
2021-02-22 cs.IT cs.LG math.IT
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University(耶鲁大学);Renmin University of China(中国人民大学);JD Technology Group(京东科技集团)
联邦学习有助于解决数据隐私和安全问题,近年来受到越来越多的关注。然而,现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型,导致Boosting步骤冗余,交互通信代价高。相比之下,联邦装袋模型通过并行构建多个决策树来节省时间,但它遭受性能损失。为了以更少的时间代价获得出色的性能,我们提出了一种新的模型,在垂直联邦设置称为联邦梯度提升森林(FedGBF)。FedGBF通过并行构建决策树作为Boosting的基础学习器,同时集成了Boosting和Bagging的优势。继FedGBF之后,超参数调优问题日益突出。然后,我们提出了动态FedGBF,它动态地改变每个森林的参数,从而降低了复杂性。最后,基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
What Do We Mean by Generalization in Federated Learning?
Stanford University(斯坦福大学);Google Research(谷歌研究院)
联邦学习数据来自分布的分布:客户端来自元分布,其数据来自本地数据分布。因此,联邦学习中的泛化研究应该将来自看不见的客户端数据的性能差距(样本外差距)与来自看不见的客户端分布的性能差距(参与差距)分开。在这项工作中,我们提出了一个框架来解开这些性能差距。使用这个框架,我们观察并解释了自然和合成联邦数据集之间的行为差异,表明数据集合成策略对于联邦学习中泛化的真实模拟非常重要。我们提出了一种语义合成策略,使逼真的模拟没有自然分区的数据。根据我们的发现,我们呼吁社区对未来的联邦学习工作提出建议。
2022-03-16 cs.DC cs.LG stat.ML
Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms
CMU(卡内基梅隆大学);Google(谷歌)
联邦学习通常作为优化问题来处理,其中目标是通过跨拥有本地数据并指定全局目标的不同部分的客户端设备分布计算来最小化全局损失函数。我们提出了另一种观点,并将联邦学习表述为后验推理问题,其目标是通过让客户端设备各自推断其本地数据的后验来推断全局后验分布。虽然精确的推理通常是棘手的,但这种观点提供了一种在联邦设置中搜索全局最优值的原则性方法。此外,从联邦二次目标的分析,我们开发了一个计算和通信效率的近似后验推理算法-联邦后验平均(FedPA)。我们的算法使用MCMC对客户端的局部后验进行近似推断,并有效地将其统计信息传达给服务器,后者使用它们来改进后验模式的全局估计。最后,我们证明了FedPA概括了联邦平均(FedAvg),可以同样受益于自适应优化器,并在四个现实和具有挑战性的基准测试中产生最先进的结果,收敛速度更快,达到更好的最优。
2021-01-30 cs.AI cs.LG stat.ML
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks
Seoul National University(首尔国立大学)
个性化联邦学习旨在允许众多客户端训练个性化模型,同时以通信高效的方式参与协作训练,而无需交换私有数据。然而,许多个性化的联邦学习算法假设客户端具有相同的神经网络架构,而异构模型的算法仍然没有得到充分研究。在这项研究中,我们提出了一种新的个性化联邦学习方法称为联邦分类器平均(FedClassAvg)。用于监督学习任务的深度神经网络由特征提取器和分类器层组成。FedClassAvg聚合分类器权重作为特征空间上决策边界的协议,以便具有非独立和相同分布(非iid)数据的客户端可以了解稀缺标签。此外,局部特征表示学习被应用于稳定决策边界和提高客户端的局部特征提取能力。虽然现有的方法需要收集辅助数据或模型权重来生成副本,但FedClassAvg只需要客户端与几个完全连接的层进行通信,这是非常高效的通信。此外,FedClassAvg不需要额外的优化问题,如知识转移,这需要密集的计算开销。我们通过大量的实验评估了FedClassAvg,并证明它在异构个性化联邦学习任务上优于当前最先进的算法。
2022-10-27 cs.AI cs.DC cs.LG
Real-time Federated Evolutionary Neural Architecture Search
University of Surrey(萨里大学)
联邦学习是一种分布式机器学习方法,用于隐私保护,两个主要的技术挑战阻碍了联邦学习的更广泛应用。一个是联邦学习对通信提出了很高的要求,因为大量的模型参数必须在服务器和客户端之间传输。另一个挑战是,在联邦学习中训练深度神经网络等大型机器学习模型需要大量的计算资源,这对于手机等边缘设备来说可能是不现实的。当在联邦学习中执行深度神经架构搜索时,问题变得更糟。为了解决上述挑战,我们提出了一种进化的方法来实时的【形】联邦神经架构搜索,不仅优化模型的性能,但也减少了本地负载。在搜索过程中,引入了双采样技术,其中对于每个个体,主模型的随机采样子模型被传输到多个随机采样的客户端进行训练,而无需重新初始化。这样,我们有效地减少了进化优化所需的计算和通信开销,避免了局部模型的大的性能波动,使得所提出的框架非常适合于实时的【形】联邦神经结构搜索.
2020-03-04 cs.DC cs.LG stat.ML
FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update
Beihang University(北京航空航天大学);Kuaishou Technology(快手科技)
联邦学习旨在保护用户的隐私,同时执行来自不同参与者的数据分析。然而,由于各种计算能力和通信瓶颈,在异构系统上保证训练效率具有挑战性。在这项工作中,我们提出FedSkel,通过只更新模型的基本部分(称为骨架网络),在边缘设备上实现计算效率和通信效率高的联邦学习。FedSkel在具有不平衡数据集的真实边缘设备上进行评估。实验结果表明,该算法在保证训练精度的前提下,可使CONV层的反向传播速度提高到5.52 $\times$,整个训练过程的速度提高到1.82 $\times$,通信开销降低了64.8%.
2021-08-20 cs.AI cs.DC cs.LG
FedECADO: A Dynamical System Model of Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
针对联邦学习中异构数据分布和计算负载导致的更新不一致与性能受限问题,提出受动力系统表示启发的FedECADO算法,通过聚合敏感度模型和多速率积分方法同步客户端更新,在多种异构场景下实现了比FedProx等方法更高的分类准确率。
2024-10-13 cs.LG cs.SY eess.SY
Federated Learning: Balancing the Thin Line Between Data Intelligence and Privacy
U.S. Bank AI Innovation(美国合众银行人工智能创新部门)
联邦学习在从碎片化的敏感数据中学习方面具有很大的前景,并彻底改变了机器学习模型的训练方式。本文对联邦学习进行了系统的概述和详细的分类。我们调查了联邦学习中现有的安全挑战,并全面概述了数据投毒、推理攻击和模型中毒攻击的防御技术。这项工作还概述了当前联邦学习的培训挑战,重点是处理非独立同异。数据,高维问题,异构体系结构,并讨论了相关的挑战的几个解决方案。最后,我们讨论了在管理联邦学习培训方面仍然存在的挑战,并提出了有针对性的研究方向,以解决悬而未决的问题。联邦学习的潜在候选领域,包括物联网生态系统,医疗保健应用,特别关注银行和金融领域。
2022-04-22 cs.AI cs.CV cs.LG
Iterated Vector Fields and Conservatism, with Applications to Federated Learning
Google Research(谷歌研究院)
研究了迭代向量场(由自身合成的向量场)是否保守。我们给出明确的例子向量场,这种自组合保持保守性。值得注意的是,这包括与某些广义线性模型相关的损失函数的梯度向量场。正如我们所示,描述满足这个条件的向量场的集合会导致非平凡的几何问题。在联邦学习的背景下,我们表明,当客户端的损失函数的梯度满足这个条件,联邦平均相当于梯度下降的代理损失函数。我们利用这一点来获得联邦学习的新收敛结果。相比之下,我们证明,当客户端损失违反此属性时,联合平均可以产生与集中式优化根本不同的行为。最后,我们讨论了我们的分析框架为联邦学习提出的理论和实践问题。
2021-11-13 cs.DC cs.LG math.CA
D2P-Fed: Differentially Private Federated Learning With Efficient Communication
University of California, Berkeley(加州大学伯克利分校);Virginia Tech(弗吉尼亚理工大学)
在本文中,我们提出了基于离散高斯差分隐私联邦学习(D2 P-Fed),一个统一的计划,以实现差分隐私(DP)和联邦学习(FL)的通信效率。特别地,与仅兼顾这两个方面的先前工作相比,D2 P-Fed提供了更强的隐私保证、更好的可组合性和更小的通信成本。其核心思想是将离散高斯噪声应用于私有数据传输。我们提供了完整的分析的隐私保障,通信成本和收敛速度的D2 P-Fed。我们在INFIMNIST和CIFAR 10上评估了D2 P-Fed。结果表明,D2 P-Fed在模型精度方面比最先进的模型高出4.7%至13.0%,同时节省了三分之一的通信成本。
2021-01-02 cs.CR cs.LG stat.ME
Dynamic Defense Against Byzantine Poisoning Attacks in Federated Learning
University of Granada(格拉纳达大学)
联邦学习作为一种在本地设备上进行训练而不访问训练数据的分布式学习,容易受到拜占庭中毒对抗攻击的攻击。我们认为,联邦学习模型必须避免这些类型的对抗攻击,通过过滤掉敌对的客户端通过联邦聚合运营商。我们提出了一个动态的联邦聚合运营商,动态丢弃这些敌对的客户端,并允许防止腐败的全球学习模型。我们评估它作为对抗攻击的防御,在Fed-EMNIST Digits,Fashion MNIST和CIFAR-10图像数据集上的联邦学习设置中部署深度学习分类模型。结果表明,动态选择的客户端聚合提高了性能的全球学习模型和丢弃的敌对和穷人(低质量的模型)的客户端。
2022-02-24 cs.AI cs.CR cs.LG
Federated Learning with Spiking Neural Networks
Yale University(耶鲁大学)
随着神经网络在资源受限的嵌入式设备中得到广泛采用,对低功耗神经系统的需求日益增长。脉冲神经网络(SNN)正在成为传统人工神经网络(ANN)的能量高效替代方案,人工神经网络(ANN)已知是计算密集型的。从应用的角度来看,由于联邦学习涉及多个能源受限的设备,因此利用SNN提供的能源效率有很大的空间。尽管其重要性,但很少有人关注在像联邦学习这样的大规模分布式系统上训练SNN。在本文中,我们将SNN带到一个更现实的联邦学习场景中。具体来说,我们提出了一个联邦学习框架,用于SNN的分散和隐私保护训练。为了验证所提出的联邦学习框架,我们用CIFAR10和CIFAR100基准测试实验评估了SNN在联邦学习各个方面的优势。我们观察到,当数据分布在联邦中的大量客户端时,SNN在整体准确性方面优于ANN超过15%,同时提供高达5.3倍的能源效率。除了效率之外,我们还分析了所提出的联邦SNN框架对客户端,落伍者和梯度噪声之间的数据分布的敏感性,并与ANN进行了全面的比较。
2021-06-11 cs.CV cs.DC cs.LG
FedPAGE: A Fast Local Stochastic Gradient Method for Communication-Efficient Federated Learning
Princeton University(普林斯顿大学);KAUST(阿卜杜拉国王科技大学)
联合平均(FedAvg,也称为Local-SGD)(McMahan等人,2017)是一种经典的联邦学习算法,其中客户端在将其更新传送到编排服务器之前运行多个本地SGD步骤。我们提出了一种新的联邦学习算法FedPAGE,它能够通过利用最近的最佳PAGE方法进一步降低通信复杂度(Li et al.,2021)而不是FedAvg中的普通SGD。我们发现,FedPAGE使用更少的通信轮比以前的本地方法联邦凸和非凸优化。具体地,1)在凸设置中,FedPAGE的通信轮数是$O(\frac{N^{3/4}}{Sε})$,改进了SCAFFOLD的最公知结果$O(\frac{N}{Sε})$(Karimireddy等人,2020),其中$N^{1/4}$是客户端的总数(通常在联邦学习中非常大),$S$是每个通信轮中客户端的采样子集,$ε$是目标误差; 2)在非凸设置中,FedPAGE的通信轮数是$O(\frac{\sqrt{N}+S}{Sε^2})$,改进了SCAFFOLD的最知名结果$O(\frac{N^{2/3}}{S^{2/3}ε^2})$(Karimireddy et al.,2020),如果采样的客户端为$S\leq \sqrt{N}$,则通过因子$N^{1/6}S^{1/3}$。请注意,在这两种设置中,FedPAGE和SCAFFOLD每轮的通信成本是相同的。因此,FedPAGE在联邦凸优…
2021-08-10 cs.DC cs.DS cs.LG
Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
University of Virginia(弗吉尼亚大学);Meta AI;MIT(麻省理工学院)
本文提出联邦随机平滑梯度下降上升法(FESS-GDA),将平滑技术引入联邦极小极大优化,统一解决多类问题并证明新的收敛结果,在GAN训练和公平分类中展现实际效率。
2024-04-18 cs.IT cs.LG math.IT
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG