Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning
Texas A&M University(德克萨斯农工大学);The University of Iowa(爱荷华大学);University at Albany(奥尔巴尼大学)
本文提出基于记忆的MAML随机优化算法,以恒定任务与样本采样实现误差趋零收敛,并给出通信高效的个性化联邦学习版本。
2023-04-24 cs.LG
Federated Multi-View Synthesizing for Metaverse
Queen Mary University of London(伦敦玛丽女王大学);Tsinghua University(清华大学);Imperial College London(伦敦帝国理工学院)
针对无线网络VR传输数据与计算密集导致服务质量难保障的问题,提出基于3D感知生成模型的联邦多视图合成框架,利用单视图图像传输和联邦学习降低通信延迟,实现高效元宇宙内容交付。
2023-12-18 cs.CV cs.LG eess.IV
Backdoor Attacks on Federated Meta-Learning
University of Southern California(南加州大学)
联邦学习允许多个用户协作训练共享的分类模型,同时保护数据隐私。这种方法,模型更新由中央服务器聚合,被证明容易受到中毒后门攻击:恶意用户可以改变共享模型,任意分类来自给定类的特定输入。在本文中,我们分析了后门攻击对联邦元学习的影响,用户训练一个模型,该模型可以适应不同的输出类集,只使用几个例子。虽然原则上,适应能力可以使联邦学习框架对后门攻击更加鲁棒(当新的训练样本是良性的时),但我们发现即使是一次性攻击也可以非常成功,并且在额外的训练后仍然存在。为了解决这些漏洞,我们提出了一个防御机制的灵感来自匹配网络,其中输入的类是从其特征的相似性与支持集的标记的例子预测。通过从与联邦共享的模型中删除决策逻辑,后门攻击的成功率和持久性大大降低。
2020-12-16 cs.CR cs.DC cs.LG
Analytic Personalized Federated Meta-Learning
National University of Defense Technology(国防科技大学);Fudan University(复旦大学);Hohai University(河海大学)
本文提出FedACnnL和pFedACnnL框架,通过层间DNN协作训练和分析性本地目标求解,解决联邦学习中异构数据分布导致的性能下降问题,提升测试准确率和模型性能。
2025-03-01 cs.DC cs.LG
FedMeNF: Privacy-Preserving Federated Meta-Learning for Neural Fields
Seoul National University(首尔国立大学)
提出 FedMeNF 方法,通过新的隐私保护损失函数调节局部元优化中的隐私泄露,在保护数据隐私的同时实现快速优化与鲁棒重构。
2025-08-08 cs.AI cs.CV cs.DC
Inexact-ADMM Based Federated Meta-Learning for Fast and Continual Edge Learning
Central South University(中南大学);Arizona State University(亚利桑那州立大学)
为了满足许多物联网应用对性能、安全性和延迟的要求,必须立即在网络边缘做出智能决策。然而,有限的资源和有限的本地数据量对边缘AI的发展构成了重大挑战。为了克服这些挑战,我们探索能够利用以前任务中的知识转移的持续边缘学习。为了实现快速和持续的边缘学习,我们提出了一种平台辅助的联邦元学习架构,其中边缘节点协作学习元模型,并辅之以来自先前任务的知识转移。边缘学习问题被转换为正则化优化问题,其中从先前任务中学习到的有价值的知识被提取为正则化。然后,我们设计了一个基于ADMM的联邦元学习算法,即ADMM-FedMeta,其中ADMM提供了一种自然的机制,将原始问题分解为许多子问题,这些子问题可以跨边缘节点和平台并行求解。此外,不精确ADMM方法的一个变体是采用"解决"的子问题,通过线性近似以及海森估计,以减少每轮的计算成本$\mathcal{O}(n)$。我们提供了一个全面的分析ADMM-FedMeta,在收敛性能,快速适应性能,和遗忘效应的先验知识转移,一般非凸的情况下。广泛的实验研究证明了ADMM-FedMeta的有效性和效率,并显示它大大优于现有的基线。
2021-08-17 cs.LG cs.NI
Multi-Task and Transfer Learning for Federated Learning Applications
Texas A&M University(德州农工大学);Texas A&M University at Qatar(德州农工大学卡塔尔分校)
联邦学习使许多应用程序受益于大量潜在数据持有客户端的分布式和私有数据集。然而,不同的客户端通常有自己的特定目标,从数据中学习的任务。因此,使用元学习工具(如多任务学习和迁移学习)支持联邦学习将有助于扩大联邦学习的潜在应用,让不同但相关任务的客户共享任务不可知的模型,然后每个客户可以进一步更新和定制特定任务。在联邦多任务学习问题中,训练的深度神经网络模型应该针对每个客户端的各自目标进行微调,同时共享一些参数以提高泛化能力。我们提出训练一个深度神经网络模型,其中更广义的层更接近输入,更个性化的层更接近输出。我们通过引入层类型来实现这一点,例如预训练层、通用层、特定任务层和个人层。我们提供了模拟结果,以突出特定的场景中,基于元学习的联邦学习被证明是有用的。
2022-07-17 cs.LG
Efficient Federated Meta-Learning over Multi-Access Wireless Networks
Central South University(中南大学);Tsinghua University(清华大学);University of Waterloo(滑铁卢大学)
联邦元学习(FML)已经成为一种很有前途的范式,以应对当今边缘学习领域的数据限制和异构性挑战。然而,它的性能往往受到收敛速度慢和相应的通信效率低的限制。此外,由于可用的无线电频谱和物联网设备的能量容量通常不足,因此在实际无线网络中部署FML时,控制资源分配和能量消耗至关重要。为了克服这些挑战,在本文中,我们严格分析了每个设备在每一轮中对全局损耗降低的贡献,并开发了一种具有非均匀设备选择方案的FML算法(称为NUFM),以加速收敛。在此之后,我们制定了一个资源分配问题,结合NUFM在多址无线系统,以共同提高收敛速度,并尽量减少挂钟时间以及能源成本。通过逐步解构原问题,设计了一种联合设备选择和资源分配策略,为解决该问题提供了理论保证。此外,我们表明,NUFM的计算复杂性可以减少从$O(d^2)$到$O(d)$(与模型维数$d$),通过结合两个一阶近似技术。大量的仿真结果表明,与现有的基线相比,所提出的方法的有效性和优越性。
2021-11-11 cs.LG
Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation Encoding
Nanjing University of Science and Technology(南京理工大学);The Hong Kong Polytechnic University(香港理工大学);China Academy of Information and Communications Technology(中国信息通信研究院)
针对联邦学习中域差异和数据稀缺导致故障诊断性能下降的问题,提出基于表示编码的联邦元学习框架REFML,利用客户端异质性实现少样本下的分布外泛化,在未见工况和设备上准确率显著提升。
2023-10-13 cs.LG
FAM: fast adaptive federated meta-learning
Indian Institute of Information Technology Allahabad(阿拉哈巴德印度信息技术学院)
提出FAM框架,通过联邦元学习学习稀疏全局模型,并在各客户端本地生长个性化参数,快速适应MRI数据,降低通信开销并提升个性化模型性能。
2023-09-01 cs.AI cs.CV cs.LG
Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Department of ECE, The Hong Kong University of Science and Technology(香港科学与技术大学电子工程系);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文研究了无线环境下基于元学习的个性化联邦学习在泛化与收敛之间的权衡,通过空中计算分析了信道损伤对泛化和收敛的影响。
2025-12-01 cs.IT cs.LG eess.SP
TinyMetaFed: Efficient Federated Meta-Learning for TinyML
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑工业大学);The University of Queensland(昆士兰大学)
针对 TinyML 设备资源受限、数据稀缺且分布异构的问题,本文提出模型无关的联邦元学习框架 TinyMetaFed,通过选择性通信、在线学习和少样本学习降低能耗与开销并提升稳定性。
2023-09-28 cs.AI cs.DC cs.LG
A Blockchain-based Reliable Federated Meta-learning for Metaverse: A Dual Game Framework
Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar University(卡塔尔大学);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
本文针对元宇宙中用户异质性导致的联邦元学习训练效果下降问题,提出融合区块链协作联盟形成博弈与Stackelberg激励的双博弈框架,通过声誉系统和激励机制提升训练性能、缩短完成时间并增强元宇宙效用。
2024-08-07 cs.AI cs.DC cs.GT
Federated Meta-Learning for Traffic Steering in O-RAN
University of Bristol(布里斯托大学);Vilicom UK Ltd.(英国Vilicom有限公司)
与LTE网络相比,5G的愿景在于为用户提供高数据率、低延迟(以接近实时应用为目标)、显著增加的基站容量以及近乎完美的服务质量(QoS)。为了提供这样的服务,5G系统将支持各种接入技术的组合,例如LTE、NR、NR-U和Wi-Fi。每种无线电接入技术(RAT)提供不同类型的接入,并且这些接入应当在用户之间被最佳地分配和管理。除了资源管理,5G系统还将支持双连接服务。因此,网络的编排对于系统管理者而言相对于传统接入技术而言成为更困难的问题。在本文中,我们提出了一种基于联邦元学习(FML)的RAT分配算法,该算法使RAN智能控制器(RIC)能够更快地适应动态变化的环境。我们设计了一个包含LTE和5G NR服务技术的仿真环境。在模拟中,我们的目标是满足UE的传输期限内的需求,以提供更高的QoS值。我们比较了我们提出的算法与一个单一的RL代理,爬虫算法和基于规则的探试法。仿真结果表明,所提出的FML方法实现了更高的缓存率在第一轮部署分别为21%和12%。此外,所提出的方法适应新的任务和环境中最快的比较方法。
2022-09-13 cs.LG cs.NI
FeMLoc: Federated Meta-learning for Adaptive Wireless Indoor Localization Tasks in IoT Networks
College of Computing, Mohammed VI Polytechnic University(穆罕默德六世理工大学计算机学院);Institut Supérieur d’Électronique de Paris(巴黎高等电子学院)
针对现有室内定位方案环境适配难、校准成本高的问题,提出两阶段联邦元学习框架FeMLoc,在提升定位精度、加快适配速度的同时保护隐私、增强可扩展性,适配物联网大规模位置感知需求。
2024-05-17 cs.LG cs.NI eess.SP
TinyReptile: TinyML with Federated Meta-Learning
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑工业大学)
本文提出TinyReptile算法,结合联邦元学习与在线学习,在资源受限的微型设备上协作学习神经网络初始化,实现快速适配新设备,并在Raspberry Pi 4和Cortex-M4 MCU上验证了资源与训练时间至少减少两倍的效果。
2023-04-11 cs.AI cs.DC cs.LG
FastPFRec: A Fast Personalized Federated Recommendation with Secure Sharing
organization= Key Laboratory of Big Data \& Artificial Intelligence in Transportation (Beijing Jiaotong University) , addressline= Ministry of Education , city= Beijing , postcode= 100044 , country= China;organization= School of Computer Science;Technology , addressline= Beijing Jiaotong University , city= Beijing , postcode= 100044 , country= China
本文提出FastPFRec框架,通过高效本地更新策略和隐私感知参数共享机制,提升联邦推荐系统的训练效率和数据安全性,在四个真实数据集上表现优异。
2026-03-18 cs.IR cs.LG
Meta Matrix Factorization for Federated Rating Predictions
Shandong University(山东大学);University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团)
联合推荐系统在隐私保护方面比集中在数据中心的传统推荐系统具有明显的优势。然而,以前的联合推荐系统的工作并没有充分考虑在移动环境中的存储,RAM,能源和通信带宽的限制。所提出的模型的规模太大,很难在移动设备上运行。现有的联合推荐系统需要在每个设备上微调推荐模型,使得难以有效地利用用户/设备之间的协同过滤信息。本文的目标是设计一个新的联邦学习框架,用于移动环境下的评级预测(RP)。我们介绍了一个联邦矩阵分解(MF)框架,命名为Meta矩阵分解(MetaMF)。给定一个用户,我们首先通过收集有用的信息与协作记忆模块获得一个协作向量。然后,我们采用了Meta推荐模块,以产生私人项目嵌入和RP模型的基础上,在服务器上的合作向量。为了解决生成大量高维项嵌入的挑战,我们设计了一种升维生成策略,首先生成一个低维项嵌入矩阵和一个升维矩阵,然后将它们相乘以获得高维嵌入。我们使用生成的模型为给定的用户在她的设备上生成私人RP。MetaMF即使在小RP模型下也显示出高容量,这可以适应移动环境的限制。我们在四个基准数据集上进行了大量的实验,将MetaMF与现有的MF方法进行了比较,发现MetaMF可以达到有竞争力的性能。此外,我们发现MetaMF实现了更高的RP性能比现有的联邦方法更好地利用用户/设备之间的协同过滤。
2023-03-04 cs.IR cs.LG
FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems
Eurecat(Eurecat技术中心);Huawei UK Research Centre(华为英国研究中心);Huawei Ireland Research Centre(华为爱尔兰研究中心)
本文提出FedFNN算法,通过监督学习利用已采样用户的权重更新预测未采样用户的更新,在联邦推荐系统中实现比领先方法快5倍的训练收敛速度,并在客户端可用性有限时表现更优。
2023-09-14 cs.IR cs.LG
Personalized Federated Learning with Contextual Modulation and Meta-Learning
Center for Applied Intelligent Systems Research (CAISR), Halmstad University(哈尔姆斯塔德大学应用智能系统研究中心)
提出一种结合联邦学习与元学习的框架,通过联邦调制器学习上下文并生成调制参数,动态调整基础模型激活以实现个性化,实验表明收敛速度和性能优于现有方法。
2023-12-23 cs.LG
Cali3F: Calibrated Fast Fair Federated Recommendation System
University of Science and Technology of China(中国科学技术大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
越来越严格的隐私保护法规引发了人们对联邦学习的兴趣。作为一个分布式机器学习框架,它通过在设备上训练一个全局模型,同时保持数据本地化,从而弥合了孤立的数据孤岛。针对推荐系统,人们提出了许多联合推荐算法来实现隐私保护的协同推荐。然而,若干制约因素基本上仍未得到探讨。一个大的问题是如何确保联邦学习的参与者之间的公平性,也就是说,保持跨设备推荐性能的一致性。另一方面,由于数据的异构性和有限的网络,在收敛速度方面出现了额外的挑战。针对这些问题,本文首先提出了一种个性化的联邦推荐系统训练算法,以提高推荐性能的公平性。然后,我们采用基于聚类的聚合方法来加速训练过程。结合这两个组件,我们提出了Cali3F,一个校准的快速和公平的联邦推荐框架。Cali3F不仅通过集群内参数共享方法解决了收敛问题,而且通过用全局模型校准局部模型来显着提高公平性。我们展示了Cali3F在标准基准数据集上的性能,并与传统的聚合方法进行了比较。
2022-05-26 cs.CY cs.IR cs.LG
Meta-FL: A Novel Meta-Learning Framework for Optimizing Heterogeneous Model Aggregation in Federated Learning
Oregon State University(俄勒冈州立大学)
针对联邦学习的数据异构与模型多样问题,提出基于优化元聚合器的Meta-FL框架,利用元特征实现适配性聚合,在医疗数据集上性能优于传统方法,兼具高效性与可扩展性。
2024-06-23 cs.CR cs.LG
PMFL: Partial Meta-Federated Learning for heterogeneous tasks and its applications on real-world medical records
Beijing Jiaotong University(北京交通大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
针对传统联邦学习难以适配异构数据与任务、受限医疗场景应用的问题,研究融合联邦学习与元学习,引入部分参数共享提出PMFL算法,在两个医疗异构数据集上实现最快训练速度与最优性能。
2024-03-09 cs.LG
Fast Deep Autoencoder for Federated learning
CITIC(信息与通信技术研究中心);University of A Coruña(拉科鲁尼亚大学)
本文提出非迭代、可分布式增量训练且保护隐私的 DAEF,用于边缘计算与联邦学习,并在七个异常检测数据集上证明其训练更快且性能接近传统迭代深度自编码器。
2022-06-13 cs.LG
FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning
Industrial Technology Research Institute(工业技术研究院);National Yang Ming Chiao Tung University(阳明交通大学)
联邦学习的目标是在不泄露隐私的情况下共享私有数据,以最大化数据效用。以往的联邦学习研究主要集中在多类分类问题上。然而,多标签分类是一个关键的研究问题,接近现实世界的数据属性。然而,有限数量的联邦学习研究探讨了这一研究问题。现有的多标签联邦学习研究没有考虑多标签数据的特点,即,他们使用多类分类的概念来验证他们的方法的性能,这意味着将他们的方法应用于实际应用是不可行的。因此,本研究提出了一种新的多标签联邦学习框架,该框架采用了一种基于标记的多标签数据分配(CMDA)和一种新的聚合方法--快速标签自适应聚合(FLAG),用于联邦学习环境中的多标签分类。实验结果表明,我们的方法只需要不到50\%的训练时期和通信轮,以超过最先进的联邦学习方法的性能。
2023-02-27 cs.AI cs.LG
Decentralized Quantum Federated Learning for Metaverse: Analysis, Design and Implementation
Deakin University(迪肯大学)
针对元宇宙透明安全需求,提出基于区块链的去中心化量子联邦学习框架,实验验证其优于经典联邦学习,并应用于混合元宇宙。
2023-06-20 cs.LG
Faster On-Device Training Using New Federated Momentum Algorithm
University of Pittsburgh(匹兹堡大学);Duke University(杜克大学)
近年来,移动群体感知获得了极大的关注,并已成为新兴物联网应用的重要范例。传感设备不断产生大量数据,为开发创新的智能应用提供了巨大的机会。为了利用这些数据来训练机器学习模型,同时又不损害用户隐私,联邦学习已成为一种很有前途的解决方案。然而,人们对联邦学习算法是否保证收敛知之甚少。我们重新考虑了联邦学习中的模型平均,并将其表述为具有偏梯度的基于梯度的方法。这一新颖的视角有助于分析其收敛速度,并为进一步加速提供了新的方向。我们证明了第一次,联邦平均算法是保证收敛的非凸问题,而不施加额外的假设。我们进一步提出了一种新的加速联邦学习算法,并提供了收敛保证。在基准数据集上进行了模拟联邦学习实验,以训练深度神经网络,实验结果表明,我们提出的方法比以前的方法收敛得更快。
2020-02-06 cs.DC cs.LG stat.ML
FedJAX: Federated learning simulation with JAX
Google Research(谷歌研究院)
联邦学习是一种机器学习技术,可以跨分散的数据进行训练。最近,联邦学习已经成为一个活跃的研究领域,因为人们越来越关注隐私和安全。有鉴于此,各种开源联邦学习库已经开发并发布。我们介绍FedJAX,一个基于JAX的开源库,用于联邦学习模拟,强调研究中的易用性。凭借其用于实现联邦学习算法的简单原语、预打包的数据集、模型和算法以及快速的仿真速度,FedJAX旨在使研究人员更快、更容易地开发和评估联邦算法。我们的基准测试结果表明,FedJAX可用于训练模型,在EMNIST数据集上进行联邦平均只需几分钟,在Stack Overflow数据集上使用TPU使用标准超参数大约需要一个小时。
2021-11-06 cs.LG
Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
联邦学习是机器学习中一种流行的分布式学习范式。同时,组合优化是一种有效的分层学习模型,它出现在许多机器学习应用中,如元学习和鲁棒学习。最近,虽然已经提出了一些联邦组合优化算法,但它们仍然受到高样本和通信复杂性的困扰。因此,在本文中,我们提出了一类更快的联邦组合优化算法(即,MFCGD和AdaMFCGD)来求解非凸分布组合问题,该方法建立在基于动量的方差缩减和局部SGD技术的基础上。特别是,我们的自适应算法(即,AdaMFCGD)使用统一的自适应矩阵来灵活地合并各种自适应学习率。此外,我们提供了一个坚实的理论分析,我们的算法在非独立同分布。设置,并证明我们的算法获得了较低的样本和通信复杂性同时比现有的联邦组合算法。具体来说,我们的算法获得较低的样本复杂度的$\tilde{O}(ε^{-3})$与较低的通信复杂性的$\tilde{O}(ε^{-2})$在寻找一个$ε$ -平稳的解决方案。我们在鲁棒的联邦学习和分布式元学习任务上进行了数值实验,以证明我们的算法的效率。
2023-03-30 cs.LG math.OC
Meta Federated Learning
University of Maryland(马里兰大学);IBM Research(IBM研究院);University of Virginia(弗吉尼亚大学)
由于其分布式方法及其隐私保护功能,联邦学习(FL)容易受到训练时间对抗攻击的影响。在这项研究中,我们的重点是后门攻击,其中对手的目标是造成有针对性的错误分类的输入嵌入了一个对抗性的触发器,同时保持一个可接受的性能在手头的主要学习任务。针对联邦学习中后门攻击的当代防御需要直接存取每个客户端的更新,这在最近部署安全聚合的FL设置中是不可行的。在这项研究中,我们试图回答以下问题,当安全聚合到位时,是否有可能防御后门攻击?,这是现有技术尚未解决的问题。为此,我们提出了Meta联邦学习(Meta-FL),一种新的变体的联邦学习,它不仅是兼容的安全聚合协议,但也有利于防御后门攻击。我们在两个分类数据集:SVHN和GTSRB上对Meta-FL进行了系统的评估。实验结果表明,Meta-FL不仅比经典FL具有更好的实用性,而且在抵抗对抗攻击的鲁棒性方面也提高了现代防御系统的性能.
2021-02-10 cs.CR cs.DC cs.LG
Faster Rates For Federated Variational Inequalities
Georgia Institute of Technology(佐治亚理工学院);Apple(苹果公司)
本文提出LIPPAX算法,通过改进收敛速率和缓解客户端漂移,提升了联邦变分不等式求解的效率和性能。
2026-02-09 cs.LG
Prototype Helps Federated Learning: Towards Faster Convergence
Kyung Hee University(庆熙大学)
联邦学习(FL)是一种分布式机器学习技术,其中多个客户端合作训练共享模型,而无需交换其原始数据。然而,客户端之间的数据分布的异构性通常会导致模型推理效果不佳。本文提出了一种基于原型的联邦学习框架,该框架只需对典型联邦学习过程的最后一次全局迭代进行少量修改,就可以获得更好的推理性能。在最后一次迭代中,服务器聚集从分布式客户端传输的原型,然后将它们发送回本地客户端,以进行各自的模型推理。在两个基线数据集上的实验表明,在不同的异构环境下,我们的建议可以实现更高的准确性(至少1%)和相对有效的通信比两个流行的基线。
2023-03-22 cs.AI cs.LG cs.MM
Accurate and Fast Federated Learning via IID and Communication-Aware Grouping
Korea Advanced Institute of Science and Technology(韩国科学技术院)
联邦学习已经成为协作机器学习的一种新范式;然而,它也面临着一些挑战,例如非独立同分布(IID)数据和高通信成本。为此,我们提出了一种新的框架,IID和通信感知组联邦学习,同时最大限度地提高准确性和通信速度分组节点的基础上的数据分布和物理位置的节点。此外,我们提供了一个正式的收敛性分析和一个有效的优化算法称为FedAvg-IC。实验结果表明,与现有算法相比,FedAvg-IC测试精度提高了22.2%,同时通信时间缩短了12%。
2020-12-09 cs.DC cs.LG
Meta Knowledge Condensation for Federated Learning
Center for Frontier AI Research(前沿人工智能研究中心);A*STAR(新加坡科技研究局);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
现有的联邦学习范例通常在中央求解器处广泛地交换分布式模型以实现更强大的模型。然而,这将导致严重的通信负担之间的服务器和多个客户端,特别是当数据分布是异构的。因此,当前的联邦学习方法在训练中通常需要大量的通信回合。与现有的范例,我们引入了一个替代的角度来显着降低联邦成员学习的通信成本。在这项工作中,我们首先介绍了一个元知识表示方法,从分布式客户端提取元知识。提取的元知识编码的基本信息,可以用来改善当前的模型。随着训练的进行,训练样本对联邦模型的贡献也会发生变化。因此,我们引入了一个动态的权重分配机制,使样本有助于自适应当前的模型更新。然后,来自所有活动客户端的信息元知识被发送到服务器用于模型更新。在不暴露不同客户端之间的原始数据的情况下,在组合的元知识上训练模型可以显着减轻异构性问题。此外,为了进一步改善数据异构性,我们还交换元知识之间的客户端作为条件初始化本地元知识提取。大量的实验证明了我们所提出的方法的有效性和效率。值得注意的是,我们的方法在具有受限通信预算(即10轮)的MNIST上以较大幅度(从$74.07\%$到$92.95\%$)优于最先进的方法。
2022-09-29 cs.CV cs.LG
Mobile Augmented Reality with Federated Learning in the Metaverse
Nanyang Technological University(南洋理工大学)
针对元宇宙移动增强现实应用的目标检测需求与隐私安全问题,提出将联邦学习与移动增强现实结合,探讨其合理性、支撑技术、落地挑战与应用场景,并展示三个相关系统案例。
2023-11-07 cs.CR cs.LG
Meta-HAR: Federated Representation Learning for Human Activity Recognition
University of Alberta(阿尔伯塔大学);Tencent(腾讯)
基于移动传感器的人体活动识别在普适计算中发挥着重要作用。然而,数据监管约束的兴起阻止了从个人设备大规模收集私人和标记信号数据。联邦学习已经成为模型训练的一种去中心化的替代解决方案,它迭代地将本地更新的模型聚合到一个共享的全局模型中,因此能够在没有中央收集的情况下利用去中心化的私有数据。然而,HAR的联合学习的有效性受到以下事实的影响:每个用户具有不同的活动类型,甚至对于相同的活动类型具有不同的信号分布。此外,它是不确定的,如果一个单一的全球模型训练可以推广到个人用户或新用户的异构数据。在本文中,我们提出了Meta-HAR,一个联邦表示学习框架,其中信号嵌入网络以联邦的方式进行元学习,而学习的信号表示被进一步馈送到每个用户的个性化分类网络中进行活动预测。为了提高嵌入式网络的表示能力,我们把每个用户的HAR问题作为一个不同的任务,并通过一个模型无关的元学习框架训练共享嵌入式网络,这样嵌入式网络可以推广到任何个人用户。在自适应过程中,在鲁棒学习的表示之上进一步实现个性化。我们进行了广泛的实验的基础上,两个公开的HAR数据集,以及一个新创建的HAR数据集。结果验证了Meta-HAR在为个人用户(包括新用户)保持高测试准确性方面是有效的,并且显著优于几个基线,包括联合平均,爬行动物,甚至在某些情况下集中学习。
2021-05-31 cs.LG eess.SP
A Generalized Meta Federated Learning Framework with Theoretical Convergence Guarantees
Samsung Semiconductor, Inc.(三星半导体公司)
针对传统元联邦学习仅考虑单步微调的局限,提出支持任意 $ν$ 步微调的广义框架及 FedAvg 变体,并给出精确与近似情形下的收敛理论,实验验证其准确率和收敛速度更优。
2025-05-12 cs.LG
Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates
University of California, Berkeley(加州大学伯克利分校)
针对数据异构下的联邦极小极大优化,提出结合局部更新与梯度跟踪的去中心化算法 K-GT-Minimax,并证明其在 NC-SC 情形下具有更优通信效率和收敛率。
2024-05-07 cs.DC cs.LG stat.ML
Dynamic Meta-Layer Aggregation for Byzantine-Robust Federated Learning
APC Roy Government College(APC罗伊政府学院);Department of Computer Science(计算机科学系);P.R. Thakur Government College(P.R.塔库尔政府学院)
本文提出FedAOT,通过元学习启发的自适应聚合框架,有效防御多标签翻转和未针对攻击,提升联邦学习的鲁棒性和效率。
2026-03-17 cs.LG
FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning
Chinese Academy of Sciences(中国科学院);Renmin University of China(中国人民大学);China Unicom Research Institute(中国联通研究院)
针对联邦学习中Hessian矩阵通信复杂度高的问题,提出FedNS算法,通过通信草图平方根Hessian并匹配有效维度提升效率,首次实现通信轮数的超线性收敛率。
2024-01-05 cs.DC cs.LG
Fast Federated Learning in the Presence of Arbitrary Device Unavailability
Tsinghua University(清华大学);Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院)
联邦学习(FL)与众多异构设备协调,以协作方式训练共享模型,同时保护用户隐私。尽管具有多种优势,但FL面临着新的挑战。当设备脱离中央服务器的控制而退出训练过程时,就会出现一个挑战。在这种情况下,流行的FL算法,如FedAvg的收敛严重影响的离散设备。为了解决这一问题,我们研究了任意设备不可用情况下的联邦学习算法,并提出了一种名为内存增强的不耐烦联邦平均(MIFA)的算法。我们的算法有效地避免了过多的延迟引起的非活动设备,并纠正梯度偏差使用记忆的最新更新的设备。我们证明了MIFA实现minimax最优收敛速度非独立同分布。强凸和非凸光滑函数的数据。我们还提供了一个明确的表征基线算法的改进,通过案例研究,并验证了真实世界的数据集上的数值实验的结果。
2021-06-08 cs.LG math.OC
Fast Convergence through Distributed Augmentation for Class-Imbalanced Federated Learning
Amar Nath and Shashi Khosla School of Information Technology, Indian Institute of Technology Delhi(印度理工学院德里分校 Amar Nath and Shashi Khosla 信息技术学院);Department of Electrical Engineering, Indian Institute of Technology Delhi(印度理工学院德里分校电气工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对联邦学习类不平衡问题,提出DAFL分布式增强框架,通过理论建立增强与收敛关系并联合优化增强量和训练时间,提升少数类F1分数并显著减少训练时间。
2026-10-06 cs.LG
Fast-Convergent Federated Learning
Princeton University(普林斯顿大学);Purdue University(普渡大学)
联邦学习最近已经成为通过现代移动设备网络分发机器学习任务的有前途的解决方案。最近的研究已经获得了通过每一轮联邦学习实现的模型损失预期减少的下限。然而,收敛通常需要大量的通信回合,这会导致模型训练的延迟,并且在网络资源方面是昂贵的。在本文中,我们提出了一种快速收敛的联邦学习算法,称为FOLB,它在每一轮模型训练中对设备进行智能采样,以优化预期的收敛速度。我们首先从理论上描述了一个下界的改善,可以在每一轮中获得,如果设备被选择根据预期的改善,他们的本地模型将提供给当前的全球模型。然后,我们表明,FOLB通过均匀采样加权设备更新,根据其梯度信息获得此界。FOLB能够通过根据设备对更新做出贡献的能力的估计来适应聚合来处理设备的通信和计算异构性。我们将FOLB与现有的联邦学习算法进行了比较,并通过实验证明了它在训练模型准确性,收敛速度和/或各种机器学习任务和数据集的模型稳定性方面的改进。
2020-10-31 cs.DC cs.LG
Heterogeneous Tasks Offloading in Vehicular Edge Computing: A Federated Meta Deep Reinforcement Learning Approach
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Chengdu Neusoft University(成都新soft大学)
本文提出了一种联邦元深度强化学习框架FedMAGS,用于解决车载边缘计算中异构任务卸载问题,通过图注意力网络捕捉DAG依赖关系,序列到序列策略生成结构化卸载决策,并利用联邦元学习实现跨分布式MEC服务器的快速适应。
2026-05-18 cs.DC cs.LG
Fast Server Learning Rate Tuning for Coded Federated Dropout
KTH Royal Institute of Technology(KTH皇家理工学院)
在跨设备联邦学习(FL)中,计算能力低的客户端通过更新而不是潜在的私有数据交换参数来训练公共\linebreak [4]机器模型。联合丢弃(FD)是通过选择要在每个训练轮中更新的模型参数的\emph{subset}来提高FL会话的通信效率的技术。然而,与标准FL相比,FD产生相当低的精度并且面临更长的收敛时间。在本文中,我们利用\textit{coding theory}来增强FD,允许在每个客户端使用不同的子模型。我们还表明,通过仔细调整服务器学习率超参数,我们可以实现更高的训练速度,同时也实现了与无辍学情况相同的最终精度。对于EMNIST数据集,我们的机制实现了99.6%的最终准确度的无辍学的情况下,而需要$2.43\times$更少的带宽,以达到这一水平的准确性。
2022-09-15 cs.LG
Federated Causal Inference: Multi-Study ATE Estimation beyond Meta-Analysis
Inria(法国国家信息与自动化研究所);Université de Montpellier(蒙彼利埃大学)
本研究提出联邦因果推断框架,比较元分析、单轮及多轮联邦学习三类ATE估计器,推导线性模型下的渐近方差,为不同场景提供选择指导,并经模拟验证。
2025-03-25 cs.LG math.ST stat.ML
Improving Federated Learning Personalization via Model Agnostic Meta Learning
University of Washington(华盛顿大学);Google Research(谷歌研究院)
联邦学习(FL)是指基于分散的数据存储来学习高质量的全局模型,而无需复制原始数据。一个自然的场景出现了由移动电话用户的活动在移动电话上创建的数据。考虑到这种情况下典型的数据异构性,很自然地会问如何为每个这样的设备单独定制全局模型。在这项工作中,我们指出,设置模型不可知的元学习(MAML),其中一个优化的快速,基于梯度的,Few-Shot适应异构分布的任务,有一些相似之处与FL的个性化的目标。我们提出FL作为一个自然的源MAML算法的实际应用,并作出以下观察。1)流行的FL算法,联邦平均,可以被解释为一个元学习算法。2)仔细的微调可以产生更高精度的全局模型,同时更容易个性化。然而,仅针对全局模型准确性进行优化会产生较弱的个性化结果。3)使用标准数据中心优化方法训练的模型比使用联合平均训练的模型更难个性化,这支持了第一个说法。这些结果为FL,MAML和更广泛的ML研究提出了新的问题。
2023-01-18 cs.LG stat.ML
Personalized Federated Learning via Amortized Bayesian Meta-Learning
University of Electronic Science and Technology of China(电子科技大学);Nanjing Audit University(南京审计大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng National Lab(鹏城国家实验室)
本文提出FedABML算法,通过摊销贝叶斯元学习和层次化变分推断解决联邦学习中的客户端统计异质性问题,并给出泛化误差上界,实验证明其优于多个基线方法。
2023-07-05 cs.LG
Fast-Convergent Federated Learning via Cyclic Aggregation
KAIST(韩国科学技术院);King’s College London(伦敦国王学院)
联邦学习(FL)旨在优化多个边缘设备上的共享全局模型,而无需将(私有)数据传输到中央服务器。虽然理论上众所周知,FL在温和的条件下产生最佳模型-集中训练的模型假设中央服务器上所有边缘设备数据的可用性,但在实践中,它通常需要大量的迭代直到收敛,特别是在存在统计/计算异质性的情况下。本文在服务器端利用循环学习率来减少训练迭代次数,同时提高性能,而不会为服务器和边缘设备带来任何额外的计算成本。数值结果表明,简单地插入所提出的循环聚合到现有的FL算法有效地减少了训练迭代次数,提高了性能。
2022-10-29 cs.LG eess.SP
Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction
Huawei London Research Centre(华为伦敦研究中心);Huawei Ireland Research Centre(华为爱尔兰研究中心)
在点击率(CTR)预测的联邦学习(FL)中,出于隐私保护的考虑,不共享用户的数据。学习是通过在客户端设备上进行本地训练并仅将模型更改传达给服务器来执行的。有两个主要挑战:(i)客户端的异质性,使得使用加权平均来聚合来自客户端的模型更新的FL算法具有缓慢的进展和不令人满意的学习结果;以及(ii)由于每个实验所需的大量计算时间和资源,难以用试错法来调整服务器学习率。为了解决这些挑战,我们提出了一个简单的在线元学习方法来学习聚合模型更新的策略,该策略根据客户端的属性自适应地权衡客户端的重要性,并调整更新的步长。我们对公共数据集进行了广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都显着优于最先进的方法。
2022-08-30 cs.AI cs.CR cs.IR
A First Order Meta Stackelberg Method for Robust Federated Learning
Tulane University(杜兰大学)
本文将对抗联邦学习建模为 BSMG,并提出可证明高效的 meta-SL 一阶元学习算法,以自适应防御不确定的模型投毒与后门攻击。
2023-07-16 cs.GT cs.LG
Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits
KAIST(韩国科学技术院)
联邦学习已经成为协作机器学习的创新范例。与传统的机器学习不同,全局模型是协作学习的,而数据仍然分布在大量的客户端设备上,因此不会损害用户隐私。然而,尽管它非常受欢迎,但仍然存在一些挑战;首先,联邦学习中的全局聚合涉及有偏模型平均的挑战和客户端采样中缺乏先验知识,这反过来又分别导致高泛化误差和慢收敛速度。在这项工作中,我们提出了一种新的算法,称为FedCM,解决了两个挑战,利用先验知识与多臂强盗为基础的客户端采样和过滤偏置模型与组合模型平均。基于使用各种算法和代表性异构数据集的广泛评估,我们表明FedCM在泛化精度和收敛速度方面分别显著优于最先进的算法高达37.25%和4.17倍。
2020-12-06 cs.DC cs.LG
Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data
York University(约克大学)
联邦学习(FL)是一种分布式学习范式,它使大量资源有限的节点能够在没有数据共享的情况下协作训练模型。非独立同分布(non-i.i.d.)数据样本引起全局和局部目标之间的差异,使得FL模型收敛缓慢。本文提出了最优聚合算法,通过检查局部梯度与全局梯度的关系,识别并排除不利的局部更新,从而找出参与节点在每一轮全局更新中的最优局部更新子集。然后,我们提出了一个概率节点选择框架(FedPNS),根据最优聚合的输出动态地改变每个节点被选择的概率。FedPNS可以优先选择推动模型收敛更快的节点。该设计的无偏性的FedPNS和FedPNS的收敛速度的改善通常采用联邦平均(FedAvg)算法进行了理论分析。实验结果表明,FedPNS在加速FL收敛速度的有效性,相比FedAvg随机节点选择。
2022-02-03 cs.AI cs.LG
Federated Bilevel Performative Prediction
Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学);Washington State University(华盛顿州立大学)
研究联邦学习中客户端数据分布受决策影响的双层优化问题,提出联邦双层执行稳定点概念及两种求解方法,实验验证了稳定性阈值和元泛化提升。
2026-06-19 cs.LG