Reinforcement Federated Learning Method Based on Adaptive OPTICS Clustering
Beijing Key Laboratory of Intelligent Communication Software and Multimedia(北京智能通信软件与多媒体重点实验室);School of Computer Science (National Pilot Software Engineering School)(计算机学院(国家级试点软件学院));Beijing University of Posts and Telecommunications(北京邮电大学)
针对联邦学习中不同用户终端数据非独立同分布问题,提出基于自适应OPTICS聚类的强化联邦聚合方法,将聚类环境视为马尔可夫决策过程建模,结合OPTICS聚类与自适应学习技术,有效处理该问题,经实验验证了方法的有效性和优越性。
2026-07-09 cs.LG
FedLAM: Low-latency Wireless Federated Learning via Layer-wise Adaptive Modulation
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology(电子与计算机工程系,香港科技大学)
针对无线联邦学习中高维DNN参数传输导致的通信延迟问题,提出逐层自适应调制方案,根据层重要性自动分配最优调制级别,最多节省73.9%延迟。
2025-10-09 cs.LG
Adaptive Parameterization of Deep Learning Models for Federated Learning
Aarhus University(奥胡斯大学)
本文提出在联邦学习中使用并行 Adapter 对模型进行自适应参数化,在保持与全模型训练相近推理性能的同时,将通信开销降低约 90%,并验证了其在跨孤岛、跨设备及非独立同分布数据场景下的适用性。
2023-05-25 cs.LG
Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
University of California Irvine(加州大学欧文分校)
针对动态非平稳环境下预训练模型难以适应流式数据实时预测的问题,本文提出一种结合本地微调模型与服务器多轮联邦模型的个性化联邦学习算法,理论与实验均验证了其在实时预测和联邦微调上的有效性。
2024-10-28 cs.LG
DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning
University of Cambridge(剑桥大学)
联邦学习(FL)是一种强大的技术,用于以隐私保护的方式使用来自多个客户端的数据在服务器上训练模型。在FL中,服务器将模型发送给每个客户端,然后客户端在本地训练模型并将其发送回服务器。服务器聚合更新的模型并重复该过程几轮。FL会产生很大的通信成本,特别是在将更新的本地模型从客户端传输回服务器时。最近提出的算法优化模型参数,以有效地压缩FL通信。这些算法通常具有控制压缩因子的量化级别。我们发现,动态适应的量化级别可以提高压缩,而不牺牲模型的质量。首先,我们引入了一种时间自适应量化算法,随着训练的进行,该算法增加了量化级别。其次,我们引入了一种客户端自适应量化算法,该算法在每一轮为每个客户端分配最佳量化级别。最后,我们将这两种算法结合成DAdaQuant,双自适应量化算法。我们的实验表明,DAdaQuant始终提高客户端$\rightarrow$服务器压缩,性能优于最强的非自适应基线高达$2.8\times$。
2021-10-31 cs.LG
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
在联邦学习中,跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而,已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异,而是一次性地对整个模型参数进行调整,导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展,同时会增加通信成本。我们提出了FedLAMA,一个分层的模型聚合方案,可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式,联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔,以放松聚合频率,而不会对模型精度产生显著影响。我们的实证研究表明,FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本,同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Adaptive Gradient Clipping for Robust Federated Learning
EPFL(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学)
针对联邦学习中静态梯度裁剪对不同攻击鲁棒性不一致的问题,本文提出自适应鲁棒裁剪方法ARC,动态调整裁剪阈值,在保持理论鲁棒性保证的同时改善收敛性,并通过图像分类实验验证其在异构对抗环境下的有效性。
2025-05-09 cs.LG
FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors
Jilin University(吉林大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对联邦学习中数据异构性导致的聚合权重分配不合理问题,提出基于客户端向量自适应调整聚合权重的FedAWA方法,在保护隐私的同时提升了全局模型的稳定性与泛化能力,经多场景实验验证了其优越性。
2025-03-20 cs.LG
An Adaptive Clustering Scheme for Client Selections in Communication-Efficient Federated Learning
Yuan Ze University(元智大学)
本文提出一种自适应聚类方案,通过动态调整聚类数量选择代表性客户端参与联邦学习训练,在非IID手写数字识别数据集上实现通信成本降低近50%且不影响模型准确率。
2025-04-11 cs.LG
FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning
University of Iowa(爱荷华大学);University of Virginia(弗吉尼亚大学);New York University(纽约大学);Arizona State University(亚利桑那州立大学)
本文提出FedPAE,一种完全去中心化的个性化联邦学习算法,通过点对点模型共享与集成选择支持模型异构和异步训练,在多样化客户端能力下优于现有方法并具有统计异构鲁棒性。
2024-10-17 cs.LG
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习容易受到各种攻击,如模型中毒和后门攻击,即使使用一些现有的防御策略。为了应对这一挑战,我们提出了一种攻击自适应聚合策略,以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制,学习联邦学习模型的脆弱性,从一组看似合理的攻击。据我们所知,我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中,我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Memory-adaptive Depth-wise Heterogeneous Federated Learning
针对联邦学习中异构设备内存差异限制模型规模与性能的问题,提出内存自适应深度学习方案FeDepth,按客户端内存预算分块顺序训练,在多个数据集上准确率显著优于现有方法。
2025-09-02 cs.LG
FedSiam: Towards Adaptive Federated Semi-Supervised Learning
USTC(中国科学技术大学);UESTC(电子科技大学);Purdue University(普渡大学);Penn State University(宾夕法尼亚州立大学);Georgia State University(佐治亚州立大学)
联邦学习(FL)已经成为一种有效的技术,可以在不实际共享数据和泄露隐私的情况下共同训练机器学习模型。然而,大多数现有的FL方法侧重于监督设置,忽略了未标记数据的利用。虽然有一些现有的研究试图将未标记的数据到FL,他们都不能保持性能保证或泛化能力,在各种现实世界的设置。在本文中,我们专注于设计一个通用框架FedSiam,以解决联邦半监督学习的不同场景,包括标签在客户端场景中的四个设置和标签在服务器场景中的两个设置。FedSiam是建立在一个到FL的连体网络上的,它有一个动量更新来处理未标记数据带来的非IID挑战。我们进一步提出了一个新的度量标准来衡量暹罗网络内的局部模型层的分歧。根据分歧,FedSiam可以自动选择图层级别的参数,以自适应的方式上传到服务器。在两种不同数据分布设置的场景下对三个数据集的实验结果表明,所提出的FedSiam框架优于最先进的基线。
2021-07-05 cs.LG
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Sichuan University(四川大学);The Hong Kong Polytechnic University(香港理工大学)
联邦学习(FL)作为一种新型的分布式学习范式,在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入,以提高FL的鲁棒性。其中,原始-对偶算法,如交替方向的方法乘数(ADMM)已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而,背后的原因仍然是一个谜。在本文中,我们首先揭示了一个事实,即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性,但它的普通版本缺乏适应客户机异构程度的能力。此外,在客户端采样的服务器端的全局模型是有偏的,这减缓了实际收敛。为了超越ADMM,我们提出了一种新的原始-对偶FL算法,称为FedVRA,它允许一个自适应控制方差减少水平和全局模型的偏差。此外,FedVRA统一了几种典型的FL算法,它们要么是FedVRA的特殊实例,要么是接近FedVRA的实例,并将FedVRA扩展到半/无监督学习。基于(半)监督图像分类任务的实验表明,FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
FedOrbit: Adaptive Personalized Federated Learning for Non-IID LEO Satellite Constellations
FedOrbit针对LEO卫星星座的Non-IID数据问题,结合多类技术提升联邦学习性能,在遥感基准上较基线有显著准确率提升且误差小。
2026-08-11 cs.LG
AMSFL: Adaptive Multi-Step Federated Learning via Gradient Difference-Based Error Modeling
College of Computer Science and Technology, Hainan University(计算机科学与技术学院,海南大学)
针对联邦学习中平衡通信效率与模型精度的挑战,提出轻量级梯度差异近似(GDA)方法,利用一阶信息估计局部误差趋势,作为AMSFL框架关键组件,为大规模多步自适应训练提供统一误差建模策略。
2025-05-27 cs.DC cs.LG
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning
IISER Bhopal(印度比哈尔州科学与技术研究院)
本文提出Q-LocalAdam,一种针对边缘联邦学习中非独立同分布数据和内存限制的自适应优化方法,通过分布感知的8位量化块线性编码和对数空间编码实现内存高效优化,显著提升模型性能和并发工作负载能力。
2026-11-18 cs.LG
Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance
University of Electronic Science and Technology of China(电子科技大学);Fudan University(复旦大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Meta AI;The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出首个采用独立采样过程的自适应客户端采样器 K-Vib,通过在线方差缩减提升联邦学习收敛速度,在通信预算内实现线性加速,实验显示其速度较基线算法提升一倍。
2024-08-31 cs.LG
FedPrism: Adaptive Personalized Federated Learning under Non-IID Data
IISER Bhopal(印度比哈尔州IISER布帕尔)
FedPrism通过Prism分解和双流设计,在非独立同分布数据下实现适应性个性化联邦学习,提升模型准确率与泛化能力。
2026-03-10 cs.LG
Efficient Adaptive Federated Optimization of Federated Learning for IoT
Beijing University of Posts and Telecommunications(北京邮电大学)
物联网(IoT)的激增和具有感测、计算和通信能力的设备的广泛使用已经激发了由人工智能授权的智能应用。经典的人工智能算法需要集中式数据汇集和处理,由于日益增长的数据隐私问题和分布式数据集,这在现实的智能物联网应用中具有挑战性。联邦学习(FL)已经成为一种分布式隐私保护学习框架,它使物联网设备能够通过共享模型参数来训练全局模型。然而,由于频繁的参数传输导致的低效率显著降低FL性能。现有的加速算法包括两种主要类型,包括考虑通信和计算之间的权衡的局部更新和考虑通信和精度之间的权衡的参数压缩。共同考虑这两个权衡和适应性平衡其对收敛的影响仍然没有得到解决。为解决这一问题,提出一种新的自适应联邦优化算法(EAFO),该算法通过联合考虑局部更新和参数压缩两个变量来最小化学习误差,使FL能够自适应地调整两个变量,并在计算、通信和精度之间取得平衡。实验结果表明,与现有算法相比,该算法能够在更短的时间内获得更高的精度。
2022-06-23 cs.AI cs.LG
Adaptive Latent-Space Constraints in Personalized Federated Learning
Vector Institute(向量研究所)
本研究探讨自适应MMD度量在个性化联邦学习中的应用,重点验证其在Ditto框架中的有效性,并证明该方法可推广至其他pFL技术,显著提升异质性数据下的模型性能。
2025-10-23 cs.LG
Channel-Adaptive Robust Aggregation for Over-the-Air Federated Learning in Heterogeneous Networks
IIIT, Delhi(德里印度理工学院);IIT Dharwad(达尔瓦德印度理工学院)
针对物联网等隐私保护、数据密集型应用需求,提出CHARGE-FL框架,基于信道动态和应用就绪情况自适应调度聚合,结合优化策略与预编码机制,提升无线条件下的精度、稳定性和收敛性。
2026-07-07 cs.LG
Adaptive Federated Optimization
Google Research(谷歌研究院)
联邦学习是一种分布式机器学习范例,其中大量客户端与中央服务器协调以学习模型,而无需共享它们自己的训练数据。标准的联邦优化方法(如Federated Averaging(FedAvg))通常很难调优,并表现出不利的收敛行为。在非联邦设置中,自适应优化方法在解决这些问题方面取得了显着的成功。在这项工作中,我们提出了联邦版本的自适应优化器,包括Adagrad,Adam和Yogi,并分析其收敛性在一般非凸设置的异构数据的存在。我们的研究结果突出了客户端的异质性和通信效率之间的相互作用。我们还对这些方法进行了大量的实验,并表明使用自适应优化器可以显着提高联邦学习的性能。
2021-09-08 cs.DC cs.LG math.OC
Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning
IBM Research - Almaden(IBM阿尔马登研究中心)
联邦学习(FL)是一种跨多方协作训练模型的方法,而无需在各方或聚合器之间共享数据。它既用于消费者领域,以保护个人数据,也用于企业环境,其中处理数据住所监管和数据孤岛的实用性是主要驱动力。虽然XGBoost等梯度提升树实现在许多用例中都非常成功,但由于使用加密和隐私方法,其联邦学习适应性往往非常缓慢,并且没有广泛使用。我们提出了用于联邦学习的Party-Adaptive XGBoost(PAX),这是一种新的梯度提升实现,它利用了一种Party-Adaptive直方图聚合方法,而不需要数据加密。它构造了数据分布的代理表示,用于查找决策树的分裂。我们的实验结果证明了强大的模型性能,特别是在非IID分布上,并且在不同数据集上的训练运行时间比现有的联邦实现要快得多。这种方法使得梯度提升树在企业联邦学习中的使用变得实用。
2020-12-11 cs.DC cs.LG
Communication-Efficient Federated Learning with Adaptive Number of Participants
本文提出智能参与者选择机制 ISP,动态确定联邦学习每轮最优客户端数量,在视觉 Transformer、ECG 分类和梯度压缩等设置下实现最高 30% 通信节省且不损失模型质量。
2025-09-23 cs.LG
FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning
Industrial Technology Research Institute(工业技术研究院);National Yang Ming Chiao Tung University(阳明交通大学)
联邦学习的目标是在不泄露隐私的情况下共享私有数据,以最大化数据效用。以往的联邦学习研究主要集中在多类分类问题上。然而,多标签分类是一个关键的研究问题,接近现实世界的数据属性。然而,有限数量的联邦学习研究探讨了这一研究问题。现有的多标签联邦学习研究没有考虑多标签数据的特点,即,他们使用多类分类的概念来验证他们的方法的性能,这意味着将他们的方法应用于实际应用是不可行的。因此,本研究提出了一种新的多标签联邦学习框架,该框架采用了一种基于标记的多标签数据分配(CMDA)和一种新的聚合方法--快速标签自适应聚合(FLAG),用于联邦学习环境中的多标签分类。实验结果表明,我们的方法只需要不到50\%的训练时期和通信轮,以超过最先进的联邦学习方法的性能。
2023-02-27 cs.AI cs.LG
FedLWS: Federated Learning with Adaptive Layer-wise Weight Shrinking
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);International Center of Future Science, Jilin University(吉林大学未来科学国际中心)
针对联邦学习中的全局权重收缩效应,提出自适应逐层权重收缩策略FedLWS,以逐层方式设计收缩因子,避免代理数据集优化,实验证明其优于现有方法。
2025-03-28 cs.LG
FedSparQ: Adaptive Sparse Quantization with Error Feedback for Robust & Efficient Federated Learning
University of Luxembourg, Luxembourg(卢森堡大学);Blikinge Institute of Technology, Sweden(比灵根技术学院);ADSLab, Umea University, Sweden(Umea大学)
FedSparQ提出一种自适应稀疏量化与误差反馈相结合的联邦学习压缩框架,无需手动调参即可在IID和非IID场景下减少90%通信量并提升模型精度与收敛鲁棒性。
2025-11-05 cs.LG
Adaptive Expert Models for Personalization in Federated Learning
Ericsson AB(爱立信公司);KTH Royal Institute of Technology(KTH皇家理工学院);RISE Research Institutes of Sweden(瑞典RISE研究院);AI Sweden(瑞典人工智能研究院);Chalmers University of Technology(查尔姆斯理工大学)
联邦学习(FL)是一种很有前途的分布式学习框架,适用于数据隐私和敏感的情况。然而,在这个框架中的最先进的解决方案是不是最佳的数据是异构的和非独立的和相同的分布(非IID)。我们提出了一个实用和强大的方法来适应异构和非IID数据的平衡探索和利用几个全球模型的个性化FL。为了实现我们的个性化目标,我们使用混合专家模型(MoE),它可以学习将彼此相似的客户分组,同时更有效地使用全局模型。我们表明,我们的方法实现了高达29.78%的准确性和高达4.38%的更好的局部模型相比,在病理非IID设置,即使我们调整我们的方法在IID设置。
2022-06-15 cs.LG
Resource-Adaptive Federated Text Generation with Differential Privacy
Oak Ridge National Laboratory(奥克伍德国家实验室)
本文提出了一种资源自适应的联邦文本生成框架,通过差分隐私机制和轻量级投票机制,提升在计算异质性和隐私保护下的分布对齐和下游任务鲁棒性。
2026-03-07 cs.LG
Adaptive Federated Learning and Digital Twin for Industrial Internet of Things
Northwestern Polytechnical University(西北工业大学);Xidian University(西安电子科技大学);University of Oslo(奥斯陆大学);Simula Metropolitan Center for Digital Engineering(西穆拉都会数字工程中心)
工业物联网(IoT)使分布式智能服务能够随动态和实时的工业设备而变化,以实现工业4.0的好处。在本文中,我们考虑了一种新的数字孪生授权工业物联网架构,其中数字孪生捕获工业设备的特征,以协助联邦学习。针对数字孪生可能导致设备状态估计值偏离实际值的问题,在联邦学习中提出了一种基于可信聚合的方法来缓解这种偏差的影响。本文基于李雅普诺夫动态亏损队列和深度强化学习自适应调整联邦学习的聚合频率,以提高资源约束下的学习性能。为进一步适应工业物联网的异构性,提出了一种基于聚类的异步联邦学习框架。数值结果表明,该框架是优于基准的学习精度,收敛性和节能。
2020-11-01 cs.DC cs.LG
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
本文提出AdaptiveFL方法,通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制,为异构AIoT设备动态分配合适的局部模型,在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
FedALA: Adaptive Local Aggregation for Personalized Federated Learning
Shanghai Jiao Tong University(上海交通大学);Louisiana State University(路易斯安那州立大学)
本文提出 FedALA 方法,通过自适应局部聚合模块在每轮训练前按客户端局部目标融合全局与局部模型,以缓解联邦学习中的统计异质性问题,并在多个基准上取得显著准确率提升。
2023-09-17 cs.AI cs.LG
FedDuA: Doubly Adaptive Federated Learning
LY Corporation(LY公司)
针对联邦学习中FedAvg收敛慢的问题,提出基于镜像下降的双自适应框架FedDuA,自适应选择全局学习率,证明其极小极大最优性,实验显示其性能优于基线且鲁棒性强,无额外客户端开销。
2025-05-16 cs.LG stat.ML
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies(HCL科技公司)
联邦学习(FL)是一种新兴技术,用于协作训练全局机器学习模型,同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同(非IID)数据分布,这会减慢收敛速度并降低性能。为了解决这个根本问题,我们提出了一种方法(ComFed),它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明,ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning
School of Computer Science, Fudan University(复旦大学计算机科学学院);Tandon School of Engineering, New York University(纽约大学坦登工程学院)
针对联邦学习客户端优化中加速与稳定性难以兼顾的问题,提出FedCAda,通过客户端Adam矩估计自适应修正和服务器端参数聚合,在CV与NLP任务上实现更优收敛、稳定性和整体性能。
2024-05-20 cs.DC cs.LG
Byzantine-Robust Federated Machine Learning through Adaptive Model Averaging
Imperial College London(帝国理工学院)
联合学习能够在许多参与者的情况下大规模训练协作机器学习模型,同时保护其数据集的隐私。标准的联邦学习技术容易受到拜占庭式故障、有偏见的本地数据集和中毒攻击的影响。在本文中,我们介绍了自适应联邦平均,一种新的算法,强大的联邦学习,旨在检测故障,攻击和不良更新的参与者提供的协作模型。我们提出了一个隐马尔可夫模型来建模和学习每个参与者在训练过程中提供的模型更新的质量。与现有的强大的联邦学习计划相比,我们提出了一个强大的聚合规则,在每次训练迭代中检测和丢弃坏的或恶意的局部模型更新。这包括阻止不需要的参与者的机制,这也提高了计算和通信效率。我们在4个真实数据集上的实验评估表明,我们的算法对错误,噪声和恶意参与者的鲁棒性明显更强,同时比其他最先进的强大联邦学习方法(如Multi-KRUM和坐标中值)在计算上更有效。
2019-09-11 cs.DC cs.LG stat.ML
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise
East China Normal University(华东师范大学)
联邦学习试图通过让客户只公开他们的本地训练模型来解决孤立数据岛的问题。然而,研究表明,通过分析局部模型参数,如深度神经网络模型权重,仍然可以推断出私人信息。近年来,差分隐私被应用于联邦学习中以保护数据隐私,但加入的噪声可能会大大降低学习性能。通常情况下,在以前的工作中,训练参数被同等地裁剪,噪声被均匀地添加。没有考虑训练参数的异质性和收敛性。在本文中,我们提出了一个差分隐私的联邦学习方案与自适应噪声(Adap DP-FL)。具体来说,由于梯度的异质性,我们进行自适应梯度裁剪为不同的客户端和不同的回合;由于梯度收敛,我们添加相应的减少噪音。在真实数据集上的大量实验表明,我们的Adap DP-FL显著优于以前的方法。
2022-11-29 cs.CR cs.DC cs.LG
Adaptive Federated Learning via Dynamical System Model
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对异构联邦学习中超参数调优成本高、收敛难的问题,提出将联邦学习建模为动力系统的自适应方法,通过单个全局超参数动态调控客户端与服务器的学习率和动量,实现更优收敛且无需繁琐调参。
2025-10-05 cs.LG cs.SY eess.SY
Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters
Intel Corporation(英特尔公司)
联邦学习是一种分布式的、隐私感知的学习场景,它在属于多个客户端的数据上训练单个模型。每个客户端在其数据上训练本地模型,然后由中央方聚合本地模型。当前的联邦学习方法在异构客户端数据分布的情况下会遇到困难,这会很快导致不同的本地模型和性能崩溃。在这些情况下,仔细的超参数调整特别重要,但传统的自动超参数调整方法需要多次训练试验,这在联邦学习设置中通常是不切实际的。我们描述了一个双管齐下的解决方案,在联邦学习设置的鲁棒性和超参数调整的问题。我们提出了一种新的表示匹配方案,通过确保全局(聚合)模型中的特征表示可以从本地学习的表示中导出,来减少局部模型的发散。我们还提出了一个在线超参数调整方案,该方案使用在线版本的REINFORCE算法来找到一个超参数分布,使训练损失的预期改善最大化。我们在几个基准测试中表明,我们的局部表示匹配和全局自适应超参数的两部分方案显着提高了性能和训练鲁棒性。
2019-12-30 cs.LG stat.ML
Federated learning over physical channels: adaptive algorithms with near-optimal guarantees
Department of Electrical Engineering, SUNY University at Buffalo(电气工程系,布法罗大学)
针对联邦学习的通信成本问题,提出可在物理信道实现、兼顾信道噪声与硬件约束的自适应联邦SGD算法,证明其具备自适应于梯度噪声水平的收敛速率,并通过仿真验证了实际有效性。
2025-09-02 cs.IT cs.LG eess.SP
Locally Adaptive Federated Learning
Saarland University(萨尔大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Johns Hopkins University(约翰斯·霍普金斯大学)
针对标准联邦优化方法因统一局部步长收敛慢的问题,提出利用各客户端局部几何信息的局部自适应联邦学习算法,经理论分析与实验验证,其在非凸场景下性能优于现有方法且泛化性更优。
2024-05-14 cs.LG math.OC stat.ML
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank(微众银行);HKUST(香港科技大学)
垂直联邦学习(VFL)允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中,私有特征和标签泄漏问题引起了广泛的研究关注。在本文中,我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass,它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力(定理1和定理2)。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性,因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Fast-Convergent Federated Learning with Adaptive Weighting
York University(约克大学)
联邦学习(FL)使资源受限的边缘节点能够在中央服务器的编排下协作学习全局模型,同时将隐私敏感数据保存在本地。跨参与节点的非独立同分布(非IID)数据样本会减慢模型训练,并为FL收敛施加额外的通信轮次。在本文中,我们提出了联邦自适应加权(FedAdp)算法,旨在加速模型的收敛下存在的节点与非IID数据集。通过理论和实证分析,我们观察到节点对全局模型聚合的贡献与局部节点上的数据分布之间的隐含联系。然后,我们建议通过每一轮训练,根据节点贡献自适应地分配不同的权重来更新全局模型。首先通过局部梯度向量与全局梯度向量之间的夹角来衡量参与节点的贡献,然后通过设计的非线性映射函数来量化权重。该策略简单而有效,能够动态地增强(抑制)节点的正贡献,从而大幅减少通信轮数。理论和实验都证明了它优于通常采用的联邦平均法(Federated Averaging,FedAvg)。通过在Pytorch和PySyft中进行的大量实验,我们表明,与FedAvg算法相比,使用FedAdp的FL训练可以在MNIST数据集上减少高达54.1%的通信轮数,在FashionMNIST数据集上减少高达45.4%的通信轮数。
2021-04-06 cs.AI cs.LG
Adaptive Personalized Federated Learning
The Pennsylvania State University(宾夕法尼亚州立大学)
对联邦学习算法中个性化程度的研究表明,只有最大化全局模型的性能才能限制局部模型的个性化能力。在本文中,我们提倡一种自适应个性化联邦学习(APFL)算法,每个客户端将训练他们的本地模型,同时有助于全球模型。我们推导了局部和全局模型混合的推广界,并找到了最佳的混合参数。我们还提出了一种通信效率的优化方法来协同学习个性化模型,并分析其收敛性在光滑强凸和非凸设置。大量的实验证明了我们的个性化模式的有效性,以及建立泛化理论的正确性。
2020-11-06 cs.DC cs.LG stat.ML
AdaFed: Fair Federated Learning via Adaptive Common Descent Direction
University of Waterloo(滑铁卢大学)
本文提出AdaFed方法,通过基于本地梯度和损失值自适应调整服务器的公共下降方向,确保所有客户端损失下降且较大损失客户端下降更快,有效解决联邦学习中的模型不公平问题。
2024-01-10 cs.AI cs.LG
Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning
Fudan University(复旦大学)
针对联邦学习全参数训练成本高的问题,提出基于CLIP的联邦自适应提示调优算法FedAPT,通过自适应模块生成个性化提示,以不足全模型10%的参数在多域图像分类任务中取得更优性能。
2024-03-12 cs.CV cs.LG
SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning
Hong Kong Polytechnic University(香港理工大学);University of California, Merced(加州大学梅尔德分校);The University of Hong Kong(香港大学)
本文提出SplitFT系统,通过自适应设置切层和降低LoRA秩来提升联邦分裂学习在大语言模型微调中的效率与性能,实验表明其在多个基准测试中表现优异。
2026-04-29 cs.DC cs.LG
FedLion: Faster Adaptive Federated Optimization with Fewer Communication
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳市大数据研究院)
提出自适应联邦优化算法FedLion,将Lion关键元素融入FL框架,通过符号梯度减少通信开销,在收敛速度和性能上超越现有自适应算法。
2024-02-15 cs.AI cs.LG stat.ML
Learning to Invert: Simple Adaptive Attacks for Gradient Inversion in Federated Learning
Meta AI;Cornell University(康奈尔大学)
针对联邦学习中现有梯度压缩等防御被认为能有效抵御梯度反演攻击的结论,本文提出一种基于辅助数据训练模型的简单自适应攻击,可攻破视觉与语言任务下的现有防御,揭示被低估的隐私风险。
2023-06-09 cs.CR cs.LG
FedAPA: Server-side Gradient-Based Adaptive Personalized Aggregation for Federated Learning on Heterogeneous Data
College of Information Science and Technology, Jinan University(暨南大学信息科学技术学院);College of Information and Computational Science, Jilin University(吉林大学信息与计算科学学院);University of Toronto(多伦多大学);The Hong Kong Polytechnic University(香港理工大学)
针对异构数据下个性化联邦学习的准确率、计算与通信挑战,提出FedAPA,在服务器端基于客户端参数变化对聚合权重的梯度自适应更新权重,兼具理论收敛保证与优异性能。
2025-02-15 cs.CV cs.LG
ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations
East China Normal University(华东师范大学);Shanghai Key Laboratory of Trustworthy Computing(上海市可信计算重点实验室)
针对资源受限的联邦学习,提出ALI-DPFL算法,通过理论分析确定最优本地迭代次数,在MNIST等数据集上显著优于现有方法。
2024-05-22 cs.CR cs.LG
FLAME: Adaptive and Reactive Concept Drift Mitigation for Federated Learning Deployments
Digital Catapult(数字 Catapult);University of Bristol(布里斯托尔大学);Toshiba Europe Ltd.(东芝欧洲有限公司)
针对联邦学习物联网环境中的概念漂移挑战,提出新型方案FLAME,依托联邦学习架构贴合真实流水线,在带宽与隐私约束下维持模型性能,显著降低计算与通信开销,在大规模IoT部署中F1分数与资源利用率表现优于现有轻量级方法。
2024-10-07 cs.AI cs.LG