Toward Communication Efficient Adaptive Gradient Method
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
近年来,分布式优化被证明是加速诸如深度神经网络之类的大规模机器学习模型的训练的有效方法。随着GPU计算能力的提高,分布式训练中训练速度的瓶颈逐渐从计算转移到通信。与此同时,为了在移动设备上训练机器学习模型,一种名为"联邦学习“的新分布式训练范式已经流行起来。由于移动设备的低带宽,联邦学习中的通信时间尤为重要。虽然已经提出了各种提高联邦学习通信效率的方法,但大多数方法都是以SGD为原型训练算法设计的。虽然自适应梯度方法已被证明是有效的训练神经网络,自适应梯度方法在联邦学习的研究是稀缺的。在本文中,我们提出了一种自适应梯度方法,可以保证收敛性和通信效率的联邦学习。
2021-09-10 cs.DC cs.LG stat.ML
AMSFL: Adaptive Multi-Step Federated Learning via Gradient Difference-Based Error Modeling
College of Computer Science and Technology, Hainan University(计算机科学与技术学院,海南大学)
针对联邦学习中平衡通信效率与模型精度的挑战,提出轻量级梯度差异近似(GDA)方法,利用一阶信息估计局部误差趋势,作为AMSFL框架关键组件,为大规模多步自适应训练提供统一误差建模策略。
2025-05-27 cs.DC cs.LG
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup
University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学)
针对联邦学习中自适应优化器的低效问题,提出基于动量的局部自适应修正优化器FedLADA,通过纠正局部偏移缓解异构过拟合,在非凸部分参与设置下实现线性加速收敛,并显著减少通信轮次与提升准确率。
2023-07-30 cs.DC cs.LG math.OC
Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning
IBM Research - Almaden(IBM阿尔马登研究中心)
联邦学习(FL)是一种跨多方协作训练模型的方法,而无需在各方或聚合器之间共享数据。它既用于消费者领域,以保护个人数据,也用于企业环境,其中处理数据住所监管和数据孤岛的实用性是主要驱动力。虽然XGBoost等梯度提升树实现在许多用例中都非常成功,但由于使用加密和隐私方法,其联邦学习适应性往往非常缓慢,并且没有广泛使用。我们提出了用于联邦学习的Party-Adaptive XGBoost(PAX),这是一种新的梯度提升实现,它利用了一种Party-Adaptive直方图聚合方法,而不需要数据加密。它构造了数据分布的代理表示,用于查找决策树的分裂。我们的实验结果证明了强大的模型性能,特别是在非IID分布上,并且在不同数据集上的训练运行时间比现有的联邦实现要快得多。这种方法使得梯度提升树在企业联邦学习中的使用变得实用。
2020-12-11 cs.DC cs.LG
Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning
Carnegie Mellon University(卡内基梅隆大学);Weizmann Institute of Science(魏茨曼科学研究所)
客户端节点和中央聚合服务器之间的模型更新通信是联邦学习的主要瓶颈,特别是在带宽有限的设置和高维模型中。梯度量化是减少传送每个模型更新所需的比特数的有效方式,尽管代价是由于随机梯度的较高方差而具有较高的错误平层。在这项工作中,我们提出了一种自适应量化策略,称为AdaQuantFL,旨在实现通信效率,以及通过在训练过程中改变量化级别的数量低的错误地板。训练深度神经网络的实验表明,与固定量化级别设置相比,我们的方法可以在更少的通信比特中收敛,对训练和测试精度几乎没有影响。
2021-02-08 cs.DC cs.LG stat.ML
Efficient Adaptive Federated Optimization
Department of Statistics University of Chicago(芝加哥大学统计系);Department of Computer Science Columbia University(哥伦比亚大学计算机科学系);Google DeepMind(谷歌DeepMind);Department of Computer Science University of Chicago(芝加哥大学计算机科学系)
本文提出高效自适应联邦优化算法$FedAda^2$及其增强版$FedAda^2$++,通过避免传输预条件器和内存高效优化器,在保持收敛率的同时降低通信和内存开销,并在图像和文本数据集上验证了有效性。
2025-10-25 cs.DC cs.LG math.OC
Adaptive Federated Learning and Digital Twin for Industrial Internet of Things
Northwestern Polytechnical University(西北工业大学);Xidian University(西安电子科技大学);University of Oslo(奥斯陆大学);Simula Metropolitan Center for Digital Engineering(西穆拉都会数字工程中心)
工业物联网(IoT)使分布式智能服务能够随动态和实时的工业设备而变化,以实现工业4.0的好处。在本文中,我们考虑了一种新的数字孪生授权工业物联网架构,其中数字孪生捕获工业设备的特征,以协助联邦学习。针对数字孪生可能导致设备状态估计值偏离实际值的问题,在联邦学习中提出了一种基于可信聚合的方法来缓解这种偏差的影响。本文基于李雅普诺夫动态亏损队列和深度强化学习自适应调整联邦学习的聚合频率,以提高资源约束下的学习性能。为进一步适应工业物联网的异构性,提出了一种基于聚类的异步联邦学习框架。数值结果表明,该框架是优于基准的学习精度,收敛性和节能。
2020-11-01 cs.DC cs.LG
Local Adaptivity in Federated Learning: Convergence and Consistency
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
联邦学习(FL)框架通过周期性地聚合本地训练的模型,使用存储在边缘客户端设备处的分散数据来训练机器学习模型。FL的流行优化算法使用香草(随机)梯度下降用于客户端的本地更新和聚合服务器的全局更新。最近,已经研究了用于服务器更新的自适应优化方法,例如AdaGrad。然而,在客户端使用自适应优化方法进行本地更新的效果还不清楚。我们在理论和实践中表明,虽然局部自适应方法可以加速收敛,但它们可能会导致非零的解决方案偏差,最终收敛的解决方案可能不同于全局目标函数的稳定点。我们提出了纠正技术,以克服这种不一致性,并补充FL的局部自适应方法。对现实的联邦训练任务的广泛实验表明,所提出的算法可以实现更快的收敛速度和更高的测试精度比基线没有局部自适应。
2021-06-04 cs.DC cs.LG stat.ML
Adaptive Federated Learning with Auto-Tuned Clients
Rice University(莱斯大学)
本文提出Δ-SGD步长规则,使联邦学习中各客户端能根据局部平滑度自动调整自身步长,从而解决客户端超参数调优难题,并通过理论与实验验证了其优势。
2024-05-02 cs.DC cs.LG math.OC
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise
East China Normal University(华东师范大学)
联邦学习试图通过让客户只公开他们的本地训练模型来解决孤立数据岛的问题。然而,研究表明,通过分析局部模型参数,如深度神经网络模型权重,仍然可以推断出私人信息。近年来,差分隐私被应用于联邦学习中以保护数据隐私,但加入的噪声可能会大大降低学习性能。通常情况下,在以前的工作中,训练参数被同等地裁剪,噪声被均匀地添加。没有考虑训练参数的异质性和收敛性。在本文中,我们提出了一个差分隐私的联邦学习方案与自适应噪声(Adap DP-FL)。具体来说,由于梯度的异质性,我们进行自适应梯度裁剪为不同的客户端和不同的回合;由于梯度收敛,我们添加相应的减少噪音。在真实数据集上的大量实验表明,我们的Adap DP-FL显著优于以前的方法。
2022-11-29 cs.CR cs.DC cs.LG
Energy-Efficient Quantized Federated Learning for Resource-constrained IoT devices
2 CentraleSup\'elec, University of Paris-Saclay, France Email
本文提出一种面向资源受限IoT设备的联邦学习框架,集成有限块长传输、模型量化与错误感知聚合机制,并优化上行功率,实现高达75%的能耗降低且保持模型准确率。
2025-09-16 cs.DC cs.LG
Federated learning over physical channels: adaptive algorithms with near-optimal guarantees
Department of Electrical Engineering, SUNY University at Buffalo(电气工程系,布法罗大学)
针对联邦学习的通信成本问题,提出可在物理信道实现、兼顾信道噪声与硬件约束的自适应联邦SGD算法,证明其具备自适应于梯度噪声水平的收敛速率,并通过仿真验证了实际有效性。
2025-09-02 cs.IT cs.LG eess.SP
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
本文提出AdaptiveFL方法,通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制,为异构AIoT设备动态分配合适的局部模型,在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
FedDuA: Doubly Adaptive Federated Learning
LY Corporation(LY公司)
针对联邦学习中FedAvg收敛慢的问题,提出基于镜像下降的双自适应框架FedDuA,自适应选择全局学习率,证明其极小极大最优性,实验显示其性能优于基线且鲁棒性强,无额外客户端开销。
2025-05-16 cs.LG stat.ML
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies(HCL科技公司)
联邦学习(FL)是一种新兴技术,用于协作训练全局机器学习模型,同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同(非IID)数据分布,这会减慢收敛速度并降低性能。为了解决这个根本问题,我们提出了一种方法(ComFed),它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明,ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning
School of Computer Science, Fudan University(复旦大学计算机科学学院);Tandon School of Engineering, New York University(纽约大学坦登工程学院)
针对联邦学习客户端优化中加速与稳定性难以兼顾的问题,提出FedCAda,通过客户端Adam矩估计自适应修正和服务器端参数聚合,在CV与NLP任务上实现更优收敛、稳定性和整体性能。
2024-05-20 cs.DC cs.LG
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank(微众银行);HKUST(香港科技大学)
垂直联邦学习(VFL)允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中,私有特征和标签泄漏问题引起了广泛的研究关注。在本文中,我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass,它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力(定理1和定理2)。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性,因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Resource-Constrained Federated Learning with Heterogeneous Labels and Models
Global AI Accelerator, Ericsson(爱立信全球人工智能加速器);Indian Institute of Technology, Madras(马德拉斯印度理工学院);Ericsson Research(爱立信研究院)
各种物联网应用需要资源受限的机器学习机制,用于不同的应用,如普及医疗保健,活动监控,语音识别,实时计算机视觉等。联邦学习被证明是分布式和协作式机器学习的一个非常可行的选择。特别是,设备上的联邦学习是一个活跃的研究领域,然而,在解决统计(非IID数据)和模型异质性方面存在各种挑战。此外,在本文中,我们探讨了一个新的挑战的兴趣-处理标签异质性在联邦学习。为此,我们提出了一个框架,简单的$α$加权联邦聚合的分数,利用重叠的信息增益标签,同时节省带宽成本的过程中。对Animals-10数据集(具有4个标签以有效阐明结果)的经验评价表明,平均确定性准确度至少增加约16.7%。我们还通过在Raspberry Pi 2(单板计算平台)上进行不同迭代的联邦学习和推理实验,展示了我们提出的框架的设备上功能。
2020-11-06 cs.DC cs.LG cs.NI
Accelerated Federated Learning with Decoupled Adaptive Optimization
Auburn University(奥本大学);Sony AI(索尼人工智能);Baidu Research(百度研究院);University of Oregon(俄勒冈大学)
联邦学习(FL)框架使边缘客户端能够协作学习共享的推理模型,同时保持客户端上训练数据的隐私。近年来,已有许多学者致力于推广集中式自适应优化方法,如SGDM、Adam、AdaGrad等,用于改进收敛性和准确性的联合设置。然而,在联邦环境中,关于在哪里以及如何设计和利用自适应优化方法的理论原则仍然缺乏。本文从常微分方程动力学的角度出发,提出了一种新的FL自适应优化方法。首先,建立一个分析框架来建立联邦优化方法与相应集中式优化器的ODE分解之间的联系。其次,基于这个分析框架,动量解耦自适应优化方法,FedDA,充分利用全局动量的每一个局部迭代,加快训练收敛。最后,在训练过程的最后,利用整批梯度来模拟集中式优化,以确保收敛性并克服自适应优化方法可能导致的不一致性。
2022-07-14 cs.LG
FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging
University of Pittsburgh(匹兹堡大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
联邦学习(Federated learning,FL)是一种新兴的处理大规模分布式数据的学习范式。在联邦学习中,一组客户端在服务器的协调下联合执行机器学习任务。FedAvg算法是解决联邦学习问题最广泛使用的方法之一。在FedAvg中,学习率是一个常数,而不是自适应地变化。自适应梯度方法表现出优越的性能超过恒定的学习率调度,但是,仍然没有一个通用的框架,将自适应梯度方法纳入联邦设置。在本文中,我们提出了\textbf{FedDA},一个新的框架,局部自适应梯度方法。该框架采用了重新启动的双平均技术,具有灵活的各种梯度估计方法和自适应学习率公式。特别是,我们分析\textbf{FedDA-MVR},我们的框架的实例,并表明,它实现梯度复杂性$\tilde{O}(ε^{-1.5})$和通信复杂性$\tilde{O}(ε^{-1})$找到一个固定点$ε$。这与一阶FL算法的最佳已知速率相匹配,并且\textbf{FedDA-MVR}是实现该速率的第一个自适应FL算法。我们还进行了大量的数值实验,以验证我们的方法的有效性。
2023-02-13 cs.DC cs.LG math.OC
Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters
Intel Corporation(英特尔公司)
联邦学习是一种分布式的、隐私感知的学习场景,它在属于多个客户端的数据上训练单个模型。每个客户端在其数据上训练本地模型,然后由中央方聚合本地模型。当前的联邦学习方法在异构客户端数据分布的情况下会遇到困难,这会很快导致不同的本地模型和性能崩溃。在这些情况下,仔细的超参数调整特别重要,但传统的自动超参数调整方法需要多次训练试验,这在联邦学习设置中通常是不切实际的。我们描述了一个双管齐下的解决方案,在联邦学习设置的鲁棒性和超参数调整的问题。我们提出了一种新的表示匹配方案,通过确保全局(聚合)模型中的特征表示可以从本地学习的表示中导出,来减少局部模型的发散。我们还提出了一个在线超参数调整方案,该方案使用在线版本的REINFORCE算法来找到一个超参数分布,使训练损失的预期改善最大化。我们在几个基准测试中表明,我们的局部表示匹配和全局自适应超参数的两部分方案显着提高了性能和训练鲁棒性。
2019-12-30 cs.LG stat.ML
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习容易受到各种攻击,如模型中毒和后门攻击,即使使用一些现有的防御策略。为了应对这一挑战,我们提出了一种攻击自适应聚合策略,以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制,学习联邦学习模型的脆弱性,从一组看似合理的攻击。据我们所知,我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中,我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Federated Learning in IoT: a Survey from a Resource-Constrained Perspective
本文从客户端和服务器双视角综述资源受限物联网环境下联邦学习的部署挑战与对应方案,按应用位置分类并评估效果,同时提出新的评估指标以支撑相关研究。
2023-08-25 cs.DC cs.LG
FEDBUD: Joint Incentive and Privacy Optimization for Resource-Constrained Federated Learning
School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院)
本文提出FEDBUD系统,通过联合考虑数据量和噪声水平对激励策略的影响,解决联邦学习中隐私保护与激励策略设计的难题。
2026-04-12 cs.DC cs.LG
Sample-based and Feature-based Federated Learning for Unconstrained and Constrained Nonconvex Optimization via Mini-batch SSCA
Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)已经成为一个热门的研究领域,在多个客户端之间的机器学习模型的协同训练,持有敏感的本地数据。然而,无约束联邦优化的研究主要是使用随机梯度下降(SGD),它可能收敛缓慢,和约束联邦优化,这是更具挑战性的,迄今尚未研究。本文分别研究了基于样本和基于特征的联邦优化问题,并分别考虑了无约束和有约束非凸问题。首先,我们提出FL算法使用随机逐次凸逼近(SSCA)和小批量技术。这些算法可以充分利用目标函数和约束函数的结构,并逐步利用样本。我们证明了所提出的FL算法分别收敛于无约束和有约束非凸问题的稳定点和Karush-Kuhn-Tucker(KKT)点。接下来,我们提供具有吸引人的计算复杂性和每通信轮的通信负载的算法示例。我们表明,所提出的算法的例子无约束联邦优化是相同的FL算法通过动量SGD和SSCA和动量SGD之间提供了一个分析连接。最后,数值实验表明,所提出的算法在收敛速度,通信和计算成本,和模型规格的固有优势。
2022-07-04 cs.LG
FedLion: Faster Adaptive Federated Optimization with Fewer Communication
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳市大数据研究院)
提出自适应联邦优化算法FedLion,将Lion关键元素融入FL框架,通过符号梯度减少通信开销,在收敛速度和性能上超越现有自适应算法。
2024-02-15 cs.AI cs.LG stat.ML
Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving
The University of Hong Kong(香港大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Damo Institute, Alibaba(阿里巴巴达摩院);the University of New South Wales(新南威尔士大学)
针对端到端自动驾驶中通信资源受限的分层联邦学习问题,提出CRCHFL框架,利用混合数据与模型聚合最小化泛化误差,并在CARLA中验证其更快收敛与更优性能。
2023-06-28 cs.DC cs.LG cs.RO
FedZKT: Zero-Shot Knowledge Transfer towards Resource-Constrained Federated Learning with Heterogeneous On-Device Models
Michigan Technological University(密歇根理工大学);University of Florida(佛罗里达大学)
联邦学习使多个分布式设备能够协作学习共享的预测模型,而无需集中其设备上的数据。大多数当前的算法需要具有相同结构和大小的设备上模型的本地训练的可比的个人努力,然而,这阻碍了资源受限的设备的参与。鉴于当今广泛而异构的设备,在本文中,我们提出了一个创新的联邦学习框架,通过Zero-shot知识转移,命名为FedZKT的异构设备上的模型。具体来说,FedZKT允许设备根据其本地资源独立确定设备上的模型。为了在这些异构的设备上模型之间实现知识转移,设计了一种zero-shot蒸馏方法,而不需要任何私有设备上数据的先决条件,这与基于公共数据集或预训练数据生成器的某些现有研究相反。此外,这种计算密集型的蒸馏任务被分配给服务器,以允许资源受限的设备参与,其中生成器通过收集的设备上模型的集合来对抗学习。然后,将提取的中心知识以相应的设备上模型参数的形式发送回来,这些参数可以很容易地在设备侧被吸收。大量的实验研究证明了FedZKT对设备上知识不可知、设备上模型异构和其他具有挑战性的联邦学习场景(如异构设备上数据和离散效应)的有效性和鲁棒性。
2022-04-05 cs.LG stat.ML
Differentially Private Federated Learning for Resource-Constrained Internet of Things
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Air Force Research Laboratory(空军研究实验室)
随着物联网(IoT)时代具有内置传感器、互联网连接和可编程计算能力的智能设备的激增,在网络边缘产生了大量数据。联邦学习能够分析来自一组分布式智能设备的大量数据,而无需将数据上传到中心位置。然而,常用的联邦学习算法是基于随机梯度下降(SGD)的,并且由于其高通信资源要求而不适合于资源受限的IoT环境。此外,智能设备上敏感数据的隐私已成为一个关键问题,需要严格保护。本文提出了一种新的联邦学习框架DP-PASGD,用于从物联网中资源受限的智能设备存储的数据中有效地训练机器学习模型,同时保证差分隐私。将DP-PASGD的最优方案设计转化为一个优化问题,在满足资源代价和隐私损失限制的前提下,最大化学习性能,并基于DP-PASGD的收敛性分析,提出了一种近似求解方法,有效地解决了该优化问题.基于真实数据集的数值结果验证了DP-PASGD格式的有效性。
2020-03-28 cs.CR cs.LG stat.ML
Efficient Adaptive Federated Optimization of Federated Learning for IoT
Beijing University of Posts and Telecommunications(北京邮电大学)
物联网(IoT)的激增和具有感测、计算和通信能力的设备的广泛使用已经激发了由人工智能授权的智能应用。经典的人工智能算法需要集中式数据汇集和处理,由于日益增长的数据隐私问题和分布式数据集,这在现实的智能物联网应用中具有挑战性。联邦学习(FL)已经成为一种分布式隐私保护学习框架,它使物联网设备能够通过共享模型参数来训练全局模型。然而,由于频繁的参数传输导致的低效率显著降低FL性能。现有的加速算法包括两种主要类型,包括考虑通信和计算之间的权衡的局部更新和考虑通信和精度之间的权衡的参数压缩。共同考虑这两个权衡和适应性平衡其对收敛的影响仍然没有得到解决。为解决这一问题,提出一种新的自适应联邦优化算法(EAFO),该算法通过联合考虑局部更新和参数压缩两个变量来最小化学习误差,使FL能够自适应地调整两个变量,并在计算、通信和精度之间取得平衡。实验结果表明,与现有算法相比,该算法能够在更短的时间内获得更高的精度。
2022-06-23 cs.AI cs.LG
Federated Learning on Adaptively Weighted Nodes by Bilevel Optimization
University of Iowa(爱荷华大学);University of Virginia(弗吉尼亚大学)
我们提出了一种带有加权节点的联邦学习方法,其中可以修改权重以优化模型在单独验证集上的性能。该问题被制定为一个双层优化,其中内部问题是一个带有加权节点的联邦学习问题,外部问题的重点是根据内部问题返回的模型的验证性能来优化权重。设计了一种通信效率高的联邦优化算法来解决这个双层优化问题。在误差约束的假设下,我们分析了输出模型的泛化性能,并确定了我们的方法在理论上优于仅在本地训练模型和具有静态和均匀分布权重的联邦学习的情况。
2022-10-07 cs.LG
FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
在经典的联邦学习中,客户端通过将其私有数据上的底层模型的本地更新传达给协调服务器来对整体训练做出贡献。然而,当资源受限的客户端共同旨在训练大型机器学习模型时,更新和通信整个模型变得极其昂贵。在这种情况下,分裂学习提供了一种自然的解决方案,其中只有一小部分模型在客户端存储和训练,而其余大部分模型仅停留在服务器上。然而,分裂学习中采用的模型划分引入了大量的通信成本。本文解决了这个问题,通过压缩额外的通信使用一种新的聚类方案伴随着梯度校正方法。对图像和文本基准测试的大量经验评估表明,该方法可以实现高达$490\times$的通信成本降低,精度下降最小,并实现理想的性能与通信权衡。
2022-02-16 cs.DC cs.LG
Learning-Based Client Selection for Federated Learning Services Over Wireless Networks with Constrained Monetary Budgets
Xiamen University(厦门大学);Western University(韦仕敦大学)
我们研究了无线网络中多个联邦学习(FL)服务的数据质量感知的动态客户端选择问题,每个客户端提供动态数据集用于同时训练多个FL服务,每个FL服务需求者必须在有限的货币预算下为客户端支付费用。该问题被形式化为一个非合作马尔可夫博弈的训练轮。提出了一种基于多智能体混合深度强化学习的算法,在避免动作冲突的同时,优化联合客户选择和支付动作。仿真结果表明,我们提出的算法可以显着提高训练性能。
2022-12-26 cs.AI cs.LG
SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning
Hong Kong Polytechnic University(香港理工大学);University of California, Merced(加州大学梅尔德分校);The University of Hong Kong(香港大学)
本文提出SplitFT系统,通过自适应设置切层和降低LoRA秩来提升联邦分裂学习在大语言模型微调中的效率与性能,实验表明其在多个基准测试中表现优异。
2026-04-29 cs.DC cs.LG
Federated Learning in Unreliable and Resource-Constrained Cellular Wireless Networks
University of Manitoba(曼尼托巴大学)
随着智能设备数量的增长及其硬件的进步,近年来,数据驱动的机器学习技术引起了人们的极大关注。但是,由于隐私和通信问题,无法在集中位置收集这些数据。联邦学习是一种机器学习设置,其中集中位置通过远程设备训练学习模型。除非考虑到无线介质的不可靠和资源受限性质,否则无法在现实世界场景中采用联邦学习算法。在本文中,我们提出了一个联邦学习算法,适用于蜂窝无线网络。我们证明了它的收敛性,并提供了最佳的调度策略,最大限度地提高收敛速度。我们还研究了局部计算步骤和通信步骤对算法收敛性的影响。我们证明,在实践中,联邦学习算法可以解决一个不同的问题,他们已经被雇用的,如果无线信道的不可靠性被忽略。最后,通过在真实数据集和合成数据集上的大量实验,我们证明了我们所提出的算法的收敛性。
2020-12-09 cs.LG cs.NI
Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices
ShanghaiTech University(上海科技大学);LG Electronics(乐金电子);The University of Hong Kong(香港大学)
联邦学习(FL)是一种流行的框架,用于在无线网络中使用分布式移动数据来训练AI模型。它通过将学习任务分配给多个边缘设备,同时试图保护其本地数据隐私,从而实现数据并行。实际FL面临的一个主要挑战是资源受限设备与更新深度神经网络模型的计算密集型任务作斗争。为了解决这一问题,本文在经典的随机模型剪枝丢弃方案的基础上,提出了一种联邦丢弃(FedDrop)方案。具体地,在FL算法的每次迭代中,在服务器处使用dropout但具有异构的dropout率(即,参数修剪概率),其中的每一个都适合于所分配的信道的状态。这些数据将被下载到相关设备以进行更新。因此,与传统FL相比,FedDrop减少了通信开销和设备的计算负载,同时在过拟合的情况下优于后者,并且还优于具有均匀丢弃的FL方案(即,相同)。
2022-02-05 cs.IT cs.LG math.IT
FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning
Industrial Technology Research Institute(工业技术研究院);National Yang Ming Chiao Tung University(阳明交通大学)
联邦学习的目标是在不泄露隐私的情况下共享私有数据,以最大化数据效用。以往的联邦学习研究主要集中在多类分类问题上。然而,多标签分类是一个关键的研究问题,接近现实世界的数据属性。然而,有限数量的联邦学习研究探讨了这一研究问题。现有的多标签联邦学习研究没有考虑多标签数据的特点,即,他们使用多类分类的概念来验证他们的方法的性能,这意味着将他们的方法应用于实际应用是不可行的。因此,本研究提出了一种新的多标签联邦学习框架,该框架采用了一种基于标记的多标签数据分配(CMDA)和一种新的聚合方法--快速标签自适应聚合(FLAG),用于联邦学习环境中的多标签分类。实验结果表明,我们的方法只需要不到50\%的训练时期和通信轮,以超过最先进的联邦学习方法的性能。
2023-02-27 cs.AI cs.LG
Correcting Before Adapting: Gradient Correction for Federated Adaptive Optimization
Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN(电气与计算机工程学院,普渡大学);IBM T. J. Watson Research Center, Yorktown Heights, NY, USA(IBM沃森研究中心,纽约州扬斯敦);Department of Computer Science and Engineering, Yonsei University, Seoul, Korea(计算机科学与工程系,延世大学)
针对联邦学习中数据异质性导致的客户端漂移问题,且现有漂移补偿方法仅适用于SGD、直接迁移到自适应优化器会性能下降的情况,提出适配自适应优化矩结构的FAdamGC算法,经理论分析和实验验证,其收敛性更优且通信计算成本更低。
2026-10-28 cs.AI cs.DC cs.LG
SOFA-FL: Self-Organizing Hierarchical Federated Learning with Adaptive Clustered Data Sharing
Carnegie Mellon University(卡内基梅隆大学)
SOFA-FL通过自适应聚类数据共享和动态拓扑重构,解决联邦学习中数据异质性和网络拓扑刚性的挑战。
2025-12-09 cs.LG
Adaptive Federated Learning via Dynamical System Model
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对异构联邦学习中超参数调优成本高、收敛难的问题,提出将联邦学习建模为动力系统的自适应方法,通过单个全局超参数动态调控客户端与服务器的学习率和动量,实现更优收敛且无需繁琐调参。
2025-10-05 cs.LG cs.SY eess.SY
Heterogeneity-Aware Cooperative Federated Edge Learning with Adaptive Computation and Communication Compression
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出异构感知协作边缘联邦学习方案HCEF,通过理论分析收敛误差界并设计在线控制算法,动态调整局部更新频率和压缩比,在保持模型精度的同时降低训练延迟和能耗。
2024-11-21 cs.DC cs.LG
Adversarial training in communication constrained federated learning
University of Illinois(伊利诺伊大学);I.B.M T.J. Watson Research Center(IBM TJ·沃森研究中心)
联邦学习支持在代理数据的分布式语料库上进行模型训练。然而,经过训练的模型容易受到对抗性示例的影响,这些示例旨在引起错误分类。我们研究了在联邦学习环境中使用对抗训练(AT)的可行性。此外,我们这样做假设一个固定的通信预算和非iid数据分布之间的参与代理。我们观察到,与集中式训练相比,当AT用于联邦设置时,自然和对抗准确率都显着下降。我们将此归因于在代理处本地执行的AT的时期的数量,这反过来影响(i)本地模型之间的漂移;以及(ii)收敛时间(以通信回合的数量来衡量)。为此,我们提出了FedDynAT,一种新的算法在联邦设置执行AT。通过大量的实验,我们证明了FedDynAT通过减少模型漂移显著提高了自然和对抗精度,以及模型收敛时间。
2021-03-01 cs.AI cs.LG
UFed-GAN: A Secure Federated Learning Framework with Constrained Computation and Unlabeled Data
University of California, Davis(加州大学戴维斯分校);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
本文提出UFed-GAN框架,通过无监督联邦生成对抗网络在资源受限且无标签环境下捕获用户数据分布,兼顾隐私保护与低计算需求。
2023-08-10 cs.LG eess.SP
FedASTA: Federated adaptive spatial-temporal attention for traffic flow prediction
Tsinghua University(清华大学)
针对联邦场景下交通流时空动态建模的隐私与数据异构等问题,提出FedASTA框架,通过客户端时序分解提取特征、服务端构建自适应时空图及掩码空间注意力模块建模依赖,在5个公开数据集上取得联邦场景最优性能,中心化实验也验证了自适应图构建的有效性。
2024-11-04 cs.AI cs.DC cs.LG
FDAPT: Federated Domain-adaptive Pre-training for Language Models
University of Cambridge(剑桥大学);Flower Labs
针对基础模型领域自适应预训练的数据与算力瓶颈,本文首次实证研究联邦领域自适应预训练(FDAPT)的性能,还提出FFDAPT算法,在性能波动小于1%的前提下平均提升12.1%计算效率。
2023-11-09 cs.AI cs.DC cs.LG
A Locally Penalized Cross-Estimate Federated Method with Guarantees for Constrained Personalized Learning
Department of Industrial and Systems Engineering, Rutgers University(工业与系统工程系,罗杰斯大学);Department of Electrical and Computer Engineering, Rutgers University(电气与计算机工程系,罗杰斯大学)
本文研究了带有个性化约束的联邦优化问题,提出PC-FedAvg方法,通过多块局部决策向量维护交叉估计,实现个性化而不需共识或共享约束信息,理论分析显示通信复杂度为O(ε^{-2})和O(ε^{-1})。
2026-10-05 cs.LG math.OC
FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems
College of Computer Science, Chongqing University(重庆大学计算机学院)
针对联邦学习中系统异构性导致掉队设备多、精度下降的问题,提出自适应框架FedSAE,通过预测设备负载调整训练量、结合主动学习选参与节点,在高异构系统中收敛更快、精度更高且掉队设备大幅减少。
2021-04-15 cs.DC cs.LG
Boosting Resource-Constrained Federated Learning Systems with Guessed Updates
EPFL(瑞士联邦理工学院)
针对联邦学习中边缘设备资源受限、系统异构导致收敛慢及超参数调优耗资源的问题,提出无梯度推测更新算法GEL,可结合多种前沿算法,在学习率未最优调优时提升性能,资源受限网络中收敛速度最高提升40%,降低调优需求。
2025-06-14 cs.DC cs.LG
AsyncFedED: Asynchronous Federated Learning with Euclidean Distance based Adaptive Weight Aggregation
Zhejiang University(浙江大学)
在异步联邦学习框架中,服务器在从客户端接收到更新后立即更新全局模型,而不是像同步设置中那样等待所有更新到达。这允许具有不同计算能力的异构设备在不暂停的情况下训练本地模型,从而加快训练过程。然而,它引入了陈旧模型问题,其中新到达的更新是基于比当前全局模型更旧的一组陈旧权重计算的,这可能会损害模型的收敛性。在本文中,我们提出了一个异步联邦学习框架,提出了自适应权重聚合算法,称为AsyncFedED。据我们所知,这种聚合方法是第一个考虑到达梯度的陈旧性的方法,通过陈旧模型和当前全局模型之间的欧几里得距离以及已经执行的局部时期的数量来测量。在一般非凸损失函数的假设下,我们从理论上证明了该方法的收敛性。数值结果验证了所提出的AsyncFedED在收敛速度和模型精度方面的有效性相比,现有的方法为三个考虑的任务。
2022-06-07 cs.DC cs.LG
Federated Hyperdimensional Computing for Resource-Constrained Industrial IoT
Tampere University(塔尔皮奥大学);Tampere Institute for Advanced Study(塔尔皮奥高级研究 institute);Intel Corporation(英特尔公司)
本文提出一种轻量级联邦超维度计算框架,用于解决工业物联网中内存、计算能力和无线带宽受限的问题,通过原型表示交换降低通信开销,实现快速收敛和高效协作学习。
2026-03-20 cs.LG cs.NI
A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret
Cornell University(康奈尔大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对中央服务器连接 M 个客户端的分布式在线随机优化问题,本文提出一种通信高效的自适应联邦学习算法,以总传输比特数为统一成本,实现阶最优累积遗憾。
2023-06-05 cs.DC cs.LG
Over-the-Air Federated Learning with Joint Adaptive Computation and Power Control
The Ohio State University(俄亥俄州立大学)
本文考虑空中联邦学习(OTA-FL)。OTA-FL利用无线介质的叠加特性,免费进行空中模型聚合。因此,它可以大大降低在从边缘设备传送模型更新时所引起的通信成本。为了充分利用这一优势,同时提供可比的学习性能,传统的联邦学习,假设通过无噪声信道的模型聚合,我们考虑联合设计的传输缩放和本地迭代次数在每一轮,给定的功率约束在每个边缘设备。我们首先通过建立具有Lipschitz连续梯度的一般函数的基本下界来表征由于OTA-FL中的这种信道噪声而导致的训练误差。然后,通过引入自适应收发器功率缩放方案,我们提出了一个空中联邦学习算法与联合自适应计算和功率控制(ACPC-OTA-FL)。我们提供了收敛分析ACPC-OTA-FL在非凸目标函数和异构数据的训练。我们表明,ACPC-OTA-FL的收敛速度相匹配的FL与无噪声通信。
2022-05-12 cs.LG
Federated Learning for Energy Constrained IoT devices: A systematic mapping study
National Institute of Posts and Telecommunications(国家邮电学院)
联合机器学习(Federated Machine Learning,Fed ML)是一种新的分布式机器学习技术,应用于使用客户端本地数据协作训练全局模型,而不传输它。在神经网络的情况下的权重更新),其由服务器融合在一起以构建全局模型。通过不泄露节点数据,Fed ML保证了其机密性,这是网络安全的一个重要方面,使其能够在数据敏感的物联网(IoT)和移动应用程序(如智能地理定位和智能电网)中使用。然而,大多数物联网设备都特别受能源限制,这就需要优化Fed ML过程,以实现高效的训练任务和优化的功耗。在本文中,据我们所知,我们对能量受限的物联网设备的Fed ML优化技术进行了第一次系统映射研究(SMS)。从总共800多篇论文中,我们选择了67篇满足我们的标准,并使用一组精心选择的研究问题对该领域进行了结构化概述。最后,我们试图提供一个分析的能源约束美联储ML的最先进的状态,并试图概述一些潜在的建议,为研究界。
2023-01-09 cs.DC cs.LG