Age Aware Scheduling for Differentially-Private Federated Learning
Institute of Communications Engineering, National Yang Ming Chiao Tung University(国立阳明交通大学通信工程研究所);Simula UiB(西挪威应用科技大学西蒙研究所);Department of Communication Engineering, National Taipei University(国立台北大学通信工程学系)
本文研究时变数据库下差分隐私联邦学习中的年龄、准确性与隐私权衡问题,提出年龄感知调度方案以最小化模型损失差异,并通过仿真验证其优于经典差分隐私联邦学习。
2024-07-05 cs.CR cs.DC cs.LG
Fairness-Aware Job Scheduling for Multi-Job Federated Learning
Nanyang Technological University(南洋理工大学);DSO National Laboratories(DSO国家实验室);Alibaba Group(阿里巴巴集团);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院)
针对多服务器联邦学习中的客户端竞争问题,提出基于李雅普诺夫优化的公平性感知调度方法FairFedJS,兼顾需求与出价,显著提升调度公平性并缩短收敛时间。
2024-02-08 cs.AI cs.DC cs.LG
Update Estimation and Scheduling for Over-the-Air Federated Learning with Energy Harvesting Devices
Dept. of Electrical and Electronics Engineering, Bilkent University(电子与电子工程系,比尔肯特大学);Dept. of Electrical and Electronic Engineering, Imperial College London(电子与电子工程系,帝国理工学院伦敦分校)
针对无线衰落MAC下能量收集设备的OTA联邦学习中低能量到达和数据异构性问题,提出熵基调度(已知分布)和最小二乘用户表示估计调度(未知分布)两种策略,通过选择多样化用户提升学习性能并节约能量。
2025-01-30 cs.DC cs.LG
Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC
Utah State University(犹他州立大学);University of Wisconsin-Whitewater(威斯康星大学怀特沃特分校)
联邦学习(FL)是一种备受追捧的机器学习技术,它可以集中训练模型,同时保持数据分布。分布式计算使得FL对于带宽受限的应用特别是在无线通信中具有吸引力。可以有大量分布式边缘设备连接到中央参数服务器(PS),并迭代地从PS下载数据/向PS上传数据。由于带宽有限,在每一轮中只能调度连接设备的子集。在诸如深度学习的最先进的机器学习模型中通常存在数百万个参数,导致高计算复杂度以及在收集/分发用于训练的数据时的高通信负担。为了提高通信效率,使训练模型更快地收敛,提出了一种新的调度策略和功率分配方案,在整个学习过程中,采用非正交多址接入(NOMA)设置,在实际约束条件下最大化加权和数据率. NOMA允许多个用户同时在同一信道上传输。用户调度问题转化为一个最大权独立集问题,可以用图论来解决。仿真结果表明,所提出的调度和功率分配方案可以帮助实现更高的FL测试精度在基于NOMA的无线网络比其他现有的计划。
2020-06-21 cs.LG eess.SP stat.ML
AirPASS: Over-the-Air Federated Learning via Pinching Antenna Systems
Department of Electrical Engineering, Chalmers University of Technology(楚德大学电气工程系);School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
研究无线系统中AirFL,接入点有PASS。提出AirPASS交替优化框架,含设备选择与波束成形方法及天线位置更新方法。实验表明其性能优于传统基线,接近理想FedAvg,实现了性能-复杂度权衡。
2026-10-23 cs.AI cs.IT cs.LG
Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning
Hitachi (China) Research & Development Cooperation(日立(中国)研发有限公司)
在联邦学习(FL)中,设备通过经由无线信道上传其本地模型更新来为全局训练做出贡献。由于有限的计算和通信资源,设备调度对FL的收敛速度至关重要。在本文中,我们提出了一种联合设备调度和资源分配策略,以在给定的总训练时间预算内最大化延迟受限的无线FL的模型精度。训练性能损失的倒数的下限,根据训练轮的数量和每轮调度的设备的数量,导出。在此基础上,将精度最大化问题分解为两个子问题进行求解。首先,给定被调度的设备,最优带宽分配建议将更多带宽分配给具有较差信道条件或较弱计算能力的设备。然后,引入贪婪设备调度算法,在每一步中选择消耗最少更新时间的设备,直到最优带宽分配的下限开始增加,这意味着调度更多的设备会降低模型的准确性。实验结果表明,该策略优于国家的最先进的调度策略下,广泛的数据分布和细胞半径的设置。
2020-07-14 cs.IT cs.LG cs.NI
Sliding Differential Evolution Scheduling for Federated Learning in Bandwidth-Limited Networks
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Northumbria University(诺森比亚大学)
在具有能量受限的用户设备(UE)的带宽受限网络中的联邦学习(FL)未被探索。在本文中,共同节省能量消耗的电池有限的UE和加速FL的带宽有限的网络中的全局模型的收敛,我们提出了基于滑动差分进化的调度(SDES)的政策。为此,我们首先制定了一个优化,旨在最大限度地减少能源消耗和模型训练收敛的加权和。然后,我们应用SDES与并行差分进化(DE)操作在几个小规模的窗口,有效地解决上述提出的问题。与已有的调度策略相比,该调度策略在降低能耗和模型收敛性方面具有较好的性能,并且具有较低的计算复杂性。
2020-10-18 cs.IT cs.LG cs.NE
Joint Client Scheduling and Resource Allocation under Channel Uncertainty in Federated Learning
University of Oulu(奥卢大学);Centre for Wireless Communications(无线通信中心)
联邦学习(FL)在无线网络上的性能取决于客户端-服务器连接的可靠性和客户端的本地计算能力。在这篇文章中,我们调查的客户端调度和资源块(RB)分配的问题,以提高使用FL的模型训练的性能,在预定义的训练时间不完美的信道状态信息(CSI)和有限的本地计算资源。首先,我们分析得出FL与客户端调度和集中式训练方法在给定的训练时间内的训练损失之间的差距。然后,我们制定的客户端调度和RB分配的训练损失最小化的差距作为一个随机优化问题,并解决它使用李雅普诺夫优化。利用基于高斯过程回归的信道预测方法来学习和跟踪无线信道,其中,客户端的CSI预测和计算能力被并入调度决策中。使用一组广泛的模拟,我们验证了所提出的方法的鲁棒性下完美和不完美的CSI在一系列不同的数据分布。结果表明,该方法减少了高达40.7%的培训精度损失的差距相比,国家的最先进的客户端调度和RB分配方法。
2021-06-12 cs.LG
Robust Federated Learning via Over-The-Air Computation
Imperial College London(帝国理工学院)
本文研究了空中联邦学习对拜占庭攻击的鲁棒性。通过空中计算对模型更新进行简单平均,使得学习任务容易受到某些恶意客户端对本地模型更新的随机或有意修改的影响。我们提出了一个强大的传输和聚合框架,这样的攻击,同时保留了联邦学习的空中计算的好处。对于所提出的鲁棒联邦学习,参与的客户端被随机分成组,并为每个组分配一个传输时隙。参数服务器使用鲁棒的聚合技术聚合不同组的结果,并将结果传送给客户端以进行另一轮训练。我们还分析了所提出的算法的收敛性。数值模拟证实了所提出的方法的拜占庭攻击的鲁棒性。
2022-06-23 cs.LG
Balancing Energy Efficiency and Distributional Robustness in Over-the-Air Federated Learning
Centre of Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心);King Fahd University of Petroleum and Minerals (KFUPM)(法赫德国王石油矿产大学)
针对无线边缘设备带来的能量、带宽等挑战,本文提出一种结合确定性与概率性客户端选择的方法,在基于空中计算的分布鲁棒联邦学习中平衡能量效率与鲁棒性,实现超3倍能量节省。
2023-12-22 cs.LG eess.SP
Bayesian AirComp with Sign-Alignment Precoding for Wireless Federated Learning
POSTECH(浦项工科大学)
在本文中,我们考虑的问题,无线联邦学习的符号随机梯度下降(signSGD)算法的基础上,通过多址接入信道。当发送本地计算的梯度的符号信息时,每个移动终端需要应用预编码以规避无线衰落效应。然而,实际上,在所有移动设备处获取信道状态信息(CSI)的完美知识是不可行的。在本文中,我们提出了一个简单而有效的预编码方法,有限的信道知识,称为符号对齐预编码。符号对齐预编码的思想是保护符号翻转错误免受无线衰落的影响。在局部梯度的高斯先验假设下,我们还推导出了均方误差(MSE)最优聚集函数,称为贝叶斯空中计算(BayAirComp)。我们的关键发现是,即使使用完美的CSI与AirComp聚合,BayAirComp聚合的一位预编码也可以提供比现有预编码方法更好的学习性能。
2021-09-14 cs.LG eess.SP
Blind Federated Learning via Over-the-Air q-QAM
KTH Royal Institute of Technology(瑞典皇家理工学院);Uppsala University(乌普萨拉大学)
本文提出一种基于 q-QAM 数字空中计算的盲联邦边缘学习框架,在无信道状态信息下实现低时延传输,并证明均方误差上界与收敛速率,实验显示增加天线和调制阶数可提升精度达 60%。
2024-04-19 cs.LG eess.SP
Adaptive Determinantal Client Scheduling in Federated Learning
University of Toronto(多伦多大学);Ericsson(爱立信)
针对联邦学习中客户端调度忽视多样性的问题,提出基于行列式点过程的自适应调度算法ADCS,实现质量-多样性权衡,并给出收敛性分析,实验证明其优于现有算法。
2026-09-22 cs.DC cs.LG
Scheduling and Communication Schemes for Decentralized Federated Learning
Arab Academy for Science, Technology & Maritime Transport(阿拉伯科学、技术与海运学院);University of Vigo(维戈大学)
本文提出一种采用SGD算法的去中心化联邦学习(DFL)模型,并设计了三种调度策略用于客户端与并行服务器间的通信,实验证明这些策略对收敛速度和最终全局模型有显著影响。
2023-11-27 cs.DC cs.LG
Federated Learning in the Sky: Aerial-Ground Air Quality Sensing Framework with UAV Swarms
Heilongjiang University(黑龙江大学);Nanyang Technological University(南洋理工大学);Georgia Southern University(佐治亚南方大学);Alibaba Group(阿里巴巴集团);Alibaba-NTU Joint Research Institute(阿里巴巴-南洋理工大学联合研究院);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly(南洋理工大学-不列颠哥伦比亚大学积极乐龄卓越联合研究中心)
由于空气质量对人体健康有着重要的影响,因此准确、及时地预测空气质量指数(AQI)变得越来越重要。为此,本文提出了一种新的基于联邦学习的空中-地面空气质量传感框架,用于细粒度的3D空气质量监测和预报。具体而言,在空中,该框架利用轻量级的Dense-MobileNet模型,从无人机(UAV)拍摄的雾霾图像的雾霾特征中实现节能的端到端学习,以预测AQI尺度分布。此外,联合学习框架不仅允许各种组织或机构协作学习经过良好训练的全球模型来监测AQI,而且还扩展了无人机群监测的范围。对于地面传感系统,我们提出了一种基于图卷积神经网络的长短期记忆(GC-LSTM)模型,以实现准确,实时和未来的AQI推理。GC-LSTM模型利用地面监测站的拓扑结构,捕捉历史观测数据的时空相关性,帮助空地传感系统实现AQI的精确推断。通过对真实世界数据集的广泛案例研究,数值结果表明,所提出的框架可以实现准确和节能的AQI感测,而不会损害原始数据的隐私。
2020-07-23 cs.LG eess.SP
Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks
Department of Electrical Engineering (ISY), Linköping University(电气工程系(ISY),林奈大学)
本文提出了一种基于无线网络的异步联邦学习调度与聚合设计,通过信道感知数据重要性调度策略和年龄感知聚合设计,提升模型收敛性能和学习效果。
2025-12-03 cs.DC cs.IT cs.LG
MAB-Based Channel Scheduling for Asynchronous Federated Learning in Non-Stationary Environments
针对无线非平稳信道下异步联邦学习的客户端陈旧度与通信效率问题,提出基于MAB的调度框架,结合AoI分析与自适应匹配策略,实现次线性AoI遗憾、更快收敛与更公平聚合。
2025-03-23 cs.LG
Over-the-Air Federated Learning with Retransmissions (Extended Version)
随着无线设备计算能力的不断提高,以及用户和设备生成的数据达到前所未有的水平,新的分布式机器学习(ML)方法应运而生。在无线网络中,联邦学习(FL)由于其通信效率和处理非IID数据问题的能力而受到特别关注。FL训练可以通过称为空中计算(AirComp)的无线通信方法来加速,该方法利用同时上行链路传输的干扰来有效地聚合模型更新。然而,由于AirComp利用模拟通信,因此其引入不可避免的估计误差。在本文中,我们研究了这种估计误差对FL收敛的影响,并提出了重传作为一种方法,以提高FL收敛资源受限的无线网络。首先,我们推导出静态信道上重传的最优AirComp功率控制方案。然后,我们研究了具有重传的空中FL的性能,并找到了FL损失函数的两个上界。最后,我们提出了一种启发式方法来选择最佳的重传次数,可以在训练ML模型之前计算。数值结果表明,重传的引入可以提高ML性能,而不会在通信或计算方面产生额外的成本。此外,我们提供了我们的启发式的模拟结果表明,它可以正确地识别不同的无线网络设置和机器学习问题的最佳重传次数。
2021-11-19 cs.LG eess.SP
Matching Pursuit Based Scheduling for Over-the-Air Federated Learning
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Princeton University(普林斯顿大学)
本文提出了一种基于匹配追踪的低复杂度空中联邦学习设备调度算法。所提出的方案密切跟踪接近最优的性能实现的差分凸规划,并显着优于著名的基准算法的基础上凸松弛。与现有技术相比,所提出的方案对系统造成了显著更低的计算负载:对于参数服务器处的$K$设备和$N$天线,基准复杂度随着$\left(N^2+K\right)^3 + N^6$而缩放,而所提出的方案的复杂度对于一些$0 < p,q \leq 2$随着$K^p N^q$而缩放。在CIFAR-10数据集上的数值实验证实了该方法的有效性。
2022-10-12 cs.IT cs.LG math.IT
Version age-based client scheduling policy for federated learning
ZJU-UIUC Institute, Zhejiang University(浙江大学ZJU-UIUC联合学院)
针对联邦学习中客户端调度导致的过时更新问题,提出基于版本年龄信息(VAoI)的调度策略,兼顾时效与内容,最小化平均VAoI,提升系统稳定性。
2024-02-08 cs.DC cs.LG
Air-Plan: Query-Optimized Topology Selection for Over-the-Air Decentralized Federated Learning
ICLab(IC实验室);atlanTTic;University of Vigo(维戈大学)
研究空中去中心化联邦学习的通信拓扑选择问题,通过建立与分布式查询处理的等价关系,用隐私保护统计估计工作量,评估候选拓扑成本模型来选最优拓扑,实验表明效果良好。
2026-07-07 cs.DC cs.LG
Green Federated Learning via Carbon-Aware Client and Time Slot Scheduling
Inria Centre at Université Côte d’Azur(法国国家信息与自动化技术研究院(Inria)亚维农分校);Accenture(埃森哲);Department of Electrical Engineering (ISY), Linköping University(利厄普大学电气工程系)
本文提出一种整合松弛时间、α-公平碳分配和全局微调的碳感知调度器,在真实碳强度数据上验证其能在广泛碳预算下提升联邦学习模型精度并减少碳排放。
2025-09-10 cs.LG
Over-The-Air Federated Learning Over Scalable Cell-free Massive MIMO
本文研究无蜂窝大规模MIMO支持空中联邦学习的方法,提出在信道相关且仅有不完美信道状态信息条件下的实用OTA-FL实现方案,并通过分析与实验验证其收敛性和性能优势。
2023-09-18 cs.IT cs.LG eess.SP
From Federated Learning to Quantum Federated Learning for Space-Air-Ground Integrated Networks
Hung Yen University of Technology and Education(兴安技术与教育大学);University of Tasmania(塔斯马尼亚大学);University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校);Lac Hong University(乐鸿大学);Manchester Metropolitan University(曼彻斯特城市大学);International Hellenic University(国际希腊大学)
本文探讨在空天地一体化网络中应用联邦学习及量子联邦学习,通过案例展示量子增强训练的优势,并指出研究挑战与标准化方向。
2024-11-06 cs.AI cs.CR cs.LG
Over-the-Air Federated Learning with Joint Adaptive Computation and Power Control
The Ohio State University(俄亥俄州立大学)
本文考虑空中联邦学习(OTA-FL)。OTA-FL利用无线介质的叠加特性,免费进行空中模型聚合。因此,它可以大大降低在从边缘设备传送模型更新时所引起的通信成本。为了充分利用这一优势,同时提供可比的学习性能,传统的联邦学习,假设通过无噪声信道的模型聚合,我们考虑联合设计的传输缩放和本地迭代次数在每一轮,给定的功率约束在每个边缘设备。我们首先通过建立具有Lipschitz连续梯度的一般函数的基本下界来表征由于OTA-FL中的这种信道噪声而导致的训练误差。然后,通过引入自适应收发器功率缩放方案,我们提出了一个空中联邦学习算法与联合自适应计算和功率控制(ACPC-OTA-FL)。我们提供了收敛分析ACPC-OTA-FL在非凸目标函数和异构数据的训练。我们表明,ACPC-OTA-FL的收敛速度相匹配的FL与无噪声通信。
2022-05-12 cs.LG
Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文研究移动边缘网络中资源受限与不确定性下的联邦学习优化问题,提出基于Lyapunov优化的在线客户端调度与资源分配方案,在保证模型准确度的同时有效降低训练延迟并提升资源效率。
2024-09-29 cs.AI cs.DC cs.LG
FedCGD: Collective Gradient Divergence Optimized Scheduling for Wireless Federated Learning
本文针对无线联邦学习中的数据异构与带宽受限问题,提出FedCGD调度算法,通过平衡设备级WEMD和样本级采样方差最小化集体梯度散度,以更少设备实现更高准确率。
2025-06-09 cs.AI cs.DC cs.LG
TRAIL: Trust-Aware Client Scheduling for Semi-Decentralized Federated Learning
Zhejiang Normal University(浙江师范大学);Wuhan University of Science and Technology(武汉科技大学);Dalian University of Technology(大连理工大学)
针对半去中心化联邦学习中客户端动态状态影响训练的问题,提出信任感知调度机制TRAIL,利用自适应隐半马尔可夫模型评估客户端状态与贡献,通过贪婪算法优化客户端调度,显著提升了模型测试准确率并降低了训练损失。
2024-12-19 cs.AI cs.DC cs.LG
Over-the-Air Federated Learning: Rethinking Edge AI Through Signal Processing
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(皇家理工学院电气工程与计算机科学学院);Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系)
本文从信号处理角度综述空中联邦学习(AirFL),将其分为三类(CSIT感知、盲、加权),并分析其假设、性能折衷、复杂度和部署限制,为无线边缘AI系统提供设计指导。
2026-06-23 cs.AI cs.IT cs.LG
NCAirFL: CSI-Free Over-the-Air Federated Learning Based on Non-Coherent Detection
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Arizona State University(亚利桑那州立大学);The Hong Kong University of Science and Technology(香港科技大学)
针对空中联邦学习中相干信号对齐依赖信道估计的难题,本文提出基于非相干检测的无CSI方案NCAirFL,通过二进制抖动与长期记忆误差补偿实现O(1/√T)收敛速率,实验验证其性能可媲美理想通信下的联邦学习。
2024-11-20 cs.IT cs.LG eess.SP
Over-the-Air Decentralized Federated Learning
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
在本文中,我们考虑分散的联邦学习(FL)在无线网络中,通过空中计算(AirComp),以促进本地模型共识的设备到设备(D2 D)的通信方式。然而,基于AirComp的共识阶段会给每个算法带来附加噪声,并且共识需要对无线网络拓扑变化具有鲁棒性,这给无线分散FL算法的收敛性带来了新的挑战。为了促进共识阶段,我们提出了一个基于AirComp-based DSGD与梯度跟踪和方差减少(DSGT-VR)算法,其中的预编码和解码策略的D2 D通信开发。此外,我们证明了该算法的线性收敛性,并建立了最优间隙强凸光滑损失函数,考虑到信道衰落和噪声。理论结果表明,最优间隙中的附加误差界取决于设备的数量。大量的仿真验证了理论结果,并表明该算法优于其他基准分散FL算法在无线网络中。
2021-06-15 cs.IT cs.LG eess.SP
Towards Scheduling Federated Deep Learning using Meta-Gradients for Inter-Hospital Learning
University of Oxford(牛津大学)
鉴于当今个人数据的丰富和容易访问,个人隐私已变得至关重要,特别是在医疗保健领域。在这项工作中,我们的目标是利用从多个医院数据中心提取的患者数据来训练机器学习模型,而不牺牲患者隐私。我们开发了一个调度算法,结合学生-教师算法,部署在一个联邦的方式。这允许中心模型从每个联邦节点的批量数据中学习。教师在数据中心之间操作,以使用存储在各个数据中心中的数据来更新主任务(学生)算法。我们表明,使用元梯度训练的调度程序可以有效地组织训练,并因此在不同的数据集上训练机器学习模型,而无需显式访问患者数据。训练。我们实现了最先进的性能,并展示了我们的方法如何克服联邦学习中面临的一些问题,如节点中毒。我们进一步展示了调度程序如何可以用作迁移学习的机制,允许不同的教师一起训练学生的最先进的性能。
2021-07-04 cs.CR cs.DC cs.LG
Over-the-Air Federated Multi-Task Learning Over MIMO Multiple Access Channels
随着数据和无线设备的爆炸式增长,基于无线介质的联邦学习(FL)已成为大规模分布式智能系统的一种有前途的技术。然而,对泛在智能的迫切需求将产生大量并发的FL任务,这可能会严重加剧通信资源的稀缺。空中计算(Over-the-Air Computation,AirComp)利用电磁波的模拟叠加特性,可以有效地减轻FL的通信负担。然而,空中计算中的频时资源共享不可避免地带来了任务间干扰问题,这是一个需要妥善解决的新挑战。在本文中,我们研究了空中联合多任务学习(OA-FMTL)在多输入多输出(MIMO)多址接入(MAC)信道。我们提出了一种新的模型聚合方法,用于对齐不同设备的局部梯度,该方法消除了由于信道异质性而导致的空中计算中的掉队问题。通过考虑设备之间的空间相关性,我们建立了所提出的OA-FMTL方案的通信学习分析框架,并为收发器波束成形和设备选择的设计制定了优化问题。为了解决这个问题,我们开发了一种算法,通过使用交替优化(AO)和分式规划(FP),有效地减轻任务间干扰的FL学习性能的影响。我们表明,由于使用新的模型聚合方法,设备选择不再是必不可少的,从而避免了沉重的计算负担,选择主动设备。数值结果验证了分析的正确性和所提方案的优越性能。
2022-05-06 cs.LG cs.NI eess.SP
Over-the-Air Federated Learning In Broadband Communication
针对现有联邦学习在安全多方计算易受推理攻击、差分隐私降低准确率方面的不足,本文提出将 FL 无缝集成到 MIMO 系统内部的空中联邦学习方法。
2023-06-03 cs.LG
Private Federated Learning with Dynamic Power Control via Non-Coherent Over-the-Air Computation
Shandong University(山东大学)
本文提出一种基于非相干空中计算与动态功率控制的联邦学习方案,通过OFDM子载波传输梯度符号并利用能量累积投票,在保护权重隐私的同时提升模型性能并减轻同步误差、信道衰落和噪声影响。
2023-08-05 cs.LG
An Autoencoder-Based Constellation Design for AirComp in Wireless Federated Learning
University of Virginia(弗吉尼亚大学)
针对无线联邦学习中数字调制AirComp的和信号准确解码难题,提出基于自编码器的端到端通信系统,联合优化收发端星座图,填补相关研究空白,助力FL在现代无线系统的部署。
2024-04-15 cs.IT cs.LG cs.NI
Private Wireless Federated Learning with Anonymous Over-the-Air Computation
在传统的联邦学习(FL)中,差分隐私(DP)保证可以通过在传输到参数服务器(PS)之前向局部模型更新注入附加噪声来获得。在无线FL的情况下,我们表明,系统的隐私可以通过利用空中计算(OAC)和匿名的传输设备。在OAC中,设备同时以未编码的方式传输其模型更新,从而更有效地使用可用频谱。我们进一步利用OAC提供匿名的传输设备。所提出的方法通过减少必须注入的噪声量来提高私有无线FL的性能。
2021-02-13 cs.CR cs.LG
Over-the-Air Federated Learning via Weighted Aggregation
KTH Royal Institute of Technology(瑞典皇家理工学院);Yale University(耶鲁大学)
该研究提出一种带自适应加权聚合的空中联邦学习方案,无需发射端信道状态信息即可缓解信道影响,推导了收敛界并设计了权重优化算法,实验显示其准确率较现有方案提升15%-30%。
2024-09-12 cs.AI cs.IT cs.LG
Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach
School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
针对联邦学习中OTA方案噪声大、纯数字方案延迟高的问题,提出ADFL模数混合调度方案,通过优化设备调度与数字量化比特数,在延迟约束下最小化梯度估计MSE,显著提升学习性能。
2024-02-02 cs.IT cs.LG eess.SP
Clustered Scheduling and Communication Pipelining For Efficient Resource Management Of Wireless Federated Learning
Texas A&M University(德克萨斯农工大学);Texas A&M University at Qatar(德克萨斯农工大学卡塔尔分校);Qatar Foundation Research, Development and Innovation RDI(卡塔尔基金会研究、开发与创新(RDI));Tennessee Tech University(田纳西理工大学)
本文提出在移动边缘计算应用中,利用通信流水线技术提高联邦学习的无线频谱利用效率和收敛速度。由于无线子信道有限,在联邦学习算法的每次迭代中都会调度总客户端的子集。另一方面,调度的客户端等待最慢的客户端完成其计算。我们建议首先根据每次迭代计算联邦学习模型的局部梯度所需的时间对客户端进行聚类。然后,我们调度来自所有集群的混合客户端以管道方式发送其本地更新。通过这种方式,而不是仅仅等待较慢的客户端完成其计算,更多的客户端可以参与每个迭代。虽然单次迭代的持续时间不变,但所提出的方法可以显著减少实现目标精度所需的迭代次数。我们提供了一个通用的配方,在不同的设置下的最佳客户端聚类,我们分析得出一个有效的算法,获得最佳的解决方案。我们还提供了数值结果来证明所提出的方法在不同数据集和深度学习架构上的收益。
2022-06-15 cs.LG
Scheduling Algorithms for Federated Learning with Minimal Energy Consumption
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立理工学院);Inria(法国国家信息与自动化研究所);LaBRI(波尔多计算机科学实验室)
联邦学习(FL)为在异构移动或边缘设备上协作训练机器学习模型提供了机会,同时保持本地数据的私密性。随着其采用的增加,越来越多的人关注其经济和环境成本(对于其他机器学习技术也是如此)。不幸的是,由于能量最小化通常被作为次要目标,所以很少有人做工作来优化其能量消耗或二氧化碳或等效物的排放。在本文中,我们研究了通过控制工作负载分布来最小化异构设备上FL训练的能量消耗的问题。我们将其建模为最小成本FL调度问题,这是一个总成本最小化问题,具有相同的,独立的,和原子任务,必须分配给异构资源与任意成本函数。我们提出了一个伪多项式最优解决方案的问题的基础上,以前未探索的多选择最小值-费用最大背包包装问题。我们还提供了四个算法的情况下,成本函数单调增加,并遵循相同的行为。这些解决方案同样适用于其他类型的成本最小化,并在其他一维数据划分问题。
2022-09-13 cs.AI cs.DC cs.DS
Battery-aware Cyclic Scheduling in Energy-harvesting Federated Learning
Linköping University(林雪平大学)
针对能量收集联邦学习系统中客户端因能源限制导致可用性波动的问题,提出FedBacys电池感知框架,通过聚类客户端并按电池电量循环调度其参与,减少冗余计算与能耗,提升学习稳定性,在非独立同分布数据和低充电频率下仍具鲁棒性。
2025-04-16 cs.IT cs.LG math.IT
Gradient Statistics Aware Power Control for Over-the-Air Federated Learning
Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)是一种很有前途的技术,其使得许多边缘设备能够在无线网络中协作地训练机器学习模型。通过利用无线波形的叠加性质,空中计算(AirComp)可以加速模型聚合,从而促进通信高效的FL。由于信道衰落,功率控制在AirComp中至关重要。先前的工作假设要从每个设备聚集的信号,即,局部梯度具有相同的统计量。然而,在FL中,梯度统计在训练迭代和特征维度上都是变化的,并且事先是未知的。本文研究了考虑梯度统计的空中FL功率控制问题。我们的目标是最大限度地减少聚合误差,优化发射功率在每个设备的峰值功率约束。在给定梯度统计量的情况下,得到了最优策略的封闭形式。值得注意的是,我们表明,最佳的发射功率是连续的,单调递减的平方多元变异系数(SMCV)的梯度向量。然后,我们提出了一种方法来估计梯度统计可以忽略不计的通信成本。实验结果表明,所提出的梯度统计感知功率控制实现了更高的测试精度比现有的计划,为广泛的场景。
2020-11-25 cs.IT cs.LG eess.SP
FedFiTS: Fitness-Selected, Slotted Client Scheduling for Trustworthy Federated Learning in Healthcare AI
Department of Computer Science University of the Western Cape(计算机科学系,西开普敦大学);Department of Computer Science Missouri University of Science and Technology(计算机科学系,密苏里科学与技术大学)
本文提出FedFiTS框架,通过适应度选举、三阶段参与策略和时隙聚合,在非IID数据和对抗攻击下提升联邦学习的准确性、效率与鲁棒性,适用于医疗等敏感领域。
2025-09-23 cs.AI cs.DC cs.LG
Multi-Criteria Client Selection and Scheduling with Fairness Guarantee for Federated Learning Service
University of Memphis(孟菲斯大学);Shenzhen University(深圳大学)
针对联邦学习中的客户端选择与调度问题,提出一种多准则公平性保证方案,通过两阶段贪心与启发式算法,在预算内最大化得分并确保每个客户端至少被选一次,实验证明在非独立同分布数据下能提升模型质量。
2023-12-05 cs.DC cs.LG
Adaptive Transmission Scheduling in Wireless Networks for Asynchronous Federated Learning
Sejong University(世宗大学);Yonsei University(延世大学)
在本文中,我们研究了异步联邦学习(FL)在无线分布式学习网络(WDLN)。为了允许每个边缘设备经由异步FL更有效地使用其本地数据,应当考虑系统不确定性(诸如时变信道和随机数据到达)以及WDLN中的稀缺无线电资源来仔细确定用于异步FL的WDLN中的传输调度。为了解决这个问题,我们提出了一个度量,称为有效性得分,它代表了异步FL的学习量。然后,我们制定了一个异步学习感知传输调度(ALS)问题,以最大化有效性得分,并开发了三个ALS算法,称为ALSA-PI,BALSA和BALSA-PO,来解决它。如果有关不确定性的统计信息是已知的,ALSA-PI算法可以有效地解决这一问题。即使没有,它仍然可以通过BALSA进行优化解决,该BALSA使用设备报告的状态信息基于贝叶斯方法学习不确定性。BALSA-PO次优地解决了这个问题,但它在实践中解决了一个更具限制性的WDLN,其中AP可以观察到与BALSA中使用的信息相比有限的状态信息。我们通过模拟表明,由我们的ALS算法训练的模型在模型准确性、训练损失、学习速度和学习鲁棒性方面达到了接近理想基准的性能,并且优于其他最先进的基线调度算法。这些结果表明,在我们的ALS算法的自适应调度策略是有效的异步FL。
2021-08-28 cs.IT cs.LG math.IT
Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC))
针对二阶联邦学习计算存储成本高、通信开销大的问题,提出结合稀疏海森矩阵估计与空中聚合的可扩展二阶FL算法,相比基线方法节省超67%的通信资源与能耗。
2025-01-14 cs.LG
Value of Information and Timing-aware Scheduling for Federated Learning
University of Calabria(卡拉布里亚大学);Zhejiang University(浙江大学);Singapore University of Technology and Design(新加坡科技设计大学);Linköping University(林雪平大学)
针对联邦学习中通信约束下仅部分用户设备可参与参数更新的问题,提出结合更新年龄、数据Shapley指标与实时信道状况的调度策略,可提升联邦学习运行效率,且算法简单有效。
2023-12-16 cs.LG cs.NI
Edge Intelligence Over the Air: Two Faces of Interference in Federated Learning
Singapore University of Technology and Design(新加坡科技设计大学);Kyung Hee University(庆熙大学);Zhejiang University/University of Illinois Urbana-Champaign Institute(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院);Zhejiang University(浙江大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文综述空中计算在联邦边缘学习中的干扰两面性,指出其提升可扩展性、降低成本等优势,同时分析干扰对训练的影响及未来研究方向。
2023-06-17 cs.LG
Balancing Accuracy and Integrity for Reconfigurable Intelligent Surface-aided Over-the-Air Federated Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Commonwealth Scientific and Industrial Research Organization(联邦科学与工业研究组织)
空中联邦学习(AirFL)允许设备并行训练学习模型,并使用空中计算来同步它们的本地模型。AirFL的完整性是脆弱的,由于模糊的本地模型聚集在空中。本文提出了一种新的框架来平衡AirFL的准确性和完整性,其中多天线设备和基站(BS)与可重构智能表面(RIS)联合优化。主要贡献包括一个新的和非平凡的问题,共同考虑模型的准确性和完整性的AirFL,和一个新的框架,将问题转化为易于处理的子问题。在理想信道状态信息(CSI)下,通过交替优化设备的发射波束形成器、基站的接收波束形成器和RIS配置,新框架最大限度地减小了聚合模型的失真,并保持了局部模型的可恢复性。在不完美CSI下,新框架提供了波束形成器和RIS配置的鲁棒设计,以对抗不可忽略的信道估计误差。实验证明,该新框架可以实现与理想FL相当的精度,同时在完美CSI下保持局部模型可恢复性,并且在不完美CSI下当接收天线数量较少或中等时提高精度。
2022-07-17 cs.IT cs.LG eess.SP
Personalizing Federated Learning with Over-the-Air Computations
Singapore University of Technology and Design(新加坡科技设计大学);ZJU-UIUC Institute, Zhejiang University(浙江大学浙江大学-伊利诺伊大学厄巴纳香槟校区联合学院)
联合边缘学习是一种很有前途的技术,可以以隐私保护的方式在无线网络边缘部署智能。在这样的设置下,多个客户端在边缘服务器的协调下协作训练全局通用模型。但培训效率往往受到有限通信和数据异构性带来的挑战的制约。本文提出了一种分布式训练模式,采用模拟空中计算,以解决通信瓶颈。此外,我们利用一个双层优化框架来个性化的联邦学习模型,以应对数据异构性问题。因此,它增强了每个客户端的本地模型的通用性和鲁棒性。我们详细介绍了模型训练过程及其相对于传统框架的优势。我们提供了一个收敛性分析,从理论上证明了训练效率。我们还进行了大量的实验,以验证所提出的框架的有效性。
2023-02-24 cs.LG
Device Scheduling and Assignment in Hierarchical Federated Learning for Internet of Things
School of Computer Science and Engineering at Nanyang Technological University(南洋理工大学计算机科学与工程学院)
针对分层联邦学习中的设备调度与分配问题,本文提出改进的K-Center算法和深度强化学习方法,实验表明调度50%或30%设备可显著降低时延与能耗。
2024-02-04 cs.DC cs.LG
Device Scheduling with Fast Convergence for Wireless Federated Learning
Tsinghua University(清华大学)
由于网络边缘对海量数据分析和模型训练的需求日益增长,以及对数据隐私的日益关注,一种新的分布式训练框架--联邦学习(FL)应运而生。在FL的每次迭代(称为循环)中,边缘设备根据自己的数据更新本地模型,并通过无线信道上传模型更新来为全局训练做出贡献。由于有限的频谱资源,在每一轮中只能调度一部分设备。虽然大多数现有的工作调度集中在收敛的FL w.r.t.轮,在总的训练时间预算下的收敛性能尚未探索。在本文中,联合带宽分配和调度问题,制定捕获FL的长期收敛性能,并通过解耦为两个子问题来解决。对于带宽分配子问题,推导出的最优解建议分配更多的带宽给具有更差的信道条件或更弱的计算能力的设备。对于设备调度子问题,通过揭示达到一定模型精度所需的轮数和每轮延迟之间的权衡,启发了贪婪策略,该策略连续选择模型更新消耗最少时间的设备,直到实现学习效率和每轮延迟之间的良好权衡。实验结果表明,该策略优于其他国家的最先进的调度策略,在训练时间预算的最佳可实现的模型精度。
2019-11-03 cs.IT cs.LG cs.NI
Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Southeast University(东南大学)
本文提出用于空中联邦学习的概率设备调度框架PO-FL,通过基于信道与梯度重要性优化设备调度概率以减轻信道噪声影响,实现了更快的收敛和更优的模型性能。
2023-11-23 cs.DC cs.LG