Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment
Indian Institute of Information Technology Allahabad(阿拉哈巴德印度信息技术学院)
本文提出Equitable-FL,一种基于彩票假设的稀疏联邦学习方法,通过逐步稀疏化模型使资源受限节点参与协作训练,并在多个基准数据集上验证了其有效性。
2023-09-02 cs.AI cs.CV cs.DC
Toward Multiple Federated Learning Services Resource Sharing in Mobile Edge Networks
Kyung Hee University(庆熙大学);The University of Sydney(悉尼大学);University of Houston(休斯顿大学)
联邦学习是一种新的学习方案,用于协作训练共享预测模型,同时将数据本地保存在参与设备上。在本文中,我们研究了一种新的模型,多个联邦学习服务的多访问边缘计算服务器。因此,必须考虑在每个移动终端的学习服务之间共享CPU资源以用于本地训练过程,以及在移动设备之间分配通信资源以用于交换学习信息。此外,不同学习服务的收敛性能取决于需要精确确定的超学习率参数。为此,我们提出了一个联合资源优化和超学习率控制问题,即MS-FEDL,关于移动设备的能量消耗和整体学习时间。我们设计了一个集中式算法的基础上的块坐标下降法和分散的JP-miADMM算法来解决MS-FEDL问题。与集中式方法不同,分散式方法需要多次迭代才能获得,但它允许每个学习服务独立地管理本地资源和学习过程,而不会泄露学习服务信息。我们的仿真结果表明,我们提出的算法的收敛性能和优越的性能相比,我们提出的算法的启发式策略。
2020-11-25 cs.DC cs.LG
Federated Learning in IoT: a Survey from a Resource-Constrained Perspective
本文从客户端和服务器双视角综述资源受限物联网环境下联邦学习的部署挑战与对应方案,按应用位置分类并评估效果,同时提出新的评估指标以支撑相关研究。
2023-08-25 cs.DC cs.LG
SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
针对资源受限设备微调大型预训练模型的隐私与高通信开销问题,提出SFPrompt方法,结合分割学习与联邦学习,引入软提示、数据集剪枝和本地损失更新策略,在保持性能的同时大幅降低计算与通信成本。
2024-07-24 cs.AI cs.DC cs.LG
Fair Resource Allocation in Federated Learning
CMU(卡内基梅隆大学);Facebook AI(Facebook人工智能)
联邦学习涉及在大规模异构网络中训练统计模型。在这样的网络中简单地最小化聚合损失函数可能不成比例地有利于或不利于某些设备。在这项工作中,我们提出了q-公平联邦学习(q-FFL),一种新的优化目标的启发,在无线网络中的公平资源分配,鼓励更公平(具体地说,更均匀)的准确性分布在联合网络中的设备。为了解决q-FFL,我们设计了一个通信效率高的方法,q-FedAvg,这是适合于联邦网络。我们在一套具有凸模型和非凸模型的联邦数据集上验证了q-FFL的有效性和q-FedAvg的效率,并表明q-FFL(以及q-FedAvg)在公平性、灵活性方面优于现有基线。和效率。
2020-02-14 cs.LG stat.ML
A Resource-Adaptive Approach for Federated Learning under Resource-Constrained Environments
Shandong University(山东大学);the University of Aizu(会津大学)
针对联邦学习中客户端资源异构受限及掉队者问题,提出资源自适应异步算法Fed-RAA,按能力分配模型片段并异步更新,理论证明收敛,实验验证其优势,为首个相关收敛性保证方法。
2024-06-19 cs.AI cs.DC cs.LG
FEDBUD: Joint Incentive and Privacy Optimization for Resource-Constrained Federated Learning
School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院)
本文提出FEDBUD系统,通过联合考虑数据量和噪声水平对激励策略的影响,解决联邦学习中隐私保护与激励策略设计的难题。
2026-04-12 cs.DC cs.LG
Bridging the Gap Between Foundation Models and Heterogeneous Federated Learning
Iowa State University(爱荷华州立大学);Intel Labs(英特尔实验室)
针对基础模型与异构边缘联邦学习集成的资源适配难题,提出含定制压缩算法的RaFFM自适应框架,可动态调整模型规模,在更低资源消耗下实现与传统全量联邦学习相当的性能。
2023-10-04 cs.DC cs.LG
Management of Resource at the Network Edge for Federated Learning
Institute of Computing(计算研究所);State University of Campinas(坎皮纳斯州立大学)
联邦学习已被探索为边缘训练的有前途的解决方案,其中终端设备协作以训练模型,而无需与其他实体共享数据。由于这些学习模型的执行发生在资源有限的边缘,因此必须开发新的解决方案。在本文中,我们描述了最近在边缘资源管理方面的工作,并探讨了在边缘执行联邦学习的挑战和未来方向。本文将讨论这种管理的一些问题,如资源发现、部署、负载均衡、迁移和能源效率。
2022-02-04 cs.LG cs.NI
Resource-Constrained Federated Learning with Heterogeneous Labels and Models
Global AI Accelerator, Ericsson(爱立信全球人工智能加速器);Indian Institute of Technology, Madras(马德拉斯印度理工学院);Ericsson Research(爱立信研究院)
各种物联网应用需要资源受限的机器学习机制,用于不同的应用,如普及医疗保健,活动监控,语音识别,实时计算机视觉等。联邦学习被证明是分布式和协作式机器学习的一个非常可行的选择。特别是,设备上的联邦学习是一个活跃的研究领域,然而,在解决统计(非IID数据)和模型异质性方面存在各种挑战。此外,在本文中,我们探讨了一个新的挑战的兴趣-处理标签异质性在联邦学习。为此,我们提出了一个框架,简单的$α$加权联邦聚合的分数,利用重叠的信息增益标签,同时节省带宽成本的过程中。对Animals-10数据集(具有4个标签以有效阐明结果)的经验评价表明,平均确定性准确度至少增加约16.7%。我们还通过在Raspberry Pi 2(单板计算平台)上进行不同迭代的联邦学习和推理实验,展示了我们提出的框架的设备上功能。
2020-11-06 cs.DC cs.LG cs.NI
Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving
The University of Hong Kong(香港大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Damo Institute, Alibaba(阿里巴巴达摩院);the University of New South Wales(新南威尔士大学)
针对端到端自动驾驶中通信资源受限的分层联邦学习问题,提出CRCHFL框架,利用混合数据与模型聚合最小化泛化误差,并在CARLA中验证其更快收敛与更优性能。
2023-06-28 cs.DC cs.LG cs.RO
Divide-and-Conquer the NAS puzzle in Resource Constrained Federated Learning Systems
Yale University(耶鲁大学)
提出DC-NAS分而治之方法,通过多样化采样和通道剪枝在联邦系统中高效进行神经架构搜索,以50%资源实现接近全规模NAS的精度。
2023-05-11 cs.AI cs.CV cs.LG
Leveraging Foundation Models for Efficient Federated Learning in Resource-restricted Edge Networks
University of Toronto(多伦多大学);Yazd University(亚兹德大学)
针对资源受限边缘网络中部署基础模型开展联邦学习的研究空白,提出FedD2P框架,通过将设备知识蒸馏到提示生成器适配冻结视觉语言基础模型,无需公共数据集,在多个图像分类任务上性能优于基线。
2024-09-14 cs.DC cs.LG
FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
在经典的联邦学习中,客户端通过将其私有数据上的底层模型的本地更新传达给协调服务器来对整体训练做出贡献。然而,当资源受限的客户端共同旨在训练大型机器学习模型时,更新和通信整个模型变得极其昂贵。在这种情况下,分裂学习提供了一种自然的解决方案,其中只有一小部分模型在客户端存储和训练,而其余大部分模型仅停留在服务器上。然而,分裂学习中采用的模型划分引入了大量的通信成本。本文解决了这个问题,通过压缩额外的通信使用一种新的聚类方案伴随着梯度校正方法。对图像和文本基准测试的大量经验评估表明,该方法可以实现高达$490\times$的通信成本降低,精度下降最小,并实现理想的性能与通信权衡。
2022-02-16 cs.DC cs.LG
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
异构边缘网络上的通信是联邦学习(FL)中的一个基本瓶颈,限制了模型容量和用户参与。为了解决这个问题,我们引入了两种新的策略来降低通信成本:(1)在服务器到客户端发送的全局模型上使用有损压缩;以及(2)联合丢弃,它允许用户在全局模型的较小子集上有效地本地训练,并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明,这些策略,结合现有的压缩方法的客户端到服务器的通信,共同提供了一个$14\times$减少服务器到客户端的通信,一个$1.7\times$减少本地计算,和一个$28\times$减少上传通信,所有没有降低最终模型的质量。因此,我们全面降低了FL对客户端设备资源的影响,允许训练更高容量的模型,并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Resource Rationing for Wireless Federated Learning: Concept, Benefits, and Challenges
University of Virginia(弗吉尼亚大学);University of Miami(迈阿密大学);Sun Yat-Sen University(中山大学)
我们提倡一种新的资源分配框架,我们的术语资源配给,无线联邦学习(FL)。与现有的FL资源分配方法不同,资源配给的重点是在学习轮之间平衡资源,以便明确捕获它们对联邦学习性能的集体影响。这种新的框架可以无缝集成与现有的资源分配方案,以优化融合的FL。特别是,一种新的“后是更好的”原则是在前面和中心的资源配给,这是经验验证的无线FL的几个实例。我们还指出了技术挑战和研究机会,值得追求。资源配给强调了将新兴FL视为具有自身特征的新服务类别并为这种特定服务设计通信算法的好处。
2021-04-14 cs.IT cs.LG cs.NI
Ed-Fed: A generic federated learning framework with resource-aware client selection for edge devices
Indian Institute of Science(印度科学学院)
本文提出通用联邦学习框架 Ed-Fed 及资源感知客户端选择算法,通过动态设置训练时间处理落后设备,显著优化边缘异构场景下的等待时间。
2023-07-14 cs.DC cs.LG
Tackling Resource-Constrained and Data-Heterogeneity in Federated Learning with Double-Weight Sparse Pack
FedCSPACK通过余弦稀疏打包和双权重聚合方法,有效解决联邦学习中资源受限和数据异质性问题,提升通信和计算效率的同时保持高模型精度。
2026-01-05 cs.DC cs.LG
On-the-fly Resource-Aware Model Aggregation for Federated Learning in Heterogeneous Edge
Princeton University(普林斯顿大学);Purdue University(普渡大学)
边缘计算以其灵活、安全和性能特点彻底改变了移动和无线网络世界。最近,我们见证了越来越多地使用它来更好地部署机器学习(ML)技术,如联邦学习(FL)。FL的首次亮相是为了提高通信效率相比,传统的分布式机器学习(ML)。原始FL假设一个中央聚合服务器来聚合本地优化的参数,可能会带来可靠性和延迟问题。在本文中,我们进行了深入的研究策略,以取代这个中央服务器的飞行大师,是动态选择的基础上,当前的参与者和/或可用的资源,在每一个FL轮的优化。具体来说,我们比较不同的指标来选择这个飞行大师和评估共识算法来执行选择。我们的结果表明,与在EdgeAI测试平台和使用可操作边缘测试平台的真实5G网络中进行的测量结果相比,使用我们的飞行大师FL框架的运行时间显着减少。
2021-12-21 cs.DC cs.LG
User Assignment and Resource Allocation for Hierarchical Federated Learning over Wireless Networks
Nanyang Technological University(南洋理工大学)
本文针对无线网络下分层联邦学习中的用户分配与资源分配问题,提出频谱资源优化算法SROA和两阶段迭代算法TSIA,以联合降低系统能耗和延迟。
2023-09-17 cs.DC cs.LG
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
本文提出AdaptiveFL方法,通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制,为异构AIoT设备动态分配合适的局部模型,在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization
Xidian University(西安电子科技大学);JD Tech(京东科技);MBZUAI(穆罕默德·本·扎耶德人工智能大学);JD Finance America Corporation(京东金融美国公司);Simon Fraser University(西蒙弗雷泽大学);University of Pittsburgh(匹兹堡大学)
垂直联邦学习(VFL)是培训新兴跨组织(例如,不同的公司、公司和组织)具有隐私保护的协作学习。随机梯度下降(SGD)方法是训练VFL模型的流行选择,因为每次迭代计算量低。然而,现有的基于SGD的VFL算法是通信昂贵的,由于大量的通信轮。同时,现有的VFL算法大多采用同步计算,严重影响了实际应用中计算资源的利用率。为了解决通信和计算资源利用率的挑战,我们提出了一个异步随机拟牛顿(AsySQN)框架VFL,在此框架下,提出了三个算法,即AsySQN-SGD,-SVRG和-SAGA。所提出的AsySQN型算法通过近似(不显式计算逆Hessian矩阵)Hessian信息来缩放下降步骤,在实践中比基于SGD的方法收敛得更快,从而可以显着减少通信轮数。此外,采用异步计算可以更好地利用计算资源。我们从理论上证明了我们所提出的算法的收敛速度强凸问题。在真实数据集上的大量数值实验表明,与现有的VFL算法相比,该算法具有更低的通信开销和更好的计算资源利用率。
2021-09-26 cs.DC cs.LG
From Distributed Machine Learning to Federated Learning: A Survey
Baidu Inc.(百度公司);Auburn University(奥本大学);University of Oregon(俄勒冈大学)
近年来,数据和计算资源通常分布在终端用户、各个区域或组织的设备中。由于法律或法规的限制,分布式数据和计算资源不能在不同地区或组织之间直接共享,以执行机器学习任务。联邦学习是一种利用分布式数据和计算资源的有效方法,可以协同训练机器学习模型,同时遵守法律法规,确保数据安全和数据隐私。在本文中,我们提供了一个全面的调查现有的工作联邦学习。我们提出了一个功能架构的联邦学习系统和相关技术的分类。此外,我们提出了分布式训练,数据通信,FL系统的安全性。最后,我们分析了它们的局限性,并提出了未来的研究方向。
2022-03-25 cs.AI cs.DC cs.LG
Towards cost-effective and resource-aware aggregation at Edge for Federated Learning
Virginia Tech(弗吉尼亚理工大学);University of Minnesota(明尼苏达大学);University of Virginia(弗吉尼亚大学)
针对边缘端联邦学习现有云聚合方案资源效率低、成本高的问题,本研究首次提出边缘自适应FL聚合器,可平衡成本与效率,相较云静态方案可扩展性最高提4倍、时间效率提8倍、成本降超2倍。
2024-01-27 cs.DC cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校);Michigan State University(密歇根州立大学)
联邦学习(FL)是一种流行的分布式学习模式,它从一组参与用户中学习模型,而无需共享原始数据。FL的一个主要挑战来自异构用户,这些用户可能具有分布不同(或非iid)的数据和不同的计算资源。由于联邦用户将使用模型进行预测,他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练(AT)为集中式学习提供了一个良好的解决方案,但将其用于联合用户带来了重大挑战,因为许多用户可能只有非常有限的训练数据和紧张的计算预算,以负担数据饥饿和昂贵的AT。在本文中,我们研究了一种新的FL策略:在联邦学习过程中,将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现,现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略,并提出了一个有效的传播方法,通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是,所提出的方法被证明是授予联邦模型显着的鲁棒性,即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
Boosting Resource-Constrained Federated Learning Systems with Guessed Updates
EPFL(瑞士联邦理工学院)
针对联邦学习中边缘设备资源受限、系统异构导致收敛慢及超参数调优耗资源的问题,提出无梯度推测更新算法GEL,可结合多种前沿算法,在学习率未最优调优时提升性能,资源受限网络中收敛速度最高提升40%,降低调优需求。
2025-06-14 cs.DC cs.LG
Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文研究移动边缘网络中资源受限与不确定性下的联邦学习优化问题,提出基于Lyapunov优化的在线客户端调度与资源分配方案,在保证模型准确度的同时有效降低训练延迟并提升资源效率。
2024-09-29 cs.AI cs.DC cs.LG
Federated Learning over Wireless IoT Networks with Optimized Communication and Resources
Royal Institute of Technology (KTH)(皇家理工学院(KTH));Princeton University(普林斯顿大学)
为了充分利用海量的分布式数据和计算资源,网络边缘的机器学习被认为是一种很有前途的技术,特别是对于大规模模型训练。联邦学习(Federated learning,FL)作为协作学习技术的一种范式,因其通信效率高、数据保密性好等优点而受到越来越多的研究关注。由于有损耗的通信信道和有限的通信资源(例如,带宽和功率),研究无线系统上的快速响应和准确的FL方案是令人感兴趣的。因此,我们调查的问题,联合优化的通信效率和资源的FL在无线物联网(IoT)网络。为了降低复杂度,我们将整个优化问题分为两个子问题,即,客户端调度问题和资源分配问题。为了降低FL在无线物联网中的通信开销,提出了一种新的客户端调度策略。为了最大限度地成功的信息交换网络,拉格朗日乘子的方法,首先利用解耦变量,包括功率变量,带宽变量和传输指标。在此基础上,提出了一种基于线性搜索的功率和带宽分配方法。给定适当的超参数,我们证明了所提出的通信有效的联邦学习(CEFL)框架以强线性速率收敛。通过大量的实验,它表明,所提出的CEFL框架大大提高了通信效率和学习性能的训练损失和测试准确性的FL在无线物联网网络相比,一个基本的FL方法与统一的资源分配。
2021-10-22 cs.DC cs.LG eess.SP
Federated Learning in Unreliable and Resource-Constrained Cellular Wireless Networks
University of Manitoba(曼尼托巴大学)
随着智能设备数量的增长及其硬件的进步,近年来,数据驱动的机器学习技术引起了人们的极大关注。但是,由于隐私和通信问题,无法在集中位置收集这些数据。联邦学习是一种机器学习设置,其中集中位置通过远程设备训练学习模型。除非考虑到无线介质的不可靠和资源受限性质,否则无法在现实世界场景中采用联邦学习算法。在本文中,我们提出了一个联邦学习算法,适用于蜂窝无线网络。我们证明了它的收敛性,并提供了最佳的调度策略,最大限度地提高收敛速度。我们还研究了局部计算步骤和通信步骤对算法收敛性的影响。我们证明,在实践中,联邦学习算法可以解决一个不同的问题,他们已经被雇用的,如果无线信道的不可靠性被忽略。最后,通过在真实数据集和合成数据集上的大量实验,我们证明了我们所提出的算法的收敛性。
2020-12-09 cs.LG cs.NI
A Survey on Secure and Private Federated Learning Using Blockchain: Theory and Application in Resource-constrained Computing
Florida International University(佛罗里达国际大学);Southern Illinois University(南伊利诺伊大学)
近年来,由于先进机器学习和人工智能的快速发展以及新兴的安全和隐私威胁,联邦学习(FL)得到了广泛的普及。FL可以从边缘设备的本地数据存储中高效地生成模型,而不会向任何实体泄露敏感数据。虽然这种模式部分缓解了用户敏感数据的隐私问题,但由于日益增长的网络威胁和隐私侵犯技术,FL过程的性能可能受到威胁并达到瓶颈。为了加快FL过程的扩散,FL环境的区块链集成引起了学术界和工业界人士的广泛关注。区块链具有去中心化、不变性、共识和透明性的特点,有可能防止安全和隐私威胁。然而,如果区块链机制需要昂贵的计算资源,那么资源受限的FL客户端就不能参与训练。考虑到这一点,本次调查的重点是审查在资源受限的FL环境中成功部署区块链的挑战、解决方案和未来方向。我们全面回顾了适合FL过程的变体区块链机制,并讨论了它们在有限资源预算下的权衡。此外,我们还广泛分析了在资源受限的FL环境中可能观察到的网络威胁,以及区块链如何在阻止这些网络攻击方面发挥关键作用。为此,我们强调了一些潜在的解决方案,以实现区块链和联邦学习的耦合,这些解决方案可以提供高水平的可靠性、数据隐私和分布式计算性能。
2023-03-24 cs.CR cs.DC cs.LG
Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices
ShanghaiTech University(上海科技大学);LG Electronics(乐金电子);The University of Hong Kong(香港大学)
联邦学习(FL)是一种流行的框架,用于在无线网络中使用分布式移动数据来训练AI模型。它通过将学习任务分配给多个边缘设备,同时试图保护其本地数据隐私,从而实现数据并行。实际FL面临的一个主要挑战是资源受限设备与更新深度神经网络模型的计算密集型任务作斗争。为了解决这一问题,本文在经典的随机模型剪枝丢弃方案的基础上,提出了一种联邦丢弃(FedDrop)方案。具体地,在FL算法的每次迭代中,在服务器处使用dropout但具有异构的dropout率(即,参数修剪概率),其中的每一个都适合于所分配的信道的状态。这些数据将被下载到相关设备以进行更新。因此,与传统FL相比,FedDrop减少了通信开销和设备的计算负载,同时在过拟合的情况下优于后者,并且还优于具有均匀丢弃的FL方案(即,相同)。
2022-02-05 cs.IT cs.LG math.IT
AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks
Department of Electrical and Electronic Engineering, University of Hong Kong(香港大学电子与电气工程系)
本文针对资源受限边缘网络中的分割联邦学习效率问题,提出AdaptSFL框架,通过自适应控制客户端模型聚合与模型分割来平衡通信计算时延和训练收敛,实验表明其能显著缩短达到目标精度所需的时间。
2025-06-04 cs.AI cs.DC cs.LG
The Resource Problem of Using Linear Layer Leakage Attack in Federated Learning
Purdue University(普渡大学);University of Southern California(南加州大学)
安全聚合承诺在联邦学习中提高隐私级别,维护服务器只能访问解密的聚合更新。在这种情况下,线性层泄漏方法是唯一能够扩展并实现高泄漏率的数据重建攻击,无论客户端数量或批量大小如何。这是通过增加注入的全连接(FC)层的大小来完成的。然而,这导致随着客户端数量的增加而增长的资源开销。我们表明,这种资源开销是由一个不正确的角度在所有以前的工作,对待一个聚合更新的攻击,以同样的方式作为一个更大的批量大小的个人更新。相反,通过从聚合组合多个单独更新的角度攻击更新,这允许应用稀疏性来减轻资源开销。我们表明,使用稀疏性可以减少超过327 $\times$的模型大小开销和3.34 $\times$的计算时间相比,SOTA,同时保持相等的总泄漏率,77%,即使与$1000$客户端聚合。
2023-03-27 cs.CR cs.CV cs.LG
Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC))
针对二阶联邦学习计算存储成本高、通信开销大的问题,提出结合稀疏海森矩阵估计与空中聚合的可扩展二阶FL算法,相比基线方法节省超67%的通信资源与能耗。
2025-01-14 cs.LG
FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices
Huazhong University of Science and Technology(华中科技大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对资源受限边缘设备中模型异构一次性联邦学习的性能与数据依赖问题,提出FedMHO框架,通过异构模型分配、两阶段服务器处理及知识遗忘缓解策略,在多实验设置下优于现有基线。
2025-02-12 cs.AI cs.DC cs.LG
A Comprehensive Survey on Joint Resource Allocation Strategies in Federated Edge Learning
Jiangnan University(江南大学);Tsinghua University(清华大学);Qualcomm(高通公司)
本文全面综述了联邦边缘学习(FEL)中计算、数据、通信和网络拓扑的联合资源分配策略,指出其能有效提升系统效率与隐私保护,为多资源优化提供理论支持与部署思路。
2024-10-10 cs.LG
GFPL: Generative Federated Prototype Learning for Resource-Constrained and Data-Imbalanced Vision Task
Xi’an Jiaotong University(西安交通大学);Air Force Engineering University(空军工程大学)
GFPL通过生成式联邦原型学习方法,解决联邦学习中因多数类特征偏见导致的知识融合效率低下和通信开销过大的问题,提升模型准确率并降低通信成本。
2026-02-25 cs.CV cs.LG
DynamicFL: Federated Learning with Dynamic Communication Resource Allocation
University of Minnesota-Twin Cities(明尼苏达大学双城分校);Duke University(杜克大学)
本文提出 DynamicFL 框架,依据客户端数据统计异质性和通信约束动态分配资源,以连接 FedSGD 与 FedAvg,并在实验中最高提升 10% 准确率。
2024-09-08 cs.LG
Differentially Private Federated Learning for Resource-Constrained Internet of Things
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Air Force Research Laboratory(空军研究实验室)
随着物联网(IoT)时代具有内置传感器、互联网连接和可编程计算能力的智能设备的激增,在网络边缘产生了大量数据。联邦学习能够分析来自一组分布式智能设备的大量数据,而无需将数据上传到中心位置。然而,常用的联邦学习算法是基于随机梯度下降(SGD)的,并且由于其高通信资源要求而不适合于资源受限的IoT环境。此外,智能设备上敏感数据的隐私已成为一个关键问题,需要严格保护。本文提出了一种新的联邦学习框架DP-PASGD,用于从物联网中资源受限的智能设备存储的数据中有效地训练机器学习模型,同时保证差分隐私。将DP-PASGD的最优方案设计转化为一个优化问题,在满足资源代价和隐私损失限制的前提下,最大化学习性能,并基于DP-PASGD的收敛性分析,提出了一种近似求解方法,有效地解决了该优化问题.基于真实数据集的数值结果验证了DP-PASGD格式的有效性。
2020-03-28 cs.CR cs.LG stat.ML
FTTE: Enabling Federated and Resource-Constrained Deep Edge Intelligence
本文提出FTTE框架,通过稀疏参数更新和基于年龄和方差的滞后期加权聚合,解决联邦学习在资源受限边缘节点上的部署难题,实现更快收敛和更低资源消耗。
2026-03-23 cs.LG
TinyProto: Communication-Efficient Federated Learning with Sparse Prototypes in Resource-Constrained Environments
SAKAK Inc.(SAKAK公司);The Cyber University of Korea(韩国网络大学)
针对资源受限环境下联邦学习的通信效率挑战,提出TinyProto,通过类别原型稀疏化和自适应缩放降低通信成本(最多4倍),无需客户端计算开销且支持异构架构,保持性能。
2025-07-06 cs.LG
ESFL: Efficient Split Federated Learning over Resource-Constrained Heterogeneous Wireless Devices
University of Florida(佛罗里达大学);Shandong University(山东大学);University of Hong Kong(香港大学);City University of Hong Kong(香港城市大学)
针对联邦学习中设备与服务器资源高效利用的难题,提出高效拆分联邦学习算法ESFL,通过拆分模型并联合优化用户侧负载与服务器资源分配,在异构设备场景下显著提升学习效率。
2024-04-17 cs.AI cs.LG cs.NI
Federated Hyperdimensional Computing for Resource-Constrained Industrial IoT
Tampere University(塔尔皮奥大学);Tampere Institute for Advanced Study(塔尔皮奥高级研究 institute);Intel Corporation(英特尔公司)
本文提出一种轻量级联邦超维度计算框架,用于解决工业物联网中内存、计算能力和无线带宽受限的问题,通过原型表示交换降低通信开销,实现快速收敛和高效协作学习。
2026-03-20 cs.LG cs.NI
Efficient Federated Finetuning of Tiny Transformers with Resource-Constrained Devices
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Huawei Research Center(华为研究中心)
针对联邦学习中LoRA微调存在的内存和FLOP低效问题,提出新型层微调方案,使资源受限设备能高效利用预训练模型,在同/异构约束下精度优于现有技术且通信量与LoRA相当。
2025-04-16 cs.AI cs.DC cs.LG
Resource-Aware Asynchronous Online Federated Learning for Nonlinear Regression
Norwegian University of Science and Technology(挪威科技大学);University of Notre Dame(圣母大学);University of Hawaii(夏威夷大学)
联邦学习文献中的许多假设都提供了最佳情况,但在大多数现实应用中无法满足。异步设置反映了联邦学习方法必须能够可靠运行的现实环境。除了参与者处的非IID数据的变化量之外,异步设置对由于可用计算能力和电池限制而导致的异构客户端参与进行建模,并且还考虑了客户端和服务器之间的延迟通信。为了减少与异步在线联邦学习(ASO-Fed)相关的通信开销,我们使用基于部分共享的通信原理。通过这种方式,我们减少了参与者的沟通负担,因此,使参与学习任务更容易。我们证明了所提出的ASO-Fed的收敛性,并提供了仿真来进一步分析其行为。仿真结果表明,在异步设置中,它是可能的,以实现相同的联邦随机梯度(在线FedSGD)的收敛,同时减少了十倍的通信。
2021-11-27 cs.DC cs.LG cs.MA
SEMFED: Semantic-Aware Resource-Efficient Federated Learning for Heterogeneous NLP Tasks
Military College of Signals (MCS) National University of Sciences and Technology (NUST)(军事信号学院(MCS)国立科学与技术大学(NUST))
本文提出SEMFED框架,通过语义感知客户端选择、自适应模型架构和语义特征压缩技术,解决异构NLP任务中的联邦学习挑战,在保持98%以上准确率的同时降低80.5%通信成本。
2025-05-26 cs.AI cs.CL cs.LG
Efficient Resource Optimization for Split Federated Learning
the University of Hong Kong(香港大学)
针对拆分联邦学习中混合整数优化难题,提出资源受限网络下的高效优化框架,联合优化模型拆分与资源分配,实现能耗-延迟最优权衡,可适配大规模用户场景。
2026-08-19 cs.LG
AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);University of Notre Dame(圣母大学)
提出AdapterFL,一种面向资源受限移动系统的自适应异构联邦学习方法,通过模型重组策略自适应结合大小模型参数进行协作训练,有效缓解了大型模型性能下降问题,准确率最高提升12%。
2023-11-23 cs.LG
Federated Learning for Resource-Constrained IoT Devices: Panoramas and State-of-the-art
Florida International University(佛罗里达国际大学);Arm ML Research(Arm机器学习研究中心);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Binghamton University, the State University of New York(纽约州立大学宾汉姆顿分校)
如今,设备配备有具有更高处理/计算能力的先进传感器。此外,广泛的互联网可用性使得能够在感测设备之间进行通信。因此,在边缘设备上生成大量数据,以推动物联网(IoT),众包和其他新兴技术。收集的大量数据可以进行预处理、缩放、分类,最后用于使用机器学习(ML)方法预测未来事件。在传统的机器学习方法中,数据被发送到中央服务器并在中央服务器中处理,这会遇到通信开销、处理延迟、隐私泄露和安全问题。为了克服这些挑战,每个客户都可以根据其可用数据并通过从全球模型中学习来进行本地培训。这种分散的学习结构被称为联邦学习(FL)。然而,在大规模网络中,可能存在具有不同计算资源能力的客户端。这可能导致FL技术的实现和可扩展性的挑战。在本文中,我们首先介绍了一些最近实现的FL的现实生活中的应用。然后,我们强调了实现FL算法的核心挑战,从资源限制的角度来看(例如,存储器、带宽和能量预算)。我们最后讨论了与FL相关的开放问题,并强调了FL领域有关资源受限设备的未来发展方向。
2020-02-25 cs.DC cs.LG stat.ML
TITAN-FedAnil+: Trust-Based Adaptive Blockchain Federated Learning for Resource-Constrained Intelligent Enterprises
University of Science and Technology of China(中国科学技术大学)
提出TITAN-FedAnil+框架,通过基于亲和传播的自适应聚类聚合过滤恶意更新、GPU加速向量化提升效率及有符号状态跳变机制实现轻量级区块链重同步,在资源受限边缘设备上内存开销降低81%。
2026-06-03 cs.AI cs.CR cs.LG
Multi-Resource Allocation for On-Device Distributed Federated Learning Systems
University of Electronic Science and Technology of China(电子科技大学);Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出了一种分布式多资源分配方案,用于最小化设备上分布式联邦学习(FL)系统的延迟和能耗的加权和。系统中的每个移动终端在指定区域内参与模型训练过程,并分配其计算和通信资源分别用于导出和上传参数,以使系统的目标最小化,该目标受制于计算/通信预算和目标延迟要求。特别地,移动设备经由无线TCP/IP架构连接。利用优化问题的结构,将问题分解为两个凸子问题。利用拉格朗日对偶和和声搜索技术,我们通过所有子问题的封闭形式的解来表征全局最优解,从而为多资源权衡提供定性的见解。数值模拟被用来验证分析和评估所提出的算法的性能。
2022-11-01 cs.LG cs.SY eess.SY
DART: A Server-side Plug-in for Resource-efficient Robust Federated Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
DART是一种服务器端插件,通过在不增加客户端开销的情况下提升联邦学习的鲁棒性,适用于资源受限环境下的稳健联邦学习部署。
2026-03-25 cs.LG
FedZKT: Zero-Shot Knowledge Transfer towards Resource-Constrained Federated Learning with Heterogeneous On-Device Models
Michigan Technological University(密歇根理工大学);University of Florida(佛罗里达大学)
联邦学习使多个分布式设备能够协作学习共享的预测模型,而无需集中其设备上的数据。大多数当前的算法需要具有相同结构和大小的设备上模型的本地训练的可比的个人努力,然而,这阻碍了资源受限的设备的参与。鉴于当今广泛而异构的设备,在本文中,我们提出了一个创新的联邦学习框架,通过Zero-shot知识转移,命名为FedZKT的异构设备上的模型。具体来说,FedZKT允许设备根据其本地资源独立确定设备上的模型。为了在这些异构的设备上模型之间实现知识转移,设计了一种zero-shot蒸馏方法,而不需要任何私有设备上数据的先决条件,这与基于公共数据集或预训练数据生成器的某些现有研究相反。此外,这种计算密集型的蒸馏任务被分配给服务器,以允许资源受限的设备参与,其中生成器通过收集的设备上模型的集合来对抗学习。然后,将提取的中心知识以相应的设备上模型参数的形式发送回来,这些参数可以很容易地在设备侧被吸收。大量的实验研究证明了FedZKT对设备上知识不可知、设备上模型异构和其他具有挑战性的联邦学习场景(如异构设备上数据和离散效应)的有效性和鲁棒性。
2022-04-05 cs.LG stat.ML
ASFL: An Adaptive Model Splitting and Resource Allocation Framework for Split Federated Learning
Department of Electrical and Computer Engineering, The University of British Columbia, Vancouver, Canada(电气与计算机工程系,不列颠哥伦比亚大学);Department of Computer Science and Engineering, Southern University of Science and Technology, China(计算机科学与工程系,南方科技大学)
ASFL框架通过自适应模型分割和资源分配优化,在无线网络中提升联邦学习的收敛速度和效率。
2026-02-19 cs.AI cs.LG