Cost-TrustFL: Cost-Aware Hierarchical Federated Learning with Lightweight Reputation Evaluation across Multi-Cloud
Westcliff University(韦斯特克莱夫大学);University of Virginia(弗吉尼亚大学);University of Washington(华盛顿大学);Northeastern University(东北大学);University of Michigan(密歇根大学)
Cost-TrustFL通过轻量级声誉评估和成本感知聚合策略,在多云环境中实现模型性能与通信成本的联合优化,有效防御中毒攻击。
2025-12-23 cs.LG
Federated Learning for Heterogeneous Electronic Health Record Systems with Cost Effective Participant Selection
KAIST(韩国科学技术院);Graduate School of AI(人工智能研究生院)
本文提出EHRFL框架,通过文本基于的EHR建模和差分隐私的参与者选择策略,在预算内构建机构特定的预测模型,提高异构EHR系统的兼容性和效率。
2026-01-29 cs.LG
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降(SGD)是分散式联邦学习(DFL)的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中,我们提出了一个通用的DFL框架,它实现了多个本地更新和多个节点间的通信周期,以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证,而无需假设凸目标。DFL的收敛速度可以被优化,以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率,将压缩通信作为一种新的方案引入到DFL中,命名为DFL with compressed communication(C-DFL)。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明,DFL优于传统的分散SGD方法,并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
DualFL: A Duality-based Federated Learning Algorithm with Communication Acceleration in the General Convex Regime
Pennsylvania State University(宾夕法尼亚州立大学)
提出DualFL算法解决联邦学习分布式优化问题,通过基于对偶的方法实现一般凸成本函数的通信加速,并提供了简洁优雅的收敛分析。
2024-01-10 cs.LG math.OC
WrapperFL: A Model Agnostic Plug-in for Industrial Federated Learning
The Hong Kong University of Science and Technology(香港科技大学);WeBank Inc.(微众银行)
联邦学习作为一种保护隐私的协作式机器学习范式,受到了业界越来越多的关注。随着需求的巨大增长,出现了许多联邦学习平台,允许联邦参与者从头开始设置和构建联邦模型。然而,现有的平台具有高度侵入性,复杂性,并且难以与构建的机器学习模型集成。对于许多已经拥有成熟服务模型的现实世界企业来说,现有的联邦学习平台具有很高的进入门槛和开发成本。本文提出了一个简单而实用的联邦学习插件的启发集成学习,被称为WrapperFL,允许参与者建立/加入一个联邦系统与现有的模型以最小的成本。WrapperFL以即插即用的方式工作,只需连接到现有模型的输入和输出接口,无需重新开发,大大减少了人力和资源的开销。我们验证了我们提出的方法在异构数据分布和异构模型下的不同任务。实验结果表明,WrapperFL能够在实际环境下成功应用于广泛的应用,并以较低的代价通过联邦学习改进局部模型。
2022-08-03 cs.AI cs.DC cs.LG
Cost-Effective Federated Learning in Mobile Edge Networks
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人学会);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Yale University(耶鲁大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
联邦学习(FL)是一种分布式学习范式,它使大量移动设备能够在中央服务器的协调下协作学习模型,而无需共享它们的原始数据。尽管其实际效率和有效性,迭代的设备上学习过程(例如,本地计算和与服务器的全局通信)在学习时间和能量消耗方面招致相当大的成本,这主要取决于所选择的客户端的数量和每个训练回合中的本地迭代的数量。在本文中,我们分析了如何在移动边缘网络中设计自适应FL,最佳地选择这些基本控制变量,以最小化总成本,同时确保收敛。建立了总成本与控制变量之间的解析关系,并给出了收敛上界。为了有效地解决成本最小化问题,我们开发了一个低成本的基于采样的算法来学习收敛相关的未知参数。我们得到重要的解决方案的属性,有效地识别不同的优化指标的设计原则。实际上,我们评估我们的理论结果在模拟环境和硬件原型。实验证据验证了我们推导的属性,并表明我们提出的解决方案实现了接近最佳的性能,为不同的优化指标,为各种数据集和异构系统和统计设置。
2021-09-12 cs.DC cs.LG cs.NI
Decentralized federated learning methods for reducing communication cost and energy consumption in UAV networks
University College London(伦敦大学学院);King’s College London(伦敦国王学院)
本文针对无人机网络中传统联邦学习依赖中央服务器的问题,提出交换式联邦学习和交替式联邦学习两种去中心化聚合方法,通过控制本地训练轮数和通信来降低能耗与通信成本,并在仿真中验证其优于基准方法。
2023-04-13 cs.LG cs.NI
Towards cost-effective and resource-aware aggregation at Edge for Federated Learning
Virginia Tech(弗吉尼亚理工大学);University of Minnesota(明尼苏达大学);University of Virginia(弗吉尼亚大学)
针对边缘端联邦学习现有云聚合方案资源效率低、成本高的问题,本研究首次提出边缘自适应FL聚合器,可平衡成本与效率,相较云静态方案可扩展性最高提4倍、时间效率提8倍、成本降超2倍。
2024-01-27 cs.DC cs.LG
Tram-FL: Reducing Communication and Computation Costs through Sequential Model Circulation in Decentralized Federated Learning
Institute of Science Tokyo(东京科学大学)
提出Tram-FL机制,通过顺序循环单个模型并优化调度与量化动量,在去中心化联邦学习中同时降低通信和计算成本,并在非IID数据下保持高精度。
2026-10-07 cs.DC cs.LG cs.NI
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
Loosely Coupled Federated Learning Over Generative Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Intelligent Automotive Solution BU(华为智能汽车解决方案BU)
联邦学习(FL)是为了在不上传私有数据的情况下实现不同客户端之间的协作机器学习而提出的。然而,由于模型聚合策略,现有的框架需要严格的模型同质性,限制了应用在更复杂的场景。此外,FL的模型和梯度传输的通信成本非常高。本文提出了松耦合联邦学习(LC-FL)框架,该框架以生成模型为传输媒介,实现低通信开销和异构联邦学习。LC-FL可以应用于客户端拥有不同类型机器学习模型的场景。在不同多方场景下的真实数据集上的实验证明了该方法的有效性。
2020-09-28 cs.DC cs.LG stat.ML
Caching Techniques for Reducing the Communication Cost of Federated Learning in IoT Environments
Department of Electrical Engineering & Computer Science(电气工程与计算机科学系);The University of Missouri(密苏里大学)
针对联邦学习通信瓶颈,本文提出 FIFO、LRU 和基于优先级的缓存策略,选择性转发重要模型更新,在 CIFAR-10 与医学数据集上以极小准确率损失降低通信开销。
2025-07-19 cs.AI cs.CV cs.DC
Non-Convex Federated Optimization under Cost-Aware Client Selection
Saarland University & CISPA(萨尔兰州大学及CISPA);CISPA;CISPA Helmholtz Center for Information Security(CISPA信息安全中心)
本文提出了一种新的非凸联邦优化算法,通过引入成本感知的客户端选择策略,改进了通信和本地计算的复杂度。
2025-12-05 cs.LG math.OC
Architectural Patterns for the Design of Federated Learning Systems
CSIRO(联邦科学与工业研究组织);University of New South Wales(新南威尔士大学)
联邦学习已经受到学术界和工业界的快速增长的兴趣,以解决机器学习中的数据饥饿和隐私挑战。联邦学习系统可以被视为具有不同组件和利益相关者的大规模分布式系统,因为许多客户端设备参与联邦学习。设计一个联邦学习系统需要软件系统设计思维,而不需要机器学习知识。尽管人们从机器学习技术的角度对联邦学习进行了大量的研究,但在构建联邦学习系统时,软件体系结构设计的问题却被忽略了。因此,在本文中,我们提出了一个架构模式的集合,以处理联邦学习系统的设计挑战。在软件架构设计期间,架构模式为给定上下文中经常出现的问题提供了可重用的解决方案。所提出的模式是基于系统的文献综述的结果,包括三个客户端管理模式,四个模型管理模式,三个模型培训模式,和四个模型聚合模式。这些模式与联邦学习模型生命周期中的特定状态转换相关联,作为在联邦学习系统设计中有效使用模式的指导。
2021-06-18 cs.DC cs.LG cs.SE
FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
本文提出FedChain框架,融合本地与全局方法优势,在利用客户端相似性的同时实现关于通信轮数R的快速收敛,并在凸、PL及强凸设置下取得改进或近最优的通信复杂度。
2023-04-16 cs.DC cs.LG math.OC
Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models
University of Maryland, College Park(马里兰大学彭福分校);Queen Mary University of London(伦敦玛丽女王大学);Google DeepMind(谷歌DeepMind)
本文从理论和实验上证明,对于大型基础模型,单轮聚合的一次性联邦微调即可达到与多轮联邦微调相当的性能,显著降低通信成本并增强隐私性。
2025-11-06 cs.DC cs.LG
Federated Learning with Additional Mechanisms on Clients to Reduce Communication Costs
Tsinghua University(清华大学)
联邦学习(FL)支持通过由大量现代智能设备(如智能手机和IoT(物联网)设备)组成的分布式网络进行设备上训练。然而,在这样的设置中的主要优化算法,即,Federated Average(Federated Average)面临着沉重的通信成本和不可避免的性能下降,特别是当本地数据以非IID方式分布时。为了缓解这个问题,我们提出了两个潜在的解决方案,通过引入额外的机制,设备上的培训。第一个(FedMMD)是采用具有MMD(最大平均离散)约束的双流模型,而不是在设备上训练的vanilla FedAvg中的单个模型。实验表明,该方法优于基线,特别是在非IID FL设置,减少了超过20%的所需的通信轮。第二种是融合特征的FL(FedFusion)。通过聚合来自局部和全局模型的特征,我们以更少的通信成本实现了更高的准确性。此外,特征融合模块为新进入的客户端提供更好的初始化,从而加快收敛过程。在流行的FL场景中的实验表明,我们的FedFusion在准确性和泛化能力方面都优于基线,同时将所需的通信轮数减少了60%以上。
2019-09-01 cs.DC cs.LG stat.ML
Hierarchical Federated Learning through LAN-WAN Orchestration
Peking University(北京大学)
联邦学习(FL)旨在使移动电话能够协作学习全局模型,而无需将其私有数据上传到云服务器。然而,现有的FL协议在通常由广域网(WAN)供电的联合网络中具有关键的通信瓶颈,并且具有隐私问题。这样的WAN驱动的FL设计导致显著高的成本和慢得多的模型收敛。在这项工作中,我们提出了一个有效的FL协议,它涉及到一个分层聚合机制,在局域网(LAN),由于其丰富的带宽和几乎可以忽略不计的货币成本比WAN。我们提出的FL可以加速学习过程,并减少货币成本,在同一局域网中频繁的本地聚合和不频繁的跨WAN云上的全球聚合。我们进一步设计了一个具体的FL平台,即LanFL,它结合了几个关键技术来处理这些挑战所带来的局域网:云设备聚合架构,局域网内对等(P2P)拓扑生成,局域网间的带宽容量异构性。我们在2个典型的非IID数据集上对LanFL进行了评估,结果表明LanFL可以显著加快FL训练速度(1.5倍-6.0倍),节省WAN流量(18.3倍-75.6倍),并在保持模型准确性的同时降低货币成本(3.8倍-27.2倍)。
2020-10-22 cs.DC cs.LG
Federated Learning for Anomaly Detection in Maritime Movement Data
AIT Austrian Institute of Technology(奥地利技术研究院);craftworks GmbH(craftworks公司)
本文提出M3fed,一种基于联邦学习的运动异常检测模型,旨在提升数据隐私和降低通信成本。
2025-12-04 cs.LG
The Cost of Training Machine Learning Models over Distributed Data Sources
Centre Tecnològic de Telecomunicacions de Catalunya(加泰罗尼亚电信技术中心);Nokia Bell-Labs(诺基亚贝尔实验室)
联邦学习是标准集中式学习范式最有吸引力的替代方案之一,它允许一组异构设备在不共享原始数据的情况下训练机器学习模型。然而,它需要一个中央服务器来协调学习过程,从而引入了潜在的可扩展性和安全问题。在文献中,已经提出了无服务器的联邦学习方法,如八卦联邦学习和支持区块链的联邦学习,以缓解这些问题。在这项工作中,我们提出了一个完整的概述,这三种技术提出了一个比较,根据一组完整的性能指标,包括模型的准确性,时间复杂度,通信开销,收敛时间和能源消耗。一个广泛的模拟活动允许绘制一个定量分析,同时考虑前馈和卷积神经网络模型。结果表明,gossip联邦学习和标准联邦解决方案能够达到相似的精度水平,其能耗受所采用的机器学习模型、软件库和所使用的硬件的影响。因此,支持区块链的联邦学习代表了一种可行的解决方案,可以实现更高安全级别的分散学习,但代价是额外的能源使用和数据共享。最后,我们确定了两个分散的联邦学习实现的开放问题,并提供了在这个新的研究领域的潜在扩展和可能的研究方向的见解。
2023-02-28 cs.LG
Scheduling Algorithms for Federated Learning with Minimal Energy Consumption
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立理工学院);Inria(法国国家信息与自动化研究所);LaBRI(波尔多计算机科学实验室)
联邦学习(FL)为在异构移动或边缘设备上协作训练机器学习模型提供了机会,同时保持本地数据的私密性。随着其采用的增加,越来越多的人关注其经济和环境成本(对于其他机器学习技术也是如此)。不幸的是,由于能量最小化通常被作为次要目标,所以很少有人做工作来优化其能量消耗或二氧化碳或等效物的排放。在本文中,我们研究了通过控制工作负载分布来最小化异构设备上FL训练的能量消耗的问题。我们将其建模为最小成本FL调度问题,这是一个总成本最小化问题,具有相同的,独立的,和原子任务,必须分配给异构资源与任意成本函数。我们提出了一个伪多项式最优解决方案的问题的基础上,以前未探索的多选择最小值-费用最大背包包装问题。我们还提供了四个算法的情况下,成本函数单调增加,并遵循相同的行为。这些解决方案同样适用于其他类型的成本最小化,并在其他一维数据划分问题。
2022-09-13 cs.AI cs.DC cs.DS
Learner Referral for Cost-Effective Federated Learning Over Hierarchical IoT Networks
University of Electronic Science and Technology of China(电子科技大学);La Trobe University(乐卓博大学)
针对分层物联网中部分客户端未注册联邦学习网络导致FL无法适用的问题,提出学习者引荐辅助的客户端选择与资源调度、精度优化方法,结合Lyapunov优化与多种算法求解,实现了精度与成本的良好平衡。
2023-07-19 cs.LG cs.NI
An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
Great Bay University(大湾大学);Peking University(北京大学)
针对联邦学习在大规模深度神经网络应用中存在的客户端漂移及高通信、计算、内存成本问题,提出高效子空间算法FedSub,通过子空间投影和低维对偶变量解决问题,经收敛分析和实验验证了其高效性。
2026-09-29 cs.DC cs.LG
Towards Federated Learning at Scale: System Design
Google Inc.(谷歌公司)
联邦学习是一种分布式机器学习方法,它可以在大量分散数据上进行模型训练。我们基于TensorFlow为移动设备领域的联邦学习构建了一个可扩展的生产系统。在本文中,我们描述了由此产生的高层次设计,概述了一些挑战及其解决方案,并触及开放的问题和未来的发展方向。
2019-03-22 cs.DC cs.LG stat.ML
FedFMC: Sequential Efficient Federated Learning on Non-iid Data
Harvard University(哈佛大学)
作为设备在不共享数据的情况下更新全局模型的机制,联邦学习在数据需求和尊重隐私之间架起了一座桥梁。然而,经典的FL方法,如联邦平均,与非iid数据,在现实世界中的普遍情况下斗争。以前的解决方案是次优的,因为它们要么采用小的共享全局数据子集,要么采用更多的模型,从而增加了通信成本。我们提出了FedFMC(Fork-Merge-Consolidate),一种动态地将设备分叉为更新不同的全局模型,然后将单独的模型合并并合并为一个模型的方法。我们首先在简单的数据集上展示了FedFMC的可靠性,然后运行了几个实验,与基线方法进行比较。这些实验表明,FedFMC大大改善了早期的方法,非iid数据在联邦学习上下文中,不使用一个全球共享的数据子集,也不增加通信成本。
2020-06-19 cs.DC cs.LG stat.ML
Hyper-Sphere Quantization: Communication-Efficient SGD for Federated Learning
The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Co. Ltd(华为技术有限公司)
由于参与用户设备的带宽有限,因此传递梯度的高成本是联邦学习的主要瓶颈。现有的梯度压缩算法主要是针对高速网络的数据中心设计的,最多能达到$O(\sqrt{d} \log d)$的每次迭代通信开销,其中$d$为模型的大小。我们提出了超球量化(HSQ),一个通用的框架,可以配置为实现一个连续的通信效率和梯度精度之间的权衡。特别地,在高压缩比端,HSQ提供了$O(\log d)$的低的每次迭代通信成本,这有利于联邦学习。我们从理论上证明了HSQ的收敛性,并通过实验表明,HSQ显着降低了模型训练的通信成本,而不损害收敛精度。
2019-11-25 cs.IR cs.LG stat.ML
Enabling On-Device Training of Speech Recognition Models with Federated Dropout
Google LLC(谷歌公司)
联邦学习可用于在本地数据的边缘上训练机器学习模型,这些数据从未离开设备,默认情况下提供隐私。这提出了关于与客户端设备相关联的通信和计算成本的挑战。这些成本与正在训练的模型的大小密切相关,并且对于最先进的自动语音识别模型是重要的。我们建议使用联邦dropout来减少客户端模型的大小,同时训练服务器端的全尺寸模型。我们提供了联邦辍学的有效性的经验证据,并提出了一种新的方法来改变辍学率应用在每一层。此外,我们发现,联邦dropout使一组较小的子模型在较大的模型独立地具有较低的字出错率,使其更容易动态调整部署的模型的大小进行推理。
2021-10-07 cs.DC cs.LG
When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA
Meta Platforms, Inc.(元平台公司)
半监督学习(Semi-Supervised Learning,SSL)在计算机视觉领域受到了广泛的关注,导致了FixMatch等有前途的方法的发展。在训练数据分散并驻留在客户端设备上的情况下,SSL必须与隐私感知培训技术(如联邦学习)集成。我们认为,联邦图像分类的问题,并研究现有的联邦SSL(FSSL)的方法的性能和隐私的挑战。首先,我们注意到,即使是最先进的FSSL算法也可能轻微地损害客户端隐私和其他现实世界的约束,如客户端无状态和通信成本。其次,我们观察到将EMA(指数移动平均线)更新集成到联邦设置中具有挑战性,这需要在性能和通信成本之间进行权衡。我们提出了一种新的方法FedSwitch,通过指数移动平均(EMA)更新来提高隐私和泛化性能。FedSwitch利用联邦半监督教师-学生EMA框架,具有两个功能-本地教师自适应和教师和学生之间的自适应切换以生成伪标签。我们提出的方法优于联邦图像分类的最先进的,可以适应现实世界的约束,并实现了良好的泛化性能,最小的通信成本开销。
2023-01-24 cs.LG
Efficient and Secure Federated Learning for Financial Applications
China University of Political Science Law(中国政法大学);Xi’an Jiaotong University(西安交通大学);Ant Rongxin (Chengdu) Network Technology Co Ltd(蚂蚁融信(成都)网络科技有限公司)
传统的机器学习(ML)和深度学习方法需要与外部征信机构共享客户的敏感信息,以生成预测模型,从而为隐私泄露打开大门。这种漏损风险使金融公司的合作面临巨大挑战。联邦学习是一种可以保护数据隐私的机器学习设置,但高昂的通信代价往往是联邦系统的瓶颈,特别是对于大型神经网络。限制通信的数量和大小对于大型神经结构的实际训练是必要的。梯度稀疏化作为一种降低通信开销的方法受到越来越多的关注,它只更新重要的梯度,并在局部累积不重要的梯度。然而,安全聚合框架不能直接使用梯度稀疏化。本文提出了两种稀疏化方法,以减少联邦学习中的通信成本。一种是模型参数更新的时变分层稀疏化方法,解决了高比率稀疏化后模型精度的保持问题。它可以大大降低单次通信的成本。二是将稀疏化方法应用于安全聚合框架。我们稀疏加密掩码矩阵,以减少通信的成本,同时保护隐私。实验表明,在不同的Non-IID实验设置下,当稀疏率为0.01时,该方法可以将上传通信开销降低到传统联邦学习算法的2.9%~ 18.9%.
2023-03-15 cs.CR cs.LG
Convergence Visualizer of Decentralized Federated Distillation with Reduced Communication Costs
Center for Spatial Information Science, The University of Tokyo(东京大学空间信息科学中心)
本研究针对基于共识的多跳联邦蒸馏(CMFD)的通信成本高、收敛不可视问题,提出动态通信成本降低方法减少数据传输量,同时提出函数空间模型距离可视化技术展现模型变化轨迹。
2023-12-19 cs.LG cs.NI
Efficient and Private Federated Learning with Partially Trainable Networks
Google(谷歌)
联邦学习用于在大量(数百万)边缘移动设备上对机器学习模型进行分散式训练。这是具有挑战性的,因为移动设备通常具有有限的通信带宽和本地计算资源。因此,提高联邦学习的效率对于可伸缩性和可用性至关重要。在本文中,我们建议利用部分可训练的神经网络,在整个训练过程中冻结一部分模型参数,以减少通信成本,对模型性能的影响很小。通过大量的实验,我们的经验表明,部分可训练神经网络(FedPT)的联邦学习可以导致优越的通信精度权衡,在一个小的精度成本,通信成本高达$46\times$减少。我们的方法还可以实现更快的训练,更小的内存占用,以及更好的实用性,以实现强大的差分隐私保证。所提出的FedPT方法对于推动设备上学习中过度参数化的限制特别有趣。
2021-11-08 cs.LG
Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Technical University of Munich(慕尼黑工业大学);Arizona State University(亚利桑那州立大学)
本文提出CyBeR-0,一种具有拜占庭弹性的联邦零阶优化方法,通过转换鲁棒聚合在异构数据下保证非凸目标的收敛性,显著降低上下行通信成本与内存需求,并在标准任务和微调大型语言模型中表现出稳定性能。
2025-01-31 cs.CR cs.DC cs.LG
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University(耶鲁大学);Renmin University of China(中国人民大学);JD Technology Group(京东科技集团)
联邦学习有助于解决数据隐私和安全问题,近年来受到越来越多的关注。然而,现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型,导致Boosting步骤冗余,交互通信代价高。相比之下,联邦装袋模型通过并行构建多个决策树来节省时间,但它遭受性能损失。为了以更少的时间代价获得出色的性能,我们提出了一种新的模型,在垂直联邦设置称为联邦梯度提升森林(FedGBF)。FedGBF通过并行构建决策树作为Boosting的基础学习器,同时集成了Boosting和Bagging的优势。继FedGBF之后,超参数调优问题日益突出。然后,我们提出了动态FedGBF,它动态地改变每个森林的参数,从而降低了复杂性。最后,基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
D2P-Fed: Differentially Private Federated Learning With Efficient Communication
University of California, Berkeley(加州大学伯克利分校);Virginia Tech(弗吉尼亚理工大学)
在本文中,我们提出了基于离散高斯差分隐私联邦学习(D2 P-Fed),一个统一的计划,以实现差分隐私(DP)和联邦学习(FL)的通信效率。特别地,与仅兼顾这两个方面的先前工作相比,D2 P-Fed提供了更强的隐私保证、更好的可组合性和更小的通信成本。其核心思想是将离散高斯噪声应用于私有数据传输。我们提供了完整的分析的隐私保障,通信成本和收敛速度的D2 P-Fed。我们在INFIMNIST和CIFAR 10上评估了D2 P-Fed。结果表明,D2 P-Fed在模型精度方面比最先进的模型高出4.7%至13.0%,同时节省了三分之一的通信成本。
2021-01-02 cs.CR cs.LG stat.ME
Basis Matters: Better Communication-Efficient Second Order Methods for Federated Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Institut Polytechnique de Paris(巴黎理工学院)
分布式优化的最新进展表明,与一阶方法相比,具有适当通信压缩机制的牛顿型方法可以保证快速的本地速率和低通信成本。我们发现,这些方法的通信成本可以进一步降低,有时显着,用一个令人惊讶的简单技巧:{ \em基础学习(BL)}。其思想是通过矩阵空间中的基的变化来变换局部Hessian的通常表示,并将压缩工具应用于新的表示。为了证明使用自定义基的潜力,我们设计了一种新的牛顿型方法(BL 1),它通过{ \em BL}技术和双向压缩机制来降低通信成本。此外,我们提出了两种替代扩展(BL 2和BL 3)部分参与,以适应联邦学习应用程序。我们证明了局部线性和超线性速率独立的条件数。最后,我们通过比较几个一阶和二阶方法的数值实验来支持我们的观点。
2021-11-02 cs.LG math.OC
FLRA: A Reference Architecture for Federated Learning Systems
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);University of New South Wales(新南威尔士大学)
联邦学习是一种新兴的机器学习范例,它使多个设备能够在本地训练模型并制定全局模型,而无需共享客户端的本地数据。联邦学习系统可以被看作是一个大规模的分布式系统,涉及不同的组件和利益相关者,具有不同的需求和约束。因此,开发联邦学习系统需要软件系统设计思维和机器学习知识。尽管从机器学习的角度对联邦学习进行了大量的研究,但我们之前对该领域的系统文献回顾表明,联邦学习的软件架构设计明显缺乏考虑。在本文中,我们提出了FLRA,联邦学习系统的参考架构,它提供了一个模板设计的联邦学习为基础的解决方案。拟议的FLRA参考架构是基于对文献和现有工业实现中发现的联邦学习系统的现有模式的广泛审查。FLRA参考架构由一组架构模式组成,这些模式可以解决联邦学习架构中经常出现的设计问题。FLRA参考架构可以作为设计指南,帮助架构师和开发人员为他们的问题提供实用的解决方案,这些解决方案可以进一步定制。
2021-06-22 cs.DC cs.LG cs.SE
Federated Learning via Synthetic Data
University of Michigan(密歇根大学)
联邦学习允许使用多个客户端上的数据训练模型,而无需客户端传输原始数据。然而,标准的方法是传输模型参数(或更新),对于现代神经网络来说,这可能是数百万参数的规模,给客户端带来了巨大的计算成本。我们提出了一种用于联邦学习的方法,其中不是将梯度更新传输回服务器,而是传输少量的合成“数据”。我们描述的程序,并显示一些实验结果表明,该程序具有潜力,提供了一个以上的数量级减少通信成本与最小的模型退化。
2020-09-26 cs.LG stat.ML
Federated Learning of Binary Neural Networks: Enabling Low-Cost Inference
Department of Electrical Engineering, Indian Institute of Technology Madras(印度理工学院马德拉斯分校电子工程系);Department of Computer Science and Engineering, Jadavpur University(贾达布尔大学计算机科学与工程系)
本文提出FedBNN框架,通过在本地训练中直接学习二进制表示,优化边缘设备的内存和计算效率,减少资源消耗同时保持与传统联邦方法相当的性能。
2026-11-11 cs.CV cs.LG
Privately Customizing Prefinetuning to Better Match User Data in Federated Learning
Carnegie Mellon University(卡内基梅隆大学);Meta
在联邦学习(FL)中,访问私人客户数据会产生通信和隐私成本。因此,FL部署通常在中央服务器持有的(大型,可能是公共的)数据集上预调预训练的基础模型;然后在客户端持有的私有联合数据集上对模型进行FL微调。因此,可靠和私密地评估预调数据集的质量非常重要。为此,我们提出了FreD(Federated Private Fréchet Distance)--一个预先调整数据集和联邦数据集之间的私人计算距离。直观地,它私下计算并比较由大语言模型在中央(公共)数据集和联合私有客户端数据上生成的嵌入之间的Fréchet距离。为了使这种计算保持隐私,我们使用分布式的,微分私有的均值和协方差估计。我们的经验表明,FreD准确地预测最好的prefinetuning数据集在最小的隐私成本。总之,使用FreD,我们展示了一种新方法在私人FL训练中的概念验证:(1)自定义预调数据集以更好地匹配用户数据(2)预调(3)执行FL微调。
2023-02-23 cs.AI cs.DC cs.LG
Federated Multiple Label Hashing (FedMLH): Communication Efficient Federated Learning on Extreme Classification Tasks
Rice University(莱斯大学)
联邦学习使许多本地设备能够联合训练深度学习模型,而无需共享本地数据。目前,大多数联邦训练方案通过平均局部模型的参数来学习全局模型。然而,这些训练方案中的大多数遭受高的通信成本导致的传输全部本地模型参数。此外,由于不同设备上的类不平衡的非iid数据,直接平均模型参数会导致显著的性能下降。特别是对于涉及极端分类的现实生活中的联邦学习任务,(1)通信成为主要瓶颈,因为模型大小与输出类的数量成比例地增加;(2)极端分类(例如用户推荐)通常具有极不平衡的类和不同设备上的异构数据。为了克服这个问题,我们提出了联邦多标签哈希(FedMLH),它利用标签散列来同时减小模型大小(最多减少3.40倍),包括通信费用(最多减少18.75倍),并实现了更高的准确性(相对精度提高高达35.5%)和更快的收敛速度(最多增加5.5倍),与联邦平均算法相比,在联邦极端分类任务上免费使用。
2021-10-23 cs.LG
Incentive Design for Efficient Federated Learning in Mobile Networks: A Contract Theory Approach
Nanyang Technological University(南洋理工大学);University of Electronic Science and Technology of China(电子科技大学);Sungkyunkwan University(成均馆大学)
为了加强数据隐私和安全性,提出了作为新兴的机器学习技术的联邦学习,以实现大规模节点,例如,移动设备,以分布式训练和全球共享模型,而不泄露其本地数据。该技术不仅可以显著提高移动设备的隐私保护,而且还可以确保训练结果的整体性能良好。目前,已有的研究大多集中在优化联邦学习算法以提高模型训练性能。然而,激励移动设备加入模型训练的激励机制在很大程度上被忽视了。在联邦模型训练过程中,移动设备在计算和通信方面承受相当大的开销。如果没有设计良好的激励机制,自利的移动设备将不愿意加入联邦学习任务,这阻碍了联邦学习的采用。为了弥补这一差距,本文采用契约理论设计了一种有效的激励机制,以模拟高质量的移动设备(即,高精度)数据参与联邦学习。数值实验结果表明,该机制能有效地提高联邦学习的学习精度.
2019-10-24 cs.GT cs.LG cs.NI
On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of Hong Kong(香港大学);Florida International University(佛罗里达国际大学)
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题,提出EPAFL框架,通过三种早停技术在保持攻击成功率的同时显著降低计算开销,并公开代码。
2024-04-15 cs.CR cs.LG
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory
Google Research(谷歌研究院)
联邦学习(FL)中的一个重要瓶颈是从客户端设备向中央服务器发送模型更新的网络通信成本。我们提出了一个全面的实证研究模型更新的统计数据在FL,以及各种压缩技术的作用和好处。受这些观察结果的启发,我们提出了一种新的方法来降低平均通信成本,该方法在许多用例中接近最佳,并且在堆栈溢出下一个词预测方面优于Top-K,DRIVE,3LC和QSGD,这是一个现实且具有挑战性的FL基准。这是通过使用率失真理论检查问题,并提出失真作为模型精度的可靠代理来实现的。失真可以更有效地用于优化模型性能和跨客户端的通信成本之间的权衡。我们的经验表明,尽管非独立同分布。由于联邦学习的本质,率失真边界在数据集、优化器、客户端和训练轮之间是一致的。
2022-05-19 cs.DC cs.IT cs.LG
Energy-Aware Edge Association for Cluster-based Personalized Federated Learning
Beijing University of Posts and Telecommunications(北京邮电大学);China Academy of Information and Communications Technology(中国信息通信研究院)
无线网络上的联邦学习(FL)通过利用网络边缘的泛在智能进行隐私保护模型训练来实现数据感知服务。随着上下文感知服务的普及,个性化偏好的多样化导致用户数据之间的条件分布不一致,从而导致推理性能下降。从这个意义上说,提出了集群式联邦学习来对具有相似偏好的用户设备进行分组,并为每个集群提供个性化模型。这就需要在边缘关联中进行创新设计,包括用户聚类和资源管理优化。通过综合考虑模型精度、通信资源分配和能量消耗,提出了一个精度-成本权衡优化问题。为了符合FL中的参数加密技术,我们提出了一种迭代求解过程,该过程在云服务器处采用基于深度强化学习的方法进行边缘关联。奖励函数包括在每个基站的能量消耗最小化和所有用户的平均模型精度。在我们提出的解决方案下,多个边缘基站被充分利用,以实现具有成本效益的个性化联邦学习,而无需任何先验知识的模型参数。仿真结果表明,我们提出的策略优于现有的策略,在实现准确的学习,低能耗成本。
2022-02-06 cs.AI cs.LG cs.NI
Air-Plan: Query-Optimized Topology Selection for Over-the-Air Decentralized Federated Learning
ICLab(IC实验室);atlanTTic;University of Vigo(维戈大学)
研究空中去中心化联邦学习的通信拓扑选择问题,通过建立与分布式查询处理的等价关系,用隐私保护统计估计工作量,评估候选拓扑成本模型来选最优拓扑,实验表明效果良好。
2026-07-07 cs.DC cs.LG
Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation
Eindhoven University of Technology(埃因霍温理工大学)
本文提出 FedCompress 方法,结合动态权重聚类与服务器端知识蒸馏,在降低联邦学习通信成本的同时学习高泛化模型,并在多个公开数据集上验证了其在通信成本和推理速度上的优势。
2024-02-25 cs.DC cs.LG
More Industry-friendly: Federated Learning with High Efficient Design
Huawei Technologies Co., Ltd(华为技术有限公司);Nanjing University(南京大学)
自Google提出联邦学习(FL)范式以来,虽然已经取得了许多成就,但其效率仍有很大的提升空间。本文提出了一种高效的FL方法,该方法采用双头设计,旨在对非IID数据集进行个性化优化,并采用渐进模型共享设计,以节省通信。实验结果表明,该方法在不同的数据分布下具有更稳定的准确性和更好的通信效率,具有更好的行业友好性。
2020-12-16 cs.AI cs.DC cs.LG
Cost-Free Personalization via Information-Geometric Projection in Bayesian Federated Learning
EURECOM;University of Granada(格拉纳达大学)
本文提出了一种基于信息几何投影的无成本个性化方法,用于贝叶斯联邦学习,通过在统计流形上计算barycenter实现全局与局部性能的平衡。
2026-01-21 cs.IT cs.LG cs.NI
Decision Models for Selecting Federated Learning Architecture Patterns
CSIRO Data61(联邦科学与工业研究组织数据61研究所);University of New South Wales(新南威尔士大学)
针对联邦学习架构设计中模式选择难的问题,本文基于系统性文献综述提出一组将功能与非功能需求映射到模式并说明弊端的决策模型,经大厂架构验证可规范设计流程、明确设计依据。
2023-04-28 cs.LG cs.SE
Adaptive Data Admission and Retention for Streaming Federated Learning
University of Toronto(多伦多大学)
研究客户端内存有限的流式联邦学习,提出联合服务器端接纳和客户端内存管理框架,开发ACDPP策略,结合K步保留规则与在线接纳规则等,通过论证使其与预言机基准联系,实验表明该策略在满足约束时接近基准。
2026-07-28 cs.AI cs.LG cs.NI
Federated Reconstruction: Partially Local Federated Learning
Google Research(谷歌研究院)
联邦学习中的个性化方法旨在平衡联邦和本地训练在数据可用性、通信成本和对客户端异构性的鲁棒性方面的优势。由于隐私和通信约束,要求客户端传送所有模型参数的方法可能是不可取的。其他方法需要始终可用或有状态的客户端,这在大规模跨设备设置中不切实际。我们介绍了联邦重建,第一个模型无关的框架,部分本地联邦学习适合大规模的训练和推理。我们通过与模型无关的元学习的连接来激励框架,经验性地展示了其在现有的协作过滤和下一个单词预测方法上的性能,并发布了一个开源库来评估这种设置中的方法。我们还描述了这种方法的成功部署在规模上的联合协同过滤在移动键盘应用程序。
2022-04-27 cs.DC cs.LG
Federated Evaluation and Tuning for On-Device Personalization: System Design & Applications
Apple(苹果公司)
我们描述了我们的联邦任务处理系统的设计。最初,该系统是为了支持两个特定的联邦任务而创建的:评估和调优设备上的ML系统,主要是为了个性化这些系统。近年来,增加了对额外联邦任务的支持:深度神经网络的联邦学习(FL)。据我们所知,只有一个其他系统已被描述在文献中,支持FL的规模。我们包括该系统的比较,以帮助讨论设计决策和附加的权衡。最后,我们详细描述了两个特定的大规模个性化用例,以展示联合调优对设备上个性化的适用性,并强调特定于应用程序的解决方案。
2021-02-16 cs.LG
A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret
Cornell University(康奈尔大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对中央服务器连接 M 个客户端的分布式在线随机优化问题,本文提出一种通信高效的自适应联邦学习算法,以总传输比特数为统一成本,实现阶最优累积遗憾。
2023-06-05 cs.DC cs.LG
SAFA: a Semi-Asynchronous Protocol for Fast Federated Learning with Low Overhead
University of Warwick(华威大学);South China University of Technology(华南理工大学);Shenzhen University(深圳大学)
联邦学习(FL)作为一种有前途的方法来驱动大量具有人工智能的终端设备,已经引起了越来越多的关注。然而,考虑到终端设备的不可靠性,同时设备-服务器通信的成本不可忽视,保证FL的效率是非常具有挑战性的。在本文中,我们提出了SAFA,一个半异步FL协议,以解决联邦学习中的问题,如轮效率低和极端情况下(例如,客户端经常掉线)。在模型分发、客户端选择和全局聚合等环节引入了新的设计,以减轻离散、崩溃和模型陈旧等因素对全局模型的影响,从而提高全局模型的效率和质量。我们对典型的机器学习任务进行了广泛的实验。实验结果表明,该协议能够有效地缩短联邦轮的持续时间,减少局部资源浪费,并在可接受的通信代价下提高全局模型的准确性.
2021-04-23 cs.DC cs.LG