Communication-Efficient Distributed Asynchronous ADMM
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Oregon State University（俄勒冈州立大学）
针对异步ADMM在联邦学习中的通信瓶颈，本文提出对交换数据进行粗量化以降低通信开销，并在神经网络等分布式学习任务上验证了收敛性。
2025-08-17 cs.LG eess.SP
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design（新加坡科技设计大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Sichuan University（四川大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦学习（FL）作为一种新型的分布式学习范式，在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入，以提高FL的鲁棒性。其中，原始-对偶算法，如交替方向的方法乘数（ADMM）已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而，背后的原因仍然是一个谜。在本文中，我们首先揭示了一个事实，即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性，但它的普通版本缺乏适应客户机异构程度的能力。此外，在客户端采样的服务器端的全局模型是有偏的，这减缓了实际收敛。为了超越ADMM，我们提出了一种新的原始-对偶FL算法，称为FedVRA，它允许一个自适应控制方差减少水平和全局模型的偏差。此外，FedVRA统一了几种典型的FL算法，它们要么是FedVRA的特殊实例，要么是接近FedVRA的实例，并将FedVRA扩展到半/无监督学习。基于（半）监督图像分类任务的实验表明，FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
Differentially Private Federated Learning via Inexact ADMM
Argonne National Laboratory（阿贡国家实验室）；Mathematics and Computer Science Division（数学与计算机科学部）；Lemont, IL 60439（美国伊利诺伊州莱蒙特市（60439））
差分隐私（DP）技术可以应用于联邦学习模型，以保护数据隐私免受推理攻击的学习代理之间的通信。然而，DP技术阻碍了在确保强大的数据隐私的同时实现更好的学习性能。本文提出了一种DP不精确交替方向乘子法，该算法求解目标为随机噪声扰动的子问题。我们表明，我们的算法提供了$\barε$ -DP的每次迭代，其中$\barε$是一个隐私参数由用户控制。使用MNIST和FEMNIST数据集的图像分类，我们表明，我们的算法减少了测试误差最多$22\%$与现有的DP算法相比，同时实现了相同的数据隐私水平。数值实验也表明，我们的算法收敛速度比现有的算法。
2021-10-06 cs.LG
Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates
Argonne National Laboratory（阿贡国家实验室）
差分隐私（DP）技术可以应用于联邦学习模型，以统计地保证数据隐私免受推理攻击的学习代理之间的通信。然而，在确保强大的数据隐私的同时，DP技术阻碍了实现更好的学习性能。本文提出了一种用于联邦学习的DP不精确交替方向乘子算法，该算法的目标扰动为Laplace分布的随机噪声。我们表明，我们的算法提供了$\barε$ -DP的每次迭代，其中$\barε$是由用户控制的隐私预算。我们还提出了该算法的收敛性分析。使用MNIST和FEMNIST数据集的图像分类，我们表明，我们的算法减少了测试误差最多$31\%$与现有的DP算法相比，同时实现了相同的数据隐私水平。数值实验也表明，我们的算法收敛速度比现有的算法。
2022-02-18 cs.LG
Communication Efficient Federated Learning via Ordered ADMM in a Fully Decentralized Setting
Lehigh University（利哈伊大学）；Army Research Laboratory（陆军研究实验室）
近年来，通信高效的分布式优化的挑战引起了人们的关注。在本文中，通信效率的算法，称为基于排序的交替方向乘法器（OADMM）的方法设计在一个一般的完全分散的网络设置，工作者只能与邻居交换消息。与经典的ADMM相比，OADMM的一个关键特性是在每次迭代时在工作者之间进行传输，使得具有最多信息数据的工作者首先将其局部变量广播给邻居，并且尚未传输的邻居可以基于接收到的传输来更新其局部变量。在OADMM中，如果当前的局部变量与先前传输的值没有足够的差异，我们禁止工作线程进行传输。OADMM的一个变体，称为SOADMM，提出了传输是有序的，但传输从来没有停止每个节点在每次迭代。数值结果表明，给定的目标精度，OADMM可以显着减少通信的数量相比，现有的算法，包括ADMM。我们还表明，数值SOADMM可以加速收敛，从而节省通信相比，经典的ADMM。
2022-02-05 cs.AI cs.LG
Smoothing ADMM for Non-convex and Non-smooth Hierarchical Federated Learning
Norwegian University of Science and Technology（挪威科技大学）
本文提出一种结合平滑技术的分层联邦学习ADMM框架，支持异步更新、多层灵活正则化以及共识与个性化学习，实验证明其在非凸非光滑场景下收敛更快、精度更高。
2025-03-11 cs.LG
Federated Learning Using Three-Operator ADMM
Ericsson AB（爱立信公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Princeton University（普林斯顿大学）
本文提出 FedTOP-ADMM 方法，通过三算子 ADMM 技术利用边缘服务器上的平滑成本函数与设备并行学习全局模型，相比 FedADMM 在通信效率上提升高达 33%。
2024-03-25 cs.LG eess.SP math.OC
Function-Space ADMM for Decentralized Federated Learning: A Control Theoretic Perspective
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）；Center for Spatial Information Science, The University of Tokyo（东京大学空间信息科学中心）
本文提出FedF-ADMM方法，利用函数空间损失函数的凸性改进去中心化联邦学习，通过知识蒸馏投影到参数空间，并引入稳定系数提升鲁棒性，实验显示其收敛更快且更稳定。
2026-05-10 cs.LG cs.NI
Mobilizing Personalized Federated Learning in Infrastructure-Less and Heterogeneous Environments via Random Walk Stochastic ADMM
University of Michigan（密歇根大学）；University of Georgia（佐治亚大学）
针对无基础设施、无线连接且数据异构的联邦学习场景，提出 RWSADMM，利用服务器随机移动和硬不等式邻近约束实现个性化学习，并证明其快速收敛、准确率提升及通信与可扩展性优势。
2023-09-26 cs.DC cs.LG math.OC
FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Fundación Deusto（德乌斯托基金会）；Universidad Autónoma de Madrid（马德里自治大学）
本文提出FedADMM-InSa算法，通过设计客户端本地更新的非精确性准则和自适应调整惩罚参数，在联邦学习中降低本地计算成本、增强鲁棒性并加速学习过程。
2024-07-31 cs.CR cs.DC cs.LG
On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer and Information Engineering, Jiangxi Normal University（江西师范大学计算机与信息工程学院）；La Trobe Business School, La Trobe University（拉筹伯大学拉筹伯商学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；Hong Kong University of Science and Technology（香港科技大学）
本文提出基于ADMM的优化框架FLAME，同时训练个性化与全局模型，在温和假设下建立全局收敛性，理论上提升鲁棒性与公平性，实验证明其在收敛速度、准确率及抗攻击能力上优于现有方法。
2024-07-23 cs.AI cs.LG
SPADE-DFL: Communication-Efficient Decentralized Federated Learning via Derivative-Free Linearized ADMM
Southeast University（东南大学）；Jiangsu Province Scientific Research Center for Applied Mathematics（江苏省应用数学科学研究中心）
提出SPADE-DFL，一种基于无导数线性化ADMM的去中心化联邦学习方法，通过控制局部更新不一致实现通信高效，在非凸目标下达到T^{-1/3}收敛界，并支持私有训练，实验显示更高准确率。
2026-09-25 cs.LG cs.NI
FedAPM: Federated Learning via ADMM with Partial Model Personalization
School of Computer Science（计算机科学学院）；Wuhan University（武汉大学）；School of Management（管理学院）；Xi’an Jiaotong University（西安交通大学）；La Trobe Business School（拉筹伯商学院）；La Trobe University（拉筹伯大学）；Hong Kong University of Science and Technology（香港科技大学）；Oceanbase Ant group（Oceanbase蚂蚁集团）
本文提出FedAPM框架，通过ADMM结合一阶与二阶近端项缓解部分模型个性化联邦学习中的客户端漂移问题，实现更稳定高效的收敛，并在多个异构多模态数据集上显著优于现有方法。
2025-06-05 cs.LG
Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊网络服务）；University of Chicago（芝加哥大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对纵向联邦学习中逐轮梯度通信成本高且消耗隐私预算的问题，提出多头 VIM 框架与 ADMM 方法，支持多次本地更新并提供用户级差分隐私，在四个数据集上显著提升性能与收敛速度。
2024-04-07 cs.CR cs.LG
FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Oulu（奥卢大学）；Purdue University（普渡大学）
牛顿型方法由于其快速收敛性而在联邦学习中很受欢迎。尽管如此，他们遭受两个主要问题，即：低通信效率和低隐私，由于需要发送Hessian信息从客户端到参数服务器（PS）。在这项工作中，我们引入了一种新的框架称为FedNew，其中没有必要从客户端到PS传输Hessian信息，从而解决了瓶颈，以提高通信效率。此外，FedNew隐藏的梯度信息，并在隐私保护的方法相比，现有的国家的最先进的结果。FedNew的核心新颖的想法是引入一个两级的框架，并交替之间更新的逆海森梯度产品只使用一个交替方向的乘法器（ADMM）的步骤，然后执行全局模型更新使用牛顿的方法。虽然在每次迭代中只使用一个ADMM通道来近似逆Hessian-gradient乘积，但我们开发了一种新的理论方法来显示FedNew对凸问题的收敛行为。此外，通过利用随机量化实现了通信开销的显著减少。使用真实数据集的数值结果表明，FedNew相比现有的方法在通信成本方面的优越性。
2022-06-17 cs.CR cs.DC cs.LG
TablePuppet: A Generic Framework for Relational Federated Learning
ETH Zürich（苏黎世联邦理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chicago（芝加哥大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
提出关系型联邦学习（RFL）概念及通用框架TablePuppet，通过LoJ和LoU两步骤将学习下推至分布式关系表，结合计算优化与差分隐私，在保护隐私的同时实现与集中式基线相当的模型准确率。
2024-03-23 cs.DB cs.DC cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出APPFL框架，利用Globus Compute和AWS实现跨云与超算的安全联邦学习，并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
Federated Learning over Wireless IoT Networks with Optimized Communication and Resources
Royal Institute of Technology (KTH)（皇家理工学院（KTH））；Princeton University（普林斯顿大学）
为了充分利用海量的分布式数据和计算资源，网络边缘的机器学习被认为是一种很有前途的技术，特别是对于大规模模型训练。联邦学习（Federated learning，FL）作为协作学习技术的一种范式，因其通信效率高、数据保密性好等优点而受到越来越多的研究关注。由于有损耗的通信信道和有限的通信资源（例如，带宽和功率），研究无线系统上的快速响应和准确的FL方案是令人感兴趣的。因此，我们调查的问题，联合优化的通信效率和资源的FL在无线物联网（IoT）网络。为了降低复杂度，我们将整个优化问题分为两个子问题，即，客户端调度问题和资源分配问题。为了降低FL在无线物联网中的通信开销，提出了一种新的客户端调度策略。为了最大限度地成功的信息交换网络，拉格朗日乘子的方法，首先利用解耦变量，包括功率变量，带宽变量和传输指标。在此基础上，提出了一种基于线性搜索的功率和带宽分配方法。给定适当的超参数，我们证明了所提出的通信有效的联邦学习（CEFL）框架以强线性速率收敛。通过大量的实验，它表明，所提出的CEFL框架大大提高了通信效率和学习性能的训练损失和测试准确性的FL在无线物联网网络相比，一个基本的FL方法与统一的资源分配。
2021-10-22 cs.DC cs.LG eess.SP
Harnessing Wireless Channels for Scalable and Privacy-Preserving Federated Learning
Deakin University（迪肯大学）；University of Oulu（奥卢大学）
无线连接对于实现可扩展的联邦学习（FL）至关重要，但无线信道给模型训练带来了挑战，其中信道随机性会干扰每个工人的模型更新，而多个工人的更新在有限的带宽下会产生严重干扰。为了解决这些挑战，在这项工作中，我们制定了一个新的约束优化问题，并提出了一个FL框架利用无线信道扰动和干扰，以提高隐私，带宽效率和可扩展性。该算法基于模拟传输和交替方向乘法器（ADMM），被称为模拟联邦ADMM（A-FADMM）。在A-FADMM中，所有工作者通过模拟传输使用单个通道将其模型更新上传到参数服务器（PS），在此期间，所有模型都被扰动并通过空中聚合。这不仅节省了通信带宽，而且还对包括诚实但好奇的PS在内的任何窃听者隐藏了每个工作者的确切模型更新轨迹，从而保护了数据隐私，免受模型反演攻击。我们正式证明的收敛性和隐私保证的A-FADMM凸函数下的时变信道，并数值显示的有效性A-FADMM噪声信道和随机非凸函数，在收敛速度和可扩展性，以及通信带宽和能源效率。
2020-11-17 cs.IT cs.LG cs.NI
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Microsoft（微软）；Nokia Bell Labs（诺基亚贝尔实验室）
联邦学习是一个很有前途的框架，用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本，并且可以提高隐私性，因为分布式站点不必透露隐私敏感数据。在本文中，我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法（ADMM），并检查其隐私的弱点。与以前的工作，使用差分隐私或同态加密的隐私，我们开发了一个协议，控制参与者之间的通信，在每一轮的聚合，以尽量减少隐私泄漏。我们建立了隐私保证，以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式，灵感来自组合块设计理论。我们的安全聚合协议的基础上，这种新的组通信模式的设计，导致一个有效的算法，联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明，我们的算法执行的标准集中式联邦学习方法，同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Resource-Efficient Federated Learning
Queen Mary University of London（伦敦玛丽女王大学）；Assiut University（艾斯尤特大学）；KAUST（阿卜杜拉国王科技大学）
联邦学习（FL）允许学习者使用本地数据进行分布式训练，从而增强隐私并减少通信。然而，随着部署规模的扩大，它提出了与数据分布、设备功能和参与者可用性的异质性相关的许多挑战，这可能会影响模型收敛和偏差。现有的FL方案使用随机参与者选择来提高公平性;然而，这可能导致资源的低效使用和较低质量的训练。在这项工作中，我们系统地解决FL的资源效率的问题，显示智能参与者选择的好处，并纳入离散参与者的更新。我们展示了这些因素如何提高资源效率，同时提高训练模型的质量。
2022-11-04 cs.DC cs.LG
Controlling Participation in Federated Learning with Feedback
Imperial College London（伦敦帝国理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对联邦学习客户端参与问题，提出基于控制论的确定性方法FedBack，通过积分反馈控制器动态调整参与率，实现全局收敛并提升50%通信与计算效率。
2025-05-27 cs.LG math.OC
Device Association and Resource Allocation for Hierarchical Split Federated Learning in Space-Air-Ground Integrated Network
Jiangsu Key Laboratory of Wireless Communications, Nanjing University of Posts and Telecommunications（江苏无线通信重点实验室，南京邮电大学）
本文提出分层分割联邦学习框架，通过设备关联与资源分配优化提升天地一体化网络中联邦学习的训练效率和模型精度。
2026-02-05 cs.DC cs.LG
Energy-Efficient Quantized Federated Learning for Resource-constrained IoT devices
2 CentraleSup\'elec, University of Paris-Saclay, France Email
本文提出一种面向资源受限IoT设备的联邦学习框架，集成有限块长传输、模型量化与错误感知聚合机制，并优化上行功率，实现高达75%的能耗降低且保持模型准确率。
2025-09-16 cs.DC cs.LG
Towards Federated Learning Under Resource Constraints via Layer-wise Training and Depth Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
针对资源受限下联邦学习难以扩展大模型的问题，提出联邦逐层学习与联邦深度 Dropout 两种技术，显著降低客户端内存、计算和通信成本，在边缘设备上有效训练更大模型且性能损失极小。
2023-09-11 cs.AI cs.DC cs.LG
Toward Multiple Federated Learning Services Resource Sharing in Mobile Edge Networks
Kyung Hee University（庆熙大学）；The University of Sydney（悉尼大学）；University of Houston（休斯顿大学）
联邦学习是一种新的学习方案，用于协作训练共享预测模型，同时将数据本地保存在参与设备上。在本文中，我们研究了一种新的模型，多个联邦学习服务的多访问边缘计算服务器。因此，必须考虑在每个移动终端的学习服务之间共享CPU资源以用于本地训练过程，以及在移动设备之间分配通信资源以用于交换学习信息。此外，不同学习服务的收敛性能取决于需要精确确定的超学习率参数。为此，我们提出了一个联合资源优化和超学习率控制问题，即MS-FEDL，关于移动设备的能量消耗和整体学习时间。我们设计了一个集中式算法的基础上的块坐标下降法和分散的JP-miADMM算法来解决MS-FEDL问题。与集中式方法不同，分散式方法需要多次迭代才能获得，但它允许每个学习服务独立地管理本地资源和学习过程，而不会泄露学习服务信息。我们的仿真结果表明，我们提出的算法的收敛性能和优越的性能相比，我们提出的算法的启发式策略。
2020-11-25 cs.DC cs.LG
Federated Learning in IoT: a Survey from a Resource-Constrained Perspective
本文从客户端和服务器双视角综述资源受限物联网环境下联邦学习的部署挑战与对应方案，按应用位置分类并评估效果，同时提出新的评估指标以支撑相关研究。
2023-08-25 cs.DC cs.LG
FEDBUD: Joint Incentive and Privacy Optimization for Resource-Constrained Federated Learning
School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）
本文提出FEDBUD系统，通过联合考虑数据量和噪声水平对激励策略的影响，解决联邦学习中隐私保护与激励策略设计的难题。
2026-04-12 cs.DC cs.LG
Bridging the Gap Between Foundation Models and Heterogeneous Federated Learning
Iowa State University（爱荷华州立大学）；Intel Labs（英特尔实验室）
针对基础模型与异构边缘联邦学习集成的资源适配难题，提出含定制压缩算法的RaFFM自适应框架，可动态调整模型规模，在更低资源消耗下实现与传统全量联邦学习相当的性能。
2023-10-04 cs.DC cs.LG
Resource Rationing for Wireless Federated Learning: Concept, Benefits, and Challenges
University of Virginia（弗吉尼亚大学）；University of Miami（迈阿密大学）；Sun Yat-Sen University（中山大学）
我们提倡一种新的资源分配框架，我们的术语资源配给，无线联邦学习（FL）。与现有的FL资源分配方法不同，资源配给的重点是在学习轮之间平衡资源，以便明确捕获它们对联邦学习性能的集体影响。这种新的框架可以无缝集成与现有的资源分配方案，以优化融合的FL。特别是，一种新的“后是更好的”原则是在前面和中心的资源配给，这是经验验证的无线FL的几个实例。我们还指出了技术挑战和研究机会，值得追求。资源配给强调了将新兴FL视为具有自身特征的新服务类别并为这种特定服务设计通信算法的好处。
2021-04-14 cs.IT cs.LG cs.NI
SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）
针对资源受限设备微调大型预训练模型的隐私与高通信开销问题，提出SFPrompt方法，结合分割学习与联邦学习，引入软提示、数据集剪枝和本地损失更新策略，在保持性能的同时大幅降低计算与通信成本。
2024-07-24 cs.AI cs.DC cs.LG
Leveraging Foundation Models for Efficient Federated Learning in Resource-restricted Edge Networks
University of Toronto（多伦多大学）；Yazd University（亚兹德大学）
针对资源受限边缘网络中部署基础模型开展联邦学习的研究空白，提出FedD2P框架，通过将设备知识蒸馏到提示生成器适配冻结视觉语言基础模型，无需公共数据集，在多个图像分类任务上性能优于基线。
2024-09-14 cs.DC cs.LG
A Resource-Adaptive Approach for Federated Learning under Resource-Constrained Environments
Shandong University（山东大学）；the University of Aizu（会津大学）
针对联邦学习中客户端资源异构受限及掉队者问题，提出资源自适应异步算法Fed-RAA，按能力分配模型片段并异步更新，理论证明收敛，实验验证其优势，为首个相关收敛性保证方法。
2024-06-19 cs.AI cs.DC cs.LG
FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
在经典的联邦学习中，客户端通过将其私有数据上的底层模型的本地更新传达给协调服务器来对整体训练做出贡献。然而，当资源受限的客户端共同旨在训练大型机器学习模型时，更新和通信整个模型变得极其昂贵。在这种情况下，分裂学习提供了一种自然的解决方案，其中只有一小部分模型在客户端存储和训练，而其余大部分模型仅停留在服务器上。然而，分裂学习中采用的模型划分引入了大量的通信成本。本文解决了这个问题，通过压缩额外的通信使用一种新的聚类方案伴随着梯度校正方法。对图像和文本基准测试的大量经验评估表明，该方法可以实现高达$490\times$的通信成本降低，精度下降最小，并实现理想的性能与通信权衡。
2022-02-16 cs.DC cs.LG
Clustered Federated Learning based on Nonconvex Pairwise Fusion
Renmin University of China（中国人民大学）
针对非独立同分布数据的聚类联邦学习，提出基于非凸成对融合的FPFC方法，利用ADMM实现部分更新与并行计算，降低通信成本，并提供收敛保证，实验验证其优越性。
2023-12-24 cs.DC cs.LG
Resource-Constrained Federated Learning with Heterogeneous Labels and Models
Global AI Accelerator, Ericsson（爱立信全球人工智能加速器）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）；Ericsson Research（爱立信研究院）
各种物联网应用需要资源受限的机器学习机制，用于不同的应用，如普及医疗保健，活动监控，语音识别，实时计算机视觉等。联邦学习被证明是分布式和协作式机器学习的一个非常可行的选择。特别是，设备上的联邦学习是一个活跃的研究领域，然而，在解决统计（非IID数据）和模型异质性方面存在各种挑战。此外，在本文中，我们探讨了一个新的挑战的兴趣-处理标签异质性在联邦学习。为此，我们提出了一个框架，简单的$α$加权联邦聚合的分数，利用重叠的信息增益标签，同时节省带宽成本的过程中。对Animals-10数据集（具有4个标签以有效阐明结果）的经验评价表明，平均确定性准确度至少增加约16.7%。我们还通过在Raspberry Pi 2（单板计算平台）上进行不同迭代的联邦学习和推理实验，展示了我们提出的框架的设备上功能。
2020-11-06 cs.DC cs.LG cs.NI
Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving
The University of Hong Kong（香港大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Damo Institute, Alibaba（阿里巴巴达摩院）；the University of New South Wales（新南威尔士大学）
针对端到端自动驾驶中通信资源受限的分层联邦学习问题，提出CRCHFL框架，利用混合数据与模型聚合最小化泛化误差，并在CARLA中验证其更快收敛与更优性能。
2023-06-28 cs.DC cs.LG cs.RO
Semi-asynchronous Hierarchical Federated Learning for Cooperative Intelligent Transportation Systems
Wuhan University（武汉大学）
协同智能交通系统（C-ITS）是一个很有前途的网络，通过利用参与者的优势，为自动驾驶车辆和道路基础设施提供安全、高效、可持续和舒适的服务。然而，C-ITS的组件通常会产生大量的数据，这使得探索数据科学变得困难。目前，联邦学习已被提出作为一种有吸引力的方法，允许用户合作地从受过训练的参与者中获益。因此，在本文中，我们提出了一种新的半异步分层联邦学习（SHFL）框架的C-ITS，使弹性边缘云模型聚合数据传感。我们进一步制定了一个联合的边缘节点关联和资源分配问题，建议SHFL框架下，以防止个性的异构道路车辆，实现通信效率。针对混合整数非线性规划（MINLP）问题，提出了一种分布式的交替方向乘子法（ADMM）-块坐标更新（BCU）算法。利用该算法，在训练精度和传输延迟之间取得了折衷。数值结果表明，该算法的优势，在训练开销和模型性能。
2021-10-18 cs.LG
Fair Resource Allocation in Federated Learning
CMU（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
联邦学习涉及在大规模异构网络中训练统计模型。在这样的网络中简单地最小化聚合损失函数可能不成比例地有利于或不利于某些设备。在这项工作中，我们提出了q-公平联邦学习（q-FFL），一种新的优化目标的启发，在无线网络中的公平资源分配，鼓励更公平（具体地说，更均匀）的准确性分布在联合网络中的设备。为了解决q-FFL，我们设计了一个通信效率高的方法，q-FedAvg，这是适合于联邦网络。我们在一套具有凸模型和非凸模型的联邦数据集上验证了q-FFL的有效性和q-FedAvg的效率，并表明q-FFL（以及q-FedAvg）在公平性、灵活性方面优于现有基线。和效率。
2020-02-14 cs.LG stat.ML
Expanding the Reach of Federated Learning by Reducing Client Resource Requirements
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
异构边缘网络上的通信是联邦学习（FL）中的一个基本瓶颈，限制了模型容量和用户参与。为了解决这个问题，我们引入了两种新的策略来降低通信成本：（1）在服务器到客户端发送的全局模型上使用有损压缩;以及（2）联合丢弃，它允许用户在全局模型的较小子集上有效地本地训练，并且还提供了客户端到服务器通信和本地计算的减少。我们的经验表明，这些策略，结合现有的压缩方法的客户端到服务器的通信，共同提供了一个$14\times$减少服务器到客户端的通信，一个$1.7\times$减少本地计算，和一个$28\times$减少上传通信，所有没有降低最终模型的质量。因此，我们全面降低了FL对客户端设备资源的影响，允许训练更高容量的模型，并覆盖更多样化的用户。
2019-01-08 cs.DC cs.LG stat.ML
Resource-Aware Asynchronous Online Federated Learning for Nonlinear Regression
Norwegian University of Science and Technology（挪威科技大学）；University of Notre Dame（圣母大学）；University of Hawaii（夏威夷大学）
联邦学习文献中的许多假设都提供了最佳情况，但在大多数现实应用中无法满足。异步设置反映了联邦学习方法必须能够可靠运行的现实环境。除了参与者处的非IID数据的变化量之外，异步设置对由于可用计算能力和电池限制而导致的异构客户端参与进行建模，并且还考虑了客户端和服务器之间的延迟通信。为了减少与异步在线联邦学习（ASO-Fed）相关的通信开销，我们使用基于部分共享的通信原理。通过这种方式，我们减少了参与者的沟通负担，因此，使参与学习任务更容易。我们证明了所提出的ASO-Fed的收敛性，并提供了仿真来进一步分析其行为。仿真结果表明，在异步设置中，它是可能的，以实现相同的联邦随机梯度（在线FedSGD）的收敛，同时减少了十倍的通信。
2021-11-27 cs.DC cs.LG cs.MA
Management of Resource at the Network Edge for Federated Learning
Institute of Computing（计算研究所）；State University of Campinas（坎皮纳斯州立大学）
联邦学习已被探索为边缘训练的有前途的解决方案，其中终端设备协作以训练模型，而无需与其他实体共享数据。由于这些学习模型的执行发生在资源有限的边缘，因此必须开发新的解决方案。在本文中，我们描述了最近在边缘资源管理方面的工作，并探讨了在边缘执行联邦学习的挑战和未来方向。本文将讨论这种管理的一些问题，如资源发现、部署、负载均衡、迁移和能源效率。
2022-02-04 cs.LG cs.NI
From Distributed Machine Learning to Federated Learning: A Survey
Baidu Inc.（百度公司）；Auburn University（奥本大学）；University of Oregon（俄勒冈大学）
近年来，数据和计算资源通常分布在终端用户、各个区域或组织的设备中。由于法律或法规的限制，分布式数据和计算资源不能在不同地区或组织之间直接共享，以执行机器学习任务。联邦学习是一种利用分布式数据和计算资源的有效方法，可以协同训练机器学习模型，同时遵守法律法规，确保数据安全和数据隐私。在本文中，我们提供了一个全面的调查现有的工作联邦学习。我们提出了一个功能架构的联邦学习系统和相关技术的分类。此外，我们提出了分布式训练，数据通信，FL系统的安全性。最后，我们分析了它们的局限性，并提出了未来的研究方向。
2022-03-25 cs.AI cs.DC cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
联邦学习（FL）是一种流行的分布式学习模式，它从一组参与用户中学习模型，而无需共享原始数据。FL的一个主要挑战来自异构用户，这些用户可能具有分布不同（或非iid）的数据和不同的计算资源。由于联邦用户将使用模型进行预测，他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练（AT）为集中式学习提供了一个良好的解决方案，但将其用于联合用户带来了重大挑战，因为许多用户可能只有非常有限的训练数据和紧张的计算预算，以负担数据饥饿和昂贵的AT。在本文中，我们研究了一种新的FL策略：在联邦学习过程中，将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现，现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略，并提出了一个有效的传播方法，通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是，所提出的方法被证明是授予联邦模型显着的鲁棒性，即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文研究移动边缘网络中资源受限与不确定性下的联邦学习优化问题，提出基于Lyapunov优化的在线客户端调度与资源分配方案，在保证模型准确度的同时有效降低训练延迟并提升资源效率。
2024-09-29 cs.AI cs.DC cs.LG
A Survey on Secure and Private Federated Learning Using Blockchain: Theory and Application in Resource-constrained Computing
Florida International University（佛罗里达国际大学）；Southern Illinois University（南伊利诺伊大学）
近年来，由于先进机器学习和人工智能的快速发展以及新兴的安全和隐私威胁，联邦学习（FL）得到了广泛的普及。FL可以从边缘设备的本地数据存储中高效地生成模型，而不会向任何实体泄露敏感数据。虽然这种模式部分缓解了用户敏感数据的隐私问题，但由于日益增长的网络威胁和隐私侵犯技术，FL过程的性能可能受到威胁并达到瓶颈。为了加快FL过程的扩散，FL环境的区块链集成引起了学术界和工业界人士的广泛关注。区块链具有去中心化、不变性、共识和透明性的特点，有可能防止安全和隐私威胁。然而，如果区块链机制需要昂贵的计算资源，那么资源受限的FL客户端就不能参与训练。考虑到这一点，本次调查的重点是审查在资源受限的FL环境中成功部署区块链的挑战、解决方案和未来方向。我们全面回顾了适合FL过程的变体区块链机制，并讨论了它们在有限资源预算下的权衡。此外，我们还广泛分析了在资源受限的FL环境中可能观察到的网络威胁，以及区块链如何在阻止这些网络攻击方面发挥关键作用。为此，我们强调了一些潜在的解决方案，以实现区块链和联邦学习的耦合，这些解决方案可以提供高水平的可靠性、数据隐私和分布式计算性能。
2023-03-24 cs.CR cs.DC cs.LG
AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks
Department of Electrical and Electronic Engineering, University of Hong Kong（香港大学电子与电气工程系）
本文针对资源受限边缘网络中的分割联邦学习效率问题，提出AdaptSFL框架，通过自适应控制客户端模型聚合与模型分割来平衡通信计算时延和训练收敛，实验表明其能显著缩短达到目标精度所需的时间。
2025-06-04 cs.AI cs.DC cs.LG
Hierarchical Federated ADMM
Digital Futures（数字未来研究院）
本文提出基于ADMM的分层联邦学习框架及两种顶层采用ADMM的新算法，增强了隐私性，并在收敛速度和精度上优于传统方法。
2024-09-27 cs.AI cs.DC cs.IT
FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices
Huazhong University of Science and Technology（华中科技大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对资源受限边缘设备中模型异构一次性联邦学习的性能与数据依赖问题，提出FedMHO框架，通过异构模型分配、两阶段服务器处理及知识遗忘缓解策略，在多实验设置下优于现有基线。
2025-02-12 cs.AI cs.DC cs.LG
Performance Analysis for Resource Constrained Decentralized Federated Learning Over Wireless Networks
Macau University of Science and Technology（澳门科技大学）
本文分析了无线网络中资源受限的去中心化联邦学习在数字与模拟传输下的收敛界、资源分配和通信复杂度，并通过CNN与ViT在fashion-MNIST和CIFAR-10上的仿真验证了系统参数优化对性能的提升。
2023-08-12 cs.LG cs.PF eess.SP
Federated Learning in Unreliable and Resource-Constrained Cellular Wireless Networks
University of Manitoba（曼尼托巴大学）
随着智能设备数量的增长及其硬件的进步，近年来，数据驱动的机器学习技术引起了人们的极大关注。但是，由于隐私和通信问题，无法在集中位置收集这些数据。联邦学习是一种机器学习设置，其中集中位置通过远程设备训练学习模型。除非考虑到无线介质的不可靠和资源受限性质，否则无法在现实世界场景中采用联邦学习算法。在本文中，我们提出了一个联邦学习算法，适用于蜂窝无线网络。我们证明了它的收敛性，并提供了最佳的调度策略，最大限度地提高收敛速度。我们还研究了局部计算步骤和通信步骤对算法收敛性的影响。我们证明，在实践中，联邦学习算法可以解决一个不同的问题，他们已经被雇用的，如果无线信道的不可靠性被忽略。最后，通过在真实数据集和合成数据集上的大量实验，我们证明了我们所提出的算法的收敛性。
2020-12-09 cs.LG cs.NI
Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment
Indian Institute of Information Technology Allahabad（阿拉哈巴德印度信息技术学院）
本文提出Equitable-FL，一种基于彩票假设的稀疏联邦学习方法，通过逐步稀疏化模型使资源受限节点参与协作训练，并在多个基准数据集上验证了其有效性。
2023-09-02 cs.AI cs.CV cs.DC
Federated Learning for Diabetic Retinopathy Diagnosis: Enhancing Accuracy and Generalizability in Under-Resourced Regions
High Technology High School（高新技术高中）；Massachusetts Eye and Ear Harvard Medical School（马萨诸塞眼耳医院哈佛医学院）；Harvard Medical School（哈佛医学院）；Harvard Ophthalmology AI Lab（哈佛眼科人工智能实验室）
本文提出基于EfficientNetB0的联邦学习系统，利用多机构眼底数据提升资源匮乏地区糖尿病视网膜病变诊断的准确性与泛化能力，同时保护隐私，在未见数据上准确率达93.21%。
2024-10-30 cs.CV cs.LG eess.IV
Towards Federated Bayesian Network Structure Learning with Continuous Optimization
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
传统上，贝叶斯网络结构学习通常在一个中心站点进行，所有数据都收集在该中心站点。然而，在实践中，数据可以跨不同方分布（例如，公司、设备），他们打算共同学习贝叶斯网络，但由于隐私或安全问题而不愿意披露与他们的数据相关的信息。在这项工作中，我们提出了一个联邦学习的方法来估计贝叶斯网络的结构，从数据是水平划分在不同的缔约方。我们开发了一个分布式结构学习方法的基础上连续优化，使用交替方向的乘法器（ADMM），只有模型参数必须在优化过程中进行交换。我们证明了我们的方法的灵活性，通过采用它的线性和非线性的情况下。在合成数据集和真实数据集上的实验结果表明，该方法比其他方法具有更好的性能，特别是当客户端数量相对较多且每个客户端的样本量有限时。
2022-04-04 cs.LG stat.ML
