Gradient-less Federated Gradient Boosting Trees with Learnable Learning Rates
University of Cambridge（剑桥大学）
针对水平联邦 XGBoost 中梯度共享导致的通信频繁和隐私问题，提出无梯度框架，通过使聚合树集成的学习率可学习来提升隐私与通信效率，通信轮次和开销降低 25 至 700 倍。
2024-03-24 cs.AI cs.DC cs.DS
Flight: A FaaS-Based Framework for Complex and Hierarchical Federated Learning
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
提出基于 FaaS 的 Flight 联邦学习框架，支持复杂层次化多层拓扑与异步聚合，相比 Flower 支持多达 2048 个并发设备并将通信开销降低 60% 以上。
2024-09-24 cs.DC cs.LG
FED-HARGPT: A Hybrid Centralized-Federated Approach of a Transformer-based Architecture for Human Context Recognition
Electrical Engineering Department, Seoul National University, Seoul, Korea（首尔国立大学电气工程系，韩国首尔）
本文提出一种混合集中-联邦方法，利用Transformer架构进行人类活动识别，通过联邦学习框架评估基于集中基线的联邦模型训练，实验表明该方法在非IID数据场景下提升了识别准确性和鲁棒性，同时保护数据隐私。
2026-03-13 cs.AI cs.LG eess.SP
Sky Computing: Accelerating Geo-distributed Computing in Federated Learning
HPC-AI Technology Inc.（HPC-AI技术公司）；National University of Singapore（新加坡国立大学）
联邦学习是由谷歌提出的，通过在用户设备上本地训练模型来保护数据隐私。然而，随着深度学习模型的规模不断增长以获得更好的结果，在单个设备上容纳整个模型变得越来越困难。因此，然后使用模型并行来在若干设备之间划分模型权重。通过这种逻辑，目前使用的方法在设备之间均匀分配权重。然而，在现实中，由于不同用户设备的不同计算能力，可能会出现计算瓶颈。为了解决这个问题，需要负载均衡来基于设备的计算能力分配模型权重。在本文中，我们提出了天空计算，一个负载平衡的模型并行框架，自适应地分配权重的设备。当训练具有64个节点的160层BERT时，Sky Computing在训练时间上优于基线方法55%。源代码可以在https://github.com/hpcaitech/SkyComputing上找到。
2022-02-24 cs.AI cs.DC cs.LG
Federated Learning in Adversarial Environments: Testbed Design and Poisoning Resilience in Cybersecurity
Department of Information Science and Technology（信息科学与技术系）；Technology University at Albany, SUNY, New York, USA（阿尔巴尼州立大学技术学院，纽约，美国）
本文设计实现了一个联邦学习测试床，用于网络安全应用，评估其对污染攻击的鲁棒性。通过案例研究展示了测试床在检测异常和保护关键基础设施方面的能力。
2025-04-03 cs.CR cs.DC cs.LG
SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）
针对资源受限设备微调大型预训练模型的隐私与高通信开销问题，提出SFPrompt方法，结合分割学习与联邦学习，引入软提示、数据集剪枝和本地损失更新策略，在保持性能的同时大幅降低计算与通信成本。
2024-07-24 cs.AI cs.DC cs.LG
Trust Aware Federated Learning for Secure Bone Healing Stage Interpretation in e-Health
London South Bank University（伦敦南银行大学）；Instituto de Telecomunicações（电信研究所）
本文提出一种可信联邦学习框架，用于通过频谱特征解释骨愈合阶段，通过自适应信任评分机制提升模型稳定性和预测性能。
2026-02-27 cs.AI cs.LG
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano（米兰理工大学）
本文提出 TimberStrike 攻击，针对水平联邦树模型，利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据，揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
Robust Federated Learning under Adversarial Attacks via Loss-Based Client Clustering
School of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程学院，国家技术大学雅典）；Faculty of Sciences, University of Novi Sad（科学学院，诺维萨德大学）
本文提出一种基于损失的客户端聚类方法，在对抗攻击下实现鲁棒的联邦学习，通过仅需两个诚实参与者即可有效工作，理论分析显示在强拜占庭攻击下仍能保持最优解的有界差距，实验表明在多个基准上优于标准和鲁棒的FL基线方法。
2026-04-29 cs.AI cs.LG
Asynchronous Online Federated Learning for Edge Devices with Non-IID Data
George Mason University（乔治梅森大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
联邦学习（FL）是一种机器学习范例，其中跨分布式边缘设备学习共享的中心模型，而训练数据保留在这些设备上。Federated Averaging（FedAvg）是在此设置中使用同步协议训练非凸模型的领先优化方法。然而，由于设备的异构性，FedAvg做出的假设是不现实的。特别地，由于边缘设备的不同采样率，所收集的数据的量和分布在训练过程中变化。边缘设备本身的可用通信带宽和系统配置也各不相同，例如内存、处理器速度和功耗要求。这导致了训练时间以及模型/数据传输时间的巨大差异。此外，边缘设备的可用性问题可能导致特定边缘设备对联合模型的贡献不足。在本文中，我们提出了一个异步在线联邦学习（ASO-Fed）框架，其中边缘设备执行在线学习与连续流本地数据和中央服务器聚合来自客户端的模型参数。我们的框架以异步方式更新中心模型，以解决与异构边缘设备和落后或辍学的边缘设备的不同计算负载相关的挑战。我们进行了广泛的实验模拟基准图像数据集和三个真实世界的非IID流数据集。结果表明，\model ~在保持良好预测性能的同时，具有快速收敛的优点.
2020-10-20 cs.DC cs.LG
FedPandemic: A Cross-Device Federated Learning Approach Towards Elementary Prognosis of Diseases During a Pandemic
Manipal Institute of Technology（马尼帕尔理工学院）；Carnegie Mellon University（卡内基梅隆大学）
为了了解、评估和商定流行病基本预后的一组症状，需要大量的数据、人力和资金。在本文中，我们提出了FedPandemic，这是一种新型的噪声实现算法，集成了跨设备联邦学习，用于流行病期间的基本症状预测，以COVID-19为案例研究。我们的研究结果显示了一致性，并增强了恢复疾病所显示的常见症状的鲁棒性，为症状检索铺平了更快，更便宜的道路，同时还通过联邦学习保护了患者症状的隐私。
2021-04-05 cs.DC cs.LG
Enabling On-Device Training of Speech Recognition Models with Federated Dropout
Google LLC（谷歌公司）
联邦学习可用于在本地数据的边缘上训练机器学习模型，这些数据从未离开设备，默认情况下提供隐私。这提出了关于与客户端设备相关联的通信和计算成本的挑战。这些成本与正在训练的模型的大小密切相关，并且对于最先进的自动语音识别模型是重要的。我们建议使用联邦dropout来减少客户端模型的大小，同时训练服务器端的全尺寸模型。我们提供了联邦辍学的有效性的经验证据，并提出了一种新的方法来改变辍学率应用在每一层。此外，我们发现，联邦dropout使一组较小的子模型在较大的模型独立地具有较低的字出错率，使其更容易动态调整部署的模型的大小进行推理。
2021-10-07 cs.DC cs.LG
Federated Learning Based on Dynamic Regularization
Boston University（波士顿大学）；Arm ML Research Lab（Arm机器学习研究实验室）
我们提出了一种新的联邦学习方法，用于分布式训练神经网络模型，其中服务器在每一轮中协调随机选择的设备的子集之间的合作。我们主要从通信的角度来看待联邦学习问题，并允许更多的设备级计算来节省传输成本。我们指出了一个根本的困境，在本地设备水平的经验损失的最小值是不一致的全球经验损失。不同于最近的先前的作品，无论是尝试不精确的最小化或利用设备的并行梯度计算，我们提出了一个动态正则化每个设备在每一轮，使在限制的全球和设备的解决方案是一致的。我们通过对真实和合成数据的经验结果以及分析结果证明，我们的方案在凸和非凸设置中都能实现有效的训练，同时对设备异质性完全不可知，对大量设备、部分参与和不平衡数据具有鲁棒性。
2021-11-09 cs.DC cs.LG
An Empirical Study of Efficiency and Privacy of Federated Learning Algorithms
School of EECS QMUL（伦敦玛丽女王大学电子工程与计算机科学学院）；Collaboratory TU-Dublin（都柏林理工大学合作实验室）
本研究实证评估联邦学习算法FedAvg和FedProx在物联网数据上的效率与隐私，通过数学基础和模拟实验，比较准确率、损失及差分隐私权衡，证明其高效且保护隐私的潜力。
2023-12-24 cs.CR cs.DC cs.LG
A Federated Learning Framework for Healthcare IoT devices
Rice University（莱斯大学）；University of Houston-Downtown（休斯顿大学市中心分校）；Prudence Medical Technologies Ltd.（审慎医疗技术有限公司）
物联网（IoT）革命已经显示出潜力，可以产生许多医疗应用程序，这些应用程序可以访问IoT设备收集的大量医疗数据。然而，对医疗数据隐私和安全性的需求日益增长，使得每个物联网设备都成为数据孤岛。此外，可穿戴医疗设备有限的计算和通信能力限制了普通联邦学习的应用。为此，我们提出了一种先进的联邦学习框架来训练深度神经网络，其中网络被分区并分配给物联网设备和集中式服务器。然后，大部分训练计算由强大的服务器处理。激活和梯度的稀疏化显著降低了通信开销。实证研究表明，所提出的框架保证了较低的准确性损失，而只需要0.2%的香草联邦学习的同步流量。
2020-05-07 cs.DC cs.LG eess.SP
Federated Learning Beyond the Star: Local D2D Model Consensus with Global Cluster Sampling
Purdue University（普渡大学）；Arizona State University（亚利桑那州立大学）
联邦学习已经成为一种流行的技术，用于在网络边缘分布模型训练。它的学习架构通常是设备和中央服务器之间的星形拓扑。在本文中，我们提出了两个时间尺度的混合联邦学习（TT-HF），迁移到一个更分布式的拓扑结构，通过设备到设备（D2 D）的通信。在TT-HF中，本地模型训练经由连续梯度迭代在设备处发生，并且同步过程以两个时间尺度发生：（i）宏观尺度，其中经由设备-服务器交互来执行全局聚合，以及（ii）微观尺度，其中经由不同设备集群中的D2 D协作共识形成来执行本地聚合。我们的理论分析揭示了设备，集群和网络级参数如何影响TT-HF的收敛，并导致一组条件下，保证O（1/t）的收敛速度。实验结果证明了TT-HF在最先进的联邦学习基线上可以获得的收敛和利用率的改进。
2021-09-12 cs.DC cs.LG
Fast-Convergent Federated Learning
Princeton University（普林斯顿大学）；Purdue University（普渡大学）
联邦学习最近已经成为通过现代移动设备网络分发机器学习任务的有前途的解决方案。最近的研究已经获得了通过每一轮联邦学习实现的模型损失预期减少的下限。然而，收敛通常需要大量的通信回合，这会导致模型训练的延迟，并且在网络资源方面是昂贵的。在本文中，我们提出了一种快速收敛的联邦学习算法，称为FOLB，它在每一轮模型训练中对设备进行智能采样，以优化预期的收敛速度。我们首先从理论上描述了一个下界的改善，可以在每一轮中获得，如果设备被选择根据预期的改善，他们的本地模型将提供给当前的全球模型。然后，我们表明，FOLB通过均匀采样加权设备更新，根据其梯度信息获得此界。FOLB能够通过根据设备对更新做出贡献的能力的估计来适应聚合来处理设备的通信和计算异构性。我们将FOLB与现有的联邦学习算法进行了比较，并通过实验证明了它在训练模型准确性，收敛速度和/或各种机器学习任务和数据集的模型稳定性方面的改进。
2020-10-31 cs.DC cs.LG
FedSAUC: A Similarity-Aware Update Control for Communication-Efficient Federated Learning in Edge Computing
Yuan Ze University（元智大学）
针对边缘设备联邦学习更新消耗电量与带宽的问题，提出相似性感知更新控制FedSAUC，通过服务器端聚类分组并选择代表设备上传更新，实验验证其不影响长期训练精度。
2025-04-07 cs.AI cs.LG
Device Association and Resource Allocation for Hierarchical Split Federated Learning in Space-Air-Ground Integrated Network
Jiangsu Key Laboratory of Wireless Communications, Nanjing University of Posts and Telecommunications（江苏无线通信重点实验室，南京邮电大学）
本文提出分层分割联邦学习框架，通过设备关联与资源分配优化提升天地一体化网络中联邦学习的训练效率和模型精度。
2026-02-05 cs.DC cs.LG
Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文提出缓冲异步安全聚合协议BASA，使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合，并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
An On-Device Federated Learning Approach for Cooperative Model Update between Edge Devices
Keio University（庆应义塾大学）
大多数边缘AI专注于资源有限的边缘设备上的预测任务，而训练则在服务器机器上完成。然而，在边缘设备上需要重新训练或定制模型，因为随着时间的推移，模型会随着环境的变化而变得过时。为了遵循这样的概念漂移，最近提出了一种基于神经网络的设备学习方法，使得边缘设备在运行时训练传入数据以更新它们的模型。在这种情况下，由于训练是在分布式边缘设备处完成的，所以问题是仅有限量的训练数据可用于每个边缘设备。为了解决这个问题，一种方法是协作学习或联邦学习，其中边缘设备通过使用从其他设备收集的结果来交换它们的训练结果并更新它们的模型。在本文中，作为一个设备上的学习算法，我们专注于OS-ELM（在线顺序极端学习机），顺序训练模型的基础上最近的样本，并将其与自动编码器异常检测。我们将其扩展为设备上的联邦学习，以便边缘设备可以交换它们的训练结果，并通过使用从其他边缘设备收集的结果来更新它们的模型。这种合作模型更新是一次性的，但它可以重复应用于同步他们的模型。我们的方法进行了评估，从汽车驾驶数据集，人类活动数据集和MNIST数据集生成的异常检测任务。结果表明，所提出的设备上联邦学习可以通过将来自多个边缘设备的训练结果与传统的基于反向传播的神经网络和传统的联邦学习方法一样准确地集成来产生合并模型，并且具有更低的计算或通信成本。
2021-06-27 cs.DC cs.LG stat.ML
FedHeN: Federated Learning in Heterogeneous Networks
Boston University（波士顿大学）
我们提出了一个新的训练配方联邦学习与异构网络，其中每个设备可以有不同的架构。我们将训练与一个侧面目标引入到更高复杂性的设备中，以在联合设置中联合训练不同的架构。我们的经验表明，我们的方法提高了不同架构的性能，并导致高通信节省相比，国家的最先进的方法。
2022-07-07 cs.DC cs.LG
Privacy is What We Care About: Experimental Investigation of Federated Learning on Edge Devices
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
联邦学习支持通过边缘设备训练通用模型，而无需将原始数据发送到云端。因此，这种方法对于数字健康应用程序很有吸引力，其中数据来自边缘设备，用户关心隐私。在这里，我们报告了在Raspberry Pi4作为边缘设备上训练深度神经网络的可行性。CNN、LSTM和MLP在MNIST数据集上成功训练。此外，联邦学习在IID和非IID样本的参数研究中进行了实验证明，以基准测试模型收敛性。来自工作者的权重更新与云共享，以通过联邦学习训练通用模型。使用CNN和非IID样本，可以在2分钟的训练时间内实现高达85%的测试准确度，同时每个设备交换少于$10$ MB的数据。此外，我们从用例的角度讨论了联邦学习，详细说明了从声音中检测情感的应用程序的隐私风险和标签要求。基于实验结果，我们讨论了可能的研究方向，以提高模型和系统的性能。最后，我们为实践者提供了最佳实践，考虑了联邦学习的实现。
2019-11-11 cs.DC cs.LG stat.ML
Secure Aggregation for Privacy-Preserving Federated Learning on Clinical EEG Data
University of South-Eastern Norway（东南挪威大学）
该研究针对临床EEG数据联邦学习的隐私泄露问题，提出以掩码安全聚合为核心的隐私保护框架，经模拟医疗场景验证，半诚实变体开销低，恶意变体安全性强但开销更高。
2026-09-09 cs.CR cs.DC cs.LG
Ed-Fed: A generic federated learning framework with resource-aware client selection for edge devices
Indian Institute of Science（印度科学学院）
本文提出通用联邦学习框架 Ed-Fed 及资源感知客户端选择算法，通过动态设置训练时间处理落后设备，显著优化边缘异构场景下的等待时间。
2023-07-14 cs.DC cs.LG
Towards a Federated Learning Framework for Heterogeneous Devices of Internet of Things
University of California, Davis（加利福尼亚大学戴维斯分校）
联邦学习（FL）由于其将数据保存在本地设备上的能力而在工业界和研究界受到了极大的关注。为了聚合局部模型的梯度以训练全局模型，现有的工作要求全局模型和局部模型相同。然而，物联网（IoT）设备在计算速度和板载存储器方面本质上是多样化的。在本文中，我们提出了一个FL框架，针对物联网设备的异构性。具体地，从全局模型压缩局部模型，并且使用压缩的局部模型的梯度来更新全局模型。我们进行了初步的实验，以说明我们的框架可以促进物联网感知FL的设计。
2021-05-31 cs.DC cs.LG cs.NI
Federated Learning in Chemical Engineering: A Tutorial on a Framework for Privacy-Preserving Collaboration Across Distributed Data Sources
SVKM's Dwarkadas J. Sanghvi College of Engineering（SVKM's 德瓦卡达斯·J.桑格维工程学院）；Davidson School of Chemical Engineering, Purdue University（普渡大学戴维森化学工程学院）；Federal University of Rio de Janeiro（里约热内卢联邦大学）
本研究为化学工程界提供联邦学习（FL）的易懂入门教程，基于Flower等框架构建实践工具，探讨其在化工相关任务的应用，通过实验证明FL在保护隐私的同时维持或提升模型性能，并展望了未来挑战。
2025-02-12 cs.DC cs.LG cs.NE
FedModule: A Modular Federated Learning Framework
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
针对现有联邦学习框架难以适配复杂场景的问题，本文提出开源模块化框架 FedModule，通过组件化设计支持多种范式、20 余种算法和多种执行模式，并展现出更优的扩展性与基准支持。
2024-09-07 cs.AI cs.LG
Constrained Differentially Private Federated Learning for Low-bandwidth Devices
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；BME-HIT（匈牙利布达佩斯技术与经济大学信息安全系（HIT））；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息与信号处理实验室）
当不同的实体希望协作学习公共模型而不共享它们的训练数据时，联邦学习成为一种突出的方法。然而，联邦学习有两个主要缺点。首先，它的带宽效率非常低，因为它涉及聚合服务器和参与实体之间的大量消息交换。如果参与实体是例如移动设备，则该带宽和对应的处理成本可能是过高的。此外，尽管联邦学习通过不共享数据来提高隐私性，但最近的攻击表明，它仍然泄露了有关训练数据的信息。提出了一种新的隐私保护联邦学习方案。该方案基于差分隐私，提供了理论上的隐私保证。此外，它通过将模型学习阶段限制在少数选定的权重上来优化模型精度。最后，如实验所示，与标准联邦学习相比，它将上行和下行带宽减少了99.9%，使其适用于移动系统。
2021-02-27 cs.AI cs.CR cs.LG
FLINT: A Platform for Federated Learning Integration
LinkedIn Corporation（领英公司）；University of Michigan（密歇根大学）；RightScope Inc.（RightScope公司）
跨设备联邦学习（FL）已经从算法，系统可扩展性和训练速度的角度进行了充分的研究。尽管如此，从集中培训转向针对数百万或数十亿台设备的跨设备FL会带来许多风险，包括性能损失、开发人员惰性、糟糕的用户体验和意外的应用程序故障。此外，相应的基础设施、开发成本和投资回报也难以估算。在本文中，我们提出了一个设备-云协作FL平台，该平台与现有的机器学习平台集成，提供工具来测量现实世界的约束，评估基础设施的能力，评估模型训练性能，并估计系统资源需求，以负责任地将FL投入生产。我们还提出了一个决策工作流程，利用FL集成平台来全面评估跨设备FL的权衡，并分享我们对影响数亿用户的业务关键型机器学习应用程序的经验评估。
2023-03-11 cs.DC cs.LG
A Contribution-based Device Selection Scheme in Federated Learning
Aalborg University（奥尔堡大学）
在联邦学习（FL）设置中，许多设备有助于训练公共模型。我们提出了一种方法来选择提供更新的设备，以实现更好的泛化，快速收敛，更好的设备级性能。我们制定了一个最小-最大优化问题，并将其分解成一个原始-对偶设置，其中的对偶间隙是用来量化的设备级性能。我们的策略结合了\emph{exploration}的数据新鲜度通过随机设备选择与\emph{exploitation}通过简化的估计设备的贡献。这提高了训练模型在泛化和个性化方面的性能。在开发阶段，采用了一种改进的截断蒙特卡罗（TMC）方法来估计设备的贡献，降低通信开销。实验结果表明，该方法具有较低的通信开销和较好的个性化性能。
2022-06-07 cs.DC cs.LG cs.NI
ESFL: Efficient Split Federated Learning over Resource-Constrained Heterogeneous Wireless Devices
University of Florida（佛罗里达大学）；Shandong University（山东大学）；University of Hong Kong（香港大学）；City University of Hong Kong（香港城市大学）
针对联邦学习中设备与服务器资源高效利用的难题，提出高效拆分联邦学习算法ESFL，通过拆分模型并联合优化用户侧负载与服务器资源分配，在异构设备场景下显著提升学习效率。
2024-04-17 cs.AI cs.LG cs.NI
Energy-Efficient Quantized Federated Learning for Resource-constrained IoT devices
2 CentraleSup\'elec, University of Paris-Saclay, France Email
本文提出一种面向资源受限IoT设备的联邦学习框架，集成有限块长传输、模型量化与错误感知聚合机制，并优化上行功率，实现高达75%的能耗降低且保持模型准确率。
2025-09-16 cs.DC cs.LG
Update Estimation and Scheduling for Over-the-Air Federated Learning with Energy Harvesting Devices
Dept. of Electrical and Electronics Engineering, Bilkent University（电子与电子工程系，比尔肯特大学）；Dept. of Electrical and Electronic Engineering, Imperial College London（电子与电子工程系，帝国理工学院伦敦分校）
针对无线衰落MAC下能量收集设备的OTA联邦学习中低能量到达和数据异构性问题，提出熵基调度（已知分布）和最小二乘用户表示估计调度（未知分布）两种策略，通过选择多样化用户提升学习性能并节约能量。
2025-01-30 cs.DC cs.LG
Device Heterogeneity in Federated Learning: A Superquantile Approach
UGA（格勒诺布尔阿尔卑斯大学）；University of Washington（华盛顿大学）；CNRS（法国国家科学研究中心）
针对联邦学习中不符合总体数据分布的异构设备问题，提出基于参数化超分数目标的优化框架，结合安全聚合与设备过滤实现，并在视觉和NLP任务上验证有效性。
2020-02-25 cs.DC cs.LG math.OC
Communication Efficiency Optimization of Federated Learning for Computing and Network Convergence of 6G Networks
Beijing University of Posts and Telecommunications（北京邮电大学）；Research Institute of China Telecom Co., Ltd.（中国电信股份有限公司研究院）
本文研究6G网络计算与网络融合场景下联邦学习通信效率优化问题，提出根据网络状况和设备算力对训练过程进行决策的方法，实验表明该方法能应对复杂网络、平衡训练时延、提升参数传输效率与资源利用率。
2023-11-28 cs.DC cs.LG cs.NI
FedGreed: A Byzantine-Robust Loss-Based Aggregation Method for Federated Learning
School of Electrical and Computer Engineering（电气与计算机工程学院）；National Technical University of Athens（雅典技术大学）；Department of Mathematics and Informatics（数学与信息学系）；Faculty of Sciences, University of Novi Sad（自然科学学院，诺维萨德大学）
针对客户端存在拜占庭攻击的联邦学习场景，提出无需假设对抗参与者比例的FedGreed聚合策略，基于服务器可信数据集的损失指标排序并贪婪选择损失最小的客户端子集，在异构数据下可靠运行且性能显著优于现有基线。
2025-08-25 cs.LG
Federated Evaluation and Tuning for On-Device Personalization: System Design & Applications
Apple（苹果公司）
我们描述了我们的联邦任务处理系统的设计。最初，该系统是为了支持两个特定的联邦任务而创建的：评估和调优设备上的ML系统，主要是为了个性化这些系统。近年来，增加了对额外联邦任务的支持：深度神经网络的联邦学习（FL）。据我们所知，只有一个其他系统已被描述在文献中，支持FL的规模。我们包括该系统的比较，以帮助讨论设计决策和附加的权衡。最后，我们详细描述了两个特定的大规模个性化用例，以展示联合调优对设备上个性化的适用性，并强调特定于应用程序的解决方案。
2021-02-16 cs.LG
Local Model Poisoning Attacks to Byzantine-Robust Federated Learning
The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
在联邦学习中，多个客户端设备联合学习机器学习模型：每个客户端设备维护其本地训练数据集的本地模型，而主设备通过聚合来自客户端设备的本地模型来维护全局模型。机器学习社区最近提出了几种联邦学习方法，这些方法被声称对拜占庭式故障具有鲁棒性（例如，系统故障、对抗性操纵）。在这项工作中，我们进行了第一次系统的研究局部模型中毒攻击联邦学习。我们假设攻击者已经危害了一些客户端设备，并且攻击者在学习过程期间操纵被危害的客户端设备上的本地模型参数，使得全局模型具有大的测试出错率。我们制定我们的攻击优化问题，并将我们的攻击，最近拜占庭强大的联邦学习方法。我们在四个真实世界数据集上的实证结果表明，我们的攻击可以大大增加通过联邦学习方法学习的模型的出错率，这些方法声称对某些客户端设备的拜占庭故障具有鲁棒性。我们概括了两种防御数据投毒攻击，以抵御我们的本地模型中毒攻击。我们的评估结果表明，在某些情况下，一种防御可以有效地防御我们的攻击，但在其他情况下，防御不够有效，突出了对我们的本地模型中毒攻击联邦学习的新防御的需要。
2021-11-21 cs.CR cs.DC cs.LG
On the Fragility of Contribution Score Computation in Federated Learning
Dep. of Networked Systems and Services（网络化系统与服务系）；Fac. of Electrical Eng. and Informatics（电气工程与信息学系）；Faculty of Natural Sciences（自然科学系）
本文揭示联邦学习贡献分数易受聚合方法选择和投毒攻击影响而扭曲，通过Flower框架实验验证，强调需更稳健的评估方案。
2025-10-27 cs.CR cs.GT cs.LG
Towards Flexible Device Participation in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）；Sun Yat-Sen University（中山大学）
传统的联邦学习算法对设备的参与率提出了严格的要求，这限制了联邦学习的潜在范围。本文扩展了当前的学习范式，包括可能变得不活动，计算不完整的更新，并在培训中离开或到达的设备。我们得出的分析结果，以说明如何允许更灵活的设备参与可以影响学习收敛时，数据不是独立和相同的分布（非IID）。然后，我们提出了一个新的联合聚合方案，收敛，即使设备可能是不活动的或返回不完整的更新。我们还研究了学习过程如何适应早出发或晚到达，并分析其对收敛的影响。
2021-02-25 cs.LG stat.ML
Replication Study: Federated Text-Driven Prompt Generation for Vision-Language Models
本研究通过复制FedTPG方法，验证了文本驱动提示生成在联邦学习中提升泛化能力的效果，并展示了在不同视觉领域中的高性能表现。
2025-11-24 cs.CV cs.LG
Towards Energy Efficient Distributed Federated Learning for 6G Networks
University of Sindh, Jamshoro（信德大学）；Korea Polytechnic University（韩国理工大学）；University of Johannesburg（约翰内斯堡大学）；University of Bologna（博洛尼亚大学）
通过便携式和移动设备（如空中基站）提供通信服务是5G/6 G网络中要实现的关键概念。传统上，物联网/边缘设备需要将数据直接传输到基站，以便使用机器学习技术训练模型。数据传输引入了可能导致安全问题和金钱损失的隐私问题。最近，联邦学习被提出来通过与基站的模型共享来部分地解决隐私问题。然而，联邦学习的集中式本质仅允许基站附近的设备共享训练模型。此外，长距离通信迫使设备增加传输功率，这引起了能量效率问题。在这项工作中，我们提出了分布式联邦学习（DBFL）框架，克服了连接和能源效率的问题，为远程设备。DBFL框架与移动边缘计算架构兼容，该架构使用集群协议以分布式方式连接设备。实验结果表明，与传统的联邦学习相比，该框架在降低能耗的同时，分类性能提高了7.4%.
2022-01-19 cs.DC cs.LG cs.NI
FedMint: Intelligent Bilateral Client Selection in Federated Learning with Newcomer IoT Devices
Lebanese American University（黎巴嫩美国大学）；Polytechnique Montréal（蒙特利尔理工学院）；Khalifa University（哈利法大学）；Zayed University（扎耶德大学）；New York University（纽约大学）；Mohammad Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习（Federated Learning，FL）是一种新的分布式隐私保护学习范式，它支持多个参与者（例如，物联网设备）用于训练机器学习模型。然而，选择将有助于这种合作培训的参与者是非常具有挑战性的。采用随机选择策略会带来很大的问题，因为数据质量以及参与者之间的计算和通信资源存在异质性。虽然在文献中已经提出了几种方法来克服随机选择的问题，这些方法中的大多数遵循单边选择策略。事实上，他们的选择策略只基于联邦服务器端，而忽略了过程中客户机设备的利益。为了克服这个问题，我们在本文FedMint，智能客户端选择方法联邦学习物联网设备上使用博弈论和自举机制。我们的解决方案包括以下设计：（1）用于客户端IoT设备和联合服务器的偏好功能，以允许它们根据诸如准确性和价格之类的若干因素对彼此进行排名，（2）在其设计中考虑双方偏好的智能匹配算法，以及（3）利用多个联合服务器的协作以便为新连接的IoT设备分配初始准确度值的自举技术。根据我们的模拟结果，我们的策略在最大化客户端设备的收入和全球联邦学习模型的准确性方面超过了VanillaFL选择方法。
2022-10-31 cs.CR cs.DC cs.GT
CAFL-L: Constraint-Aware Federated Learning with Lagrangian Dual Optimization for On-Device Language Models
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出CAFL-L，一种基于拉格朗日对偶优化的约束感知联邦学习方法，通过动态调整训练超参数以适应设备级资源约束，在保持模型性能的同时显著降低内存与通信开销，适用于边缘设备部署。
2025-10-10 cs.CL cs.DC cs.LG
Scaling Language Model Size in Cross-Device Federated Learning
Google（谷歌）
跨设备联邦学习的大多数研究都集中在小模型上，这是由于服务器-客户端通信和设备上的计算瓶颈。在这项工作中，我们利用各种技术来缓解这些瓶颈，以在跨设备联邦学习中训练更大的语言模型。通过系统地应用部分模型训练、量化、高效迁移学习和高效通信优化器，我们能够训练$21$ M参数Transformer和$20.2$ M参数Conformer，其实现与类似大小的LSTM相同或更好的困惑度，其中$\sim10\times$具有更小的客户端到服务器通信成本，并且$11\%$具有比文献中通常研究的较小LSTM更低的困惑度。
2022-06-24 cs.CL cs.LG
Cross-device Federated Learning for Mobile Health Diagnostics: A First Study on COVID-19 Detection
联邦学习（FL）辅助健康诊断模型可以合并来自大量个人边缘设备（例如，移动电话），同时将数据保持在始发设备的本地，这在很大程度上确保了隐私。然而，这种用于健康诊断的跨设备FL方法仍然带来许多挑战，这是由于本地数据不平衡（极端情况下，本地数据由单一疾病类别组成）和全球数据不平衡（人群中的疾病患病率通常较低）。由于联邦服务器无法访问数据分布信息，因此解决不平衡问题以实现无偏模型并非易事。在本文中，我们提出了FedLoss，一种新的跨设备FL健康诊断框架。在这里，联邦服务器根据本地数据的预测损失对边缘设备上训练的模型进行平均，而不是仅使用样本数量作为权重。由于预测损失更好地量化了设备上的数据分布，FedLoss消除了数据不平衡的影响。通过一个真实世界的呼吸音数据集和基于COVID- $19$检测任务，我们验证了FedLoss的优越性。与AUC-ROC为$79\%$的集中式模型相比，它实现了具有竞争力的COVID- $19$检测性能。它在灵敏度和收敛速度方面也优于最先进的FL基线。我们的工作不仅展示了联合COVID- $19$检测的前景，还为以隐私保护方式开发大量移动健康模型铺平了道路。
2023-03-13 cs.DC cs.LG cs.SD
Heterogeneous federated collaborative filtering using FAIR: Federated Averaging in Random Subspaces
Rice University（莱斯大学）；ThirdAI Corp（ThirdAI 公司）
针对联邦推荐中嵌入表超出异构设备内存的问题，本文提出 FAIR，利用基于哈希随机投影的一致可坍缩子空间实现任意压缩和全设备协同训练，并验证其效果与收敛性。
2023-11-03 cs.LG
On the Impact of Device and Behavioral Heterogeneity in Federated Learning
KAUST（阿卜杜拉国王科技大学）；UCLouvain（鲁汶大学）；IST(ULisboa)/INESC-ID（里斯本大学高等技术学院/信息与通信技术研究所）
联邦学习（FL）正在成为一种流行的模式，用于在非信任实体拥有的分布式私有数据集上进行协作学习。FL已经在生产环境中成功部署，并已在虚拟键盘、自动完成、项目推荐和多个物联网应用程序等服务中采用。然而，FL面临着在集中式FL服务器无法控制的大部分异构数据集、设备和网络上执行训练的挑战。在这种固有设置的激励下，我们迈出了表征设备和行为异质性对训练模型的影响的第一步。我们进行了广泛的实证研究，跨越近1.5K独特的配置上五个流行的FL基准。我们的分析表明，这些来源的异质性有重大影响的模型性能和公平性，从而揭示了在FL系统设计中考虑异质性的重要性。
2021-02-15 cs.DC cs.LG cs.PF
FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization
UC Santa Barbara（加州大学圣巴巴拉分校）；UT Austin（德克萨斯大学奥斯汀分校）；UPenn（宾夕法尼亚大学）；MIT（麻省理工学院）
联邦学习是一种分布式框架，根据该框架，在一组设备上训练模型，同时保持数据本地化。该框架面临着几个面向系统的挑战，其中包括（i）由于大量设备将其本地更新上传到参数服务器而产生的通信瓶颈，以及（ii）由于联合网络由数百万个设备组成而产生的可扩展性。由于这些系统挑战以及与数据的统计异质性和隐私问题相关的问题，设计一种可证明有效的联邦学习方法具有重要意义，但它仍然具有挑战性。在本文中，我们提出了FedPAQ，一个通信效率高的联邦学习方法与周期平均和量化。FedPAQ依赖于三个关键特性：（1）定期平均，其中模型在设备上本地更新，并且仅在服务器上定期平均;（2）部分设备参与，其中只有一小部分设备参与每轮训练;以及（3）量化消息传递，其中边缘节点在上传到参数服务器之前对其更新进行验证。这些特性解决了联邦学习中的通信和可伸缩性挑战。我们还表明，FedPAQ实现了近最佳的理论保证强凸和非凸损失函数和经验证明我们的方法提供的通信计算权衡。
2020-06-07 cs.DC cs.LG math.OC
Fast Federated Learning in the Presence of Arbitrary Device Unavailability
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习（FL）与众多异构设备协调，以协作方式训练共享模型，同时保护用户隐私。尽管具有多种优势，但FL面临着新的挑战。当设备脱离中央服务器的控制而退出训练过程时，就会出现一个挑战。在这种情况下，流行的FL算法，如FedAvg的收敛严重影响的离散设备。为了解决这一问题，我们研究了任意设备不可用情况下的联邦学习算法，并提出了一种名为内存增强的不耐烦联邦平均（MIFA）的算法。我们的算法有效地避免了过多的延迟引起的非活动设备，并纠正梯度偏差使用记忆的最新更新的设备。我们证明了MIFA实现minimax最优收敛速度非独立同分布。强凸和非凸光滑函数的数据。我们还提供了一个明确的表征基线算法的改进，通过案例研究，并验证了真实世界的数据集上的数值实验的结果。
2021-06-08 cs.LG math.OC
Loss Tolerant Federated Learning
University of Helsinki（赫尔辛基大学）；Tongji University（同济大学）；Hong Kong University of Science and Technology（香港科技大学）
近年来，联邦学习在分布式设备上协同训练数据并保护隐私方面引起了人们的关注。移动和物联网设备的网络容量有限，一直被视为跨设备联邦学习的主要挑战之一。最近的解决方案一直专注于基于阈值的客户端选择方案，以保证通信效率。然而，我们发现这种方法可能会导致偏见的客户端选择和性能恶化的结果。此外，我们发现，网络限制的挑战在某些情况下可能被夸大了，数据包丢失并不总是有害的。在本文中，我们探讨了损失容忍联邦学习（LT-FL）的聚合，公平性和个性化。我们使用ThrowRightAway（TRA）来加速低带宽设备的数据上传，故意忽略一些数据包丢失。结果表明，TRA算法与其他算法的适当结合，可以在一定的丢包率（10%~ 30%）下保证个性化和公平性。
2021-05-08 cs.AI cs.LG cs.NI
FedFm: Towards a Robust Federated Learning Approach For Fault Mitigation at the Edge Nodes
IIT Delhi（印度理工学院德里分校）；University of Cambridge（剑桥大学）；UQIDAR, IIT Delhi（印度理工学院德里分校 UQIDAR）
联邦学习从“将数据发送到模型”到“将模型发送到数据”的规范。当在边缘生态系统中使用时，通过不同方式收集数据并通过不同网络通道连接的众多异构边缘设备都会参与训练过程。在这样的生态系统中，由于设备故障或网络问题而导致的边缘设备故障的可能性很高。在本文中，我们首先分析了边缘设备的数量对FL模型的影响，并提供了一种策略来选择对模型有贡献的最佳设备数量。我们观察边缘生态系统在所选设备发生故障时的行为，并提供缓解策略以确保强大的联邦学习技术。
2021-11-01 cs.LG
DP-Hype: Federated Differentially Private Hyperparameter Search
Institute of IT Security, University of Luebeck（吕贝克大学IT安全研究所）
提出DP-Hype算法，通过联邦投票基于客户端本地评估进行隐私保护超参数搜索，实现客户端级差分隐私且隐私预算与超参数数量无关，在多种数据集上展示高效用。
2026-06-16 cs.LG
