An Efficient and Robust System for Vertically Federated Random Forest
JD Finance America Corporation（京东金融美国公司）
随着人们对利用跨多个资源的数据来构建更好的机器学习模型的兴趣越来越大，已经提出了许多垂直联邦学习算法来保护参与组织的数据隐私。然而，现有垂直联邦学习算法的效率仍然是一个大问题，特别是当应用于大规模真实世界数据集时。在本文中，我们提出了一个快速，准确，可扩展的，但强大的系统垂直联邦随机森林。通过广泛的优化，我们实现了$5\times$和$83\times$在SOTA SecureBoost模型\cite{cheng2019secureboost}上的加速，用于训练和服务任务。此外，所提出的系统可以达到类似的精度，但具有良好的可扩展性和分区容忍。我们的守则已经公开，以促进社区的发展和保护用户数据隐私。
2022-01-26 cs.CR cs.DC cs.LG
D2P-Fed: Differentially Private Federated Learning With Efficient Communication
University of California, Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
在本文中，我们提出了基于离散高斯差分隐私联邦学习（D2 P-Fed），一个统一的计划，以实现差分隐私（DP）和联邦学习（FL）的通信效率。特别地，与仅兼顾这两个方面的先前工作相比，D2 P-Fed提供了更强的隐私保证、更好的可组合性和更小的通信成本。其核心思想是将离散高斯噪声应用于私有数据传输。我们提供了完整的分析的隐私保障，通信成本和收敛速度的D2 P-Fed。我们在INFIMNIST和CIFAR 10上评估了D2 P-Fed。结果表明，D2 P-Fed在模型精度方面比最先进的模型高出4.7%至13.0%，同时节省了三分之一的通信成本。
2021-01-02 cs.CR cs.LG stat.ME
When Decentralized Optimization Meets Federated Learning
Temple University（天普大学）；University of Florida（佛罗里达大学）
本文系统梳理将去中心化优化引入联邦学习以解决中心化架构单点故障问题的挑战与机遇，并从模型、数据和通信三方面展开分析。
2023-06-05 cs.LG math.OC
Federated Learning: Opportunities and Challenges
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
联邦学习（FL）是Google在2016年首次提出的概念，其中多个设备在中央服务器的监督下协作学习机器学习模型，而无需共享其私人数据。这为医疗保健、金融等关键领域提供了充足的机会，在这些领域，将私人用户信息共享给其他组织或设备是有风险的。虽然FL似乎是一种很有前途的机器学习（ML）技术，可以保持本地数据的私密性，但它也容易受到其他ML模型的攻击。鉴于人们对外语领域的兴趣日益浓厚，本报告讨论了联邦学习的机遇和挑战。
2021-01-14 cs.DC cs.LG
GFL: A Decentralized Federated Learning Framework Based On Blockchain
Polytechnic Institute, Zhejiang University（浙江大学理工学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Public Affairs, Zhejiang University（浙江大学公共管理学院）
联邦学习（FL）是一个快速发展的领域，已经提出了许多集中式和分散式的FL框架。然而，如何提高FL框架的通信性能，保持FL框架在恶意节点攻击下的安全性和鲁棒性，是当前FL框架面临的一大挑战。在本文中，我们提出了银河联邦学习框架（GFL），一个基于区块链的去中心化FL框架。GFL引入了一致性哈希算法来提高通信性能，并提出了一种新的环形分散FL算法（RDFL）来提高分散FL的性能和带宽利用率。此外，GFL引入星际文件系统（IPFS）和区块链，进一步提升通信效率和FL安全性。实验结果表明，GFL在恶意节点和非独立同分布（Non-IID）数据集的数据投毒下，提高了通信性能和分散FL性能.
2021-04-13 cs.CR cs.DC cs.LG
FLUTE: A Scalable, Extensible Framework for High-Performance Federated Learning Simulations
Microsoft Research（微软研究院）；University of California, San Diego（加州大学圣地亚哥分校）
在本文中，我们介绍了“联邦学习实用程序和工具的实验”（FLUTE），一个高性能的开源平台的联邦学习的研究和离线模拟。FLUTE的目标是实现大规模新联邦学习算法的快速原型设计和仿真，包括新的优化、隐私和通信策略。我们描述了FLUTE的体系结构，使任意联邦建模方案得以实现。我们将该平台与其他最先进的平台进行比较，并描述了FLUTE的可用功能，用于在积极研究的核心领域进行实验，如优化，隐私和可扩展性。与其他已建立的平台相比，速度提高了42倍，内存占用节省了3倍。还为一系列任务提供了平台功能的示例，以及其他功能，例如参与客户端数量的线性缩放，以及各种联合优化器，包括FedAdam，DGA等。
2022-11-14 cs.LG
Energy-Efficient Quantized Federated Learning for Resource-constrained IoT devices
2 CentraleSup\'elec, University of Paris-Saclay, France Email
本文提出一种面向资源受限IoT设备的联邦学习框架，集成有限块长传输、模型量化与错误感知聚合机制，并优化上行功率，实现高达75%的能耗降低且保持模型准确率。
2025-09-16 cs.DC cs.LG
Resource-Constrained Federated Learning with Heterogeneous Labels and Models
Global AI Accelerator, Ericsson（爱立信全球人工智能加速器）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）；Ericsson Research（爱立信研究院）
各种物联网应用需要资源受限的机器学习机制，用于不同的应用，如普及医疗保健，活动监控，语音识别，实时计算机视觉等。联邦学习被证明是分布式和协作式机器学习的一个非常可行的选择。特别是，设备上的联邦学习是一个活跃的研究领域，然而，在解决统计（非IID数据）和模型异质性方面存在各种挑战。此外，在本文中，我们探讨了一个新的挑战的兴趣-处理标签异质性在联邦学习。为此，我们提出了一个框架，简单的$α$加权联邦聚合的分数，利用重叠的信息增益标签，同时节省带宽成本的过程中。对Animals-10数据集（具有4个标签以有效阐明结果）的经验评价表明，平均确定性准确度至少增加约16.7%。我们还通过在Raspberry Pi 2（单板计算平台）上进行不同迭代的联邦学习和推理实验，展示了我们提出的框架的设备上功能。
2020-11-06 cs.DC cs.LG cs.NI
FedSSO: A Federated Server-Side Second-Order Optimization Algorithm
Yidu Cloud Technology Inc.（医渡云科技有限公司）；Institute for AI Industry Research, Tsinghua University（清华大学智能产业研究院）；Army Engineering University of PLA（中国人民解放军陆军工程大学）
在这项工作中，我们提出了FedSSO，服务器端二阶优化方法的联邦学习（FL）。与以前在这个方向上的工作相比，我们采用了服务器端近似的拟牛顿方法，而不需要任何训练数据从客户端。通过这种方式，我们不仅将计算负担从客户端转移到服务器，而且完全消除了客户端和服务器之间的二阶更新的额外通信。我们提供了理论保证，我们的新方法的收敛性，并实证证明我们的快速收敛和通信节省在凸和非凸设置。
2022-08-23 cs.AI cs.LG math.OC
OCD-FL: A Novel Communication-Efficient Peer Selection-based Decentralized Federated Learning
Université Paris Dauphine-PSL, Tunis Campus（巴黎第九大学-PSL大学 突尼斯校区）；École de technoogie supérieure (ÉTS) Montreal（高等技术学院（蒙特利尔ÉTS））
本文提出OCD-FL方案，通过系统性对等选择实现通信高效的去中心化联邦学习，在保持或提升性能的同时将能耗降低30%至80%。
2024-11-22 cs.DC cs.LG
Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心（CWC））
针对二阶联邦学习计算存储成本高、通信开销大的问题，提出结合稀疏海森矩阵估计与空中聚合的可扩展二阶FL算法，相比基线方法节省超67%的通信资源与能耗。
2025-01-14 cs.LG
TITAN-FedAnil+: Trust-Based Adaptive Blockchain Federated Learning for Resource-Constrained Intelligent Enterprises
University of Science and Technology of China（中国科学技术大学）
提出TITAN-FedAnil+框架，通过基于亲和传播的自适应聚类聚合过滤恶意更新、GPU加速向量化提升效率及有符号状态跳变机制实现轻量级区块链重同步，在资源受限边缘设备上内存开销降低81%。
2026-06-03 cs.AI cs.CR cs.LG
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning
Nankai University（南开大学）；Nanyang Technological University（南洋理工大学）；University of British Columbia (UBC)（不列颠哥伦比亚大学（UBC））
针对联邦学习中大模型微调的计算与通信成本高及模型异构问题，提出pFedLoRA框架，通过同构小型适配器实现全局-局部知识交换迭代训练，在保证性能的同时显著降低开销并证明其收敛性。
2024-02-11 cs.DC cs.LG
Uncertainty-Aware Federated Learning for Cyber-Resilient Microgrid Energy Management
ICT Convergence Research Center（信息通信融合研究中心）；Kumoh National Institute of Technology（Kumoh国立技术学院）；IT-Convergence Engineering（信息通信融合工程）
本文提出一种结合联邦学习和网络韧性的微电网能源管理框架，通过级联检测与多信号融合提升攻击鲁棒性，实现能源调度优化与成本节约。
2025-11-22 cs.CR cs.LG
Communication-Efficient Federated Optimization over Semi-Decentralized Networks
Carnegie Mellon University（卡内基梅隆大学）
本文针对大规模联邦与分散式学习中的通信瓶颈，提出半分散通信协议下的PISCO算法，结合梯度跟踪与多次本地更新，实现通信高效并保持线性加速，数值验证其鲁棒性。
2025-02-23 cs.DC cs.LG math.OC
Intrinisic Gradient Compression for Federated Learning
Oxford University（牛津大学）；Harvard University（哈佛大学）
联邦学习是一个快速发展的研究领域，它使大量客户能够在私人持有的数据上联合训练机器学习模型。更广泛地采用联邦学习的最大障碍之一是从客户端发送模型更新和向客户端发送模型更新的通信成本，这一点由于许多这些设备都受到带宽限制而变得更加突出。在本文中，我们的目标是解决这个问题，通过优化网络在其完整的参数空间的子空间，一个想法被称为内在维度在机器学习理论界。我们使用的内在维度和梯度压缩的概念之间的对应关系，以获得一个家庭的低带宽的优化算法，我们称之为内在梯度压缩算法。具体来说，我们提出了三种算法在这个家庭中使用不同级别的上传和下载带宽在各种联邦设置，以及理论上的保证，他们的性能。最后，在包含多达100 M参数的模型的大规模联邦学习实验中，我们表明，与当前最先进的梯度压缩方法相比，我们的算法表现非常好。
2021-12-05 cs.DC cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh（孟加拉国美国国际大学）；North South University（北南大学）
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法，比较APPLE+DP与APPLE+HE算法，发现前者执行效率高，后者整体表现更优，为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy
University of Nevada, Reno（内华达大学雷诺分校）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
联邦学习（FL）使边缘设备能够协作地学习共享模型，同时将其训练数据保持在本地，近来受到了极大的关注，并且与传统的集中式学习范式相比，它可以保护隐私。然而，关于训练数据的敏感信息仍然可以从FL中共享的模型参数中推断出来。差分隐私（DP）是防御这些攻击的最新技术。在FL中实现DP的关键挑战在于DP噪声对模型精度的不利影响，特别是对于具有大量参数的深度学习模型。本文提出了一种新的差分私有FL方案Fed-SMP，它在保持高模型精度的同时提供了客户端级的DP保证。为了减轻隐私保护对模型准确性的影响，Fed-SMP利用了一种名为稀疏模型扰动（SMP）的新技术，在该技术中，本地模型在被高斯噪声扰动之前首先被稀疏化。我们提供了一个紧密的端到端的隐私分析Fed-SMP使用Renyi DP，并证明了收敛的Fed-SMP与无偏和有偏稀疏。在真实数据集上进行了大量的实验，以证明Fed-SMP在提高模型精度的同时，具有相同的DP保证和节省通信成本的有效性。
2022-11-15 cs.CR cs.LG
Federated Learning with Blockchain-Enhanced Machine Unlearning: A Trustworthy Approach
Faculty of Data Science, City University of Macau（澳门大学数据科学学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）
本文提出一种结合区块链与联邦学习的框架，通过不可篡改的记录和认证机制解决物联网环境中机器遗忘学习缺乏可验证性的信任问题，同时优化数据管理以保障系统效率与隐私安全。
2024-05-27 cs.AI cs.CR cs.DC
A Federated Learning Benchmark for Drug-Target Interaction
University of Turin（都灵大学）；University of Cambridge（剑桥大学）
本文提出在药物-靶点相互作用（DTI）领域应用联邦学习以应对数据隐私限制，构建了基准并在 GraphDTA 模型和 KIBA 数据集上验证其性能提升达 15%，同时揭示了非 IID 数据不影响 FL 性能及新增数据与客户端的成本收益权衡。
2023-10-18 cs.DC cs.LG
Recycling Model Updates in Federated Learning: Are Gradient Subspaces Low-Rank?
Purdue University（普渡大学）
在本文中，我们质疑在联邦学习过程中通过分布式系统传播大量参数的基本原理。我们首先检查由跨时期的梯度所跨越的子空间的秩特性（即，梯度空间），并观察到该梯度空间通常由占解释方差的绝大多数（95-99%）的几个主要主成分组成。受此启发，我们提出了“回望梯度乘法器”（LBGM）算法，该算法利用这种低秩属性，使梯度循环之间的模型更新轮的联邦学习，减少大参数的传输到单个标量的聚合。我们分析了LBGM的收敛行为，揭示了通信节省和模型性能之间的权衡的性质。我们随后的实验结果表明，与传统的联邦学习相比，LBGM在多个数据集和深度学习模型上的通信开销有所改善。此外，我们表明，LBGM是一个通用的即插即用算法，可以单独使用或堆叠在现有的稀疏化技术的分布式模型训练。
2022-02-01 cs.LG stat.ML
Communication-Efficient Federated Learning via Clipped Uniform Quantization
Boise State University（博伊西州立大学）
本文提出通过裁剪均匀量化与自适应量化方案，在联邦学习中显著降低通信开销，同时保持接近全精度的模型性能，并增强客户端隐私。
2024-12-14 cs.LG cs.MA eess.SP
Balancing Energy Efficiency and Distributional Robustness in Over-the-Air Federated Learning
Centre of Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心）；King Fahd University of Petroleum and Minerals (KFUPM)（法赫德国王石油矿产大学）
针对无线边缘设备带来的能量、带宽等挑战，本文提出一种结合确定性与概率性客户端选择的方法，在基于空中计算的分布鲁棒联邦学习中平衡能量效率与鲁棒性，实现超3倍能量节省。
2023-12-22 cs.LG eess.SP
IFedAvg: Interpretable Data-Interoperability for Federated Learning
ETH Zürich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
最近，对面向隐私的机器学习的需求不断增长，促使研究人员开发联合和分散的学习技术，允许个人客户在不公开其私有数据集的情况下协作训练模型。然而，在依赖于高级别用户信任的领域中，广泛采用受到限制，在这些领域中，数据兼容性评估至关重要。在这项工作中，我们定义和解决低互操作性引起的底层客户端数据不一致的联邦学习表格数据。所提出的方法，iFedAvg，建立在联邦平均添加本地元素的仿射层，以允许个性化和粒度的理解协作学习过程。因此，使得能够检测联合中的离群数据集，并且还学习对本地数据分布偏移的补偿，而不共享任何原始数据。我们使用几个公共基准和以前从未研究过的2014 - 2016年西非埃博拉疫情的真实世界数据集来评估iFedAvg，共同形成了世界上最大的此类数据集。在所有评估中，iFedAvg都以可忽略不计的开销实现了具有竞争力的平均性能。此外，它还显示了对离群客户端的实质性改进，突出了对单个数据集变化的鲁棒性。最重要的是，我们的方法在细粒度级别上提供了有价值的客户特定见解，以指导可互操作的联邦学习。
2021-07-14 cs.DC cs.LG
Using Federated Machine Learning in Predictive Maintenance of Jet Engines
The University of Oklahoma（俄克拉荷马大学）
本文针对喷气发动机剩余使用寿命（RUL）预测问题，提出基于联邦机器学习框架的方法，通过非线性模型捕捉数据复杂模式，结合去中心化计算保护隐私，使用C-MAPSS数据集验证，可优化维护计划并提升航空业运营效率。
2025-02-07 cs.LG
Architectural Patterns for the Design of Federated Learning Systems
CSIRO（联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
联邦学习已经受到学术界和工业界的快速增长的兴趣，以解决机器学习中的数据饥饿和隐私挑战。联邦学习系统可以被视为具有不同组件和利益相关者的大规模分布式系统，因为许多客户端设备参与联邦学习。设计一个联邦学习系统需要软件系统设计思维，而不需要机器学习知识。尽管人们从机器学习技术的角度对联邦学习进行了大量的研究，但在构建联邦学习系统时，软件体系结构设计的问题却被忽略了。因此，在本文中，我们提出了一个架构模式的集合，以处理联邦学习系统的设计挑战。在软件架构设计期间，架构模式为给定上下文中经常出现的问题提供了可重用的解决方案。所提出的模式是基于系统的文献综述的结果，包括三个客户端管理模式，四个模型管理模式，三个模型培训模式，和四个模型聚合模式。这些模式与联邦学习模型生命周期中的特定状态转换相关联，作为在联邦学习系统设计中有效使用模式的指导。
2021-06-18 cs.DC cs.LG cs.SE
SFedHIFI: Fire Rate-Based Heterogeneous Information Fusion for Spiking Federated Learning
本文提出SFedHIFI框架，通过基于发火率的异构信息融合实现异构联邦学习，提升资源受限客户端的模型部署效率和性能。
2026-03-16 cs.LG
Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks
Singapore University of Design and Technology（新加坡科技设计大学）；Shenzhen University（深圳大学）；East China Normal University（华东师范大学）；Zhejiang University（浙江大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
个性化联邦学习（Personalized Federated Learning，PFL）是一种新的联邦学习（Federated Learning，FL）方法，用于解决分布式用户设备（User Equipment，UE）产生的数据集的异构性问题。然而，大多数现有的PFL实现依赖于同步训练来确保良好的收敛性能，这可能导致严重的掉队问题，其中训练时间被最慢的UE严重延长。为了解决这个问题，我们提出了一个半同步PFL算法，称为半同步个性化联邦平均（PerFedS $^2$），在移动边缘网络。通过联合优化无线带宽分配和UE调度策略，它不仅减轻了落伍者问题，而且提供了收敛的训练损失保证。我们得出的上界的收敛速度PerFedS2的参与者的数量，每一个全球轮和轮数。在此基础上，可以使用解析解来解决带宽分配问题，并且可以通过贪心算法来获得UE调度策略。实验结果表明，与同步和异步PFL算法相比，PerFedS2在保证训练损失收敛的同时，节省了训练时间.
2022-09-27 cs.LG cs.NI
Principles and Components of Federated Learning Architectures
Research and Development Department（研发部）；University of Hertfordshire（赫特福德大学）；Bangladesh University of Engineering and Technology（孟加拉工程与技术大学）；Westcliff university（韦斯特克莱夫大学）；Clark Atlanta University（克拉克亚特兰大大学）
本文系统阐述联邦学习架构的五个关键领域（系统异构、数据划分、模型、通信、隐私），指出局限性并提出未来方向，提供源于文献的架构模式，以增进对FL核心要素与基础的理解。
2025-04-20 cs.LG
A Systematic Review of Federated Generative Models
University of California, Riverside（加州大学河滨分校）
该综述系统回顾了2019至2024年间联邦学习与生成模型结合的研究，比较近100篇论文的方法与隐私考量，指出最新进展和未解挑战。
2024-05-26 cs.CL cs.CR cs.LG
Smart Sampling: Helping from Friendly Neighbors for Decentralized Federated Learning
School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）
本文提出AFIND+算法，通过识别有益邻居、自适应调整采样数量并按其贡献聚合模型，在去中心化联邦学习中提升客户端性能，实验表明其优于现有采样算法且兼容主流DFL优化算法。
2024-07-05 cs.LG
FedTrees: A Novel Computation-Communication Efficient Federated Learning Framework Investigated in Smart Grids
University of Glasgow（格拉斯哥大学）
在供应商和消费者层面进行智能能源性能监测和优化对于实现智慧城市至关重要。为了实施更可持续的能源管理计划，进行更好的能源预测至关重要。下一代智能电表还可用于测量、记录和报告能耗数据，这些数据可用于训练机器学习（ML）模型，以预测能源需求。然而，共享细粒度的能源数据和执行集中式学习可能会损害用户的隐私，并使他们容易受到多种攻击。这项研究通过利用联邦学习（FL）来解决这个问题，这是一种新兴的技术，可以在数据所在的用户级别执行ML模型训练。我们介绍FedTrees，这是一个新的轻量级FL框架，它受益于集成学习的出色功能。此外，我们开发了一种基于增量的早期停止算法来监控FL训练，并在不需要继续时停止它。仿真结果表明，FedTrees优于最流行的联邦平均（FedAvg）框架和基线持久性模型，提供准确的能源预测模式，而只有2%的计算时间和13%的通信轮次相比，FedAvg，节省了大量的计算和通信资源。
2022-09-30 cs.LG
Optimal Gradient Compression for Distributed and Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
在分布式和联邦学习中的计算节点之间传递信息（如梯度向量）通常是不可避免的负担，从而导致可伸缩性问题。事实上，沟通可能会很慢，而且成本很高。通信高效训练算法的最新进展已经通过使用压缩技术以稀疏化、量化或低秩近似的形式减少了这个瓶颈。由于压缩是一个有损的或不精确的过程，迭代复杂性通常会恶化;但总的通信复杂性可以显著改善，可能导致大量的计算时间节省。在本文中，我们调查的基本平衡之间的比特数需要编码压缩矢量和压缩误差。我们执行最坏情况和平均情况下的分析，提供严格的下限。在最坏情况下的分析，我们引入了一个有效的压缩算子，稀疏抖动，这是非常接近的下限。在平均情况分析中，我们设计了一个简单的压缩运算符Spherical Compression，它自然达到了下界。因此，我们的新的压缩方案显着优于国家的最先进的。我们进行数值实验来说明这种改进。
2020-10-07 cs.LG math.OC
Heterogeneity: An Open Challenge for Federated On-board Machine Learning
University of Luxembourg（卢森堡大学）；SnT（SnT研究院）；FSTM（FSTM学院）
本文针对跨运营商异构卫星协作的星载联邦学习场景，系统性梳理了系统异构性带来的各类挑战，概述了对应研究现状，为后续深入研究提供切入点。
2024-08-13 cs.DC cs.LG
Federated Latent Factor Learning for Recovering Wireless Sensor Networks Signal with Privacy-Preserving
College of Computer and Information Science（计算机与信息科学学院）；Southwest University（西南大学）；School of Engineering（工程学院）；University of Western Australia（西澳大学）；College of Food Science（食品科学学院）；Chongqing True Flavor Food Co LTD（重庆真味食品有限公司）
针对无线传感器网络数据缺失且隐私保护不足的问题，提出联邦潜在因子学习模型FLFL-SSR，通过传感器级联邦学习和局部空间共享策略，在保护隐私的同时提升信号恢复精度。
2025-04-22 cs.LG
Revisiting Ensembling in One-Shot Federated Learning
EPFL（洛桑联邦理工学院）；University of Copenhagen（哥本哈根大学）；Sorbonne Université（索邦大学）；Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；LPSM（数学与建模科学实验室）
提出FENS联邦集成方案，通过本地训练与协作训练轻量级聚合器两阶段方法，在保持低通信成本的同时显著提升一次性联邦学习的准确率。
2024-11-11 cs.DC cs.LG
Federated Learning with Spiking Neural Networks
Yale University（耶鲁大学）
随着神经网络在资源受限的嵌入式设备中得到广泛采用，对低功耗神经系统的需求日益增长。脉冲神经网络（SNN）正在成为传统人工神经网络（ANN）的能量高效替代方案，人工神经网络（ANN）已知是计算密集型的。从应用的角度来看，由于联邦学习涉及多个能源受限的设备，因此利用SNN提供的能源效率有很大的空间。尽管其重要性，但很少有人关注在像联邦学习这样的大规模分布式系统上训练SNN。在本文中，我们将SNN带到一个更现实的联邦学习场景中。具体来说，我们提出了一个联邦学习框架，用于SNN的分散和隐私保护训练。为了验证所提出的联邦学习框架，我们用CIFAR10和CIFAR100基准测试实验评估了SNN在联邦学习各个方面的优势。我们观察到，当数据分布在联邦中的大量客户端时，SNN在整体准确性方面优于ANN超过15%，同时提供高达5.3倍的能源效率。除了效率之外，我们还分析了所提出的联邦SNN框架对客户端，落伍者和梯度噪声之间的数据分布的敏感性，并与ANN进行了全面的比较。
2021-06-11 cs.CV cs.DC cs.LG
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会，信息技术的发展日新月异。在大数据时代，个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而，这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型，具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本，在本文中，我们提出将联邦学习和局部差分隐私与动量梯度下降相结合，以提高机器学习模型的性能。
2022-10-14 cs.LG
Hire When You Need to: Gradual Participant Recruitment for Auction-based Federated Learning
Alibaba-NTU Singapore Joint Research Institute, Nanyang Technological University（南洋理工大学阿里巴巴-新加坡南洋理工大学联合研究院）；Nanyang Technological University（南洋理工大学）
针对基于声誉的联邦学习参与者选择存在的冷启动与选择偏差问题，提出渐进式选择方案GPS-AFL，通过多轮逐步招募参与者平衡成本与性能，实验验证其相较最优前沿方法可降本提效。
2023-12-19 cs.DC cs.LG
Asynchronous Hierarchical Federated Learning
Splunk Inc.（Splunk公司）；University of Illinois（伊利诺伊大学）
联邦学习是一个快速发展的研究领域，具有各种好处和行业应用。典型的联邦模式有一些固有的问题，比如服务器流量大、收敛时间长和准确性不可靠。在本文中，我们通过提出异步分层联邦学习来解决这些问题，在这种学习中，中央服务器使用网络拓扑或某种聚类算法来为工作者分配集群（即，客户端设备）。在每个集群中，选择一个特殊的聚合器设备，以实现分层学习，导致服务器和工人之间的有效通信，从而可以显着减少服务器的负担。此外，异步联邦学习模式用于容忍系统的异构性并实现快速收敛，即，服务器将来自工作者的梯度通过陈旧参数加权进行聚合以更新全局模型，并且在工作者中执行正则化随机梯度下降，从而可以减轻异步学习的不稳定性。在CIFAR-10图像分类任务上对所提算法进行了评估，实验结果证明了异步分层联邦学习的有效性。
2022-05-31 cs.LG
Enhancing the Privacy of Federated Learning with Sketching
Carnegie Mellon University（卡内基梅隆大学）
为了应对日益增长的对用户隐私的担忧，联邦学习已经成为一种很有前途的工具，可以在设备网络上训练统计模型，同时保持数据本地化。联邦学习方法直接在用户设备上运行训练任务，并且不与第三方共享原始用户数据。然而，当前的方法仍然共享模型更新，其可以包含私有信息（例如，（1）身高和体重，在训练过程中旨在提高联邦学习隐私性的现有努力在以下一个或多个关键领域做出了妥协：性能（特别是通信成本），准确性或隐私性。为了更好地优化这些权衡，我们建议\textit{sketching algorithms}具有独特的优势，因为它们可以在保持准确性的同时提供隐私和性能优势。我们评估了基于草图的联邦学习的可行性与三个代表性的学习模型的原型。我们的初步研究结果表明，在不牺牲性能或准确性的情况下，为联邦学习提供强大的隐私保证是可能的。我们的工作强调，在分布式环境中，隐私和通信之间存在着根本的联系，并提出了围绕实用的私人联邦学习的理论理解，方法和系统设计的重要开放问题。
2019-11-05 cs.CR cs.LG cs.NI
A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning
Consiglio Nazionale delle Ricerche (CNR)（意大利国家研究委员会）；University of Oulu（奥卢大学）
由于训练和将数据移动到数据中心/从数据中心移动数据所需的大量能量，分布式学习的最新进展引起了环境问题。新的范例，如联邦学习（FL），适用于同时充当数据生产者和学习者的设备或筒仓的分散模型训练。与集中式学习（CL）技术不同，它依赖于位于高能耗数据中心的大数据融合和分析，在FL场景中，设备协作训练它们的模型，而不共享它们的私有数据。本文分析了影响FL策略环境足迹的主要因素，并与数据中心中运行的经典CL/大数据算法进行了比较。拟议的分析框架考虑到学习和通信能源成本，以及碳当量排放量;此外，它模型香草和分散FL政策的共识驱动。该框架在工业环境中进行评估，假设现实世界的机器人化工作场所。结果表明，FL允许显着的端到端的能量节省（30%-40%）的无线系统的特点是低比特/焦耳效率（50 kbit/焦耳或更低）。光纤驱动的FL不需要参数服务器，并进一步减少了网状网络中的辐射（200 kbit/Joule）。另一方面，当本地数据分布不均匀时，所有FL策略收敛速度较慢（通常比CL慢2倍）。能源足迹和学习损失可以权衡以优化效率。
2021-03-18 cs.DC cs.LG
Federated Learning for Multi-Center Sepsis Early Prediction with Privacy-Preserving
University of Science and Technology of China（中国科学技术大学）
针对多中心医疗数据的隐私和分布式特性，提出基于联邦学习的分布式协作建模方法，实现与集中式模型相当的预测精度并避免隐私泄露。
2026-06-03 cs.CR cs.LG
A Comprehensive Survey on Joint Resource Allocation Strategies in Federated Edge Learning
Jiangnan University（江南大学）；Tsinghua University（清华大学）；Qualcomm（高通公司）
本文全面综述了联邦边缘学习（FEL）中计算、数据、通信和网络拓扑的联合资源分配策略，指出其能有效提升系统效率与隐私保护，为多资源优化提供理论支持与部署思路。
2024-10-10 cs.LG
Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets
Beijing Institute of Technology（北京理工大学）；Sun Yat-Sen University（中山大学）；Zhejiang Lab（之江实验室）；Wuhan University（武汉大学）
针对联邦学习通信开销瓶颈问题，将序贯联邦学习引入分层架构并提出Fed-CHS算法，移除中心PS，在多种数据异构场景下收敛性可比基线，且通信开销更低、测试准确率更高。
2024-08-19 cs.LG
QFed: Parameter-Compact Quantum-Classical Federated Learning
Department of Computer and Software Engineering, Polytechnique Montreal（计算机与软件工程系，蒙特利尔理工学院）
QFed通过量子计算减少经典联邦学习模型参数，提升边缘设备计算效率，实验显示参数减少77.6%且准确率与经典方法相当。
2026-01-14 cs.AI cs.DC cs.LG
FedSkipTwin: Digital-Twin-Guided Client Skipping for Communication-Efficient Federated Learning
Department of Multidisciplinary Engineering, Texas A&M University（多学科工程系，德克萨斯大学阿马尔科分校）；GREYC Laboratory, NEAC Industry, University of Caen Normandy（GREYC实验室，NEAC工业，诺曼底大学坎城分校）；ENSICAEN, Normandie University（ENSICAEN，诺曼底大学）
FedSkipTwin通过数字孪生预测客户端更新的幅度和不确定性，实现通信高效的联邦学习，减少通信开销并提升模型准确率。
2025-07-18 cs.DC cs.LG cs.NI
Personalized Federated Learning for Statistical Heterogeneity
Pukyong National University（釜山国立大学）
本文针对联邦学习中数据分布异构导致的个性化不足和收敛缓慢问题，总结了个性化联邦学习（PFL）的概念、相关技术、当前进展及未来研究挑战。
2024-02-07 cs.LG cs.NI
Adaptive Differential Filters for Fast and Communication-Efficient Federated Learning
Fraunhofer Heinrich Hertz Institute (HHI)（弗劳恩霍夫海因里希·赫兹研究所（HHI））
联邦学习（FL）场景通过频繁地在客户端和服务器之间传输神经网络更新而固有地产生大量通信开销。为了最小化通信成本，引入稀疏性结合差分更新是一种常用的技术。然而，稀疏模型更新可能会减慢收敛速度或无意中跳过某些更新方面，例如，如果错误积累没有得到适当解决，则会导致学习到的特征。在这项工作中，我们提出了一种在卷积滤波器粒度下操作的新缩放方法，该方法1）补偿FL过程中的高度稀疏更新，2）通过增强滤波器空间中的一些特征同时减少其他特征来使局部模型适应新的数据域，以及3）激励更新中的额外稀疏性，从而实现更高的压缩比，即，节省整个数据传输。与未缩放的更新和以前的工作相比，在单向，双向和部分更新FL设置中的不同计算机视觉任务（Pascal VOC，CIFAR10，胸部X射线）和神经网络（ResNets，MobileNets，VGG）上的实验结果表明，所提出的方法提高了中央服务器模型的性能，同时收敛速度更快，并将传输的数据总量减少了377倍。
2022-04-09 cs.AI cs.CV cs.DC
Scaling Law Analysis in Federated Learning: How to Select the Optimal Model Size?
本文针对联邦学习场景下的大模型缩放问题，推导泛化误差PAC-Bayes上界得到最优模型规模的相关理论规律，并通过多场景实验验证结论，为联邦学习最优模型规模选择提供依据。
2025-11-15 cs.LG
A Comprehensive Survey On Client Selections in Federated Learning
College of Computing and Information Technology, University of Doha for Science and Technology（多哈科技大学计算与信息技术学院）；Electrical Engineering, Qatar University（卡塔尔大学电气工程系）
本综述全面梳理联邦学习中的客户端选择技术，涵盖随机、性能感知和资源感知方法及安全应用，并指出动态异构网络中的开放挑战。
2023-11-12 cs.DC cs.LG
Robust Convergence in Federated Learning through Label-wise Clustering
Georgia State University（佐治亚州立大学）
联邦学习（FL）中的一个主要问题是非IID数据集和本地客户端的异构环境，导致收敛速度下降，无法获得令人满意的性能。在本文中，我们提出了一种新的标签式聚类算法，保证了地理上分散的异构本地客户端之间的可训练性，通过只选择本地模型训练的数据集，近似到均匀分布的类标签，这是可能获得更快的损失最小化和增加FL网络之间的准确性。通过对建议的六种常见非IID场景进行实验，我们实证表明，香草FL聚合模型无法获得鲁棒收敛，生成有偏见的预训练局部模型，并在最坏情况下漂移局部权重以误导可训练性。此外，我们在训练之前定量估计局部模型的预期性能，这提供了一个全局服务器来选择最佳客户端，节省了额外的计算成本。最后，为了解决这种非IID情况下的不收敛问题，我们设计了基于本地输入类标签的聚类算法，以适应多样性和客户端的重新定位，从而使整个系统在全局训练的过程中实现快速收敛。我们的论文表明，建议标签式聚类表现出迅速和强大的收敛相比，其他FL算法时，本地训练数据集是非IID或共存IID通过多次实验。
2021-12-28 cs.AI cs.DC cs.LG
Communication-Efficient Federated Learning with Adaptive Number of Participants
本文提出智能参与者选择机制 ISP，动态确定联邦学习每轮最优客户端数量，在视觉 Transformer、ECG 分类和梯度压缩等设置下实现最高 30% 通信节省且不损失模型质量。
2025-09-23 cs.LG
Hi-SAFE: Hierarchical Secure Aggregation for Lightweight Federated Learning
Hanyang University（汉阳大学）
Hi-SAFE通过构建高效的多数投票多项式和分层子群策略，为基于符号的联邦学习提供轻量且安全的聚合框架，解决隐私和通信效率的挑战。
2025-11-24 cs.LG
