TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients
Technical University of Munich（慕尼黑工业大学）
针对联邦学习中客户端计算受限导致的收敛慢问题，提出TurboSVM-FL聚合策略，利用SVM进行选择性聚合和最大间隔正则化，在不增加客户端负担下加速收敛，并在多个数据集上优于现有算法。
2025-04-25 cs.DC cs.LG
FlexP-SFT: A Flexible Aggregation-Free Framework for On-Device Personalized Split Federated Fine-Tuning of LLMs
Duke Kunshan University（杜克大学昆山学院）；The University of Hong Kong（香港大学）；Guangdong University of Technology（广东技术大学）
FlexP-SFT是一种无聚合的设备端个性化拆分联邦LLM微调框架，通过层灵活对齐策略与资源感知拆分比例优化，解决了现有框架的通信瓶颈与掉队者问题，在准确率和延迟上优于基线。
2026-09-02 cs.DC cs.LG
AsyncFedED: Asynchronous Federated Learning with Euclidean Distance based Adaptive Weight Aggregation
Zhejiang University（浙江大学）
在异步联邦学习框架中，服务器在从客户端接收到更新后立即更新全局模型，而不是像同步设置中那样等待所有更新到达。这允许具有不同计算能力的异构设备在不暂停的情况下训练本地模型，从而加快训练过程。然而，它引入了陈旧模型问题，其中新到达的更新是基于比当前全局模型更旧的一组陈旧权重计算的，这可能会损害模型的收敛性。在本文中，我们提出了一个异步联邦学习框架，提出了自适应权重聚合算法，称为AsyncFedED。据我们所知，这种聚合方法是第一个考虑到达梯度的陈旧性的方法，通过陈旧模型和当前全局模型之间的欧几里得距离以及已经执行的局部时期的数量来测量。在一般非凸损失函数的假设下，我们从理论上证明了该方法的收敛性。数值结果验证了所提出的AsyncFedED在收敛速度和模型精度方面的有效性相比，现有的方法为三个考虑的任务。
2022-06-07 cs.DC cs.LG
Practical and Light-weight Secure Aggregation for Federated Submodel Learning
Ant Group（蚂蚁集团）；East China Normal University（华东师范大学）
最近，Niu，et. J.J.等人引入了联邦学习（FL）的一个新变体，称为联合子模型学习（FSL）。与传统FL不同，每个客户端本地训练子模型（例如，从服务器检索），并根据其选择将子模型上传到服务器。然后，所有客户端聚合其所有子模型并完成迭代。不可避免地，FSL引入了两个隐私保护计算任务，即，私有子模型检索（PSR）和安全子模型聚合（SSA）。现有的工作不能提供一个无损失的计划，或具有不切实际的效率。在这项工作中，我们利用分布式点函数（DPF）和布谷鸟哈希构建一个实用的和轻量级的安全FSL方案在两个服务器设置。更具体地说，我们提出了两个基本的协议与一些优化技术，这确保了我们的协议在特定的现实世界的FSL任务的实用性。实验结果表明，当权重大小为$\leq 2^{15}$时，我们提出的协议可以在1分钟内完成，并通过与现有工作的比较和实际FSL任务的处理证明了协议的有效性.
2021-11-02 cs.DC cs.LG
Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning
Michigan State University（密歇根州立大学）
本文评估最先进拜占庭鲁棒聚合方法在复杂大规模去中心化FL拓扑中的表现，发现其在非全连接网络中缺乏韧性，并强调需发展拓扑感知聚合方案。
2024-07-06 cs.DC cs.LG
Regularized Weight Aggregation in Networked Federated Learning for Glioblastoma Segmentation
Turku University of Applied Sciences（图尔库应用科学大学）；Riphah International University（里法哈国际大学）
在联邦学习（FL）中，服务器端的全局模型需要一个有效的权重聚合机制和一个系统的协作选择策略来管理和优化通信负载。我们介绍了一个实用的和具有成本效益的正则化权重聚合方法，并提出了一个节省劳动力的技术来选择每轮合作者。我们说明了我们的方法，正则化的相似性权重聚合（RegSimAgg），在联邦肿瘤分割（FeTS）2022挑战的联邦训练（权重聚合）问题的性能。我们的可扩展方法是有原则的，节俭的，适合异构的非IID合作者。使用FeTS2021评估标准，我们提出的算法RegSimAgg在FeTS2022挑战的权重聚合任务的最终排名中处于第三位。我们的解决方案在以下网站开源：\url{https://github.com/dskhanirfan/FeTS2022}
2023-01-30 cs.AI cs.DC cs.LG
FedQS: Optimizing Gradient and Model Aggregation for Semi-Asynchronous Federated Learning
Shanghai Jiao Tong University（上海交通大学）
FedQS通过分而治之策略优化半异步联邦学习中的梯度与模型聚合，提升准确性、稳定性和收敛速度。
2025-11-25 cs.DC cs.LG
FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting
Harvard University（哈佛大学）
本文提出FedStaleWeight算法，通过平均陈旧度计算公平重加权，将异步联邦学习聚合重构为机制设计问题，激励真实计算速度报告，在实现更强公平性的同时加速收敛至更高的全局模型精度。
2024-06-05 cs.DC cs.LG
Far From Sight, Far From Mind: Inverse Distance Weighting for Graph Federated Recommendation
Deakin University（德克萨斯大学）；TII（技术信息研究所）
本文针对图联邦推荐中聚合方法忽视用户嵌入相似性与锚定用户影响力的问题，提出基于逆距离加权的Dist-FedAvg方法，在多个数据集上验证其能提升推荐准确性并兼容现有联邦学习框架。
2025-07-02 cs.DC cs.IR cs.LG
On the Fast Adaptation of Delayed Clients in Decentralized Federated Learning: A Centroid-Aligned Distillation Approach
针对去中心化联邦学习中延迟客户端适应慢和通信成本高的问题，提出基于质心对齐蒸馏的DFedCAD框架，通过加权聚类剪枝和可微蒸馏实现快速知识迁移，在多个数据集上取得最优精度并降低通信开销超86%。
2025-08-05 cs.LG
Delayed Random Partial Gradient Averaging for Federated Learning
College of Information and Electronic Engineering（信息与电子工程学院）；Zhejiang University（浙江大学）
本文提出延迟随机部分梯度平均（DPGA）方法，通过客户端仅共享部分梯度并动态调整更新率，同时并行计算与通信，以缓解联邦学习中的带宽和延迟瓶颈，并在非IID CIFAR-10/100上验证了有效性。
2024-12-28 cs.AI cs.DC cs.LG
Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing
Princeton University（普林斯顿大学）；Purdue University（普渡大学）
联邦学习是网络边缘分布式机器学习的主要候选者，因为它具有低通信复杂性和隐私保护等吸引人的特性。然而，现有的算法面临的问题，由于在边缘的数据分布，计算和通信能力的相当大的异质性的缓慢收敛和/或鲁棒性的性能。在这项工作中，我们通过关注联邦学习系统中模型聚合的关键组成部分并研究执行此任务的最佳算法来解决这两个问题。特别是，我们提出了一个上下文聚合方案，实现了最佳的上下文相关的限制损失减少在每一轮的优化。上述上下文相关的界限是从该轮中的特定参与设备和对总体损失函数的平滑性的假设导出的。我们表明，这种聚集导致在每一轮的损失函数的明确减少。此外，我们可以将我们的聚合与许多现有的算法，以获得上下文版本。我们的实验结果表明，显着改善的收敛速度和鲁棒性的上下文版本相比，原来的算法。我们还考虑了上下文聚合的不同变体，即使在最极端的设置中也显示出强大的性能。
2022-03-23 cs.AI cs.DC cs.LG
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
在联邦学习中，跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而，已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异，而是一次性地对整个模型参数进行调整，导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展，同时会增加通信成本。我们提出了FedLAMA，一个分层的模型聚合方案，可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式，联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔，以放松聚合频率，而不会对模型精度产生显著影响。我们的实证研究表明，FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本，同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Eluding Secure Aggregation in Federated Learning via Model Inconsistency
EPFL（洛桑联邦理工学院）；Aarhus University（奥胡斯大学）；George Mason University（乔治梅森大学）
安全聚合是一种加密协议，它安全地计算其输入的聚合。在联邦学习中，它是保持模型更新私密性的关键。事实上，使用安全聚合可以防止服务器了解用户提供的单个模型更新的值和来源，从而阻碍推理和数据归因攻击。在这项工作中，我们表明，恶意服务器可以很容易地逃避安全聚合，如果后者没有到位。我们设计了两种不同的攻击，能够推断个人私人训练数据集上的信息，独立于参与安全聚合的用户数量。这使得它们在大规模、真实世界的联邦学习应用中成为具体的威胁。无论使用何种安全聚合协议，攻击都是通用的，同样有效。他们利用了联邦学习协议的一个漏洞，该漏洞是由安全聚合的不正确使用和缺乏参数验证引起的。我们的工作表明，目前实现的联邦学习与安全聚合只提供了一个“虚假的安全感”。
2022-09-06 cs.CR cs.LG
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University（莱斯大学）
一旦活动客户端的数量增加，同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法（Nguyen等人，2022）通过允许异步更新（过时）来解决这个问题，这增强了训练的可扩展性，同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法，并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析，该算法的收敛速度时，异构数据，批量大小，并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Federated Learning with Hypergradient-based Online Update of Aggregation Weights
Nagoya Institute of Technology（名古屋技术大学）
本文提出FedHAW方法，通过超梯度实现聚合权重的在线更新，提升联邦学习在异构数据和通信环境中的泛化能力和鲁棒性。
2026-05-01 cs.LG eess.SP
Dim-Krum: Backdoor-Resistant Federated Learning for NLP with Dimension-wise Krum-Based Aggregation
Peking University（北京大学）
尽管联邦学习具有潜力，但众所周知，它容易受到后门攻击的攻击。许多健壮的联邦聚合方法被提出来降低潜在的后门风险。然而，它们主要在CV领域得到验证。本文发现NLP后门比CV更难防御，并从理论上分析了恶意更新检测错误概率由后门的相对强度决定。NLP攻击往往具有较小的相对后门强度，这可能导致NLP攻击的健壮联邦聚合方法失败。受理论结果的启发，我们可以选择一些具有较高后门强度的维度来解决这个问题。提出了一种新的面向NLP任务的联邦聚合算法Dim-Krum，实验结果验证了该算法的有效性。
2022-10-13 cs.CR cs.LG
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece（电气与计算机工程学院，国家技术大学亚历山大学院，希腊）；Department of Informatics and Telematics, Harokopio University of Athens, Greece（信息与电信学院，哈罗基奥大学亚历山大学院，希腊）
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能，通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
Fedcompass: Federated Clustered and Periodic Aggregation Framework for Hybrid Classical-Quantum Models
1 School of Artificial Intelligence；Computer Science, Jiangnan University 2 Antai College of Economics \& Management, Shanghai Jiao Tong University 3 School of Computer Science, Shanghai Jiao Tong University 4 Cloud Computing；Distributed Systems Laboratory, University of Melbourne
Fedcompass通过谱聚类和自适应优化提升混合经典-量子联邦学习在非IID数据下的准确率与稳定性。
2026-02-03 cs.LG
Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文提出缓冲异步安全聚合协议BASA，使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合，并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
Automating aggregation strategy selection in federated learning
Imperial College London（伦敦帝国理工学院）；OctaiPipe
本文提出一个端到端框架，通过单次试验和多次试验模式自动化联邦学习的聚合策略选择，提升非iid条件下的鲁棒性和泛化能力，减少人工干预。
2026-04-09 cs.LG
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology（香港科技大学）
联邦学习容易受到各种攻击，如模型中毒和后门攻击，即使使用一些现有的防御策略。为了应对这一挑战，我们提出了一种攻击自适应聚合策略，以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制，学习联邦学习模型的脆弱性，从一组看似合理的攻击。据我们所知，我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中，我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Secure Aggregation for Privacy-Preserving Federated Learning on Clinical EEG Data
University of South-Eastern Norway（东南挪威大学）
该研究针对临床EEG数据联邦学习的隐私泄露问题，提出以掩码安全聚合为核心的隐私保护框架，经模拟医疗场景验证，半诚实变体开销低，恶意变体安全性强但开销更高。
2026-09-09 cs.CR cs.DC cs.LG
FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors
Jilin University（吉林大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对联邦学习中数据异构性导致的聚合权重分配不合理问题，提出基于客户端向量自适应调整聚合权重的FedAWA方法，在保护隐私的同时提升了全局模型的稳定性与泛化能力，经多场景实验验证了其优越性。
2025-03-20 cs.LG
Towards a Distributed Federated Learning Aggregation Placement using Particle Swarm Intelligence
ÉTS Montréal / Université du Québec（蒙特利尔ÉTS/魁北克大学）；Islamic Azad University of Bojnord（伊斯兰Azad大学波尼尔分校）
针对分层半去中心化联邦学习中的分布式聚合放置问题，提出基于粒子群优化的Flag-Swap方法，仅依据处理延迟优化放置，仿真与真实实验表明其性能优于随机和均匀放置策略。
2025-04-22 cs.DC cs.LG cs.NE
ERIS: Enhancing the Privacy-Utility-Scalability Trade-Off in Federated Learning via Federated Shard Aggregation
Università della Svizzera italiana（瑞士意大利大学）；Carnegie Mellon University（卡内基梅隆大学）
ERIS通过联邦分片聚合机制解决联邦学习中的隐私、可扩展性和模型效用之间的平衡问题，减少通信瓶颈并提升对抗鲁棒性。
2026-10-12 cs.LG
Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
FIPA通过参数级Fisher信息权重改进联邦学习，提升异构数据下的模型性能和准确性。
2026-01-20 cs.LG
Federated Learning with Autotuned Communication-Efficient Secure Aggregation
Google（谷歌）；California Institute of Technology（加州理工学院）
联邦学习使移动设备能够协作学习共享的推理模型，同时将所有训练数据保存在用户的设备上，从而将进行机器学习的能力与将数据存储在云中的需求解耦。现有的关于有限通信的联邦学习的工作演示了随机旋转如何使用户的模型更新能够更有效地量化，从而降低用户和服务器之间的通信成本。同时，安全聚合使服务器能够学习至少阈值数量的设备的模型贡献的聚合，而无需观察任何单独设备的非聚合形式的贡献。在本文中，我们强调了设置安全聚合参数以实现通信效率的一些挑战，特别是在随机旋转实现的积极量化输入的背景下。然后，我们开发了一个自动调整通信高效的安全聚合的配方，基于随机旋转和安全聚合的特定属性-即旋转后矢量条目的可预测分布和安全聚合中固有的模块化包装。我们提出的理论结果和初步实验。
2019-11-30 cs.CR cs.DC cs.LG
An Experimental Study of Byzantine-Robust Aggregation Schemes in Federated Learning
Uppsala University（乌普萨拉大学）；The University of Hong Kong（香港大学）；RISE, the Research Institutes of Sweden（瑞典研究院（RISE））
Byzantine-robust联邦学习旨在减少联邦训练过程中的Byzantine故障，其中恶意参与者可以将任意本地更新上传到中央服务器以降低全局模型的性能。近年来，一些鲁棒聚集方案被提出来抵御来自拜占庭客户端的恶意更新，提高联邦学习的鲁棒性。在某些假设下，这些解决方案被认为是拜占庭式的稳健。除此之外，新的攻击策略正在出现，试图绕过防御计划。但是，目前还缺乏对这两种模式的系统比较和实证研究。本文使用联邦学习中的两种流行算法FedSGD和FedAvg，对不同攻击下的拜占庭鲁棒聚集方案进行了实验研究。我们首先调查现有的拜占庭攻击策略和拜占庭强大的聚合计划，旨在抵御拜占庭攻击。我们还提出了一个新的计划，ClippedClustering，自动裁剪更新，以提高基于聚类的计划的鲁棒性。然后，我们提供了一个实验评估的情况下，五种不同的拜占庭攻击的八个聚合方案。我们的研究结果表明，这些聚合计划在某些情况下保持相对较高的精度，但在其他情况下是无效的。特别是，我们提出的ClippedClustering成功地抵御了独立和IID本地数据集下的大多数攻击。然而，当本地数据集是非IID的，所有的聚合方案的性能显着下降。对于非IID数据，即使完全没有拜占庭客户端，这些聚合方案中的一些也会失败。我们的结论是，所有的聚合方案的鲁棒性是有限的，强调需要新的防御策略，特别是非IID数据集。
2023-02-14 cs.LG
Semi-Decentralized Federated Learning with Cooperative D2D Local Model Aggregations
Purdue University（普渡大学）；Arizona State University（亚利桑那州立大学）
联邦学习已经成为一种流行的技术，用于跨无线边缘分布机器学习（ML）模型训练。在本文中，我们提出了两个时间尺度的混合联邦学习（TT-HF），一个半分散的学习架构，结合了传统的设备到服务器的通信模式的联邦学习与设备到设备（D2 D）的通信模型训练。在TT-HF中，在每个全局聚合间隔期间，设备（i）在其个体数据集上执行多个随机梯度下降迭代，以及（ii）通过本地集群内的协作分布式D2 D通信来非周期性地参与其模型参数的共识过程。通过一个新的梯度多样性的一般定义，我们正式研究了TT-HF的收敛行为，得到了分布式ML的新的收敛界。我们利用我们的收敛边界来开发自适应控制算法，该算法随着时间的推移调整TT-HF的步长、D2 D通信轮次和全局聚合周期，以实现O（1/t）的次线性收敛速率，同时最小化网络资源利用率。我们随后的实验表明，TT-HF在本地设备数据集表现出统计异质性的不同场景下，在模型准确性和/或网络能耗方面显著优于联邦学习中的现有技术。最后，我们的数值评估表明对衰落信道引起的中断的鲁棒性，以及良好的性能与非凸损失函数。
2021-09-30 cs.DC cs.LG stat.ML
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology（中国矿业大学）；University of Surrey（萨里大学）
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此，联邦学习不需要客户端将其数据上传到服务器，从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信，因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术，提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中，深度神经网络的不同层被分类为浅层和深层，并且深层的参数比浅层的参数更新得更少。此外，在服务器上引入时间加权聚合策略，以利用先前训练的局部模型，从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明，所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
University of Vermont（佛蒙特大学）；MassMutual（万通互惠）；Raytheon（雷神公司）
联邦机器学习利用边缘计算从网络用户数据开发模型，但联邦学习中的隐私仍然是一个重大挑战。已经提出了使用差分隐私的技术来解决这个问题，但也带来了自己的挑战--许多技术需要可信的第三方，否则会增加太多的噪音来产生有用的模型。使用多方计算的\emph{secure aggregation}的最新进展消除了对第三方的需要，但计算成本高，特别是在规模上。我们提出了一个新的联邦学习协议，利用一种新的差分私有，恶意的安全聚合协议的基础上，从错误的学习技术。我们的协议优于当前最先进的技术，经验结果表明，它可以扩展到大量的缔约方，具有最佳的准确性，任何差异私人联邦学习计划。
2021-12-13 cs.CR cs.LG
Attack-Resistant Federated Learning with Residual-based Reweighting
HKUST（香港科技大学）；Zhejiang University（浙江大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
联邦学习通过利用存储在不同设备上的私有训练数据在多个领域中具有各种应用。然而，联邦学习中的聚合过程极易受到对抗攻击的攻击，使得全局模型可能在攻击下表现异常。为了应对这一挑战，我们提出了一种新的聚合算法与基于残差的重新加权捍卫联邦学习。我们的聚合算法结合了重复中值回归和迭代加权最小二乘法的加权方案。我们的实验表明，我们的聚合算法优于其他替代算法的标签翻转和后门攻击的存在。我们还提供了我们的聚合算法的理论分析。
2021-01-08 cs.LG stat.ML
FedADP: Unified Model Aggregation for Federated Learning with Heterogeneous Model Architectures
School of Software, Shandong University（软件学院，山东大学）；Shandong Research Institute of Industrial Technology（山东省工业技术研究院）
针对联邦学习中客户端模型架构与计算资源异构导致的聚合难题，提出 FedADP 框架，通过聚合时动态调整模型架构实现高效协作，较 FlexiFed 准确率最高提升 23.30%。
2025-05-10 cs.LG
Improving Federated Aggregation with Deep Unfolding Networks
Deakin University（迪肯大学）
针对联邦学习中客户端异构性导致性能下降的问题，提出基于深度展开网络（DUN）的技术，通过学习无偏自适应权重有效改善异构性影响，实现质量感知聚合，并验证了方法的有效性与可解释性。
2023-06-30 cs.LG
Sparsified Secure Aggregation for Privacy-Preserving Federated Learning
University of California, Riverside（加州大学河滨分校）
安全聚合是隐私保护联邦学习中的一种流行协议，它允许模型聚合，而不会公开单个模型。另一方面，传统的安全聚合协议会产生显著的通信开销，这可能成为现实世界中带宽受限应用的主要瓶颈。为了解决这一挑战，在这项工作中，我们提出了一个轻量级的梯度稀疏化框架的安全聚合，其中服务器从大量的用户学习稀疏化的本地模型更新的聚合，但不学习个别参数。我们的理论分析表明，所提出的框架可以显着减少安全聚合的通信开销，同时确保相当的计算复杂性。我们进一步确定了由于稀疏化的隐私和通信效率之间的权衡。我们的实验表明，与传统的安全聚合基准相比，我们的框架将通信开销降低了7.8倍，同时还将挂钟训练时间加快了1.13倍。
2021-12-23 cs.CR cs.DC cs.IT
FLAG: Fast Label-Adaptive Aggregation for Multi-label Classification in Federated Learning
Industrial Technology Research Institute（工业技术研究院）；National Yang Ming Chiao Tung University（阳明交通大学）
联邦学习的目标是在不泄露隐私的情况下共享私有数据，以最大化数据效用。以往的联邦学习研究主要集中在多类分类问题上。然而，多标签分类是一个关键的研究问题，接近现实世界的数据属性。然而，有限数量的联邦学习研究探讨了这一研究问题。现有的多标签联邦学习研究没有考虑多标签数据的特点，即，他们使用多类分类的概念来验证他们的方法的性能，这意味着将他们的方法应用于实际应用是不可行的。因此，本研究提出了一种新的多标签联邦学习框架，该框架采用了一种基于标记的多标签数据分配（CMDA）和一种新的聚合方法--快速标签自适应聚合（FLAG），用于联邦学习环境中的多标签分类。实验结果表明，我们的方法只需要不到50\%的训练时期和通信轮，以超过最先进的联邦学习方法的性能。
2023-02-27 cs.AI cs.LG
Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation
University of Nevada, Reno（内华达大学雷诺分校）
本文提出层自适应稀疏化模型聚合方法LASA，通过预聚合稀疏化和逐层自适应过滤提升联邦学习对拜占庭攻击的鲁棒性，并在多种数据集上验证其有效性。
2024-09-02 cs.CR cs.DC cs.LG
Federated Learning Aggregation: New Robust Algorithms with Guarantees
ENS, PSL Research University（巴黎高等师范学院，巴黎文理研究大学）；CNRS, PSL Research University（法国国家科学研究中心，巴黎文理研究大学）
联邦学习最近被提出用于边缘的分布式模型训练。这种方法的原理是聚合在分布式客户机上学习的模型，以获得一个新的更通用的“平均”模型（FedAvg）。然后将生成的模型重新分发给客户进行进一步的培训。迄今为止，最流行的联邦学习算法使用模型参数的坐标平均进行聚合。在本文中，我们进行了一个完整的一般数学收敛分析，以评估联邦学习框架中的聚合策略。从这一点上，我们得到新的聚合算法，能够修改他们的模型架构，区分客户端的贡献，根据其损失的价值。此外，我们超越了理论上引入的假设，评估了这些策略的性能，并将它们与IID和Non-IID框架中分类任务中的FedAvg进行了比较，而没有额外的假设。
2022-07-18 cs.LG stat.ML
Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning
Amirkabir University（阿米尔卡比尔理工大学）；Virginia Tech（弗吉尼亚理工大学）
在联邦学习（FL）中，机器学习模型以分散的方式在多个节点上训练，同时保持数据本地化，不与其他节点共享。然而，FL要求节点还将关于模型参数的信息发送到中央服务器以进行聚合。然而，从节点发送到服务器的信息可能会泄露每个节点本地数据的一些细节，从而引发隐私问题。此外，从节点到服务器的重复上行链路传输可能导致通信开销和网络拥塞。为了解决这两个问题，本文提出了一种新的两比特聚合算法，保证差分隐私和减少上行链路通信开销。大量实验表明，该算法在MNIST、Fashion MNIST、CIFAR-10和CIFAR-100等数据集上可以达到与现有方法相同的性能，同时保证了差分隐私，提高了通信效率.
2021-10-06 cs.CR cs.DC cs.LG
Federated Learning with Unbiased Gradient Aggregation and Controllable Meta Updating
Tsinghua University（清华大学）；Tencent（腾讯）
联邦学习（FL）的目标是在由大量智能边缘设备组成的分散系统中训练机器学习模型。联邦平均（FedAvg）是FL设置中的基本算法，它提出了设备上的训练和模型聚合，以避免传输原始数据所带来的潜在的沉重通信成本和隐私问题。然而，通过理论分析，我们认为：1）局部更新的多个步骤会导致梯度偏差; 2）在FedAvg中，预期的目标分布与训练范式下的优化目标之间存在不一致性。为了解决这些问题，我们首先提出了一个无偏的梯度聚集算法与保持跟踪梯度下降和梯度评估策略。然后，我们引入了一个额外的可控Meta更新过程与一小组的数据样本，表明预期的目标分布，提供一个明确的和一致的优化目标。这两个改进都是与模型和任务无关的，可以单独或一起应用。实验结果表明，所提出的方法具有更快的收敛速度，并在不同的网络结构，在各种FL设置实现更高的精度。
2020-12-16 cs.DC cs.LG stat.ML
Recursive Euclidean Distance Based Robust Aggregation Technique For Federated Learning
Institute for Digital Technologies, Loughborough University（拉夫堡大学数字技术研究所）
联邦学习作为解决机器学习中数据可用性和隐私挑战的解决方案已经越来越受欢迎。然而，在联邦学习中，局部模型更新以获得全局模型的聚合过程容易受到恶意攻击，例如后门中毒、标签翻转和成员推断。恶意用户的目标是通过使用恶意数据训练本地模型来破坏协作学习过程。本文提出了一种基于递归欧氏距离计算的鲁棒聚集方法。我们的方法测量局部模型与先前全局模型的距离，并相应地分配权重。远离全局模型的局部模型被分配较小的权重，以最小化聚合期间的数据投毒效应。我们的实验表明，该算法优于国家的最先进的算法，至少$5\%$的准确性，而减少时间复杂度小于$55\%$。我们的贡献是重要的，因为它解决了联邦学习中恶意攻击的关键问题，同时提高了全局模型的准确性。
2023-03-20 cs.AI cs.LG
Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation
Okinawa Institute of Science and Technology, Japan（冲绳科学技术大学院大学，日本）；Toyota Motor Corporation, Japan（丰田汽车公司，日本）
针对部分参与场景下拜占庭客户端可能占多数的问题，提出延迟动量聚合原则，通过聚合未采样客户端的缓存动量和采样客户端的即时动量，确保拜占庭客户端在服务器视角中保持少数，并实例化为DeMoA优化器，理论分析和实验验证其鲁棒性和高效性。
2026-05-29 cs.LG math.OC
Progressive-Resolution Secure Aggregation for Federated Learning
Chalmers University of Technology（查尔姆斯理工大学）
本文提出渐进分辨率安全聚合（PSA），使客户端仅上传一次，即可在无需重新参与的情况下，按需授权获取同一聚合的逐步更精细分辨率，通过嵌套格码与附加聚合填充实现安全性。
2026-10-02 cs.CR cs.DC cs.IT
Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning
Linköping University（林雪平大学）
联邦学习（FL）是一种新出现的分散式机器学习（ML）框架，它将设备上的本地训练与基于服务器的模型同步相结合，以在分布式节点上训练集中式ML模型。在本文中，我们提出了一个异步FL框架与定期聚集，以消除在FL系统中的掉队者的问题。对于所提出的模型，我们研究了几种设备调度和更新聚合策略，并比较它们的性能时，设备具有异构的计算能力和训练数据分布。从模拟结果中，我们得出结论，异步FL的调度和聚合设计可以是相当不同的同步情况。例如，基于范数的重要性感知调度策略在异步FL设置中可能不是有效的，并且用于模型聚合的适当的“年龄感知”加权设计可以极大地提高这样的系统的学习性能。
2021-07-23 cs.DC cs.IT cs.LG
FedUAF: Uncertainty-Aware Fusion with Reliability-Guided Aggregation for Multimodal Federated Sentiment Analysis
Shanghai University（上海大学）；North China Electric Power University（华北电力大学）；Université de Technologie de Compiègne（法国图卢兹国立理工学院）；Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）；Macquarie University（麦考瑞大学）
本文提出FedUAF框架，通过不确定性融合和可靠性引导聚合解决联邦学习中多模态数据缺失、分布异质和客户端更新不可靠的问题，实验证明其在CMU-MOSI和CMU-MOSEI数据集上优于现有方法。
2026-02-28 cs.AI cs.LG
FedOUI: OUI-Guided Client Weighting for Federated Aggregation
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）；Openchip & Software Technologies S.L.（Openchip 及软件技术公司）
FedOUI通过OUI指标优化联邦聚合，利用激活结构信息提升异构环境下的聚合质量，优于FedAvg和FedProx等方法。
2026-05-12 cs.LG
Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心（CWC））
针对二阶联邦学习计算存储成本高、通信开销大的问题，提出结合稀疏海森矩阵估计与空中聚合的可扩展二阶FL算法，相比基线方法节省超67%的通信资源与能耗。
2025-01-14 cs.LG
Efficient Sparse Secure Aggregation for Federated Learning
Owkin Inc.（Owkin公司）
联合学习使人们能够跨持有敏感数据集的分布式客户端联合训练机器学习模型。在现实世界中，这种方法受到昂贵的通信和隐私问题的阻碍。这两个挑战都已经得到了单独解决，从而导致了相互竞争的优化。在这篇文章中，我们第一次同时处理它们。更确切地说，我们适应基于压缩的联邦技术添加剂秘密共享，导致一个有效的安全聚合协议，具有自适应的安全级别。我们证明了它的隐私对恶意的对手和它的正确性，在半诚实的设置。在深度卷积网络上的实验表明，我们的安全协议以低通信成本实现了高准确性。与以前的安全聚合工作相比，我们的协议具有较低的通信和计算成本，类似的准确性。
2021-10-18 cs.CR cs.LG stat.ML
Revisiting Weighted Aggregation in Federated Learning with Neural Networks
Zhejiang University（浙江大学）；Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心）；Westlake University（西湖大学）；Xiamen University（厦门大学）
该研究重新审视联邦学习的加权聚合机制，发现权重和小于1可带来权重收缩效应提升泛化，还提出客户端一致性刻画客户端重要性，进而提出可学习聚合权重的FedLAW方法，经实验验证可大幅提升全局模型泛化能力。
2023-06-12 cs.LG
GTFLAT: Game Theory Based Add-On For Empowering Federated Learning Aggregation Techniques
Mälardalen University（梅拉达伦大学）
GTFLAT作为一个基于博弈论的插件，解决了一个重要的研究问题：如何通过在模型聚合阶段设置更有效的自适应平均权重，使联邦学习算法获得更好的性能和训练效率？回答这个问题的理想方法的主要目标是：（1）使联邦学习算法能够在更少的通信回合中达到更好的性能，特别是在面对异构场景时，最后但并非最不重要的是，（2）作为一个新模块，易于与最先进的联邦学习算法一起使用。为此，GTFLAT将平均任务建模为活跃用户之间的策略游戏。在此基础上，提出了一种基于种群博弈和进化动力学的系统解决方案来寻找均衡点。与现有的方法，强加给参与者的权重相比，GTFLAT的结论是一个自我执行的协议，客户端之间的方式，他们都没有动机偏离它单独。结果表明，平均而言，使用GTFLAT将前1测试的准确率提高了1.38%，而达到准确率所需的通信轮次减少了21.06%。
2022-12-08 cs.AI cs.DC cs.GT
FedAPA: Server-side Gradient-Based Adaptive Personalized Aggregation for Federated Learning on Heterogeneous Data
College of Information Science and Technology, Jinan University（暨南大学信息科学技术学院）；College of Information and Computational Science, Jilin University（吉林大学信息与计算科学学院）；University of Toronto（多伦多大学）；The Hong Kong Polytechnic University（香港理工大学）
针对异构数据下个性化联邦学习的准确率、计算与通信挑战，提出FedAPA，在服务器端基于客户端参数变化对聚合权重的梯度自适应更新权重，兼具理论收敛保证与优异性能。
2025-02-15 cs.CV cs.LG
Federated Learning with Buffered Asynchronous Aggregation
Meta AI
可扩展性和隐私性是跨设备联邦学习（FL）系统的两个关键问题。在这项工作中，我们确定，同步FL -同步聚合的客户端更新FL -不能有效地扩展到几百个客户端并行培训。它导致模型性能和训练速度的收益递减，类似于大批量训练。另一方面，FL中的客户端更新的异步聚合（即，异步FL）解决了可伸缩性问题。但是，聚合单个客户端更新与安全聚合不兼容，这可能导致系统的隐私级别不理想。为了解决这些问题，我们提出了一种新的缓冲异步聚合方法，FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳属性。我们的经验表明，FedBuff是3.3倍以上的效率比同步FL和高达2.5倍以上的效率比异步FL，同时与诸如安全聚合和差分隐私之类的隐私保护技术兼容。我们在光滑非凸设置中提供理论收敛保证。最后，我们表明，在差异私人培训，FedBuff可以在低隐私设置优于FedAvgM，并实现较高的隐私设置相同的效用。
2022-03-07 cs.LG
FedSat: A Statistical Aggregation Approach for Class Imbalanced Clients in Federated Learning
Indian Institute of Technology Patna（印度理工学院巴特那分校）
FedSat通过预测敏感损失函数和基于优先类别的加权聚合方案，同时解决联邦学习中标签偏斜、缺失类别和数量偏斜三类数据异构问题，实验表明其性能显著优于现有基线并具有更快收敛速度。
2024-12-30 cs.LG
